KR20040054052A - 영역 기반으로 영상 데이터를 보간하기 위한 디인터레이싱장치 및 방법 - Google Patents

영역 기반으로 영상 데이터를 보간하기 위한 디인터레이싱장치 및 방법 Download PDF

Info

Publication number
KR20040054052A
KR20040054052A KR1020020080617A KR20020080617A KR20040054052A KR 20040054052 A KR20040054052 A KR 20040054052A KR 1020020080617 A KR1020020080617 A KR 1020020080617A KR 20020080617 A KR20020080617 A KR 20020080617A KR 20040054052 A KR20040054052 A KR 20040054052A
Authority
KR
South Korea
Prior art keywords
image data
pixels
interpolated
deinterlacing
unit
Prior art date
Application number
KR1020020080617A
Other languages
English (en)
Other versions
KR100471186B1 (ko
Inventor
김영로
배기성
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR10-2002-0080617A priority Critical patent/KR100471186B1/ko
Publication of KR20040054052A publication Critical patent/KR20040054052A/ko
Application granted granted Critical
Publication of KR100471186B1 publication Critical patent/KR100471186B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0145—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being class adaptive, i.e. it uses the information of class which is determined for a pixel based upon certain characteristics of the neighbouring pixels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 영역 기반으로 영상 데이터를 보간하기 위한 디인터레이싱 장치 및 그 방법에 관한 것이다. 본 발명의 디인터레이싱 장치는 입력된 영상 데이터를 평활화, 경사도 추정 및 분수령 알고리즘을 이용하여 분할된 영상 데이터를 생성한다. 그리고 분할된 영역의 상관성을 이용하여 에지의 방향성을 검출하여 공간 및 시간적 보간을 처리한다. 그 결과, 기존의 화소간 차이값에 의한 에지의 방향성 검출을 이용하여 보간하는 방법보다 왜곡이 적고 특히, 굴곡이 심한 영상에서 보간 성능이 우수하다.

Description

영역 기반으로 영상 데이터를 보간하기 위한 디인터레이싱 장치 및 방법{DEINTERLACING APPARATUS AND METHOD FOR INTERPOLATING OF IMAGE DATA BY REGION BASED}
본 발명은 영상 데이터를 보간하기 위한 디인터레이싱 장치 및 그 방법에 관한 것으로, 좀 더 구체적으로는 영역 기반으로 화소간의 상관성을 조사하여 영상 데이터를 보간하기 위한 디인터레이싱 장치 및 그 처리 방법에 관한 것이다.
디인터레이싱은 영상 데이터 처리 방법에 있어서, 비월 주사(interlace scan) 방식의 영상 데이터를 순차 주사(progressive scan) 방식의 영상 데이터로 변환하는 기술이다. 비월 주사 방식의 영상 데이터는 하나의 프레임 화면이 2 개의 필드 화면으로 구성되며, 이를 디인터레이싱 처리하기 위해서는 별도의 디인터레이싱 장치가 필요하다.
이러한 디인터레이싱 장치 및 방법들에 관한 종래 기술들은 예를 들어, 국내 공개특허공보 제 2001-068516호(공개일 : 2001.7.23)의 '디인터레이싱 장치 및 방법'과, 동 공개특허공보 제 2002-026042호(공개일 : 2002.4.6)의 '움직임 보상형보간을 이용한 디인터레이싱 장치 및 그 방법' 그리고 일본 공개특허공보 평12-261768호(공개일 : 2000.9.22)의 '화상신호의 움직임 보상 변환 회로' 등이 공개되어 있다.
국내 공개특허공보 제 2001-068516호는 화소간의 차이값을 이용한 에지 방향성 검출 방법과, 잡음 제거를 위한 미디언 필터링 방법 및 시공간 디인터레이싱 시스템에서 시간적 보간값과 공간적 보간값의 소프트 스위치 출력 방법이 개시되어 있다. 이러한 디인터레이싱 장치 및 방법에 의하면 보간 후 부가적으로 미디언 필터링을 수행함으로써 화질이 우수한 효과가 있다.
동 공개특허공보 제 2002-026042호는 양방향 움직임 벡터와 미디언 필터링을 이용하여 움직임을 보상하는 보간 방법이 개시되어 있으며, 구현이 용이하고 윤곽선 보존 능력이 우수하다.
그리고 일본 공개특허공보 평12-261768호는 움직임 벡터를 검출하여 움직임 보상을 한 다음, 오차값에 따라 시간, 공간 및 시공간 보간값들에 가중치를 부여하여 새로운 보간값을 구하는 방법이 개시되어 있다. 이것에 의하면, 움직임 보상 처리에 대한 고유한 화질의 열화를 없앨 수 있다.
그러나 상술한 기술들은 화소간의 차이값을 이용하여 구한 에지의 방향으로 보간함으로써, 에지 방향을 잘못 구하여 왜곡이 발생하거나 굴곡이 심한 영상에서 보간 효과가 떨어지는 문제점이 있다.
또한, 종래의 디인터레이싱 기술에 대한 참고 문헌들이 아래에 개시되어 있다.
참고 문헌 1. H.Y. Lee, J.W. Park, T.M. Bae, S.U. Choi, and Y.H. Ha, "Adaptive scan rate up-conversion system based on human visual characteristics," IEEE Consumer Electronics, vol. 46, no. 4, nov. 2000.
참고 문헌 2. R. Li, B. Zeng, and M. L. Liou, "Reliable motion detection/compensation for interlaced sequences and its applications to deinterlacing," IEEE Circuits Syst. Video Technology, vol. 10, no. 1, pp. 23 - 29, 2000.
따라서 디인터레이싱 장치는 영상 데이터를 보간하기 위해 예를 들어, 디인터레이싱하거나 수직 방향으로 영상을 확대하는 경우에 다양한 방법들이 적용된다. 예를 들어, 참고 문헌 1에 의하면 생성하고자 하는 화소의 상하 라인 수직 방향의 두 화소를 이용하여 이들 화소의 평균값으로 새로운 화소를 생성하거나, 생성하고자 하는 화소의 상하 여러 개의 라인들에서 수직 방향의 여러 화소들을 이용하여 폴리페이즈 등의 필터를 사용하여 새로운 화소를 보간한다. 그러나 이러한 참고 문헌 1에 의한 보간 방법은 기술 구현이 간단하지만, 에지(edge)를 훼손시키는 문제점이 발생된다.
또한 다른 방법으로, 참고 문헌 2에 의하면 생성하고자 하는 화소의 상하 라인의 화소들간 차이의 절대값을 이용하여 상관 관계를 조사하고, 가장 상관도가 높은 방향의 두 화소를 평균하여 새로운 화소를 생성한다. 이 방법에 의하면, 영상 데이터의 에지를 유지하면서 보간할 수 있다. 그러나 이 방법은 에지를 유지하면서 보간하는 반면에 화소값의 차이를 가지고 상관성을 계산하기 때문에 수평 에지나 화소값의 변화가 심하여 굴곡이 많은 영상에서는 오히려 에지를 왜곡시키는 단점을 가지고 있다.
본 발명의 목적은 상술한 문제점을 해결하기 위한 것으로, 영상 데이터를 영역 분할하고, 분할된 영역들을 이용하여 보간하고자 하는 화소들의 에지 방향을 검출하여 보간하는 디인터레이싱 장치를 제공하는데 있다.
또한 본 발명의 다른 목적은 상술한 문제점을 해결하기 위한 것으로, 영상 데이터를 영역 분할하고, 분할된 영역들을 이용하여 보간하고자 하는 화소들의 에지 방향을 검출하여 보간하는 디인터레이싱 방법을 구현하는데 있다.
이를 위해 본 발명은 영역 기반으로 화소를 보간하는 방법과, 영역 기반으로 보간하고자 하는 화소들의 상관성을 구하는 방법 및 시공간 디인터레이싱 장치에서 영역 기반의 디인터레이싱 방법을 이용하여 보간하는 방법들을 구현하는데 있다.
도 1은 본 발명에 따른 영역 기반의 시공간 디인터레이싱 장치의 상세한 구성을 도시한 블럭도;
도 2는 본 발명에 따른 영상 데이터를 보간하는 디인터레이싱 수순을 도시한 흐름도;
도 3은 도 2에 도시된 영역 분할된 영상 데이터를 생성하는 단계의 상세한 수순을 나타내는 흐름도;
도 4는 도 2에 도시된 보간 단계의 상세한 수순을 도시한 흐름도;
도 5은 본 발명에 따른 영상 데이터를 분할된 영역을 기반으로 방향성을 검출하는 것을 설명하기 위한 도면;
도 6은 본 발명의 실시예에 따른 4 개의 라인을 이용하여 방향성을 검출하는 것을 설명하기 위한 도면들; 그리고
도 7은 순차 주사 방식의 영상 데이터를 기존의 MELA 방식과 본 발명의 보간 방법에 의한 실험 결과를 나타내는 도면들이다.
* 도면의 주요 부분에 대한 부호 설명 *
100 : 디인터레이싱 장치 110 : 메모리부
112 ~ 122 : 라인 메모리 140 : 영역 분할부
142 : 평활부 144 : 경사도 추정부
146 : 분수령 처리부 148 : 방향성 검출부
160 : 디인터레이싱부 162 : 공간 보간부
164 : 시공간 보간부 166 : 시간 보간부
상술한 목적을 달성하기 위한 본 발명의 일 특징에 의하면, 디인터레이싱 장치는, 외부로부터 입력된 영상 데이터로부터 보간될 화소의 주변 화소들과 전후 필드의 화소들을 저장하는 다수의 라인 메모리들을 구비하는 메모리부와, 상기 메모리부로부터 상기 주변 화소들을 받아서 다수의 분할된 영역을 갖는 영상 데이터를 생성하고, 상기 분할된 영상 데이터로부터 상기 보간될 화소의 에지 방향성을 검출하여 출력하는 영역 분할부 및 상기 주변 화소들과 상기 분할된 영상 데이터를 받아서 상기 검출된 에지 방향성을 이용하여 공간적으로 보간하는 디인터레이싱부를포함한다.
여기서 상기 영역 분할부는, 상기 메모리부로부터 상기 주변 화소들을 받아서 불연속적인 영상을 제거하는 평활부와, 상기 평화부로부터 상기 불연속적인 영상이 제거된 영상 데이터를 받아서 경사도를 추정하는 경사도 추정부와, 상기 추정된 경사도에 대응하고 분수령 알고리즘을 이용하여 상기 입력된 주변 화소들의 영상 데이터를 다수의 영역으로 분할하는 분수령 처리부 및 상기 분할된 영역들의 에지의 방향성을 각각 검출하는 방향성 검출부를 포함한다.
그리고 상기 디인터레이싱부는, 상기 메모리부로부터 상기 전후 필드의 화소들을 받아서 시간적으로 보간하며, 상기 공간적 및 시간적 보간된 영상 데이터를 조합하여 시공간적으로 보간된 영상 데이터를 출력한다. 이 때, 상기 디인터레이싱부는 상기 공간적 및 시간적 보간된 영상 데이터를 움직임 유무에 대응하는 특정의 가중치를 적용하여 조합하는 것이 바람직하다.
상술한 목적을 달성하기 위한 본 발명의 다른 특징에 의하면, 외부로부터 입력된 영상 데이터를 받아들이는 메모리부와, 상기 영상 데이터를 다수의 영역으로 분할하는 영역 분할부 및 상기 분할된 영상 데이터를 공간 및 시간적으로 보간하기 위한 디인터레이싱부를 포함하는 디인터레이싱 장치에 있어서, 상기 디인터레이싱 장치의 상기 영상 데이터를 보간하기 위한 디인터레이싱 방법은, 상기 메모리부로부터 보간될 화소의 주변 화소들과 전후 필드의 화소들을 포함하는 영상 데이터를 입력 받아서 상기 주변 화소들을 평활화하고, 경사도를 추정하고, 다수의 영역을 갖는 분할된 영상 데이터를 생성하는 단계와, 상기 분할된 영상 데이터로부터 각각의 영역마다 상기 보간될 화소와 상기 주변 화소들간의 에지 방향성을 검출하는 단계와, 상기 검출된 방향성 중 가장 상관성이 높은 방향으로 공간적 보간하는 단계와, 상기 전후 필드의 화소들을 받아서 움직임 정도를 검출 및 추정하여 시간적으로 보간하는 단계와, 상기 공간적 및 시간적 보간된 영상 데이터들을 상기 움직임 정도에 대응하여 시공간적으로 보간하는 단계와, 상기 시공간 보간된 보간값과 보간될 화소의 수직 방향의 상하 두 화소들을 이용하여 필터링하는 단계 및 상기 시공간적으로 보간된 영상 데이터를 생성하는 단계를 포함한다.
따라서 본 발명에 의하면, 영상 데이터를 다수의 영역으로 분할하고, 분할된 영역의 영상 데이터로부터 각각 에지의 방향성을 검출하여 공간적으로 보간한다.
이하 본 발명의 실시예를 첨부된 도면에 의거하여 상세히 설명한다.
도 1은 본 발명에 따른 영역 기반의 시공간 디인터레이싱 장치의 상세한 구성을 도시한 블럭도이다.
도면을 참조하면, 상기 시공간 디인터레이싱 장치(100)는 신규한 영역 분할부(140)를 구비한다. 그리고 다수의 라인 메모리들(112 ~ 122)을 포함하는 메모리부(110)와, 공간 및 시간적으로 보간하는 디인터레이싱부(160)를 포함한다.
상기 메모리부(110)는 예컨대, 6 개의 라인 메모리들을 구비하여, 보간된 화소의 주변 화소들을 저장하기 위한 라인 메모리들(112 ~ 118)과, 전후 필드 화소들을 저장하기 위한 라인 메모리들(120 ~ 122)을 포함한다.
상기 영역 분할부(140)는 상기 주변 화소들을 받아서 다수의 분할된 영상 데이터를 생성하기 위하여 평활부(smoothing part)(142)와, 경사도(gradient)추정부(144)와, 분수령(watershed algorithm) 처리부(146) 및 방향성 검출부(148)를 포함한다.
상기 평활부(142)는 예를 들어, 평균, 모폴로지(morphology) 또는 미디언(median) 필터 등으로 구비하여, 입력된 영상 데이터의 불연속성을 제거하기 위하여 평활화한다.
상기 경사도 추정부(144)는 예를 들어, 윤곽선 검출을 위한 미분 연산자인 소벨(sobel), 필터 연산자인 로버트(robert), 큐빅 또는 모폴로지 등의 연산자로 구비되며, 평활화된 영상 데이터의 경사도를 추정한다.
상기 분수령 처리부(146)는 분수령 알고리즘을 이용하여 분할된 영역들을 갖는 영상 데이터를 생성한다. 분수령 알고리즘에 대한 참고문헌들은 아래에 개시되어 있으며, 분수령 알고리즘은 해당 분야의 당업자라면 잘 알려진 공지된 기술이므로 구체적인 설명은 생략한다.
참고 문헌 3. L. Vincent, "Morphological grayscale reconstruction in image analysis : applications and efficient algorithms," IEEE Image Processing, vol. 2, no 2, pp. 176 - 201, April, 1993.
참고 문헌 4. M.C. Kim, J.G. Choi, D.H. Kim, H. Lee, M.H. Lee, C.T. Ahn, and Y.S. Ho, "A VOP generation tool: automatic segmentation of moving objects in image sequences based on spatio-temporal information," IEEE Circuits Syst. Video Technology, vol. 9, no. 8, pp. 1216 - 1226, 1999.
그리고 상기 방향성 검출부(148)는 상기 메모리부(110)에 입력된 원래의 영상 데이터와 상기 분할된 영상 데이터를 비교하여 보간될 화소와 주변 화소들의 방향성을 계산하여 에지의 방향성을 검출한다. 이 때, 방향성 검출은 보간될 화소의 상하 라인들(예를 들어, 2 개 또는 4 개의 상하 라인들)을 이용하여 다양한 방향으로 화소들간의 영역이 같은지를 조사한다. 본 발명의 실시예에서는 도 6a 내지 도 6g에 도시된 바와 같이, 7 방향으로 방향성 레벨(D1 ~ D7)을 검출한다. 그리고 상기 방향성 검출부(148)는 방향성의 상관 관계를 판단할 수 있는 카운터(미도시됨)를 구비하여, 방향성 검출에 따른 각 방향마다 카운트 값을 계산하고 저장한다. 예를 들어, 하나의 영역에서 동일한 방향성이 검출되면 카운트 값을 가산한다. 구체적으로 4개의 상위 라인들을 이용하여 방향성 검출을 위한 카운트 값을 계산하는 알고리즘이 아래의 수학식 1에 개시되어 있다.
...
여기서 k는 보간될 화소의 상위 4 개 라인들의 주변 화소들간의 방향성을 검출하기 위하여 하나의 방향을 계산할 때 사용되는 5 개의 화소 쌍을 의미하며, i, j는 화소의 세로, 가로 위치 그리고 R은 분할된 영역의 레벨 수를 나타낸다. 또한 C는 각 방향에서 5 개의 화소 쌍에서 구한 영역이 동일한지를 나타내는 상수를 의미하며 단, 가운데 화소 쌍은 가중치를 주어 2로 정의한다.
따라서 분할된 영역 데이터를 이용하여 영역 정보를 얻은 후, 각각의 영역 정보에서 보간될 방향성을 검출한다. 이 때, 가장 많은 카운트 값을 가진 방향을 보간할 방향으로 결정하여 보간하게 되는데 두 방향 이상에서 최대값의 동일한 카운트 값을 가지면, 아래의 수학식 2와 같이 1, 2,···, n-1, n 방향 순으로 우선 순위를 두어 방향성의 레벨 D가 결정된다.
여기서 D는 결정되어지는 방향의 레벨을 나타내며, 예를 들어 7 개의 방향만있다면, D의 범위는 1 내지 7의 값으로 결정되며 특히 4는 수직 방향을 나타낸다.
그리고 아래의 수학식 3과 같이 방향에 따른 카운트 값이 최소한 적정 임계치 T 이상 나올 경우에만, 그 방향을 가장 상관성이 있는 방향으로 인정하고 보간을 수행한다. 그렇지 않은 경우에는 수직 방향으로 보간하는 것이 바람직하다.
여기서 Ii-1, j는를 나타내는 것으로, 보간하고자 하는 화소의 바로 위 라인의 화소를 나타내며, 임계치 T는 실험 데이터이다. 임계치의 기준은 예를 들어 방향성 결정을 위해 4 개의 라인을 이용할 경우, 실험적으로 15가 본 발명에 따른 가장 바람직한 결과를 얻게 된다.
그리고 상기 디인터레이싱부(160)는 본 발명에 의한 영역 기반의 공간적 보간 방법을 처리하는 공간 보간부(162)와, 일반적인 시간적 보간 방법으로 처리하는 시간 보간부(164)와, 그리고 공간 및 시간적으로 보간 처리하는 시공간보간부(166)를 포함한다.
상기 공간 보간부(162)는 상기 영역 분할부(140)로부터 분할된 영상 데이터와, 상기 메모리부(110)로터 주변 화소들을 받아서, 가장 방향성의 높은 상관성을 갖는 방향으로 공간적으로 보간한다.
상기 시간 보간부(164)는 예를 들어, 일반적으로 움직임 벡터를 이용하여 보간하기 위한 움직임 검출 및 움직인 추정부(미도시됨)을 구비하고, 이들을 이용하여 전후 필드 화소들과 현재 필드의 상하 라인들의 주변 화소들로부터 움직임 검출 및 움직임 추정한다.
그리고 상기 시공간 보간부(166)는 공간 및 시간 보간부(162, 164)로부터 출력된 각 보간값을 적정의 가중치를 적용하고 조합하여 시공간적으로 보간한다. 예컨대, 움직임이 많은 경우 a를 1로 하여 공간 보간 결과를 적용하고, 움직임이 없는 경우 a를 0으로 하여 시간 보간 결과를 적용하여 처리된다. 즉, 아래의 수학식 4와 같이 디인터레이싱부(160)는 공간 및 시간 보간부(162, 164)에 의해 처리된 보간값을 움직임 정도에 따라 가중치를 적용하여 시공간 보간 처리한다.
여기서 A는 상술한 공간적으로 보간한 값이고, B는 시간적으로 보간한 값을 나타낸다. 구체적으로 B는 전후 필드의 평균값으로 아래의 수학식 5와 같이 나타낸다.
상술한 바와 같이, 본 발명의 디인터레이싱 장치(100)는 방향성을 가지고 보간한 값과 수직 방향으로 두 화소값들의 중간값을 이용하여 영역 기반의 공간 디인터레이싱 화소값을 계산한다. 영역 기반의 시간 디인터레이싱 방법은 일반적인 방법처럼 움직임 검출/움직임 추정부를 사용함으로써 전후 필드의 화소와 현재 필드의 상하 인접된 화소들을 이용한다. 이와 같이, 시공간 인터레이싱 방법은 공간에서의 화소 정보를 상술한 영역 기반의 공간 디인터레이싱 방법에서 구한다.
도 2는 본 발명에 따른 영역 기반으로 영상 데이터를 보간하는 디인터레이싱 방법을 나타내는 흐름도이다. 이 수순은 상기 디인터레이싱 장치(100)에 의해서 처리된다.
도면을 참조하면, 상기 디인터레이싱 장치(100)는 단계 S200에서 메모리부(110)로 입력된 영상 데이터를 영역 분할부(140)에서 다수의 분할된 영역들을 갖는 영상 데이터로 생성하기 위한 처리 루틴을 수행한다. 단계 S210에서 보간할 방향성을 검출하고 이어서 단계 S220에서 보간 처리 루틴을 수행한다.
구체적으로 상기 분할된 영상 데이터 생성 처리 루틴(S200)은 도 3에 도시된 바와 같이, 단계 S202에서 메모리부(110)로부터 보간될 화소의 주변 화소들과 전후 필드의 화소들을 포함하는 영상 데이터를 입력 받아서 단계 S204에서 영역 분할부(140)는 평활부(142)를 통해 상기 주변 화소들을 평활화한다. 단계 S206에서 경사도를 추정한다. 이어서 단계 S208에서는 분할된 영상 데이터를 생성하여 출력한다.
그리고 상기 보간 처리 루틴(S220)은 도 4에 도시된 바와 같이, 단계 S222에서 보간될 화소에 대한 검출된 방향성 중 가장 상관성이 높은 방향으로 결정하고, 단계 S224에서 가장 상관성이 높은 방향성에 대하여 공간 및 시간적으로 보간한다. 단계 S226에서 공간 및 시간적 보간된 보간값들을 조합하기 위하여 움직임 정도 즉, 움직임 벡터를 분석하여 시공간적으로 보간한다. 이 때, 시공간 보간은 상술한 수학식 4에 의해서 가중치를 적용한다.
이어서 단계 S228에서 시공간 보간된 보간값과 보간될 화소의 수직 방향의 상하 두 화소들을 이용하여 미디언 필터링을 수행한다. 그리고 단계 S230에서 시공간적으로 보간된 영상 데이터를 생성, 출력한다.
도 5은 본 발명에 따른 영상 데이터를 분할된 영역을 기반으로 방향성을 검출하는 것을 설명하기 위한 도면이다.
도면을 참조하면, 상기 영역 분할부(140)에 의해 출력된 영상 데이터(170)는 다수의 분할된 영역들(170a ~ 170c)로 나눠진다. 각각의 영역들마다 보간될 화소(172)의 주변 화소들은 상하 라인들 중에 2 개(174, 176) 또는 4 개의 라인들과의 에지의 방향성을 검출하여 가장 적합한 방향을 결정하기 위한 상관성을 계산하여 공간적으로 보간한다.
도 6a 내지 도 6g는 본 발명의 실시예에 따른 4 개의 라인을 이용하여 방향성을 검출하는 것을 설명하기 위한 도면들이다.
도면을 참조하면, 보간될 화소(182)의 주변 화소들과의 방향성을 검출하기 위하여 4 개의 상하 라인 y-3, y-1, y+1 및 y+3 라인을 이용하여 주변 화소들과의 영역 기반의 에지의 7 개 방향(184)으로 방향성 레벨(D1 ~ D7)을 검출한다.
7 개 방향 또는 다양한 방향으로 화소들간의 영역이 같은지를 조사하여 동일한 방향이면, 해당 카운트 값을 가산하여 가장 높은 카운트 값을 갖는 방향으로 보간하도록 상관성을 판별한다. 이 때, 상기 수학식과 같이, 카운트 값이 적정 임계치(T) 이상 나올 때만, 해당 방향으로 보간하고, 그렇지 않은 경우에는 수직으로 보간한다.
그리고 본 발명의 실시예에 따른 실험 결과가 도 7에 도시되어 있다.
도면을 참조하면, (a)는 순차 주사 방식의 영상 데이터를 이용하여 기존의 디인터레이싱 방법 중 상기 참고 문헌 1의 MELA 방식에 의한 보간된 영상 데이터 (b)와 본 발명에 의한 디인터레이싱 방법에 의한 보간된 영상 데이터 (c)를 나타내고 있다.
따라서 본 발명은 분수령 알고리즘을 이용하여 영상 데이터를 다수의 영역으로 분할하고, 분할된 영역에서의 보간될 화소들의 방향성을 검출하여 각 영역에 적합하게 보간함으로써, 도면에서 알 수 있듯이 에지를 유지하면서 영상 왜곡을 방지하여 더 좋은 영상 데이터를 얻을 수 있다.
상술한 바와 같이, 기존 보간 방법들은 화소 차이를 이용하는 방법을 주로 사용하는 반면, 본 발명은 공간적 보간 방법에 있어 에지의 방향을 찾는 방법을 분할된 영상을 기반으로 구현한다. 즉, 먼저 입력된 영상 데이터로부터 다수의 영역들로 분할하고, 각 간의 경계를 이용하여 에지의 방향성 검출하여 보간한다.
상술한 바와 같이, 기존 디인터레이싱 방법은 화소간 차이값을 이용하여 구한 에지 방향으로 보간하는 반면, 본 발명의 디인터레이싱 방법 먼저 화소들의 영역을 구분하고 영역간의 상관성을 이용함으로써, 영역 기반의 디인터레이싱 장치 및 방법을 제공한다. 그 결과, 에지 방향을 잘못 찾음으로써 발생하는 왜곡이 적으며, 굴곡이 심한 영상에서 효과가 뛰어나다.

Claims (6)

  1. 디인터레이싱 장치에 있어서:
    외부로부터 입력된 영상 데이터로부터 보간될 화소의 주변 화소들과 전후 필드의 화소들을 저장하는 다수의 라인 메모리들을 구비하는 메모리부와;
    상기 메모리부로부터 상기 주변 화소들을 받아서 다수의 분할된 영역을 갖는 영상 데이터를 생성하고, 상기 분할된 영상 데이터로부터 상기 보간될 화소의 에지 방향성을 검출하여 출력하는 영역 분할부 및;
    상기 주변 화소들과 상기 분할된 영상 데이터를 받아서 상기 검출된 에지 방향성을 이용하여 공간적으로 보간하는 디인터레이싱부를 포함하는 것을 특징으로 하는 디인터레이싱 장치.
  2. 제 1 항에 있어서,
    상기 영역 분할부는;
    상기 메모리부로부터 상기 주변 화소들을 받아서 불연속적인 영상을 제거하는 평활부와;
    상기 평화부로부터 상기 불연속적인 영상이 제거된 영상 데이터를 받아서 경사도를 추정하는 경사도 추정부와;
    상기 추정된 경사도에 대응하고 분수령 알고리즘을 이용하여 상기 입력된 주변 화소들의 영상 데이터를 다수의 영역으로 분할하는 분수령 처리부 및;
    상기 분할된 영역들의 에지의 방향성을 각각 검출하는 방향성 검출부를 포함하는 것을 특징으로 하는 디인터레이싱 장치.
  3. 제 1 항에 있어서,
    상기 디인터레이싱부는;
    상기 메모리부로부터 상기 전후 필드의 화소들을 받아서 시간적으로 보간하며,
    상기 공간적 및 시간적 보간된 영상 데이터를 조합하여 시공간적으로 보간된 영상 데이터를 출력하는 것을 특징으로 하는 디인터레이싱 장치.
  4. 제 3 항에 있어서,
    상기 디인터레이싱부는;
    상기 공간적 및 시간적 보간된 영상 데이터를 움직임 유무에 대응하는 특정의 가중치를 적용하여 조합하는 것을 더욱 포함하는 것을 특징으로 하는 디인터레이싱 장치.
  5. 외부로부터 입력된 영상 데이터를 받아들이는 메모리부와, 상기 영상 데이터를 다수의 영역으로 분할하는 영역 분할부 및 상기 분할된 영상 데이터를 공간 및 시간적으로 보간하기 위한 디인터레이싱부를 포함하는 디인터레이싱 장치에 있어서, 상기 디인터레이싱 장치의 상기 영상 데이터를 보간하기 위한 디인터레이싱 방법에 있어서:
    상기 메모리부로부터 보간될 화소의 주변 화소들과 전후 필드의 화소들을 포함하는 영상 데이터를 입력 받아서 상기 주변 화소들을 평활화하고, 경사도를 추정하고, 다수의 영역을 갖는 분할된 영상 데이터를 생성하는 단계와;
    상기 분할된 영상 데이터로부터 각각의 영역마다 상기 보간될 화소와 상기 주변 화소들간의 에지 방향성을 검출하는 단계 및;
    상기 검출된 방향성 중 가장 상관성이 높은 방향으로 공간적 보간하는 단계를 포함하는 것을 특징으로 하는 디인터레이싱 방법.
  6. 제 5 항에 있어서,
    상기 공간적 보간 단계 후, 상기 전후 필드의 화소들을 받아서 움직임 정도를 검출 및 추정하여 시간적으로 보간하는 단계와;
    상기 공간적 및 시간적 보간된 영상 데이터들을 상기 움직임 정도에 대응하여 시공간적으로 보간하는 단계와;
    상기 시공간 보간된 보간값과 보간될 화소의 수직 방향의 상하 두 화소들을 이용하여 필터링하는 단계 및;
    상기 시공간적으로 보간된 영상 데이터를 생성하는 단계를 더 포함하는 것을 특징으로 하는 디인터레이싱 방법.
KR10-2002-0080617A 2002-12-17 2002-12-17 영역 기반으로 영상 데이터를 보간하기 위한 디인터레이싱장치 및 방법 KR100471186B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR10-2002-0080617A KR100471186B1 (ko) 2002-12-17 2002-12-17 영역 기반으로 영상 데이터를 보간하기 위한 디인터레이싱장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2002-0080617A KR100471186B1 (ko) 2002-12-17 2002-12-17 영역 기반으로 영상 데이터를 보간하기 위한 디인터레이싱장치 및 방법

Publications (2)

Publication Number Publication Date
KR20040054052A true KR20040054052A (ko) 2004-06-25
KR100471186B1 KR100471186B1 (ko) 2005-03-10

Family

ID=37347185

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2002-0080617A KR100471186B1 (ko) 2002-12-17 2002-12-17 영역 기반으로 영상 데이터를 보간하기 위한 디인터레이싱장치 및 방법

Country Status (1)

Country Link
KR (1) KR100471186B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100909024B1 (ko) * 2007-10-09 2009-07-22 한양대학교 산학협력단 정밀한 기울기 특성을 고려한 저복잡도 영상 보간 장치 및방법
US8340473B2 (en) 2008-09-22 2012-12-25 Samsung Electronics Co., Ltd. Apparatus and method of interpolating image using region segmentation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100909024B1 (ko) * 2007-10-09 2009-07-22 한양대학교 산학협력단 정밀한 기울기 특성을 고려한 저복잡도 영상 보간 장치 및방법
US8340473B2 (en) 2008-09-22 2012-12-25 Samsung Electronics Co., Ltd. Apparatus and method of interpolating image using region segmentation

Also Published As

Publication number Publication date
KR100471186B1 (ko) 2005-03-10

Similar Documents

Publication Publication Date Title
JP5657391B2 (ja) ハローを低減する画像補間
US8144778B2 (en) Motion compensated frame rate conversion system and method
KR100393066B1 (ko) 적응 움직임 보상형 디-인터레이싱 장치 및 그 방법
US5784115A (en) System and method for motion compensated de-interlacing of video frames
US7057665B2 (en) Deinterlacing apparatus and method
KR100530223B1 (ko) 프레임 레이트 변환시의 프레임 보간 방법 및 그 장치
JP4563603B2 (ja) 両方向動きベクトルを用いたフォーマット変換装置及びその方法
KR100995398B1 (ko) 수직 및 수평 방향의 패턴을 고려한 전역 움직임 보상순차주사화 방법
US20020186889A1 (en) Problem area location in an image signal
US20030086498A1 (en) Apparatus and method of converting frame and/or field rate using adaptive motion compensation
US20030103568A1 (en) Pixel data selection device for motion compensated interpolation and method thereof
US8189105B2 (en) Systems and methods of motion and edge adaptive processing including motion compensation features
US7944503B1 (en) Interlaced-to-progressive video processing
KR20000046212A (ko) 디지탈 영상 데이터의 디인터레이싱 장치
KR100692600B1 (ko) 움직임 추정 장치 및 방법
KR100484182B1 (ko) 디인터레이싱 장치 및 방법
KR100855976B1 (ko) 배경과 이동 객체를 분리하여 움직임을 추정하는 프레임보간 장치 및 프레임 보간 방법
Lee et al. A motion-adaptive de-interlacing method using an efficient spatial and temporal interpolation
KR100422575B1 (ko) 디인터레이싱을 위한 공간축/시간축 보간 시스템 및 방법
JP5025645B2 (ja) 動き推定方法
US7881500B2 (en) Motion estimation with video mode detection
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
KR100471186B1 (ko) 영역 기반으로 영상 데이터를 보간하기 위한 디인터레이싱장치 및 방법
JP2011223086A (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
KR20020026042A (ko) 움직임 보상형 보간을 이용한 디-인터레이싱 장치 및 그방법

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee