KR20160081652A - 디인터레이싱 방법 및 장치 - Google Patents

디인터레이싱 방법 및 장치 Download PDF

Info

Publication number
KR20160081652A
KR20160081652A KR1020140195855A KR20140195855A KR20160081652A KR 20160081652 A KR20160081652 A KR 20160081652A KR 1020140195855 A KR1020140195855 A KR 1020140195855A KR 20140195855 A KR20140195855 A KR 20140195855A KR 20160081652 A KR20160081652 A KR 20160081652A
Authority
KR
South Korea
Prior art keywords
interpolation
pixel
value
deinterlacing
image
Prior art date
Application number
KR1020140195855A
Other languages
English (en)
Other versions
KR101661716B1 (ko
Inventor
전광길
Original Assignee
인천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인천대학교 산학협력단 filed Critical 인천대학교 산학협력단
Priority to KR1020140195855A priority Critical patent/KR101661716B1/ko
Publication of KR20160081652A publication Critical patent/KR20160081652A/ko
Application granted granted Critical
Publication of KR101661716B1 publication Critical patent/KR101661716B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H04N7/012—Conversion between an interlaced and a progressive signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0137—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes dependent on presence/absence of motion, e.g. of motion zones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 디인터레이싱 방법 및 장치에 관한 것으로, 본 발명에 따른 디인터레이싱 장치는 인터레이스 방식으로 기록된 영상을 입력받는 영상 입력부, 상기 입력받은 영상을 디인터레이싱하는 디인터레이싱부 및 상기 디인터레이싱된 영상을 출력하는 출력부를 포함하되, 상기 디인터레이싱부는 보간 대상 픽셀의 주변 픽셀값을 이용하여 해당 보간 대상 픽셀을 보간함으로써 상기 입력받은 영상에서 누락된 픽셀을 보간하는 필터, 상기 필터에서 보간된 보간값과 퍼지 메트릭을 이용하여 상기 보간 대상 픽셀에 대한 가중치를 산출하는 가중치 산출부 및 상기 산출된 가중치를 기초로 상기 필터에서 산출된 보간 대상 픽셀의 보간값을 갱신함으로써 상기 입력받은 영상을 디인터레이싱하는 갱신부를 포함한다.

Description

디인터레이싱 방법 및 장치{METHOD AND APPARATUS FOR DEINTERLACING}
본 발명은 인터레이스(Interlace) 방식의 영상을 디인터레이싱(Deinterlacing)하는 방법 및 장치에 관한 것으로, 더욱 상세하게는 퍼지 메트릭(Fuzzy metric)을 이용하여 영상을 디인터레이싱하는 방법 및 장치에 관한 것이다.
모바일 단말기, 대형 디스플레이 장치 등과 같이 다양한 디지털 영상 장비들은 각기 다른 표준 포맷을 요구하는 다양한 시간적 공간적 해상도를 이용하여, 영상을 디스플레이하거나 전송하거나 저장한다. 이전 영상 통신에서는 영상의 프레임 레이트(frame rate)와 전송 대역폭(transmission bandwidth)의 요구조건을 모두 충족시키기 위해 인터레이스 스캐닝 포맷(Interlaced scanning format)이 사용되어 왔다. 최근의 디지털 영상 장비들은 하드웨어의 발전으로 인해 프로그레시브 스캐닝 포맷(Progressive scanning format)을 사용하고 있으나, 인터레이스 스캐닝 포맷으로 기록된 영상을 디스플레이하는 경우 라인 크롤링(Line crawling), 필드 얼라이어싱(field aliasing), 라인간 플리커(interline flicker) 등과 같이 원치 않는 시각적 부산물(visual artifact) 등이 발생할 수 있다.
따라서, 인터레이스 스캐닝 포맷 영상을 프로그레시브 스캐닝 포맷의 영상으로 변환하면서 향상된 이미지 품질을 제공할 수 있는 디인터레이싱 방법이 필요하다.
대한민국 등록특허 공보 10-1046347, 2011. 06. 28, 5쪽 내지 8쪽.
본 발명은 퍼지 메트릭을 이용하여 영상을 디인터레이싱함으로써, 디인터레이싱 속도와 이미지 품질을 향상시킬 수 있는 디인터레이싱 방법 및 장치를 제공한다.
본 발명에 따른 디인터레이싱 장치는 인터레이스 방식으로 기록된 영상을 입력받는 영상 입력부, 상기 입력받은 영상을 디인터레이싱하는 디인터레이싱부 및 상기 디인터레이싱된 영상을 출력하는 출력부를 포함하되, 상기 디인터레이싱부는 보간 대상 픽셀의 주변 픽셀값을 이용하여 해당 보간 대상 픽셀을 보간함으로써 상기 입력받은 영상에서 누락된 픽셀을 보간하는 필터, 상기 필터에서 보간된 보간값과 퍼지 메트릭을 이용하여 상기 보간 대상 픽셀에 대한 가중치를 산출하는 가중치 산출부 및 상기 산출된 가중치를 기초로 상기 필터에서 산출된 보간 대상 픽셀의 보간값을 갱신함으로써 상기 입력받은 영상을 디인터레이싱하는 갱신부를 포함한다.
일 실시예에서, 상기 필터는 위너 필터(Wiener filter)이다.
일 실시예에서, 상기 필터는 종방향 n개의 픽셀값을 이용하여 상기 보간 대상 픽셀을 보간한다. (n은 상수)
일 실시예에서, 상기 필터는 하기의 수학식 1을 이용하여 상기 보간 대상 픽셀을 보간한다.
[수학식 1]
ISTF (i,j) = h(1)I(-5+i, j) + h(2)I(-3+i, j) + h(3)I(-1+i, j) + h(4)I(1+i, j) + h(5)I(3+i, j) + h(6)I(5+i, j)
여기에서, ISTF (i,j)는 i행, j열 픽셀의 보간값, I(i,j)는 i행, j열 픽셀의 픽셀값, h(n)은 필터 계수, i 및 j는 상수
일 실시예에서, 상기 가중치 산출부는 상기 필터에서 보간된 상기 보간 대상 픽셀의 보간값과 상기 보간 대상 픽셀의 횡방향 n개의 픽셀값을 이용하여 상기 보간 대상 픽셀의 가중치를 산출한다.
일 실시예에서 상기 가중치 산출부는 하기의 수학식 2를 이용하여 상기 보간 대상 픽셀의 가중치를 산출한다.
[수학식 2]
Figure pat00001
Figure pat00002
여기에서, w(i,j)는 i행, j열 픽셀의 가중치, I(i,j)는 i행, j열 픽셀의 픽셀값, ISTF (0,0)는 보간 대상 픽셀의 보간값, i 및 j는 상수, p 및 α는 퍼지 메트릭 계수
일 실시예에서, 상기 갱신부는 하기의 수학식 3을 이용하여 상기 보간 대상 픽셀의 보간값을 갱신한다.
[수학식 3]
Figure pat00003
여기에서, IFMWF (0,0)는 보간 대상 픽셀의 갱신된 보간값, w(i,j)는 i행, j열 픽셀의 가중치, I(i,j)는 i행, j열 픽셀의 픽셀값, ISTF (0,0)는 보간 대상 픽셀의 보간값, i 및 j는 상수, λ는 계수
본 발명에 따른 디인터레이싱 방법은 인터레이스 방식으로 기록된 영상을 디인터레이싱하는 방법에 있어서, 보간 대상 픽셀의 주변 픽셀값을 필터링하여 해당 보간 대상 픽셀을 보간함으로써 상기 영상에서 누락된 픽셀을 보간하는 단계, 상기 보간 단계에서 산출된 보간값과 퍼지 메트릭을 이용하여 상기 보간 대상 픽셀에 대한 가중치를 산출하는 단계 및 상기 산출된 가중치를 기초로 상기 보간 단계에서 산출된 보간 대상 픽셀의 보간값을 갱신함으로써 상기 영상을 디인터레이싱하는 단계를 포함한다.
이상에서 설명한 바와 같이, 본 발명에 따른 디인터레이싱 방법 및 장치는 퍼지 메트릭을 이용하여 영상을 디인터레이싱함으로써, 향상된 이미지 품질의 디인터레이싱된 영상을 제공할 수 있다.
또한, 본 발명에 따른 디인터레이싱 방법 및 장치는 적은 연산량으로 영상을 디인터레이싱할 수 있어, 적은 자원을 사용하여 디인터레이싱 효율을 높일 수 있으며, 빠른 시간 내 디인터레이싱된 영상을 얻을 수 있다.
본 발명에 따른 디인터레이싱 방법 및 장치는 빠른 시간 내 디인터레이싱된 영상을 얻을 수 있으므로, 실시간으로 영상을 제공할 수 있는 서비스에도 적합하다.
도 1은 본 발명의 일 실시예에 따른 디인터레이싱 장치의 구성을 나타내는 구성도
도 2는 도 1의 디인터레이싱부를 나타내는 구성도
도 3은 디인터레이싱 과정을 나타내는 도면
도 4는 갱신 계수의 값에 따른 평균제곱오차(MSE)값을 나타내는 도면
도 5는 본 발명의 일 실시예에 따른 디인터레이싱 방법의 흐름를 나타내는 흐름도
도 6은 각종 디인터레이싱 방법에 따른 디인터레이싱 결과를 나타내는 도면
이하, 본 발명에 따른 방사선 세기 변조체 검증 방법 및 검증 장치를 실시하기 위한 구체적인 내용을 설명하면 다음과 같다.
도 1은 본 발명의 일 실시예에 따른 디인터레이싱 장치의 구성을 나타내는 구성도이다.
도 1을 참조하면, 디인터레이싱 장치는 영상 입력부(110), 디인터레이싱부(120) 및 출력부(130)를 포함한다.
영상 입력부(110)는 인터레이스 스캔 포맷으로 기록된 영상을 입력 받는다. 예를 들어, 영상 입력부(110)는 디인터레이싱할 영상을 입력받아 디인터레이싱부(120)에 전달한다. 디인터레이싱부(120)는 입력받은 영상을 디인터레이싱하고, 출력부(130)는 디인터레이싱된 영상을 출력한다. 예를 들어, 출력부(130)는 디인터레이싱된 메모리와 같은 저장장치(미도시)에 출력하여 저장하거나, 디스플레이장치로 전송하여 영상을 디스플레이하거나, 유선 또는 무선 네트워크를 통해 외부 디바이스나 서버 등으로 전송할 수 있다.
일 실시예에서, 디인터레이싱 장치의 영상 입력부(110), 디인터레이싱부(120) 및 출력부(130)는 하드웨어 또는 소프트웨어 모듈로 구현될 수 있다. 예를 들어, 영상 입력부(110), 디인터레이싱부(120) 및 출력부(130)가 소프트웨어 모듈로 구현되는 경우, 디인터레이싱 장치는 스마트폰이나 테블릿 PC 등과 같은 컴퓨팅 장치에 해당할 수 있다.
도 2는 도 1의 디인터레이싱부를 나타내는 구성도이고, 도 3은 디인터레이싱 과정을 나타내는 도면이다. 이하에서는, 도 2와 도 3을 참조하여 인터레이스 방식으로 기록된 영상을 디인터레이싱하는 과정을 상세히 설명하기로 한다.
도 2를 참조하면, 디인터레이싱부(120)는 필터(210), 가중치 산출부(220) 및 갱신부(230)를 포함한다.
필터(210)는 보간 대상 픽셀의 주변 픽셀값을 이용하여 해당 보간 대상 픽셀을 보간(interpolation)함으로써 입력부(110)를 통해 입력받은 영상에서 누락된 픽셀의 보간값을 산출한다. 일 실시예에서, 디인터레이싱부(120)는 필터(210)로 n-탭의 고정 계수 위너 필터(Wiener filter)를 사용할 수 있다. 위너 필터는 MPEG-4, H.264/AVC 등과 같은 비디오 코덱들에서 서브 픽셀을 추정하는데 널리 사용되는 필터의 한 종류이다. 일 실시예에서, 필터(210)로 n-탭의 고정 계수 위너 필터를 사용하는 경우, n개의 주변 픽셀값을 이용하여 보간 대상 픽셀을 보간할 수 있다.
이하에서는 설명의 편의를 위해, 필터(210)로 6-탭 고정 계수 위너 필터를 사용하는 경우를 가정하여 설명하기로 한다. 6-탭 고정 계수 위너 필터(210)의 필터 계수(h)에는 다양한 종류가 있다. 예를 들어, h32 = [1, -5, 20, 20, -5, 1]/32와 같은 필터 계수를 가지며, h128 = [3, -17, 78, 78, -17, 3]/128과 같은 필터 계수를 가진다. 이하에서는 설명의 편의를 위해, 6-탭 고정 계수 위너 필터(210)의 필터 계수(h)로 h128을 사용하는 경우를 가정하여 설명하기로 한다.
i행 j열 위치의 픽셀, 즉 (i,j) 위치의 픽셀을 보간 대상 픽셀이라고 할 때, 6-탭 고정 계수 위너 필터(210)는 (i,j) 픽셀의 종방향 6개 위치[(-5+i,j), (-3+i,j), (-1+i,j), (1+i,j), (3+i,j), (5+i,j)] 픽셀의 픽셀값[I(-5+i,j), I(-3+i,j), I(-1+i,j), I(1+i,j), I(3+i,j), I(5+i,j)]을 이용하여 (i,j) 위치 픽셀의 보간값을 산출할 수 있다.
이를 수학식으로 나타내면 하기 수학식 1과 같다.
Figure pat00004
여기에서, ISTF (i,j)는 i행, j열 픽셀의 보간값, I(i,j)는 i행, j열 픽셀의 픽셀값, h(n)은 필터 계수, i 및 j는 상수를 나타낸다.
도 3의 (a)를 참조하면, 0행 0열 위치의 픽셀, 즉 (0,0) 위치의 픽셀을 보간 대상 픽셀이라고 할 때, 6-탭 고정 계수 위너 필터(210)는 (0,0) 픽셀의 종방향 6개 위치[(-5,0), (-3,0), (-1,0), (1,0), (3,0), (5,0)] 픽셀의 픽셀값[I(-5,0), I(-3,0), I(-1,0), I(1,0), I(3,0), I(5,0)]을 이용하여 (0,0) 위치 픽셀의 보간값을 산출할 수 있다. 즉, (0,0) 위치 픽셀의 보간값은 ISTF (0,0) = h(1)I(-5,0) + h(2)I(-3,0) + h(3)I(-1,0) + h(4)I(1,0) + h(5)I(3,0) + h(6)I(5,0)와 같이 산출될 수 있다. 6-탭 고정 계수 위너 필터(210)는 누락 픽셀 라인(missing pixel line)에 대해 상기와 같은 보간값 산출을 진행한다.
다만, 보간 대상 픽셀을 보다 정교하게 보간하기 위해 퍼지 메트릭(Fuzzy metric)을 이용하여 보간 대상 픽셀에 대한 가중치를 산출하고, 산출된 가중치를 이용하여 보간값을 갱신한다.
다시 도 2를 참조하면, 가중치 산출부(220)는 필터(210)에서 보간된 보간값과 퍼지 메트릭을 이용하여 보간 대상 픽셀에 대한 가중치를 산출한다. 일 실시예에서, 가중치 산출부(220)는 퍼지 메트릭에 필터(210)에서 보간된 보간 대상 픽셀의 보간값과 보간 대상 픽셀을 둘러싸는 주변 픽셀의 픽셀값을 이용하여 보간 대상 픽셀에 대한 가중치를 산출할 수 있다.
이를 수학식으로 나타내면 하기 수학식 2와 같다.
Figure pat00005
Figure pat00006
여기에서, w(i,j)는 i행, j열 픽셀의 가중치, I(i,j)는 i행, j열 픽셀의 픽셀값, ISTF (0,0)는 보간 대상 픽셀의 보간값, i 및 j는 상수, p 및 α는 각각 퍼지 메트릭 계수를 나타낸다. p 및 α는 설정에 따라 값이 정해질 수 있다. 예를 들어, 특정 영상에 대한 실험에서 p는 0.5에서 10.0까지 0.5를 간격으로 값을 변동시키고, α는 1에서 10까지 1을 간격으로 값을 변동시켰을 때, p와 α가 각각 2와 9일 때 결과 영상에 대한 평균제곱오차(MSE, Mean Square Error)값이 가장 적게 나올 수 있었다. 다만,
Figure pat00007
값이 0이 되는 것을 피하기 위해, p값은 0이 될 수 없다.
보간 대상 픽셀의 횡방향 주변 픽셀, 예를 들어, (0,0)위치 픽셀의 횡방향 주변 픽셀 (0,-1), (0,1)은 원 픽셀값이 없으므로, 필터(210)를 통해 산출된 해당 위치 픽셀의 보간값(ISTF (i,j))을 해당 픽셀의 픽셀값으로 이용한다. 예를 들어, (0,0)위치 픽셀의 가중치를 산출하는 경우, 횡방향 주변 픽셀 (0,-1)의 보간값(ISTF (0,-1))을 해당 픽셀의 픽셀값(I(0,-1))으로 사용하고, (0,1)의 보간값(ISTF (0,1))을 해당 픽셀의 픽셀값(I(0,1))으로 사용한다.
도 3의 (b)는 보간 대상 픽셀(0,0)의 보간값과 보간 대상 픽셀을 둘러싸는 8개의 주변 픽셀의 픽셀값[I(-1,-1), I(-1,0), I(-1,1), I(-1,0), I(1,0), I(1,-1), I(1,0), I(1,1)]을 이용하여 보간 대상 픽셀에 대한 가중치를 산출하는 과정을 나타낸다.
보간 대상 픽셀에 대한 가중치가 산출되면, 갱신부(230)는 가중치 산출부(220)에서 산출된 가중치를 기초로 필터(210)에서 산출된 보간 대상 픽셀의 보간값을 갱신한다. 갱신부(230)는 영상 내 모든 누락 픽셀(missing pixel)에 대해 보간값을 갱신함으로써 디인터레이싱된 영상을 생성할 수 있다.
갱신부(230)는 하기의 수학식 3을 이용하여 보간 대상 픽셀의 보간값을 갱신한다.
Figure pat00008
여기에서, IFMWF (0,0)는 보간 대상 픽셀의 갱신된 보간값, w(i,j)는 i행, j열 픽셀의 가중치, I(i,j)는 i행, j열 픽셀의 픽셀값, ISTF (0,0)는 보간 대상 픽셀의 보간값, i 및 j는 상수, λ는 계수를 나타낸다.
도 4는 갱신 계수(λ)의 값에 따른 평균제곱오차(MSE)값을 나타내는 도면이다. λ는 설정에 따라 값이 정해질 수 있다. 예를 들어, 도 4를 참조하면 특정 영상에 대한 실험에서 λ가 약 0.3 부근일 때 결과 영상에 대한 평균제곱오차값이 가장 적게 나올 수 있었다.
수학식 1 내지 수학식 3을 살펴보면, 보간 대상 픽셀 (0,0)의 보간값(ISTF (0,0))과 주변 특정 픽셀의 픽셀값(I(i,j))의 차이가 작으면 해당 주변 픽셀에 대한 가중치(w(i,j))는 커지고, 보간 대상 픽셀 (0,0)의 보간값(ISTF (0,0))과 주변 특정 픽셀의 픽셀값(I(i,j))의 차이가 크면 해당 주변 픽셀에 대한 가중치(w(i,j))는 작아지는 것을 확인할 수 있다.
도 5는 본 발명의 일 실시예에 따른 디인터레이싱 방법의 흐름를 나타내는 흐름도이다.
도 5를 참조하면, 입력부(110)는 디인터레이싱할 영상을 입력받는다(단계 S510). 예를 들어, 입력부(110)는 인터레이스 스캔 포맷으로 기록된 영상을 입력받을 수 있다.
디인터레이싱할 영상이 입력되면, 디인터레이싱부(120)는 필터를 이용하여 보간 대상 픽셀을 보간한다(단계 S520). 일 실시예에서, 디인터레이싱부(120)는 n-탭의 고정 계수 위너 필터(Wiener filter)를 이용하여 보간 대상 픽셀의 보간값을 산출할 수 있다. 보간 대상 픽셀의 보간값을 산출하는 과정은 수학식 1에서 설명한 바와 같다.
필터에서 보간 대상 픽셀에 대한 보간값이 산출되면, 디인터레이싱부(120)는 필터에서 보간된 보간값과 퍼지 메트릭(Fuzzy metric)을 기반으로 보간 대상 픽셀에 대한 가중치를 산출한다(단계 S530). 가중치를 산출하는 과정은 수학식 2에서 설명한 바와 같다.
보간 대상 픽셀에 대한 가중치가 산출되면, 디인터레이싱부(120)는 산출된 가중치를 기반으로 필터에서 산출된 보간 대상 픽셀의 보간값을 갱신하여 디인터레이싱된 영상을 생성한다(단계 S540). 가중치를 기초로 보간 대상 픽셀의 보간값을 갱신하는 과정은 수학식 3에서 설명한 바와 같다. 디인터레이싱된 영상이 생성되면, 출력부(130)는 생성된 영상을 출력한다(단계 S550).
도 6은 각종 디인터레이싱 방법에 따른 디인터레이싱 결과를 나타내는 도면이다. 도 6의 (a)는 원본 Barbara 이미지이며, (b)는 EELA 디인터레이싱 방법에 따른 결과 영상, (c)는 NEDD 디인터레이싱 방법에 따른 결과 영상, (d)는 EMD 디인터레이싱 방법에 따른 결과 영상, (e)는 LCID 디인터레이싱 방법에 따른 결과 영상, (f)는 MELA 디인터레이싱 방법에 따른 결과 영상, (g)는 LABI 디인터레이싱 방법에 따른 결과 영상, (h)는 FEPD 디인터레이싱 방법에 따른 결과 영상, (i)는 MCAD 디인터레이싱 방법에 따른 결과 영상, (j)는 LSMDA 디인터레이싱 방법에 따른 결과 영상, (k)는 FSID 디인터레이싱 방법에 따른 결과 영상, (l)는 본 발명에 따른 디인터레이싱 방법에 따른 결과 영상을 나타낸다.
표 1은 각종 디인터레이싱 방법에 따른 디인터레이싱 결과 영상의 피크 신호대잡음비(PSNR, Peak Singnal to Noise Ratio) 성능을 비교한 표이며, 표 2는 각종 디인터레이싱 방법에 따른 디인터레이싱 처리 시간을 비교한 표이다.
본 발명에 따른 디인터레이싱 방법의 약어(abbreviation)는 FMWF이며, 성능 비교에는 해당 분야에서 널리 알려진 EELA, NEDD, EMD, LCID, MELA, LABI, FEPD, MCAD, LSMD, FSID 디인터레이싱 방법이 테스트되었다.
Figure pat00009
Figure pat00010
표 1을 참조하면, 10개의 임의 이미지(Airplane, Akiyo, Barbara, Bluesky, Boat, Bus, City, Finger, Football, Girl)에 대해 피크 신호대잡음비(PSNR) 순위가 1위 내지 2위로 각종 디인터레이싱 방법 중에서 평균적으로 순위가 가장 높음을 확인할 수 있다.
또한, 표 2를 참조하면, 10개의 임의 이미지(Airplane, Akiyo, Barbara, Bluesky, Boat, Bus, City, Finger, Football, Girl)에 대해 디인터레이싱 처리 시간 순위가 2위 내지 3위로 각종 디인터레이싱 방법 중에서 평균적으로 순위가 비교적 높은 3위 임을 확인할 수 있다.
도 1 내지 도 6을 통해 설명된 시스템 및 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다.
컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
모듈(module)이라 함은 명세서에서 설명되는 각각의 명칭에 따른 기능과 동작을 수행할 수 있는 하드웨어를 의미할 수도 있고, 또한 특정한 기능과 동작을 수행할 수 있는 컴퓨터 프로그램 코드를 의미할 수도 있고, 또한 특정한 기능과 동작을 수행시킬 수 있는 컴퓨터 프로그램 코드가 탑재된 전자적 기록 매체, 예컨대 프로세서를 의미할 수 있다.
이상 본 발명의 실시예로 설명하였으나 본 발명의 기술적 사상이 상기 실시예로 한정되는 것은 아니며, 본 발명의 기술적 사상을 벗어나지 않는 범주에서 다양한 의료 정보 등록 방법 및 그 시스템으로 구현할 수 있다.
110 : 영상 입력부
120 : 디인터레이싱부
130 : 출력부

Claims (9)

  1. 인터레이스 방식으로 기록된 영상을 입력받는 영상 입력부;
    상기 입력받은 영상을 디인터레이싱하는 디인터레이싱부; 및
    상기 디인터레이싱된 영상을 출력하는 출력부를 포함하되,
    상기 디인터레이싱부는
    보간 대상 픽셀의 주변 픽셀값을 이용하여 해당 보간 대상 픽셀을 보간함으로써 상기 입력받은 영상에서 누락된 픽셀을 보간하는 필터;
    상기 필터에서 보간된 보간값과 퍼지 메트릭을 이용하여 상기 보간 대상 픽셀에 대한 가중치를 산출하는 가중치 산출부; 및
    상기 산출된 가중치를 기초로 상기 필터에서 산출된 보간 대상 픽셀의 보간값을 갱신함으로써 상기 입력받은 영상을 디인터레이싱하는 갱신부를 포함하는 디인터레이싱 장치.
  2. 제1항에 있어서,
    상기 필터는
    위너 필터(Wiener filter)인 디인터레이싱 장치.
  3. 제1항에 있어서,
    상기 필터는
    종방향 n개의 픽셀값을 이용하여 상기 보간 대상 픽셀을 보간하는 디인터레이싱 장치.
    (n은 상수)
  4. 제3항에 있어서,
    상기 필터는
    하기의 수학식 1을 이용하여 상기 보간 대상 픽셀을 보간하는 디인터레이싱 장치.
    [수학식 1]
    ISTF (i,j) = h(1)I(-5+i, j) + h(2)I(-3+i, j) + h(3)I(-1+i, j) + h(4)I(1+i, j) + h(5)I(3+i, j) + h(6)I(5+i, j)
    여기에서, ISTF (i,j)는 i행, j열 픽셀의 보간값, I(i,j)는 i행, j열 픽셀의 픽셀값, h(n)은 필터 계수, i 및 j는 상수
  5. 제1항에 있어서,
    상기 가중치 산출부는
    상기 필터에서 보간된 상기 보간 대상 픽셀의 보간값과 상기 보간 대상 픽셀의 주변 픽셀의 픽셀값을 이용하여 상기 보간 대상 픽셀의 가중치를 산출하는 디인터레이싱 장치.
  6. 제5항에 있어서,
    상기 가중치 산출부는
    하기의 수학식 2를 이용하여 상기 보간 대상 픽셀에 대한 가중치를 산출하는 디인터레이싱 장치.
    [수학식 2]
    Figure pat00011

    Figure pat00012

    여기에서, w(i,j)는 i행, j열 픽셀의 가중치, I(i,j)는 i행, j열 픽셀의 픽셀값, ISTF (0,0)는 보간 대상 픽셀의 보간값, i 및 j는 상수, p 및 α는 퍼지 메트릭 계수
  7. 제1항에 있어서,
    상기 갱신부는
    하기의 수학식 3을 이용하여 상기 보간 대상 픽셀의 보간값을 갱신하는 디인터레이싱 장치.
    [수학식 3]
    Figure pat00013

    여기에서, IFMWF (0,0)는 보간 대상 픽셀의 갱신된 보간값, w(i,j)는 i행, j열 픽셀의 가중치, I(i,j)는 i행, j열 픽셀의 픽셀값, ISTF (0,0)는 보간 대상 픽셀의 보간값, i 및 j는 상수, λ는 계수
  8. 인터레이스 방식으로 기록된 영상을 디인터레이싱하는 방법에 있어서,
    보간 대상 픽셀의 주변 픽셀값을 필터링하여 해당 보간 대상 픽셀을 보간함으로써 상기 영상에서 누락된 픽셀을 보간하는 단계;
    상기 보간 단계에서 산출된 보간값과 퍼지 메트릭을 이용하여 상기 보간 대상 픽셀에 대한 가중치를 산출하는 단계; 및
    상기 산출된 가중치를 기초로 상기 보간 단계에서 산출된 보간 대상 픽셀의 보간값을 갱신함으로써 상기 영상을 디인터레이싱하는 단계를 포함하는 디인터레이싱 방법.
  9. 제8항에 있어서,
    상기 보간 대상 픽셀의 보간값을 갱신함으로써 상기 영상을 디인터레이싱하는 단계는
    하기의 수학식 4를 이용하여 상기 보간 대상 픽셀의 보간값을 갱신하는 디인터레이싱 방법.
    [수학식 4]
    Figure pat00014

    여기에서, IFMWF (0,0)는 보간 대상 픽셀의 갱신된 보간값, w(i,j)는 i행, j열 픽셀의 가중치, I(i,j)는 i행, j열 픽셀의 픽셀값, ISTF (0,0)는 보간 대상 픽셀의 보간값, i 및 j는 상수, λ는 계수
KR1020140195855A 2014-12-31 2014-12-31 디인터레이싱 방법 및 장치 KR101661716B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140195855A KR101661716B1 (ko) 2014-12-31 2014-12-31 디인터레이싱 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140195855A KR101661716B1 (ko) 2014-12-31 2014-12-31 디인터레이싱 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160081652A true KR20160081652A (ko) 2016-07-08
KR101661716B1 KR101661716B1 (ko) 2016-10-04

Family

ID=56503857

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140195855A KR101661716B1 (ko) 2014-12-31 2014-12-31 디인터레이싱 방법 및 장치

Country Status (1)

Country Link
KR (1) KR101661716B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230083519A (ko) * 2021-12-03 2023-06-12 인천대학교 산학협력단 지능형 컬러 영상 복원 시스템 및 이를 이용한 디인터레이싱 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101046347B1 (ko) 2009-03-24 2011-07-05 중앙대학교 산학협력단 영상 디인터레이싱 방법 및 그 장치
KR20130001626A (ko) * 2011-06-27 2013-01-04 한양대학교 산학협력단 위너필터 기반의 가중치를 부여하여 화소를 보간하는 디인터레이싱 장치 및 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101046347B1 (ko) 2009-03-24 2011-07-05 중앙대학교 산학협력단 영상 디인터레이싱 방법 및 그 장치
KR20130001626A (ko) * 2011-06-27 2013-01-04 한양대학교 산학협력단 위너필터 기반의 가중치를 부여하여 화소를 보간하는 디인터레이싱 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Gwanggil Jeon ET AL., A robust fuzzy-bilateral filtering method and its application to video deinterlacing, Journal of Real-Time Image Processing, Springer-Verlag Berlin Heidelberg, 2013.03.31 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230083519A (ko) * 2021-12-03 2023-06-12 인천대학교 산학협력단 지능형 컬러 영상 복원 시스템 및 이를 이용한 디인터레이싱 방법

Also Published As

Publication number Publication date
KR101661716B1 (ko) 2016-10-04

Similar Documents

Publication Publication Date Title
US11128888B2 (en) Method and apparatus for video decoding
US11115662B2 (en) Quantization matrix design for HEVC standard
US11475539B2 (en) Electronic apparatus, system and controlling method thereof
US20200389665A1 (en) Video encoding and decoding method, and storage medium thereof
US20120314772A1 (en) Optical flow based motion vector estimation systems and methods
KR102169480B1 (ko) 이미지에서 적응적인 주파수 강도 컨트롤 변환으로 디테일 생성
JP2010516101A (ja) マニュアル操作によるディジタルビデオ安定化
EP1850590A2 (en) Motion compensated video spatial up-conversion
CN118055253A (zh) 用于视频代码化中的运动补偿预测的光流估计
US10284810B1 (en) Using low-resolution frames to increase frame rate of high-resolution frames
EP2974262B1 (en) Creating details in an image with frequency lifting
EP2974336B1 (en) Creating details in an image with adaptive frequency lifting
WO2009073415A2 (en) Temporal image prediction
EP2974335B1 (en) Control of frequency lifting super-resolution with image features
US20190141332A1 (en) Use of synthetic frames in video coding
US7679676B2 (en) Spatial signal conversion
Hong et al. Deinterlacing algorithm using fixed directional interpolation filter and adaptive distance weighting scheme
KR101661716B1 (ko) 디인터레이싱 방법 및 장치
US9064190B2 (en) Estimating pixel values in digital image processing
TWI471010B (zh) 一種具有移動補償的解交錯影像處理裝置及其相關方法
US9432614B2 (en) Integrated downscale in video core
KR101662591B1 (ko) 소프트 디시전 기반 디인터레이싱 방법 및 장치
KR20230061182A (ko) 디인터레이싱된 영상의 화질 개선방법 및 장치
Chen et al. Frame rate up-conversion based on dual criterion motion estimation and motion vector adjustment
JP4042121B2 (ja) 画像情報処理装置及び画像情報処理方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 4