KR101106634B1 - 움직임 벡터 스무딩 장치 및 방법 - Google Patents

움직임 벡터 스무딩 장치 및 방법 Download PDF

Info

Publication number
KR101106634B1
KR101106634B1 KR1020100044663A KR20100044663A KR101106634B1 KR 101106634 B1 KR101106634 B1 KR 101106634B1 KR 1020100044663 A KR1020100044663 A KR 1020100044663A KR 20100044663 A KR20100044663 A KR 20100044663A KR 101106634 B1 KR101106634 B1 KR 101106634B1
Authority
KR
South Korea
Prior art keywords
edge
motion vector
maximum frequency
information
directional information
Prior art date
Application number
KR1020100044663A
Other languages
English (en)
Other versions
KR20110125106A (ko
Inventor
박주현
김영철
홍성훈
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020100044663A priority Critical patent/KR101106634B1/ko
Publication of KR20110125106A publication Critical patent/KR20110125106A/ko
Application granted granted Critical
Publication of KR101106634B1 publication Critical patent/KR101106634B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive

Abstract

본 발명은 움직임 벡터 스무딩 장치 및 방법에 관한 것으로, 보간 된 중간 영상의 열화현상을 줄이고 객관적 화질과 주관적 화질을 향상시킬 수 있는 움직임 벡터 스무딩 장치 및 방법에 관한 것이다.
본 발명에 의한 움직임 벡터 스무딩 장치는 아웃라이어를 검출하고, 검출된 아웃라이어를 제거하는 중앙블록 움직임 벡터 산출부; 영상의 각각 화소에 대한 4방향 에지 정보 생성 및 최대 에너지 비교를 통한 통합 에지 방향성 정보를 생성하고, 상기 통합 에지 방향성 정보를 수정하는 에지 정보 산출부; 통합 에지 정보맵을 기반으로 최대 빈도 에지 방향을 검출하여 최종 에지 방향성을 검출하는 최대빈도 필터부; 및 전체의 움직임 벡터 중 최소 거리 연산을 수행하는 가중 벡터 중앙값 필터부;를 구비한다.

Description

움직임 벡터 스무딩 장치 및 방법{Apparatus and Method for Motion Vector Smoothing}
본 발명은 움직임 벡터 스무딩 장치 및 방법에 관한 것으로, 보간 된 중간 영상의 열화현상을 줄이고 객관적 화질과 주관적 화질을 향상시킬 수 있는 움직임 벡터 스무딩 장치 및 방법에 관한 것이다.
현재 디지털 티비는 HD급에서 full HD급으로 변화하고 있으며, 이와 함께 대형화와 고화질이 요구되고 있다. 특히 스포츠 같은 역동적인 화면에서의 고화질 구현과 LCD의 단점 중 하나인 움직임 번짐 현상과 요동현상을 줄이기 위하여 후처리 과정으로 프레임율 증가방법(Frame Rate Up-Conversion; 이하 'FRUC'라고 함)이 사용되고 있다. 전통적인 FRUC 기법으로는 프레임 반복이나 선형 프레임 보간법이 사용되었지만, 현재는 움직임 정보를 고려한 움직임 보상 기반 프레임 보간(Motion Compensated Frame Interpolation; 이하 'MCFI'라고 함)이 주목받고 있다.
MCFI 구현은 움직임 예측기를 이용하여 인접한 두 프레임 사이에서 움직임 정보를 추출하고 그 움직임 정보의 절반값을 이용하여 중간 프레임을 보간하는 것이다. 그러나 이러한 움직임 예측기는 잡음, 물페의 폐색, 밝기의 변화와 움직임 물체의 모양 변화에 의해 실제 움직임과는 다른 움직임을 예측한다. 그 결과 움직임 벡터의 후처리 없이 움직임 예측 결과를 바로 사용하는 것은 블록화 현상과 고스트 열화뿐만 아니라 움직이는 물체 모양의 변형을 초래하므로 움직임 벡터 스무딩(smoothing) 처리과정은 필수적이다.
기존의 움직임 벡터 스무딩 기법의 하나로서 벡터 미디언 필터(Vector Median Filter; 이하 'VMF'라고 함)를 이용하는 방법이 있다. 이 방법은 스무딩 성능은 좋지만 물체의 경계면이 블러링(blurring)이 되거나 고스트 현상이 발생하는 문제점이 있다. 다른 스무딩 방법으로 가변 가중치 벡터 미디언 필터(Adaptively Weighted VMF) 방법이 있다. 이러한 방법은 번짐 현상이나 고스트 현상은 개선할 수 있으나 물체 모양의 변형 영역에서 성능 저하로 블록화 현상이 발생한다. 또 다른 스무딩 방법으로는 움직임 벡터들의 방향 각 차이 값을 기반하여 신뢰성 검사 후에 벡터 미디언 필터와 저역 통과 필터를 적용하는 방법(DMVP)도 제안되었다. 하지만 이 방법 역시 번짐 현상과 고스트 현상이 발생하는 문제점이 있고, 위상 차이 값에 따른 움직임 벡터 신뢰성 판별 기준값의 변화에 따라 성능 차이가 나타나는 문제점이 있다. 그리고 최근에는 전방향과 후방향 움직임 예측 결과 중 최소 잉여 값을 갖는 움직임 벡터를 선택하는 방법(BMVP)이 제안되었다. 그러나 이와 같은 방법들은 변위 각과 프레임 차이 값에 의해서만 움직임 벡터의 상호 연관성을 처리하므로 많은 계산량과 복잡한 알고리즘을 요구한다.
본 발명은 상기와 같은 종래 기술의 문제점 및 기술 개발의 필요성을 해결하기 위해 안출된 것으로, 알고리즘을 단순화하면서 보간 된 영상의 화질을 개선할 수 있는 움직임 벡터 스무딩 장치 및 방법을 제공하는 데에 있다.
상기의 목적을 달성하기 위해서 본 발명에 의한 움직임 벡터 스무딩 장치는 아웃라이어를 검출하고, 검출된 아웃라이어를 제거하는 중앙블록 움직임 벡터 산출부; 영상의 각각 화소에 대한 4방향 에지 정보 생성 및 최대 에너지 비교를 통한 통합 에지 방향성 정보를 생성하고, 상기 통합 에지 방향성 정보를 수정하는 에지 정보 산출부; 통합 에지 정보맵을 기반으로 최대 빈도 에지 방향을 검출하여 최종 에지 방향성을 검출하는 최대빈도 필터부; 및 전체의 움직임 벡터 중 최소 거리 연산을 수행하는 가중 벡터 중앙값 필터부;를 구비한다.
중앙블록 움직임 벡터 산출부는 현재 움직임 벡터와 주위 움직임 벡터들과의 방향 값 차이 평균값 연산과 경계면 정합 왜곡률을 이용하여 아웃라이어를 검출한다. 그리고, 중앙블록 움직임 벡터 산출부는 검출된 아웃라이어가 임계치를 초과할 경우에 벡터 중앙값을 적용하여 아웃라이어를 제거한다.
에지 정보 산출부는 통합 에지 방향성 정보맵을 생성하는 방향성 검출 필터 및 에지 방향성을 보완하기 위한 최대 빈도 필터부를 구비할 수 있다.
가중 벡터 중앙값 필터부는 최대 빈도 필터부에서 검출한 최종 에지 방향에 위치하는 움직임 벡터에 가중치를 두어 전체의 움직임 벡터 중 최소 거리 연산을 수행할 수 있다.
그리고 중앙 블록 움직임 벡터 산출부에서 검출된 아웃라이어가 임계치보다 작을 경우에 초기 움직임 벡터를 가중 벡터 중앙값 필터 처리부로 전송하는 제어부를 더 구비할 수 있다.
본 발명에 의한 움직임 벡터 스무딩 방법은 현재 움직임 벡터와 주변 움직임 벡터들과의 정보를 이용하여 아웃라이어를 검출하고, 벡터 중앙값 필터를 적용하여 중앙블록 움직임 벡터를 산출하는 제 1 단계; 에지 방향성을 고려하여 에지 방향성 정보를 추출하고, 에지 방향성 정보에 최대 빈도 필터를 적용하여 최종 에지 방향성 정보를 생성하는 제 2 단계; 최종 에지 방향성 정보를 이용하여 중심 블록의 에지 방향에 해당하는 움직임 벡터들에 가중치를 두어 가중 벡터 중앙값을 산출하는 제 3 단계; 및 가중 벡터 중앙값을 기반으로 움직임 벡터를 스무딩하는 제 4 단계를 포함한다.
이때 제 1 단계는 현재 블록의 움직임 벡터와 주변 8개의 움직임 벡터들과의 방향 값 차이 평균값 연산과 상위블록, 하위블록, 오른쪽 및 왼쪽 블록 4방향 블록과의 경계면 정합 왜곡률 계산을 통하여 아웃라이어를 검출하고 벡터 중앙값을 적용하여 아웃라이어를 제거하는 방법일 수 있다.
그리고 제 2 단계는 에지 방향성을 고려하여 영상의 각각의 화소에 대한 4방향 에지 방향성 정보를 블록기반 에지 방향 정보맵으로 생성하고, 4 방향의 블록기반 에지 정보의 최대 에너지를 비교 선택하여 블록기반 통합 정보맵을 구성하는 것일 수 있다. 또한 제 2 단계는 블록기반 통합 정보맵을 이용하여 마스크 내의 최대 빈도 방향이 어느 방향인지를 판단하고, 그 최대 빈도 방향을 최종 에지 방향으로 산출하는 것일 수 있다.
제 2 단계에서 상기 최대 빈도 필터를 적용하는 방법은 에지 방향성 정보가 '1'일 경우에 수평 방향 최대 빈도 필터를 적용하고, 에지 방향성 정보가 '2'일 경우에 수직 방향 최대 빈도 필터를 적용하고, 에지 방향성 정보가 '3'일 경우에 양의 대각방향 최대 빈도 필터를 적용하고, 에지 방향성 정보가 '4'일 경우에 음의 대각방향 최대 빈도 필터를 적용하는 것일 수 있다.
상술한 바와 같이 본 발명에 따르면, 스무딩 처리 될 움직임 벡터와 주변 움직임 벡터에 대해 방향성 정보를 검출하고 구해진 에지 방향성 정보에 기반하여 최대 빈도 필터를 적용함으로써 일관된 방향성 정보를 얻을 수 있다. 이에 따라서 개선된 스무딩 처리된 움직임 벡터를 획득할 수 있다.
그리고 스무딩 처리 될 움직임 벡터의 방향 정보와 주위 움직임 벡터들의 방향 정보의 상호 연관성을 이용하여 가중치 값을 산출함으로써 보다 향상된 스무딩 처리된 움직임 벡터를 구할 수 있다.
본 발명은 이와 같이 개선된 스무딩 처리된 움직임 벡터를 기반으로 영상을 보간함으로써 열화 현상을 줄이고 화질을 향상시킬 수 있다.
도 1은 본 발명에 의한 움직임 벡터 스무딩 장치를 나타내는 블록도.
도 2는 에지 방향성 정보를 블록 기반으로 검출한 결과를 나타내는 도면.
도 3은 통합 에지 방향성 정보맵의 일례를 나타내는 도면.
도 4 내지 도 7은 최대 빈도 필터들의 일례를 나타내는 도면.
도 8은 에지 방향성 정보맵에 최대 빈도 필터들을 적용하는 것을 나타내는 도면.
도 9a 내지 도 14c는 입력영상, 기존 방식 적용 영상 또는 본 발명의 적용 영상을 나타내는 도면들.
본 발명에서 사용되는 용어는 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 특정한 경우는 출원인이 임의로 선정한 용어도 있는데 이 경우에는 단순한 용어의 명칭이 아닌 발명의 상세한 설명 부분에 기재되거나 사용된 의미를 고려하여 그 의미가 파악되어야 할 것이다.
이하, 본 발명에 따른 실시예를 첨부된 도면을 참조하여 구체적으로 설명하기로 한다.
도 1은 본 발명에 의한 움직임 벡터 스무딩 장치를 나타내는 블록도이다.
도 1을 참조하면, 본 발명에 의한 움직임 벡터 스무딩 장치는 중앙블록 움직임 벡터 산출부(100), 에지 정보 산출부(200) 및 가중 벡터 중앙값 필터부(300)를 구비한다.
중앙블록 움직임 벡터 산출부(100)는 아웃라이어를 검출하고, 검출된 상기 아웃라이어를 제거한다. 중앙블록 움직임 벡터 산출부(100)가 아웃라이어를 검출하는 방법은 현재 움직임 벡터와 주위 움직임 벡터들과의 방향 값 차이 평균값 연산과 경계면 정합 왜곡률을 이용할 수 있다. 그리고, 중앙블록 움직임 벡터 산출부(100)는 벡터 중앙값 필터를 적용하여 아웃라이어를 제거한다.
다음의 [수학식 1]은 중앙블록 움직임 벡터 산출부(100)에서 아웃라이어를 검출하기 위해서 현재 움직임 벡터와 주위 움직임 벡터들과의 방향 값 차이(Angle Difference; AD) 평균값 계산을 하는 방법을 나타내는 수학식이다.
Figure 112010030662923-pat00001
여기에서
Figure 112010030662923-pat00002
와
Figure 112010030662923-pat00003
는 각각 현재 블록 움직임 벡터와 주위 8개 움직임 벡터를 의미한다.
그리고 다음의 [수학식 2]는 경계면 정합 왜곡률(Side Matching Distortion;DMD) 계산 방법을 나타내는 수학식이다.
Figure 112010030662923-pat00004
여기에서 gk 와 hk는 각각 현재 블록과 주위 4개의 블록인 상위블록, 하위블록, 오른쪽 및 왼쪽 블록과의 경계면의 kth 번째 화소를 의미한다. 그리고 N과 Bi ,j는 경계면 화소의 수와 경계면 정합 왜곡률 계산을 위한 현재 블록을 의미한다.
또한 다음의 [수학식 3]은 경계면 정합 왜곡률 계산을 위한 예측 블록과 주위 블록에 움직임 벡터의 적용 계산 방법을 나타내는 수학식이다.
Figure 112010030662923-pat00005
[수학식 3]에서 fn -1, fn, fn +1, V는 각각 이전 프레임, 보간된 프레임, 현재 프레임 및 움직임 예측기에서 예측된 초기 움직임 벡터를 의미한다.
이와 같이 중앙블록 움직임 벡터 산출부(100)에서 아웃라이어가 제거된 움직임 벡터는 가중 벡터 중앙값 필터부(300)로 전송된다.
그리고 이때 중앙블록 움직임 벡터 산출부(100)에서 검출한 아웃라이어가 임계치보다 작을 경우에는 제어부(400)의 동작에 의해 초기 움직임 벡터가 가중 벡터 중앙값 필터부(300)로 전송된다.
에지 정보 산출부(200)는 영상의 각각 화소에 대한 4방향 에지 정보 생성 및 최대 에너지 비교를 통한 통합 에지 정보 맵을 검출한다. 이를 위해서 에지 정보 산출부(200)는 통합 에지 방향성 정보맵(edge-direction information map)을 생성하기 위한 방향성 검출필터(210) 및 에지 방향성을 보완하기 위한 최대 빈도 필터부(220)를 구비한다.
즉, 에지 정보 산출부(200)는 입력 영상의 각 화소들의 에지 방향성 정보를 마스크를 이용하여 도 2 에서 나타나는 것처럼 블록기반으로 검출한다. 그리고 방향성 검출필터(210)는 블록 기반으로 검출된 에지 방향성 정보를 기반으로 에너지를 비교 선택하여 한 블록마다 하나의 통합 에지 방향성 정보를 검출한다.
즉, 화소마다 밝기의 값이 다 다르기 때문에 임의의 한 블록은 4가지 방향성 정보를 다 가지고 있을 수 있다. 이때 하나의 대표 에지 방향을 할당하기 위해서 그 블록의 각각의 에지 방향들의 화소 밝기값을 합산하고 그 합산한 에너지 값을 비교하여 가장 높은 값의 에지 방향을 최종 에지 방향으로 선택한다. 그리고 이러한 에지 방향성 정보를 바탕으로 도 3과 같은 통합 에지 방향성 정보맵을 생성한다.
그리고 최대 빈도 필터부(220)는 방향성 검출 필터에서 생성된 에지 방향성 중에서 주변 고주파 성분이나 잡음으로 잘못 생성된 에지 방향성을 보완한다. 이를 위해서 최대 빈도 필터부는 중앙 블록 에지 방향성 정보와 주변 8개 블록들의 에지 방향성 정보를 이용하여 에지 방향성 정보를 수정한다.
이를 위해서 최대 빈도 필터부(220)는 도 4 내지 도 7과 같은 제 1 내지 제 4 최대 빈도 필터(221,222,223,224)들을 구비할 수 있다. 도면에서 보는 바와 같이 각각의 최대 빈도 필터는 3x3 크기의 13 탭 필터들일 수 있다. 이때 제 1 최대 빈도 필터(221)는 수평 방향 최대 빈도 필터이고, 제 2 최대 빈도 필터(222)는 수직 방향 최대 빈도 필터이다. 또한 제 3 최대 빈도 필터(223)는 양의 대각방향 최대 빈도 필터이고, 제 4 최대 빈도 필터(224)는 음의 대각 방향 최대 빈도 필터를 나타내는 것이다.
이와 같은 최대 빈도 필터들(221,222,223,224)을 포함하는 최대 빈도 필터부(220)를 이용하여 최종 에지 방향성 정보 θ'(i,j)를 검출하는 방법을 도 8을 결부하여, [수학식 4] 내지 [수학식 7]을 참조로 살펴보면 다음과 같다.
도 8에서와 같이 최대 빈도 필터부(220)는 도 3에 도시된 에지 방향성 정보맵(202)에 제 1 내지 제 4 최대 빈도 필터(221,222,223,224) 중 하나를 이용하여 움직임 벡터 스무딩에 사용할 최종 에지 방향성 정보 θ'(i,j)를 결정한다. 그리고 이때 적용되는 최대 빈도 필터는 최대 빈도 필터의 중심에 위치한 에지 방향성 정보 θ(i,j)에 따라서 제 1 내지 제 4 최대 빈도 필터(221,222,223,224) 중 하나가 선택될 수 있다. 즉, θ(i,j)가 '1'이면 제 1 최대 빈도 필터(221)를 적용하고, θ(i,j)가 '2'이면 제 2 최대 빈도 필터(222)를 적용한다. 그리고 θ(i,j)가 '3'이면 제 3 최대 빈도 필터(223)를 적용하고, θ(i,j)가 '4'이면 제 4 최대빈도 필터(224)를 적용한다.
다음의 [수학식 4]는 제 1 최대 빈도 필터(221)인 수평 방향 13탭 최대 빈도 필터의 적용 방법을 나타내는 수학식이다.
Figure 112010030662923-pat00006
즉, [수학식 4]는 최대 빈도 필터의 중심에 위치한 θ(i,j)가 '1'이면 그 주위 블록들 중 수평 방향에 있는 D,E 의 에지 방향성도 중심블록의 에지 방향성 정보와 유사하다는 가정이 성립되기 때문에 중심 블록 에지 정보는 세 번, D, E의 에지 방향성 정보는 두 번씩 다른 에지 주변 방향성 정보 보다 더 많이 사용함으로써 잘못된 에지 방향성 정보를 보완한 최종 에지 방향성 정보
Figure 112010030662923-pat00007
를 얻는다.
아래의 [수학식 5] 내지 [수학식 7] 역시 [수학식 4]와 같은 원리로 연산을 수행한다. 즉, [수학식 5]는 θ(i,j)가 '2'일 경우에 최대 빈도 필터의 적용을 설명하는 것이고, [수학식 6] 및 [수학식 7]은 θ(i,j)가 각각 '3' 및 '4'일 경우에 최대 빈도 필터의 적용을 설명하는 수학식이다.
Figure 112010030662923-pat00008
Figure 112010030662923-pat00009
Figure 112010030662923-pat00010
가중 벡터 중앙값 필터부(300)는 는 최종 에지 방향성 정보
Figure 112010030662923-pat00011
를 사용하여 그 방향에 해당되는 주변 움직임 벡터에 가중치를 적용하고 움직임 벡터 집합인
Figure 112010030662923-pat00012
에서 최소 거리 연산을 수행하여 최적의 움직임 벡터를 구한다.
다음의 [수학식 8] 내지 [수학식 11]은 가중 벡터 중앙값 필터부(300)의 적용 방법을 나타내는 수학식들이다.
Figure 112010030662923-pat00013
먼저 [수학식 8]은 최종 에지 방향성 정보
Figure 112010030662923-pat00014
가 '1'일 경우의 가중 벡터 중앙값 필터부(300)의 연산을 설명하는 수학식이다. [수학식 8]에서 보는 바와 같이 벡터 중앙값 필터의 중심에 위치한
Figure 112010030662923-pat00015
의 에지 방향성 정보
Figure 112010030662923-pat00016
가 '1'일 경우에는 그 주위 움직임 벡터들 중 수평 방향에 있는 D, E의 움직임 벡터도 중심블록의 움직임 벡터 에지 방향성 정보와 유사하다고 추론할 수 있다. 이에 따라 벡터 중앙값 필터를 적용할 경우에 중심 블록 에지 방향에 해당하는 D, E의 움직임 벡터 정보를 각 한 번씩 더 가중치를 적용함으로써 최종 움직임 벡터
Figure 112010030662923-pat00017
을 얻는다.
아래의 [수학식 9] 내지 [수학식 11]는 각각
Figure 112010030662923-pat00018
가 '2', '3', '4' 일경우에 벡터 중앙값 필터를 적용하는 방법을 나타내는 수학식들이다. 그리고 각각의 수학식의 연산은 [수학식 8] 과 같은 방법으로 수행된다.
Figure 112010030662923-pat00019
Figure 112010030662923-pat00020
Figure 112010030662923-pat00021
즉, 최종 움직임 벡터
Figure 112010030662923-pat00022
는 다음의 [수학식 12]와 같이, 에지 정보 산출부(200) 중 최대 빈도 필터부(220)에서 검출된 최종 에지 방향성 정보
Figure 112010030662923-pat00023
가 나타내는 방향의 움직임 벡터에 가중치를 두어 총 11개의 움직임 벡터들 중 최소 거리 연산을 통하여 움직임 벡터 스무딩을 수행한다.
Figure 112010030662923-pat00024
도 9a 내지 도 9e는 입력 영상에 대해서 각각의 검출 필터를 사용하여 얻어진 방향성 정보와 최대 빈도 필터를 이용하여 보정된 방향성 정보를 각각의 블록단위로 처리한 영상을 나타내는 도면들이다. 즉 도 9a는 입력 영상을 나타내는 것이도, 도 9b는 소벨 마스크를 이용하여 얻어진 에지 방향성 정보맵을 나타내는 것이다. 또한 도 9c는 도 9b로부터 얻어진 에지 방향성 정보를 블록 기반으로 처리해서 얻어진 에지 방향성 정보맵을 나타내고, 도 9d는 도 9c로부터 얻어진 블록 기반 에지 방향성 정보의 최대 에너지를 비교 선택하여 얻어진 통합 에지 ㅂ아향성 정보맵을 나타낸다. 그리고 도 9e는 도 9d의 에지 방향성 정보맵에 3x3 크기의 13탭 최대 빈도 필터를 적용하여 보정된 에지 방향성 정보맵을 나타내는 것이다. 이와 같이 도 9e의 결과에서 알 수 있듯이 본 발명의 최대 빈도 필터부(220)는 주변 잡음이나 고주파 성분에 나타나는 방향의 불연속성 및 잡음을 많이 감소시키는 것을 확인할 수 있다.
그리고 도 10a 내지 도 10c는 움직임 벡터 스무딩 결과를 나타내는 도면들이다. 도 10a는 벡터 중앙값 필터로부터 얻어진 움직임 벡터 스무딩 결과이고, 도 10b는 가중 벡터 중앙값 필터가 적용된 움직임 벡터 스무딩 결과이고, 도 10c는 에지 방향성 기반 가중 벡터 중앙값 필터를 적용하여 스무딩 된 움직임 벡터를 나타내는 것이다. 즉, 종래의 벡터 중앙값 필터를 이용한 영상은 도 10a에서와 같이 번짐 현상과 블록화 현상이 발생한다. 도 10b와 같이 가중 벡터 중앙값 필터를 이용할 경우 번짐 현상이 많이 제거되지만 코 주변의 블록화 현상은 잔존하는 것을 알 수 있다. 하지만 본 발명의 에지 방향성에 기반한 가중 벡터 중앙값 필터부(300)를 적용하면 도 10c와 같이 번짐 현상과 블록화 현상을 모두 개선할 수 있다. 그리고 이때 도 10b의 가중치와 도 10c의 가중치 차이는 도 10b의 가중치는 DFD(Displacement of Frame difference) 연산을 통해 그 DFD 비율에 따라 가중치가 적용되는 반면, 도 10c의 가중치는 에지 방향성에 따라 해당 방향의 움직임 벡터를 더 사용하는 가중치를 의미한다.
다음의 [표 1.]은 테스트 영상 평균 PSNR(Peak Signal to Noise Ratio) 과 SSIM(Structural similarity)를 나타내는 표이다. 본 발명은 기존의 움직임 벡터 스무딩 방법들보다 PSNR이 평균 0.3~1 dB 정도 높다는 것을 확인할 수 있다.
구분 No MV
smoothing		 VMF
[1]		 AWVMF
[2]		 DMVP
[5]		 BMVP
[7]		 Proposed
Foreman 31.72 dB
90.93%		 32.78 dB
92.87%		 32.97 dB
93.03%		 32.01 dB
91.61%		 32.23 dB
92.25%		 33.40 dB
93.42%
Table 29.03 dB
90.10%		 31.57 dB
93.91%		 31.89 dB
94.08%		 31.21 dB
92.53%		 31.68 dB
93.97%		 31.95 dB
94.28%
Mobile 25.50 dB
90.40%		 28.02 dB
94.41%		 27.32 dB
93.53%		 26.36 dB
91.16%		 28.57 dB
94.56%		 29.87 dB
95.09%
Silent 35.38 dB
95.90%		 36.81 dB
97.09%		 36.84 dB
97.10%		 36.12 dB
96.50%		 36.92dB
97,14%		 37.11 dB
97.25%
crew 29.64 dB
83.10%		 30.86 dB
86,69%		 31.04 dB
97.05%		 30.13 dB
84.50%		 31.06 dB
87.10%		 31.37 dB
87.97%
또한 객관적 평가 지표로 SSIM을 사용하였다. SSIM의 경우 원본 홀수 프레임의 움직임 물체의 구조와 보간 된 프레임의 움직임 물체 구조의 유사성을 평가하는 항목으로 PSNR보다 효과적인 지표로 알려져 있다. 여기서 SSIM이 높다는 것은 보간된 프레임 물체의 구조가 원본 홀수 프레임 영상의 물체 구조와 비슷하다는 것을 의미한다.
도 11 내지 도 14는 기존 방식과 본 발명을 적용하여 보간 된 영상의 예를 나타내는 도면들이다.
도 11a, 도 12a, 도 13a 및 도 14a는 WVMF영상을 나타내는 도면들이다. 그리고 도 11b, 도 12b, 도 13b 및 도 14b는 BMVF 영상을 나타내는 도면들이다. 도 11c, 도 12c, 도 13c 및 도 14c는 는 본 발명의 에지 방향성 기반 가중 벡터 중앙값 필터 적용 영상을 나타내는 것이다.
여기서 WVMF의 경우 움직임 번짐 현상과 고스트 현상은 개선되지만 블록화 현상 발생으로 인해서 화질 열화 현상이 발생하는 것을 알 수 있다. 그리고 BMVF의 경우 블록화 현상은 개선되지만 움직임 번짐 현상과 고스트 현상은 발생되는 것을 알 수 있다. 이에 반해서 본 발명에 의한 에지 방향성 가중 벡터 중앙값 필터 적용 영상은 움직임 번짐 현상이나 고스트 현상 그리고 블록화 현상 모두가 개선된 것을 알 수 있다.
본 발명에서는 DFD 연산을 통한 가중치 검출과 그 가중치를 이용하여 움직임 벡터 스무딩을 수행하는 WVMF 보다 정확성을 높이면서 스무딩 처리를 위해서 에지 방향성 기반 가중 벡터 중앙값 스무딩 방법을 이용한다. 즉, 스무딩 할 움직임 벡터의 방향성 정보와 주변 방향성 정보의 연관성을 이용하여 에지 방향성에 해당하는 움직임 벡터에 가중치를 두어 가중 벡터 중앙값 필터를 적용함으로써 더욱 부드럽고 상호 연관성이 높은 움직임 벡터 스무딩을 수행할 수 있다. 따라서 빠른 영상이나 변화된 움직임이 있는 영상에 대하여 객관적 및 주관적 화질 성능이 개선된다.
본 발명은 이상에서 살펴본 바와 같이 바람직한 실시 예를 들어 설명하였으나, 상기한 실시 예에 한정되지 아니하며 본 발명의 요지를 벗어나지 않는 범위 내에서 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변경과 수정이 가능할 것이다.

Claims (11)

  1. 아웃라이어를 검출하고, 검출된 상기 아웃라이어를 제거하는 중앙블록 움직임 벡터 산출부;
    영상의 각각 화소에 대한 4방향 에지 정보 생성 및 최대 에너지 비교를 통한 통합 에지 방향성 정보를 생성하고, 상기 통합 에지 방향성 정보를 수정하는 에지 정보 산출부;
    상기 통합 에지 정보맵을 기반으로 최대 빈도 에지 방향을 검출하여 최종 에지 방향성을 검출하는 최대빈도 필터부; 및
    상기 최종 에지 방향성 정보를 이용하여 중심 블록의 에지 방향에 해당하는 움직임 벡터들에 가중치를 두어 가중 벡터 중앙값을 산출하는 가중 벡터 중앙값 필터부;를 구비하는 움직임 벡터 스무딩 장치.
  2. 제 1 항에 있어서,
    상기 중앙블록 움직임 벡터 산출부는 현재 움직임 벡터와 주위 움직임 벡터들과의 방향 값 차이 평균값 연산과 경계면 정합 왜곡률을 이용하여 아웃라이어를 검출하는 것을 특징으로 하는 움직임 벡터 스무딩 장치.
  3. 제 1 항에 있어서,
    상기 중앙블록 움직임 벡터 산출부는 검출된 상기 아웃라이어가 임계치를 초과할 경우에 벡터 중앙값을 적용하여 상기 아웃라이어를 제거하는 것을 특징으로 하는 움직임 벡터 스무딩 장치.
  4. 제 1 항에 있어서,
    에지 정보 산출부는
    통합 에지 방향성 정보맵을 생성하는 방향성 검출 필터; 및
    상기 통합 에지 방향성을 보완하기 위한 최대 빈도 필터부;를 구비하는 것을 특징으로 하는 움직임 벡터 스무딩 장치.
  5. 제 4 항에 있어서,
    상기 가중 벡터 중앙값 필터부는 상기 최대 빈도 필터부에서 검출한 최종 에지 방향에 위치하는 움직임 벡터에 가중치를 두어 전체의 움직임 벡터 중 최소 거리 연산을 수행하는 것을 특징으로 하는 움직임 벡터 스무딩 장치.
  6. 제 3 항에 있어서,
    상기 중앙 블록 움직임 벡터 산출부에서 검출된 상기 아웃라이어가 상기 임계치보다 작을 경우에 초기 움직임 벡터를 가중 벡터 중앙값 필터 처리부로 전송하는 제어부를 더 구비하는 것을 특징으로 하는 움직임 벡터 스무딩 장치.
  7. 현재 움직임 벡터와 주변 움직임 벡터들과의 정보를 이용하여 아웃라이어를 검출하고, 벡터 중앙값 필터를 적용하여 중앙블록 움직임 벡터를 산출하는 제 1 단계;
    에지 방향성을 고려하여 에지 방향성 정보를 추출하고, 상기 에지 방향성 정보에 최대 빈도 필터를 적용하여 최종 에지 방향성 정보를 생성하는 제 2 단계;
    상기 최종 에지 방향성 정보를 이용하여 중심 블록의 에지 방향에 해당하는 움직임 벡터들에 가중치를 두어 가중 벡터 중앙값을 산출하는 제 3 단계; 및
    상기 가중 벡터 중앙값을 기반으로 움직임 벡터를 스무딩하는 제 4 단계를 포함하는 움직임 벡터 스무딩 방법.
  8. 제 7 항에 있어서,
    제 1 단계는 현재 블록의 움직임 벡터와 주변 8개의 움직임 벡터들과의 방향 값 차이 평균값 연산과 상위블록, 하위블록, 오른쪽 및 왼쪽 블록 4방향 블록과의 경계면 정합 왜곡률 계산을 통하여 아웃라이어를 검출하고 벡터 중앙값을 적용하여 아웃라이어를 제거하는 것을 특징으로 하는 움직임 벡터 스무딩 방법.
  9. 제 7 항에 있어서,
    상기 제 2 단계는 에지 방향성을 고려하여 영상의 각각의 화소에 대한 4방향 에지 방향성 정보를 블록기반 에지 방향 정보맵으로 생성하고, 상기 4 방향의 블록기반 에지 정보의 최대 에너지를 비교 선택하여 블록기반 통합 정보맵을 구성하는 것을 특징으로 하는 움직임 벡터 스무딩 방법.
  10. 제 7 항에 있어서,
    상기 제 2 단계는 블록기반 통합 정보맵을 이용하여 마스크 내의 최대 빈도 방향이 어느 방향인지를 판단하고, 그 최대 빈도 방향을 최종 에지 방향으로 산출하는 것을 특징으로 하는 움직임 벡터 스무딩 방법.
  11. 제 7 항에 있어서,
    상기 제 2 단계에서 상기 최대 빈도 필터를 적용하는 방법은
    상기 에지 방향성 정보가 수평 방향일 경우에 수평 방향 최대 빈도 필터를 적용하고,
    상기 에지 방향성 정보가 수직 방향일 경우에 수직 방향 최대 빈도 필터를 적용하고,
    상기 에지 방향성 정보가 양의 대각방향일 경우에 양의 대각방향 최대 빈도 필터를 적용하고,
    상기 에지 방향성 정보가 음의 대각방향일 경우에 음의 대각방향 최대 빈도 필터를 적용하는 것을 특징으로 하는 움직임 벡터 스무딩 방법.

KR1020100044663A 2010-05-12 2010-05-12 움직임 벡터 스무딩 장치 및 방법 KR101106634B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100044663A KR101106634B1 (ko) 2010-05-12 2010-05-12 움직임 벡터 스무딩 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100044663A KR101106634B1 (ko) 2010-05-12 2010-05-12 움직임 벡터 스무딩 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20110125106A KR20110125106A (ko) 2011-11-18
KR101106634B1 true KR101106634B1 (ko) 2012-01-20

Family

ID=45394684

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100044663A KR101106634B1 (ko) 2010-05-12 2010-05-12 움직임 벡터 스무딩 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101106634B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101332389B1 (ko) 2011-11-28 2013-11-22 한국전자통신연구원 Ｗｃｄｍａ ３ｇ 음성통신 보호 방법 및 이를 적용한 단말

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020067192A (ko) * 2001-02-15 2002-08-22 삼성전자 주식회사 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법
KR100843083B1 (ko) 2005-12-14 2008-07-02 삼성전자주식회사 움직임 추정 기반 프레임 보간을 위한 장치 및 방법
KR100907847B1 (ko) 2004-07-20 2009-07-14 퀄컴 인코포레이티드 순간적 비디오 압축으로 이동 벡터 예측을 위한 방법 및장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020067192A (ko) * 2001-02-15 2002-08-22 삼성전자 주식회사 프레임 레이트 변환 기능을 갖는 비디오 디코더 및 그 방법
KR100907847B1 (ko) 2004-07-20 2009-07-14 퀄컴 인코포레이티드 순간적 비디오 압축으로 이동 벡터 예측을 위한 방법 및장치
KR100843083B1 (ko) 2005-12-14 2008-07-02 삼성전자주식회사 움직임 추정 기반 프레임 보간을 위한 장치 및 방법

Also Published As

Publication number Publication date
KR20110125106A (ko) 2011-11-18

Similar Documents

Publication Publication Date Title
Wang et al. Frame rate up-conversion using trilateral filtering
KR101536794B1 (ko) 후광현상이 줄어든 영상보간 장치 및 방법
Dikbas et al. Novel true-motion estimation algorithm and its application to motion-compensated temporal frame interpolation
CN101322403B (zh) 用于图像和视频去噪的自回归方法和滤波
US7860167B2 (en) Apparatus and method for adaptive 3D artifact reducing for encoded image signal
CN104219533B (zh) 一种双向运动估计方法和视频帧率上转换方法及系统
US8781253B2 (en) Method and apparatus for video object segmentation
US8774276B2 (en) Image processing method for determining motion vectors of interpolated picture and related apparatus
JP2007181674A (ja) ブロック整合及び動き補償補間を利用した映像形成方法
US20120120311A1 (en) Distributed image retargeting
CN106210448B (zh) 一种视频图像抖动消除处理方法
JP2009532984A (ja) 補償アーチファクトに対する保護を有する動き補償フレームレート変換
US8406305B2 (en) Method and system for creating an interpolated image using up-conversion vector with uncovering-covering detection
Kaviani et al. Frame rate upconversion using optical flow and patch-based reconstruction
US8314884B2 (en) Device and method for adaptive blending motion compensation interpolation in frame rate up-conversion
KR20090041562A (ko) 프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환장치
US8447126B2 (en) Image processing method and related apparatus
US8670073B2 (en) Method and system for video noise filtering
KR101106634B1 (ko) 움직임 벡터 스무딩 장치 및 방법
KR100574523B1 (ko) 움직임 타입 판단 장치 및 방법
CN101600105A (zh) 帧频提升方法
WO2011004427A1 (ja) 画像処理装置
JP5448983B2 (ja) 解像度変換装置及び方法、走査線補間装置及び方法、並びに映像表示装置及び方法
Wang et al. Enhanced frame rate up-conversion method for UHD video
CN109788297B (zh) 一种基于元胞自动机的视频帧率上转换方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151218

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20161228

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee