KR101702937B1 - 해상도 스케일링 방법 및 그 장치 - Google Patents

해상도 스케일링 방법 및 그 장치 Download PDF

Info

Publication number
KR101702937B1
KR101702937B1 KR1020150075788A KR20150075788A KR101702937B1 KR 101702937 B1 KR101702937 B1 KR 101702937B1 KR 1020150075788 A KR1020150075788 A KR 1020150075788A KR 20150075788 A KR20150075788 A KR 20150075788A KR 101702937 B1 KR101702937 B1 KR 101702937B1
Authority
KR
South Korea
Prior art keywords
scaling
edge
image
video signal
resolution
Prior art date
Application number
KR1020150075788A
Other languages
English (en)
Other versions
KR20160139898A (ko
Inventor
김진태
한종기
윤성준
Original Assignee
주식회사 칩스앤미디어
세종대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 칩스앤미디어, 세종대학교산학협력단 filed Critical 주식회사 칩스앤미디어
Priority to KR1020150075788A priority Critical patent/KR101702937B1/ko
Publication of KR20160139898A publication Critical patent/KR20160139898A/ko
Application granted granted Critical
Publication of KR101702937B1 publication Critical patent/KR101702937B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/403—Edge-driven scaling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3188—Scale or resolution adjustment

Abstract

본 발명의 실시 예에 따른 영상 신호의 해상도 스케일링 장치는, 영상 신호를 수신하는 입력부; 상기 영상 신호로부터 단위 영상을 식별하는 단위 영상 처리부; 상기 영상 신호의 엣지 강화 필터링을 수행하여 엣지 강화된 영상을 출력하는 엣지 강화부; 상기 영상 신호를 DCT 변환한 제1 정보와, 상기 엣지 강화된 영상을 DCT 변환한 제2 정보를 이용하여 상기 단위 영상에 대응하는 가중치 계수를 연산하는 가중치 계수 최적화부; 및 상기 가중치 계수에 기초하여 생성된 엣지 강화 스케일링 필터를 생성하는 스케일링 필터 생성부를 포함한다.

Description

해상도 스케일링 방법 및 그 장치{Method for scaling a resolution and an apparatus thereof}
본 발명은 비디오 영상의 해상도 스케일링 방법 및 그 장치에 관한 것으로, 더욱 상세하게는 엣지 강화된 스케일링 필터를 이용하여 화면 해상도를 변화시킴으로써 해상도 스케일링 성능을 개선시키는 해상도 스케일링 방법 및 그 장치에 관한 것이다.
최근 고해상도, 고화질 영상에 대한 요구가 증가함에 따라 해상도 변환을 위한 해상도 스케일링 장치의 필요성이 대두되고 있다.
화면 해상도를 변환하기 위한 해상도 스케일링 장치는 입력 영상에 대한 스케일링을 수행하여, 해상도를 확대 하거나 축소할 수 있다. 해상도 스케일링 장치에 적용되는 다양한 스케일러로서 Sample and hold, Bilinear, Cubic B-spline, Cubic convolution, DCT based interpolation filter(DCT-IF) 등 여러 가지 기법이 제안되고 있다. 이 기법들 중 우수한 성능으로 알려져 있는 것이 DCT-IF이다.
DCT-IF는 1차원 또는 2차원으로 설계 할 수 있으며, 1차원 DCT-IF는 8 tap 필터로 화소 1개를 보간 하는데 8개의 주변 화소를 이용하는 반면, 2차원 DCT-IF는 64 tap 필터로 화소 1개를 보간 하는데 64개의 주변 화소를 이용할 수 있다. DCT-IF는 주파수 영역 변환된 주변 화소들로부터 스케일링에 의해 생성되는 화소들을 예측하여 보간할 수 있다.
그러나, 기본적으로 DCT-IF는 화소의 보간 능력 측면에서 훌륭하지만, 단순 보간에 의해, 영상의 해상도 변환 이후 시각적으로 영상의 선명도를 증가시키는데에는 한계가 있고, 이로 인해 전체 영상의 화질이 저하될 수 있는 문제점이 있다.
특히, 최근과 같이 영상신호의 특성이 다양하고 화면 해상도가 큰 폭으로 증가되는 추세에 따라 해상도 스케일링 비율이 증가할수록 영상의 선명도가 시각적으로 저하되는 문제가 더욱 심각해지고 있다. 그 결과 DCT-IF 방식으로 해상도가 변화된 영상의 선명도가 낮아지고 변환 영상의 화질이 저하되는 문제점이 발생하고 있다.
본 발명의 일 실시 예는 스케일링 필터의 선명도 강화 기능을 보강하여 해상도 스케일링 방법 및 장치의 성능을 개선하는데 그 목적이 있다.
특히, 본 발명의 일 실시 예는 엣지 강화된 스케일링 필터를 생성하여 해상도 스케일링 방법 및 장치의 성능을 개선하는데 그 목적이 있다.
또한, 본 발명의 일 실시 예는 스케일링 필터의 엣지 강화를 위한 가중치 계수를 최적화함으로써 해상도 스케일링 방법 및 장치의 성능을 개선하는데 그 목적이 있다.
또한, 본 발명의 일 실시 예는 엣지 강화 스케일링 필터를 훈련 영상에 대해 미리 생성하여 다른 영상에 적용할 수 있는 범용적인 엣지 강화 스케일링 필터를 생성하는데 그 목적이 있다.
본 발명의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 장치는, 영상 신호의 해상도 스케일링 장치에 있어서, 복수의 제1 프레임들을 포함하는 제1 영상 신호를 수신하는 입력부; 상기 복수의 제1 프레임들의 엣지 강화 필터링을 수행하여 엣지 강화된 프레임들을 출력하는 엣지 강화부; 상기 제1 프레임들의 원본 프레임의 주파수 성분과, 상기 엣지 강화된 프레임들의 주파수 성분을 이용하여, 상기 제1 영상 신호에 대해 최적화된 가중치 계수를 획득하는 가중치 계수 최적화부; 상기 가중치 계수에 기초하여 제1 엣지 강화 스케일링 필터를 생성하는 스케일링 필터 생성부; 상기 제1 엣지 강화 스케일링 필터를 상기 제1 영상 신호에 대응시켜 저장하는 저장부; 및 복수의 제2 프레임들을 포함하는 제2 영상 신호가 수신되면, 상기 미리 저장된 제1 엣지 강화 스케일링 필터를 이용하여, 상기 제2 영상 신호의 해상도 스케일링을 수행하는 해상도 변환부를 포함한다.
또한, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 방법은, 영상 신호의 해상도 스케일링 방법에 있어서, 복수의 제1 프레임들을 포함하는 제1 영상 신호를 수신하는 단계; 상기 복수의 제1 프레임들의 엣지 강화 필터링을 수행하여 엣지 강화된 프레임들을 출력하는 단계; 상기 제1 프레임들의 원본 프레임의 주파수 성분과, 상기 엣지 강화된 프레임들의 주파수 성분을 이용하여, 상기 제1 영상 신호에 대해 최적화된 가중치 계수를 획득하는 단계; 상기 가중치 계수에 기초하여 제1 엣지 강화 스케일링 필터를 생성하는 단계; 상기 제1 엣지 강화 스케일링 필터를 상기 제1 영상 신호에 대응시켜 저장하는 단계; 및 복수의 제2 프레임들을 포함하는 제2 영상 신호가 수신되면, 상기 미리 저장된 제1 엣지 강화 스케일링 필터를 이용하여, 상기 제2 영상 신호의 해상도 스케일링을 수행하는 단계를 포함한다.
한편, 상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시 예에 따른 방법은 컴퓨터에서 실행시키기 위한 컴퓨터가 읽을 수 있는 프로그램이 기록된 기록 매체로 구현될 수 있다.
본 발명의 일 실시 예에 따르면, 단위 영상에 대한 엣지 강화 필터링을 수행하여 획득되는 엣지 강화된 영상의 DCT 변환 계수와, 단위 영상의 DCT 변환 계수를 이용하여 가중치 계수를 획득하고, 가중치 계수를 적용한 엣지 강화 스케일링 필터를 생성할 수 있다.
이에 따라, 해상도 스케일링을 위한 엣지 강화 스케일링 필터를 원본 단위 영상의 해상도 변환에 이용할 수 있으며, DCT-IF 방식 스케일링 필터의 선명도 저하 현상을 해소함으로써, 해상도 스케일링 장치의 선명도 증가 기능 제공 및 해상도 변환 영상의 화질 개선을 동시에 달성할 수 있게 되는 효과가 있다.
또한, 본 발명의 일 실시 예는 엣지 강화 스케일링 필터를 훈련 영상에 대해 미리 생성하여, 다른 영상에도 복잡도 증가 없이 적용할 수 있는 범용적인 엣지 강화 스케일링 필터를 생성할 수 있게 된다.
본 발명의 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다. 그리고, 미래에는 현재 영상보다 훨씬 큰 해상도의 영상 신호의 해상도를 스케일링할 것이고, 이런 환경에서 본 특허 기술의 효과는 매우 효율적으로 나타날 것이다.
도 1은 본 발명의 실시 예에 따른 해상도 스케일링 장치를 포함하는 복호화기를 나타내는 블록도이다.
도 2 내지 도 6은 본 발명의 일 실시 예에 따른 해상도 스케일링 장치(100)의 구성을 설명하기 위한 도면들이다.
도 7 내지 도 8은 본 발명의 실시 예에 따른 해상도 스케일링 방법을 설명하기 위한 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시 예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재상에 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다. 본원 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본원의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본원 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
이하에서는, 본 발명의 일 실시 예에 따른 해상도 스케일링 방법 및 그 장치를 설명한다.
도 1은 본 발명의 실시 예에 따른 해상도 스케일링 장치를 포함하는 영상 복호화 장치의 구성에 대한 일 예를 블록도로 도시한 것이다.
본 발명의 실시 예에서 해상도 스케일링 장치(100)는 영상 복호화 장치(200)에 연결되어 동작하는 것으로 예시될 수 있다. 그러나, 해상도 스케일링 장치(100)는 영상 복호화 장치(200)와 독립적으로도 구현될 수 있다. 또한, 해상도 스케일링 장치(100)는 영상 복호화 장치(200)와 독립적으로 동작할 수 있다. 따라서, 본 발명의 실시 예에 따른 해상도 스케일링 장치(100)의 권리범위가 영상 복호화 장치(200)의 구조에 의해 확정되는 것은 아니며, 해상도 스케일링 장치(100)는 후술할 영상 복호화 장치(200) 이외의 다양한 외부 기기로부터 수신되는 영상 신호로부터 해상도 스케일링을 수행할 수 있음은 자명하다.
도 1을 참조하면, 복호화 장치에서 데이터를 처리하는 단위는 가로 세로 16x16화소 크기의 매크로블록(Macroblock)일 수 있으며, 소정 단위의 코딩 유닛(Coding Unit)일 수 있다. 복호화 장치는 비트스트림을 입력 받아 인트라(Intra) 모드 또는 인터(Inter) 모드로 복호화를 수행하여 재구성된 영상을 출력(output)한다.
인트라 모드일 경우, 스위치가 인트라로 전환이 되며, 인터 모드일 경우에는 스위치가 인터로 전환이 된다. 복호화 과정의 주요한 흐름은 먼저 예측 블록을 생성한 후, 입력 받은 비트스트림을 복호화한 결과 블록과 예측 블록을 더하여 재구성된 블록을 생성하는 것이다.
먼저 예측 블록의 생성은 인트라 모드와 인터 모드에 따라 수행이 된다. 먼저 인트라 모드일 경우에는 인트라 예측 과정에서 현재 블록의 이미 부호화된 주변 화소값을 이용하여 공간적 예측을 수행하여 예측 블록을 생성하며, 인터 모드일 경우에는 움직임 벡터를 이용하여 참조 영상 버퍼에 저장되어 있는 참조 영상에서 영역을 찾아 움직임 보상을 수행함으로써 예측 블록을 생성한다.
엔트로피 복호화부(Entropy Decoder)에서는 입력된 비트스트림을 확률 분포에 따른 엔트로피 복호화를 수행하여 양자화된 계수(Quantized Coefficient)를 출력한다. 복호화 장치는 양자화된 계수를 역양자화 과정과 역 변환을 수행하여 예측 영상과 가산기를 통해 재구성된 블록을 생성한 다음 디블록킹 필터 또는 샘플 적응적 오프셋 필터 중 적어도 하나를 통해 필터링한 후, 복호화된 영상으로 출력함과 동시에 참조 영상 버퍼에 저장한다.
이후, 이와 같이 재구성되어 복호화된 영상은 해상도 스케일링 장치(100)로 입력된다.
해상도 스케일링 장치(100)는 복호화된 영상을 입력 영상으로 수신하고, 해상도를 변환(스케일링)하여 확대 또는 축소된 영상을 출력할 수 있다.
특히, 본 발명의 실시 예에 따르면, 해상도 스케일링 장치(100)는 복수의 제1 프레임들을 포함하는 제1 영상 신호를 수신하고, 상기 복수의 제1 프레임들의 엣지 강화 필터링을 수행하여 엣지 강화된 프레임들을 출력하며, 상기 제1 프레임들의 원본 프레임의 주파수 성분과, 상기 엣지 강화된 프레임들의 주파수 성분을 이용하여, 상기 제1 영상 신호에 대해 최적화된 가중치 계수를 획득하여, 상기 가중치 계수에 기초하여 제1 엣지 강화 스케일링 필터를 생성하고, 상기 제1 엣지 강화 스케일링 필터를 상기 제1 영상 신호에 대응시켜 저장하며, 복수의 제2 프레임들을 포함하는 제2 영상 신호가 수신되면, 상기 미리 저장된 제1 엣지 강화 스케일링 필터를 이용하여, 상기 제2 영상 신호의 해상도 스케일링을 수행할 수 있다.
예를 들어, 제1 영상 신호는 복수의 프레임을 포함하는 훈련(Training) 영상일 수 있으며, 제2 영상 신호는 해상도 스케일링을 실제 수행할 입력 영상일 수 있다. 이에 따라, 훈련 영상에 대해 최적화된 제1 엣지 강화 스케일링 필터가 생성될 수 있으며, 제2 영상 신호는 제1 엣지 강화 스케일링 필터에 의해 해상도 스케일링 될 수 있다.
여기서, 상기 제1 영상 신호는 미리 결정된 훈련 영상 특성 또는 카테고리에 대응될 수 있으며, 해상도 스케일링 장치(100)는 상기 훈련 영상 특성 또는 카테고리 및 이에 대응되는 상기 제1 엣지 강화 스케일링 필터를 저장할 수 있다.
이에 따라, 해상도 스케일링 장치(100)는 상기 제2 영상 신호로부터 식별되는 영상 특성 또는 카테고리를 상기 제1 영상 신호의 영상 특성 또는 카테고리와 대응시켜, 상기 제1 엣지 강화 스케일링 필터를 상기 저장부로부터 획득할 수 있다.
한편, 해상도 스케일링 장치(100)는 상기 제1 영상 신호로부터 단위 영상을 처리할 수 있다. 해상도 스케일링 장치(100)의 제2 DCT 변환부는 제1 영상 신호의 엣지 강화된 영상을 DCT 변환하고, 해상도 스케일링 장치(100)의 제1 DCT 변환부는 상기 제1 영상 신호의 원본을 DCT 변환할 수 있다.
그리고, 해상도 스케일링 장치(100)는 상기 제1 DCT 변환부 출력과 상기 제2 DCT 변환부 출력을 이용하여 상기 단위 영상 정보에 대응하는 상기 최적화된 가중치 계수를 획득할 수 있다.
보다 구체적으로, 해상도 스케일링 장치(100)는 상기 최적화된 가중치 계수를 획득함에 있어서, 상기 단위 영상 정보에 포함된 화소들에 대응하여, 상기 제1 DCT 변환부 출력에 가중치 계수를 곱한 값과, 상기 제2 DCT 변환부 출력의 차이로부터 획득되는 MSE(Mean Square Error)가 최소값을 갖도록 하는 최적화된 가중치 계수를 상기 단위 영상 정보에 대응하는 가중치 계수로서 출력할 수 있다.
그리고, 해상도 스케일링 장치(100)는 상기 엣지 강화 스케일링 필터를 생성함에 있어서, 1차원 또는 2차원 DCT-IF(DCT based interpolation filter)에 상기 가중치 계수를 적용하여 상기 제1 엣지 강화 스케일링 필터를 생성할 수 있다.
이에 따라, 해상도 스케일링 장치(100)는 제1 영상 신호로부터 생성되는 제1 엣지 강화 스케일링 필터를 이용하여 제2 영상 신호의 단위 영상별 해상도 스케일링을 수행함으로써, 선명도가 개선된 해상도 변환영상을 출력할 수 있다.
여기서, 상기 단위 영상은 라인 단위 영상 정보, 블록 단위 영상 정보, 프레임 단위 영상 정보 중 적어도 하나를 포함할 수 있다. 이에 따라, 해상도 스케일링 장치(100)는 각 라인 단위별, 블록 단위별 또는 프레임 단위별 영상 정보에 기초하여 각 단위 영상 정보에 대응하는 상기 가중치 계수를 연산할 수 있으며, 가중치 계수를 최적화하여 엣지 강화 스케일링 필터를 생성할 수 있다.
이에 따라, 전술한 바와 같은 DCT-IF의 선명도 저하 문제점을 해결하면서도 DCT-IF의 우수한 성능은 유지될 수 있으며, 연산 속도에 영향을 받지 않기 위해 미리 저장된 엣지 강화 스케일링 필터를 사용할 수 있어, 해상도 스케일링의 화질 및 성능 향상을 동시에 달성할 수 있게 된다.
도 2 내지 도 5는 본 발명의 일 실시 예에 따른 해상도 스케일링 장치(100)의 구성을 설명하기 위한 도면들이다.
도 2를 참조하면, 해상도 스케일링 장치(100)는 DCT 변환을 이용한 엣지 강화 스케일링 필터를 생성하고, 이에 기초하여 복수의 프레임을 포함하는 제1 영상 신호에 대응하는 해상도 스케일링을 수행할 수 있다.
여기서, 제1 방향은 수평 방향 또는 수직 방향 중 적어도 하나일 수 있다. 이에 따라, 도 3에 도시된 바와 같이, 해상도 스케일링 장치(100)는 수평 방향으로 1차원 스케일링을 수행하고, 수직 방향으로 1차원 스케일링을 수행함으로써, 원본 영상의 전체 스케일링을 수행할 수 있다.
이를 위해, 본 발명의 실시 예에 따른 해상도 스케일링 장치(100)는 단위 영상 처리부(110), 제1 DCT 변환부(120), 엣지 강화부(130), 제2 DCT 변환부(140), 가중치 계수 최적화부(150), 엣지 강화 스케일링 필터 생성부(160) 및 제1 방향 해상도 변환부(170)를 포함한다.
단위 영상 처리부(110)는 입력된 영상 신호로부터 단위 영상 정보를 식별한다. 단위 영상 정보는 훈련 영상으로서의 제1 영상 신호에 포함된 라인 단위 영상, 블록 단위 영상 및 프레임 단위 영상 정보를 포함할 수 있다.
예를 들어, 단위 영상 처리부(110)는 입력된 제1 영상 신호로부터 수평 또는 수직 방향으로 구성되는 라인 단위 영상 정보를 식별할 수 있다. 각 라인 단위 영상 정보는 수평 또는 수직 방향의 화소들로 구성될 수 있다. 예를 들어, 단위 영상 처리부(110)는 원본 영상 신호를 분할하거나, 원본 영상 신호의 라인 스캐닝을 통해 라인 단위 영상 정보를 식별할 수 있다.
또한, 단위 영상 처리부(110)는 제1 입력된 영상 신호로부터 블록 단위 영상 정보를 식별할 수 있다. 단위 영상 처리부(110)는 입력된 영상 신호로부터 블록 단위로 구성되는 블록 단위 영상 정보를 식별할 수 있다. 예를 들어, 블록 단위는 M X N 크기의 직사각형일 수 있다.
각 블록 단위 영상 정보는 2차원 좌표에 대응하는 화소들로 구성될 수 있다. 예를 들어, 단위 영상 처리부(110)는 원본 영상 신호를 분할하거나, 원본 영상 신호의 블록 단위 스캐닝을 통해 블록 단위 영상 정보를 식별할 수 있다.
한편, 단위 영상 처리부(110)는 입력된 제1 영상 신호로부터 프레임 단위 영상 정보를 식별할 수 있다. 단위 영상 처리부(110)는 시계열적으로 입력된 제1 영상 신호로부터 프레임 단위로 구분되는 이미지를 처리할 수 있다.
그리고, 제1 DCT 변환부(120)는 단위 영상 처리부(110)에서 식별된 라인 단위 영상 정보, 블록 단위 영상 정보 또는 프레임 단위 영상 정보에 대해 DCT(discrete cosine transform) 변환하여 출력한다. 제1 DCT 변환부(120)는 라인 단위 영상 정보를 주파수 영역으로 변환하기 위해 DCT 변환을 수행하고, 그 결과를 가중치 계수 최적화부(150)로 출력할 수 있다.
한편, 엣지 강화부(130)는 상기 영상 신호의 엣지 필터링을 수행하여 엣지 강화된 영상을 출력한다. 여기서, 엣지 강화 필터링은 공지된 다양한 엣지 강화 알고리즘에 의해 수행될 수 있으며, 예컨데 라플라시안(Laplacian) 커널, 소벨(Sobel) 필터, LoG(Laplacian of Gaussian) 필터, DoG(Difference of Gaussians) 필터 중 적어도 하나가 이용될 수 있다.
이에 따라, 복호화된 원본 영상 신호의 엣지 성분이 강화된 영상 정보가 제2 DCT 변환부(140)으로 전달될 수 있다.
그리고, 가중치 계수 최적화부(150)는 상기 단위 영상을 DCT 변환한 제1 DCT 변환부(120)에서 출력되는 제1 정보와, 상기 엣지 강화된 영상을 DCT 변환한 제2 DCT 변환부(140)에서 출력되는 제2 정보를 이용하여 상기 단위 영상에 대응하는 가중치 계수를 연산하고, 엣지 강화 스케일링 필터 생성부(160)로 출력한다.
그리고, 엣지 강화 스케일러 필터 생성부(160)는 가중치 계수 최적화부(150)에서 출력되는 최적화된 가중치 계수에 기초하여 해상도 변환을 위한 제1 엣지 강화 스케일러 필터를 생성한다.
그리고, 저장부(180)는 생성된 제1 엣지 강화 스케일러 필터를 상기 제1 영상 신호에 대응시켜 저장한다. 저장부(180)는 예를 들어, 제1 영상 신호의 특성에 대응하는 영상 특성 또는 카테고리 정보를 상기 제1 엣지 강화 스케일링 필터에 매칭시켜 저장할 수 있다. 그리고, 저장부(180)는 해상도 변환부(170)의 요청에 따라 영상 특성 또는 카테고리 정보에 대응하는 제1 엣지 강화 스케일링 필터를 전달할 수 있다.
그리고, 해상도 변환부(170)는 새로 입력되는 복수의 프레임을 포함하는 제2 영상 신호에 대해, 상기 제1 엣지 강화 스케일링 필터를 이용한 해상도 변환을 수행한다.
보다 구체적으로, 제1 엣지 강화된 스케일링 필터는 DCT-IF에 엣지 성분을 강화시키는 가중치 계수가 적용된 형태로 구현될 수 있다.
이를 위해, 본 발명의 실시 예에 따른 가중치 계수 최적화부(150)는 엣지 강화부(130)에서 엣지 강화된 영상의 제2 DCT 변환부(140)에서 DCT 변환된 값과, 제1 DCT 변환부(120)를 통해 주파수 변환된 원본 영상과 비교하여 엣지 강화된 스케일링 변환을 위해 최적화된 가중치 계수를 획득할 수 있다. 예를 들어, 가중치 계수 최적화부(150)는 제2 DCT 변환부(140) 출력과, 제1 DCT 변환부(120) 출력을 연산하여 두 값 간의 비율을 포함하는 최적화 연산을 수행함으로써, 가중치 계수를 획득할 수 있다.
특히, 도 3 내지 도 6을 참조하면, 가중치 계수 최적화부(150)는 최적화 연산을 수행함에 있어서, 입력된 훈련 영상에 포함된 이미지의 개수 및 단위 영상 분류 방식에 따라 각각 최적화된 가중치 획득 연산을 수행할 수 있다. 예를 들어, 훈련 영상은 1장의 이미지를 포함하거나 연속된 복수의 프레임 이미지를 포함할 수 있으며, 단위 영상은 라인 단위 영상, 블록 단위 영상 또는 프레임 단위 영상을 포함할 수 있다.
예를 들어, 도 3 및 도 4에 도시된 바와 같이, 입력된 훈련 영상이 1장의 이미지를 포함하는 경우 가중치 계수 최적화부(150)는 훈련 영상에 포함된 이미지로부터 라인 단위 영상 또는 블록 단위 영상들을 식별하고, 라인 단위 영상 또는 블록 단위 영상들을 대표하는 최적화 계수 w를 획득할 수 있다. 그리고, 엣지 강화 스케일러 필터 생성부(160)는 최적화 계수에 기초하여 제1 방향 또는 2차원의 제1 엣지 강화 스케일링 필터를 생성하여 그 특성 또는 카테고리 식별 정보와 함께 저장부(180)에 저장할 수 있다.
이에 따라, 해상도 스케일링 장치(100)는 훈련 영상의 라인 단위 영상들로부터 최적화된 가중치 계수를 획득할 수 있고, 제1 엣지 강화 스케일링 필터를 생성하여 저장할 수 있다. 그리고, 해상도 스케일링 장치(100)의 해상도 변환부(170)는 추후 입력되는 입력 원본 영상의 카테고리에 대응하여, 상기 미리 저장된 제1 엣지 강화 스케일링 필터를 회득하고, 이를 이용하여 가로 방향 해상도 변환, 세로 방향 해상도 변환 또는 2차원 해상도 변환을 수행하여, 전체 해상도 변환을 완료할 수 있다.
예를 들어, 도 3을 참조하면, 원본 훈련 영상의 라인 단위 영상을 fo(i)라고 할때, 이에 대응되는 엣지 강화된 라인 단위 영상 fE(i)의 주파수 성분은 원본 훈련 영상과 상이할 수 있다.
따라서, 원본 훈련 영상의 DCT 변환된 제1 DCT 변환부(120)의 주파수 성분 출력을 Fo(u)라고 하면, 엣지 강화된 영상의 DCT 변환된 제2 DCT 변환부(140)의 주파수 성분 출력은 FE(u)로 표현될 수 있다. 여기서, 가중치 계수 최적화부(150)는 Fo(u)에 가중치 계수 w(u)를 곱연산한 값과, FE(u)의 비교로부터 값 w(u)를 획득할 수 있다. 이를 위해, 가중치 계수 최적화부(150)는 제2 DCT 변환부(140) 출력 및 제1 DCT 변환부(120) 출력간 비교 연산을 수행할 수 있다.
그리고, 가중치 계수 최적화부(150)는 각 연산을 수행하면서 그 라인 단위 영상에 대응되는 원본 영상의 주파수 변환 성분에 가중치 적용된 값과 엣지 강화된 영상의 주파수 변환 성분 간의 차이(예를 들어, Mean Square Error, MSE)가 최소화되도록 하는 제1 방향(예를 들어, horizontal 또는 vertical)으로의 최적화된 가중치 계수 w(u) 또는 w(v)를 결정함으로써 1장의 훈련 영상 이미지로부터 라인 단위 영상 기반 1차원 엣지 강화 스케일링 필터를 생성하기 위한 최적의 가중치 계수를 결정할 수 있다.
그리고, 해상도 스케일링 장치(100)는 입력 영상으로부터 식별되는 영상 카테고리가 상기 훈련 영상에 대응되는 경우, 상기 최적화된 가중치 계수를 이용하여 미리 생성된 제1 엣지 강화 스케일링 필터를 이용하여 각 방향별(horizontal, vertical) 해상도 스케일링을 수행할 수 있다.
마찬가지로, 도 4에 도시된 바와 같이, 해상도 스케일링 장치(100)는 원본 훈련 영상 이미지 fo(i, j)에 대하여 2차원 스케일링을 위한 최적화된 가중치 계수 w(u, v)를 획득하고, 이를 이용하여 생성되는 2차원 제1 엣지 스케일링 필터를 저장하여 입력 영상의 해상도 변환에 이용할 수 있다.
예를 들어, 원본 훈련 영상 이미지에 포함된 블록 단위 영상의 DCT 변환된 제1 DCT 변환부(120)의 주파수 성분 출력을 Fo(u, v)라고 하면, 엣지 강화된 영상의 DCT 변환된 제2 DCT 변환부(140)의 주파수 성분 출력은 FE(u, v)로 표현될 수 있다. 여기서, 가중치 계수 최적화부(150)는 Fo(u, v)에 가중치 계수 w(u, v)가 곱연산 된 값과, FE(u, v)에 기초하여 w(u, v)를 획득할 수 있다. 이를 위해, 가중치 계수 최적화부(150)는 제1 DCT 변환부(140) 출력과, 제2 DCT 변환부(120) 출력을 비교 연산할 수 있다.
이에 따라, 가중치 계수 최적화부(150)는 블록 단위 영상들을 이용하여 식별되는 가중치 w(u, v)를 구할 수 있다. 그리고, 가중치 계수 최적화부(150)는 그 블록 단위 영상에 대응되는 원본 훈련 영상의 주파수 성분에 가중치를 적용한 값과 엣지 강화된 영상의 차이(예를 들어, Mean Square Error, MSE)가 최소화되도록 하는 최적화된 가중치 계수 w(u, v)를 결정함으로써 1장의 훈련 영상 이미지로부터 2차원 엣지 강화 스케일링 필터를 생성하기 위한 최적의 가중치 계수를 결정할 수 있다.
그리고, 해상도 스케일링 장치(100)는 입력 영상으로부터 식별되는 영상 카테고리가 상기 훈련 영상에 대응되는 경우, 상기 최적화된 가중치 계수를 이용하여 미리 생성된 제1 엣지 강화 스케일링 필터를 이용하여 2차원 해상도 스케일링을 수행할 수 있다.
이와 같은 과정에 의해 1장의 훈련 영상 이미지에 의해 생성되는 2차원 지 강화 스케일링 필터를 수식으로 표현하면 하기와 같이 표현될 수 있다. fo(i, j)가 입력 영상인 경우, 출력은 f^(s, z)가 될 수 있다.
Figure 112015051830254-pat00001
여기서, M, N은 블록 단위 영상의 가로 길이, 세로 길이를 나타낼 수 있으며, a(u), a(v) 연산은 DCT-IF에 의해 수학식 2 및 수학식 3과 같이 정의될 수 있다. 그리고, w(u, v)는 전술한 과정에 의해 획득되며, 블록 단위 훈련 영상과 엣지 강화된 영상간 MSE를 최소화하는 가중치 계수를 나타낼 수 있다.
Figure 112015051830254-pat00002
Figure 112015051830254-pat00003
이에 따라, 도 4에 도시된 바와 같이, 해상도 스케일링 장치(100)는 해상도 변환부(170)를 통해 입력 영상의 특성 또는 카테고리를 식별하고, 그 특성 또는 카테고리에 따라 1장의 훈련 영상 이미지로부터 생성된 엣지 강화 스케일러 필터를 식별하며, 이를 이용하여 입력 영상 fo(i, j)에 대한 2차원 영상 변환을 수행으로써 수행 성능 향상 및 영상의 선명도가 개선된 f^(s, z)를 출력하는 2차원 해상도 스케일링을 수행할 수 있다.
그리고, 이와 같은 방법으로 해상도 스케일링 장치(100)는 주어진 영상신호의 모든 화소에 대해 2차원 스케일링을 적용할 수 있다. 또한, 2차원 스케일링이 종료되면, 해상도 스케일링 장치(100)는 해상도 스케일링된 영상을 raw 데이터의 형태로 프레임 단위 또는 실시간으로 출력할 수 있으며, 이를 위한 출력부(미도시) 및 프레임 버퍼(미도시)를 더 포함할 수 있다.
도 5 및 도 6은 본 발명의 실시 예에 따른 해상도 스케일링 장치(100)의복수의 프레임 단위 영상에 대한 가중치 계수 최적화 과정을 설명하기 위한 개념도이다.
도 5 및 도 6에 도시된 바와 같이, 입력된 훈련 영상이 복수의 프레임 이미지를 포함하는 경우 가중치 계수 최적화부(150)는 훈련 영상에 포함된 프레임 이미지들로부터 프레임 단위 영상들을 식별하고, 프레임 단위 영상들을 대표하는 최적화 계수 w를 획득할 수 있다. 그리고, 엣지 강화 스케일러 필터 생성부(160)는 최적화 계수에 기초하여 훈련 영상에 대응하는 제1 엣지 강화 스케일링 필터를 생성하여 그 특성 또는 카테고리 식별 정보와 함께 저장부(180)에 저장할 수 있다.
또한, 본 발명의 실시 예에서, 프레임 단위 영상은 복수의 블록 단위 영상을 포함할 수 있으며, 각 블록 단위 영상은 원본 영상으로부터 M X N 단위의 직사각형 형태를 샘플링하여 식별되는 소정 영역의 영상 정보를 포함할 수 있다. 예를 들어, M X N 블록 단위 영상은 8 X 8 블록 단위 영상일 수 있다.
또한, 프레임 단위 영상은 각 M X N 블록 단위 영상들이 P X Q 배열로 배치되는 형태로 구성될 수 있다. 이와 같은 원본 영상의 주파수 성분이 Fo(p, q, u, v)에 대응된다 할 때, 엣지 강화된 영상의 주파수 성분은 FE(p, q, u, v)에 대응된다고 할 수 있다.
그리고, 가중치 계수 최적화부(150)는 엣지 강화된 영상의 단위 영상 내 (u, v) 위치 좌표에 대한 주파수 성분 FE(p, q, u, v)과, 그 동일 위치에 대응하는 원본 영상의 주파수 성분 w(u, v)Fo(p, q, u, v)을 이용함으로써, 좌표 (u, v)에 대응하는 가중치 계수 w(u, v)를 획득할 수 있다.
또한, 가중치 계수 최적화부(150)는 이와 같이 획득되는 w(u, v)를 P X Q 블록들과 각각의 M X N 블록 영역 내 각 좌표별로 연산하고, FE(p, q, u, v)와 w(u, v)Fo(p, q, u, v)간 MSE(Mean Square Error)가 최소가 되도록 하는 최적화된 w(u, v)를 상기 블록 단위 영상에 대응하는 최적화된 가중치 계수로 결정할 수 있다.
이에 따라, 도 5를 참조하면, 엣지 강화 스케일링 필터 생성부(160)는 최적화된 가중치에 기초하여 상기 프레임 단위 영상에 대응하는 엣지 강화 스케일링 필터를 각각 생성할 수 있게 되며, 해상도 변환부(170)는 해상도가 변화될 제2 입력 신호의 입력 영상의 각 프레임 단위 영상에 대해 최적화된 가중치 계수를 구할 수 있게 된다.
이를 보다 구체적으로 설명하면, 도 5에서 변수 p, q가 는 블록 단위 영상의 위치를 나타내고, 변수 u, v는 블록 단위 영상내 주파수 성분의 위치를 나타내는 경우, 그 제1 입력 신호 1장의 영상에 대한 최적화된 가중치 계수는 제1 DCT 변환되어 가중치 계수가 곱연산된 주파수 성분 w(u, v)Fo(p, q, u, v)과 제2 DCT 변환된 주파수 성분 FE(p, q, u, v)사이의 MSE가 최소가 되도록 하는 계수를 나타낼 수 있다.
Figure 112015051830254-pat00004
이를 1차원 라인 단위 영상의 좌표계로 변환하면 하기와 같다.
Figure 112015051830254-pat00005
이에 따라, 상기의 식의 MSE가 각각 최소가 되도록 하는 최적화된 가중치 계수를 구하기 위하여는 MSE에 대해 편미분할 필요성이 있다. 이를 블록 단위 영상 또는 라인 단위 영상에 대해 각각 수행하면 하기의 수학식 6 및 7와 같다.
Figure 112015051830254-pat00006
Figure 112015051830254-pat00007
상기와 같은 과정을 통해, 하기와 같은 최적화된 가중치 계수 산출식이 정해질 수 있다.
Figure 112015051830254-pat00008
Figure 112015051830254-pat00009
Figure 112015051830254-pat00010
2차원 블록 단위 영상에 대한 경우, 상기의 수학식 8이 적용될 수 있으며, 1차원 라인 단위 영상의 경우 수평 방향으로는 상기의 수학식 9가, 수직 방향으로는 상기의 수학식 10이 적용되어, 단위 영상 식별 방식에 따른 프레임 단위 영상의 가로 방향(wH(u)), 세로 방향(wH(v)) 또는 2차원(w(u,v))의 최적화된 가중치 계수가 용이하게 산출될 수 있다.
그리고, 도 6에 도시된 바와 같은 본 발명의 실시 예에 따르면, 복수의 프레임 단위 영상들이 제1 영상 신호에 포함될 수 있다. 전술한 바와 같이, 제1 영상 신호는 적어도 하나의 훈련 영상 특성 또는 카테고리에 대응될 수 있으며, 각 훈련 영상 특성 또는 카테고리는 예를 들어, 야경, 인물, 자연, 항공, 패션, 미술, 정물, 수중 등의 다양한 특성 또는 카테고리를 포함할 수 있다.
또한, 본 발명의 실시 예에 따르면, 해상도 스케일링 장치(100)는, 제1 영상 신호의 전체 프레임 단위 영상들을 일괄적으로 해상도 스케일링하기 위해 최적화된 제1 엣지 강화 스케일링 필터를 생성할 수 있다.
또한, 이에 따라 훈련 영상의 특성별로 다양한 엣지 강화 스케일링 필터가 생성될 수 있으며, 후술할 제2 영상 신호가 입력될 경우, 그 제2 영상 신호의 특성 또는 특성 또는 카테고리에 따라 적절한 엣지 강화 스케일링 필터를 선택하여 적용할 수 있게 된다.
이와 같이 생성된 제1 엣지 강화 스케일러 필터는 전술한 각 훈련 영상 특성 또는 카테고리에 대응되어 미리 저장부(180)에 저장될 수 있다. 이에 따라 사전에 각 영상 특성 또는 카테고리별 미리 고정된 가중치 계수가 생성되어 저장될 수 있다. 이는 실제 해상도 변환할 제2 영상 신호 입력시 필터 생성을 위한 연산량을 감소시킬 수 있게 한다.
이를 위해, 가중치 계수 최적화부(150)는 상기의 각 프레임 단위 영상 내 최적화된 가중치 계수 연산과 아울러, 복수의 프레임 단위 영상들에 대한 전체적으로 최적화된 가중치 계수를 연산하여 획득할 수 있다.
도 6에 도시된 바와 같이 변수 t는 제1 영상 신호에 순차적으로 포함된 각 프레임 단위 영상들의 식별번호라고 할 수 있다. 그리고, 변수 p, q는 블록 단위 영상의 위치를 나타내고, 변수 u, v는 블록 단위 영상 내 주파수 성분의 위치를 나타날 수 있다.
이 때, 가중치 계수 최적화부(150)는 전체 T개의 프레임 단위 영상들의 주파수 성분 w(u, v)Fo(t, p, q, u, v)와 엣지 강화된 프레임 단위 영상들의 주파수 성분 FE(t, p, q, u, v) 사이의 MSE가 최소가 되도록 하는 w(u, v)를 연산함으로써, 최적화된 가중치 계수 w(u, v)를 구할 수 있다. 2차원 블록 단위를 기준으로 연산할 경우 하기의 수학식 11과 같으며, 1차원 라인 단위를 기준으로 연산하는 경우 하기의 수학식 12와 같을 수 있다.
Figure 112015051830254-pat00011
Figure 112015051830254-pat00012
이에 따라, 상기의 식의 MSE3, MSE4가 각각 최소가 되도록 하는 최적화된 가중치 계수를 구하기 위하여는 각 MSE에 대해 편미분할 필요성이 있다. 이를 각각 수행하면 하기의 수학식 13 및 14와 같다.
Figure 112015051830254-pat00013
Figure 112015051830254-pat00014
이에 따라, 0 내지 T까지의 복수의 t 프레임 단위 영상들 각각의 P X Q 블록 단위 영상들을 통합하여 최적화된 가중치 계수 w(u, v)를 산출하면, 하기의 수학식 15와 같이 연산될 수 있다. 그리고, 각각의 수평방향 라인 단위 영상의 스케일링을 위한 가중치 계수 w(u, v)를 산출하는 경우와 수직방향 라인 단위 영상의 스케일링을 위한 가중치 계수 w(u, v)를 산출하는 경우는 각각 하기의 수학식 16 내지 17에 도시된 바와 같이 연산될 수 있다.
Figure 112015051830254-pat00015
Figure 112015051830254-pat00016
Figure 112015051830254-pat00017
그리고, 엣지 강화 스케일링 필터 생성부(160)는 최적화된 가중치 계수 w(u, v)를 DCT-IF에 적용하여 제1 영상 신호의 영상 특성 또는 카테고리에 대응되는 제1 엣지 강화 스케일링 필터를 생성할 수 있다. 이와 같이 생성된 제1 엣지 강화 스케일링 필터는 상기 훈련 영상 특성 또는 카테고리 정보에 대응하여 저장부(180)에 저장 및 관리될 수 있으며, 추후 다른 영상의 해상도 변환시에도 활용될 수 있게 된다.
또한 이는 영상의 해상도 변환 이전에 유사 영상에 대한 미리 최적화된 가중치 계수를 먼저 연산하고 이에 기초한 엣지 강화 스케일링 필터를 생성 및 저장할 수 있어, 복잡도 측면에서의 부담도 줄일 수 있는 효과가 있다.
도 7은 본 발명의 실시 예에 따른 해상도 스케일링 방법을 설명하기 위한 흐름도이다.
도 7을 참조하면, 먼저 해상도 스케일링 장치(100)는 단위 영상 처리부(110)를 통해 제1 영상 신호의 라인 단위 영상, 블록 단위 영상을 포함하는 복수의 프레임 단위 영상들을 수신한다(S101). 제1 영상 신호는 훈련 영상에 대응될 수 있으며, 미리 결정된 특성 또는 카테고리 정보를 포함할 수 있다.
예를 들어, 단위 영상 처리부(110)는 미리 분할된 라인 단위 영상 또는 블록 단위 영상 또는 프레임 단위 영상을 수신하거나, 원본 영상이 입력된 경우 순차적인 스캐닝을 통해 라인 단위 영상, 블록 단위 영상 및 프레임 단위 영상으로 식별할 수 있다.
그리고, 해상도 스케일링 장치(100)는 엣지 강화부(130)를 통해 원본 영상의 엣지 강화를 수행한다(S103).
전술한 바와 같이, 엣지 강화부(130)는 다양한 엣지 강화 필터링 알고리즘에 의해 제1 영상 신호에 대응되는 엣지 강화를 수행할 수 있다. 예컨데 라플라시안(Laplacian) 커널, 소벨(Sobel) 필터, LoG(Laplacian of Gaussian) 필터, DoG(Difference of Gaussians) 필터 중 적어도 하나가 이용될 수 있다.
이후, 해상도 스케일링 장치(100)는 제2 DCT 변환부(140)를 통해 엣지 강화된 영상 프레임의 DCT 변환을 수행한다(S105).
그리고, 해상도 스케일링 장치(100)는 가중치 계수 최적화부(150)를 통해, 제1 DCT 변환부(120)로부터 변환된 원본의 제1 영상 신호의 주파수 성분과 상기 제2 DCT 변환부(140)의 변환 결과를 비교하여 가중치 계수의 최적화를 수행한다(S107).
이후, 해상도 스케일링 장치(100)는 엣지 강화 스케일링 필터 생성부(160)를 통해, 상기 최적화된 가중치 계수를 이용하여, 가중치 적용된 DCT-IF를 생성하며, 훈령 영상의 특성 또는 카테고리 식별 정보에 대응하여 제1 엣지 강화 스케일링 필터로 저장한다(S109). 생성 과정 및 결과적인 필터 동작은 전술한 바와 같다.
그리고, 해상도 스케일링 장치(100)는 제2 입력 신호가 수신되면, 저장부(180)에서 제2 입력 신호의 영상 특성 또는 카테고리에 대응되는 훈련 영상의 특성 또는 카테고리를 확인하고, 해상도 변환부(170)는 그 특성 또는 카테고리에 대응하는 제1 엣지 강화 스케일링 필터를 획득할 수 있다.
이에 따라, 해상도 스케일링 장치(100)는 해상도 변환부(170)를 통해 상기 가중치 적용된 DCT-IF를 이용하여 제1 엣지 강화 스케일링 필터에 기초한 해상도 변환을 수행한다(S111).
도 8은 본 발명의 다른 일 실시 예에 따른 해상도 스케일링 방법을 설명하기 위한 흐름도이다.
도 8을 참조하면, 본 발명의 실시 예에 따른 해상도 스케일링 장치(100)는 해상도 변환부(170)를 통해, 먼저 해상도 스케일링을 처리할 제2 영상 신호를 입력받는다(S201).
그리고, 해상도 스케일링 장치(100)는 해상도 변환부(170)를 통해, 해상도 스케일링할 영상의 특성 또는 카테고리 정보를 확인한다(S203). 특성 또는 카테고리 정보는 사용자 설정에 따라 해상도 스케일링 장치(100)에 미리 입력될 수 있으며, 또는 제2 영상 신호로부터 추출될 수도 있다.
그리고, 해상도 스케일링 장치(100)의 해상도 변환부(170)는 저장부(180)로부터 상기 특성 또는 카테고리 정보에 대응하여 미리 저장된 제1 엣지 강화 스케일링 필터를 획득한다(S205).
이후, 해상도 스케일링 장치(100)는 해상도 변환부(170)를 통해 상기 제1 엣지 강화 스케일링 필터를 이용한 해상도 변환을 수행한다(S207).
이와 같은 본 발명의 일 실시 예에 따라, 해상도 스케일링 장치(100)는 단위 영상에 대한 엣지 강화 필터링을 수행하여 획득되는 엣지 강화된 영상의 DCT 변환 계수와, 단위 영상의 DCT 변환 계수를 이용하여 가중치 계수를 획득하고, 가중치 계수를 적용한 엣지 강화 스케일링 필터를 생성할 수 있다.
이에 따라, 해상도 스케일링을 위한 엣지 강화 스케일링 필터를 원본 단위 영상의 해상도 변환에 이용할 수 있으며, DCT-IF 방식 스케일링 필터의 선명도 저하 현상을 해소함으로써, 해상도 스케일링 장치의 선명도 증가 및 성능 개선을 동시에 달성할 수 있게 되는 효과를 달성할 수 있다.
또한, 본 발명의 일 실시 예는 엣지 강화 스케일링 필터를 훈련 영상에 대해 미리 생성하여, 다른 영상에도 복잡도 증가 없이 적용할 수 있는 범용적인 엣지 강화 스케일링 필터를 생성할 수 있게 된다.
상술한 본 발명에 따른 방법은 컴퓨터에서 실행되기 위한 프로그램으로 제작되어 컴퓨터가 읽을 수 있는 기록 매체에 저장될 수 있으며, 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다.
컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형 실시가 가능한 것은 물론이고, 이러한 변형 실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해 되어서는 안될 것이다.

Claims (13)

  1. 영상 신호의 해상도 스케일링 장치에 있어서,
    훈련 영상의 복수의 영상 프레임을 포함하는 제1 영상 신호를 수신하는 입력부;
    상기 제1 영상 신호의 엣지 강화 필터링을 수행하여 엣지 강화된 영상 신호를 출력하는 엣지 강화부;
    상기 제1 영상 신호의 원본 프레임의 주파수 성분과, 상기 엣지 강화된 영상 신호의 주파수 성분을 이용하여, 상기 제1 영상 신호에 대해 최적화된 가중치 계수를 획득하되,
    엣지 강화 필터링된 상기 복수의 영상 프레임의 프레임 단위 영상들에 대한 프레임 식별번호, 블록 위치 및 위치 좌표에 대응되는 주파수 성분과, 상기 프레임 단위 영상들의 프레임 식별번호, 블록 위치 및 위치 좌표에 대응하는 원본 영상의 주파수 성분에 기초하여, 상기 프레임 단위 영상들 내 각 좌표별 가중치 계수들을 연산하고, 상기 각 좌표별 가중치 계수들 중 상기 엣지 강화된 프레임 단위 영상들과 상기 가중치 계수가 각각 적용된 프레임 단위 영상들간 MSE(Mean Square Error)가 최소가 되도록 하는 최적화된 가중치 계수를 상기 프레임 단위 영상들을 대표하며 상기 제1 영상 신호에 대응하는 최적화된 가중치 계수로 결정하는 가중치 계수 최적화부;
    상기 최적화된 가중치 계수에 기초하여 제1 엣지 강화 스케일링 필터를 생성하는 스케일링 필터 생성부;
    상기 제1 엣지 강화 스케일링 필터를 상기 제1 영상 신호에 대응시켜 저장하는 저장부; 및
    하나 이상의 제2 프레임들을 포함하는 제2 영상 신호가 수신되면, 상기 저장된 제1 엣지 강화 스케일링 필터를 이용하여, 상기 제2 영상 신호의 해상도 스케일링을 수행하는 해상도 변환부를 포함하는
    영상 신호의 해상도 스케일링 장치.
  2. 제1항에 있어서,
    상기 제1 영상 신호는 미리 결정된 영상 특성 또는 카테고리에 대응되며,
    상기 저장부는 상기 영상 특성 또는 카테고리 및 이에 대응되는 상기 제1 엣지 강화 스케일링 필터를 저장하는 것을 특징으로 하는
    영상 신호의 해상도 스케일링 장치.
  3. 제2항에 있어서,
    상기 해상도 변환부는
    상기 제2 영상 신호의 특성 또는 카테고리 정보에 따라 상기 제1 엣지 강화 스케일링 필터를 상기 저장부로부터 획득하는
    영상 신호의 해상도 스케일링 장치.
  4. 제1항에 있어서,
    상기 제1 영상 신호로부터 단위 영상을 처리하는 단위 영상 처리부;
    상기 제1 영상 신호를 DCT 변환하는 제1 DCT 변환부; 및
    상기 엣지 강화된 영상 신호를 DCT 변환하는 제2 DCT 변환부를 더 포함하며,
    상기 가중치 계수 최적화부는 상기 제1 DCT 변환부 출력과 상기 제2 DCT 변환부 출력을 이용하여 상기 단위 영상 정보에 대응하는 상기 가중치 계수를 획득하는
    영상 신호의 해상도 스케일링 장치.
  5. 제4항에 있어서,
    상기 가중치 계수 최적화부는
    상기 단위 영상 정보에 포함된 화소들에 대응하여, 상기 제1 DCT 변환부 출력에 가중치 계수를 곱한 값과, 상기 제2 DCT 변환부 출력의 차이로부터 획득되는 MSE(Mean Square Error)가 최소값을 갖도록 하는 최적화된 가중치 계수를 상기 단위 영상 정보에 대응하는 가중치 계수로서 출력하는
    영상 신호의 해상도 스케일링 장치.
  6. 제1항에 있어서,
    상기 엣지 강화 스케일링 필터 생성부는
    1차원 또는 2차원 DCT-IF(DCT based interpolation filter)에 상기 가중치 계수를 적용하여 상기 제1 엣지 강화된 스케일링 필터를 생성하는
    영상 신호의 해상도 스케일링 장치.
  7. 영상 신호의 해상도 스케일링 방법에 있어서,
    훈련 영상의 복수의 영상 프레임을 포함하는 제1 영상 신호를 수신하는 단계;
    상기 제1 영상 신호의 엣지 강화 필터링을 수행하여 엣지 강화된 영상 신호를 출력하는 단계;
    상기 제1 영상 신호의 주파수 성분과, 상기 엣지 강화된 영상 신호의 주파수 성분을 이용하여, 상기 제1 영상 신호에 대해 최적화된 가중치 계수를 획득하되, 엣지 강화 필터링된 상기 복수의 영상 프레임의 프레임 단위 영상들에 대한 프레임 식별번호, 블록 위치 및 위치 좌표에 대응되는 주파수 성분과, 상기 프레임 단위 영상들의 프레임 식별번호, 블록 위치 및 위치 좌표에 대응하는 원본 영상의 주파수 성분에 기초하여, 상기 프레임 단위 영상들 내 각 좌표별 가중치 계수들을 연산하고, 상기 각 좌표별 가중치 계수들 중 상기 엣지 강화된 프레임 단위 영상들과 상기 가중치 계수가 각각 적용된 프레임 단위 영상들간 MSE(Mean Square Error)가 최소가 되도록 하는 최적화된 가중치 계수를 상기 프레임 단위 영상들을 대표하며 상기 제1 영상 신호에 대응하는 최적화된 가중치 계수로 결정하는는 단계;
    상기 최적화된 가중치 계수에 기초하여 제1 엣지 강화 스케일링 필터를 생성하는 단계;
    상기 제1 엣지 강화 스케일링 필터를 상기 제1 영상 신호에 대응시켜 미리 저장하는 단계; 및
    복수의 제2 프레임들을 포함하는 제2 영상 신호가 수신되면, 상기 미리 저장된 제1 엣지 강화 스케일링 필터를 이용하여, 상기 제2 영상 신호의 해상도 스케일링을 수행하는 단계를 포함하는
    영상 신호의 해상도 스케일링 방법.
  8. 제7항에 있어서,
    상기 제1 영상 신호는 미리 결정된 훈련 영상 특성 또는 카테고리에 대응되며,
    상기 저장하는 단계는,
    상기 훈련 영상 특성 또는 카테고리 및 이에 대응되는 상기 제1 엣지 강화 스케일링 필터를 저장하는 단계를 포함하는
    영상 신호의 해상도 스케일링 방법.
  9. 제8항에 있어서,
    상기 해상도 스케일링을 수행하는 단계는,
    상기 제2 영상 신호의 특성 또는 카테고리 정보를 이용하여, 상기 제1 엣지 강화 스케일링 필터를 저장부로부터 획득하는 단계를 포함하는
    영상 신호의 해상도 스케일링 방법.
  10. 제7항에 있어서,
    상기 수신하는 단계는,
    상기 제1 영상 신호로부터 단위 영상을 처리하는 단계를 포함하고,
    상기 엣지 강화된 영상 신호를 출력하는 단계는,
    제2 DCT 변환부가 상기 엣지 강화된 영상 신호를 DCT 변환하는 단계를 포함하며,
    상기 최적화된 가중치 계수를 획득하는 단계는,
    제1 DCT 변환부가 상기 제1 영상 신호를 DCT 변환하는 단계; 및
    상기 제1 DCT 변환부 출력과 상기 제2 DCT 변환부 출력을 이용하여 상기 단위 영상을 기반으로 하는 상기 최적화된 가중치 계수를 획득하는 단계를 포함하는
    영상 신호의 해상도 스케일링 방법.
  11. 제10항에 있어서,
    상기 최적화된 가중치 계수를 획득하는 단계는,
    상기 단위 영상 정보에 포함된 화소들에 대응하여, 상기 제1 DCT 변환부 출력에 가중치 계수를 곱한 값과, 상기 제2 DCT 변환부 출력의 차이로부터 획득되는 MSE(Mean Square Error)가 최소값을 갖도록 하는 최적화된 가중치 계수를 상기 단위 영상 정보에 대응하는 가중치 계수로서 출력하는 단계를 포함하는
    영상 신호의 해상도 스케일링 방법.
  12. 제7항에 있어서,
    상기 제1 엣지 강화 스케일링 필터를 생성하는 단계는
    1차원 또는 2차원 DCT-IF(DCT based interpolation filter)에 상기 가중치 계수를 적용하여 상기 제1 엣지 강화된 스케일링 필터를 생성하는 단계를 포함하는
    영상 신호의 해상도 스케일링 방법.
  13. 제7항 내지 제12항 중 어느 한 항에 기재된 방법을 컴퓨터에서 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
KR1020150075788A 2015-05-29 2015-05-29 해상도 스케일링 방법 및 그 장치 KR101702937B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150075788A KR101702937B1 (ko) 2015-05-29 2015-05-29 해상도 스케일링 방법 및 그 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150075788A KR101702937B1 (ko) 2015-05-29 2015-05-29 해상도 스케일링 방법 및 그 장치

Publications (2)

Publication Number Publication Date
KR20160139898A KR20160139898A (ko) 2016-12-07
KR101702937B1 true KR101702937B1 (ko) 2017-02-08

Family

ID=57573243

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150075788A KR101702937B1 (ko) 2015-05-29 2015-05-29 해상도 스케일링 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101702937B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102642927B1 (ko) * 2018-11-16 2024-03-04 삼성전자주식회사 영상 처리 장치 및 그 동작방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014142631A1 (en) * 2013-03-15 2014-09-18 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency strength controlled transform

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101538704B1 (ko) * 2009-01-28 2015-07-28 삼성전자주식회사 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치
KR101423648B1 (ko) * 2011-09-09 2014-07-28 주식회사 케이티 화면 간 예측 수행시 후보 블록 결정 방법 및 이러한 방법을 사용하는 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014142631A1 (en) * 2013-03-15 2014-09-18 Samsung Electronics Co., Ltd. Creating details in an image with adaptive frequency strength controlled transform

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김재훈, et al. DCT 계수 분포를 이용해 추출한 edge 방향성에 기반한 새로운 적응적 보간 기법. 방송공학회논문지, 2013년 1월, Vol.18. No.1*

Also Published As

Publication number Publication date
KR20160139898A (ko) 2016-12-07

Similar Documents

Publication Publication Date Title
RU2696311C1 (ru) Устройство и способ для компенсации движения видео с выбираемым интерполяционным фильтром
RU2461977C2 (ru) Сжатие и снятие сжатия изображения
TWI673687B (zh) 畫像編碼裝置、畫像解碼裝置、畫像編碼方法、畫像解碼方法及記憶媒體
EP2063644A2 (en) Image encoding device and encoding method, and image decoding device and decoding method
US20030053711A1 (en) Reducing blocking and ringing artifacts in low-bit-rate coding
KR101653039B1 (ko) 복호화 정보를 이용한 해상도 변환 장치 및 그 방법
CN116456114A (zh) 视频信号解码/编码方法及比特流的传输方法
KR101773279B1 (ko) 업샘플링 및 신호 향상
Xiong et al. Sparse spatio-temporal representation with adaptive regularized dictionary learning for low bit-rate video coding
EP2145476B1 (en) Image compression and decompression using the pixon method
KR101819762B1 (ko) 영상 블록을 코딩 및 디코딩하기 위한 방법들
KR101702937B1 (ko) 해상도 스케일링 방법 및 그 장치
Niu et al. Edge-based perceptual image coding
US11202082B2 (en) Image processing apparatus and method
KR101683378B1 (ko) 해상도 스케일링 방법 및 그 장치
KR101522260B1 (ko) 해상도 변환 방법 및 그 장치
KR101526321B1 (ko) 해상도 변환 방법 및 그 장치
JP2010287917A (ja) 画像符号化／画像復号化装置及び方法
JP7185467B2 (ja) 画像復号装置、画像符号化装置、画像処理システム及びプログラム
WO2024077772A1 (en) Method and system for image data processing
KR100751401B1 (ko) 부호화기의 블록 크기 변환을 위한 변환기 및 그 변환방법
Erfurt et al. Shearlet-based loop filter
JP6423680B2 (ja) 画質改善装置、画質改善システム、及び画質改善プログラム
KR101522261B1 (ko) 해상도 변환 방법 및 그 장치
Cockshott et al. Image enhancement using vector quantisation based interpolation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
FPAY Annual fee payment

Payment date: 20191105

Year of fee payment: 4