KR102438227B1 - 영상 처리 장치 및 영상 처리 방법 - Google Patents

영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
KR102438227B1
KR102438227B1 KR1020150111150A KR20150111150A KR102438227B1 KR 102438227 B1 KR102438227 B1 KR 102438227B1 KR 1020150111150 A KR1020150111150 A KR 1020150111150A KR 20150111150 A KR20150111150 A KR 20150111150A KR 102438227 B1 KR102438227 B1 KR 102438227B1
Authority
KR
South Korea
Prior art keywords
image
gain
filter
processing apparatus
image processing
Prior art date
Application number
KR1020150111150A
Other languages
English (en)
Other versions
KR20160091222A (ko
Inventor
마사토시 소노다
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20160091222A publication Critical patent/KR20160091222A/ko
Application granted granted Critical
Publication of KR102438227B1 publication Critical patent/KR102438227B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Editing Of Facsimile Originals (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Television Systems (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Image Analysis (AREA)

Abstract

영상 처리 장치는 입력되는 입력 영상 신호가 나타내는 입력 영상을 확대하여 확대 영상을 생성하는 스케일링부; 입력 영상 신호에 기초하여, 확대 영상을 강조하기 위한 게인을 확대 영상의 타겟 화소마다 산출하는 게인 산출부; 및 타겟 화소마다 타겟 화소의 화소 값과 타겟 화소의 화소 값과 대응하는 게인을 가산하는 가산부를 구비한다.

Description

영상 처리 장치 및 영상 처리 방법{IMAGE PROCESSING DEVICE AND IMAGE PROCESSING METHOD}
본 발명은 영상 처리 장치 및 영상 처리 방법에 관한 것이다.
입력되는 영상 신호(이하, 「입력 영상 신호」로 나타내는 경우가 있다)에 대해 업스케일링(up-scaling)(업 컨버트(up-convert)라 불리우는 경우도 있다)을 행하면, 정밀감을 잃어버리는 경우가 많다. 이것은 업스케일링에 의해 샘플링(sampling) 주파수를 높이는 것에 의해, 나이퀴스트(nyquist) 주파수가 높아짐는 것을 고려하지 않고, 저 해상도의 영상을 고해상도로 변환함으로써, 상대적으로 고역 성분(나이퀴스트 주파수에 가까운 성분)이 감소하기 때문이다.
이와 같은 입력 영상 신호를 업스케일링하면서, 업스케일링 후의 확대된 영상의 화질 저하를 방지하는 기술이 개발되어 있다. 입력 영상 신호를 업스케일링하고, 업스케일링 후의 영상 신호에 대해 강조 처리를 행하는 기술로서는 예를 들어, 하기의 특허문헌 1에 기재된 기술을 들 수 있다.
JP 2011-015186 A
예를 들어, 특허문헌 1에 기재된 기술과 같은 기존의 기술이 사용되는 경우에는 업스케일링 후에 고역 성분 등에 대한 강조 처리가 행해지기 때문에, 상술한 바와 같은 업스케일링에 의해 정밀감을 상실하는 것에 의한 화질 저하를 방지할 수 있다. 여기서, 기존의 기술과 같이, 업스케일링 후에 강조 처리가 행해지는 경우에는 예를 들어, 입력 영상 신호가 나타내는 영상(이하, 「입력 영상」으로 나타낸다)을 유지하는 메모리(memory)와, 업스케일링 후의 영상 신호가 나타내는 확대된 영상(이하, 「확대 영상」로 나타내는 경우가 있다)을 유지하는 메모리가 마련된다. 상기 입력 영상을 유지하는 메모리는 업스케일링을 행하기 위해 마련되고, 상기 확대 영상을 유지하는 메모리는 강조 처리를 행하기 위해 마련된다.
그러나, 업스케일링 후에 강조 처리가 행해지는 경우에는, 상기와 같은 입력 영상과 확대 영상을 각각 유지하기 위한 메모리가 필요하게 된다. 또한, 예를 들어 최근의 표시 장치의 고해상도화에 의해, 업스케일링 후의 확대 영상의 해상도는 보다 크게 되기 때문에, 강조 처리를 행하기 위해 확대 영상을 유지하기 위한 메모리의 용량이 보다 크게 되어 버린다.
본 발명은 상기 문제를 감안하여 이루어진 것이고, 본 발명의 목적으로 하는 것은 입력된 영상 신호가 나타내는 영상을 업스케일링하고, 업스케일링 후의 확대된 영상의 화질 저하의 방지를 도모하는 것이 가능한, 신규하고 또한 개량된 영상 처리 장치 및 영상 처리 방법을 제공하는 것에 있다.
상기 목적을 달성하기 위해, 본 발명의 제 1 관점에 의하면, 입력되는 입력 영상 신호가 나타내는 입력 영상을 확대하는 스케일링부; 상기 입력 영상 신호에 기초하여, 상기 스케일링부에 있어서 처리에 의해 확대되는 영상인 확대 영상을 강조 하기 위한 게인을, 상기 확대 영상의 타겟 화소마다 산출하는 게인 산출부; 및 상기 타겟 화소마다, 상기 확대 영상의 화소 값과, 대응하는 상기 게인을 가산하는 가산부;를 구비하는 영상 처리 장치가 제공된다.
이러한 구성에 의해, 입력된 영상 신호가 나타내는 영상을 업스케일링하고, 또한, 확대 영상의 화소 값과 확대 영상에 대응하는 게인을 가산하여, 확대 영상을 강조하는 것이 가능하다. 따라서, 이러한 구성에 의해, 입력된 영상 신호가 나타내는 영상을 업스케일링하고, 업스케일링 후의 확대된 영상의 화질 저하의 방지를 도모할 수 있다. 또한, 이러한 구성에 의해, 후술하는 여러 가지 효과가 나타난다.
또한, 상기 게인 산출부는 상기 입력 영상 신호와 상기 스케일링부에 있어서 처리 후의 영상 신호인 확대 영상 신호와의 위상의 벗어남이 보상되도록 상기 게인을 산출할 수 있다.
또한, 상기 게인 산출부는 필터 처리에 의해 상기 게인을 산출할 수 있다.
또한, 상기 게인 산출부는 상기 스케일링부에 있어서 상기 입력 영상의 확대율에 대응하는, 필터 계수가 다른 복수의 필터를 사용한 필터 처리에 의해 상기 게인을 산출할 수 있다.
또한, 상기 목적을 달성하기 위해, 본 발명의 제 2 관점에 의하면, 입력되는 입력 영상 신호가 나타내는 입력 영상을 확대하는 스케일링 스텝; 상기 입력 영상 신호에 기초하여, 상기 스케일링 스텝에 있어서 처리에 의해 확대되는 영상인 확대 영상을 강조 하기 위한 게인을, 상기 확대 영상의 타겟 화소마다 산출하는 강조 스텝; 및 상기 타겟 화소마다, 상기 확대 영상의 화소 값과, 대응하는 상기 게인을 가산하는 가산 스텝;을 갖는 영상 처리 방법이 제공된다.
이러한 방법이 사용됨으로써, 입력된 영상 신호가 나타내는 영상을 업스케일링하고, 또한, 확대 영상의 화소 값과 확대 영상에 대응하는 게인을 가산하여, 확대 영상을 강조는 것이 가능하다. 따라서, 이러한 방법이 사용됨으로써, 입력된 영상 신호가 나타내는 영상을 업스케일링하고, 업스케일링 후의 확대된 영상의 화질 저하의 방지를 도모할 수 있다. 또한, 이러한 방법이 사용됨으로써, 후술하는 여러 가지 효과가 나타난다.
또한, 상기 목적을 달성하기 위해, 본 발명의 제 3 관점에 의하면, 컴퓨터를, 입력되는 입력 영상 신호가 나타내는 입력 영상을 확대하는 스케일링 수단, 상기 입력 영상 신호에 기초하여, 상기 스케일링 수단에 있어서 처리에 의해 확대되는 영상인 확대 영상을 강조하기 위한 게인을, 상기 확대 영상의 타겟 화소마다 산출하는 게인 산출 수단, 및 상기 타겟 화소마다, 상기 확대 영상의 화소 값과, 대응하는 상기 게인을 가산하는 가산 수단,으로서 기능시키기 위한 프로그램이 제공된다.
이러한 프로그램이 사용됨으로써, 입력된 영상 신호가 나타내는 영상을 업스케일링하고, 업스케일링 후의 확대된 영상의 화질 저하의 방지를 도모할 수 있다. 또한, 이러한 프로그램이 사용됨으로써, 후술하는 여러 가지 효과가 나타난다.
본 발명에 의하면, 입력된 영상 신호가 나타내는 영상을 업스케일링하고, 업스케일링 후의 확대된 영상의 화질 저하의 방지를 도모할 수 있다.
도 1은 업스케일링 후에 강조 처리가 행해지는 기존의 기술에 따른 영상 처리 장치의 구성의 일 예를 나타내는 블록(block)도이다.
도 2는 업스케일링 후에 강조 처리가 행해지는 기존의 기술에 따른 영상 처리 장치에 있어서 필요한 메모리의 용량의 개요를 나타내는 설명도이다.
도 3은 업스케일링 후에 강조 처리가 행해지는 기존의 기술에 따른 영상 처리 장치의 처리의 개요를 나타내는 설명도이다.
도 4는 업스케일링 후에 강조 처리가 행해지는 기존의 기술에 따른 영상 처리 장치에 있어서 필요한 메모리의 용량의 구체 예를 나타내는 설명도이다.
도 5는 제 1 실시 형태에 따른 영상 처리 장치의 구성의 일 예를 나타내는 블록도이다.
도 6은 제 1 실시 형태에 따른 영상 처리 장치에 있어서 필요한 메모리의 용량의 개요를 나타내는 설명도이다.
도 7은 제 1 실시 형태에 따른 영상 처리 장치의 처리의 개요를 나타내는 설명도이다.
도 8은 제 1 실시 형태에 따른 영상 처리 장치에 있어서 필요한 메모리의 용량의 구체 예를 나타내는 설명도이다.
도 9는 업스케일링 후에 강조 처리가 행해지는 기존의 기술에 따른 영상 처리 장치의 강조 처리부에 있어서 주파수 특성의 일 예를 나타내는 설명도이다.
도 10은 제 1 실시 형태에 따른 영상 처리 장치의 처리의 개요를 나타내는 설명도이다.
도 11은 제 1 실시 형태에 따른 영상 처리 장치의 처리의 개요를 나타내는 설명도이다.
도 12는 업스케일링 후에 강조 처리가 행해지는 기존의 기술에 따른 영상 처리 장치에 있어서 업스케일러의 설계가 곤란한 것을 나타내기 위한 설명도이다.
도 13은 제 2 실시 형태에 따른 영상 처리 장치의 처리의 개요를 나타내는 설명도이다.
이하에 첨부 도면을 참조하면서, 본 발명의 바람직한 실시 형태에 대해서 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 붙임으로써, 중복 설명을 생략한다.
(본 발명의 실시 형태에 따른 영상 처리 방법)
먼저, 본 발명의 실시 형태에 따른 영상 처리 방법에 대해서 설명한다. 이하에서는, 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리를, 본 발명의 실시 형태에 따른 영상 처리 장치가 행하는 경우를 예를 들어서, 본 발명의 실시 형태에 따른 영상 처리 방법에 대해서 설명한다.
[I] 기존의 기술이 사용되는 경우에 발생할 수 있는 문제
상술한 바와 같이, 업스케일링 후에 강조 처리가 행해지는 경우에는 입력 영상과 확대 영상을 각각 유지하기 위한 메모리가 필요하게 된다. 본 발명의 실시 형태에 따른 영상 처리 방법에 대해서 설명하기 전에, 업스케일링 후에 강조 처리가 행해지는 기존의 기술이 사용되는 경우에 발생할 수 있는 문제에 대해서 설명한다.
도 1은 업스케일링 후에 강조 처리가 행해지는 기존의 기술에 따른 영상 처리 장치(10)의 구성의 일 예를 나타내는 블록도이다.
영상 처리 장치(10)는 예를 들어, 입력 라인 메모리 제어부(12), 스케일링부(14), 강조 처리부(16), 입력 라인 메모리(18), 변환 라인 메모리(20), 및 출력 라인 메모리(22)를 구비한다.
영상 처리 장치(10)는 예를 들어, CPU(Central Processing Unit) 등의 프로세서(processor)나 각종 처리 회로 등으로 구성될 수 있고, 영상 처리 장치(10) 전체를 제어하는 제어부(도시하지 않음) 등을 구비할 수 있다. 제어부(도시하지 않음)를 구비하는 경우, 영상 처리 장치(10)에서는 예를 들어, 제어부(도시하지 않음)가, 입력 라인 메모리 제어부(12), 스케일링부(14), 및 강조 처리부(16) 중, 적어도 하나 이상의 역할을 수행할 수 있다.
입력 라인 메모리 제어부(12)는 예를 들어, 입력 라인 메모리(18)로의 입력 영상 신호의 기록과, 입력 라인 메모리(18)로부터의 입력 영상 신호의 리드를 제어한다.
스케일링부(14)는 입력 라인 메모리(18)로부터 리드된 입력 영상 신호에 대응하는 영상 데이터(data)에 대해, 업스케일링 처리를 행한다. 스케일링부(14)는 예를 들어, 영상을 수직 방향으로 업스케일링하는 수직 방향 업스케일러(24)와, 영상을 수평 방향으로 업스케일링하는 수평 방향 업스케일러(26)를 갖는다. 수직 방향 업스케일러(24)와 수평 방향 업스케일러(26)는 예를 들어, FIR(Finite Impulse Response) 필터(filter) 등을 사용한 필터 처리에 의해, 영상을 영상의 수직 방향, 수평 방향으로 각각 업스케일링한다.
강조 처리부(16)는 스케일링부(14)로부터 전달되는 영상 신호에 대해 강조 처리를 행한다. 강조 처리부(16)는 예를 들어, 스케일링부(14)로부터 전달되는 영상 신호가 나타내는 영상과, 당해 영상으로부터 산출된 게인(gain)(영상 신호의 AC(Alternating Current) 성분)을 각 화소에 가산함으로써, 스케일링부(14)로부터 전달되는 영상 신호가 나타내는 영상을 강조한다. 여기서, 강조 처리부(16)는 예를 들어, 밴드 패스 필터(BPF(Band-Pass Filter)) 등의 강조 처리에 사용되는 임의의 필터를 사용한 필터 처리를 스케일링부(14)로부터 전달되는 영상 신호에 대해 행함으로써, 게인을 산출한다.
입력 라인 메모리(18), 변환 라인 메모리(20), 및 출력 라인 메모리(22)는 영상 처리 장치(10)에 마련되는 영상 데이터를 기록하는 기록 매체이다.
입력 라인 메모리(18)에는 예를 들어, 수직 방향 업스케일러(24)의 입력으로 되는 입력 영상 중 처리 대상의 행 데이터가 기록된다. 또한, 변환 라인 메모리(20)에는 수직 방향 업스케일러(24)에 의해 처리된 영상에 대응하는 영상 데이터가 기록되고, 수평 방향 업스케일러(26)는 예를 들어, 변환 라인 메모리(20)에 기억되어 있는 영상 데이터를 처리할 수 있다. 또한, 출력 라인 메모리(22)에는, 수평 방향 업스케일러(26)에 의해 처리된 영상에 대응하는 영상 데이터가 기록되고, 강조 처리부(16)는 예를 들어, 출력 라인 메모리(22)에 기억되어 있는 영상 데이터를 처리한다.
이하, 도 1에 나타내는 영상 처리 장치(10)에 있어서 처리에 필요로 하는 메모리의 용량을 설명한다. 도 2는 업스케일링 후에 강조 처리가 행해지는 기존의 기술에 따른 영상 처리 장치에서 필요로 하는 메모리의 용량의 개요를 나타내는 설명도이다.
입력 영상의 화소 수를 “L 행 x C 열”, 업스케일(up-scale)의 비율을 “U 배”(U는 U>1), 수직 방향 업스케일러(24)와 수평 방향 업스케일러(26)에 있어서 필터의 탭(tap) 수를“TU", 강조 처리부(16)에 있어서 필터의 영상의 수직 방향의 탭 수를 “TE"라 하면, 영상 처리 장치(10)에 있어서 처리에 있어서 필요한 메모리의 용량은 도 2에서 나타내진다. 도 2에 있어서 필요한 행 수의 산출 이유는 하기와 같다.
· 입력 라인 메모리(18): 수직 방향 업스케일러(24)에 있어서 처리(TU 행)를 위해.
· 변환 메모리(20): 수직 방향 업스케일러(24)의 출력(U*TU 행)을 유지하고, 수평 방향 업스케일러(26)의 입력(TU 행)으로 하기 위해.
· 출력 라인 메모리(22): 수평 방향 업스케일러(26)의 출력(U*TU 행)을 유지하고, 강조 처리부(16)의 입력(TE 행)으로 하기 위해.
도 2를 사용함으로써, 영상 처리 장치(10)에 있어서 처리에 있어서 필요한 메모리의 용량을 산출할 수 있고, 메모리의 용량을 화소 수 단위로 표기하면, 하기에 수식 1로 나타내진다.
[수학식 1]
C x T U + U x C x T U + U x C x max(U x T U , T E ) …(수식 1)
여기서, 상기 수식 1의 제 3 항에 있어서 “U x TU > = TE"인 경우와, “U x TU < TE”인 경우를 고려하면, 상기 수식 1은 하기의 수식 2로 나타내진다.
[수학식 2]
C x {TU x (1 + U + U 2 )} ( U x TU ≥≥ TE )
C x {TU x (1 + U) + U x TE )} (U x TU < TE ) …(수식 2)
상기 수식 2로부터, 업스케일의 비율(U) 및 강조 처리부(16)의 필터의 탭 수(TE)의 증가에 따라서, 영상 처리 장치(10)에서 요구하는 메모리의 용량이 증대하는 것을 알 수 있다.
영상 처리 장치(10)에서 필요로하는 메모리의 용량의 구체 예를 나타낸다. 이하에서는, 영상 처리 장치(10)가 풀 HD의 영상(화소 수가 1920 열 x 1080 행의 영상, 이하, 마찬가지로 한다) 를 7 탭의 2 배 업스케일러에 의해 울트라 HD(화소 수가, 3840 열 x 2160 행의 영상, 이하, 마찬가지로 한다)의 영상으로 업스케일링(해상도 변환)하고, 9 탭의 필터로 강조 처리를 행하는 경우를 예로 든다.
도 3은 업스케일링 후에 강조 처리가 행해지는 기존의 기술에 따른 영상 처리 장치(10)의 처리의 개요를 나타내는 설명도이고, 수직 방향 업스케일러(24), 수평 방향 업스케일러(26), 및 강조 처리부(16)의 처리를 모식적으로 나타내고 있다.
도 3을 참조하면, 변환 라인 메모리(20)는 수평 방향 업스케일러(26)에 데이터를 공급하기 위해, 입력 라인 메모리(18)와 같은 폭으로 업스케일러의 탭 수(TU)와 같은 행에 대응하는 용량을 필요한다. 또한, 출력 라인 메모리(22)는 강조 처리부(16)에 데이터를 공급하기 위해, 입력 라인 메모리(18)에 대해, 폭 및 행 수가 모두 필터의 탭 수인 TE 이상의 용량을 필요로 한다.
도 4는 업스케일링 후에 강조 처리가 행해지는 기존의 기술에 따른 영상 처리 장치(10)에 있어서 필요한 메모리의 용량의 구체 예를 나타내는 설명도이다.
도 3에 나타내는 경우에 있어서, 영상 처리 장치(10)에 있어서 처리에 있어서 필요한 메모리의 용량은 C = 1920, U = 2, TU = 7, TE = 9로부터, 도 2를 사용하여 도 4로 나타내진다.
또한, 도 4 및 상기 수식 2로부터, 영상 처리 장치(10)에 있어서 처리에 있어서 필요한 메모리의 비트 수는 하기의 수식 3으로 나타내진다.
[수학식 3]
1920 x {7 x (1 + 2 + 22)} =94080 …(수식 3)
여기서, 영상 처리 장치(10)에 있어서 업스케일링을 행하기 위해 필요한 메모리의 용량은 입력 라인 메모리(18), 및 변환 라인 메모리(20)에 상당하는 40320 화소 분의 영상 데이터이다. 그러나, 영상 처리 장치(10)에 있어서 처리에서는, 상기 수식 3에 나타내는 바와 같이, 업스케일 후의 강조 처리를 위해서만, 94080 - 40320 = 53760 화소 분의 영상 데이터를 유지하기 위한 메모리의 용량을 필요로 한다. 그러므로, 영상 처리 장치(10)과 같이, 업스케일링 후에 강조 처리를 행하는 경우에는, 업스케일 후의 강조 처리를 위해, 영상 데이터의 유지에 따른 메모리의 하드웨어(hardware) 의 규모를 배 이상으로 증가시킬 필요가 있다.
또한, 상기 수식 1로부터, 업스케일의 비율(U)이 더 커지면, 상기 수식 1의 세번째 항에 상당하는 추가 데이터의 비율이 지수적으로 높아지는 것을 알 수 있다.
따라서, 영상 처리 장치(10)와 같이, 업스케일링 후에 강조 처리를 행하는 경우에는 하드웨어의 규모가 증대할 우려가 있다.
또한, 영상 처리 장치(10)과 같이, 업스케일링 후에 강조 처리를 행하는 경우에는 영상 처리의 성능면에서도 업스케일러(up scaler)의 설계가 곤란하다는 문제가 있다. 업스케일링 후에 강조 처리를 행하는 경우에 있어서 업스케일러의 설계 난이도에 대하여는 후술한다.
[1] 본 발명의 실시 형태에 따른 영상 처리 방법의 개요
상술한 바와 같이, 업스케일링 후에 강조 처리를 행하는 경우에는 하드웨어의 규모가 증대되는 등의 문제가 발생할 수 있다.
여기서, 본 발명의 실시 형태에 따른 영상 처리 장치는 입력 영상 신호에 대해 스케일링 처리를 행하고, 입력 영상을 확대한다(스케일링 처리). 또한, 본 발명의 실시 형태에 따른 영상 처리 장치는 입력 영상 신호에 기초하여, 스케일링 처리에 의해 확대되는 영상(이하, 「확대 영상」으로 나타낸다.)를 강조하기 위한 게인을 확대 영상의 타겟 화소마다 산출한다(게인 산출 처리). 또한, 본 발명의 실시 형태에 따른 영상 처리 장치는 타겟 화소마다, 영상 신호의 화소 값과 대응하는 게인을 가산한다(가산 처리).
본 발명의 실시 형태에 따른 영상 처리 장치는 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리로서, 상술한 바와 같은 (1) 스케일링 처리, (2) 게인 산출 처리, 및 (3) 가산 처리를 행한다.
여기서, 본 발명의 실시 형태에 따른 입력 영상 신호가 나타내는 영상으로서는 예를 들어, 정지 영상이나, 동영상을 들 수 있다. 또한, 본 발명의 실시 형태에 따른 입력 영상 신호로서는 예를 들어, 디지털 신호나, 아날로그 신호를 예로서 들 수 있다. 본 발명의 실시 형태에 따른 입력 영상 신호가 아날로그 신호인 경우, 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 아날로그 신호를 처리하여도 좋고, ADC(Analog-to-Digital Converter) 등을 사용하여 적절하게 아날로그 신호를 디지털 신호로 변환하여 변환된 디지털 신호를 처리하는 것도 가능하다.
본 발명의 실시 형태에 따른 영상 처리 장치에서는, 게인 산출 처리 및 가산 처리가 행해짐으로써, 스케일링 처리의 결과인 확대 영상이 강조되기 때문에, 업스케일링에 의해 정밀감을 잃는 것에 의한 화질 저하가 방지된다.
따라서, 본 발명의 실시 형태에 따른 영상 처리 장치는 입력된 영상 신호가 나타내는 영상을 업스케일링하고, 업스케일링 후의 확대된 영상의 화질 저하의 방지를 도모할 수 있다.
또한, 본 발명의 실시 형태에 따른 영상 처리 장치에서는 가산 처리에 있어서, 타겟 화소마다, 스케일링 처리의 결과인 확대 영상의 화소 값과, 게인 산출 처리의 결과인 대응하는 게인이 가산된다. 따라서, 본 발명의 실시 형태에 따른 영상 처리 장치에서는 예를 들어, 도 1에 나타내는 영상 처리 장치(10)에 마련되는 출력 라인 메모리(22)가 불필요하기 때문에, 본 발명의 실시 형태에 따른 영상 처리 장치는 업스케일링 후에 강조 처리를 행하는 영상 처리 장치(10)보다도 하드웨어의 규모를 작게 할 수 있다.
또한, 본 발명의 실시 형태에 따른 영상 처리 장치에서는, 도 1에 나타내는 영상 처리 장치(10)와 같이, 스케일링 처리 후의 영상 신호(이하, 「확대 영상 신호」로 나타낸다.) 에 대해 강조 처리가 행해지지 않는다. 따라서, 본 발명의 실시 형태에 따른 영상 처리 장치에서는, 후술하는 바와 같이, 업스케일러의 설계나 성능 조정의 난이도를 낮출 수 있다.
(본 발명의 실시 형태에 따른 영상 처리 장치)
이어서, 상술한 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리를 행하는 것이 가능한 본 발명의 실시 형태에 따른 영상 처리 장치의 구성의 일 예에 대하여 설명한다.
[1] 제 1 실시 형태에 따른 영상 처리 장치
[1-1] 제 1 실시 형태에 따른 영상 처리 장치의 구성 예
도 5는 제 1 실시 형태에 따른 영상 처리 장치(100)의 구성의 일 예를 나타내는 블록도이다. 도 5에서는, 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리가 행해진 처리 후의 영상 신호를 “출력 영상 신호”로 나타내고 있다.
영상 처리 장치(100)는 예를 들어, 입력 라인 메모리 제어부(102), 스케일링부(104), 게인 산출부(106), 가산부(108), 입력 라인 메모리(110), 및 변환 라인 메모리(112)를 구비한다.
또한, 영상 처리 장치(100)는 예를 들어, CPU 등의 프로세서나 각종 처리 회로 등으로 구성되고, 영상 처리 장치(100) 전체를 제어하는 제어부(도시하지 않음) 등을 구비할 수도 있다. 제어부(도시하지 않음)를 구비하는 경우, 영상 처리 장치(100)에서는, 제어부(도시하지 않음)가 입력 라인 메모리 제어부(102), 스케일링부(104), 게인 산출부(106), 및 가산부(108) 중의 적어도 하나 이상의 역할을 수행하는 것도 가능하다.
또한, 입력 라인 메모리 제어부(102), 스케일링부(104), 게인 산출부(106), 및 가산부(108) 중 적어도 하나 이상이, 제어부(도시하지 않음)와는 별개의 처리 회로(예를 들어, 전용의 처리 회로, 또는, 범용의 처리 회로) 등으로 실현될 수 있다는 것은 말할 필요도 없다. 또한, 입력 라인 메모리 제어부(102), 스케일링부(104), 게인 산출부(106), 및 가산부(108) 중 적어도 하나에서 수행되는 처리는 프로세서 등으로 실행되는 프로그램(program)(소프트웨어)에 의해 실현될 수 있다.
입력 라인 메모리 제어부(102)는 예를 들어, 입력 라인 메모리(110)로의 입력 영상 신호의 기록과, 입력 라인 메모리(110)로부터의 입력 영상 신호의 리드를 제어한다. 또한, 제 1 실시 형태에 따른 영상 처리 장치에서는, 예를 들어, 제어부(도시하지 않음)나, 스케일링부(104), 게인 산출부(106) 등의 다른 구성 요소가 입력 라인 메모리 제어부(102)의 역할을 수행하는 것도 가능하다.
스케일링부(104)는 상기 (1)의 처리(스케일링 처리)를 주도적으로 행하는 역할을 수행하고, 입력 영상 신호가 나타내는 입력 영상을 확대한다. 스케일링부(104)는 예를 들어, 입력 라인 메모리(110)로부터 리드된 입력 영상 신호에 대응하는 영상 데이터에 대해 업스케일링에 따른 처리를 행함으로써, 입력 영상을 확대한다.
스케일링부(104)는 예를 들어, 영상을 수직 방향으로 업스케일링하는 수직 방향 업스케일러(114)와, 영상을 수평 방향으로 업스케일링하는 수평 방향 업스케일러(116)를 갖는다. 수직 방향 업스케일러(114)와 수평 방향 업스케일러(116)는 예를 들어, FIR 필터 등을 사용한 필터 처리에 의해 영상을, 영상의 수직 방향, 수평 방향으로 각각 업스케일링한다.
게인 산출부(106)는 상기 (2)의 처리(게인 산출 처리)를 주도적으로 수행하고, 입력 영상 신호에 기초하여, 확대 영상(스케일링부(104)에 의해 확대되는 영상)을 강조하기 위한 게인을 확대 영상의 타겟 화소마다 산출한다. 게인 산출부(106)는 예를 들어, 입력 라인 메모리(110)로부터 리드된 입력 영상 신호에 대응하는 영상 데이터에 대해 처리를 행하고, 확대 영상의 타겟 화소마다 게인을 산출한다.
여기서, 게인 산출부(106)는 예를 들어, 필터 처리에 의해 게인을 산출한다. 보다 구체적으로는, 게인 산출부(106)는 예를 들어, 복수의 필터를 사용한 필터 처리에 의해 게인을 산출한다. 복수의 필터의 필터 계수들은 스케일링부(104)의 입력 영상의 확대율에 대응하고, 서로 상이할 수 있다.
또한, 상기 (2)의 처리(게인 산출 처리)에서는, 입력 영상 신호에 기초하여 확대 영상을 강조하기 위한 게인이 산출되는 즉, 입력 영상으로부터 업스케일링 후의 확대 영상의 게인이 산출된다. 그러므로, 게인 산출부(106)의 입력과 출력에서는, 위상이 다를 수 있다. 여기서, 게인 산출부(106)는 예를 들어, 입력 영상 신호와, 확대 영상 신호(스케일링부(104)에 있어서 처리 후의 영상 신호)의 위상의 벗어남이 보상되도록 게인을 산출한다.
게인 산출부(106)에 있어서 처리의 일 예에 대하여는 후술한다.
가산부(108)는 상기 (3)의 처리(가산 처리)를 주도적으로 행하는 역할을 수행하고, 타겟 화소마다, 확대 영상의 화소 값과 대응하는 게인을 가산한다. 가산부(108)는 예를 들어, 덧셈기로 구성된다.
그리고, 가산부(108)는 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리가 행해진 영상 신호(출력 영상 신호)를 출력한다. 가산부(108)로부터 출력되는 영상 신호는 표시 디바이스(device)에 전달되고, 표시 화면에 영상으로서 표시될 수 있고, 기록 매체에 영상 데이터로서 기록될 수도 있다. 표시 화면으로의 표시 제어나, 기록 매체로의 기록 제어는 예를 들어, 제어부(도시하지 않음)나 외부 장치에 의해 행해진다.
입력 라인 메모리(110) 및 변환 라인 메모리(112)는 영상 처리 장치(100)에 마련되는 영상 데이터를 기록하는 기록 매체이다. 도 5에 나타내는 바와 같이, 영상 처리 장치(100) 는 도 1에 나타내는 영상 처리 장치(10)에 마련되어 있는 출력 라인 메모리(22)를 구비하지 않는다.
입력 라인 메모리(110)는 도 1에 나타내는 입력 라인 메모리(18)와 동일한 역할을 수행하고, 입력 라인 메모리(110)에는 예를 들어, 수직 방향 업스케일러(114), 및 게인 산출부(106)의 입력으로 되는 입력 영상의 처리 대상의 행 데이터가 기록된다.
또한, 변환 라인 메모리(112)는 도 1에 나타내는 변환 라인 메모리(20)와 동일한 역할을 수행하고, 변환 라인 메모리(112)에는, 수직 방향 업스케일러(114)에 의해 처리된 영상에 대응하는 영상 데이터가 기록되고, 수평 방향 업스케일러(116)는 예를 들어, 변환 라인 메모리(112)에 기억되어 있는 영상 데이터를 처리한다.
영상 처리 장치(100)는 예를 들어 도 5에 나타내는 구성에 의해, 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리(상기 (1)의 처리(스케일링 처리), 상기 (2)의 처리(게인 산출 처리), 및 상기 (3)의 처리(가산 처리))를 행한다.
따라서, 영상 처리 장치(100)는 예를 들어, 도 5에 나타내는 구성에 의해 입력된 영상 신호가 나타내는 영상을 업스케일링하고, 업스케일링 후의 확대된 영상의 화질 저하의 방지를 도모할 수 있다.
또한, 영상 처리 장치(100)는 예를 들어, 도 5에 나타내는 구성에 의해, 상술한 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리가 행해짐으로써, 나타나는 효과를 나타낼 수 있다. 또한, 제 1 실시 형태에 따른 영상 처리 장치의 구성은 도 5에 나타내는 구성에 한정되지 않고, 예를 들어, 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리를 행하는 것이 가능한 임의의 구성을 가질 수 있다.
[1-2] 영상 처리 장치(100)에 있어서 처리에 필요로 하는 메모리의 용량
이어서, 영상 처리 장치(100)에 있어서 처리에 필요로 하는 메모리의 용량을 나타낸다. 도 6은 제 1 실시 형태에 따른 영상 처리 장치(100)에 있어서 필요한 메모리의 용량의 개요를 나타내는 설명도이다.
입력 영상의 화소 수를 “L 행 x C 열”, 업스케일의 비율을 “U 배”(U > 1), 수직 방향 업스케일러(114)와 수평 방향 업스케일러(116)에 있어서 필터의 탭 수를 “TU", 게인 산출부(106)에 있어서 필터의 영상의 수직 방향의 탭 수를 “TE '”라 하면, 영상 처리 장치(100)에 있어서 처리에 있어서 필요한 메모리의 용량은 도 6으로 나타내진다. 여기서, 도 6에 있어서 필요한 행 수의 산출 이유는 하기와 같다.
· 입력 라인 메모리(110): 수직 방향 업스케일러(114)에 있어서 처리(TU 행), 및 게인 산출부(106)에 있어서 처리(TE 행)를 위해.
· 변환 메모리(112): 수직 방향 업스케일러(114)의 출력(U*TU 행)을 유지하고, 수평 방향 업스케일러(116)의 입력(TU 행)으로 하기 위해.
도 6을 사용함으로써, 영상 처리 장치(100)에 있어서 처리에 있어서 필요한 메모리의 용량을 산출할 수 있고, 메모리의 용량을 화소 수 단위로 표기하면, 하기에 수식 4로 나타내진다.
[수학식 4]
C x max(T U , T E ' ) + U x C x T U …(수식 4)
여기서, 상기 수식 4의 제 1 항에 있어서 “TU"와 “TE '”와의 대소 관계에 따라 경우를 나누면, 상기 수식 4는 하기의 수식 5로 나타내진다.
[수학식 5]
C x {T U x (1 + U)} (T U ≥≥ T E ' )
C x { T E ' x + U x T U )} (T U < T E ' ) …(수식 5)
상기 수식 5와 상기 수식 2를 비교하면, “영상 처리 장치(100)에서는, 업스케일의 비율(U)에 대한 필요한 메모리 용량의 의존이 감소하고 있는 것”, 및 “영상 처리 장치(100)에서는, 탭 수(TE ')를 탭 수(TE) 이하로 억제하면, 도 1에 나타내는 출력 라인 메모리(22) 만큼 메모리의 용량을 삭감할 수 있는 것”을 알 수 있다. 여기서, 주파수 특성을 고려하면, 탭 수(TE')를 탭 수(TE) 이하로 억제할 수 있다. 탭 수(TE ')를 탭 수(TE) 이하로 억제하는 것에 대하여는 후술한다.
영상 처리 장치(100)에 있어서 처리에 있어서 필요한 메모리의 용량의 구체 예를 나타낸다. 이하에서는, 영상 처리 장치(100)가, 스케일링부(104)를 통해, 풀 HD의 영상(화소 수가 1920 열 x 1080 행의 영상)를, 7 탭의 2 배 업스케일러에 의해 울트라 HD(화소 수가 3840 열 x 2160 행의 영상)의 영상으로 업스케일링(해상도 변환)하는 경우를 예로 든다. 또한, 이하에서는, 영상 처리 장치(100)가 게인 산출부(106)에 있어서, 풀 HD의 영상에 대해 5 탭의 필터를 사용하여 울트라 HD의 화소 위치에 대응하는 게인을 산출하는 경우를 예로 든다.
여기서, 스케일링부(104)를 구성하는 수직 방향 업스케일러(114) 및 수평 방향 업스케일러(116)의 처리는 예를 들어, 도 3에 나타내는 수직 방향 업스케일러(24) 및 수평 방향 업스케일러(26)의 처리와 동일할 수 있다. 또한, 영상 처리 장치(100)에서, 도 3에 도시된 강조 처리부(16)의 처리는 행해지지 않고, 게인 산출부(106)는 강조 처리부(16)의 처리와는 다른 처리를 행한다.
도 7은 제 1 실시 형태에 따른 영상 처리 장치(100)의 처리의 개요를 나타내는 설명도이고, 게인 산출부(106)에 있어서 처리를 모식적으로 나타내고 있다.
상기 수식 5에 나타내는 바와 같이, 입력 라인 메모리(110)의 행 수는 수직 방향 업스케일러(114)의 탭 수와 게인 산출부(106)의 탭 수 중 더 큰 것 만큼 필요하지만, 변환 라인 메모리(112)는 도 1에 나타내는 변환 라인 메모리(20)와 동일할 수 있다. 또한, 도 5에 나타내는 바와 같이, 수평 방향 업스케일러(116)의 출력과 게인 산출부(106)의 출력은 가산부(108)에서 가산되어 출력 영상 신호의 화소 값으로 되기 때문에, 영상 처리 장치(100)는, 도 1에 나타내는 영상 처리 장치(10)에 마련되어 있는 출력 라인 메모리(22)를 필요로 하지 않는다.
도 8은 제 1 실시 형태에 따른 영상 처리 장치(100)에 있어서 필요한 메모리의 용량의 구체 예를 나타내는 설명도이다.
도 8에 도시된 영상 처리 장치(100)에서 필요로 하는 메모리의 용량은 C = 1920, U = 2, TU = 7, TE ' = 5로부터, 도 6에 도시된 수식을 사용하여 도 8에 도시 되었다.
또한, 도 8 및 상기 수식 5로부터, 영상 처리 장치(100)의 처리에 있어서 필요한 메모리의 비트 수는 하기의 수식 6으로 나타내진다.
[수학식 6]
1920 x {7 x (1 + 2)} = 40320 …(수식 6)
상기 수식 6과 상기 수식 3을 비교하면, 영상 처리 장치(100)에 있어서 필요한 메모리의 용량은 업스케일링을 행하기 위해 필요한 메모리의 용량에 상당하는 40320 화소 분의 영상 데이터이고, 기존의 기술에 따른 영상 처리 장치(10)에 있어서 필요로 하는 53760 화소 분의 영상 데이터를 유지하기 위한 메모리의 용량은 필요하지 않다는 것을 알 수 있다.
따라서, 영상 처리 장치(100)는 업스케일링 후에 강조 처리를 행하는 기존의 기술에 따른 영상 처리 장치(10)보다도, 하드웨어의 규모를 작게 할 수 있다.
[1-3] 게인 산출부(106)에 있어서 처리
이어서, 게인 산출부(106)에 있어서 처리의 실현 방법에 대해서, 보다 구체적으로 나타낸다. 이하에서는, 게인 산출부(106)가 도 1에 나타내는 강조 처리부(16)에 있어서 사용되는 필터와 가까운 주파수 특성을 갖는 필터(디지털 필터 또는 아날로그 필터)를 사용한 필터 처리에 의해, 확대 영상에 대응하는 게인을 산출하는 경우를 예로 든다.
또한, 이하에서는, 풀 HD의 입력 영상을 나타내는 입력 영상 신호가 영상 처리 장치(100) 또는 영상 처리 장치(10)로 입력되고, 울트라 HD의 영상으로 업스케일링되는 경우, 즉, 영상의 수직 방향 및 수평 방향 각각이 2 배의 업스케일의 비율로 업스케일링되는 경우를 예로 든다.
또한, 이하에서는, 설명을 간단히 하기 위해, 게인 산출부(106)가 일차원의 필터를 사용하여 처리를 행하는 경우를 예로 든다. 또한, 이하에 나타내는 일차원의 필터를 사용한 처리를, 2 차원의 영상에 적용 가능하도록 확장하는 것은 예를 들어, 영상의 수평 방향과 수직 방향으로 연속하여 동일한 필터를 적용하는 것이나, 일차원의 필터 계수를 McClellan 변환에 의해 2 차원 평면상에서 회전시키는 것 등에 의해 실현된다.
먼저, 업스케일링 후에 강조 처리가 행해지는 기존의 기술에 따른 영상 처리 장치(10)의 강조 처리부(16)에 있어서 처리의 일 예를 나타낸다. 도 9는 업스케일링 후에 강조 처리가 행해지는 기존의 기술에 따른 영상 처리 장치(10)의 강조 처리부(16)에 있어서 주파수 특성의 일 예를 나타내는 설명도이다. 이하에서는, 도 1에 나타내는 영상 처리 장치(10)의 강조 처리부(16)에 있어서 주파수 특성이 도 9에 나타내는 주파수 특성을 갖는 것으로 가정한다.
도 9의 A는 강조 처리부(16)의 진폭 특성의 일 예를 나타내고 있고, 강조 처리부(16)가 강조를 위해 업스케일링 후의 울트라 HD의 영상의 나이퀴스트 주파수의 절반보다 낮은 근처에 게인을 갖는 밴드 패스 필터로 구성되는 예를 나타내고 있다. 도 9의 A에 나타내는 진폭 특성을 갖는 밴드 패스 필터는 업스케일링 전의 풀 HD 영상의 나이퀴스트 주파수 보다도 약간 낮은 근처의 신호에 게인을 주는 밴드 패스 필터에 상당한다.
도 9의 B는 강조 처리부(16)에 있어서 위상 특성에 관계하는 필터의 거동의 일 예를 나타내고 있다. 울트라 HD에 업스케일된 확대 영상을 처리 대상으로 하기 위해, 강조 처리부(16)에 있어서 필터의 필터 계수는 타겟 화소를 중심으로 좌우 대칭인 형상을 하고 있고, 강조 처리부(16)는 필터 계수와 화소 값이 겹친다. 따라서, 강조 처리부(16)에 있어서 처리에서는 타겟 화소의 위상이 그대로 출력 화소의 위상으로 된다.
여기서, 도 9의 B에 있어서 필터 계수 부분의 선은 필터 계수의 연속 함수 근사이다. 필터 계수의 연속 함수는 예를 들어, 필터 계수를 제로(zero) 삽입 등에 의해 1000 배로 업샘플링하고, 그 결과를 시간 축에서 1/1000로 이산화(離散化)한 sinc 함수를 중첩시킴으로써, 구해진다. 신호 처리에 있어서 공지와 같이, 상기 연속 함수는 필터의 임펄스(impulse) 응답으로 되어 있다.
이어서, 도 9에 나타내는 기존의 기술에 따른 영상 처리 장치(10)의 강조 처리부(16)에 있어서 주파수 특성과 동등한 주파수 특성을 갖는 게인 산출부(106)를 구성하는 필터에 대해서 설명한다.
여기서, 게인 산출부(106)에 있어서 처리와, 도 1에 나타내는 강조 처리부(16)에 있어서 처리와의 큰 차이는 게인 산출부(106)의 처리에 있어서 참조 화소가, 업스케일링 후의 울트라 HD의 영상이 아니라, 업스케일링 전의 풀 HD의 영상이라는 점이다. 여기서, 게인 산출부(106)는 예를 들어, 도 1에 나타내는 강조 처리부(16)의 임펄스 응답을, 업스케일링 전의 풀 HD의 영상의 화소 위치에 대응시켜(또는 합하여) 샘플링하고, 고침으로써, 강조 처리부(16)의 주파수 특성과 동등한 주파수 특성을 갖는 필터의 필터 계수를 구한다.
또한, 상술한 바와 같이, 게인 산출부(106)는 입력 영상으로부터 업스케일링 후의 확대 영상의 게인을 산출하기 때문에, 게인 산출부(106)의 입력과 출력에서는 위상이 다를 수 있다. 따라서, 게인 산출부(106)에 있어서 필터의 필터 계수는 입력 영상 신호와 확대 영상 신호의 위상의 벗어남이 보상되도록 결정된다.
도 10은 제 1 실시 형태에 따른 영상 처리 장치(100)의 처리의 개요를 나타내는 설명도이고, 게인 산출부(106)에 있어서 출력되는 게인에 대응하는 타겟 화소에 대한 입력 영상의 참조 화소의 위치 관계의 일 예를 나타내고 있다.
도 10에서, 업스케일링 전의 풀 HD의 영상의 화소(참조 화소)에 대해, 왼쪽과 오른쪽의 2 개의 위상의 출력 화소가 대응된다. 그러므로, 도 10에 나타내는 예에서는, 도 9에 나타내는 방법에 의해 구해지는 임펄스 응답의 중심이 2개의 출력 화소에 대응되는 2개의 타겟 화소와 중첩되도록 위상을 설정하고, 참조 화소의 위치에 대응되는 필터 계수를 산출할 수 있다(도 10의 FF1, FF2). 그 결과, 임펄스 응답의 중심으로부터 타겟 화소에 대응되는 참조 화소의 중심까지의 수평 방향으로의 길이는 타겟 화소의 중심으로부터 타겟 화소에 대응되는 참조 화소의 중심까지의 수평 방향으로의 길이와 동일 할 수 있다.
게인 산출부(106)에서는 예를 들어, 필터 계수가 FF1인 필터와, 필터 계수가 FF2인 필터를, 타겟 화소가, 도 10에 나타내는 왼쪽(짝수 번째의 화소)인지, 도 10에 나타내는 오른쪽(홀수 번째의 화소)인지를 근거로 선택하여, 필터 처리가 행해진다.
게인 산출부(106)가 예를 들어, 상기와 같은 필터 계수가 다른 복수의 필터를 사용한 필터 처리를 행함으로써, 게인 산출부(106)는 입력 영상 신호와 확대 영상 신호의 위상의 벗어남이 보상되도록 게인을 산출할 수 있다. 또한, 게인 산출부(106)가 예를 들어 상기와 같은 필터 계수가 다른 복수의 필터를 사용한 필터 처리를 행함으로써, 영상 처리 장치(100)는 도 1에 나타내는 영상 처리 장치(10)에 있어서 업스케일링 후에 행해지는 강조 처리를, 입력 영상 신호에 기초하는 강조 처리로 치환될 수 있다.
게인 산출부(106)에 있어서 필터의 진폭 특성에 대해서 검토한다. 도 11은 제 1 실시 형태에 따른 영상 처리 장치의 처리의 개요를 나타내는 설명도이고, 게인 산출부(106)에 있어서 필터의 진폭 특성의 일 예를 나타내고 있다.
게인 산출부(106)에 있어서 필터는 도 1에 나타내는 영상 처리 장치(10)에 있어서 업스케일링 후에 행해지는 강조 처리와 동일한 임펄스 응답을 갖는 필터의 계수를, 업스케일 전의 화소 위치에서 샘플링하여 필터 계수로 한 것에 상당한다. 따라서, 도 11, 도 9의 A에 나타내는 바와 같이, 게인 산출부(106)에 있어서 필터의 진폭 특성은 나이퀴스트 주파수가 다르지만, 도 1에 나타내는 강조 처리부(16)에 있어서 필터의 진폭 특성과 동일한 것을 알 수 있다.
또한, 도 10으로부터, 게인 산출부(106)에 있어서 필터의 탭 수에 관하는 중요한 통찰이 얻어진다. 상술한 예에서는, 도 1에 나타내는 강조 처리부(16)에 있어서 필터는 9 탭(탭 수(TE) = 9)으로 실현되어 것에 대해, 게인 산출부(106)에 있어서 필터는 5 탭(탭 수(TE') = 5)으로 실현되어 있다. 즉, 강조 처리부(16)에 의 필터의 임플스 응답과 동일한 임펄스 응답을, 입력 영상의 해상도에 대응하는 풀 HD 공간에서 실현한 경우에는, 게인 산출부(106)에 있어서 필터의 탭 수는 도 1에 나타내는 강조 처리부(16)에 있어서 필터의 탭 수인 9 탭을 필요로 하지 않는다. 게인 산출부(106)의 필터의 탭 수가, 도 1에 나타내는 강조 처리부(16)에 있어서 필터의 탭 수인 9 탭을 필요로 하지 않는 이유는 게인 산출 처리를 행하는 화소의 표본화(또는 샘플링) 주파수가 낮아지기(예를 들어, 상기의 예에서는 1/2) 때문이다. 또한, 상술한 예에 있어서, 탭 수(TE) = 9에 대해, 탭 수(TE ') = 5로 한 이유는 도 10에 있어서 필터 계수의 결정 방법에 기초하고 있기 때문이다.
게인 산출부(106)는 상기 (2)의 처리(게인 산출 처리)로서 예를 들어, 도 10에 나타내는 바와 같은 필터 계수가 다른 복수의 필터를 사용한 필터 처리를 행함으로써, 게인을 산출한다. 또한, 상기 (2)의 처리(게인 산출 처리)는 도 10을 참조하여 나타낸 처리에 한정되지 않는다. 상기 (2)의 처리(게인 산출 처리)의 다른 예에 대하여는 후술하는 제 2 실시 형태에 있어서 나타낸다.
[1-4] 업스케일러의 설계 난이도에 대해서
이어서, 본 발명의 실시 형태에 따른 영상 처리 방법이 사용됨으로써, 업스케일러의 설계가 기존의 기술이 사용되는 경우 보다도 용이하게 되는 점에 대해서 설명한다.
도 12는 업스케일링 후에 강조 처리가 행해지는 기존의 기술에 따른 영상 처리 장치(10)의 업스케일러의 설계가 곤란한 것을 나타내기 위한 설명도이다. 도 12의 A, B는 각각 영상 처리 장치(10)에 있어서 스케일링부(14)의 업스케일러의 필터의 게인과 강조 처리부(16)의 필터의 게인을 겹쳐친 그래프를 나타내고 있다.
도 12의 A는 업스케일러의 필터의 대역을, 저역만으로 제한한 예이고, 도 12의 A인 경우에는, 중복(겹침) 등에 의한 부작용을 거의 완전히 회피할 수 있다. 그러나, 업스케일러의 필터의 대역이 도 12의 A인 경우에는, 업스케일러에 의해, 입력 영상인 풀 HD의 영상에 있어서 설정되어 있는 대역보다도 높은 주파수의 신호는 감쇠된다. 따라서, 업스케일러의 필터의 대역이 도 12의 A인 경우에는, 도 1에 나타내는 강조 처리부(16)가 게인을 갖는 대역(업스케일러의 필터의 대역과 강조 처리부의 게인의 대역이 중첩하지 않는 대역)에는, 거의 신호가 존재하지 않기 때문에, 강조 처리부(16)에 있어서 처리가 행해져도, 영상을 충분히 강조할 수 없다.
한편, 도 12의 B에 나타내는 바와 같이, 업스케일러의 필터의 대역이, 도 1에 나타내는 강조 처리부(16)의 게인의 대역까지 게인을 갖는 업스케일러를 사용하면, 상술한 바와 같은 영상을 충분히 강조할 수 없는 문제는 회피하는 것이 가능하다. 그러나, 업스케일러의 필터의 대역이 도 12의 B인 경우에는, 예를 들어, 업스케일러로서 입력 영상 신호에 있어서 나이퀴스트 주파수를 초과하는 영역까지 게인을 갖는 로 패스 필터(LPF(Low-Pass Filter)) 를 사용하게 되기 때문에, 겹침(중첩) 성분을 제거할 수 없고, 링깅의 발생 등에 의한 화질 저하가 발생할 우려가 있다.
상기와 같이 업스케일링 후에 강조 처리가 행해지는 기존의 기술에 따른 영상 처리 장치(10)에서는, 업스케일러의 필터의 대역의 설정에 의해, 상술한 바와 같은 문제가 발생할 수 있다. 따라서, 기존의 기술에 따른 영상 처리 장치(10)에서는 업스케일러의 설계 난이도나, 성능 조정의 난이도는 높다.
이것에 대해, 본 발명의 일 실시예에의 영상 처리 장치(100)에서, 도 5에 나타내는 바와 같이, 스케일링부(104)를 통해 처리된 확대 영상 신호는 게인의 산출에 사용되지 않는다. 따라서, 영상 처리 장치(100)에서, 스케일링부(104)는, 도 12의 A에 나타내는 바와 같은 겹칩(중첩) 성분이 발생하지 않는 업스케일러를 사용할 수 있고, 출력 영상 신호가 나타내는 영상의 화질 저하를 방지할 수 있다.
따라서, 본 발명의 실시 형태에 따른 영상 처리 방법이 사용됨으로써, 업스케일러의 설계나 조정이, 기존의 기술이 사용되는 경우보다도 용이하게 된다.
또한, 스케일링부(104)에 있어서, 도 12의 A에 나타내는 바와 같은 겹침(중복) 성분이 발생하지 않는 업스케일러가 사용되는 경우, 스케일링부(104)으로부터 출력되는 확대 영상 신호에서는, 고역 성분을 잃는다. 그러나, 게인 산출부(106)로부터 출력되는 신호에 고역 성분이 포함되고, 가산부(108)에 있어서, 타겟 화소마다 확대 영상의 화소 값과 대응하는 게인이 가산되기 때문에, 출력 영상 신호가 나타내는 영상은 품질이 유지되고, 고역 성분이 풍부한 해상감이 있는 영상으로 된다.
[1-5] 제 1 실시 형태에 따른 영상 처리 장치(100)가 나타내는 효과
영상 처리 장치(100)는 예를 들어, 하기의 같은 효과를 나타낸다.
· 영상 처리 장치(100)에서는, 업스케일링 후의 강조 처리를 위한 기록 매체가 불필요하기 때문에, 특히 고해상도의 영상 등을 처리하는 경우에, 하드웨어의 규모를 크게 삭감할 수 있다.
· 영상 처리 장치(100)에서는, 업스케일링 후의 영상 신호에 대해 강조 처리를 행할 필요가 없기 때문에, 업스케일러의 설계 시에 무리하게 고역을 남길 필요가 없고, 업스케일러의 설계 난이도를 보다 용이화할 수 있다.
[1] 제 1 실시 형태에 따른 영상 처리 장치
상술한 제 1 실시 형태에 따른 영상 처리 장치에서는, 상기 (1)의 처리(스케일링 처리)에 있어서 업스케일의 비율이 정수 배인 예를 나타내었으나, 본 발명의 실시 형태에 따른 업스케일의 비율은 정수 배에 한정되지 않는다.
여기서, 이어서, 제 2 실시 형태에 따른 영상 처리 장치로서, 상기 (1)의 처리(스케일링 처리)에 있어서 업스케일의 비율이 1.5 배인 경우에 있어서 영상 처리 장치에 대해서 설명한다.
또한, 제 2 실시 형태에 따른 영상 처리 장치의 구성이나, 상기 (2)의 처리(게인 산출 처리)에 있어서 사용되는 필터의 설정 수순은 상술한 제 1 실시 형태와 동일하다. 따라서, 이하에서는, 상술한 제 1 실시 형태와 다른 점, 즉, 상기 (1)의 처리(스케일링 처리)에 있어서 업스케일의 비율이 변함으로써 영향을 받는, 상기 (2)의 처리(게인 산출 처리)에 있어서 사용되는 필터의 필터 계수의 산출 수법에 대해서, 설명한다.
도 13은 제 2 실시 형태에 따른 영상 처리 장치의 처리의 개요를 나타내는 설명도이고, 제 2 실시 형태에 따른 영상 처리 장치의 게인 산출부에 있어서 출력되는 게인에 대응하는 타겟 화소에 대한, 입력 영상의 참조 화소의 위치 관계의 일 예를 나타내고 있다.
상기 (1)의 처리(스케일링 처리)의 업스케일의 비율(즉 입력 영상의 확대율)은 제 1 실시 형태와 상이하므로, 게인 산출부에서 출력되는 게인에 대응하는 타겟 화소에 대한, 입력 영상의 참조 화소의 위치 관계는 도 10에 나타내는 예와 다르다. 보다 구체적으로는, 상기 (1)의 처리(스케일링 처리)에 있어서 업스케일의 비율이 1.5 배인 경우는 도 13에 나타내는 바와 같이, 하기의 3가지 경우와 같은 타겟 화소가 존재하는 것으로 된다.
· 좌측 단이 참조 화소와 일치하는 타겟 화소
· 참조 화소의 중앙에 존재하는 타겟 화소
· 우측 단이 참조 화소와 일치하는 타겟 화소
도 13에 나타내는 예에서도, 필터 계수는 상술한 제 1 실시 형태와 마찬가지로, 임펄스 응답의 위상을 임펄스 응답의 중심이 타겟 화소과 중첩 되도록 늦추고, 참조 화소의 위상으로부터 샘플링함으로써 얻어진다.
또한, 제 2 실시 형태에 따른 영상 처리 장치의 게인 산출부는 상술한 제 1 실시 형태와 마찬가지로, 필터 계수가 다른 3 종류의 필터를 사용한 필터 처리를, 타겟 화소의 위치에 따라서 나누어 사용함으로써, 확대 영상을 강조하기 위한 게인을 산출한다.
제 2 실시 형태에 따른 영상 처리 장치는 상술한 바와 같이, 필터 계수의 산출 수법이 제 1 실시 형태와 다르지만, 영상 처리 장치의 구성이나, 상기 (2)의 처리(게인 산출 처리)에 있어서 사용되는 필터의 설정 수순은 상술한 제 1 실시 형태와 동일하다. 따라서, 제 2 실시 형태에 따른 영상 처리 장치는 상술한 제 1 실시 형태에 따른 영상 처리 장치(100)와 동일한 효과를 나타낼 수 있다.
[3] 다른 실시 형태에 따른 영상 처리 장치
상술한 제 1 실시 형태 및 제 2 실시 형태에서는, 상기 (1)의 처리(스케일링 처리)에 있어서 업스케일의 비율이 2 배 및 1.5 배인 경우를 구체 예로서 예를 들었으나, 본 발명의 실시 형태에 따른 업스케일의 비율은 상술한 구체 예에 한정되지 않는다. 본 발명의 실시 형태에 따른 영상 처리 장치는 상술한 제 1 실시 형태 및 제 2 실시 형태와 동일한 수법을 사용하여 산출되는 필터 계수를 갖는 복수의 필터, 즉, 상기 (1)의 처리(스케일링 처리)에 있어서 입력 영상의 확대율에 대응하는, 필터 계수가 다른 복수의 필터를 사용한 필터 처리에 의해, 확대 영상을 강조하기 위한 게인을 산출하는 것이 가능하다.
따라서, 본 발명의 실시 형태에 따른 영상 처리 장치는 상기 (1)의 처리(스케일링 처리)가 임의의 업스케일의 비율일지라도, 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리를 행하고, 상술한 제 1 실시 형태에 따른 영상 처리 장치(100)와 동일한 효과를 니타낼 수 있다.
이상, 본 발명의 실시 형태로서, 영상 처리 장치를 예를 들어서 설명하였으나, 본 발명의 실시 형태는 이러한 형태에 한정되지 않는다. 본 발명의 실시 형태는 예를 들어, PC(Personal Computer)나 서버 등의 컴퓨터(computer)나, 테블릿(tablet)형의 장치, 휴대 전화나 스마트폰(smart phone) 등의 통신 장치 등, 영상 신호를 처리하는 것이 가능한 여러 가지 기기에 적용할 수 있다.
(본 발명의 실시 형태에 따른 프로그램)
컴퓨터를 본 발명의 실시 형태에 따른 영상 처리 장치로서 기능시키기 위한 프로그램(예를 들어, “컴퓨터를, 스케일링부에 상당하는 스케일링 수단, 게인 산출부에 상당하는 게인 산출 수단 및 가산부에 상당하는 가산 수단으로서 기능시키는 것이 가능한 프로그램”)이, 컴퓨터에 있어서 실행됨으로써, 입력된 영상 신호가 나타내는 영상을 업스케일링하고, 업스케일링 후의 확대된 영상의 화질 저하를 도모할 수 있다.
또한, 컴퓨터를, 본 발명의 실시 형태에 따른 영상 처리 장치로서 기능시키기 위한 프로그램이, 컴퓨터에 있어서 실행됨으로써, 상술한 본 발명의 실시 형태에 따른 영상 처리 장치가 사용됨으로써 나타내는 효과를 나타낼 수 있다.
또한, 상기에서는, 첨부 도면을 참조하면서, 본 발명의 바람직한 실시 형태에 대해서 설명하였으나, 본 발명은 따른 예에 한정되지 않는다는 것은 말할 필요도 없다. 당업자이라면, 특허 청구의 범위에 기재된 범주 내에 있어서, 각 종의 변경 예 또는 수정 예로 상상하여 얻을 수 있다는 것은 명확하고, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 해석된다.
예를 들어, 상기에서는, 컴퓨터를, 본 발명의 실시 형태에 따른 영상 처리 장치로서 기능시키기 위한 프로그램(컴퓨터 프로그램)이 제공되는 것을 나타내었으나, 본 발명의 실시 형태는 또한, 상기 프로그램을 기억시킨 기록 매체도 함께 제공할 수 있다.
10, 100 : 영상 처리 장치 12, 102 : 입력 라인 메모리 제어부
14, 104 : 스케일링부 16 : 강조 처리부
18, 110 : 입력 라인 메모리 20, 112 : 변환 라인 메모리
22 : 출력 라인 메모리 24, 114 : 수직 방향 업스케일러
26, 116 : 수평 방향 업스케일러 106 : 게인 산출부
108 : 가산부

Claims (7)

  1. 입력 영상 신호가 나타내는 입력 영상을 확대하여 확대 영상을 생성하는 스케일링부;
    상기 입력 영상 신호에 기초하여, 상기 확대 영상을 강조하기 위한 게인을 상기 확대 영상의 타겟 화소마다 산출하는 게인 산출부; 및
    상기 확대 영상의 상기 타겟 화소마다 상기 타겟 화소의 화소 값과 상기 타겟 화소의 상기 화소 값과 대응하는 상기 게인을 가산하는 가산부를 구비하되,
    상기 게인 산출부는 제1 필터 계수를 갖는 제1 필터 및 상기 제1 필터 계수와 다른 제2 필터 계수를 갖는 제2 필터를 사용하여 상기 입력 영상 신호를 필터링해서 상기 확대 영상의 상기 타겟 화소 각각에 대응하는 상기 게인을 산출하고,
    상기 제1 필터 계수 및 상기 제2 필터 계수는 상기 입력 영상에 대한 상기 확대 영상의 확대율에 대응하는 것을 특징으로 하는 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 게인은 상기 입력 영상과 상기 확대 영상의 위상 차를 보상하기 위한 보상값인 것을 특징으로 하는 영상 처리 장치.
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 게인 산출부는 상기 타겟 화소와 상기 타겟 화소에 대응되는 상기 입력 영상의 참조 화소의 위치를 근거로 상기 제1 필터 및 상기 제2 필터 중 적어도 어느 하나의 필터를 선택하고, 상기 선택된 필터를 이용하여 상기 게인을 산출하는 것을 특징으로 하는 영상 처리 장치.
  6. 제 5 항에 있어서,
    상기 선택된 필터의 임펄스 응답의 중심으로부터 상기 타겟 화소에 대응되는 참조 화소의 중심까지의 거리는 상기 타겟 화소의 중심으로부터 상기 타겟 화소에 대응되는 참조 화소의 중심까지의 거리와 동일한 것을 특징으로 하는 영상 처리 장치.
  7. 입력되는 입력 영상 신호가 나타내는 입력 영상을 확대하여 확대 영상을 생성하는 스케일링 스텝;
    상기 입력 영상 신호에 기초하여, 상기 확대 영상을 강조하기 위한 게인을 상기 확대 영상의 타겟 화소마다 산출하는 강조 스텝; 및
    상기 확대 영상의 상기 타겟 화소마다, 상기 타겟 화소의 화소 값에 상기 타겟 화소의 상기 화소 값에 대응하는 상기 게인을 가산하는 가산 스텝을 포함하되,
    상기 강조 스텝은 제1 필터 계수를 갖는 제1 필터 및 상기 제1 필터 계수와 다른 제2 필터 계수를 갖는 제2 필터를 사용하여 상기 입력 영상 신호를 필터링해서 상기 확대 영상의 상기 타겟 화소 각각에 대응하는 상기 게인을 산출하고,
    상기 제1 필터 계수 및 상기 제2 필터 계수는 상기 입력 영상에 대한 상기 확대 영상의 확대율에 대응하는 것을 특징으로 하는 영상 처리 방법.
KR1020150111150A 2015-01-22 2015-08-06 영상 처리 장치 및 영상 처리 방법 KR102438227B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015010532A JP6580831B2 (ja) 2015-01-22 2015-01-22 画像処理装置、画像処理方法、およびプログラム
JPJP-P-2015-010532 2015-01-22

Publications (2)

Publication Number Publication Date
KR20160091222A KR20160091222A (ko) 2016-08-02
KR102438227B1 true KR102438227B1 (ko) 2022-08-31

Family

ID=56434512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150111150A KR102438227B1 (ko) 2015-01-22 2015-08-06 영상 처리 장치 및 영상 처리 방법

Country Status (3)

Country Link
US (1) US9741097B2 (ko)
JP (1) JP6580831B2 (ko)
KR (1) KR102438227B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108616701A (zh) * 2016-12-12 2018-10-02 中国航空工业集团公司西安航空计算技术研究所 一种基于Sinc滤波器的图像缩放方法
US10652290B2 (en) * 2017-09-06 2020-05-12 International Business Machines Corporation Persistent chat channel consolidation
US11328387B1 (en) * 2020-12-17 2022-05-10 Wipro Limited System and method for image scaling while maintaining aspect ratio of objects within image

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193397A (ja) * 2006-01-17 2007-08-02 Sharp Corp スケーラとエッジ強調の画像処理方法及び装置
JP2011015186A (ja) * 2009-07-02 2011-01-20 Panasonic Corp 映像信号変換装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2962083B2 (ja) 1993-01-22 1999-10-12 松下電器産業株式会社 解像度変換方法、解像度変換装置、画像符号化装置、画像復号化装置
JP3415883B2 (ja) * 1993-06-23 2003-06-09 株式会社日立製作所 画像拡大圧縮回路
JP3652111B2 (ja) * 1998-04-21 2005-05-25 株式会社日立製作所 画像信号の拡大・圧縮処理装置とそれを利用した画像表示装置
JP2007318647A (ja) 2006-05-29 2007-12-06 Sony Corp 補助データの再多重装置及びビデオサーバー
GB2460069A (en) 2008-05-15 2009-11-18 Snell & Wilcox Ltd Sampling conversion between formats in digital image processing
CN102067171B (zh) 2008-06-19 2013-02-13 马维尔国际贸易有限公司 分割边缘增强方法和系统
JP2013030977A (ja) 2011-07-28 2013-02-07 Samsung Techwin Co Ltd 信号処理装置及び信号処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193397A (ja) * 2006-01-17 2007-08-02 Sharp Corp スケーラとエッジ強調の画像処理方法及び装置
JP2011015186A (ja) * 2009-07-02 2011-01-20 Panasonic Corp 映像信号変換装置

Also Published As

Publication number Publication date
JP6580831B2 (ja) 2019-09-25
KR20160091222A (ko) 2016-08-02
US9741097B2 (en) 2017-08-22
US20160217553A1 (en) 2016-07-28
JP2016134896A (ja) 2016-07-25

Similar Documents

Publication Publication Date Title
JP4040041B2 (ja) 映像信号の解像度の変換方法及び装置
JP3654420B2 (ja) 画像変換方法、画像処理装置、および画像表示装置
JP2006054899A (ja) 解像度変換方法および解像度変換装置
JP5655108B2 (ja) 周波数アンラッピングによる画像リサンプリング
JPWO2007108487A1 (ja) 画像処理装置、画像処理方法、プログラムおよび半導体集積回路
KR19980042781A (ko) 고화질 영상을 발생하도록 화소를 처리하기 위한 비디오 처리장치 및 그 방법 그리고 그것을 적용하기 위한 비디오 프린터
JP4037841B2 (ja) 映像補間装置および映像補間方法
KR102438227B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP4793339B2 (ja) 動画像変換装置、動画像復元装置、および方法、並びにコンピュータ・プログラム
JP2009212969A (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US20210192688A1 (en) Signal processing device and signal processing method
JP2005217532A (ja) 解像度変換方法及び解像度変換装置
JP6174903B2 (ja) 空間・階調超解像装置及びプログラム
WO2012124591A1 (ja) 信号処理装置、制御プログラム、および集積回路
JP2011040004A (ja) 画像処理装置及び画像処理方法
JP2016115318A (ja) ぼやけ補正装置、超解像装置およびプログラム
JP2014042204A (ja) 標本化レート変換装置
JP3491829B2 (ja) 画像処理装置及び画像処理方法
KR102457856B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP2010257179A (ja) 画像処理装置及び画像処理プログラム
JP5416899B2 (ja) 映像表示装置
JP5416898B2 (ja) 映像表示装置
US20100283799A1 (en) Content adaptive scaler based on a farrow structure
Savagave et al. Study of image interpolation
KR20050121148A (ko) 영상보간방법 및 영상보간장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant