KR102457856B1 - 영상 처리 장치 및 영상 처리 방법 - Google Patents

영상 처리 장치 및 영상 처리 방법 Download PDF

Info

Publication number
KR102457856B1
KR102457856B1 KR1020150111148A KR20150111148A KR102457856B1 KR 102457856 B1 KR102457856 B1 KR 102457856B1 KR 1020150111148 A KR1020150111148 A KR 1020150111148A KR 20150111148 A KR20150111148 A KR 20150111148A KR 102457856 B1 KR102457856 B1 KR 102457856B1
Authority
KR
South Korea
Prior art keywords
interpolation
step edge
edge area
value
vertical
Prior art date
Application number
KR1020150111148A
Other languages
English (en)
Other versions
KR20160049444A (ko
Inventor
타카시 나카노
Original Assignee
삼성디스플레이 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성디스플레이 주식회사 filed Critical 삼성디스플레이 주식회사
Publication of KR20160049444A publication Critical patent/KR20160049444A/ko
Application granted granted Critical
Publication of KR102457856B1 publication Critical patent/KR102457856B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/0142—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes the interpolation being edge adaptive
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20192—Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Television Systems (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Computer Vision & Pattern Recognition (AREA)

Abstract

스텝 엣지에 있어서 오버슈트 및 링잉의 감소와, 고주파 성분의 유지를 양립시키는 보간 처리를 행하는 것이 가능한 영상 처리 장치 및 영상 처리 방법을 제공한다.
영상 처리 장치는 입력되는 입력 영상 신호로부터 영상의 수직 스텝 엣지 영역을 판정하는 수직 스텝 엣지 영역 판정부; 입력 영상 신호로부터 영상의 수평 스텝 엣지 영역을 판정하는 수평 스텝 엣지 영역 판정부; 및 수직 스텝 엣지 영역의 판정 결과, 및 수평 스텝 엣지 영역의 판정 결과를 근거로 보간 처리를 행하는 보간 처리부를 포함한다.

Description

영상 처리 장치 및 영상 처리 방법{IMAGE PROCESSING DECVCE AND IMAGE PROCESSING METHOD}
본 발명은 영상 처리 장치 및 영상 처리 방법에 관한 것이다.
최근, 텔레비젼(television) 수상기 등의 표시 장치의 고정밀화에 따라 영상의 보간 처리의 중요성이 증대하고 있다. 이와 같은 보간 처리에 관한 기술이 개발되어 있다. 영상 중의 오버슈트(overshoot)가 발생하는 영역을 검출하고, 검출 결과에 기초하여 2 개의 보간 처리 중에 하나의 보간 처리를 결정하는 기술로서는, 예를 들어 하기의 특허문헌 1에 기재된 기술을 들 수 있다.
JP 2010-009381 A
예를 들어, 특허문헌 1에 기재된 기술과 같이, 오버슈트가 발생하는 영역의 검출 결과에 따라서 보간 처리를 결정함으로써, 오버슈트를 억제할 수 있는 가능성은 있다. 그러나, 예를 들어 특허문헌 1에 기재된 기술에서는, 보간 처리를 위한 참조 화소 각각의 1 화소 에 대응하는 특성에 기초하여 오버슈트가 발생하는 영역을 검출하기 때문에, 영역의 검출 성능이 충분하다고는 말할 수 없다.
본 발명은 상기 문제를 감안하여 이루어진 것이고, 본 발명의 목적으로 하는 것은 스텝 엣지(step edge)에 있어서 오버슈트 및 링잉(ringing)을 감소 시키고, 텍스쳐(texture) 등의 고주파 성분의 유지를 양립시키는 보간 처리를 행하는 것이 가능한 신규하고, 또한 개량된 영상 처리 장치 및 영상 처리 방법을 제공하는 것에 있다.
본 발명의 일 실시예에 따른 영상 처리 장치는 입력되는 입력 영상 신호로부터 영상의 수직 스텝 엣지 영역을 판정하는 수직 스텝 엣지 영역 판정부; 상기 입력 영상 신호로부터 영상의 수평 스텝 엣지 영역을 판정하는 수평 스텝 엣지 영역 판정부; 및 상기 수직 스텝 엣지 영역의 판정 결과, 및 상기 수평 스텝 엣지 영역의 판정 결과를 근거로 보간 처리를 행하는 보간 처리부 구비하고, 상기 수직 스텝 엣지 영역 판정부는, 타겟 화소에 대응하는 수직 방향의 보간 값과 상기 타겟 화소의 수직 방향의 주변 화소의 화소 값과의 차분의 절대값을 산출하고, 상기 타겟 화소의 위치를 기준으로 한 상측의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과, 상기 타겟 화소의 위치를 기준으로 한 하측의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과의 관계을 근거로 상기 수직 스텝 엣지 영역을 판정하고, 상기 수평 스텝 엣지 영역 판정부는, 타겟 화소에 대응하는 수평 방향의 보간 값과 상기 타겟 화소의 수평 방향의 주변 화소의 화소 값과의 차분의 절대값을 산출하고, 상기 타겟 화소의 위치를 기준으로 한 왼쪽의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과, 상기 타겟 화소의 위치를 기준으로 한 우측의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과의 관계를 근거로, 상기 수평 스텝 엣지 영역을 판정한다.
상기 보간 처리부는, 상기 수직 스텝 엣지 영역의 판정 결과를 근거로 오버슈트 및 링잉을 발생시키지 않는 제 1 보간 처리의 결과, 또는 상기 제 1 보간 처리와 다른 제 2 보간 처리의 결과를 이용하여, 수직 방향의 보간을 행하고, 상기 수평 스텝 엣지 영역의 판정 결과를 근거로, 상기 제 1 보간 처리의 결과, 또는 상기 제 2 보간 처리의 결과를 이용하여, 수평 방향의 보간을 행한다.
상기 수직 스텝 엣지 영역의 판정 결과를 근거로, 수직 방향의 보간 처리시 오버슈트 및 링잉을 발생시키지 않는 제 1 보간 처리의 결과와 상기 제 1 보간 처리와 다른 제 2 보간 처리의 결과를 혼합하기 위한 제 1 혼합비를 산출하는 제 1 혼합비 산출부; 및 상기 수평 스텝 엣지 영역의 판정 결과를 근거로, 수평 방향의 보간 처리시 상기 제 1 보간 처리의 결과와 상기 제 2 보간 처리의 결과를 혼합하기 위한 제 2 혼합비를 산출하는 제 2 혼합비 산출부를 더 구비하고, 상기 보간 처리부는, 상기 제 1 혼합비를 근거로, 상기 제 1 보간 처리의 결과와 상기 제 2 보간 처리의 결과를 혼합하여, 수직 방향의 보간을 행하고, 상기 제 2 혼합비를 근거로, 상기 제 1 보간 처리의 결과와 상기 제 2 보간 처리의 결과를 혼합하여, 수평 방향의 보간을 행한다.
상기 수직 스텝 엣지 영역 판정부는, 오버슈트 및 링잉을 발생시키지 않는 제 1 보간 처리에 의해, 상기 타겟 화소에 대응하는 수직 방향의 보간 값을 산출한다.
제 1 항 에 있어서, 상기 수평 스텝 엣지 영역 판정부는, 오버슈트 및 링잉을 발생시키지 않는 제 1 보간 처리에 의해, 상기 타겟 화소에 대응하는 수평 방향의 보간 값을 산출한다.
본 발명의 일 실시예에 따른 영상 처리 방법은 입력되는 입력 영상 신호로부터 영상의 수직 스텝 엣지 영역을 판정하는 수직 스텝 엣지 영역 판정 단계; 상기 입력 영상 신호로부터 영상의 수평 스텝 엣지 영역을 판정하는 수평 스텝 엣지 영역 판정 단계; 및 상기 수직 스텝 엣지 영역의 판정 결과, 및 상기 수평 스텝 엣지 영역의 판정 결과를 근거로 보간 처리를 행하는 보간 처리 단계를 포함하고, 상기 수직 스텝 엣지 영역 판정 스텝에서는, 타겟 화소에 대응하는 수직 방향의 보간 값과 상기 타겟 화소의 수직 방향의 주변 화소의 화소 값과의 차분의 절대값이 산출되고, 상기 타겟 화소의 위치를 기준으로 한 상측의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과, 상기 타겟 화소의 위치를 기준으로 한 하측의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과의 관계를 근거로, 상기 수직 스텝 엣지 영역이 판정 되고, 상기 수평 스텝 엣지 영역 판정 스텝에서는, 타겟 화소에 대응하는 수평 방향의 보간 값과 상기 타겟 화소의 수평 방향의 주변 화소의 화소 값과의 차분의 절대값이 산출되고, 상기 타겟 화소의 위치를 기준으로 한 왼쪽의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과, 상기 타겟 화소의 위치를 기준으로 한 우측의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과의 관계를 근거로, 상기 수평 스텝 엣지 영역이 판정된다.
본 발명에 의하면, 스텝 엣지에서 발생하는 오버슈트 및 링잉의 감소와 텍스쳐 등의 고주파 성분의 유지를 양립시키는 보간 처리를 행할 수 있다.
도 1은 본 발명의 실시 형태에 따른 영상 처리 방법을 설명하기 위한 설명도이다.
도 2는 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 수직 스텝 엣지 영역 판정 처리의 일 예를 설명하기 위한 설명도이다.
도 3은 제 1 실시 형태에 따른 영상 처리 장치의 구성의 일 예를 나타내는 블록(block)도이다.
도 4는 제 1 실시 형태에 따른 영상 처리 장치가 구비하는 수직 스텝 엣지 영역 판정부의 구성의 일 예를 나타내는 설명도이다.
도 5는 제 1 실시 형태에 따른 영상 처리 장치의 구성의 일 예를 나타내는 블록도이다.
도 6은 제 2 실시 형태에 따른 영상 처리 장치가 구비하는 제 1 혼합비 산출부의 구성의 일 예를 나타내는 설명도이다.
이하에 첨부 도면을 참조하면서, 본 발명의 바람직한 실시 형태에 대해서 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 갖는 구성 요소에 대해서는, 동일한 부호를 붙임으로써, 중복 설명을 생략한다.
(본 발명의 실시 형태에 따른 영상 처리 방법)
먼저, 본 발명의 실시 형태에 따른 영상 처리 방법에 대해서 설명한다. 이하에서는, 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리를, 본 발명의 실시 형태에 따른 영상 처리 장치가 행하는 경우를 예를 들어서, 본 발명의 실시 형태에 따른 영상 처리 방법에 대해서 설명한다.
[1] 본 발명의 실시 형태에 따른 영상 처리 방법의 개요
예를 들어, 1 차원의 신호를 U 배(U는 양의 정수)로 확대할 때, 안티알리어싱 필터(anti-aliasing filter)를 U 개로 분해한 폴리페이스 필터(polyphase filter)로부터, 보간 위치에 대응한 것을 계산하면, 보간 결과(보간 값)가 얻어진다. 여기서, 폴리페이스 필터라 함은 업샘플러(up-sampler)에 의해 내삽된 0에 대한 승산을 생략하도록 구성된 필터이다.
원래의 영상 신호의 샘플링(sampling) 간격을 1로 하고, n 번째(n은 정수)의 샘플(sample)의 주변의 임의의 위치 x(n-0.5 ≤ x < n+0.5)를 보간 위치라 하면, n 번째의 샘플에 대한 폴리페이스 필터의 계수의 부호는 "sgn(sinc(n-x))"로 된다.
여기서, 안티알리어싱 필터로서 선형 보간을 적용하면, 폴리페이스 필터는 x < n인 경우에는 n-1 번째와 n 번째, x > n인 경우에는 n 번째와 n+1 번째의 2 개의 샘플을 입력으로 수신 받는 2 탭(tap)의 필터로 되고, 계수는 항상 양(正)이다. 이 경우, 오버슈트(이른바, 언더슈트(undershoot)도 포함함, 이하, 마찬가지로 한다)및 링잉은 발생하지 않는다.
한 편, 큐빅(cubic) 보간이나, 2-lobbed의 Lanczos(이하, 「Lanczos2」로 나타내는 경우가 있다) 또는 3-lobbed의 Lanczos(이하, 「Lanczos3」로 나타내는 경우가 있다) 등의 필터를 적용하면, x < n 인 경우에는 n-2 번째와 n+1 번째, x > n인 경우에는 n-1 번째와 n+2 번째의 샘플에 대한 계수가 음으로 된다. 영상을 확대한 경우, 먼 엣지의 영향에 의한 링잉이나 연산량을 억제하기 위해, 일반적으로는 6 탭 이내에서 처리 되고, 또한 탭 수가 많은 경우에도, 보간 위치로부터 떨어진 화소에 대한 계수의 가중치는 작아진다. 그러므로, 이들 보간 위치에 가까운 화소에 대한 음의 계수만이 오버슈트 및 링잉의 주 요인으로 고려될 수 있다.
도 1은 본 발명의 실시 형태에 따른 영상 처리 방법을 설명하기 위한 설명도이다. 도 1은 Lanczos3를 사용하여 스텝 엣지 영역을 2 배로 보간 처리한 경우의 파형의 일 예를 나타내고 있다. 예를 들어, 도 1에 나타내는 바와 같이, 엣지의 가깝고, 평탄도가 높아져 있는 엣지를 포함하는 영역이 「스텝 엣지 영역」에 해당한다.
도 1에 나타내는 예에서는, 보간 위치는 n-0.25, n+0.25이고, 각각 폴리페이스 필터(#0)와 폴리페이스 필터(#1)를 근거로 보간된다. 폴리페이스 필터(#0)의 계수는 이 n-3 번째로부터 n+2 번째의 샘플에 대해 차례로 (0.0074, -0.0680, 0.2710, 0.8928, -0.1333, 0.0301)일 수 있으며, 폴리페이스 필터(#1)의 계수는 n-2 번째로부터 n+3 번째의 샘플에 대해 차례로 (0.0301, -0.1333, 0.8928, 0.2710, -0.0680, 0.0074) )일 수 있다.
예를 들어, 도 1에 나타내는 바와 같이, 스텝 엣지 영역에 대해 큐빅 보간이나 Lanczos 등의 필터를 사용하여 보간이 행해진 경우, 엣지를 경계에 인접한 원래의 화소 2 개 에 대응하는 영역과 같이 엣지의 주변의 영역의 값들이 영상 신호의 파형으로부터 크게 벗어난 값을 갖는다.
따라서, 스텝 엣지 영역에 대해서는, 큐빅 보간이나 Lanczos 등에 의한 보간 처리 대신, 오버슈트 및 링잉이 발생하지 않는 보간 처리를 행하면, 스텝 엣지에 있어서 오버슈트 및 링잉은 저감된다. 또한, 스텝 엣지 영역 이외의 영역에 대해서는 큐빅 보간이나 Lanczos 등에 의한 보간 처리를 행함으로써, 원래의 고주파 성분의 감쇠가 적은 보간을 실현하는 것이 가능하다.
여기서, 본 발명의 실시 형태에 따른 영상 처리 장치는 입력되는 영상 신호(이하, 「입력 영상 신호」로 나타낸다) 로부터 스텝 엣지 영역을 판정하고, 스텝 엣지 영역의 판정 결과에 대응하는 보간 처리를 행한다.
여기서, 본 발명의 실시 형태에 따른 영상 처리 장치가 처리하는 입력 영상 신호에 의해 나타내어지는 영상은, 예를 들어, 본 발명의 실시 형태에 따른 영상 처리 장치가 구비하는 기록 매체나, 본 발명의 실시 형태에 따른 영상 처리 장치에 접속되어 있는 외부의 기록 매체로부터 리드될 수 있다. 또한, 본 발명의 실시 형태에 따른 영상 처리 장치가 처리하는 입력 영상 신호에 의해 나타내어지는 영상은 예를 들어, 본 발명의 실시 형태에 따른 영상 처리 장치가 구비하는 통신 디바이스가 외부 장치로부터 수신한 영상 신호에 의해 나타내어지는 영상이나, 본 발명의 실시 형태에 따른 영상 처리 장치에 접속되어 있는 외부의 통신 디바이스가 수신한 영상 신호에 의해 나타내어지는 영상일 수 있다.
보다 구체적으로는, 본 발명의 실시 형태에 따른 영상 처리 장치는 입력 영상 신호로부터 수직 스텝 엣지 영역을 판정하는 처리(수직 스텝 엣지 영역 판정 처리)와, 입력 영상 신호로부터 수평 스텝 엣지 영역을 판정하는 처리(수평 스텝 엣지 영역 판정 처리)를 독립적으로 수행할 수 있다.
여기서, 본 발명의 실시 형태에 따른 수직 스텝 엣지 영역이라 함은 입력 영상 신호에 의해 나타내어지는 영상의 수직 방향의 스텝 엣지를 나타내는 영역이고, 또한, 본 발명의 실시 형태에 따른 수평 스텝 엣지 영역이라 함은 입력 영상 신호에 의해 나타내어지는 영상의 수평 방향의 스텝 엣지를 나타내는 영역이다.
본 발명의 실시 형태에 따른 수직 스텝 엣지 영역 판정 처리, 및 수평 스텝 엣지 영역 판정 처리의 일 예에 대하여는 후술한다.
수직 스텝 엣지 영역 및 수평 스텝 엣지 영역이 판정되면, 본 발명의 실시 형태에 따른 영상 처리 장치는 수직 스텝 엣지 영역의 판정 결과 및 수평 스텝 엣지 영역의 판정 결과에 대응하는 보간 처리를 행한다(보간 처리).
여기서, 본 발명의 실시 형태에 따른 보간 처리는, 예를 들어, "보간에 의해 오버슈트 및 링잉이 발생하지 않는 제 1 보간 처리"나, "제 1 보간 처리와 다른 제 2 보간 처리”또는 "제 1 보간 처리와 제 2 보간 처리를 조합한 처리"일 수 있다.
본 발명의 실시 형태에 따른 제 1 보간 처리는, 예를 들어, 선형 보간일 수 있다. 또한, 본 발명의 실시 형태에 따른 제 1 보간 처리는 선형 보간에 한정되지 않고, 보간에 의해 오버슈트 및 링잉이 발생하지 않는 임의의 보간 처리일 수 있다.
또한, 본 발명의 실시 형태에 따른 제 2 보간 처리로서는 예를 들어, Lanczos2나 Lanczos3, 큐빅 보간 등과 같이 링잉을 발생 시킬 수 있지만, 원래의 고주파 성분을 적게 감소 시키는 보간 처리일 수 있다. 또한, 본 발명의 실시 형태에 따른 제 2 보간 처리는 이에 한정되지 않는다. 예를 들어, 본 발명의 실시 형태에 따른 제 2 보간 처리는 일차원 보간이 가능한, 제 1 보간 처리와 다른 임의의 보간 처리일 수 있다.
또한, 본 발명의 실시 형태에 따른 제 1 보간 처리와 제 2 보간 처리를 조합한 처리는, 예를 들어, 제 1 보간 처리의 결과와 제 2 보간 처리의 결과를 혼합하여 보완을 행하는 처리일 수 있다.
본 발명의 실시 형태에 따른 영상 처리 장치는 수직 스텝 엣지 영역의 판정 결과에 대응하는 보간 처리를 통해, 영상의 수직 방향의 보간을 행하고, 또한, 수평 스텝 엣지 영역의 판정 결과에 대응하는 보간 처리를 통해, 영상의 수평 방향의 보간을 행한다. 본 발명의 실시 형태에 따른 보간 처리의 일 예에 대하여는 후술한다.
본 발명의 실시 형태에 따른 영상 처리 장치는 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리로서, 예를 들어, 상기 수직 스텝 엣지 영역 판정 처리, 상기 수평 스텝 엣지 영역 판정 처리, 및 상기 보간 처리를 행한다.
[2] 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리
이어서, 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리에 대해서, 보다 구체적으로 설명한다.
(1) 수직 스텝 엣지 영역 판정 처리, 수평 스텝 엣지 영역 판정 처리
먼저, 수직 스텝 엣지 영역 판정 처리와 수평 스텝 엣지 영역 판정 처리에 대해서 설명한다.
수직 스텝 엣지 영역 판정 처리는 수직 방향의 보간을 행하는 경우에 스텝 엣지 영역인지 아닌지를 판정하는 처리이고, 또한, 수평 스텝 엣지 영역 판정 처리는 수평 방향의 보간을 행하는 경우에 스텝 엣지 영역인지 아닌지를 판정하는 처리이다. 수직 스텝 엣지 영역 판정 처리와 수평 스텝 엣지 영역 판정 처리는 각각 상호 독립적인 1 차원적 처리이기 때문에, 이하에서는, 수직 스텝 엣지 영역 판정 처리에 대하여 설명한다. 또한, 수평 스텝 엣지 영역 판정 처리는, 이하에 나타내는 수직 스텝 엣지 영역 판정 처리의 수직 방향을 수평 방향으로 치환하여 처리한다.
도 2는 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 수직 스텝 엣지 영역 판정 처리의 일 예를 설명하기 위한 설명도이다. 도 2에서는 타겟 화소를 중심으로 하는 5x5의 화소의 영역을 나타내고 있다.
본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 도 2에 나타내는 타겟 화소에 대응하는 보간 위치에 대해, 수직 방향의 보간 값을 구한다. 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 선형 보간 등의 제 1 보간 처리에 의해 수직 방향의 보간 값을 구한다.
선형 보간에 의해 수직 방향의 보간 값을 구하는 경우를 예로서 들면, 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 하기의 수학식 1에 의해 보간 값(C)을 산출한다. 여기서, 하기의 수학식 1에 나타내는 "S(nx, ny)"는 (nx, ny)의 위치의 화소(타겟 화소)의 샘플 값이고, "S(nx, ny-1)"은 (nx, ny-1)의 위치의 화소의 샘플 값이다. 본 발명의 실시 형태에 따른 샘플 값은, 휘도 값일 수 있다. 이하에서, 샘플 값은 「화소 값」으로 나타낼 수 있다.
[수학식 1]
Figure 112015076417836-pat00001
또한, 보간 위치가 (nx, ny)의 위치의 화소와 (nx, ny-1)의 위치의 화소 사이에 있는 경우에는, (nx, ny-1)의 위치의 화소의 샘플 값을 사용하여 상기 수학식 1과 마찬가지로 보간 값(C)은 산출된다.
본 발명의 실시 형태에 따른 영상 처리 장치는 "타겟 화소에 대응하는 수직 방향의 보간 값(C)과 타겟 화소의 수직 방향의 주변 화소의 화소 값과의 차분의 절대값”(이하, 「차분 절대값」으로 나타내는 경우가 있다) 를 예를 들어, 하기의 수학식 2에 의해 산출한다.
여기서, 하기의 수학식 2에 나타내는 "DU"는 타겟 화소의 위치를 기준으로 한 상측의 주변 화소에 대응하는 차분 절대값을 나타내고 있고, 하기의 수학식 2에 나타내는 "DL"은 타겟 화소의 위치를 기준으로 한 하측의 주변 화소에 대응하는 차분 절대값을 나타내고 있다. 이하에서는, 타겟 화소의 위치를 기준으로 한 상측의 주변 화소를 「상측의 주변 화소」로 나타내고, 타겟 화소의 위치를 기준으로 한 하측의 주변 화소를 「하측의 주변 화소」로 나타낸다.
또한, 도 2에서는, 타겟 화소의 수직 방향의 주변 화소가 타겟 화소의 상측의 2 개 화소 및 타겟 화소의 하측의 2 개 화소이고, 4 개의 차분 절대값이 산출되는 예를 나타내고 있지만, 본 발명의 실시 형태에 따른 타겟 화소의 수직 방향의 주변 화소는 도 2에 나타내는 예에 한정되지 않는다. 예를 들어, 본 발명의 실시 형태에 따른 타겟 화소의 수직 방향의 주변 화소는 타겟 화소의 상측의 2 개 화소 이상의 화소 및 타겟 화소의 하측의 2개 화소 이상의 화소 일 수도 있다.
[수학식 2]
Figure 112015076417836-pat00002
… (수학식 2)
또한, 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 하기의 수학식 3에 나타내는 바와 같이, 상측의 주변 화소에 대응하는 차분 절대값의 최대 값(DUmax) 및 최소 값(DUmin)과, 하측의 주변 화소에 대응하는 차분 절대값의 최대 값(DLmax) 및 최소 값(DLmin)을 구한다.
Figure 112015076417836-pat00003
여기서, "최대 값(DUmax) > 최대 값(DLmax)"인 경우는 최대의 엣지가 보간 위치의 상측에 존재하고 있는 것을 나타내고, "최대 값(DUmax) < 최대 값(DLmax)"인 경우는 최대의 엣지가 보간 위치의 하측에 존재하는 것을 나타내고 있다. 또한, 최대 엣지의 임의의 측과 반대 측이 평탄하면, 스텝 엣지로 판정하는 것이 가능하다.
따라서, 본 발명의 실시 형태에 따른 영상 처리 장치는 상측의 주변 화소에 대응하는 차분 절대값의 최대 값(DUmax) 및 최소 값(DUmin)과, 하측의 주변 화소에 대응하는 차분 절대값의 최대 값(DLmax) 및 최소 값(DLmin)과의 관계에 의해, 수직 스텝 엣지 영역을 판정한다.
보다 구체적으로는, 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 하기의(a)~(c)에 나타내는 판정 기준에 의해, 수직 스텝 엣지 영역을 판정한다.
(a) 최대 값(DUmax) > 최대 값(DLmax)인 경우
본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, "DUmax/DLmax > α"를 만족하는 경우에, 스텝 엣지 영역으로 판정한다. 여기서, "α"는 판정을 위한 기준 값이다. 기준 값(?)은 예를 들어, 스텝 엣지를 포함하는 영상을 이용하여 실험적으로 얻어질 수 있다. 또한, 기준 값(?)은 상기에 나타내는 방법에 한정되지 않고, 임의의 방법에 의해 설정될 수도 있다.
(b) 최대 값(DUmax)< 최대 값(DLmax)인 경우
본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, "DLmax/DUmax > α"를 만족하는 경우에, 스텝 엣지 영역으로 판정한다.
(c) 최대 값(DUmax) = 최대 값(DLmax)인 경우
본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, "DUmax/min(DUmin, DLmin) > α"를 만족하는 경우에, 스텝 엣지 영역으로 판정한다.
또한, 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 상기 판정식의 min 항에 있어서, "DUmin < β, 및 DLmin< β"를 만족하는 경우에만, 스텝 엣지 영역으로 판정할 수 있다. 여기서, "β"는 영상에 있어서 엣지가 아닌 부분이 평활화되지 않도록 하기 위한 기준 값이고, 기준 값(α)에 대해 매우 작은(미소한) 값을 갖는다. 기준 값(β)은 예를 들어, 스텝 엣지를 포함하는 영상을 이용하여 실험적으로 얻어질 수 있다. 또한, 기준 값(β)은 상기에 나타내는 방법에 한정되지 않고, 임의의 방법에 의해 설정될 수도 있다.
본 발명의 실시 형태에 따른 영상 처리 장치는 수직 스텝 엣지 영역 판정 처리로서, 예를 들어 상술한 바와 같은 처리를 행함으로써, 수직 스텝 엣지 영역을 판정한다.
또한, 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 임의의 타겟 화소에 대응하는 수직 스텝 엣지 영역의 판정에 요구되는 주변 화소의 수가 부족한 경우에는, 당해 타겟 화소를 수직 스텝 엣지 영역에 포함되는 화소인 것으로 판정하지 않는다. 또한, 이와 같은 경우에 있어서 처리가 상기에 나타내는 예에 한정되지 않는다는 것은 말할 필요도 없다.
상술한 수직 스텝 엣지 영역 판정 처리와 동일한 처리를 영상의 수평 방향에 적용함으로써, 수평 스텝 엣지 영역을 판정하는 것이 가능하다. 즉, 본 발명의 실시 형태에 따른 영상 처리 장치에서는, 수평 스텝 엣지 영역 판정 처리를 위해, 상술한 수직 스텝 엣지 영역 판정 처리와 동일한 처리가 영상의 수평 방향으로 행해진다.
(2) 보간 처리
본 발명의 실시 형태에 따른 영상 처리 장치는 수직 스텝 엣지 영역의 판정 결과, 및 수평 스텝 엣지 영역의 판정 결과에 대응하는 보간 처리를 수행한다. 본 발명의 실시 형태에 따른 영상 처리 장치는 수직 스텝 엣지 영역의 판정 결과에 대응하는 보간 처리를 이용하여, 영상의 수직 방향의 보간을 수행하고, 또한, 수평 스텝 엣지 영역의 판정 결과에 대응하는 보간 처리를 이용하여, 영상의 수평 방향의 보간을 수행한다.
본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 영상의 수직 방향의 보간, 영상의 수평 방향의 보간 순서로 보간 처리를 수행한다. 또한, 본 발명의 실시 형태에 따른 영상 처리 장치는 영상의 수평 방향의 보간, 영상의 수직 방향의 보간 순서로 보간 처리를 수행할 수도 있다. 이하에서는, 본 발명의 실시 형태에 따른 영상 처리 장치가 영상의 수직 방향의 보간, 영상의 수평 방향의 보간 순서로 보간 처리를 수행한다.
(2-1) 보간 처리의 제 1 예: 제 1 보간 처리의 결과, 또는 제 2 보간 처리의 결과의 선택에 의한 보간
본 발명의 실시 형태에 따른 영상 처리 장치는 수직 스텝 엣지 영역의 판정 결과에 따라서, 제 1 보간 처리의 결과, 또는, 제 2 보간 처리의 결과를 사용함으로써, 수직 방향의 보간을 행한다. 또한, 본 발명의 실시 형태에 따른 영상 처리 장치는 수평 스텝 엣지 영역의 판정 결과에 따라서, 제 1 보간 처리의 결과, 또는, 제 2 보간 처리의 결과를 사용함으로써, 수평 방향의 보간을 행한다.
보다 구체적으로는, 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 영상의 수직 방향의 보간 값으로서, 제 1 보간 처리의 보간 값(제 1 보간 처리의 결과)과 제 2 보간 처리의 보간 값(제 2 보간 처리의 결과) 모두를 구하여 둔다. 보간 위치에 대응하는 수직 스텝 엣지 영역의 판정 결과가 수직 스텝 엣지 영역을 나타내는 경우에는, 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 제 1 보간 처리의 보간 값을 최종적인 보간 값으로 한다. 또한, 보간 위치에 대응하는 수직 스텝 엣지 영역의 판정 결과가 수직 스텝 엣지 영역을 나타내는 경우에는, 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 제 2 보간 처리의 보간 값을 최종적인 보간 값으로 한다.
또한, 제 1 예에 따른 보간 처리는 수직 방향에 대응하는 제 1 보간 처리의 보간 값과 제 2 보간 처리의 보간 값 모두를 구하여 두는 것에 한정되지 않는다. 예를 들어, 본 발명의 실시 형태에 따른 영상 처리 장치는 각각의 보간 위치에 대응하는 수직 스텝 엣지 영역의 판정 결과에 따라서, 제 1 보간 처리, 또는 제 2 보간 처리의 한쪽의 보간 처리를 행하고, 행해진 보간 처리에 의해 얻어지는 보간 값을 영상의 수직 방향의 최종적인 보간 값으로 하는 것도 가능하다.
수직 방향의 보간이 행해지면, 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 수직 방향의 보간이 행해진 결과의 영상 신호를 사용하여, 영상의 수평 방향의 보간 값으로서, 제 1 보간 처리의 보간 값(제 1 보간 처리의 결과)과 제 2 보간 처리의 보간 값(제 2 보간 처리의 결과) 모두를 구하여 둔다. 보간 위치에 대응하는 수평 스텝 엣지 영역의 판정 결과가 수평 스텝 엣지 영역을 나타내는 경우에는, 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 제 1 보간 처리의 보간 값을 최종적인 보간 값으로 한다. 또한, 보간 위치에 대응하는 수평 스텝 엣지 영역의 판정 결과가 수평 스텝 엣지 영역을 나타내는 경우에는, 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 제 2 보간 처리의 보간 값을 최종적인 보간 값으로 한다.
또한, 제 1 예에 따른 보간 처리는 수평 방향에 대응하는 제 1 보간 처리의 보간 값과 제 2 보간 처리의 보간 값 모두를 구하여 두는 것에 한정되지 않는다. 예를 들어, 본 발명의 실시 형태에 따른 영상 처리 장치는 각각의 보간 위치에 대응하는 수평 스텝 엣지 영역의 판정 결과에 따라서, 제 1 보간 처리, 또는 제 2 보간 처리의 한쪽의 보간 처리를 행하고, 행해진 보간 처리에 의해 얻어지는 보간 값을 영상의 수평 방향의 최종적인 보간 값으로 하는 것도 가능하다.
본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어 상기와 같은, 영상의 수직 방향, 수평 방향 각각에 있어서 제 1 보간 처리의 결과 또는 제 2 보간 처리의 결과를 선택적으로 사용하여 영상의 수직 방향, 수평 방향 각각의 보간을 행한다.
또한, 영상의 수평 방향의 보간, 영상의 수직 방향의 보간 순서로 보간 처리가 행해지는 경우에는, 상기에 나타낸 제 1 예에 따른 보간 처리의 구체예에 있어서, 수직과 수평을 바꾸면 된다.
(2-2) 보간 처리의 제 2 예: 제 1 보간 처리의 결과와 제 2 보간 처리의 결과의 혼합에 의한 보간
본 발명의 실시 형태에 따른 영상 처리 장치는 수직 스텝 엣지 영역의 판정 결과에 기초하여 제 1 혼합비를 산출한다. 또한, 본 발명의 실시 형태에 따른 영상 처리 장치는 수평 스텝 엣지 영역의 판정 결과에 기초하여 제 2 혼합비를 산출한다.
여기서, 본 발명의 실시 형태에 따른 제 1 혼합비, 제 2 혼합비는 제 1 보간 처리의 결과와 제 1 보간 처리와 다른 제 2 보간 처리의 결과를 혼합하는 비율을 나타내는 값이다. 본 발명의 실시 형태에 따른 제 1 혼합비, 제 2 혼합비의 산출 방법의 일 예에 대하여서는 후술하는 제 2 실시 형태에 따른 영상 처리 장치에 있어서 설명한다.
본 발명의 실시 형태에 따른 영상 처리 장치는 제 1 혼합비에 따라서, 제 1 보간 처리의 보간 값(제 1 보간 처리의 결과)과 제 2 보간 처리의 보간 값(제 2 보간 처리의 결과)을 혼합하여, 수직 방향의 보간을 수행한다. 또한, 본 발명의 실시 형태에 따른 영상 처리 장치는 제 2 혼합비에 따라서, 제 1 보간 처리의 결과와 제 2 보간 처리의 결과를 혼합하여, 수평 방향의 보간을 수행한다.
보다 구체적으로는, 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 영상의 수직 방향의 보간 값으로서, 제 1 보간 처리의 보간 값(제 1 보간 처리의 결과)과 제 2 보간 처리의 보간 값(제 2 보간 처리의 결과) 모두를 구하여 둔다. 본 발명의 실시 형태에 따른 영상 처리 장치는 수직 스텝 엣지 영역의 판정 결과에 기초하는 제 1 혼합비에 따라서, 제 1 보간 처리의 보간 값(제 1 보간 처리의 결과)과 제 2 보간 처리의 보간 값(제 2 보간 처리의 결과)을 혼합하고, 혼합한 결과의 값을 영상의 수직 방향의 최종적인 보간 값으로 생성한다.
수직 방향의 보간이 행해지면, 본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 수직 방향의 보간이 행해진 결과의 영상 신호를 사용하여, 영상의 수평 방향의 보간 값으로서, 제 1 보간 처리의 보간 값(제 1 보간 처리의 결과)과 제 2 보간 처리의 보간 값(제 2 보간 처리의 결과) 모두를 구하여 둔다. 본 발명의 실시 형태에 따른 영상 처리 장치는 수평 스텝 엣지 영역의 판정 결과에 기초하는 제 2 혼합비에 따라서, 제 1 보간 처리의 보간 값(제 1 보간 처리의 결과)과 제 2 보간 처리의 보간 값(제 2 보간 처리의 결과)을 혼합하고, 혼합한 결과의 값을 영상의 수평 방향의 최종적인 보간 값으로 한다.
본 발명의 실시 형태에 따른 영상 처리 장치는 예를 들어, 상기와 같은, 영상의 수직 방향, 수평 방향의 각각에 있어서, 제 1 보간 처리의 결과 또는 제 2 보간 처리의 결과를 선택적으로 사용하여 영상의 수직 방향, 수평 방향 각각의 보간을 행한다.
또한, 영상의 수평 방향의 보간, 영상의 수직 방향의 보간 순서로 보간 처리가 수행해지는 경우에는, 상기에 나타낸 제 2 예에 따른 보간 처리의 구체예에 있어서, 수직과 수평을 바꾸면 된다.
본 발명의 실시 형태에 따른 영상 처리 장치는 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리로서, 예를 들어 상기 (1)에 나타내는 처리(수직 스텝 엣지 영역 판정 처리, 수평 스텝 엣지 영역 판정 처리), 및 상기 (2)에 나타내는 처리(보간 처리)를 행한다.
여기서, 본 발명의 실시 형태에 따른 영상 처리 장치는 상기 (2)에 나타내는 처리(보간 처리)에 있어서, 상기 (1)에 나타내는 처리(수직 스텝 엣지 영역 판정 처리, 수평 스텝 엣지 영역 판정 처리)에 있어서 수직 스텝 엣지 영역의 판정 결과, 및 수평 스텝 엣지 영역의 판정 결과에 대응하는 보간 처리를 행한다.
따라서, 본 발명의 실시 형태에 따른 영상 처리 장치는 스텝 엣지에 있어서 오버슈트 및 링잉의 저감과, 텍스쳐 등의 고주파 성분의 유지를 양립시키는 보간 처리를 행할 수 있다.
또한, 스텝 엣지에서 발생될 수 있는 오버슈트 및 링잉의 감소 및 텍스쳐 등의 고주파 성분의 유지를 양립시키는 보간 처리가 실현됨으로써, 인핸스(enhancement) 처리(특히, 인핸스형 초해상 처리)가 행해진 경우, 효과적으로 화질을 향상시킬 수 있다.
또한, 경사 보간시 발생될 수 있는 재기(jaggy)를 감소 시킬 수 있는 처리가 행해짐으로써, 스텝 엣지 주변의 텍스쳐 성분의 보존과 재기 감소의 양립이 가능하게 된다.
(본 발명의 실시 형태에 따른 영상 처리 장치)
이어서, 상술한 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리를 행하는 것이 가능한 본 발명의 실시 형태에 따른 영상 처리 장치의 구성의 일 예에 대하여 설명한다.
[I] 제 1 실시 형태에 따른 영상 처리 장치
도 3은 제 1 실시 형태에 따른 영상 처리 장치(100)의 구성의 일 예를 나타내는 블록도이다. 도 3은 영상의 수직 방향의 보간, 영상의 수평 방향의 보간의 순서대로 보간 처리가 행해지는 경우에 있어서 영상 처리 장치의 구성의 일 예를 나타내고 있다.
영상 처리 장치(100)는 예를 들어, 수직 스텝 엣지 영역 판정부(102), 수평 스텝 엣지 영역 판정부(104), 및 보간 처리부(106)를 구비한다.
영상 처리 장치(100)는 예를 들어, CPU(Central Processing Unit) 등의 프로세서(processor)나 각종 처리 회로 등으로 구성되고, 영상 처리 장치(100) 전체를 제어하는 제어부(도시하지 않음) 등을 구비할 수 있다. 제어부(도시하지 않음)를 구비하는 경우, 제어부(도시하지 않음)가 수직 스텝 엣지 영역 판정부(102), 수평 스텝 엣지 영역 판정부(104), 및 보간 처리부(106)의 역할을 수행할 수 있다.
또한, 수직 스텝 엣지 영역 판정부(102), 수평 스텝 엣지 영역 판정부(104), 및 보간 처리부(106)중 적어도 하나 이상은, 제어부(도시하지 않음)와는 별개의 처리 회로(예를 들어, 전용의 처리 회로, 또는, 범용의 처리 회로) 등으로 실현될 수 있다는 것은 말할 필요도 없다. 또한, 수직 스텝 엣지 영역 판정부(102), 수평 스텝 엣지 영역 판정부(104), 및 보간 처리부(106) 중 적어도 하나 이상에서 수행되는 처리는 프로세서 등으로 실행되는 프로그램(소프트웨어(software))에 의해 실현될 수 있다.
수직 스텝 엣지 영역 판정부(102)는 상기 (1)에서 설명된 수직 스텝 엣지 영역 판정 처리를 주도적으로 수행하고, 입력 영상 신호로부터 영상의 수직 방향의 스텝 엣지를 나타내는 수직 스텝 엣지 영역을 판정한다. 수직 스텝 엣지 영역 판정부(102)는 예를 들어, 상측의 주변 화소에 대응하는 차분 절대값의 최대 값 및 최소 값과, 하측의 주변 화소에 대응하는 차분 절대값의 최대 값 및 최소 값과의 관계를 이용하여, 수직 스텝 엣지 영역을 판정한다.
도 4는 제 1 실시 형태에 따른 영상 처리 장치(100)가 구비하는 수직 스텝 엣지 영역 판정부(102)의 구성의 일 예를 나타내는 설명도이다. 도 4에 나타내는 A는 수직 스텝 엣지 영역의 판정에 따른 보간 위치가 예를 들어, 도 2에 나타내는 (nx, ny)의 위치의 화소와 (nx, ny-1)의 위치의 화소 사이에 있는 경우의 구성을 나타내고 있다. 또한, 도 4에 나타내는 B는 수직 스텝 엣지 영역의 판정에 따른 보간 위치가 예를 들어, 도 2에 나타내는 (nx, ny)의 위치의 화소와 (nx, ny+1)의 위치의 화소 사이에 있는 경우의 구성을 나타내고 있다.
도 4에 나타내는 "선형 보간"은 2 개의 샘플 값으로부터 보간 값을 구하는 구성이고, 그 계수는 보간 위치에 따라 결정된다. 도 4에 나타내는 "차분 절대값"은 2 개의 입력의 차분을 계산하고, 그 절대값을 구하는 부분이다. 도 4에 나타내는 "최대 값"은 2 개의 입력 중 큰 쪽을 출력하는 부분이다. 도 4에 나타내는 "최소 값"은 2 개의 입력 중 작은 쪽을 출력하는 부분이다.
여기서, n 번째의 화소에 대해 마이너스(minus) 측의 화소와의 차분 절대값의 최대 값을“A", 최소 값을"B", 플러스(plus) 측의 화소와의 차분 절대값의 최대 값을“C", 최소 값을"D"라 한다.
도 4에 나타내는 "조합 결정"은 A및 C의 관계에 기초하고, 아래와 같은 출력을 행하는 부분이다.
·A > C인 때, E = A, F = D를 출력한다.
·A < C인 때, E = C, F = B를 출력한다.
·A = C인 때, B와 D 중 작은 쪽을 F로서 출력하고, E = A를 출력한다.
여기서, E는 n 번째의 샘플 주변의 최대 엣지의 크기, F는 최대 엣지와 반대 측의 평탄도를 나타내는 지표로 이용된다. 예를 들어, "E가 매우 큰 값이고, F가 거의 0에 가까운 값을 갖는 경우"에는, 스텝 엣지인 것으로 판정된다. 또한, "E가 매우 큰 값이고, 또한 F가 거의 0에 가까운 값을 갖는 경우"에 해당하지 않을 때에는, 스텝 엣지가 아닌 것으로 판정된다.
도 4에 나타내는 "비율 판정"은 상술한 바와 같은 판정을 행하는 부분이다. 도 4에 나타내는 "비율 판정”은 예를 들어, E/F > α인 경우에 스텝 엣지인 것으로 판정한다. 또한, 도 4에 나타내는 "비율 판정"은 예를 들어, E > F료인 경우에 스텝 엣지인 것으로 판정할 수 있다. 또한, 상술한 바와 같이, 도 4에 나타내는 "비율 판정"은 상술한 기준 값을 더 사용하여, F < 인 것을 판정의 조건에 추가하여도 좋다.
다시, 도 3을 참조하여, 제 1 실시 형태에 따른 영상 처리 장치(100)의 구성의 일 예를 설명한다. 수평 스텝 엣지 영역 판정부(104)는 상기 (1)에 나타내는 수평 스텝 엣지 영역 판정 처리를 주도적으로 수행하고, 입력 영상 신호로부터 영상의 수평 방향의 스텝 엣지를 나타내는 수평 스텝 엣지 영역을 판정한다. 수평 스텝 엣지 영역 판정부(104)는 예를 들어, 수평 방향으로의 타겟 화소의 위치를 기준으로 한 왼쪽의 주변 화소에 대응하는 차분 절대값의 최대 값 및 최소 값과, 수평 방향으로의 타겟 화소의 위치를 기준으로 한 우측의 주변 화소에 대응하는 차분 절대값의 최대 값 및 최소 값과의 관계를 이용하여, 수평 스텝 엣지 영역을 판정한다.
수평 스텝 엣지 영역 판정부(104)는 예를 들어, 도 4에 나타내는 수직 스텝 엣지 영역 판정부(102)의 구성과 동일한 구성을 갖고, 수직 스텝 엣지 영역 판정부(102)와 동일한 처리를 영상의 수평 방향에 대해 행함으로써, 수평 스텝 엣지 영역을 판정한다.
보간 처리부(106)는 상기 (2-1)에서 설명된 제 1 예에 따른 보간 처리를 주도적으로 수행하고, 수직 스텝 엣지 영역 판정부(102)에 있어서 수직 스텝 엣지 영역의 판정 결과, 및 수평 스텝 엣지 영역 판정부(104)에 있어서 수평 스텝 엣지 영역의 판정 결과에 대응하는 보간 처리를 행한다.
보간 처리부(106)는 예를 들어, 제 1 수직 보간 처리부(108), 제 2 수직 보간 처리부(110), 제 1 선택부(112), 제 1 수평 보간 처리부(114), 제 2 수평 보간 처리부(116), 및 제 2 선택부(118)를 구비한다. 여기서, 보간 처리부(106)에서는, 제 1 수직 보간 처리부(108), 제 2 수직 보간 처리부(110), 및 제 1 선택부(112)가 영상의 수직 방향의 보간을 수행한다. 또한, 보간 처리부(106)에서는, 제 1 수평 보간 처리부(114), 제 2 수평 보간 처리부(116), 및 제 2 선택부(118)가 영상의 수평 방향의 보간을 수행한다.
제 1 수직 보간 처리부(108)는 제 1 보간 처리를 행하는 역할을 수행하고, 예를 들어 입력 영상 신호에 대해 영상의 수직 방향으로 선형 보간을 행한다. 선형 보간을 행하는 경우, 제 1 수직 보간 처리부(108)는 예를 들어, 상기 수학식 1에 나타내는 연산을 처리함으로써, 보간을 수행한다.
제 2 수직 보간 처리부(110)는 제 2 보간 처리를 행하는 역할을 수행하고, 예를 들어 입력 영상 신호에 대해, 영상의 수직 방향에, Lanczos2나 Lanczos3, 큐빅 보간 등을 행한다.
구체적인 예를 들면, m-lobbed Lanczos(m은 2 이상의 정수)에 의해 보간을 행하는 경우에는, 제 2 수직 보간 처리부(110)는 하기의 수학식 4에 나타내는 함수를 사용한 안티알리어싱 필터에 의한 처리에 의해 보간을 행한다.
[수학식 4]
Figure 112015076417836-pat00004
Lanczos3의 계수는 상기 수학식 4로부터 산출된다. 예를 들어, 보간 위치가 n 번째 샘플의 ± 0.25인 때, 안티알리어싱 필터의 계수는 x = {-2.75, -2.25, -1.75, -1.25, -0.75, -0.25, 0.25, 0.75, 1.25, 1.75, 2.25, 2.75}의 12 점에 대해서, h(x, 3)를 계산하면 얻어진다.
폴리페이스 필터(#0)는 위치 -0.25에 대한 계수이기 때문에, n-3 번째 샘플로부터 n+2 번째 샘플에 x = {-2.75, -1.75, -0.75, 0.25, 1.25, 2.25}의 6 점이 각각 대응한다. 또한, 폴리페이스 필터(#1)는 위치 0.25에 대한 계수이기 때문에, n-2 번째 샘플로부터n+3 번째 샘플에 x = {-2.25, -1.25, -0.25, 0.75, 1.75, 2.75}의 6 점이 각각 대응한다. 또한, 직류 성분이 변동하는 것을 방지하기 위해서는, 각각 계수의 총합을 1로 정규화할 수 있다.
제 1 선택부(112)는 수직 스텝 엣지 영역 판정부(102)로부터 전달되는 수직 스텝 엣지 영역의 판정 결과에 따라서, 대응하는 제 1 수직 보간 처리부(108)에서 구해진 보간 값, 또는, 대응하는 제 2 수직 보간 처리부(110)에서 구해진 보간 값 중의 한쪽을 출력한다.
예를 들어, 제 1 선택부(112)가 스위치(switch)를 포함하는 경우, 수직 스텝 엣지 영역의 판정 결과는 예를 들어, 신호 레벨(하이 레벨/로 레벨)로 나타내진다. 상기의 경우, 제 1 선택부(112)는 예를 들어, 당해 신호 레벨에 따라서 상기 스위치에 의해 출력을 전환함으로써, 제 1 수직 보간 처리부(108)에서 구해진 보간 값, 또는, 제 2 수직 보간 처리부(110)에서 구해진 보간 값 중의 한쪽을 출력한다. 또한, 제 1 선택부(112)의 구성이나, 수직 스텝 엣지 영역의 판정 결과가 상기에 나타내는 예에 한정되지 않는 것은 말할 필요도 없다.
제 1 수평 보간 처리부(114)는 제 1 보간 처리를 행하는 역할을 수행하고, 예를 들어 제 1 선택부(112)로부터 전달되는 영상의 수직 방향으로 보간이 행해진 영상 신호에 대해 선형 보간을 행한다. 또한, 제 2 수평 보간 처리부(116)는 제 2 보간 처리를 행하는 역할을 수행하고, 예를 들어 제 1 선택부(112)으로부터 전달되는 영상의 수직 방향으로 보간이 행해진 영상 신호에 대해, Lanczos2나 Lanczos3, 큐빅 보간 등을 행한다.
제 2 선택부(118)는 수평 스텝 엣지 영역 판정부(104)로부터 전달되는 수평 스텝 엣지 영역의 판정 결과에 따라서, 대응하는 제 1 수평 보간 처리부(114)에 서 구해진 보간 값, 또는, 대응하는 제 2 수평 보간 처리부(116)에서 구해진 보간 값 중의 한쪽을 출력한다.
예를 들어, 제 2 선택부(118)가 스위치를 포함 하는 경우, 수평 스텝 엣지 영역의 판정 결과는 예를 들어, 신호 레벨(하이 레벨/로 레벨)로 나타내진다. 상기의 경우, 제 2 선택부(118)는 예를 들어, 당해 신호 레벨에 따라서 상기 스위치에 의해 출력을 전환함으로써, 제 1 수평 보간 처리부(114)에서 구해진 보간 값, 또는, 제 2 수평 보간 처리부(116)에서 구해진 보간 값 중의 한쪽을 출력한다. 또한, 제 2 선택부(118)의 구성이나, 수평 스텝 엣지 영역의 판정 결과가, 상기에 나타내는 예에 한정되지 않는 것은 말할 필요도 없다.
보간 처리부(106)는 예를 들어, 도 3에 나타내는 구성을 가짐으로써, 상기 (2-1)에 나타내는 제 1 예에 따른 보간 처리를 행한다.
또한, 제 1 실시 형태에 따른 보간 처리부(106)의 구성은 도 3에 나타내는 구성에 한정되지 않는다.
예를 들어, 보간 처리부(106)는 제 1 수평 보간 처리부(114), 제 2 수평 보간 처리부(116), 및 제 2 선택부(118)의 후단에, 제 1 수직 보간 처리부(108), 제 2 수직 보간 처리부(110), 및 제 1 선택부(112)가 마련되는 구성일 수 있다. 보간 처리부(106)가 상기의 구성을 취하는 경우, 영상 처리 장치(100)에서는, 영상의 수평 방향의 보간, 영상의 수직 방향의 보간 순서로 보간 처리를 수행한다.
또한, 보간 처리부(106)는 예를 들어, 제 1 선택부(112)를 구비하지 않고, 수직 스텝 엣지 영역 판정부(102)로부터 전달되는 수직 스텝 엣지 영역의 판정 결과에 따라서, 제 1 수직 보간 처리부(108) 또는 제 2 수직 보간 처리부(110)의 한쪽이 처리를 행할 수도 있다. 마찬가지로, 보간 처리부(106)는 예를 들어, 제 2 선택부(118)를 구비하지 않고, 수평 스텝 엣지 영역 판정부(104)로부터 전달되는 수평 스텝 엣지 영역의 판정 결과에 따라서, 제 1 수평 보간 처리부(114) 또는 제 2 수평 보간 처리부(116)의 한쪽이 처리를 행할 수도 있다.
제 1 실시 형태에 따른 영상 처리 장치(100)는 예를 들어, 도 3에 나타내는 구성(변형예도 포함한다) 에 의해, 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리(상기 수직 스텝 엣지 영역 판정 처리, 상기 수평 스텝 엣지 영역 판정 처리, 및 상기 (2-1)에 나타내는 제 1 예에 따른 보간 처리)를 행한다.
따라서, 영상 처리 장치(100)는 스텝 엣지에서 발생되는 오버슈트 및 링잉의 감소와, 텍스쳐 등의 고주파 성분의 유지를 양립시키는 보간 처리를 행할 수 있다.
또한, 영상 처리 장치(100)는 예를 들어, 상술한 바와 같은, 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리가 행해짐으로써, 나타나는 효과를 가질 수 있다.
또한, 영상 처리 장치(100)는 도 3에 나타내는 구성(변형예도 포함한다)을 취함으로써, 예를 들어, 영상 처리시 요구되는 라인 메모리를 생략하는 것이 가능하다.
[II] 제 2 실시 형태에 따른 영상 처리 장치
제 1 실시 형태에서는, 상기 (2-1)에 나타내는 제 1 예에 따른 보간 처리가 행해지는 구성, 즉, 스텝 엣지 영역의 판정 결과에 기초하여 제 1 보간 처리와 제 2 보간 처리가 전환되는 구성을 나타내었지만, 본 발명의 실시 형태에 따른 영상 처리 장치는 상기 (2-1)에 나타내는 제 1 예에 따른 보간 처리를 행하는 제 1 실시 형태에 따른 영상 처리 장치에 한정되지 않는다.
예를 들어, 엣지의 진폭이 작은 경우는 오버슈트 및 링잉은 시각적으로 눈에 띄지 않기 때문에, 엣지의 진폭에 따라서, 제 1 보간 처리의 결과와 제 2 보간 처리의 결과를 혼합할 수 있다.
이어서, 제 2 실시 형태에 따른 영상 처리 장치로서, 상기 (2-2)에 나타내는 제 2 예에 따른 보간 처리를 행하는 영상 처리 장치에 대해서 설명한다.
이하에서는, 제 2 실시 형태에 따른 영상 처리 장치에 대해서, 제 1 실시 형태에 따른 영상 처리 장치와의 차이점을 중심으로 설명한다. 또한, 이하에서는, 제 1 실시 형태에 따른 영상 처리 장치와 동일한 점에 대하여는, 그 설명을 생략한다.
도 5는 제 1 실시 형태에 따른 영상 처리 장치(200)의 구성의 일 예를 나타내는 블록도이다. 도 5는 도 3과 마찬가지로, 영상의 수직 방향의 보간, 영상의 수평 방향의 보간 순서로 보간 처리가 행해지는 경우에 있어서 영상 처리 장치의 구성의 일 예를 나타내고 있다.
영상 처리 장치(200)는 예를 들어, 수직 스텝 엣지 영역 판정부(102), 수평 스텝 엣지 영역 판정부(104), 제 1 혼합비 산출부(202), 제 2 혼합비 산출부(204), 및 보간 처리부(206)를 구비한다.
영상 처리 장치(200)는 예를 들어, CPU 등의 프로세서나 각종 처리 회로 등으로 구성되고, 영상 처리 장치(200)의 전체를 제어하는 제어부(도시하지 않음) 등을 구비할 수 있다. 제어부(도시하지 않음)를 구비하는 경우, 제어부(도시하지 않음)가 수직 스텝 엣지 영역 판정부(102), 수평 스텝 엣지 영역 판정부(104), 제 1 혼합비 산출부(202), 제 2 혼합비 산출부(204), 및 보간 처리부(206)의 역할을 수행할 수 있다.
또한, 수직 스텝 엣지 영역 판정부(102), 수평 스텝 엣지 영역 판정부(104), 제 1 혼합비 산출부(202), 제 2 혼합비 산출부(204), 및 보간 처리부(206) 중 적어도 하나 이상은 제어부(도시하지 않음)와는 별개의 처리 회로(예를 들어, 전용의 처리 회로, 또는, 범용의 처리 회로) 등으로 실현될 수 있다는 것은 말할 필요도 없다. 또한, 수직 스텝 엣지 영역 판정부(102), 수평 스텝 엣지 영역 판정부(104), 제 1 혼합비 산출부(202), 제 2 혼합비 산출부(204), 및 보간 처리부(206) 중 적어도 하나의 처리는 프로세서 등으로 실행되는 프로그램에 의해 실현될 수 있다.
제 1 혼합비 산출부(202)는 수직 스텝 엣지 영역 판정부(102)로부터 전달되는 수직 스텝 엣지 영역의 판정 결과에 기초하여 제 1 혼합비를 산출한다.
보다 구체적으로는, 제 1 혼합비 산출부(202)는 예를 들어, 수직 스텝 엣지 영역의 판정 결과와, 도 4에 있어서"E"(타겟 화소의 주변의 최대 엣지의 크기)를 사용하여, 제 1 혼합비를 산출한다.
도 6은 제 2 실시 형태에 따른 영상 처리 장치(200)가 구비하는 제 1 혼합비 산출부(202)의 구성의 일 예를 나타내는 설명도이다.
제 1 보간 처리의 비율을 "b1"(0 ≤ b1 ≤ 1)로 하고, 제 2 보간 처리의 비율을 "b2"(b2 = 1-b1)로 한다. 여기서, b1, b2가, 제 1 혼합비의 일 예에 해당한다. 즉, 제 1 혼합비는 예를 들어, b1 또는 b2의 한쪽을 결정하여 구해진다.
상술한 바와 같이, 수직 스텝 엣지 영역이 아닌 경우에는, 제 2 보간 처리가 행해지기 때문에, 수직 스텝 엣지 영역이 아닌 영역은 b1 = 0, b2 = 1이다.
또한, 수직 스텝 엣지 영역인 경우, b1은 예를 들어 하기의 수학식 5에서 구해진다.
[수학식 5]
Figure 112015076417836-pat00005
여기서, 상기 수학식 5에 나타내는 "a"는 제 1 혼합비를 조정하는 설정 값이다. 설정 값(a)의 값에 의해, 예를 들어, 진폭이 작은 스텝 엣지는 둔해질 뿐이고, 진폭이 큰 스텝 엣지에서는 충분한 오버슈트 및 링잉을 감소 시키는 것이 가능하게 된다. 여기서, 설정 값(a)의 값은 예를 들어, 샘플 영상을 이용하여 실험적으로 얻어질 수 있다. 또한, 설정 값(a)은 상기에 나타내는 방법에 한정되지 않고, 임의의 방법에 의해 설정될 수도 있다.
또한, 상기 수학식 5에 나타내는 "c"는 진폭이 작은 텍스쳐 영역이 제 1 보간 처리에 의해 둔해지는 것을 방지하기 위한 설정 값이다. 설정 값(c)은 예를 들어, 샘플 영상을 이용하여 실험적으로 얻어진다. 또한, 설정 값(c)은 상기에 나타내는 방법에 한정되지 않고, 임의의 방법에 의해 설정될 수도 있다.
또한, 도 6에 나타내는 바와 같이, b1의 값에는, 예를 들어 제한 값(L)(0 ≤ L ≤ 1)이 설정될 수 있다. 제한 값(L)이 설정됨으로써, 예를 들어, 영상에 정채감(A feeling of vividness)을 향상시키기 위해 오버슈트 및 링잉을 허용할 수 있다. 여기서, 제한 값(L)은 예를 들어, 샘플 영상을 이용하여 실험적으로 얻어질 수 있다. 또한, 제한 값(L)은 상기에 나타내는 방법에 한정되지 않고, 임의의 방법에 의해 설정될 수도 있다.
제 1 혼합비 산출부(202)는 예를 들어, 상기와 같은 제 1 혼합비를 산출한다.
또한, 본 발명의 실시 형태에 따른 제 1 혼합비의 산출 방법은 상기에 나타내는 예에 한정되지 않는다. 예를 들어, 제 1 혼합비 산출부(202)는 제한 값(L)을 사용하지 않고, 제 1 혼합비를 산출하는 것도 가능하다. 즉, 제한 값(L)은 설정되지 않아도 좋다.
다시, 도 5를 참조하여, 제 2 실시 형태에 따른 영상 처리 장치(200)의 구성의 일 예를 설명한다. 제 2 혼합비 산출부(204)는 수평 스텝 엣지 영역 판정부(104)로부터 전달되는 수평 스텝 엣지 영역의 판정 결과에 기초하여 제 2 혼합비를 산출한다.
제 2 혼합비 산출부(204)는 예를 들어, 제 1 혼합비 산출부(202)와 동일한 방법에 의해, 제 2 혼합비를 산출한다.
보간 처리부(206)는 상기 (2-1)에 나타내는 제 2 예에 따른 보간 처리를 주도적으로 수행한다. 보간 처리부(206)는 제 1 혼합비 산출부(202)로부터 전달되는 제 1 혼합비에 따라서, 제 1 보간 처리의 결과와 제 2 보간 처리의 결과를 혼합하여, 수직 방향의 보간을 행한다. 또한, 보간 처리부(206)는 제 2 혼합비 산출부(204)로부터 전달되는 제 2 혼합비에 따라서, 제 1 보간 처리의 결과와 제 2 보간 처리의 결과를 혼합하여, 수평 방향의 보간을 행한다.
보간 처리부(206)는 예를 들어, 제 1 수직 보간 처리부(108), 제 2 수직 보간 처리부(110), 제 1 혼합부(208), 제 1 수평 보간 처리부(114), 제 2 수평 보간 처리부(116), 및 제 2 혼합부(210)를 구비한다. 여기서, 보간 처리부(206)에서는, 제 1 수직 보간 처리부(108), 제 2 수직 보간 처리부(110), 및 제 1 혼합부(208)가 영상의 수직 방향의 보간을 수행한다. 또한, 보간 처리부(206)에서는, 제 1 수평 보간 처리부(114), 제 2 수평 보간 처리부(116), 및 제 2 혼합부(210)가 영상의 수평 방향의 보간을 수행한다.
제 1 혼합부(208)가, 제 1 혼합비에 따라서 제 1 보간 처리에 의한 보간 값(제 1 보간 처리의 결과)과 제 2 보간 처리에 의한 보간 값(제 2 보간 처리의 결과)를 혼합하는 점, 및, 제 2 혼합부(210)가 제 2 혼합비에 따라서, 제 1 보간 처리에 의한 보간 값(제 1 보간 처리의 결과)과 제 2 보간 처리에 의한 보간 값(제 2 보간 처리의 결과)을 혼합하는 점이, 제 1 실시 형태에 따른 보간 처리부(106)와 보간 처리부(206)간의 차이점이다.
제 1 혼합비를 "b1_1", "b2_1"(b2_1 = 1-b1_1)라 하면, 제 1 혼합부(208)는 예를 들어, 제 1 보간 처리에 의한 보간 값과 제 2 보간 처리에 의한 보간 값을 b1_1:b2_1의 비율로 혼합한다. 또한, 제 2 혼합비를 "b2_1", "b2_1"(b2_2 = 1-b1_2)라 하면, 제 2 혼합부(210)는 예를 들어, 제 1 보간 처리에 의한 보간 값과 제 2 보간 처리에 의한 보간 값을, b1_2:b2_2의 비율로 혼합한다.
보간 처리부(206)는 예를 들어, 도 5에 나타내는 구성을 가짐으로써, 상기 (2-2)에 나타내는 제 2 예에 따른 보간 처리를 행한다.
또한, 제 2 실시 형태에 따른 보간 처리부(206)의 구성은 도 5에 나타내는 구성에 한정되지 않는다.
예를 들어, 보간 처리부(206)는 제 1 수평 보간 처리부(114), 제 2 수평 보간 처리부(116), 및 제 2 혼합부(210)의 후단에, 제 1 수직 보간 처리부(108), 제 2 수직 보간 처리부(110), 및 제 1 혼합부(208)가 마련되는 구성일 수도 있다. 보간 처리부(206)가 상기의 구성을 취하는 경우, 영상 처리 장치(200)에서는, 영상의 수평 방향의 보간, 영상의 수직 방향의 보간 순서로 보간 처리가 행해진다.
제 2 실시 형태에 따른 영상 처리 장치(200)는 예를 들어, 도 5에 나타내는 구성(변형예도 포함한다) 에 의해, 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리(상기 수직 스텝 엣지 영역 판정 처리, 상기 수평 스텝 엣지 영역 판정 처리, 및 상기 (2-2)에 나타내는 제 2 예에 따른 보간 처리)를 행한다.
따라서, 영상 처리 장치(200)는 스텝 엣지에서 발생 되는 오버슈트 및 링잉의 감소와, 텍스쳐 등의 고주파 성분의 유지를 양립시키는 보간 처리를 행할 수 있다.
또한, 영상 처리 장치(200)는 예를 들어, 상술한 바와 같은, 본 발명의 실시 형태에 따른 영상 처리 방법에 따른 처리가 행해짐으로써, 나타나는 효과를 나타낼 수 있다.
또한, 영상 처리 장치(200)는 도 5에 나타내는 구성(변형예도 포함한다) 을 취함으로써, 예를 들어, 영상 처리에 요구되는 라인 메모리를 생략 할 수 있다.
이상, 본 발명의 실시 형태로서, 영상 처리 장치를 예를 들어서 설명하였으나, 본 발명의 실시 형태는 이러한 형태에 한정되지 않는다. 본 발명의 실시 형태는 예를 들어, PC(Personal Computer)나 서버 등의 컴퓨터(computer)나, 테블릿(tablet)형의 장치, 휴대 전화나 스마트폰(smart phone) 등의 통신 장치 등, 영상 신호를 처리하는 것이 가능한 여러 가지 기기에 적용할 수 있다.
(본 발명의 실시 형태에 따른 프로그램)
컴퓨터를, 본 발명의 실시 형태에 따른 영상 처리 장치로서 기능시키기 위한 프로그램(예를 들어, "컴퓨터를, 수직 스텝 엣지 영역 판정부(102)에 상당하는 수직 스텝 엣지 영역 판정 수단, 수평 스텝 엣지 영역 판정부(104)에 상당하는 수평 스텝 엣지 영역 판정 수단, 및 보간 처리부(106)에 상당하는 보간 처리 수단으로서 기능시키는 것이 가능한 프로그램"이나, "컴퓨터를, 수직 스텝 엣지 영역 판정 수단, 수평 스텝 엣지 영역 판정 수단, 제 1 혼합비 산출부(202)에 상당하는 제 1 혼합비 산출 수단, 제 2 혼합비 산출부(204)에 상당하는 제 1 혼합비 산출 수단, 및 보간 처리부(206)에 상당하는 보간 처리 수단으로서 기능시키는 것이 가능한 프로그램")이 컴퓨터에 있어서 실행됨으로써, 스텝 엣지에서 발생될 수 있는 오버슈트 및 링잉의 저감과, 텍스쳐 등의 고주파 성분의 유지를 양립시키는 보간 처리를 행할 수 있다.
또한, 컴퓨터를, 본 발명의 실시 형태에 따른 영상 처리 장치로서 기능시키기 위한 프로그램이, 컴퓨터에서 실행됨으로써, 상술한 본 발명의 실시 형태에 따른 영상 처리 장치가 사용됨으로써 나타내는 효과를 나타낼 수 있다.
또한, 상기에서는, 첨부 도면을 참조하면서, 본 발명의 바람직한 실시 형태에 대해서 설명하였으나, 본 발명은 따른 예에 한정되지 않는다는 것은 말할 필요도 없다. 당업자이라면, 특허 청구의 범위에 기재된 범주 내에 있어서, 각종의 변경 예 또는 수정 예로 상상하여 얻을 수 있다는 것은 명확하고, 이들에 대해서도 당연히 본 발명의 기술적 범위에 속하는 것으로 해석된다.
예를 들어, 상기에서는, 컴퓨터를, 본 발명의 실시 형태에 따른 영상 처리 장치로서 기능시키기 위한 프로그램(컴퓨터 프로그램)이 제공되는 것을 나타내었으나, 본 발명의 실시 형태는 또한, 상기 프로그램을 기억시킨 기록 매체도 함께 제공할 수 있다.
100, 200 : 영상 처리 장치 102 : 수직 스텝 엣지 영역 판정부
104 : 수평 스텝 엣지 영역 판정부 106, 206 : 보간 처리부
108 : 제 1 수직 보간 처리부 110 : 제 2 수직 보간 처리부
112 : 제 1 선택부 114 : 제 1 수평 보간 처리부
116 : 제 2 수평 보간 처리부 118 : 제 2 선택부
202 : 제 1 혼합비 산출부 204 : 제 2 혼합비 산출부
208 : 제 1 혼합부 210 : 제 2 혼합부

Claims (6)

  1. 입력되는 입력 영상 신호로부터 영상의 수직 스텝 엣지 영역을 판정하는 수직 스텝 엣지 영역 판정부;
    상기 입력 영상 신호로부터 영상의 수평 스텝 엣지 영역을 판정하는 수평 스텝 엣지 영역 판정부; 및
    상기 수직 스텝 엣지 영역의 판정 결과, 및 상기 수평 스텝 엣지 영역의 판정 결과를 근거로 보간 처리를 행하는 보간 처리부 구비하고,
    상기 수직 스텝 엣지 영역 판정부는, 타겟 화소에 대응하는 수직 방향의 보간 값과 상기 타겟 화소의 수직 방향의 주변 화소의 화소 값과의 차분의 절대값을 산출하고, 상기 타겟 화소의 위치를 기준으로 한 상측의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과, 상기 타겟 화소의 위치를 기준으로 한 하측의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과의 관계을 근거로 상기 수직 스텝 엣지 영역을 판정하고,
    상기 수평 스텝 엣지 영역 판정부는, 타겟 화소에 대응하는 수평 방향의 보간 값과 상기 타겟 화소의 수평 방향의 주변 화소의 화소 값과의 차분의 절대값을 산출하고, 상기 타겟 화소의 위치를 기준으로 한 왼쪽의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과, 상기 타겟 화소의 위치를 기준으로 한 우측의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과의 관계를 근거로, 상기 수평 스텝 엣지 영역을 판정하는 것을 특징으로 하는 영상 처리 장치.
  2. 제 1 항에 있어서,
    상기 보간 처리부는,
    상기 수직 스텝 엣지 영역의 판정 결과를 근거로 오버슈트 및 링잉을 발생시키지 않는 제 1 보간 처리의 결과, 또는 상기 제 1 보간 처리와 다른 제 2 보간 처리의 결과를 이용하여, 수직 방향의 보간을 행하고,
    상기 수평 스텝 엣지 영역의 판정 결과를 근거로, 상기 제 1 보간 처리의 결과, 또는 상기 제 2 보간 처리의 결과를 이용하여, 수평 방향의 보간을 행하는 것을 특징으로 하는 영상 처리 장치.
  3. 제 1 항에 있어서,
    상기 수직 스텝 엣지 영역의 판정 결과를 근거로, 수직 방향의 보간 처리시 오버슈트 및 링잉을 발생시키지 않는 제 1 보간 처리의 결과와 상기 제 1 보간 처리와 다른 제 2 보간 처리의 결과를 혼합하기 위한 제 1 혼합비를 산출하는 제 1 혼합비 산출부; 및
    상기 수평 스텝 엣지 영역의 판정 결과를 근거로, 수평 방향의 보간 처리시 상기 제 1 보간 처리의 결과와 상기 제 2 보간 처리의 결과를 혼합하기 위한 제 2 혼합비를 산출하는 제 2 혼합비 산출부를 더 구비하고,
    상기 보간 처리부는,
    상기 제 1 혼합비를 근거로, 상기 제 1 보간 처리의 결과와 상기 제 2 보간 처리의 결과를 혼합하여, 수직 방향의 보간을 행하고,
    상기 제 2 혼합비를 근거로, 상기 제 1 보간 처리의 결과와 상기 제 2 보간 처리의 결과를 혼합하여, 수평 방향의 보간을 행하는 것을 특징으로 하는 영상 처리 장치.
  4. 제 1 항 에 있어서,
    상기 수직 스텝 엣지 영역 판정부는, 오버슈트 및 링잉을 발생시키지 않는 제 1 보간 처리에 의해, 상기 타겟 화소에 대응하는 수직 방향의 보간 값을 산출하는 것을 특징으로 하는 영상 처리 장치.
  5. 제 1 항 에 있어서,
    상기 수평 스텝 엣지 영역 판정부는, 오버슈트 및 링잉을 발생시키지 않는 제 1 보간 처리에 의해, 상기 타겟 화소에 대응하는 수평 방향의 보간 값을 산출하는 것을 특징으로 하는 영상 처리 장치.
  6. 입력되는 입력 영상 신호로부터 영상의 수직 스텝 엣지 영역을 판정하는 수직 스텝 엣지 영역 판정 단계;
    상기 입력 영상 신호로부터 영상의 수평 스텝 엣지 영역을 판정하는 수평 스텝 엣지 영역 판정 단계; 및
    상기 수직 스텝 엣지 영역의 판정 결과, 및 상기 수평 스텝 엣지 영역의 판정 결과를 근거로 보간 처리를 행하는 보간 처리 단계를 포함하고,
    상기 수직 스텝 엣지 영역 판정 스텝에서는, 타겟 화소에 대응하는 수직 방향의 보간 값과 상기 타겟 화소의 수직 방향의 주변 화소의 화소 값과의 차분의 절대값이 산출되고, 상기 타겟 화소의 위치를 기준으로 한 상측의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과, 상기 타겟 화소의 위치를 기준으로 한 하측의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과의 관계를 근거로, 상기 수직 스텝 엣지 영역이 판정 되고,
    상기 수평 스텝 엣지 영역 판정 스텝에서는, 타겟 화소에 대응하는 수평 방향의 보간 값과 상기 타겟 화소의 수평 방향의 주변 화소의 화소 값과의 차분의 절대값이 산출되고, 상기 타겟 화소의 위치를 기준으로 한 왼쪽의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과, 상기 타겟 화소의 위치를 기준으로 한 우측의 주변 화소에 대응하는 상기 절대값의 최대 값 및 최소 값과의 관계를 근거로, 상기 수평 스텝 엣지 영역이 판정되는 것을 특징으로 하는 영상 처리 방법.
KR1020150111148A 2014-10-27 2015-08-06 영상 처리 장치 및 영상 처리 방법 KR102457856B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2014-218522 2014-10-27
JP2014218522A JP2016085628A (ja) 2014-10-27 2014-10-27 画像処理装置、画像処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
KR20160049444A KR20160049444A (ko) 2016-05-09
KR102457856B1 true KR102457856B1 (ko) 2022-10-25

Family

ID=55793011

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150111148A KR102457856B1 (ko) 2014-10-27 2015-08-06 영상 처리 장치 및 영상 처리 방법

Country Status (3)

Country Link
US (1) US9674484B2 (ko)
JP (1) JP2016085628A (ko)
KR (1) KR102457856B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9860429B1 (en) * 2016-06-30 2018-01-02 Apple Inc. Scaling of image data in sensor interface based on detection of defective pixels

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241352A (ja) 2006-03-06 2007-09-20 Sony Corp 画像処理装置および方法、記録媒体、並びに、プログラム
JP2010009381A (ja) 2008-06-27 2010-01-14 Fujitsu Ltd 画素補間装置、画素補間方法および画素補間プログラム
JP2012114687A (ja) 2010-11-25 2012-06-14 Samsung Yokohama Research Institute Co Ltd 画像処理装置及び画像処理方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3706189B2 (ja) 1996-03-15 2005-10-12 富士写真フイルム株式会社 画像データの補間処理方法およびその方法を使用した装置
JP3644874B2 (ja) * 1999-07-15 2005-05-11 シャープ株式会社 画像補間装置
JP2001189850A (ja) 1999-12-28 2001-07-10 Nec Corp 解像度変換装置とその解像度変換方法
US6782143B1 (en) * 1999-12-30 2004-08-24 Stmicroelectronics, Inc. Method and apparatus for processing an image
US6771835B2 (en) * 2000-06-12 2004-08-03 Samsung Electronics Co., Ltd. Two-dimensional non-linear interpolation system based on edge information and two-dimensional mixing interpolation system using the same
JP4553481B2 (ja) * 2000-12-14 2010-09-29 パナソニック株式会社 走査線補間装置
US7324709B1 (en) * 2001-07-13 2008-01-29 Pixelworks, Inc. Method and apparatus for two-dimensional image scaling
US7245326B2 (en) * 2001-11-19 2007-07-17 Matsushita Electric Industrial Co. Ltd. Method of edge based interpolation
US7764839B2 (en) 2003-08-14 2010-07-27 Fujifilm Corporation Edge detecting apparatus and method, and image size enlarging and reducing apparatus and method
JP4483255B2 (ja) 2003-10-02 2010-06-16 パナソニック株式会社 液晶表示装置
JP4879084B2 (ja) 2007-05-10 2012-02-15 三菱電機株式会社 画像処理装置
JP2009005166A (ja) * 2007-06-22 2009-01-08 Olympus Corp 色補間装置及び画像処理システム
JP2012099903A (ja) * 2010-10-29 2012-05-24 Sony Corp 画像処理装置、画像処理方法、撮像装置
JP5826001B2 (ja) 2011-11-30 2015-12-02 キヤノン株式会社 画像処理装置、及びその制御方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007241352A (ja) 2006-03-06 2007-09-20 Sony Corp 画像処理装置および方法、記録媒体、並びに、プログラム
JP2010009381A (ja) 2008-06-27 2010-01-14 Fujitsu Ltd 画素補間装置、画素補間方法および画素補間プログラム
JP2012114687A (ja) 2010-11-25 2012-06-14 Samsung Yokohama Research Institute Co Ltd 画像処理装置及び画像処理方法

Also Published As

Publication number Publication date
KR20160049444A (ko) 2016-05-09
JP2016085628A (ja) 2016-05-19
US20160119578A1 (en) 2016-04-28
US9674484B2 (en) 2017-06-06

Similar Documents

Publication Publication Date Title
US8314890B2 (en) Image processing apparatus and image processing method
EP3051484A2 (en) Image interpolation method and image interpolation apparatus
CN107644398A (zh) 图像插补方法及其相关图像插补装置
US20120189208A1 (en) Image processing apparatus, image processing method, image processing program, and storage medium
EP2138975A2 (en) Apparatus, method and computer-readable recording medium for pixel interpolation
CN106780336B (zh) 一种图像缩小方法及装置
CN104700360B (zh) 基于边缘自适应的图像缩放方法及系统
CN107169927A (zh) 一种图像处理系统、方法及显示装置
JP2019049705A5 (ko)
KR20190029433A (ko) 전자 디스플레이 경계 이득 시스템 및 방법
WO2014008329A1 (en) System and method to enhance and process a digital image
KR102457856B1 (ko) 영상 처리 장치 및 영상 처리 방법
KR20240090624A (ko) 지향성 스케일링 시스템들 및 방법들
CN109325909B (zh) 一种图像放大方法和图像放大装置
JP6542524B2 (ja) 画像処理装置、画像処理方法、およびプログラム
KR102438227B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP2012032739A (ja) 画像処理装置及び方法、並びに画像表示装置
JP2011216968A (ja) 画像処理制御装置および方法
US20230096874A1 (en) Content adaptive filtering via ringing estimation and suppression
US8577180B2 (en) Image processing apparatus, image processing system and method for processing image
JP2006238188A (ja) 補間フィルタおよび映像信号処理装置
US11321813B2 (en) Angular detection using sum of absolute difference statistics systems and methods
KR101924915B1 (ko) 신호 정정 방법 및 장치, 그리고 단말기
KR20160070580A (ko) 적응 가능한 필터를 포함하는 영상 스케일러
JP2004282593A (ja) 輪郭補正装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant