KR101615479B1 - 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법 - Google Patents

적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법 Download PDF

Info

Publication number
KR101615479B1
KR101615479B1 KR1020150032697A KR20150032697A KR101615479B1 KR 101615479 B1 KR101615479 B1 KR 101615479B1 KR 1020150032697 A KR1020150032697 A KR 1020150032697A KR 20150032697 A KR20150032697 A KR 20150032697A KR 101615479 B1 KR101615479 B1 KR 101615479B1
Authority
KR
South Korea
Prior art keywords
filter
information
post
contrast
frames
Prior art date
Application number
KR1020150032697A
Other languages
English (en)
Other versions
KR20160038683A (ko
Inventor
이대열
정세윤
조숙희
김종호
김휘용
임성창
최진수
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US14/860,972 priority Critical patent/US9811882B2/en
Publication of KR20160038683A publication Critical patent/KR20160038683A/ko
Application granted granted Critical
Publication of KR101615479B1 publication Critical patent/KR101615479B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0102—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving the resampling of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0117—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving conversion of the spatial resolution of the incoming video signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0125—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level one of the standards being a high definition standard
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)

Abstract

적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법이 개시된다. 개시된 영상 처리 장치는 입력 영상을 구성하는 복수의 구간들 중 어느 하나인 기준 구간에 포함된 프레임들에 기초하여 전처리 필터 및 후처리 필터를 결정하고, 전처리 필터에 기초하여 기준 구간에 포함된 프레임들을 필터링하고, 필터링된 프레임들의 고주파 신호를 복원하며, 고주파 신호가 복원된 프레임들을 후처리 필터에 기초하여 필터링할 수 있다.

Description

적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법{METHOD AND APPARATUS FOR PROCESSING SUPER RESOLUTION IMAGE USING ADAPTIVE PRE/POST-FILTERING}
아래의 설명은 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법에 관한 것으로, 보다 구체적으로는 입력 영상을 구성하는 복수의 구간들마다 최적화된 전처리 필터 및 후처리 필터를 결정하여 입력 영상을 초해상도로 변환하는 영상 처리 방법 및 장치에 관한 것이다.
최근 HD(High Definition) 해상도의 영상 콘텐츠가 다양한 모바일 단말 및 TV에 제공되면서 기존 촬영된 영상을 고해상도로 변환하는 기술이 주목을 받고 있다. 또한, 최근에는 HD의 4배 해상도를 가지는 UHD(Ultra High Definition)에 대한 관심이 증대되어 기존 콘텐츠를 UHD 콘텐츠로 변환할 수 있는 고품질의 업스케일 솔루션이 단말 및 TV에서 핵심 기술로 부각되고 있다.
그러나, 저해상도 또는 저화질로 촬영된 영상을 초해상도 영상으로 변환하는 경우, 영상의 콘트라스트, 선명도 및 노이즈에 의하여 변환된 초해상도 영상의 화질이 감소될 수 있다.
본 발명은 입력 영상을 초해상도로 변환하는 과정에서 입력 영상을 구성하는 복수의 구간들마다 최적화된 전처리 필터 및 후처리 필터를 결정하여 복수의 구간들을 필터링함으로써, 효과적으로 입력 영상을 초해상도 영상으로 변환하는 방법을 제공할 수 있다.
본 발명은 입력 영상을 초해상도로 변환하기 전에 콘트라스트 필터링을 수행함으로써, 약한 콘트라스트에 의해 입력 영상을 초해상도로 변환하는 과정에서 부적합한 고주파 신호가 복원되는 것을 방지하는 방법을 제공할 수 있다.
본 발명은 입력 영상을 초해상도로 변환하기 전에 디노이즈 필터링을 수행함으로써, 노이즈에 의해 입력 영상을 초해상도로 변환하는 과정에서 부적합한 고주파 신호가 복원되는 것을 방지하는 방법을 제공할 수 있다.
본 발명은 입력 영상을 초해상도로 변환한 후에 샤프닝 필터링을 수행함으로써, 입력 영상을 초해상도로 변환하는 과정에서 충분히 복원되지 않은 일부 고주파 신호가 존재할 경우 해당 일부 고주파 신호에 대해서 선명도를 향상시킬 수 있으며, 입력 영상을 초해상도로 변환하기 전에 샤프닝 필터링을 전처리 필터로서 수행할 때 발생될 수 있는 부적합한 고주파 신호의 복원을 효과적으로 방지하는 방법을 제공할 수 있다.
일실시예에 따른 영상 처리 방법은 입력 영상을 복수의 구간들로 분할하는 단계; 상기 복수의 구간들 중 어느 하나인 기준 구간에 포함된 프레임들에 기초하여 전처리 필터 및 후처리 필터를 결정하는 단계; 상기 전처리 필터에 기초하여 상기 기준 구간에 포함된 프레임들을 필터링하는 단계; 상기 필터링된 프레임들의 고주파 신호를 복원하는 단계; 및 상기 고주파 신호가 복원된 프레임들을 상기 후처리 필터에 기초하여 필터링하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 입력 영상을 복수의 구간들로 분할하는 단계는, 상기 입력 영상에서 장면 변화가 발생하는 경계 프레임을 검출하고, 상기 경계 프레임을 기준으로 상기 입력 영상을 상기 복수의 구간들로 분할할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 전처리 필터 및 후처리 필터를 결정하는 단계는, 상기 기준 구간에 포함된 프레임들의 콘트라스트 정보(contrast information)를 계산하고, 상기 콘트라스트 정보에 기초하여 콘트라스트 필터를 상기 전처리 필터로서 적용할지 여부를 결정하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 전처리 필터 및 후처리 필터를 결정하는 단계는, 상기 콘트라스트 필터를 상기 전처리 필터로 적용하는 것으로 결정할 경우, 상기 콘트라스트 정보에 기초하여 상기 콘트라스트 필터에 적용될 파라미터를 결정하는 단계를 더 포함할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 콘트라스트 필터에 적용될 파라미터를 결정하는 단계는, 상기 콘트라스트 정보와 콘트라스트 임계값 간의 차이에 기초하여 콘트라스트 필터의 강도가 조절되도록 상기 파라미터를 결정할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 전처리 필터 및 후처리 필터를 결정하는 단계는, 상기 기준 구간에 포함된 프레임들의 노이즈 정보를 계산하고, 상기 노이즈 정보에 기초하여 디노이즈 필터를 상기 전처리 필터로서 적용할지 여부를 결정하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 전처리 필터 및 후처리 필터를 결정하는 단계는, 상기 디노이즈 필터를 상기 전처리 필터로서 적용하는 것으로 결정할 경우, 상기 노이즈 정보에 기초하여 상기 디노이즈 필터에 적용될 파라미터를 결정하는 단계를 더 포함할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 디노이즈 필터에 적용될 파라미터를 결정하는 단계는, 상기 노이즈 정보와 노이즈 임계값 간의 차이에 기초하여 디노이즈 필터의 강도가 조절되도록 상기 파라미터를 결정할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 전처리 필터 및 후처리 필터를 결정하는 단계는, 상기 기준 구간에 포함된 프레임들의 선명도 정보(sharpness information)를 계산하고, 상기 선명도 정보에 기초하여 샤프닝 필터를 상기 후처리 필터로서 적용할지 여부를 결정하는 단계를 포함할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 샤프닝 필터를 상기 후처리 필터로서 적용할지 여부를 결정하는 단계는, 상기 선명도 정보가 선명도 임계값 이하이고 상기 기준 구간에 포함된 프레임들의 노이즈 정보가 노이즈 임계값 이상인 경우, 상기 샤프닝 필터를 상기 후처리 필터로서 적용하지 않는 것으로 결정할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 전처리 필터 및 후처리 필터를 결정하는 단계는, 상기 샤프닝 필터를 상기 후처리 필터로서 적용하는 것으로 결정할 경우, 상기 선명도 정보에 기초하여 상기 샤프닝 필터에 적용될 파라미터를 결정하는 단계를 더 포함할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 샤프닝 필터에 적용될 파라미터를 결정하는 단계는, 상기 선명도 정보와 선명도 임계값 간의 차이에 기초하여 샤프닝 필터의 강도가 조절되도록 상기 파라미터를 결정할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 필터링된 프레임들의 고주파 신호를 복원하는 단계는 상기 필터링된 프레임들을 복수의 패치들로 분할하고, 상기 복수의 패치들에 대응하고 고주파 신호를 포함하는 복수의 고주파 패치들을 이용하여 상기 고주파 신호를 복원할 수 있다.
일실시예에 따른 영상 처리 방법은 상기 후처리 필터에 기초하여 필터링된 프레임들을 구간 단위로 출력하는 단계를 더 포함할 수 있다.
일실시예에 따른 영상 처리 방법에서 상기 기준 구간에 포함된 프레임들은, 상기 프레임들의 배경, 조명 환경, 줌인 중 적어도 하나의 특성이 미리 정해진 임계값 이하의 유사도를 가질 수 있다.
일실시예에 따른 영상 처리 장치는 입력 영상을 복수의 구간들로 분할하는 영상 구간 분할부; 상기 복수의 구간들 중 어느 하나인 기준 구간에 포함된 프레임들에 기초하여 전처리 필터 및 후처리 필터를 결정하는 필터 결정부; 및 상기 전처리 필터에 기초하여 상기 기준 구간에 포함된 프레임들을 필터링하고, 상기 필터링된 프레임들의 고주파 신호를 복원하며, 상기 고주파 신호가 복원된 프레임들을 상기 후처리 필터에 기초하여 필터링하는 영상 필터링부를 포함할 수 있다.
일실시예에 따른 영상 처리 방법은 입력 영상을 복수의 구간들로 분할하는 단계; 상기 복수의 구간들 중 어느 하나인 기준 구간에 포함된 프레임들에 기초하여 전처리 필터를 결정하는 단계; 상기 전처리 필터에 기초하여 상기 기준 구간에 포함된 프레임들을 필터링하고, 상기 필터링된 프레임들의 고주파 신호를 복원하는 단계; 상기 고주파 신호가 복원된 프레임들에 기초하여 후처리 필터를 결정하는 단계; 및 상기 후처리 필터에 기초하여 상기 고주파 신호가 복원된 프레임들을 필터링하는 단계를 포함할 수 있다.
실시예들은 입력 영상을 초해상도로 변환하는 과정에서 입력 영상을 구성하는 복수의 구간들마다 최적화된 전처리 필터 또는 후처리 필터를 결정하여 복수의 구간들을 필터링함으로써, 효과적으로 입력 영상을 초해상도 영상으로 변환할 수 있다.
실시예들은 입력 영상을 초해상도로 변환하기 전에 콘트라스트 필터링을 수행함으로써, 약한 콘트라스트에 의해 입력 영상을 초해상도로 변환하는 과정에서 부적합한 고주파 신호가 복원되는 것을 방지할 수 있다.
실시예들은 입력 영상을 초해상도로 변환하기 전에 디노이즈 필터링을 수행함으로써, 노이즈에 의해 입력 영상을 초해상도로 변환하는 과정에서 부적합한 고주파 신호가 복원되는 것을 방지할 수 있다.
실시예들은 입력 영상을 초해상도로 변환한 후에 샤프닝 필터링을 수행함으로써, 입력 영상을 초해상도로 변환하는 과정에서 충분히 복원되지 않은 일부 고주파 신호가 존재할 경우 해당 일부 고주파 신호에 대해서 선명도를 향상시킬 수 있으며, 입력 영상을 초해상도로 변환하기 전에 샤프닝 필터링을 전처리 필터로서 수행할 때 발생될 수 있는 부적합한 고주파 신호의 복원을 효과적으로 방지할 수 있다.
도 1은 일실시예에 따른 영상 처리 장치를 나타낸 도면이다.
도 2는 일실시예에 따라 영상 처리 장치에 포함된 필터 결정부의 세부 구성을 나타낸 도면이다.
도 3는 본 발명의 일실시예에 따라 콘트라스트 필터 결정부가 인텐시티 히스토그램에서 어두운 영역과 밝은 영역을 구분하는 과정을 설명하기 위한 도면이다.
도 4는 일실시예에 따라 콘트라스트 필터 결정부의 동작을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 선명도/노이즈 필터 결정부의 세부 구성을 나타낸 도면이다.
도 6은 일실시예에 따른 선명도/노이즈 필터 결정부의 동작을 설명하기 위한 도면이다.
도 7은 일실시예에 따라 영상 처리 장치에 포함된 영상 필터링부의 세부 구성을 나타낸 도면이다.
도 8은 일실시예에 따라 초해상도로 변환하는 과정을 설명하기 위한 도면이다.
도 9는 다른 일실시예에 따른 영상 처리 장치를 나타낸 도면이다.
도 10은 다른 일실시예에 따른 제1 영상 변환부를 나타낸 도면이다.
도 11은 일실시예에 따른 영상 처리 방법을 나타낸 도면이다.
도 12는 다른 일실시예에 따른 영상 처리 방법을 나타낸 도면이다.
이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 실시예의 범위가 본문에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 관련 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다.
도 1은 일실시예에 따른 영상 처리 장치를 나타낸 도면이다.
영상 처리 장치(100)는 입력 영상의 해상도를 향상시켜 영상을 출력하는 장치로서, 초해상도 기술이 이용될 수 있다. 초해상도 기술은 해상도가 낮은 영상(예를 들어, 저해상도 영상)으로부터 선명하고 해상도가 높은 영상(예를 들어, 고해상도 영상)을 복원하는 방법이다. 초해상도 기술은 고해상도 이미지를 복원하기 위해 저해상도 이미지에서 상실되어 있는 고주파 성분을 추정하여 복원할 수 있다.
도 1을 참고하면, 영상 처리 장치(100)는 입력된 영상을 처리하는 장치로서, 영상 구간 분할부(110), 필터 결정부(120) 및 영상 필터링부(130)를 포함한다. 예를 들어, 영상 처리 장치(100)는 소프트웨어 모듈, 하드웨어 모듈 또는 이들의 조합으로 구현될 수 있다. 영상 처리 장치(100)는 스마트 폰, 테블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 텔레비전, 웨어러블 장치, 보안 시스템, 스마트 홈 시스템 등 다양한 컴퓨팅 장치 및/또는 시스템에 탑재될 수 있다.
영상 구간 분할부(110)는 입력 영상을 복수의 영상 구간들로 분할한다. 입력 영상은 복수의 프레임들을 포함하는 동영상으로서, 센서 또는 저장장치로부터 수신될 수 있다. 센서는 영상을 생성할 수 있는 장치로서, 예를 들어, CMOS 이미지 센서(CMOS Image Sensor, CIS), 동적 비전 센서(Dynamic Vision Sensor, DVS), 깊이 센서(Depth Sensor) 등을 포함할 수 있다.
영상 구간 분할부(110)는 입력 영상에서 장면 변화가 발생하는지 여부에 기초하여 입력 영상을 복수의 구간들로 분할할 수 있다. 영상 구간 분할부(100)는 입력 영상에 포함된 복수의 프레임들 중에서 장면 변화가 발생하는 경계 프레임을 검출하고, 경계 프레임을 기준으로 입력 영상을 복수의 구간들로 분할할 수 있다.
예를 들어, 영상 구간 분할부(110)는 입력 영상에 포함된 복수의 프레임들 간의 인텐시티(intensity) 또는 컬러 히스토그램 차분 정보(color histogram residual information)를 이용하여 경계 프레임을 검출할 수 있다. 다만, 이러한 기재가 실시예를 한정하는 것은 아니며, 다양한 장면 전환 검출 기술이 적용될 수 있다.
입력 영상에서 장면 전환이 발생하는 경우, 입력 영상에 포함된 프레임들의 배경, 조명 환경, 줌인(zoom-in) 등의 특성이 변경될 수 있다. 특성이 변경되는 경우, 초해상도 영상의 화질 향상에 최적화된 전처리 필터 또는 후처리 필터의 종류가 달라질 수 있다. 그래서, 영상 구간 분할부(110)는 입력 영상을 구간 단위로 분할하고, 필터 결정부(120)에서 분할된 구간 별로 프레임들의 특성을 분석하여 전처리 필터 및 후처리 필터를 결정할 수 있다.
영상 구간 분할부(110)는 분할된 입력 영상을 필터 결정부(120) 및 영상 필터링부(130)로 전송할 수 있다. 일례로, 영상 구간 분할부(110)는 입력 영상의 분할 정보를 입력 영상과 함께 필터 결정부(120) 및 영상 필터링부(130)로 전송할 수 있다. 다른 일례로, 영상 구간 분할부(110)는 복수의 구간들 중 어느 하나인 기준 구간에 포함된 프레임들을 필터 결정부(120) 및 영상 필터링부(130)로 전송할 수 있다. 이 때, 영상 구간 분할부(110)는 복수의 구간들을 순차적으로 필터 결정부(120) 및 영상 필터링부(130)로 전송할 수 있다.
필터 결정부(120)는 입력 영상을 분할하는 복수의 구간들 중 어느 하나의 기준 구간에 포함된 프레임들에 기초하여 전처리 필터 및 후처리 필터를 결정한다. 필터 결정부(120)는 입력 영상이 분할된 복수의 구간들마다 해당 구간에 적용될 전처리 필터 및 후처리 필터를 결정할 수 있다. 다만, 설명의 편의를 위해, 복수의 구간들 중 어느 하나인 기준 구간을 중심으로 필터 결정부(120) 및 영상 필터링부(130)의 동작을 후술한다.
전처리 필터는 영상 필터링부(130)에서 프레임들의 고주파 신호가 복원되기 전에 프레임들에 적용되는 영상 필터를 의미하고, 후처리 필터는 프레임들의 고주파 신호가 복원된 후에 프레임들에 적용되는 영상 필터를 의미한다.
필터 결정부(120)는 결정된 전처리 필터 및 후처리 필터에 관한 필터 정보를 영상 필터링부(130)로 전송할 수 있다. 필터 결정부(120)의 동작에 관한 상세한 설명은 도 2 내지 도 6을 참조하여 후술한다.
영상 필터링부(130)는 필터 결정부(120)로부터 수신한 필터 정보에 기초하여 기준 구간에 포함된 프레임들을 필터링할 수 있다. 필터 정보는 전처리 필터 및 후처리 필터가 적용될 기준 구간, 전처리 필터 및 후처리 필터의 종류, 전처리 필터 및 후처리 필터의 파라미터 등을 포함할 수 있다.
영상 필터링부(130)는 필터 결정부(120)에서 결정된 전처리 필터에 기초하여 기준 구간에 포함된 프레임들을 필터링하고, 필터링된 프레임들의 고주파 신호를 복원하며, 고주파 신호가 복원된 프레임들을 필터 결정부(120)에서 결정된 후처리 필터에 기초하여 필터링한다. 영상 필터링부(130)에서 프레임들의 고주파 신호가 복원되는 것은 기준 구간에 포함된 프레임들을 초해상도로 변환하는 과정을 의미할 수 있다.
영상 필터링부(130)는 복수의 구간들을 순차적으로 수신할 수 있다. 영상 필터링부(130)는 후처리 필터에 기초하여 필터링된 프레임들을 구간 단위로 출력할 수 있다. 영상 필터링부(130)는 필터링 완료된 순서대로 복수의 구간들을 출력할 수 있다. 그래서, 영상 필터링부(130)는 처리된 구간들을 순차적으로 출력 파일에 덧붙이는(append) 방식으로 출력 영상을 출력할 수 있다. 영상 필터링부(130)에 관한 보다 상세한 설명은 도 7 및 도 8을 참조하여 후술한다.
도 2는 일실시예에 따라 영상 처리 장치에 포함된 필터 결정부의 세부 구성을 나타낸 도면이다.
도 2를 참고하면, 필터 결정부(120)는 콘트라스트 필터 결정부(210) 및 선명도/노이즈 필터 결정부(220)를 포함할 수 있다. 필터 결정부(120)는 기준 필터에 포함된 프레임들의 특성을 분석하여 프레임들에 적용될 영상 필터를 결정할 수 있다.
콘트라스트 필터 결정부(210)는 영상 구간 분할부(110)로부터 수신한 복수의 구간들 중 어느 하나인 기준 구간에 포함된 프레임들을 분석하여 기준 구간의 콘트라스트 정보(contrast information)을 계산할 수 있다. 콘트라스트 정보는 기준 구간에 포함된 프레임들의 콘트라스트 성능을 수치화한 것으로서, 0과 1 사이의 값을 가질 수 있다. 콘트라스트 정보는 기준 구간에 포함된 프레임들의 콘트라스트 성능이 높을수록 1에 가까운 값을 포함할 수 있다.
예를 들어, 콘트라스트 필터 결정부(210)는 수학식 1 및 수학식 2를 이용하여 콘트라스트 정보를 측정할 수 있다.
Figure 112015022994309-pat00001
Figure 112015022994309-pat00002
여기서,
Figure 112015022994309-pat00003
는 기준 구간의 콘트라스트 정보로서, 기준 구간에 포함된 프레임들의 콘트라스트 정보의 평균값일 수 있다.
Figure 112015022994309-pat00004
는 기준 구간의 i번째 프레임의 콘트라스트 정보이고, N은 기준 구간에 포함된 프레임들의 개수일 수 있다. 그리고,
Figure 112015022994309-pat00005
는 콘트라스트 정보의 범위를 0과 1 사이의 값으로 한정하기 위한 정규화 상수(normalizing constant) 일 수 있다.
Figure 112015022994309-pat00006
,
Figure 112015022994309-pat00007
,
Figure 112015022994309-pat00008
은 기준 구간의 i번째 프레임의 인텐시티 히스토그램에 기초하여 획득된 정보일 수 있다. 여기서,
Figure 112015022994309-pat00009
는 기준 구간의 i번째 프레임의 인텐시티 히스토그램 중 밝은 영역에 대한 질량 중심(center of mass)일 수 있다. 예를 들어, 콘트라스트 필터 결정부(210)는 수학식 3을 이용하여
Figure 112015022994309-pat00010
를 계산할 수 있다.
Figure 112015022994309-pat00011
위의 수학식 3에서,
Figure 112015022994309-pat00012
은 i번째 프레임에 포함된 픽셀들 중 밝기 값이 최고인 픽셀의 밝기 값이고,
Figure 112015022994309-pat00013
는 픽셀 밝기 값이고,
Figure 112015022994309-pat00014
은 i번째 프레임에 포함된 픽셀들 중
Figure 112015022994309-pat00015
와 동일한 밝기 값을 가지는 픽셀의 개수를 나타낸다.
Figure 112015022994309-pat00016
은 i번째 프레임의 인텐시티 히스토그램에서 어두운 영역과 밝은 영역을 구분하는 인텐시티 임계값(intensity threshold)을 나타낸다.
Figure 112015022994309-pat00017
은 기준 구간의 i번째 프레임의 인텐시티 히스토그램 중 어두운 영역에 대한 질량 중심일 수 있다. 예를 들어, 콘트라스트 필터 결정부(210)는 수학식 4를 이용하여
Figure 112015022994309-pat00018
을 계산할 수 있다.
Figure 112015022994309-pat00019
위의 수학식 4에서,
Figure 112015022994309-pat00020
는 i번째 프레임에 포함된 픽셀들 중 밝기 값이 최저인 픽셀의 밝기 값을 나타낸다.
Figure 112015022994309-pat00021
는 기준 구간의 i번째 프레임의 인텐시티 히스토그램의 전체 영역에 대한 질량 중심일 수 있다. 예를 들어, 콘트라스트 필터 결정부(210)는 수학식 5를 이용하여
Figure 112015022994309-pat00022
를 측정할 수 있다.
Figure 112015022994309-pat00023
여기서, 콘트라스트 필터 결정부(210)는 수학식 6을 이용하여 인텐시티 임계값
Figure 112015022994309-pat00024
를 계산할 수 있다.
Figure 112015022994309-pat00025
콘트라스트 필터 결정부(210)는 기준 구간의 i번째 프레임의 인텐시티 임계값을 기준으로 i번째 프레임의 인텐시티 히스토그램을 어두운 영역과 밝은 영역으로 분할할 수 있다. 콘트라스트 필터 결정부(210)는 어두운 영역의 질량 중심
Figure 112015022994309-pat00026
, 밝은 영역의 질량 중심
Figure 112015022994309-pat00027
및 인텐시티 히스토그램의 질량 중심
Figure 112015022994309-pat00028
를 이용하여 i번째 프레임의 콘트라스트 정보
Figure 112015022994309-pat00029
를 결정할 수 있다. 그리고, 콘트라스트 필터 결정부(210)는 기준 구간에 포함된 프레임들의 콘트라스트 정보들을 이용하여 기준 구간의 콘트라스트 정보
Figure 112015022994309-pat00030
을 결정할 수 있다.
콘트라스트 필터 결정부(210)는 결정된 콘트라스트 정보에 기초하여 기준 구간에 적용될 콘트라스트 필터에 관한 필터 정보를 결정할 수 있다. 여기서, 필터 정보는 기준 구간에 콘트라스트 필터를 전처리 필터로 적용할지 여부 및 해당 콘트라스트 필터에 적용될 파라미터를 포함할 수 있다. 예를 들어, 콘트라스트 필터에 적용될 파라미터는 기준 구간에 포함된 프레임들의 콘트라스트를 어느 정도로 강화할지를 나타낼 수 있다. 기준 구간에 콘트라스트 필터를 전처리 필터로 적용할지 여부는 플래그 형태로 필터 정보에 포함될 수 있다.
기준 구간의 콘트라스트 정보가 콘트라스트 임계값 이하인 경우, 콘트라스트 필터 결정부(210)는 콘트라스트 필터를 기준 구간의 전처리 필터로 적용하는 것으로 결정할 수 있다. 나아가, 콘트라스트 필터 결정부(210)는 기준 구간의 콘트라스트 정보와 콘트라스트 임계값 간의 차이에 기초하여 콘트라스트 필터의 강도가 조절되도록 파라미터를 결정할 수 있다. 예를 들어, 기준 구간의 콘트라스트 정보가 콘트라스트 임계값보다 낮을수록 콘트라스트 필터의 강도가 증가되도록 파라미터를 결정할 수 있다.
콘트라스트 필터 결정부(210)는 결정된 필터 정보를 영상 필터링부로 전송할 수 있다.
선명도/노이즈 필터 결정부(220)는 영상 구간 분할부(110)로부터 수신한 복수의 구간들 중 어느 하나인 기준 구간에 포함된 프레임들을 분석하여 기준 구간의 선명도 정보를 계산할 수 있다.
선명도 정보는 기준 구간에 포함된 프레임들에서 우세한(dominant) 에지 영역과 우세한 텍스쳐 영역의 평균 세기(average magnitude)를 수치화한 것으로서, 0과 1 사이의 값을 가질 수 있다. 선명도 정보는 기준 구간에 포함된 프레임들의 에지와 텍스쳐 등의 고주파 신호가 강할수록 1에 가까운 값을 가질 수 있다.
선명도/노이즈 필터 결정부(220)는 선명도 정보에 기초하여 기준 구간에 적용될 샤프닝 필터에 관한 필터 정보를 결정할 수 있다. 필터 정보는 기준 구간에 샤프닝 필터를 후처리 필터로 적용할지 여부 및 해당 샤프닝 필터에 적용될 파라미터를 포함할 수 있다. 예를 들어, 샤프닝 필터에 적용될 파라미터는 기준 구간에 포함된 프레임들의 선명도를 어느 정도로 강화할지를 나타낼 수 있다. 기준 구간에 샤프닝 필터를 후처리 필터로 적용할지 여부는 플래그 형태로 필터 정보에 포함될 수 있다.
선명도/노이즈 필터 결정부(220)는 영상 구간 분할부(110)로부터 수신한 복수의 구간들 중 어느 하나인 기준 구간에 포함된 프레임들을 분석하여 기준 구간의 노이즈 정보를 계산할 수 있다.
노이즈 정보는 기준 구간에 포함된 프레임들에서 우세한 에지 영역과 우세한 텍스쳐 영역의 평균 밀도(average density)를 수치화한 것으로서, 0과 1 사이의 값을 가질 수 있다. 선명도 정보는 기준 구간에 포함된 프레임들에 노이즈가 전반적으로 존재할수록 1에 가까운 값을 가질 수 있다.
선명도/노이즈 필터 결정부(220)는 노이즈 정보에 기초하여 기준 구간에 적용될 디노이즈 필터에 관한 필터 정보를 결정할 수 있다. 필터 정보는 기준 구간에 디노이즈 필터를 전처리 필터로 적용할지 여부 및 해당 디노이즈 필터에 적용될 파라미터를 포함할 수 있다. 예를 들어, 디노이즈 필터에 적용될 파라미터는 기준 구간에 포함된 프레임들의 노이즈를 어느 정도로 제거할지를 나타낼 수 있다. 기준 구간에 디노이즈 필터를 전처리 필터로 적용할지 여부는 플래그 형태로 필터 정보에 포함될 수 있다.
선명도/노이즈 필터 결정부(220)는 결정된 필터 정보를 영상 필터링부로 전송할 수 있다.
선명도/노이즈 필터 결정부(220)의 동작에 관한 상세한 설명은 도 5를 참조하여 후술한다.
도 3는 본 발명의 일실시예에 따라 콘트라스트 필터 결정부가 인텐시티 히스토그램에서 어두운 영역과 밝은 영역을 구분하는 과정을 설명하기 위한 도면이다.
기준 구간에서 i번째 프레임의 인텐시티 히스토그램은
Figure 112015022994309-pat00031
과
Figure 112015022994309-pat00032
사이에 존재하는 픽셀 밝기 값
Figure 112015022994309-pat00033
을 가지는 픽셀의 개수
Figure 112015022994309-pat00034
에 기초하여 형성될 수 있다.
Figure 112015022994309-pat00035
는 i번째 프레임에 포함된 픽셀들 중 밝기 값이 최저인 픽셀의 밝기 값이고,
Figure 112015022994309-pat00036
는 i번째 프레임에 포함된 픽셀들 중 밝기 값이 최고인 픽셀의 밝기 값일 수 있다.
도 2의 콘트라스트 필터 결정부(210)는 i번째 프레임의 인텐시티 히스토그램을 인텐시티 임계값
Figure 112015022994309-pat00037
를 기준으로 어두운 영역(310)과 밝은 영역(320)으로 분할할 수 있다. 구체적으로, 콘트라스트 필터 결정부(210)는 인텐시티 히스토그램에서
Figure 112015022994309-pat00038
보다 크고
Figure 112015022994309-pat00039
보다 작은 픽셀 밝기 값을 가지는 픽셀들을 어두운 영역(310)으로 분류할 수 있다. 또한, 콘트라스트 필터 결정부(210)는 인텐시티 히스토그램에서
Figure 112015022994309-pat00040
보다 크고
Figure 112015022994309-pat00041
보다 작은 픽셀 밝기 값을 가지는 픽셀들을 밝은 영역(320)으로 분류할 수 있다.
도 4는 일실시예에 따라 콘트라스트 필터 결정부의 동작을 설명하기 위한 도면이다.
도 4에 도시된 제1 구간(410), 제2 구간(420) 및 제3 구간(430)은 일실시예에 따른 기준 구간이 될 수 있다. 또한, 도 4에서는 콘트라스트 임계값이 0.8로 설정되나, 콘트라스트 필터 결정부에 설정될 수 있는 콘트라스트 임계값의 실시예가 이에 제한되지 않는다.
도 4에 도시된 제1 구간(410)의 콘트라스트 정보는 0.4를 포함할 수 있다. 제1 구간(410)의 콘트라스트 정보가 콘트라스트 임계값인 0.8 이하이므로, 콘트라스트 필터 결정부는 제1 구간(410)에 콘트라스트 필터를 전처리 필터로 적용하는 것으로 결정하고, 결정된 결과를 콘트라스트 필터에 관한 필터 정보에 포함시킬 수 있다.
도 4에 도시된 제2 구간(420)의 콘트라스트 정보는 0.7를 포함할 수 있다. 제2 구간(420)의 콘트라스트 정보가 콘트라스트 임계값인 0.8 이하이므로, 콘트라스트 필터 결정부는 제2 구간(420)에 콘트라스트 필터를 전처리 필터로 적용하는 것으로 결정하고, 결정된 결과를 콘트라스트 필터에 관한 필터 정보에 포함시킬 수 있다.
제1 구간(410)의 콘트라스트 정보는 제2 구간(420)의 콘트라스트 정보보다 콘트라스트 임계값과의 차이가 더 크다. 따라서, 콘트라스트 필터 결정부는 제1 구간에 적용될 콘트라스트 필터가 제2 구간(420)에 적용될 콘트라스트 필터보다 큰 강도로 설정되도록 콘트라스트 필터의 파라미터를 설정할 수 있다. 이에 따라, 전처리 필터링 과정에서 제1 구간(410)이 제2 구간(420)보다 큰 폭으로 콘트라스트의 강화될 수 있다.
도 4에 도시된 제3 구간(430)의 콘트라스트 정보는 0.9를 포함할 수 있다. 제3 구간(430)의 콘트라스트 정보가 콘트라스트 임계값인 0.8 초과이므로, 콘트라스트 필터 결정부는 제3 구간(430)에 콘트라스트 필터를 전처리 필터로 적용하지 않는 것으로 결정하고, 결정된 결과를 콘트라스트 필터에 관한 필터 정보에 포함시킬 수 있다.
콘트라스트가 약한 입력 영상을 초해상도로 변환하는 경우, 부적합한 고주파 신호가 복원되어 초해상도 영상에 포함될 가능성이 있다. 따라서, 콘트라스트 필터 결정부는 입력 영상을 복수의 구간들로 분할하고 콘트라스트가 약한 구간에 대해서만 콘트라스트 필터를 전처리 필터로 적용함으로써, 부적합한 고주파 신호가 복원되는 것을 방지할 수 있다.
도 5는 일실시예에 따른 선명도/노이즈 필터 결정부의 세부 구성을 나타낸 도면이다.
도 5를 참고하면, 선명도/노이즈 필터 결정부(220)는 우세 영역 정의부(510), 선명도 정보 결정부(520), 및 노이즈 정보 결정부(530)를 포함할 수 있다.
우세 영역 정의부(510)는 기준 구간에 포함된 프레임들에서 다른 영역에 비하여 우세한 에지 영역 및 텍스쳐 영역을 우세 영역으로 정의할 수 있다.
우세 영역 정의부(510)는 우세 영역을 정의하기 위하여 평면
Figure 112015022994309-pat00042
을 설정할 수 있다. 평면
Figure 112015022994309-pat00043
은 기준 구간의 i번째 프레임에 포함된 에지 영역과 텍스쳐 영역의 세기를 나타내는 평면으로서, 해당 프레임과 같은 해상도를 가질 수 있다.
평면
Figure 112015022994309-pat00044
는 우세한 에지와 텍스쳐에 대응하는 픽셀일수록 해당 픽셀에서 큰 값을 가질 수 있다. 예를 들어, 평면
Figure 112015022994309-pat00045
는 수학식 7을 이용하여 계산될 수 있다.
Figure 112015022994309-pat00046
이때,
Figure 112015022994309-pat00047
는 i번째 프레임인
Figure 112015022994309-pat00048
의 x축 방향 1차 그라디언트 값이고,
Figure 112015022994309-pat00049
는 i번째 프레임인
Figure 112015022994309-pat00050
의 y축 방향 1차 그라디언트 값일 수 있다. 또한,
Figure 112015022994309-pat00051
는 정규화 상수일 수 있다.
그리고, 우세 영역 정의부(510)는
Figure 112015022994309-pat00052
에 포함된 픽셀들 중에서 에지/텍스쳐 임계값(edge/texture threshold)보다 에지 영역과 텍스쳐 영역의 세기(magnitude)가 큰 픽셀들을 우세 영역으로 정의할 수 있다.
선명도 정보 결정부(520)는 우세 영역을 기초로 기준 구간에 포함된 프레임들의 특성을 분석하여 기준 구간의 선명도 정보를 결정할 수 있다. 선명도 정보는 기준 구간에 포함된 프레임들 중에서 정의된 우세 영역의 평균 세기를 수치화한 것으로서, 0과 1사이의 값을 가질 수 있다. 선명도 정보는 기준 구간에 포함된 프레임들의 에지 및 텍스쳐와 같은 고주파 신호가 강할수록 1에 가까운 값을 가질 수 있다.
예를 들어, 선명도 정보 결정부(520)는 수학식 8 및 수학식 9를 이용하여 선명도 정보를 계산할 수 있다.
Figure 112015022994309-pat00053
Figure 112015022994309-pat00054
여기서,
Figure 112015022994309-pat00055
는 기준 구간의 i번째 프레임의 선명도 정보이며, N은 영상 구간에 포함된 프레임의 개수일 수 있다. 또한,
Figure 112015022994309-pat00056
는 기준 구간의 선명도 정보이며,
Figure 112015022994309-pat00057
의 평균으로 계산될 수 있다. 그리고,
Figure 112015022994309-pat00058
는
Figure 112015022994309-pat00059
의 범위를 0에서 1 사이로 제한하기 위한 정규화 상수일 수 있다.
그리고,
Figure 112015022994309-pat00060
는 에지/텍스쳐 임계값이고,
Figure 112015022994309-pat00061
는 i번째 프레임에서 우세 영역으로 정의된 픽셀들의 세기일 수 있다. 또한,
Figure 112015022994309-pat00062
는
Figure 112015022994309-pat00063
를 만족하는 우세 영역의 픽셀들에 1의 값을 설정하는 임펄스 함수(impulse function)일 수 있다. 즉, 우세 영역의 픽셀에 대해서만
Figure 112015022994309-pat00064
이 1이고, 우세 영역이 아닌 픽셀에 대해서는
Figure 112015022994309-pat00065
이 0일 수 있다. 따라서, i번째 프레임에 포함된 모든 픽셀들의
Figure 112015022994309-pat00066
의 합인
Figure 112015022994309-pat00067
은 i번째 프레임에서 우세 영역으로 정의된 픽셀의 개수를 나타낼 수 있다.
따라서,
Figure 112015022994309-pat00068
는 i번째 프레임에서 우세 영역으로 정의된 픽셀들의 평균 세기일 수 있다.
복수의 구간들 중 어느 하나인 기준 구간의 선명도 정보가 선명도 임계값(sharpness threshold) 이하인 경우, 선명도 정보 결정부(520)는 기준 구간을 선명도 보강이 필요한 구간으로 판단할 수 있다. 그래서, 선명도 정보 결정부(520)는 해당 기준 구간을 샤프닝 필터의 적용 대상으로 결정할 수 있다. 또는, 선명도 정보 결정부(520)는 해당 기준 구간을 초해상도 영상으로 변환하는 초해상도 필터로 샤프닝 필터에 관한 파라미터를 전달할 수 있다. 이 때, 초해상도 필터는 샤프닝 필터에 관련된 파라미터를 수신할 수 있도록 수정되어야 하고, 영상 필터링부는 수신한 샤프닝 필터에 관련된 파라미터를 기초한 초해상도 필터를 통해 프레임들의 고주파 신호를 복원할 수 있다.
선명도 정보 결정부(520)는 기준 구간의 선명도 정보가 낮을수록, 기준 구간에 적용되는 샤프닝 필터의 강도가 증가되도록 샤프닝 필터의 파라미터를 결정할 수 있다.
프레임들의 고주파 신호를 복원하기 전에 기준 구간에 포함된 프레임들의 선명도를 향상하는 경우, 선명도가 향상되는 과정에서 발생될 수 있는 아티팩트(artifact)에 의해 고주파 신호 복원 과정에서 부적합한 고주파 신호까지 복원되어 프레임들의 화질이 크게 낮아질 우려가 있다. 따라서, 선명도/노이즈 필터 결정부(220)에서 결정된 샤프닝 필터는 후처리 필터로 기준 구간에 적용될 수 있다. 또는, 초해상도 필터가 샤프닝 필터에 관한 파라미터를 수신하는 경우, 초해상도 필터는 유사 패치 검색 과정 이후에 기준 구간에 적용될 수 있다.
경우에 따라, 기준 구간에 노이즈가 많이 존재하면서도 선명도 향상이 필요할 수가 있다. 이 경우, 선명도 정보 결정부(520)는 해당 기준 구간을 선명도 보강이 필요하지 않은 영상 구간으로 판단할 수 있다. 예를 들어, 디노이즈 필터가 기준 구간에 적용되는 것으로 결정된 경우, 선명도 정보 결정부(520)는 해당 기준 구간의 선명도 정보가 선명도 임계값 이하라도 해당 기준 구간에 샤프닝 필터를 적용하지 않는 것으로 결정할 수 있다.
기준 구간에 노이즈가 많은 경우, 고주파 신호 복원 과정에서 부적합한 고주파 신호가 포함될 가능성이 있다. 이 경우에 샤프닝 필터로 기준 구간을 후처리하는 경우, 부적합한 고주파 신호가 증폭되어 기준 구간에 포함된 프레임들의 화질이 크게 감소할 수 있다. 따라서, 디노이즈 필터가 기준 구간의 전처리 필터로 결정되는 경우, 선명도 정보 결정부(520)는 해당 기준 구간에 샤프닝 필터가 후처리 필터로 적용되지 않도록 결정할 수 있다.
노이즈 정보 결정부(530)는 우세 영역을 기초로 기준 구간에 포함된 프레임들의 특성을 분석하여 기준 구간의 노이즈 정보를 결정할 수 있다. 노이즈 정보는 기준 구간에 포함된 프레임들에서 우세한 에지 영역과 우세한 텍스쳐 영역의 평균 밀도(average density)를 수치화한 것으로서, 0과 1 사이의 값을 가질 수 있다. 선명도 정보는 기준 구간에 포함된 프레임들에 노이즈가 전반적으로 존재할수록 1에 가까운 값을 가질 수 있다.
예를 들어, 노이즈 정보 결정부(530)는 수학식 10 및 수학식 11을 이용하여 노이즈 정보를 측정할 수 있다.
Figure 112015022994309-pat00069
Figure 112015022994309-pat00070
여기서,
Figure 112015022994309-pat00071
는 i번째 프레임의 노이즈 정보이며, N은 기준 구간에 포함된 프레임들의 개수일 수 있다. 또한,
Figure 112015022994309-pat00072
는 기준 구간의 노이즈 정보이며,
Figure 112015022994309-pat00073
의 평균으로 계산될 수 있다. 그리고,
Figure 112015022994309-pat00074
는
Figure 112015022994309-pat00075
의 범위를 0에서 1 사이로 제한하기 위한 정규화 상수일 수 있다.
기준 구간의 i번째 프레임에 포함된 모든 픽셀들의
Figure 112015022994309-pat00076
의 합인
Figure 112015022994309-pat00077
은 i번째 프레임에서 우세 영역으로 정의된 픽셀의 개수일 수 있다. 따라서,
Figure 112015022994309-pat00078
는 i번째 프레임에서 우세 영역으로 정의된 픽셀들의 밀도를 나타낼 수 있다.
복수의 구간들 중 어느 하나인 기준 구간의 노이즈 정보가 노이즈 임계값(noise threshold)을 초과인 경우, 노이즈 정보 결정부(530)는 기준 구간을 노이즈 제거가 필요한 구간으로 판단할 수 있다. 그래서, 노이즈 정보 결정부(530)는 해당 기준 구간을 디노이즈 필터의 적용 대상으로 결정할 수 있다. 노이즈 정보 결정부(530)는 기준 구간의 노이즈 정보가 높을수록, 기준 구간에 적용될 디노이즈 필터의 강도가 증가되도록 디노이즈 필터의 파라미터를 결정할 수 있다.
노이즈가 많은 기준 구간에 포함된 프레임들의 고주파 신호를 복원하면, 적합하지 않은 고주파 신호까지 복원될 우려가 있다. 따라서, 선명도/노이즈 필터 결정부(220)에서 결정된 디노이즈 필터는 전처리 필터로 기준 구간에 적용될 수 있다.
도 6은 일실시예에 따른 선명도/노이즈 필터 결정부의 동작을 설명하기 위한 도면이다.
도 6에 도시된 제1 구간(610), 제2 구간(620) 및 제3 구간(630)은 일실시예에 따른 기준 구간이 될 수 있다. 또한, 도 6에서는 노이즈 임계값이 0.8로 설정되고 선명도 임계값이 0.4로 설정되나, 선명도/노이즈 필터 결정부에 설정될 수 있는 노이즈 임계값 및 선명도 임계값의 실시예가 이에 제한되지 않는다.
도 6에 도시된 제1 구간(610)의 노이즈 정보는 0.9를 포함하고, 제1 구간(610)의 선명도 정보는 0.2를 포함할 수 있다. 제1 구간(610)의 노이즈 정보가 노이즈 임계값인 0.8을 초과하므로, 노이즈 정보 결정부는 제1 구간(610)에 디노이즈 필터를 전처리 필터로 적용하는 것으로 결정하고, 결정된 결과를 디노이즈 필터에 관한 필터 정보에 포함시킬 수 있다.
제1 구간(610)의 선명도 정보가 선명도 임계값인 0.4 이하이므로, 선명도 정보 결정부는 제1 구간(610)에 샤프닝 필터를 후처리 필터로 적용할 수 있다. 그러나, 제1 구간(610)에는 디노이즈 필터가 전처리 필터로 적용되므로, 선명도 정보 결정부는 제1 구간(610)의 선명도 정보가 선명도 임계값 이하더라도 제1 구간(610)에 샤프닝 필터를 적용하지 않는 것으로 결정하고, 결정된 결과를 샤프닝 필터에 관한 필터 정보에 포함시킬 수 있다.
도 6에 도시된 제2 구간(620)의 노이즈 정보는 0.3를 포함하고, 제2 구간(620)의 선명도 정보는 0.9를 포함할 수 있다. 제2 구간(620)의 노이즈 정보가 노이즈 임계값인 0.8 이하이므로, 노이즈 정보 결정부는 제2 구간(620)에 디노이즈 필터를 적용하지 않는 것으로 결정하고, 결정된 결과를 디노이즈 필터에 관한 필터 정보에 포함시킬 수 있다.
제2 구간(620)의 선명도 정보가 선명도 임계값인 0.4를 초과하므로, 선명도 정보 결정부는 제2 구간(620)에 샤프닝 필터를 적용하지 않는 것으로 결정하고, 결정된 결과를 샤프닝 필터에 관한 필터 정보에 포함시킬 수 있다. 결론적으로, 제2 구간(620)에는 디노이즈 필터 및 샤프닝 필터가 적용되지 않을 수 있다.
도 6에 도시된 제3 구간(630)의 노이즈 정보는 0.5를 포함하고, 제3 구간(630)의 선명도 정보는 0.3를 포함할 수 있다. 제3 구간(630)의 노이즈 정보가 노이즈 임계값인 0.8 이하이므로, 노이즈 정보 결정부는 제3 구간(630)에 디노이즈 필터를 적용하지 않는 것으로 결정하고, 결정된 결과를 디노이즈 필터에 관한 필터 정보에 포함시킬 수 있다.
반면, 제3 구간(630)의 선명도 정보는 선명도 임계값인 0.4 이하이므로, 선명도 정보 결정부는 제2 구간(620)에 샤프닝 필터를 후처리 필터로서 적용하는 것으로 결정하고, 결정된 결과를 샤프닝 필터에 관한 필터 정보에 포함시킬 수 있다.
도 7은 일실시예에 따라 영상 처리 장치에 포함된 영상 필터링부의 세부 구성을 나타낸 도면이다.
도 7을 참고하면, 영상 필터링부(130)는 전처리 필터링부(710), 초해상도 필터링부(720) 및 후처리 필터링부(730)를 포함할 수 있다.
전처리 필터링부(710)는 도 1의 영상 구간 분할부(110)로부터 입력 영상의 분할 정보를 입력 영상과 함께 수신하거나 구간 단위로 해당 구간에 포함된 프레임들을 수신할 수 있다.
전처리 필터링부(710)는 도 2의 콘트라스트 필터 결정부(210)로부터 콘트라스트 필터에 관한 필터 정보를 수신할 수 있다. 전처리 필터링부(710)는 수신한 필터 정보에 기초하여 복수의 구간들 중에서 콘트라스트 필터가 적용되는 구간을 결정할 수 있으며, 결정된 구간에 적용될 콘트라스트 필터의 강도를 설정할 수 있다. 전처리 필터링부(710)는 필터 정보에서 설정하고 있는 강도로 콘트라스트 필터를 해당 구간에 적용할 수 있다. 다시 말해, 기준 구간에 콘트라스트 필터가 적용되는 경우, 전처리 필터링부(710)는 콘트라스트 필터에 기초하여 기준 구간에 포함된 프레임들을 필터링함으로써, 프레임들의 콘트라스트를 향상시킬 수 있다.
전처리 필터링부(710)는 도 5의 노이즈 정보 결정부(530)로부터 디노이즈 필터에 관한 필터 정보를 수신할 수 있다. 전처리 필터링부(710)는 수신한 필터 정보에 기초하여 복수의 구간들 중에서 디노이즈 필터가 적용되는 구간을 결정할 수 있으며, 결정된 구간에 적용될 디노이즈 필터의 강도를 설정할 수 있다. 전처리 필터링부(710)는 필터 정보에서 설정하고 있는 강도로 디노이즈 필터를 해당 구간에 적용할 수 있다. 다시 말해, 기준 구간에 디노이즈 필터가 적용되는 경우, 전처리 필터링부(710)는 디노이즈 필터에 기초하여 기준 구간에 포함된 프레임들을 필터링함으로써, 프레임들의 노이즈를 제거할 수 있다.
만약 기준 구간에 포함된 프레임들에 콘트라스트 필터와 디노이즈 필터 중 적어도 어느 하나라도 적용되지 않는 경우, 전처리 필터링부(710)는 필터링을 수행하지 않고, 프레임들을 초해상도 필터링부(720)로 전송할 수 있다.
초해상도 필터링부(720)는 기준 구간에 포함된 프레임들의 고주파 신호를 복원할 수 있다. 여기서, 기준 구간에 포함된 프레임들은 전처리 필터링부(710)에서 필터링된 프레임들일 수 있으며, 경우(예를 들어, 전처리 필터링이 수행될 필요가 없는 경우)에 따라서는, 필터링되지 않은 기준 구간에 포함된 프레임들일 수도 있다.
일실시예에 따른 초해상도 필터링부(720)는 프레임들을 복수의 패치들로 분할하고, 분할된 복수의 패치들에 대응하고 고주파 신호를 포함하는 복수의 고주파 패치들을 이용하여 프레임들의 고주파 신호를 복원할 수 있다. 초해상도 필터링부(720)의 동작에 관한 상세한 설명은 도 8을 참조하여 후술한다.
일례로, 초해상도 필터링부(720)는 도 5의 선명도 정보 결정부(520)로부터 샤프닝 필터에 관한 파라미터를 수신할 수 있다. 초해상도 필터링부(720)는 수신한 파라미터에 기초하여 초해상도 필터를 설정할 수 있다. 초해상도 필터링부(720)는 유사 패치 검색 과정 이후에 설정된 초해상도 필터를 이용하여 프레임들의 고주파 신호를 복원함으로써 프레임들의 선명도를 향상시킬 수 있다.
후처리 필터링부(730)는 초해상도 필터링부(720)로부터 고주파 신호가 복원된 프레임들을 수신할 수 있다. 후처리 필터링부(730)는 도 5의 선명도 정보 결정부(520)로부터 샤프닝 필터에 관한 필터 정보를 수신할 수 있다. 후처리 필터링부(730)는 수신한 필터 정보에 기초하여 복수의 구간들 중에서 샤프닝 필터가 적용되는 구간을 결정할 수 있으며, 결정된 구간에 적용될 샤프닝 필터의 강도를 설정할 수 있다. 후처리 필터링부(730)는 필터 정보에서 설정하고 있는 강도로 샤프닝 필터를 해당 구간에 적용할 수 있다. 다시 말해, 기준 구간에 샤프닝 필터가 적용되는 경우, 후처리 필터링부(730)는 샤프닝 필터에 기초하여 기준 구간에 포함된 프레임들을 필터링함으로써, 프레임들의 선명도를 향상시킬 수 있다.
만약 기준 구간에 포함된 프레임들에 샤프닝 필터가 적용되지 않는 경우, 후처리 필터링부(730)는 필터링을 수행하지 않고, 고주파 신호가 복원된 프레임들을 출력 영상으로 출력할 수 있다.
도 8은 일실시예에 따라 초해상도로 변환하는 과정을 설명하기 위한 도면이다.
도 8에서는 설명의 편의를 위해 기준 구간에 포함된 하나의 프레임이 초해상도로 변환되는 과정을 중심으로 설명한다. 도 7의 초해상도 필터링부(720)는 저해상도(예를 들어, HD 해상도)의 프레임을 수신하고, 해당 프레임을 초해상도로 변환하여 고해상도(예를 들어, UHD 해상도)의 프레임을 출력할 수 있다.
단계(810)에서, 초해상도 필터링부는 수신한 프레임을 보간하여 보간된 프레임을 생성할 수 있다. 보간된 프레임은 보간 기법을 이용하여 저해상도의 수신 프레임을 고해상도로 확대된 영상일 수 있다. 예를 들어, 보간된 프레임은 고해상도의 저주파 영상으로서 처리될 수 있다.
단계(820)에서, 초해상도 필터링부는 프레임의 고주파 신호를 복원할 수 있다. 예를 들어, 초해상도 필터링부는 보간된 프레임을 패치(patch) 단위로 분할할 수 있다. 패치는 일정한 크기를 가지는 픽셀들의 집합을 의미할 수 있다. 예를 들어, 도 8에 도시된 패치는 5x5 픽셀 사이즈를 가질 수 있다.
초해상도 필터링부는 분할된 패치에 가장 유사한 저주파 패치를 유사 패치로서 데이터베이스에서 검색할 수 있다. 데이터베이스는 고주파 신호를 복원하기 위한 복수의 패치들을 저장 및 관리할 수 있다. 일례로, 데이터베이스는 복수의 저주파 패치들과 이에 대응하는 복수의 고주파 패치를 쌍(pair)으로 저장할 수 있다.
저주파 패치는 입력 영상으로부터 분리된 저주파 영상이 패치 단위로 분할된 것으로 해당 패치에 대응하는 저주파 신호를 포함할 수 있다. 고주파 패치는 입력 영상으로부터 분리된 고주파 영상이 패치 단위로 분할된 것으로 해당 패치에 대응하는 고주파 신호를 포함할 수 있다. 이 때, 하나의 쌍으로 결정된 저주파 패치와 고주파 패치는 저주파 영상과 고주파 영상 각각에서 동일한 좌표에 위치할 수 있다. 하나의 쌍으로 결정된 저주파 패치와 고주파 패치는 미리 결정된 임계값 이상의 유사도를 가질 수 있다.
다른 일례로, 자기 유사성(self-similarity)을 이용하는 경우, 데이터베이스는 저해상도로 변환된 입력 영상에서 추출된 저주파 패치와 이에 대응하는 고주파 패치를 쌍으로 저장할 수 있다. 또 다른 일례로, 데이터베이스는 복수의 저해상도 패치들과 이에 대응하는 복수의 고해상도 패치들을 쌍으로 저장할 수 있다. 저해상도 패치와 고해상도 패치는 해당 패치에 대응하는 영상의 크기를 나타내는 해상도로 구분될 수 있다.
데이터베이스에 저장된 저주파 패치들 중에서 분할된 패치에 대응되는 저주파 패치를 유사 패치로서 검색할 때, 초해상도 필터링부는 픽셀 밝기 값을 비교하는 인텐시티 기반의 유사도 평가 방법과 에지 또는 그라디언트 등의 특징을 비교하는 특징 기간의 유사도 평가 방법 중 적어도 하나의 방법을 이용할 수 있다. 이 외에도, 초해상도 필터링부는 다양한 방식의 유사도 평가 방법을 이용하여 분할된 패치에 대응되는 저주파 패치를 유사 패치로 데이터베이스에서 검색할 수 있다.
초해상도 필터링부는 검색된 유사 패치에 대응하는 고주파 신호를 분할된 패치의 고주파 신호로 복원할 수 있다. 예를 들어, 초해상도 필터링부는 검색된 유사 패치와 동일한 좌표에 위치하는 고주파 신호를 분할된 패치의 고주파 신호로 복원할 수 있다.
단계(830)에서, 초해상도 필터링부는 단계(810)에서 보간된 프레임과 단계(820)에서 복원된 고주파 신호를 이용하여 초해상도로 변환된 프레임을 출력할 수 있다.
도 9는 다른 일실시예에 따른 영상 처리 장치를 나타낸 도면이다.
도 9을 참고하면, 영상 처리 장치(900)는 영상 구간 분할부(910), 제1 영상 분석부(920), 제1 영상 변환부(930), 제2 영상 분석부(940) 및 제2 영상 변환부(950)를 포함할 수 있다.
영상 구간 분할부(910)는 입력 영상을 복수의 영상 구간들로 분할한다. 영상 구간 분할부(910)는 도 1의 영상 구간 분할부(110)과 동일한 구성이므로 상세한 설명은 생략한다.
제1 영상 분석부(920)는 입력 영상을 분할하는 복수의 구간들 중 어느 하나의 기준 구간에 포함된 프레임들의 특성을 분석한다. 제1 영상 분석부(920)는 분석 결과에 기초하여 기준 구간에 적용될 전처리 필터를 결정한다. 제1 영상 분석부(920)는 입력 영상을 구성하는 복수의 구간들마다 해당 구간에 적용될 전처리 필터를 결정할 수 있다. 다만, 설명의 편의를 위해, 복수의 구간들 중 어느 하나인 기준 구간을 중심으로 제1 영상 분석부(920)를 비롯한 영상 처리 장치(900)의 동작을 설명한다.
예를 들어, 제1 영상 분석부(920)는 기준 구간에 적용될 전처리 필터로서 콘트라스트 필터 및 디노이즈 필터 중 적어도 하나를 결정하고, 결정된 결과를 콘트라스트 필터에 관한 필터 정보 및 디노이즈 필터에 관한 필터 정보에 포함시킬 수 있다. 또는, 제1 영상 분석부(920)는 기준 구간에 포함된 프레임들의 특성에 따라 기준 구간에 전처리 필터를 적용하지 않는 것으로 결정하고, 결정된 결과를 콘트라스트 필터에 관한 필터 정보 및 디노이즈 필터에 관한 필터 정보에 포함시킬 수 있다.
제1 영상 분석부(920)는 생성된 필터 정보를 제1 영상 변환부(930)로 전송할 수 있다.
제1 영상 변환부(930)는 제1 영상 분석부(920)로부터 수신한 필터 정보에 기초하여 기준 구간에 포함된 프레임들을 영상 변환한다. 제1 영상 변환부(930)는 필터 정보를 기초로 기준 구간에 전처리 필터가 적용되는지 여부를 확인한다. 나아가, 전처리 필터가 적용되는 경우, 제1 영상 변환부(930)는 콘트라스트 필터 및 디노이즈 필터 중 적어도 하나에 기초하여 기준 구간에 포함된 프레임들을 필터링한다.
제1 영상 변환부(930)는 전처리 필터링된 프레임들의 고주파 신호를 복원한다. 다시 말해, 제1 영상 변환부(930)는 전처리 필터링된 프레임들을 초해상도로 변환할 수 있다. 다만, 필터 정보에 따라 전처리 필터가 기준 구간에 적용되지 않는 경우, 제1 영상 변환부(930)는 기준 구간에 포함된 프레임들을 전처리 필터링하지 않고 프레임들의 고주파 신호를 복원할 수 있다.
제2 영상 분석부(940)는 제1 영상 변환부(930)에서 고주파 신호가 복원된 프레임들의 특성을 분석한다. 예를 들어, 제2 영상 분석부(940)는 고주파 신호가 복원된 프레임들의 콘트라스트 정보, 노이즈 정보, 선명도 정보 중 적어도 하나를 계산함으로써, 고주파 신호가 복원된 프레임들의 특성을 분석할 수 있다.
제2 영상 분석부(940)는 분석 결과에 기초하여 기준 구간에 적용될 후처리 필터를 결정한다. 예를 들어, 제2 영상 분석부(940)는 기준 구간에 적용될 후처리 필터로 샤프닝 필터, 콘트라스트 필터, 노이즈 필터 중 적어도 하나를 결정할 수 있다. 제2 영상 분석부(940)는 결정된 결과를 필터 정보에 포함시켜 제2 영상 변환부(950)로 전송할 수 있다.
제2 영상 변환부(950)는 제2 영상 분석부(940)로부터 수신한 필터 정보에 기초하여 기준 구간에 포함된 프레임들을 영상 변환한다. 제2 영상 변환부(950)는 필터 정보를 기초로 기준 구간에 후처리 필터가 적용되는지 여부를 확인한다. 나아가, 후처리 필터가 적용되는 경우, 제2 영상 변환부(950)는 샤프닝 필터, 콘트라스트 필터 및 디노이즈 필터 중 적어도 하나에 기초하여 기준 구간에 포함된 프레임들을 필터링한다.
일례로, 제2 영상 변환부(950)는 샤프닝 필터, 콘트라스트 필터 및 디노이즈 필터에 우선 순위를 설정할 수 있다. 제2 영상 분석부(940)로부터 수신한 필터 정보가 기준 구간에 복수의 필터들을 적용하도록 요청하는 경우, 제2 영상 변환부(950)는 우선 순위에 따라 필터링하는 순서 및 적용할 필터를 선택할 수 있다.
콘트라스트 필터를 이용하여 기준 구간에 콘트라스트를 향상시키는 경우, 기준 구간에 원하지 않는 노이즈가 발생할 수 있다. 따라서, 제2 영상 변환부(950)는 콘트라스트 필터의 우선 순위를 가장 높게 설정하고, 콘트라스트 필터를 디노이즈 필터보다 먼저 기준 구간에 적용할 수 있다.
또한, 기준 구간에 디노이즈 필터와 샤프닝 필터가 모두 적용될 필요가 있는 것으로 결정된 경우, 제2 영상 변환부(950)는 기준 구간에 디노이즈 필터만을 적용하고 샤프닝 필터는 적용하지 않을 수 있다.
예를 들어, 기준 구간의 콘트라스트 정보가 콘트라스트 임계값 이하이고, 선명도 정보가 선명도 임계값 이하이며, 노이즈 정보가 노이즈 임계값 이상인 경우를 가정한다. 제2 영상 분석부(940)는 콘트라스트 필터, 샤프닝 필터, 및 디노이즈 필터를 모두 적용하는 것으로 결정하고, 결정된 결과를 필터 정보에 포함시켜 제2 영상 변환부(950)로 전송할 수 있다.
제2 영상 변환부(950)는 우선 순위가 가장 높은 콘트라스트 필터로 고주파 신호가 복원된 프레임들을 필터링할 수 있다. 그 후, 제2 영상 변환부(950)는 콘트라스트 필터로 필터링된 프레임들을 디노이즈 필터로 필터링할 수 있다. 다만, 제2 영상 변환부(950)는 샤프닝 필터를 기준 구간에 적용하지 않을 수 있다.
다른 예를 들어, 기준 구간의 콘트라스트 정보가 콘트라스트 임계값 이하이고, 선명도 정보가 선명도 임계값 이하이며, 노이즈 정보가 노이즈 임계값 이하인 경우를 가정한다. 제2 영상 분석부(940)는 콘트라스트 필터 및 샤프닝 필터를 적용하는 것으로 결정하고, 결정된 결과를 필터 정보에 포함시켜 제2 영상 변환부(950)에 전송할 수 있다.
제2 영상 변환부(950)는 우선 순위가 가장 높은 콘트라스트 필터로 고주파 신호가 복원된 프레임들을 필터링할 수 있다. 그 후, 제2 영상 변환부(950)는 콘트라스트 필터로 필터링된 프레임들을 샤프닝 필터로 필터링할 수 있다.
도 9에 도시된 각 구성요소에는 도 1 내지 도 8를 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.
도 10은 다른 일실시예에 따른 제1 영상 변환부를 나타낸 도면이다.
도 10을 참고하면, 제1 영상 변환부(930)는 전처리 필터링부(1010), 및 초해상도 필터링부(1020)를 포함할 수 있다.
전처리 필터링부(1010)는 도 9의 영상 구간 분할부(910)로부터 입력 영상의 분할 정보를 입력 영상과 함께 수신하거나 구간 단위로 해당 구간에 포함된 프레임들을 수신할 수 있다.
전처리 필터링부(1010)는 도 9의 제1 영상 분석부(920)로부터 콘트라스트 필터에 관한 필터 정보 및 디노이즈 필터에 관한 필터 정보를 수신할 수 있다. 전처리 필터링부(1010)는 필터 정보에 기초하여 기준 구간에 콘트라스트 필터 및 디노이즈 필터 중 적어도 하나가 적용되는지 여부를 확인할 수 있다. 전처리 필터링부(1010)는 확인된 콘트라스트 필터 및 디노이즈 필터 중 적어도 하나로 기준 구간에 포함된 프레임들을 필터링할 수 있다. 전처리 필터링부(1010)는 필터 정보에 기초하여 적용되는 콘트라스트 필터 및 디노이즈 필터 중 적어도 하나의 강도를 제어할 수 있다.
초해상도 필터링부(1020)는 기준 구간에 포함된 프레임들의 고주파 신호를 복원할 수 있다. 일례로, 초해상도 필터링부(1020)는 전처리 필터링부(1010)에서 필터링된 프레임들의 고주파 신호를 복원할 수 있으나, 경우(예를 들어, 기준 구간에 전처리 필터가 적용될 필요가 없는 것으로 결정된 경우)에 따라서 전처리 필터링되지 않은 프레임들의 고주파 신호를 복원할 수도 있다.
도 10에 도시된 각 구성요소에는 도 1 내지 도 9를 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.
도 11은 일실시예에 따른 영상 처리 방법을 나타낸 도면이다.
일실시예에 따른 영상 처리 방법은 영상 처리 장치에 구비된 프로세서에 의해 수행될 수 있다.
단계(1110)에서, 영상 처리 장치는 입력 영상을 복수의 구간들로 분할한다. 영상 처리 장치는 입력 영상에서 장면 변화가 발생하는지 여부에 기초하여 입력 영상을 복수의 구간들로 분할할 수 있다.
단계(1120)에서, 영상 처리 장치는 복수의 구간들 중 어느 하나인 기준 구간에 포함된 프레임들에 기초하여 전처리 필터 및 후처리 필터를 결정한다. 영상 처리 장치는 기준 구간에 포함된 프레임들의 특성을 분석할 수 있다. 예를 들어, 영상 처리 장치는 기준 구간의 포함된 프레임들의 콘트라스트 정보, 노이즈 정보, 선명도 정보를 계산할 수 있다.
영상 처리 장치는 콘트라스트 정보에 기초하여 기준 구간에 콘트라스트 필터를 전처리 필터로 적용할지 여부를 결정하고, 콘트라스트 필터의 파라미터를 결정할 수 있다. 영상 처리 장치는 노이즈 정보에 기초하여 기준 구간에 디노이즈 필터를 전처리 필터로 적용할지 여부를 결정하고, 디노이즈 필터의 파라미터를 결정할 수 있다. 영상 처리 장치는 선명도 정보에 기초하여 기준 구간에 샤프닝 필터를 후처리 필터로 적용할지 여부를 결정하고, 샤프닝 필터의 파라미터를 결정할 수 있다. 영상 처리 장치는 결정된 결과를 필터 정보에 포함시킬 수 있다.
단계(1130)에서, 영상 처리 장치는 전처리 필터에 기초하여 기준 구간에 포함된 프레임들을 필터링한다. 영상 처리 장치는 필터 정보에 기초하여 기준 구간에 전처리 필터로 콘트라스트 필터 및 디노이즈 필터 중 적어도 하나가 적용되는지 여부를 확인할 수 있다. 영상 처리 장치는 확인된 필터로 기준 구간에 포함된 프레임들을 필터링할 수 있다.
단계(1140)에서, 영상 처리 장치는 전처리 필터로 필터링된 프레임들의 고주파 신호를 복원한다. 영상 처리 장치는 프레임들의 고주파 신호를 복원함으로써 프레임들을 초해상도로 변환할 수 있다. 만약 기준 구간에 전처리 필터가 적용될 필요가 없는 경우, 영상 처리 장치는 전처리 필터로 필터링되지 않은 프레임들의 고주파 신호를 복원할 수 있다.
단계(1150)에서, 영상 처리 장치는 고주파 신호가 복원된 프레임들을 후처리 필터에 기초하여 필터링한다. 영상 처리 장치는 필터 정보에 기초하여 기준 구간에 후처리 필터로 샤프닝 필터가 적용되는지 여부를 확인할 수 있다. 샤프닝 필터가 적용되는 것으로 확인된 경우, 영상 처리 장치는 샤프닝 필터에 기초하여 고주파 신호가 복원된 프레임들을 필터링할 수 있다.
도 11에 도시된 각 단계에는 도 1 내지 도 8을 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.
도 12는 다른 일실시예에 따른 영상 처리 방법을 나타낸 도면이다.
다른 일실시예에 따른 영상 처리 방법은 영상 처리 장치에 구비된 프로세서에 의해 수행될 수 있다.
단계(1210)에서, 영상 처리 장치는 입력 영상을 복수의 구간들로 분할한다.
단계(1220)에서, 영상 처리 장치는 복수의 구간들 중 어느 하나인 기준 구간에 포함된 프레임들에 기초하여 전처리 필터를 결정한다. 영상 처리 장치는 기준 구간에 포함된 프레임들의 특성을 분석함으로써 기준 구간에 적용될 전처리 필터를 결정할 수 있다. 영상 처리 장치는 콘트라스트 필터 및 디노이즈 필터 중 적어도 하나를 기준 구간에 적용될 전처리 필터로 결정할 수 있다.
단계(1230)에서, 영상 처리 장치는 전처리 필터에 기초하여 기준 구간에 포함된 프레임들을 필터링한다. 영상 처리 장치는 필터링된 프레임들의 고주파 신호를 복원한다. 만약 기준 구간에 전처리 필터가 적용될 필요가 없는 경우, 영상 처리 장치는 전처리 필터로 필터링되지 않은 프레임들의 고주파 신호를 복원할 수 잇다.
단계(1240)에서, 영상 처리 장치는 고주파 신호가 복원된 프레임들에 기초하여 후처리 필터를 결정한다. 영상 처리 장치는 고주파 신호가 복원된 프레임들의 특성을 분석함으로써 기준 구간에 적용될 후처리 필터를 결정할 수 있다.
단계(1250)에서, 영상 처리 장치는 후처리 필터에 기초하여 고주파 신호가 복원된 프레임들을 필터링한다.
도 12에 도시된 각 단계에는 도 1 내지 도 10을 통하여 전술한 사항들이 그대로 적용되므로, 보다 상세한 설명은 생략한다.
이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 비록 한정된 실시예와 도면을 통해 실시예들을 설명하였으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.
100: 영상 처리 장치
110: 영상 구간 분할부
120: 필터 결정부
130: 영상 필터링부

Claims (20)

  1. 입력 영상을 복수의 구간들로 분할하는 단계;
    상기 복수의 구간들 중 어느 하나인 기준 구간에 포함된 프레임들에 기초하여 전처리 필터 및 후처리 필터를 결정하는 단계;
    상기 전처리 필터에 기초하여 상기 기준 구간에 포함된 프레임들을 필터링하는 단계;
    상기 필터링된 프레임들의 고주파 신호를 복원하는 단계; 및
    상기 고주파 신호가 복원된 프레임들을 상기 후처리 필터에 기초하여 필터링하는 단계
    를 포함하는 영상 처리 방법.
  2. 제1항에 있어서,
    상기 입력 영상을 복수의 구간들로 분할하는 단계는,
    상기 입력 영상에서 장면 변화가 발생하는 경계 프레임을 검출하고, 상기 경계 프레임을 기준으로 상기 입력 영상을 상기 복수의 구간들로 분할하는, 영상 처리 방법.
  3. 제1항에 있어서,
    상기 전처리 필터 및 후처리 필터를 결정하는 단계는,
    상기 기준 구간에 포함된 프레임들의 콘트라스트 정보(contrast information)를 계산하고, 상기 콘트라스트 정보에 기초하여 콘트라스트 필터를 상기 전처리 필터로서 적용할지 여부를 결정하는 단계
    를 포함하는, 영상 처리 방법.
  4. 제3항에 있어서,
    상기 전처리 필터 및 후처리 필터를 결정하는 단계는,
    상기 콘트라스트 필터를 상기 전처리 필터로 적용하는 것으로 결정할 경우, 상기 콘트라스트 정보에 기초하여 상기 콘트라스트 필터에 적용될 파라미터를 결정하는 단계
    를 더 포함하는, 영상 처리 방법.
  5. 제4항에 있어서,
    상기 콘트라스트 필터에 적용될 파라미터를 결정하는 단계는,
    상기 콘트라스트 정보와 콘트라스트 임계값 간의 차이에 기초하여 콘트라스트 필터의 강도가 조절되도록 상기 파라미터를 결정하는, 영상 처리 방법.
  6. 제1항에 있어서,
    상기 전처리 필터 및 후처리 필터를 결정하는 단계는,
    상기 기준 구간에 포함된 프레임들의 노이즈 정보를 계산하고, 상기 노이즈 정보에 기초하여 디노이즈 필터를 상기 전처리 필터로서 적용할지 여부를 결정하는 단계
    를 포함하고, 영상 처리 방법.
  7. 제6항에 있어서,
    상기 전처리 필터 및 후처리 필터를 결정하는 단계는,
    상기 디노이즈 필터를 상기 전처리 필터로서 적용하는 것으로 결정할 경우, 상기 노이즈 정보에 기초하여 상기 디노이즈 필터에 적용될 파라미터를 결정하는 단계
    를 더 포함하는, 영상 처리 방법.
  8. 제7항에 있어서,
    상기 디노이즈 필터에 적용될 파라미터를 결정하는 단계는,
    상기 노이즈 정보와 노이즈 임계값 간의 차이에 기초하여 디노이즈 필터의 강도가 조절되도록 상기 파라미터를 결정하는, 영상 처리 방법.
  9. 제1항에 있어서,
    상기 전처리 필터 및 후처리 필터를 결정하는 단계는,
    상기 기준 구간에 포함된 프레임들의 선명도 정보(sharpness information)를 계산하고, 상기 선명도 정보에 기초하여 샤프닝 필터를 상기 후처리 필터로서 적용할지 여부를 결정하는 단계
    를 포함하고, 영상 처리 방법.
  10. 제9항에 있어서,
    상기 샤프닝 필터를 상기 후처리 필터로서 적용할지 여부를 결정하는 단계는,
    상기 선명도 정보가 선명도 임계값 이하이고 상기 기준 구간에 포함된 프레임들의 노이즈 정보가 노이즈 임계값 이상인 경우, 상기 샤프닝 필터를 상기 후처리 필터로서 적용하지 않는 것으로 결정하는, 영상 처리 방법.
  11. 제10항에 있어서,
    상기 전처리 필터 및 후처리 필터를 결정하는 단계는,
    상기 샤프닝 필터를 상기 후처리 필터로서 적용하는 것으로 결정할 경우, 상기 선명도 정보에 기초하여 상기 샤프닝 필터에 적용될 파라미터를 결정하는 단계
    를 더 포함하는, 영상 처리 방법.
  12. 제11항에 있어서,
    상기 샤프닝 필터에 적용될 파라미터를 결정하는 단계는,
    상기 선명도 정보와 선명도 임계값 간의 차이에 기초하여 샤프닝 필터의 강도가 조절되도록 상기 파라미터를 결정하는, 영상 처리 방법.
  13. 제1항에 있어서,
    상기 필터링된 프레임들의 고주파 신호를 복원하는 단계는
    상기 필터링된 프레임들을 복수의 패치들로 분할하고, 상기 복수의 패치들에 대응하고 고주파 신호를 포함하는 복수의 고주파 패치들을 이용하여 상기 고주파 신호를 복원하는, 영상 처리 방법.
  14. 제1항에 있어서,
    상기 후처리 필터에 기초하여 필터링된 프레임들을 구간 단위로 출력하는 단계
    를 더 포함하는, 영상 처리 방법.
  15. 제1항에 있어서,
    상기 기준 구간에 포함된 프레임들은,
    상기 프레임들의 배경, 조명 환경, 줌인 중 적어도 하나의 특성이 미리 정해진 임계값 이하의 유사도를 가지는, 영상 처리 방법.
  16. 입력 영상을 복수의 구간들로 분할하는 영상 구간 분할부;
    상기 복수의 구간들 중 어느 하나인 기준 구간에 포함된 프레임들에 기초하여 전처리 필터 및 후처리 필터를 결정하는 필터 결정부; 및
    상기 전처리 필터에 기초하여 상기 기준 구간에 포함된 프레임들을 필터링하고, 상기 필터링된 프레임들의 고주파 신호를 복원하며, 상기 고주파 신호가 복원된 프레임들을 상기 후처리 필터에 기초하여 필터링하는 영상 필터링부
    를 포함하는 영상 처리 장치.
  17. 제16항에 있어서,
    상기 필터 결정부는,
    상기 기준 구간에 포함된 프레임들의 콘트라스트 정보(contrast metric)를 계산하고, 상기 콘트라스트 정보에 기초하여 콘트라스트 필터를 상기 전처리 필터로서 적용할지 여부를 결정하는, 영상 처리 장치.
  18. 제16항에 있어서,
    상기 필터 결정부는,
    상기 기준 구간에 포함된 프레임들의 노이즈 정보를 계산하고, 상기 노이즈 정보에 기초하여 디노이즈 필터를 상기 전처리 필터로서 적용할지 여부를 결정하는, 영상 처리 장치.
  19. 제16항에 있어서,
    상기 필터 결정부는,
    상기 기준 구간에 포함된 프레임들의 선명도 정보(sharpness metric)를 계산하고, 상기 선명도 정보에 기초하여 샤프닝 필터를 상기 후처리 필터로서 적용할지 여부를 결정하는, 영상 처리 장치.
  20. 입력 영상을 복수의 구간들로 분할하는 단계;
    상기 복수의 구간들 중 어느 하나인 기준 구간에 포함된 프레임들에 기초하여 전처리 필터를 결정하는 단계;
    상기 전처리 필터에 기초하여 상기 기준 구간에 포함된 프레임들을 필터링하고, 상기 필터링된 프레임들의 고주파 신호를 복원하는 단계;
    상기 고주파 신호가 복원된 프레임들에 기초하여 후처리 필터를 결정하는 단계; 및
    상기 후처리 필터에 기초하여 상기 고주파 신호가 복원된 프레임들을 필터링하는 단계
    를 포함하는 영상 처리 방법.
KR1020150032697A 2014-09-30 2015-03-09 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법 KR101615479B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/860,972 US9811882B2 (en) 2014-09-30 2015-09-22 Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20140131779 2014-09-30
KR1020140131779 2014-09-30

Publications (2)

Publication Number Publication Date
KR20160038683A KR20160038683A (ko) 2016-04-07
KR101615479B1 true KR101615479B1 (ko) 2016-04-25

Family

ID=55789814

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150032697A KR101615479B1 (ko) 2014-09-30 2015-03-09 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR101615479B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190009588A (ko) 2017-07-19 2019-01-29 중앙대학교 산학협력단 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템 및 방법
US11800240B2 (en) 2021-04-13 2023-10-24 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200084516A (ko) 2019-01-03 2020-07-13 삼성전자주식회사 디스플레이장치, 영상공급장치, 및 그 제어방법
CN113099146B (zh) * 2019-12-19 2022-12-06 华为技术有限公司 一种视频生成方法、装置及相关设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193508A (ja) 2006-01-18 2007-08-02 Sanyo Electric Co Ltd 画像処理装置及び画像処理プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007193508A (ja) 2006-01-18 2007-08-02 Sanyo Electric Co Ltd 画像処理装置及び画像処理プログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190009588A (ko) 2017-07-19 2019-01-29 중앙대학교 산학협력단 초해상도 기반 고품질 디지털 연속 줌 영상 생성 시스템 및 방법
US11800240B2 (en) 2021-04-13 2023-10-24 Samsung Electronics Co., Ltd. Electronic apparatus and control method thereof

Also Published As

Publication number Publication date
KR20160038683A (ko) 2016-04-07

Similar Documents

Publication Publication Date Title
US9811882B2 (en) Method and apparatus for processing super resolution image using adaptive preprocessing filtering and/or postprocessing filtering
EP2819091B1 (en) Method and apparatus for processing a gray image
JP5908174B2 (ja) 画像処理装置及び画像処理方法
WO2018099136A1 (zh) 一种低照度图像降噪方法、装置及存储介质
KR101615479B1 (ko) 적응적 전/후처리 필터링을 이용하는 초해상도 영상 처리 방법
US9030559B2 (en) Constrained parametric curve detection using clustering on Hough curves over a sequence of images
KR101684990B1 (ko) 양방향 필터의 시그마 변수를 이용한 차량 영상 디블러 방법
US9508134B2 (en) Apparatus, system, and method for enhancing image data
EP3438923B1 (en) Image processing apparatus and image processing method
CN111696064B (zh) 图像处理方法、装置、电子设备及计算机可读介质
CN107886518B (zh) 图片检测方法、装置、电子设备及可读取存储介质
EP2724316A1 (en) Method and device for processing of an image
EP3540685B1 (en) Image-processing apparatus to reduce staircase artifacts from an image signal
KR101527962B1 (ko) 비디오 영상의 움직임 객체 추출 방법
Wang et al. Rain streak removal by multi-frame-based anisotropic filtering
US9686449B1 (en) Methods and systems for detection of blur artifact in digital video due to high quantization
CN111652806B (zh) 一种图像去阴影的方法和系统
Choudhary et al. A novel approach for edge detection for blurry images by using digital image processing
JP5846357B2 (ja) 画像処理装置及び画像処理プログラム
He et al. Joint motion deblurring and superresolution from single blurry image
Ngernplubpla et al. Image Enhancement based on neuro-fuzzy gradient profile clustering
CN111091526A (zh) 一种视频模糊的检测方法和系统
Zhang et al. Digital image forensics of non-uniform deblurring
Chetouani et al. Deblocking method using a percpetual recursive filter
KR101650897B1 (ko) 저해상도 컨텐츠를 위한 윈도우 사이즈 주밍 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 4