KR20150115695A - 영상처리방법 및 영상처리장치 - Google Patents

영상처리방법 및 영상처리장치 Download PDF

Info

Publication number
KR20150115695A
KR20150115695A KR1020150132120A KR20150132120A KR20150115695A KR 20150115695 A KR20150115695 A KR 20150115695A KR 1020150132120 A KR1020150132120 A KR 1020150132120A KR 20150132120 A KR20150132120 A KR 20150132120A KR 20150115695 A KR20150115695 A KR 20150115695A
Authority
KR
South Korea
Prior art keywords
image
image processing
correlation
region
edge
Prior art date
Application number
KR1020150132120A
Other languages
English (en)
Other versions
KR101637851B1 (ko
Inventor
안정욱
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020150132120A priority Critical patent/KR101637851B1/ko
Publication of KR20150115695A publication Critical patent/KR20150115695A/ko
Application granted granted Critical
Publication of KR101637851B1 publication Critical patent/KR101637851B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/20—Circuitry for controlling amplitude response
    • H04N5/205—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic
    • H04N5/208—Circuitry for controlling amplitude response for correcting amplitude versus frequency characteristic for compensating for attenuation of high frequency components, e.g. crispening, aperture distortion correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/142—Edging; Contouring
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Picture Signal Circuits (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

실시 예에 따른 영상처리방법은 상 내에서 엣지를 검출하는 단계; 상기 검출된 엣지를 중심으로 상기 영상을 제 1 영역과 제 2 영역으로 구분하는 단계; 상기 구분된 제 1 영역에 대해, 주위 픽셀과의 상관성을 판단하여 상기 제 1 영역의 영상을 제 1 보간하는 단계; 및 상기 구분된 제 2 영역에 대해, 상기 제 2 영역 내의 픽셀 간 상관성을 판단하여 상기 제 2 영역의 영상을 제 2 보간하는 단계를 포함한다. 실시예에 의하면, 복호화 된 H.264 영상의 블록 경계 현상을 제거하고 영상의 경계부분의 선명도를 유지하면서 영상의 해상도를 높일 수 있는 영상처리방법 및 영상처리장치를 제공할 수 있다.

Description

영상처리방법 및 영상처리장치{METHOD AND APPARATUS FOR IMAGE PROCESSING}
실시예는 영상처리방법 및 영상처리장치에 관한 것이다.
영상처리기술의 표준인 H.264, MPEG는 매크로 블록을 기본 단위로 영상을 압축한다. H.264에서 매크로 블록의 휘도(Luminance)는 가로와 세로로 각각 16화소를 가지고, 채도(Chrominance)는 가로와 세로 각 8화소를 포함하며, 최소 데이터 처리 단위는 공통적으로 가로 세로 4화소의 픽셀 블록이다.
현행 지상파 DMB 송신에 사용되는 H.264는 동영상을 384 Kbps 정도의 비트율로 압축하여 비디오 CD급의 화질을 제공한다. 그런데, 매크로 블록을 단위로 여러 단계에 거쳐 압축이 진행되면서 입력 영상에 손실이 생기고, 이전 영상이나 현 영상의 이웃 블록을 참조하는 과정에서 블록마다 서로 다른 영상을 참조하는 경우가 있기 때문에, 압축된 영상을 복원한 영상에는 블록의 경계가 단절되어 나타나게 된다.
특히, 7"(인치) 이상의 대화면이 장착된, 네비게이터, 차량 설치형 모니터, 노트북 등에서 DMB 방송을 수신할 경우 해상도 부족으로 인한 화질열화가 발생한다.
실시예는, 복호화 된 H.264 영상의 블록 경계 현상을 제거하고 영상의 경계부분의 선명도를 유지하면서 영상의 해상도를 높일 수 있는 영상처리방법 및 영상처리장치를 제공한다.
실시예에 의한 영상처리방법은, 영상신호에서 블록 경계를 제거하는 단계와; 상기 블록 경계가 제거된 영상의 엣지정보에 기초하여 상기 영상신호를 보간하는 단계와; 상기 보간된 영상을 히스토그램 평탄화 방식으로 명암값을 재분배하여 상기 보간된 영상의 엣지를 선명화하는 단계를 포함한다.
실시예에 의한 영상처리장치는, 영상신호에서 블록 경계를 제거하는 블록경계제거부와; 상기 블록 경계가 제거된 영상의 엣지정보에 기초하여 상기 영상신호를 보간하는 해상도향상부와; 상기 보간된 영상을 히스토그램 평탄화 방식으로 명암값을 재분배하여 상기 보간된 영상의 엣지를 선명화하는 영상선명화부를 포함한다.
실시예에 의하면, 복호화 된 H.264 영상의 블록 경계 현상을 제거하고 영상의 경계부분의 선명도를 유지하면서 영상의 해상도를 높일 수 있는 영상처리방법 및 영상처리장치를 제공할 수 있다.
도 1은 실시예에 따른 영상처리장치가 적용된 방송수신장치의 제어블록도.
도 2는 실시예에 따른 영상처리장치의 제어블록도.
도 3은 실시예에 따른 영상처리장치의 블록경계제거부의 제어블록도.
도 4는 실시예에 따른 영상처리장치의 해상도향상부의 제어블록도.
이하에서는 첨부한 도면을 참조하여 본 발명의 실시예에 따른 영상처리방법 및 영상처리장치에 대해서 상세하게 설명한다. 다만, 본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략한다.
도 1은 실시예에 따른 영상처리장치가 적용된 방송수신장치의 제어블록도이다.
도 1에 도시된 바와 같이, 방송수신장치는, 무선 방송신호를 수신하는 튜너(10)와, 수신된 방송신호를 디지털 방송신호로 변환하는 베이스밴드 처리부(20)와, 디지털 방송신호를 영상신호 및 음성신호로 디코딩하는 A/V디코더(40)와, A/V디코더(40)에서 디코딩된 음성신호를 출력하는 음성출력부(60)와 A/V디코더(40)에서 디코딩된 영상신호가 저장되는 메모리(30)와 영상신호를 처리하는 영상처리장치(100)와, 처리된 영상신호가 표시되는 영상출력부(50)를 포함한다.
A/V디코더(40)는 위성방송의 영상처리기술 표준인 H.264 방식에 따라 영상신호를 복호화 한다. A/V디코더(40)에서 복호화된 영상신호는 메모리(30)에 저장된다.
영상출력부(50)는 LCD, OLED 등의 디스플레이장치를 포함하여 영상신호를 표시한다.
영상처리장치(100)는 A/V디코더(40)에서 출력되는 영상신호의 화질을 개선하여 영상출력부(50)에 제공한다.
도 2는 실시예에 따른 영상처리장치의 제어블록도이다.
도 2에 도시된 바와 같이, 실시예에 따른 영상처리장치(100)는, 복호화 된 H.264 영상의 블록 경계를 제거하는 블록 경계제거부(110)와, 영상의 경계를 선명하게 유지하는 해상도향상부(130)와, 영상의 미세하고 세밀한 부분을 강조하고 오류를 수정하는 영상선명화부(150)를 포함한다.
블록 경계제거부(110)는 복호화 된 H.264 영상의 화소 영역에서의 블록 및 슬라이스 경계 현상과 양자화 잡음을 제거하여 블록 경계 현상을 제거함으로써 화질을 개선시킨다. 블록 경계 현상이 제거된 복호된 영상은 해상도향상부(130)로 입력된다.
해상도향상부(130)는 영상의 경계정보를 고려하고, 고주파 성분을 재생하는 영상보간 알고리즘을 이용하여, 경계부분의 선명도를 유지하면서 영상의 해상도를 높일 수 있다.
영상선명화부(150)는 히스토그램 균등화와 고주파 신호에 대한 선명화 처리 등을 이용하여 해상도향상부(130)에서 처리된 영상의 선명도를 향상시킨다.
도 3은 실시예에 따른 영상처리장치의 블록 경계제거부의 제어블록도이다.
도 3에 도시된 바와 같이 실시예의 블록 경계제거부(110)는, POCS(Projection onto Convex Sets) 이론에 기반하여 구성된 것으로서, LPF(Low Pass Filter)(150)와, QCS투영부(114)와, 수렴여부 판단부(116)를 포함한다.
LPF(150)는 블록 현상의 특성이 수직, 수평으로 존재한다는 성질을 이용하여 영상블록 경계 강도 값에 따라 영상신호를 필터링한다. 이에, 수직, 수평 방향으로 존재하는 블록현상이 필터링되어 블록 경계가 제거된다.
QCS투영부(114)는 LPF(150)의 필터링에 의한 경계선 정보의 손상을 보상한다. QCS(Quantization Constraint Set)는 복호화 된 영상의 이산 코사인 변환(DCT) 계수를 중심으로 원 영상의 데이터의 범위를 QCS로 정의한 것이다. 즉, 원래의 영상 데이터가 가질 수 있는 데이터의 구간을 QCS로 정의한다. 이에, QCS투영부(114)는 LPF(150)에서 필터링된 영상신호를 QCS의 제한집합으로 투영(projection)하고, 각 반복 단계에서 QCS의 범위를 벗어나는 값을 QCS 내로 잘라낸다.
이러한 구성에 따라, 원 영상신호 f0는 저역통과필터를 통해 블록 경계가 제거된 후, QCS투영부(114)에서 필터링에 의해 제거된 블록 경계의 손상이 일부 보상되며, 이러한 투영 과정을 반복함으로써 블록현상이 제거된 신호 (ft)가 출력된다.
도 4는 실시예에 따른 영상처리장치의 해상도향상부의 제어블록도이다.
도 4에 도시된 바와 같이, 해상도향상부(130)는, 영상신호의 엣지를 검출하는 엣지검출부(132)와, 엣지정보를 바탕으로 평탄한 영역에 대해 주위 픽셀과의 상관성(correlation)을 판단하는 주위 픽셀과의 상관성(correlation) 판단부(134)와, 판단된 상관성(correlation)값에 따라 영상을 보간하는 보간필터(136)를 포함한다.
엣지검출부(132)는 블록현상이 제거된 신호의 엣지를 검출하여 주위 픽셀과의 상관성(correlation) 판단부(134)에 제공한다.
주위 픽셀과의 상관성(correlation) 판단부(134)는 엣지검출부(132)가 제공하는 엣지정보를 바탕으로 영상에서 평탄한 영역을 인식하고, 평탄한 영역에 대해서는 주위 픽셀과의 상관성(correlation)을 판단한다. 그리고, 엣지영역에 존재하는 픽셀들만을 대상으로 상관성을 판단한다.
보간필터(136)는 주위 픽셀과의 상관성(correlation) 판단부(134)가 판단한 픽셀 간 상관성에 따라, 두 픽셀간의 차이 값이 작은 픽셀을 선택하여 보간한다. 보간법(interpolation)은, 값을 할당받지 못한 픽셀에 대해 적당한 데이터 값을 할당하는 방법을 뜻한다. 이에, 보간필터(136)는 주위 픽셀과의 상관성(correlation) 판단부(134)가 판단한 픽셀 간 상관성에 따라, 두 픽셀간의 차이 값이 작은 픽셀을 선택하여 보간한다.
영상선명화부(150)는 보간이 완료된 영상신호를, 히스토그램 평활화 방법을 이용하여 명암 분포를 조절하고, 미세하고 세밀한 부분을 강조하거나 오류 수정 등으로 인해 몽롱화된 영상 부분을 세밀하게 개선한다.
히스토그램 평활화 방법은, 수평축이 영상신호의 명도값으로 설정되고 수직축이 픽셀의 개수로 설정된 히스토그램을 이용한다. 히스토그램 평활화는 영상 명도값의 분포를 나타내는 히스토그램이 균일하게 되도록 명암값 분포를 재분해하는 방법이다. 이에, 너무 밝거나 어두운 영상, 혹은 어느 한 편으로 치우쳐진 영상을 개선할 수 있음으로, 영상신호의 재생 시, 프레임 간의 급격한 밝기 변화를 방지할 수 있다.
히스토그램 평활화 방법으로 처리된 영상은, 영상 선명화 필터(unsharp masking filter)를 이용하여 고주파 성분을 강조함으로써 영상 선명화를 구현한다.
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (14)

  1. 영상 내에서 엣지를 검출하는 단계;
    상기 검출된 엣지를 중심으로 상기 영상을 제 1 영역과 제 2 영역으로 구분하는 단계;
    상기 구분된 제 1 영역에 대해, 주위 픽셀과의 상관성을 판단하여 상기 제 1 영역의 영상을 제 1 보간하는 단계; 및
    상기 구분된 제 2 영역에 대해, 상기 제 2 영역 내의 픽셀 간 상관성을 판단하여 상기 제 2 영역의 영상을 제 2 보간하는 단계를 포함하는
    영상처리방법.
  2. 제 1항에 있어서,
    상기 구분하는 단계는,
    상기 엣지를 중심으로 상기 영상에서 평탄한 영역을 인식하는 단계와,
    상기 인식된 평탄한 영역을 중심으로 상기 평탄한 영역이 포함된 상기 제 1 영역과, 상기 제 1 영역을 제외한 엣지 영역을 포함하는 상기 제 2 영역으로 상기 영상을 구분하는 단계를 포함하는
    영상처리방법.
  3. 제 1항에 있어서,
    수신된 영상에서 블록 경계를 제거하는 단계를 더 포함하며,
    상기 검출하는 단계는,
    상기 블록 경계가 제거된 영상 내에서 상기 엣지를 검출하는 단계를 포함하는
    영상처리방법.
  4. 제 3항에 있어서,
    상기 블록 경계를 제거하는 단계는,
    저역통과필터를 이용하여 수직 및 수평방향의 블록 경계를 제거하는 단계와,
    상기 블록 경계가 제거된 영상을 QCS(Quantization Constraint Set)로 투영하여 상기 저역통과필터에 의해 손실된 영상신호를 보상하는 단계를 포함하는
    영상처리방법.
  5. 제 1항에 있어서,
    상기 제 1 보간하는 단계는,
    두 픽셀 간의 차이 값이 작은 픽셀을 선택하는 단계와,
    상기 선택된 픽셀을 이용하여 값이 미할당된 픽셀에 대해 데이터 값을 할당하는 단계를 포함하는
    영상처리방법.
  6. 제 1항에 있어서,
    상기 제 2 보간하는 단계는,
    상기 제 2 영역 내에 포함된 픽셀들만을 대상으로 상관성을 판단하는 단계와,
    상기 판단한 상관성에 따라 상기 제 2 영역의 영상을 보간하는 단계를 포함하는
    영상처리방법.
  7. 제 1항에 있어서,
    상기 제 1 및 2 보간된 영상의 엣지를 선명화하는 단계를 더 포함하는
    영상처리방법.
  8. 제 7항에 있어서,
    상기 선명화하는 단계는,
    상기 제 1 및 2 보간된 영상에 대해, 히스토그램 평활화 방식을 적용하여 명암값을 재분배하는 단계를 포함하는
    영상처리방법.
  9. 영상 내에서 엣지 정보를 검출하는 엣지 검출부;
    상기 엣지 검출부를 통해 검출된 엣지 정보를 기준으로 상기 영상을 평탄한 영역이 포함된 제 1 영역과, 엣지 영역이 포함된 제 2 영역으로 구분하고, 상기 구분된 제 1 및 2 영역에 대해 각각 주위 픽셀과의 상관성을 판단하는 상관성 판단부; 및
    상기 상관성 판단부를 통해 판단된 상관성에 따라 상기 제 1 영역의 영상 및 상기 제 2 영역의 영상을 각각 보간하는 보간필터를 포함하며,
    상기 상관성 판단부는,
    상기 구분된 제 1 영역에 대해 주위 픽셀과의 상관성을 판단하여 제 1 상관성 값을 출력하고, 상기 구분된 제 2 영역에 대해 상기 제 2 영역 내의 픽셀 간 상관성을 판단하여 제 2 상관성 값을 출력하는
    영상처리장치.
  10. 제 9항에 있어서,
    수신된 영상에서 블록 경계를 제거하는 블록경계제거부를 더 포함하며,
    상기 엣지 검출부는,
    상기 블록경계제거부를 통해 블록 경계가 제거된 영상을 수신하고, 상기 수신한 영상 내에서 상기 엣지 정보를 검출하는
    영상처리장치.
  11. 제 10항에 있어서,
    상기 블록경계제거부는,
    상기 수신된 영상에서 수직 및 수평 방향 블록 경계를 제거하는 저역통과필터와,
    상기 블록 경계가 제거된 영상을 QCS(Quantization Constraint Set)로 투영하여 상기 저역통과필터에 의해 손실된 영상을 보상하는 QCS 투영부를 포함하는
    영상처리장치.
  12. 제 9항에 있어서,
    상기 보간 필터는,
    두 픽셀간의 차이 값이 작은 픽셀을 선택하여 보간하는
    영상처리장치.
  13. 제 9항에 있어서,
    상기 상관성 판단부는,
    상기 제 2 상관성 값을 출력하기 위해, 상기 제 2 영역 내에 포함된 픽셀들만을 대상으로 상기 2 영역에 대한 상관성을 판단하는
    영상처리장치.
  14. 제 9항에 있어서,
    상기 보간필터를 통해 출력된 영상에 대해 히스토그램 평탄화 방식으로 명암값을 재분배하여 엣지를 선명화하는 영상 선명화부를 더 포함하는
    영상처리장치.
KR1020150132120A 2015-09-18 2015-09-18 영상처리방법 및 영상처리장치 KR101637851B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150132120A KR101637851B1 (ko) 2015-09-18 2015-09-18 영상처리방법 및 영상처리장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150132120A KR101637851B1 (ko) 2015-09-18 2015-09-18 영상처리방법 및 영상처리장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020090020002A Division KR101558580B1 (ko) 2009-03-09 2009-03-09 영상처리방법 및 영상처리장치

Publications (2)

Publication Number Publication Date
KR20150115695A true KR20150115695A (ko) 2015-10-14
KR101637851B1 KR101637851B1 (ko) 2016-07-07

Family

ID=54357744

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150132120A KR101637851B1 (ko) 2015-09-18 2015-09-18 영상처리방법 및 영상처리장치

Country Status (1)

Country Link
KR (1) KR101637851B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346037A (ja) * 1999-08-05 2001-12-14 Sanyo Electric Co Ltd 画像補間方法
KR20040105274A (ko) * 2003-06-04 2004-12-16 삼성전자주식회사 블록 이산 코사인 변환 방식에 의해 부호화된 영상에포함된 블록현상 제거 방법
JP2008160466A (ja) * 2006-12-22 2008-07-10 Victor Co Of Japan Ltd 映像信号処理装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001346037A (ja) * 1999-08-05 2001-12-14 Sanyo Electric Co Ltd 画像補間方法
KR20040105274A (ko) * 2003-06-04 2004-12-16 삼성전자주식회사 블록 이산 코사인 변환 방식에 의해 부호화된 영상에포함된 블록현상 제거 방법
JP2008160466A (ja) * 2006-12-22 2008-07-10 Victor Co Of Japan Ltd 映像信号処理装置

Also Published As

Publication number Publication date
KR101637851B1 (ko) 2016-07-07

Similar Documents

Publication Publication Date Title
US8305397B2 (en) Edge adjustment method, image processing device and display apparatus
US6600517B1 (en) System and method for improving the sharpness of a video image
US9317957B2 (en) Enhancement of stereoscopic effect of an image through use of modified depth information
US8639050B2 (en) Dynamic adjustment of noise filter strengths for use with dynamic range enhancement of images
US20060110062A1 (en) Edge adaptive filtering system for reducing artifacts and method
US9275440B2 (en) Image processing device and image processing method
US8086067B2 (en) Noise cancellation
US10922792B2 (en) Image adjustment method and associated image processing circuit
US8145006B2 (en) Image processing apparatus and image processing method capable of reducing an increase in coding distortion due to sharpening
US20140037222A1 (en) Methods and Systems for Detection and Estimation of Compression Noise
US10313565B2 (en) Methods and apparatuses for edge preserving and/or edge enhancing spatial filter
US20140192266A1 (en) Method and apparatus of reducing compression noise in digital video streams
JP2009010517A (ja) 画像処理装置、映像受信装置および画像処理方法
US8077999B2 (en) Image processing apparatus and method for reducing blocking effect and Gibbs effect
US20100214486A1 (en) Image Signal Processing Apparatus, Method of Controlling the Same, and Television Signal Receiving Apparatus
KR101558580B1 (ko) 영상처리방법 및 영상처리장치
KR101637851B1 (ko) 영상처리방법 및 영상처리장치
JP2007336075A (ja) ブロック歪み低減装置
JP2006128744A (ja) ブロック歪み低減装置
JP2006060358A (ja) デジタル放送受信機
US20140037202A1 (en) Methods and Systems for Estimation of Additive Noise
KR100777287B1 (ko) 비디오 영상 표출장치
WO2010021039A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
US10057601B2 (en) Methods and apparatuses for filtering of ringing artifacts post decoding
WO2015053408A1 (en) Methods and estimator for estimation of compression noise

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190612

Year of fee payment: 4