KR100935608B1 - 움직임 보상 보간 프레임의 보간 오류 은닉 방법 - Google Patents

움직임 보상 보간 프레임의 보간 오류 은닉 방법 Download PDF

Info

Publication number
KR100935608B1
KR100935608B1 KR1020080044302A KR20080044302A KR100935608B1 KR 100935608 B1 KR100935608 B1 KR 100935608B1 KR 1020080044302 A KR1020080044302 A KR 1020080044302A KR 20080044302 A KR20080044302 A KR 20080044302A KR 100935608 B1 KR100935608 B1 KR 100935608B1
Authority
KR
South Korea
Prior art keywords
interpolation
block
pixel information
interpolation error
frame
Prior art date
Application number
KR1020080044302A
Other languages
English (en)
Other versions
KR20090118487A (ko
Inventor
한동일
이정훈
임철호
Original Assignee
이디텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이디텍 주식회사 filed Critical 이디텍 주식회사
Priority to KR1020080044302A priority Critical patent/KR100935608B1/ko
Publication of KR20090118487A publication Critical patent/KR20090118487A/ko
Application granted granted Critical
Publication of KR100935608B1 publication Critical patent/KR100935608B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Systems (AREA)

Abstract

본 발명은 블록단위 움직임 보상 프레임 율 변환 기법을 사용하여 보간된 움직임 보상 보간 프레임에서 발생할 수 있는 실제 움직임 추정 실패로 인한 블록 인공 잡음(block artifact)을 제거하여 보간 프레임의 화질열화를 교정할 수 있도록 하는 보간 오류 은닉 장치 및 그 방법에 관한 것이다.
상기 목적을 달성하기 위한 본 발명의 움직임 보상 보간 프레임의 보간 오류 은닉 방법은 블록단위 움직임 보상 프레임 율 변환 기법을 사용하여 보간된 보간 프레임으로부터 영상을 구성하는 각 블록 경계에서의 픽셀정보 차이를 블록 내 수평 픽셀정보 차이 및 수직 픽셀정보 차이와 비교하여 block artifact가 발생한 보간 오류영역을 검출하는 보간 오류영역 검출단계와; 상기 검출된 보간 오류영역을 프레임 보간을 위해 사용된 전, 후 프레임의 동일 영역의 평균치로 교정하는 보간 오류영역 교정단계와; 상기 교정된 보간 오류영역과 교정되지 않은 영역간의 경계를 매끄럽게 보정하는 교정영역 경계 보정단계를 포함하는 것을 특징으로 한다.
따라서 본 발명의 움직임 보상 보간 프레임의 보간 오류 은닉 장치에 의하여 수행되는 보간 오류 은닉 방법은 보간 오류로 인한 block artifact와 같은 화질열화를 효과적으로 방지할 수 있도록 한다.
움직임 보상 보간 프레임, 프레임 율 변환, block artifact, 보간 오류 은닉 장치

Description

움직임 보상 보간 프레임의 보간 오류 은닉 방법{Method for Interpolation error concealment of motion compensated interpolated frame}
본 발명은 보간 오류 은닉 방법에 관한 것으로, 보다 상세하게는 블록단위 움직임 보상(motion compensation) 프레임 율 변환 기법을 사용하여 보간된 움직임 보상 보간 프레임에서 발생하는 실제 움직임 추정 실패로 인한 블록 인공 잡음(block artifact)을 제거하여 보간 프레임의 화질열화를 방지할 수 있도록 하는 움직임 보상 보간 프레임의 보간 오류 은닉 방법에 관한 것이다.
프레임 율 변환(Frame Rate Conversion) 기법은 입력되는 영상신호의 프레임 율을 출력규격에 맞게 변환하는 기법을 말하는 것으로, 최근의 영상정보와 디스플레이 형식의 폭발적인 증가로 인해 부상하고 있는 중요한 이슈 중 하나이다.
이는 서로 다른 프레임 율을 가지는 다양한 디스플레이 포맷 간의 변환을 위해 필요한 것으로, 통상 낮은 프레임 율로 된 영상신호를 높은 프레임 율로 변환하 는데 사용된다.
예를 들면, 초당 24, 25, 30의 프레임 율을 가지는 기존의 동영상을 초당 60의 프레임 율을 지원하는 HDTV나 멀티미디어 PC시스템에서 재생하기 위해서는 높은 프레임 율로 상향 변환이 되도록 조정할 필요가 있게 된다.
프레임 율 변환 기법은 비디오 압축이나 슬로우 모션 리플레이시에도 사용될 수 있으며, 특히 LCD(Liquid Crystal Display) 장치의 경우 느린 응답속도로 인해 동영상의 화질이 저하되는 것을 방지할 수도 있도록 하는 역할을 수행한다.
기존의 경우, 프레임 율의 상향 변환을 위하여 단순히 기존 프레임을 반복하거나 시간적 필터링을 통한 선형 보간을 이용하는 것과 같은 단순한 알고리즘이 사용되었으나, 이와 같은 단순한 알고리즘들은 화면떨림(motion judder)이나 화면뭉개짐(motion blur)과 같은 화질열화를 유발하는 문제점이 있었다.
이와 같은 화질열화 현상을 방지하기 위해, 블록단위 움직임 보상 보간 기법을 이용한 다양한 움직임 보상 프레임 율 변환 알고리즘이 개발되고 있다. 이와 같은 움직임 보상 보간 기법은 모든 보간 과정이 움직임 벡터에 의해 이루어지기 때문에 영상 내 객체들의 실제 움직임 벡터를 추정해 내는 것이 매우 중요하다.
하지만, 블록단위 움직임 추정시 프레임을 8×8 또는 16×16과 같은 작은 크기의 블록으로 구분하여 독립적으로 처리함에 따라 인접 블록간의 불연속성으로 인하여 블록 인공 잡음(block artifact)과 같은 화질 저하 현상이 발생하게 된다.
또한 블록단위 움직임 추정시 영상의 노이즈, 밝기의 변화 또는 유사한 영상의 존재로 인한 다중 국부 최소값의 존재, 사물 차폐, 사물 형태의 변화 등의 여러 가지 이유로 인해 정확한 실제 움직임 벡터를 추정하지 못하는 경우가 많으며, 이와 같이 잘못 추정된 움직임 벡터로 인하여 심각한 화질 열화를 유발하게 된다.
이와 같이 잘못된 움직임 벡터 추정으로 인한 화질열화는 그 빈도가 극히 낮다면 움직임 보상 보간 기법의 여러 장점으로 인해 무시될 수 있으나, 실제로는 기존의 블록단위 움직임 보상 프레임 율 변환 기법으로는 영상의 특징에 따라 움직임 벡터 추정 실패는 무척 빈번히 발생하며, 이로 인하여 대량의 block artifact를 유발하여 시청자의 눈에 심하게 거슬리게 된다.
본 발명은 움직임 보상 보간 프레임 율 변환 기법을 통해 보간된 움직임 보상 보간 프레임이 영상의 노이즈, 밝기의 변화, 유사한 영상의 존재로 인한 다중 국부 최소값의 존재, 사물 차폐 등의 이유로 잘못 추정된 움직임 벡터로 보간됨에 따른 block artifact가 발생한 보간 오류영역을 검출하여 교정함으로서 보간 오류로 인한 화질열화를 효과적으로 방지하기 위하여 제안된 것이다.
상기 과제를 해결하기 위한 본 발명의 움직임 보상 보간 프레임의 보간 오류 은닉 방법은
블록단위 움직임 보상 프레임 율 변환 기법을 사용하여 보간된 보간 프레임을 구성하는 각 블록 세로 경계에서의 수평 픽셀정보 차이 및 가로 경계에서의 수직 픽셀정보 차이와 블록 내 수평 픽셀정보 차이 및 수직 픽셀정보 차이를 산출하고, 산출된 블록 세로 경계에서의 수평 픽셀정보 차이를 상기 블록 내 수평 픽셀정보 차이와 비교하고 산출된 블록 가로 경계에서의 수직 픽셀정보 차이를 상기 블록 내 수직 픽셀정보 차이와 비교하여 블록 인공 잡음(block artifact)이 발생한 보간 오류영역을 검출하는 보간 오류영역 검출단계와;
상기 보간 오류영역 검출단계에 의해 검출된 보간 오류영역을 프레임 보간을 위해 사용된 전, 후 프레임의 동일 영역의 평균치로 교정하는 보간 오류영역 교정단계와;
상기 보간 오류영역 교정단계에 의해 교정된 영역과 기존의 보간 프레임의 교정되 지 않은 영역간의 경계를 매끄럽게 보정하는 교정영역 경계 보정단계를 포함하는 것을 특징으로 한다.
이 때, 상기 보간 오류영역 검출단계는 하기 수학식 1에 따라 수행되어 B=1인 경우 보간 오류영역인 것으로 검출하고 B=0인 경우 정상 보간 영역인 것으로 검출한다.
(수학식 1)
Figure 112008033984975-pat00001
여기서,
Figure 112008033984975-pat00002
d는 매크로 블록의 검사 방향(d=r인 경우 수평방향, d=c인 경우 수직방향)을 표시하기 위한 기호,
ηα와 ηβ는 blocking 페널티 계수,
β는 blocking 보너스 계수,
S 는 매크로 블록 내 수평 또는 수직 픽셀정보 차이의 최대치,
μ는 매크로 블록 내 수평 또는 수직 픽셀정보 차이의 평균치,
T 는 blocking 임계값,
k는 매크로블록의 크기(d=r인 경우 수평방향 픽셀수, d=c인 경우 수직방향 픽셀수)에서 1을 뺀 값,
n은 매크로 블록을 구성하는 픽셀간의 라인을 구분하기 위하여 부여한 순번(n=0, 1, 2, ... , k),
diff는 d=r인 경우 매크로 블록의 수평 픽셀정보 차이, d=c인 경우 매크로 블록의 수직 픽셀정보 차이를 의미한다.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
본 발명의 움직임 보상 보간 프레임의 보간 오류 은닉 장치 및 보간 오류 은닉 방법은 블록단위 움직임 보상 보간 프레임에 발생하는 블록 인공 잡음(block artifact)으로 인한 화질열화를 효과적으로 방지할 수 있도록 한다.
또한 보간 오류영역을 검출함에 있어서, 단순히 매크로 블록의 경계에서의 픽셀정보 차이만을 고려하지 않고 상기 매크로 블록 내의 수평 픽셀정보 차이 및 수직 픽셀정보 차이의 평균치와 최대치를 함께 고려하여 보간 오류영역을 검출하도록 함으로서 보간 영상 내 존재할 수 있는 대비차가 큰 패턴으로 인한 오검출을 방지할 수 있는 효과가 있다.
이하에서는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 쉽게 실시할 수 있도록 본 발명의 실시예를 첨부된 도면을 참조하여 설명하기로 한다. 그러나, 본 발명은 여기서 설명되어지는 실시예에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예는 개시 된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 기술적 사상이 충분히 전달될 수 있도록 제공되는 것이다.
도 1은 본 발명의 움직임 보상 보간 프레임의 보간 오류 은닉 장치(100)가 적용된 움직임 보상 프레임 율 변환 장치(500)를 나타낸 블록도이다. 도 1을 참조하여 설명하면, 본 발명의 움직임 보상 보간 프레임의 보간 오류 은닉 장치(100)가 적용된 움직임 보상 프레임 율 변환 장치(500)는 입력영상의 영상정보를 분석하기 위한 영상분석부(200)와; 움직임 벡터를 추정하여 보간 프레임을 형성하기 위한 프레임 보간부(300)와; 상기 보간된 보간 프레임을 입력받아 보간 오류영역을 교정하여 화질열화를 방지하기 위한 보간 오류 은닉 장치(100)로 구성된다.
상기 영상 분석부(200)는 장면 전환 검출부(210)와 자막 영역 검출부(220)로 구성되어 있으며, 입력되는 영상의 영상정보를 분석하고 상기 분석된 영상정보를 SDRAM 메모리 인터페이스부(400)로 출력하는 역할을 수행한다.
상기 프레임 보간부(300)는 움직임 추정부(310)와 움직임 교정부(320) 및 움직임 보상부(330)로 구성되어 있으며, SDRAM 메모리 인터페이스부(400)로부터 상기 분석된 영상정보를 입력받아 움직임 벡터를 추정하여 보간 프레임을 형성하고 상기 보간된 보간 프레임을 SDRAM 메모리 인터페이스부(400)로 출력하는 역할을 수행한다.
상기 보간 오류 은닉 장치(100)는 SDRAM 메모리 인터페이스부(400)로부터 상기 보간된 보간 프레임을 입력받아 보간 프레임에 형성된 보간 오류영역을 검출하 여 교정한 후 교정영역의 경계를 보정하여 출력영상을 형성하는 역할을 수행한다.
도 2는 본 발명의 움직임 보상 보간 프레임의 보간 오류 은닉 장치(100)를 나타낸 블록도이다.
도 2를 참조하여 설명하면, 본 발명의 움직임 보상 보간 프레임의 보간 오류 은닉 장치(100)는 보간 오류영역 검출부(110)와 보간 오류영역 교정부(120) 및 교정영역 경계 보정부(130)를 포함하여 구성된다.
상기 보간 오류영역 검출부(110)는 움직임 보상 보간 프레임을 입력받아 상기 보간 프레임을 구성하는 각 매크로 블록에 대하여 블록 세로 경계에서의 수평 픽셀정보 차이 및 가로 경계에서의 수직 픽셀정보 차이와 블록 내 수평 픽셀정보 차이 및 수직 픽셀정보 차이를 산출하고 산출된 블록 세로 경계에서의 수평 픽셀정보 차이를 블록 내 수평 픽셀정보 차이와 비교하고 산출된 블록 가로 경계에서의 수직 픽셀정보 차이를 블록 내 수직 픽셀정보 차이와 비교하여 block artifact가 발생한 보간 오류영역을 검출하는 역할을 수행하며,
상기 보간 오류영역 교정부(120)는 움직임 보상 보간 프레임과 상기 보간 오류영역 검출부(110)에 의해 검출된 보간 오류영역을 입력받아, 상기 검출된 보간 오류영역을 프레임 보간을 위해 사용된 전, 후 프레임의 동일 영역의 평균치로 교정하는 역할을 수행한다.
또한 상기 교정영역 경계 보정부(130)는 상기 보간 오류영역 교정부(120)에 의해 보간 오류영역이 교정된 보간 프레임을 입력받아, 보간 오류영역 교정부(120)에 의해 교정된 영역과 교정되지 않은 영역 간의 경계를 매끄럽게 보정하는 역할을 수행한다.
도 3은 본 발명의 보간 오류 은닉 장치(100)를 구성하는 보간 오류영역 검출부(110)를 상세히 나타낸 블록도이다.
도 3을 참조하여 설명하면, 보간 오류영역 검출부(110)는 수평 비교부(111)와 수직 비교부(112), 최대 및 차선치 검출부(113), 평균치 검출부(114) 및 오류영역 판단부(115)로 구성된다.
상기 수평 비교부(111)는 움직임 보상 보간 프레임을 입력받아 상기 보간 프레임을 구성하는 각 매크로 블록에 대하여 블록 세로 경계에서의 수평 픽셀정보 차이와 블록 내 수평 픽셀정보 차이를 산출하여 출력하는 역할을 수행한다.
상기 수직 비교부(111)는 움직임 보상 보간 프레임을 입력받아 상기 보간 프레임을 구성하는 각 매크로 블록에 대하여 블록 가로 경계에서의 수직 픽셀정보 차이와 블록 내 수직 픽셀정보 차이를 산출하여 출력하는 역할을 수행한다.
상기 최대 및 차선치 검출부(113)는 상기 수평 비교부(111)와 수직 비교부(112)에 의해 출력된 블록 내 수평 픽셀정보 차이 및 수직 픽셀정보 차이를 입력받아 상기 블록 내 수평 픽셀정보 차이의 최대치와 수직 픽셀정보 차이의 최대치를 검출하는 역할을 수행한다.
상기 평균치 검출부(114)는 상기 수평 비교부(111)와 수직 비교부(112)에 의해 출력된 블록 내 수평 픽셀정보 차이 및 수직 픽셀정보 차이를 입력받아 상기 블록 내 수평 픽셀정보 차이의 평균치와 수직 픽셀정보 차이의 평균치를 검출하는 역할을 수행한다.
상기 오류 영역 판단부(115)는 상기 최대 및 차선치 검출부(113)와 평균치 검출부(114)에 의해 검출된 블록 내 수평 픽셀정보 차이 및 블록 내 수직 픽셀정보 차이의 최대치 및 평균치를 입력받아 해당 매크로 블록이 block artifact가 발생한 보간 오류영역에 해당하는지 여부를 판단하는 역할을 수행한다.
도 4는 본 발명의 일 실시예에 따른 움직임 보상 보간 프레임의 보간 오류 은닉 방법을 설명하기 위한 플로우 챠트(Flow Chart)이다.
이하에서는 도 4를 참조하여 본 발명의 움직임 보상 보간 프레임의 보간 오류 은닉 방법을 설명한다.
우선, 움직임 보상 프레임 율 변환 기법을 사용하여 보간된 보간 프레임과 보간에 사용된 전, 후 프레임을 입력으로 받아 보간 오류 은닉 처리가 시작되면(S10), 상기 보간 프레임을 구성하는 각 매크로 블록 단위로 순차적으로 접근하여 보간 오류영역을 검출하는 단계를 수행한다.(S11)
도 5(a)는 움직임 보상 프레임 율 변환 기법을 사용하여 보간된 보간 프레임을 나타낸 개략도이다.
도 5(b)는 보간 오류영역 검출부의 수평비교부(111)에서 도 5의 (a)에 도시된 보간 프레임을 구성하는 한 매크로 블록(A)의 오른쪽 경계(세로 경계)에서의 수평 픽셀정보 차이와 블록(A) 내 수평 픽셀정보 차이를 계산하는 과정을 설명하기 위한 개략도이다.
도 4와 도 5(b)를 참조하여 설명하면,
보간 오류영역인지 여부를 검출하고자 하는 한 매크로 블록(A)을 구성하는 픽셀을 좌표 (x,y)로 나타내었을 때, f(x,y)는 상기 매크로 블록(A) 내 좌표가 (x,y)인 픽셀의 정보를 나타낸다.
이 때, 수평 비교부(111)는 상기 블록(A)의 오른쪽 경계에서의 수평 픽셀정보 차이와 블록 내 수평 픽셀정보 차이를 하기의 수식에 따라 산출하는 과정을 수행한다.(S12)
Figure 112008033984975-pat00004
매크로 블록(A)의 크기가 16×16 이고, 매크로 블록(A)을 구성하는 픽셀간의 경계를 나타내는 인덱스를 n(0≤n<16)이라 할 때, 상기 매크로 블록(A) 내의 수평 픽셀정보 차이는 각각 n = 0, 1, 2, …, 14 로 나타내어지는 라인에서의 좌, 우 픽셀 간의 픽셀정보 차이를 계산함으로서 구할 수 있다.
이 때, 매크로 블록(A)의 오른쪽 경계에서의 수평 픽셀정보 차이는 n = 15 로 나타내어지는 경계 라인에서의 좌, 우 픽셀 간의 픽셀정보 차이를 계산함으로서 구할 수 있다.
도 5(c)는 보간 오류영역 검출부(110)의 수직 비교부(112)에서 도 5(a)에 도시된 매크로블록(A)의 아래쪽 경계(가로 경계)에서의 수직 픽셀정보 차이와 블록(A) 내 수직 픽셀정보 차이를 계산하는 과정을 설명하기 위한 개략도이다.
수직 비교부(112)는 상기 블록(A)의 아래쪽 경계에서의 수직 픽셀정보 차이와 블록 내 수직 픽셀정보 차이를 하기의 수식에 따라 산출하는 과정을 수행한다.(S12)
Figure 112008033984975-pat00005
도 5(c)에 도시된 바와 같이, 블록의 크기가 16×16인 매크로 블록(A) 내의 수직 픽셀정보 차이는 각각 n = 0, 1, 2, …, 14 로 나타내어지는 라인에서의 상, 하 픽셀 간의 픽셀정보 차이를 계산함으로서 구할 수 있다.
이 때, 매크로 블록(A)의 아래쪽 경계에서의 수직 픽셀정보 차이는 n = 15 로 나타내어지는 경계 라인에서의 상, 하 픽셀 간의 픽셀정보 차이를 계산함으로서 구할 수 있다.
매크로 블록(A) 세로 경계에서의 수평 픽셀정보 차이 및 가로 경계에서의 수직 픽셀정보 차이와 블록 내 수평 픽셀정보 차이 및 수직 픽셀정보 차이가 검출되면, 최대 및 차선치 검출부(113)는 상기 매크로 블록(A) 세로 경계에서의 수평 픽셀정보 차이를 블록 내 수평 픽셀정보 차이와 비교하고 또한 가로 경계에서의 수직 픽셀정보 차이를 블록 내 수직 픽셀정보 차이와 비교하여 현재 매크로 블록(A)의 경계에서의 픽셀정보 차이가 block artifact로 판별될 정도인지를 하기의 수식에 따라 판단하는 단계를 수행한다. (S13)
Figure 112008033984975-pat00006
Figure 112008033984975-pat00007
여기서, n은 매크로 블록을 구성하는 픽셀간의 라인을 구분하기 위하여 부여한 순번( 0 ≤ n ≤ k , k 는 매크로블록의 크기에서 1을 뺀 값), diff는 d=r인 경우 매크로 블록의 수평 픽셀정보 차이, d=c인 경우 매크로 블록의 수직 픽셀정보 차이이다.
d = r 인 경우 최대 및 차선치 검출부(113)에서 매크로 블록(A)의 오른쪽 경계(세로 경계)에서의 수평 픽셀정보 차이를 상기 블록(A) 내 수평 픽셀정보 차이와 비교하게 되며,
d = c 인 경우 최대 및 차선치 검출부(113)에서 매크로 블록(A)의 아래쪽 경계(가로 경계)에서의 수직 픽셀정보 차이를 상기 블록(A) 내 수직 픽셀정보 차이와 비교하게 된다.
상기 수식에서 알 수 있듯이 매크로 블록(A)의 오른쪽 경계 라인에서의 수평 픽셀정보 차이가 매크로 블록(A)의 n = 0, 1, 2, …, 15 로 나타내어지는 라인에서의 수평 픽셀정보 차이중 최대치에 해당하는 경우로서, 매크로 블록(A)의 오른쪽 경계에서의 수평 픽셀정보 차이가 blocking 임계값(T)보다 큰 경우에 LB 에 1이 입력되며, 그렇지 않은 경우 LB 에 0이 입력된다. LB 에 1이 입력되는 경우는, 현재 매크로 블록(A)의 오른쪽 경계에서의 수평 픽셀정보 차이가 block artifact로 판별될 정도로 크다는 것을 의미하는 것이다.
또한, 매크로 블록(A)의 아래쪽 경계 라인에서의 수직 픽셀정보 차이가 매크로 블록(A)의 n = 0, 1, 2, …, 15 로 나타내어지는 라인에서의 수직 픽셀정보 차이중 최대치에 해당하는 경우로서 매크로 블록(A)의 아래쪽 경계에서의 수직 픽셀정보 차이가 blocking 임계값(T)보다 큰 경우에 LB 에 1이 입력되며, 그렇지 않은 경우 LB 에 0이 입력된다. LB 에 1이 입력되는 경우는, 현재 매크로 블록(A)의 아래쪽 경계에서의 수직 픽셀정보 차이가 block artifact로 판별될 정도로 크다는 것을 의미하는 것이다.
이 때, d = r 인 경우와 d = c 인 경우 중 적어도 하나 이상의 경우에 LB 가 1인 경우에는 LB 에 1이 입력되도록 설정한다. 즉 d = r 인 경우와 d = c 인 경우에 대하여 LB 가 모두 0인 경우에만 LB 에 0이 입력되도록 한다.
매크로 블록(A)의 오른쪽 또는 아래쪽 경계에서의 픽셀정보 차이가 매크로 블록(A)의 수평 픽셀정보 차이의 최대치 또는 수직 픽셀정보 차이의 최대치에 해당하고 blocking 임계값보다 큰 경우라 하더라도, 보간 영상의 블록 경계에서 대비차가 큰 패턴이 존재한다면 움직임벡터가 정확하게 추정된 정상영역의 매크로 블록임에도 보간 오류영역으로 잘못 검출될 가능성이 있다.
따라서 보간 영상의 블록 경계에서 존재할 수 있는 대비차가 큰 패턴으로 인한 오검출을 방지하기 위하여 매크로 블록(A) 내 수평 픽셀정보 차이 및 수직 픽셀정보 차이의 각각의 최대치와 평균치를 산출하여 비교함으로서 최종적으로 보간 오류영역인지를 판단하도록 하는 것이 바람직하다.
이를 위해 평균치 검출부(114)는 상기 매크로 블록(A) 내 수평 픽셀정보 차이 및 수직 픽셀정보 차이의 평균치를 하기 수식에 따라 산출하는 단계를 수행한다. (S15)
Figure 112008033984975-pat00008
또한 최대 및 차선치 검출부(113)는 상기 매크로 블록(A) 내 수평 픽셀정보 차이 및 수직 픽셀정보 차이의 최대치를 하기 수식에 따라 산출하는 단계를 수행한다. (S15)
Figure 112008033984975-pat00009
( 0 ≤ n < k )
최종적으로 오류영역 판단부(115)는 상기 평균치 검출부(114)에 의해 산출된 블록 내 수평 픽셀정보 차이 및 수직 픽셀정보 차이의 평균치와 상기 최대 및 차선치 검출부(113)에 의해 산출된 블록 내 수평 픽셀정보 차이 및 수직 픽셀정보 차이의 최대치를 이용하여, 현재 매크로 블록(A)이 block artifact가 존재하는 보간 오류영역에 해당하는지 여부를 하기 수식에 따라 판단하는 단계를 수행한다. (S16)
Figure 112008033984975-pat00010
여기서, ηα (0≤ηα ≤1) 와 ηβ (0≤ηβ≤1) 는 blocking 페널티 계수, β(0≤β) 는 blocking 보너스 계수, S는 매크로 블록 내 수평 또는 수직 픽셀정보 차이의 최대치, μ는 매크로 블록 내 수평 또는 수직 픽셀정보 차이의 평균치이다.
B = 1 인 경우 해당 매크로 블록(A) 및 상기 매크로 블록(A)의 경계에 접한 블록(C 또는 D)을 보간 오류영역으로 검출한다. (S17, S18)
만약 S14 단계에서 입력된 LB 가 0 이거나 S17 단계에서 B 가 0 인 경우에는 해당 매크로 블록(A)을 정상 보간 영역으로 검출한다. (S19)
보간 영상내 대비차가 큰 패턴이 존재하는 경우에는 블록(A) 내의 수평 픽셀정보 차이 또는 수직 픽셀정보 차이의 평균치 또는 최대치가 커지게 되므로, 블록 내 수평 픽셀정보 차이 또는 수직 픽셀정보 차이의 평균치 또는 최대치가 큰 값으로 산출되는 경우 상기 수식에 따라 블록 내 수평 픽셀정보 차이 또는 수직 픽셀정보 차이의 평균치 및 최대치를 함께 고려하여 보간 오류영역인지를 판단함으로서 보간 오류영역이 아닌 영역이 보간 오류영역으로 잘못 검출되는 것을 방지할 수 있게 된다.
상기 blocking 페널티 계수와 blocking 보너스 계수를 변화시킴에 따라, 보간 오류영역인지 여부를 판단하는 기준을 변경시키도록 할 수 있다. 즉 blocking 페널티 계수를 작게 설정하거나 blocking 보너스 계수를 크게 설정하는 경우 보간 오류영역에 해당하는 블록의 수가 많아지도록 할 수 있으며, blocking 페널티 계수를 크게 설정하거나 blocking 보너스 계수를 작게 설정하는 경우 보간 오류영역에 해당하는 블록의 수가 적어지도록 할 수 있다.
보간 프레임을 구성하는 모든 매크로 블록에 대하여 각 매크로 블록이 정상 보간영역인지 보간 오류영역인지 여부를 검출하는 S11 내지 S19의 단계를 수행함으로서 최종적으로 보간 프레임의 보간 오류영역을 검출하도록 한다. (S20)
도 7(a)는 종래의 움직임 보상 프레임 율 변환 기법을 통해 잘못 추정된 움직임벡터로 보간되어 block artifact로 인한 화질열화가 발생한 예시영상을 나타낸 도면이다.
도 7(b)는 보간 오류영역 검출부(110)를 통해 도 7(a)에 도시된 예시영상에 발생한 보간 오류영역을 검출하여 상기 검출된 보간 오류영역을 흰색으로 표시한 예시영상을 나타낸 도면으로서, blocking 페널티 계수와 blocking 보너스 계수는 각각 ηα = 0.5, ηβ = 0.8, β = 1 로 설정하였다.
도 7(a)와 도 7(b)에 도시된 예시영상으로부터 알 수 있듯이, 본 발명의 움직임 보상 보간 프레임의 보간 오류 은닉 장치(100)의 보간 오류영역 검출부(110)에 의하여 검출되어 도 7(b)에 흰색으로 도시된 보간 오류영역이 도 7(a)에 도시된 예시영상의 block artifact가 발생된 영역과 일치됨을 확인할 수 있다.
보간 오류영역 검출부(110)에 의해 보간 프레임의 보간 오류영역이 검출되면, 보간 오류영역 교정부는 상기 검출된 보간 오류영역을 보간에 사용된 전, 후 프레임의 동일 영역의 평균치로 교정하는 단계를 수행한다. (S21)
도 6은 보간 오류영역 교정부(120)에서 보간 오류영역을 교정하는 과정을 설명하기 위한 개략도로서, 현재 보간 프레임 F(n)과 보간 프레임을 형성하는데 참조된 전, 후 프레임에 해당하는 F(n-1) 및 F(n+1)을 시간순서에 따라 도시한 것이다.
M(n)은 현재 보간 프레임인 F(n)을 구성하는 매크로 블록 중 보간 오류영역으로 판단된 블록을 나타낸 것이고, 상기 M(n-1)은 F(n-1)을 구성하는 매크로 블록 중 상기 매크로 블록 M(n)의 위치에 대응되는 매크로 블록을 나타낸 것이다.
마찬가지로 M(n+1)은 상기 F(n+1)을 구성하는 매크로 블록 중 상기 매크로 블록 M(n)의 위치에 대응되는 매크로 블록을 나타낸 것이다.
보간 오류영역 교정부(110)는 보간 오류영역인 매크로 블록 M(n)을 보간을 위해 참조된 전, 후 프레임의 동일 영역에 해당하는 M(n-1)과 M(n+1)의 평균치로 교정하는 단계를 수행한다. (S21)
이와 같이 함으로서, 잘못 추정된 움직임 벡터로 인해 발생하는 block artifact와 같은 화질열화를 방지할 수 있게 된다.
보간 오류영역이 교정되면, 교정영역 경계 보정부(130)는 보간 오류영역이 교정된 보간 프레임을 구성하는 매크로 블록 단위로 순차적으로 접근하여(S22) 상기 보간 오류영역 교정부(120)에 의해 교정된 영역과 교정되지 않은 영역간의 경계를 매끄럽게 보정하는 단계를 수행한다.
f(x,n)를 시간좌표가 n인 보간 프레임을 구성하는 매크로 블록 내 좌표가 x인 픽셀의 픽셀정보라 하고, MS를 매크로 블록의 수직 또는 수평 크기, i를 보정을 위한 윈도우 인덱스(0≤i≤MS)라 하였을 때, 교정영역 경계 보정부(130)는 다음의 식에 의해 교정영역 경계를 보정하는 단계를 수행한다. (S24)
Figure 112008033984975-pat00011
상기 교정영역 경계의 보정은 보간 오류영역 교정부에 의해 교정된 보간 오 류영역 및 상기 교정된 영역에 인접한 매크로 블록이 함께 보정되도록 한다.
상기 교정영역 경계의 보정은 상기 교정된 보간 오류영역의 픽셀정보와 상기 교정된 보간 오류영역에 인접한 교정되지 않은 영역의 매크로 블록의 픽셀정보를 함께 고려하여 인덱스 i에 따라 순차적으로 보간하여 보정되도록 함으로서 교정영역의 경계부분이 매끄럽게 보정되도록 할 수 있다.
S22 내지 S24로 구성되는 교정영역 경계 보정 단계는 보간 오류영역 교정부(120)에 의해 교정된 보간 오류영역 중 정상 보간영역과 인접한 모든 매크로 블록과, 상기 정상 보간영역 중 상기 교정된 보간 오류영역에 인접한 모든 매크로 블록에 대하여 보정이 이루어질 때까지 수행되도록 하는 단계(S25)를 거쳐 완료되며, 이로써 움직임 보상 보간 프레임의 보간 오류 은닉 방법이 종료된다.
도 7(c)는 도 7(a)에 도시된 화질열화가 발생한 예시영상에 본 발명의 움직임 보상 보간 프레임의 보간 오류 은닉 방법이 적용되어 화질이 향상된 예시영상을 나타낸 도면이다.
도 7(c)에서 볼 수 있는 바와 같이, 본 발명에 따른 움직임 보상 보간 프레임의 보간 오류 은닉 장치에 의해 보간 오류영역을 검출하고, 상기 보간 오류영역을 전, 후 프레임의 동일영역의 평균치로 교정한 후, 교정영역과 교정되지 않은 영역의 경계를 보정한 경우, 보간 오류로 인한 block artifact와 같은 화질열화를 효과적으로 방지하여 보간 영상의 화질이 향상되었음을 확인할 수 있다.
현재 영상정보와 디스플레이 형식의 폭발적인 증가로 인해 프레임 율 변환 기법이 중요한 이슈로 떠오르고 있으며, 기존의 프레임 반복이나 시간적 필터링을 통한 선형 보간과 같은 단순한 알고리즘은 motion judder나 motion blur와 같은 화질열화를 유발하였다. 이와 같은 화질열화를 방지하기 위해, 블록단위 움직임 보상 보간 기법을 이용한 프레임 율 변환 알고리즘이 개발되었으나, 블록 인공 잡음(block artifact)과 같은 화질열화를 유발하게 되는 문제점이 있다.
상기와 같은 문제를 해결하기 위하여 본 발명은 움직임 보상 프레임 율 변환 기법을 통해 보간된 보간 프레임이 영상의 노이즈, 밝기 변화, 유사한 영상의 존재로 인한 다중 국부 최소값의 존재, 사물 차폐 등의 이유로 잘못 추정된 움직임 벡터로 보간되어 발생한 보간 오류영역을 검출하고 상기 검출된 보간 오류영역을 검출 전, 후 프레임의 동일영역의 평균치로 교정 후, 상기 교정된 영역의 경계를 매끄럽게 보정하여 block artifact와 같은 화질열화를 효과적으로 방지하는 기법을 제안하였다.
따라서 본 발명의 움직임 보상 보간 프레임의 보간 오류 은닉 장치 및 그 방법을 적용하면 블록단위 움직임 보상 보간 프레임에 발생할 수 있는 block artifact 로 인한 보간 프레임의 화질열화를 효과적으로 방지할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른 움직임 보상 보간 프레임의 보간 오류 은닉 장치가 적용된 프레임 율 변환 장치를 나타낸 블록도
도 2는 본 발명의 일 실시예에 따른 움직임 보상 보간 프레임의 보간 오류 은닉 장치를 나타낸 블록도
도 3은 본 발명의 일 실시예에 따른 움직임 보상 보간 프레임의 보간 오류 은닉 장치를 구성하는 보간 오류영역 검출부를 상세히 나타낸 블록도
도 4는 본 발명의 일 실시예에 따른 움직임 보상 보간 프레임의 보간 오류 은닉 방법을 설명하기 위한 플로우 챠트(Flow Chart)
도 5(a)는 종래의 움직임 보상 프레임 율 변환 기법을 통해 보간된 보간 프레임을 나타낸 개략도
도 5(b)는 본 발명의 일 실시예에 따른 움직임 보상 보간 프레임의 보간 오류 은닉 장치(100)를 구성하는 보간 오류영역 검출부(110)의 수평비교부(111)에서 도 5(a)에 도시된 한 매크로 블록(A)의 오른쪽 경계에서의 수평 픽셀정보 차이와 블록(A) 내 수평 픽셀정보 차이를 계산하는 과정을 설명하기 위한 개략도
도 5(c)는 본 발명의 일 실시예에 따른 움직임 보상 보간 프레임의 보간 오류 은닉 장치(100)를 구성하는 보간 오류영역 검출부(110)의 수직비교부(112)에서 도 5(a)에 도시된 한 매크로블록(A)의 아래쪽 경계에서의 수직 픽셀정보 차이와 블록(A) 내 수직 픽셀정보 차이를 계산하는 과정을 설명하기 위한 개략도
도 6은 본 발명의 일 실시예에 따른 움직임 보상 보간 프레임의 보간 오류 은닉 장 치(100)를 구성하는 보간 오류영역 교정부(120)에서 보간 오류영역을 교정하는 과정을 설명하기 위한 개략도
도 7(a)는 종래의 움직임 보상 프레임 율 변환 기법을 통해 잘못 추정된 움직임벡터로 보간되어 블록 인공 잡음(block artifact)으로 인한 화질열화가 발생한 예시영상을 나타낸 도면
도 7(b)는 본 발명의 일 실시예에 따른 보간 오류 은닉 장치(100)를 구성하는 보간 오류영역 검출부(110)를 통해 도 7(a)에 도시된 예시영상에 발생한 보간 오류영역을 검출하여 상기 검출된 보간 오류영역을 흰색으로 표시한 예시영상을 나타낸 도면
도 7(c)는 도 7(a)에 도시된 화질열화가 발생한 예시영상에 본 발명의 움직임 보상 보간 프레임의 보간 오류 은닉 방법이 적용되어 화질이 향상된 예시영상을 나타낸 도면
* 도면의 주요 부분에 대한 부호의 설명 *
100 : 보간 오류 은닉 장치 110: 보간 오류영역 검출부
111: 수평 비교부 112: 수직 비교부
113: 최대 및 차선치 검출부 114: 평균치 검출부
115: 오류 영역 판단부 120: 보간 오류영역 교정부
130: 교정영역 경계 보정부 200: 영상 분석부
210: 장면전환 검출부 220: 자막영역 검출부
300: 프레임 보간부 310: 움직임 추정부
320: 움직임 교정부 330: 움직임 보상부
400: SDRAM 메모리 인터페이스부 500: 움직임 보상 프레임 율 변환 장치

Claims (4)

  1. 블록단위 움직임 보상 프레임 율 변환 기법을 사용하여 보간된 보간 프레임을 구성하는 각 블록 세로 경계에서의 수평 픽셀정보 차이 및 가로 경계에서의 수직 픽셀정보 차이와 블록 내 수평 픽셀정보 차이 및 수직 픽셀정보 차이를 산출하는 단계와, 산출된 블록 세로 경계에서의 수평 픽셀정보 차이를 상기 블록 내 수평 픽셀정보 차이와 비교하고 산출된 블록 가로 경계에서의 수직 픽셀정보 차이를 블록 내 수직 픽셀정보 차이와 비교하는 단계와, 상기 블록 내 수평 픽셀정보 차이의 최대치와 평균치 및 블록 내 수직 픽셀정보 차이의 최대치와 평균치를 산출하는 단계와, 산출된 블록 내 수평 픽셀정보 차이의 최대치와 평균치 및 블록 내 수직 픽셀정보 차이의 최대치와 평균치를 반영하여 블록 인공 잡음(block artifact)이 발생한 보간 오류영역을 검출하는 단계로 이루어지는 보간 오류영역 검출단계와;
    상기 보간 오류영역 검출단계에 의해 검출된 보간 오류영역을 프레임 보간을 위해 사용된 전, 후 프레임의 동일 영역의 평균치로 교정하는 보간 오류영역 교정단계와;
    상기 보간 오류영역 교정단계에 의해 교정된 영역과 교정되지 않은 영역 간의 경계를 매끄럽게 보정하는 교정영역 경계 보정단계;
    를 포함하는 것을 특징으로 하는 움직임 보상 보간 프레임의 보간 오류 은닉 방법.
  2. 제 1항에 있어서, 상기 보간 오류영역 검출단계는,
    하기 수학식 1에 따라 수행되어 B=1인 경우 보간 오류영역인 것으로 검출하고 B=0인 경우 정상 보간 영역인 것으로 검출하는 것을 특징으로 하는 움직임 보상 보간 프레임의 보간 오류 은닉 방법.
    (수학식 1)
    Figure 112009059364820-pat00012
    여기서,
    Figure 112009059364820-pat00013
    d는 매크로 블록의 검사 방향(d=r인 경우 수평방향, d=c인 경우 수직방향)을 표시하기 위한 기호,
    ηα와 ηβ는 blocking 페널티 계수,
    β는 blocking 보너스 계수,
    S 는 매크로 블록 내 수평 또는 수직 픽셀정보 차이의 최대치,
    μ는 매크로 블록 내 수평 또는 수직 픽셀정보 차이의 평균치,
    T 는 blocking 임계값,
    k는 매크로블록의 크기(d=r인 경우 수평방향 픽셀수, d=c인 경우 수직방향 픽셀수)에서 1을 뺀 값,
    n은 매크로 블록을 구성하는 픽셀간의 라인을 구분하기 위하여 부여한 순번(n=0, 1, 2, ... , k),
    diff는 d=r인 경우 매크로 블록의 수평 픽셀정보 차이, d=c인 경우 매크로 블록의 수직 픽셀정보 차이를 의미한다.
  3. 삭제
  4. 삭제
KR1020080044302A 2008-05-14 2008-05-14 움직임 보상 보간 프레임의 보간 오류 은닉 방법 KR100935608B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020080044302A KR100935608B1 (ko) 2008-05-14 2008-05-14 움직임 보상 보간 프레임의 보간 오류 은닉 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080044302A KR100935608B1 (ko) 2008-05-14 2008-05-14 움직임 보상 보간 프레임의 보간 오류 은닉 방법

Publications (2)

Publication Number Publication Date
KR20090118487A KR20090118487A (ko) 2009-11-18
KR100935608B1 true KR100935608B1 (ko) 2010-01-07

Family

ID=41602446

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080044302A KR100935608B1 (ko) 2008-05-14 2008-05-14 움직임 보상 보간 프레임의 보간 오류 은닉 방법

Country Status (1)

Country Link
KR (1) KR100935608B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010080299A (ko) * 1998-10-23 2001-08-22 다니구찌 이찌로오, 기타오카 다카시 화상 복호화 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010080299A (ko) * 1998-10-23 2001-08-22 다니구찌 이찌로오, 기타오카 다카시 화상 복호화 장치

Also Published As

Publication number Publication date
KR20090118487A (ko) 2009-11-18

Similar Documents

Publication Publication Date Title
US7668392B2 (en) Block noise detecting and reducing method and apparatus, using comparison of adjacent pixel boundary differences with predicted pixel boundary differences
JP4847040B2 (ja) ビデオシーケンスでのティッカー処理
JP4162621B2 (ja) フレームレート変換時のフレーム補間方法およびその装置
US7663701B2 (en) Systems, methods, and apparatus for noise reduction
EP1585326A1 (en) Motion vector estimation at image borders for frame rate conversion
US7936950B2 (en) Apparatus for creating interpolation frame
US8373796B2 (en) Detecting occlusion
US20100284627A1 (en) Apparatus and methods for motion vector correction
US8254454B2 (en) Apparatus and method for reducing temporal noise
KR20060045005A (ko) 이미지 경계에서의 움직임 추정에 근거한 벡터
JP2004064788A (ja) デインタレーシング装置及び方法
KR100657261B1 (ko) 적응적 움직임 보상 보간 방법 및 장치
KR101000612B1 (ko) 신호 처리 장치 및 신호 처리 방법
EP2107521A2 (en) Detecting a border region in an image
CN111294545B (zh) 图像数据插值方法及装置、存储介质、终端
KR100935608B1 (ko) 움직임 보상 보간 프레임의 보간 오류 은닉 방법
US8451900B2 (en) System and method for global motion estimation using profile matching
KR20070020996A (ko) 칼라 에러 보정장치 및 그 방법
US8411200B2 (en) Video signal processing device, method, and non-transitory computer readable medium storing image processing program capable of producing an appropriate interpolation frame
KR100561461B1 (ko) 프레임 레이트 변환 시 움직임 벡터 검출 장치 및 방법
US8243814B2 (en) Combing artifacts detection apparatus and combing artifacts detection method
KR20080090145A (ko) 정지자막 영역의 움직임 보상 보간 장치 및 방법
JP2007243627A (ja) ビデオ信号処理装置
KR100874380B1 (ko) 변형된 소벨 연산자를 이용한 디인터레이싱 장치 및 방법, 그리고 기록매체
KR100850710B1 (ko) 위상 정정 필드를 이용한 적응적 디-인터레이싱 방법 및그 장치와, 이를 구현하기 위한 프로그램이 기록된 기록매체

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121228

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20131230

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee