KR100885234B1 - 공간적 에러은닉 장치 및 방법 - Google Patents

공간적 에러은닉 장치 및 방법 Download PDF

Info

Publication number
KR100885234B1
KR100885234B1 KR1020060134825A KR20060134825A KR100885234B1 KR 100885234 B1 KR100885234 B1 KR 100885234B1 KR 1020060134825 A KR1020060134825 A KR 1020060134825A KR 20060134825 A KR20060134825 A KR 20060134825A KR 100885234 B1 KR100885234 B1 KR 100885234B1
Authority
KR
South Korea
Prior art keywords
block
boundary
pixel
search
region
Prior art date
Application number
KR1020060134825A
Other languages
English (en)
Other versions
KR20080060561A (ko
Inventor
정제창
박선규
김원기
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020060134825A priority Critical patent/KR100885234B1/ko
Publication of KR20080060561A publication Critical patent/KR20080060561A/ko
Application granted granted Critical
Publication of KR100885234B1 publication Critical patent/KR100885234B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

공간적 에러은닉 장치 및 방법이 개시된다. 제1경계정합부는 에러가 발생한 손실블록의 상부와 하부에 인접하는 인접블록 각각에 대해 손실블록과의 경계로부터 L개의 픽셀열로 구성된 제1탐색블록을 설정하고, 인접블록 중에서 손실블록의 수직방향에 위치하는 상하부인접블록 각각에 대해 제1탐색블록의 경계로부터 제1기준블록을 설정한 후 제1기준블록과 동일한 크기의 탐색윈도우를 제1탐색블록 상에서 이동시키면서 제1탐색블록으로부터 제1기준블록과 가장 유사한 제1경계블록을 검출한다. 제1보간부는 검출된 제1경계블록을 기초로 생성한 복원패치를 손실블록의 상하부경계로부터 순차적으로 삽입하여 사전에 설정된 개수의 픽셀열로 이루어지는 손실블록의 상부경계영역과 하부경계영역을 복원한다. 제2경계정합부는 경계영역 각각에 대해 사전에 설정된 개수의 픽셀열로 구성된 제2탐색블록을 설정하고, 경계영역 각각에 대해 제2기준블록을 설정한 후 제2기준블록과 동일한 크기의 탐색윈도우를 대향하는 경계영역에 위치한 제2탐색블록 상에서 이동시키면서 제2탐색블록으로부터 제2기준블록과 가장 유사한 제2경계블록을 검출하여 에지방향을 파악한다. 제2보간부는 파악된 에지방향에 따라 상하부경계영역의 단부에 위치한 픽셀들을 포함하는 픽셀열에 대해 가중 보간을 수행하여 얻어진 복원블록에 의해 손실블록의 미복원영역을 복원한다.

Description

공간적 에러은닉 장치 및 방법{Apparatus and method for spatial error concealment}
도 1은 본 발명에 따른 공간적 에러 은닉 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 탐색블록 및 기준블록의 크기가 각각 L×M(픽셀) 및 L×M/2(픽셀)로 설정되는 경우에 제1경계정합부가 탐색블록으로부터 기준블록 각각과 가장 유사한 경계블록을 검출하는 과정을 도시한 도면,
도 3은 상부인접블록(BT)에 대해 설정된 크기가 2×8(픽셀)인 기준블록(BR1)과 크기가 2×16(픽셀)인 탐색블록(BS1)으로부터 검출된 경계블록을 기초로 복원패치를 생성하는 과정을 도시한 도면,
도 4는 제1보간부에 의해 손실블록(BLost)의 일부가 복원된 결과를 도시한 도면,
도 5a 및 도 5b는 각각 상부경계영역 및 하부경계영역에 대해 설정된 기준블록과 가장 유사한 경계블록을 검출하는 과정을 도시한 도면,
도 6은 선택적인 보간을 수행하기 위한 제2보간부의 구성을 도시한 도면, 그리고,
도 7은 본 발명에 따른 공간적 에러 은닉 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
본 발명은 공간적 에러은닉 장치 및 방법에 관한 것으로, 보다 상세하게는, 영상 데이터의 손상된 블록을 공간적으로 복원하는 에러은닉 장치 및 방법에 관한 것이다.
일반적으로, H.263, H.264, MPEG-4와 같은 대부분의 영상 부호화 기술은 가변장 부호화(VLC: Variable Length Coding)와 공간 및 움직임 예측 방법(Spatial and Motion Prediction) 등의 영상 압축 방법을 이용하고 있다. 그런데 가변장 부호화 기술에 의해 압축된 영상은 에러가 있는 채널 환경에 매우 취약하여 단지 한 비트의 에러에 의해서도 영상 복호화 도중에 동기를 잃어버리는 문제가 있다. 또한, 예측 부호화(Prediction Coding) 기술에 의해 부호화된 영상은 복호시 일부 데이터에서 발생한 에러가 전체 영상에 전파되는 문제가 있다. 이러한 이유로 인해 부호화된 영상의 채널 전송, 저장매체에서 기록, 저장매체로부터의 읽기 중에 발생하는 에러는 복원된 영상의 화질 저하의 원인이 된다. 따라서 이러한 전송 환경에서 발생하는 에러에 의한 피해를 최소화하기 위해 에러에 강인한 부호화 방법, 에러가 발생한 경우에 에러를 은닉하는 방법 등에 대한 연구가 활발히 진행되어 왔다. 이 중에서 에러 은닉(Error concealment) 방법은 정상적으로 복원된 시간적 혹 은 공간적 이웃 블록 정보를 이용하여 손상된 블록을 인간의 눈에 최대한 띄지 않도록 복원함으로써 에러를 은닉시키는 방법이다. 이러한 에러 은닉 방법은 복호 과정에서 얻어낸 손실된 블록 주변의 정보를 이용하여 에러가 발생한 블록을 복원하는 기법으로서, 부호화기의 변형이 필요 없고 부호화 비트량의 증가를 가져오지 않는다는 이점이 있다.
현재 제시되어 있는 에러 은닉 방법은 크게 공간적 에러 은닉 방법(Spatial Error Concealment: SEC)과 시간적 에러 은닉 방법(Temporal Error Concealment: TEC)으로 분류할 수 있다. 공간적 에러 은닉 방법은 공간 영역에서 이웃 화소들 사이에는 갑작스러운 밝기 변화가 없다고 가정하고, 주변의 올바르게 복호된 블록들의 화소값을 이용하여 손실된 블록을 보간하는 방법이다. 또한, 시간적 에러 은닉 방법은 시간적으로 연속된 화면 사이에 존재하는 유사성을 이용하여 현재 영상에서 손상된 블록에 대한 참조 영상에서 가장 유사한 블록을 찾아 은닉하는 방법이다. 이때 공간적 에러 은닉 방법은 손실된 블록이 속해 있는 화면 내에서 얻어진 정보를 이용하여 손실된 블록을 복원하므로, 시간적 에러 은닉 방법에 비해 복원과정이 간단하다는 이점이 있다.
그러나 기존에 제안된 대부분의 에러 은닉 방법들은 블록 단위로 영상의 공간적 특성을 규정하고 이를 바탕으로 영상을 복원하는 방식을 취하고 있다. 이러한 종래의 공간적 에러 은닉 방법들은 손실된 블록에 대해 방향성 보간을 행하기 위해 간소화된 에지 모델들을 사용하고 있으며, 이 경우, 평탄한 영역과 단순한 에지 특성을 갖는 영역에서는 양호한 블록 복원 성능을 보인다. 그러나 영상 컨텐츠가 세 밀하거나 복잡한 영역에서 종래의 공간적 에러 은닉 방법에 의해 복원된 영상의 화질은 우수하지 못하다는 문제가 있다.
이러한 종래의 공간적 에러 은닉 방법의 문제점을 극복하기 위해 Sun과 Kwok은 POCS(Projections Onto Convex Sets) 기법을 제안한 바 있다. POCS 기법은 영상 복원을 위한 복합적 매핑 알고리즘의 특수한 예로서, 에러가 발생하지 않은 블록의 특성을 가지고 있으면서 원래의 블록에 가까운 닫힌 convex sets로의 투영 연산자를 도출하여 손실된 블록을 복원하는 방법이다. 또한, 픽셀 기반으로 통계적 모델을 적용하는 기법이나 라인 기반으로 POCS을 적용하여 손실된 영상의 에지나 텍스쳐와 같은 복잡한 영역에서의 복원능력을 향상시킨 기법도 존재한다. 그러나 이러한 에러 은닉 방법들은 이전의 방식들에 비해 우수한 성능을 보이지만, 통계적 모델링이나 적응적인 POCS를 수행함에 있어 높은 복잡도를 요구한다는 단점이 있다.
한편, 미국공개특허공보 제2006-62304호에는 손실된 블록의 상하에 위치한 정상적인 블록의 경계영역의 데이터를 기초로 에러를 은닉하는 방법이 개시되어 있다. 미국공개특허공보 제2006-62304호에 개시된 에러 은닉 방법은 먼저 손실된 블록의 상부에 위치한 세개의 이웃 블록의 경계영역(예를 들면, 블록의 크기가 16×16 픽셀일 때 1×16의 슬라이스)에서 손실된 블록의 하부에 위치한 블록의 경계영역과 가장 유사한 영역을 검출하여 에지방향을 파악한다. 다음으로 손실된 블록의 상부와 하부에 위치한 유사한 영역들의 대응되는 픽셀값에 의해 파악된 에지방향으로 가중 보간을 수행하여 손실된 블록의 픽셀값을 복원한다. 이러한 과정은 손실된 블록의 하부에 위치한 세개의 이웃 블록의 경계영역과 손실된 블록의 상부에 위치 한 블록의 경계영역에 대해서도 동일하게 수행된다. 이때 복원과정에서 중첩적으로 복원이 수행된 영역에 대해서는 각각의 복원과정에서 얻어진 픽셀값의 평균값을 취하게 된다. 이와 같은 에러 은닉 방법은 복원과정이 간단하여 장치의 복잡도가 감소되는 이점이 있으나, 손실된 블록의 상부와 하부 블록의 경계영역의 유사도를 기초로 에지방향을 파악하고 있어 손실된 블록의 정확한 에지방향의 검출이 곤란한 문제가 있다. 또한, 손실된 블록의 픽셀값을 상부와 하부 블록에서 검출된 유사한 경계영역의 픽셀값을 이용하므로, 손실된 블록의 상부와 하부의 에지방향이 상이하거나 손실된 블록에 부분적인 에지가 있을 경우에 복원된 블록의 화질이 저하된다는 문제가 있다.
본 발명이 이루고자 하는 기술적 과제는 부호화된 영상에서 슬라이스 단위의 에러가 발생한 경우에 손상된 블록의 상부영역과 하부영역 각각에 대해 세밀한 에지 방향을 검출하여 각각의 영역별로 영상을 복원하여 높은 복원 화질을 얻는 동시에 장치의 복잡도를 감소시킬 수 있는 공간적 에러 은닉 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 기술적 과제는 부호화된 영상에서 슬라이스 단위의 에러가 발생한 경우에 손상된 블록의 상부영역과 하부영역 각각에 대해 세밀한 에지 방향을 검출하여 각각의 영역별로 영상을 복원하여 높은 복원 화질을 얻는 동시에 장치의 복잡도를 감소시킬 수 있는 공간적 에러 은닉 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있 다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 공간적 에러 은닉 장치는, 에러가 발생한 손실블록의 상부와 하부에 인접하는 인접블록 각각에 대해 상기 손실블록과의 경계로부터 L개의 픽셀열로 구성된 제1탐색블록을 설정하고, 상기 인접블록 중에서 상기 손실블록의 수직방향에 위치하는 상부인접블록 및 하부인접블록 각각에 대해 상기 제1탐색블록의 경계로부터 제1기준블록을 설정한 후 상기 제1기준블록과 동일한 크기의 탐색윈도우를 상기 제1탐색블록 상에서 이동시키면서 상기 제1탐색블록으로부터 상기 제1기준블록과 가장 유사한 제1경계블록을 검출하는 제1경계정합부; 상기 검출된 제1경계블록을 기초로 생성한 복원패치를 상기 손실블록의 상부경계 및 하부경계로부터 순차적으로 삽입하여 사전에 설정된 개수의 픽셀열로 이루어지는 상기 손실블록의 상부경계영역과 하부경계영역을 복원하는 제1보간부; 상기 경계영역 각각에 대해 복수개의 픽셀열로 구성된 제2탐색블록을 설정하고, 상기 경계영역 각각에 대해 제2기준블록을 설정한 후 상기 제2기준블록과 동일한 크기의 탐색윈도우를 대향하는 경계영역에 위치한 제2탐색블록 상에서 이동시키면서 상기 제2탐색블록으로부터 상기 제2기준블록과 가장 유사한 제2경계블록을 검출하여 에지방향을 파악하는 제2경계정합부; 및 상기 파악된 에지방향에 따라 상기 상부경계영역과 하부경계영역의 단부에 위치한 픽셀들을 포함하는 픽셀열에 대해 가중 보간을 수행하여 얻어진 복원블록에 의해 상기 손실블록의 미복원영역을 복원하는 제2보간부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한, 본 발명에 따른 공간적 에러 은닉 방법은, (a) 에러가 발생한 손실블록의 상부와 하부에 인접하는 인접블록 각각에 대해 상기 손실블록과의 경계로부터 L개의 픽셀열로 구성된 제1탐색블록을 설정하고, 상기 인접블록 중에서 상기 손실블록의 수직방향에 위치하는 상부인접블록 및 하부인접블록 각각에 대해 상기 제1탐색블록의 경계로부터 제1기준블록을 설정하는 단계; (b) 상기 제1기준블록과 동일한 크기의 탐색윈도우를 상기 제1탐색블록 상에서 이동시키면서 상기 제1탐색블록으로부터 상기 제1기준블록과 가장 유사한 제1경계블록을 검출하는 단계; (c) 상기 검출된 제1경계블록을 기초로 생성한 복원패치를 상기 손실블록의 상부경계 및 하부경계로부터 순차적으로 삽입하여 사전에 설정된 개수의 픽셀열로 이루어지는 상기 손실블록의 상부경계영역과 하부경계영역을 복원하는 단계; (d) 상기 경계영역 각각에 대해 복수개의 픽셀열로 구성된 제2탐색블록을 설정하고, 상기 경계영역 각각에 대해 제2기준블록을 설정하는 단계; (e) 상기 제2기준블록과 동일한 크기의 탐색윈도우를 대향하는 경계영역에 위치한 제2탐색블록 상에서 이동시키면서 상기 제2탐색블록으로부터 상기 제2기준블록과 가장 유사한 제2경계블록을 검출하여 에지방향을 파악하는 단계; 및 (f) 상기 파악된 에지방향에 따라 상기 상부경계영역과 하부경계영역의 단부에 위치한 픽셀들을 포함하는 픽셀열에 대해 가중 보간을 수행하여 얻어진 복원블록에 의해 상기 손실블록의 미복원영역을 복원하는 단계;를 갖는다.
이에 의해 부호화된 영상에서 슬라이스 단위의 에러가 발생한 경우에 손상된 블록의 상부영역과 하부영역 각각에 대해 세밀한 에지 방향을 검출하여 각각의 영 역별로 영상을 복원하여 높은 복원 화질을 얻는 동시에 장치의 복잡도를 감소시킬 수 있다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 공간적 에러 은닉 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 공간적 에러 은닉 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 공간적 에러 은닉 장치(100)는 제1경계정합부(110), 제1보간부(120), 제2경계정합부(130) 및 제2보간부(140)를 구비한다.
제1경계정합부(110)는 에러가 발생한 손실블록의 상부와 하부에 인접하는 인접블록 각각에 대해 손실블록과의 경계로부터 L개의 픽셀열로 구성된 탐색블록을 설정하고, 인접블록 중에서 손실블록의 수직방향에 위치하는 상부인접블록 및 하부인접블록 각각에 대해 탐색블록의 경계로부터 기준블록을 설정한 후 기준블록과 동일한 크기의 탐색윈도우를 탐색블록 상에서 이동시키면서 탐색블록으로부터 기준블록과 가장 유사한 경계블록을 검출한다. 이때 손실블록의 상부에 인접하는 상부인접블록 및 하부에 인접하는 하부인접블록의 크기가 M×M(픽셀)일 때 탐색블록 및 기준블록의 크기는 각각 L×2M(픽셀) 및 L×M(픽셀)로 설정되거나 L×M(픽셀) 및 L×M/2(픽셀)로 설정된다. 만약 탐색블록 및 기준블록의 크기가 각각 L×M(픽셀) 및 L×M/2(픽셀)로 설정되면, 제1경계정합부(110)는 각각의 인접블록의 동일한 픽셀열 상에서 복수개의 기준블록을 설정한 후 각각의 기준블록의 수직방향의 중심선을 기준으로 -M/2번째의 픽셀로부터 M/2번째의 픽셀까지로 설정되는 탐색블록 상에서 탐 색윈도우를 이동시키면서 탐색블록으로부터 기준블록 각각과 가장 유사한 경계블록을 검출한다.
도 2에는 탐색블록 및 기준블록의 크기가 각각 L×M(픽셀) 및 L×M/2(픽셀)로 설정되는 경우에 제1경계정합부(110)가 탐색블록으로부터 기준블록 각각과 가장 유사한 경계블록을 검출하는 과정이 도시되어 있다.
도 2를 참조하면, 크기가 16×16(픽셀)인 매크로 블록 중에서 중앙에 위치한 손실블록(BLost)의 상부에 인접하는 상부인접블록(BT)에 대해 손실블록(BLost)과의 경계로부터 2픽셀 떨어진 지점의 동일한 픽셀열 상에서 크기가 2×8(픽셀)인 두개의 기준블록(BR1, BR2)이 설정된다. 그리고 각각의 기준블록(BR1, BR2)에 대해 크기가 2×16인 탐색블록(BS1, BS2)이 설정된다. 이때 탐색블록(BS1, BS2)은 손실블록(BLost)과 기준블록(BR) 사이에 위치하며, 기준블록(BR)과 중심선이 일치되도록 설정된다. 이와 같이 기준블록(BR1, BR2)과 탐색블록(BS1, BS2)을 설정한 후, 제1경계정합부(110)는 기준블록(BR1, BR2)과 동일한 크기를 갖는 탐색윈도우를 탐색블록(BS1, BS2) 상에서 이동시키면서 각각의 이동시에 탐색윈도우 내에 위치하는 픽셀들과 이에 대응하는 기준블록(BR1, BR2)의 픽셀들 사이의 유사도를 파악한다. 또한, 제1경계정합부(110)는 하부인접블록(BB)에 대해서도 동일하게 기준블록(BR3, BR3)과 동일한 크기를 갖는 탐색윈도우를 탐색블록(BS3, BS4) 상에서 이동시키면서 각각의 이동시에 탐 색윈도우 내에 위치하는 픽셀들과 이에 대응하는 기준블록(BR3, BR4)의 픽셀들 사이의 유사도를 파악한다. 이와 같은 제1경계정합부(110)에 의한 유사도 파악과정은 다음의 수학식으로 표현될 수 있다.
Figure 112006096917259-pat00001
여기서, MADTOP1, MADTOP2, MADBOT1 및 MADBOT2는 탐색윈도우를 각각의 탐색블록(BS1, BS2, BS3, BS4) 상에서 이동시키면서 얻어진 기준블록(BR1, BR2, BR3, BR4)과 탐색블록(BS1, BS2, BS3, BS4) 사이의 평균절대오차이고, i와 j는 손실블록(BLost)의 좌상꼭지점의 좌표이고, shift는 탐색윈도우의 이동범위로서 -4에서 4까지의 값을 갖는다. 이때 shift값이 음수인 경우에는 탐색윈도우가 중심선으로부터 좌방향에 위치함을 의미한다.
다음으로, 제1경계정합부(110)는 각각의 탐색윈도우의 이동시에 얻어진 기준블록(BR1, BR2, BR3, BR4)과 탐색블록(BS1, BS2, BS3, BS4) 사이의 평균절대오차 중에서 최소인 평균절대오차에 해당하는 시점의 탐색윈도우 내에 위치하는 픽셀들로 구성된 경계블록을 검출한다. 이때 경계블록이 검출된 시점의 탐색윈도우의 이동범위에 해당하는 값이 이동계수로서 정의된다. 일예로, 이동계수가 -2이면 경계블록이 기준블록(BR1, BR2, BR3, BR4)을 기준으로 좌방향으로 2픽셀지점에 위치함을 나타낸다.
제1보간부(120)는 검출된 경계블록을 기초로 생성한 복원패치를 손실블록의 상부경계 및 하부경계로부터 순차적으로 삽입하여 사전에 설정된 개수의 픽셀열로 이루어지는 손실블록의 상부경계영역과 하부경계영역을 복원한다. 이때 탐색블록 및 기준블록의 크기가 각각 2×16(픽셀) 및 2×8(픽셀)로 설정되는 경우에 제1보간부(120)는 손실블록의 수직방향의 중심선을 기준으로 경계블록 각각으로부터 생성한 복원패치를 손실블록의 상부경계 및 하부경계로부터 순차적으로 삽입하여 손실블록의 상부경계영역 및 하부경계영역을 복원한다.
도 3에는 상부인접블록(BT)에 대해 설정된 크기가 2×8(픽셀)인 기준블록(BR1)과 크기가 2×16(픽셀)인 탐색블록(BS1)으로부터 검출된 경계블록을 기초로 복원패치를 생성하는 과정이 도시되어 있다.
도 3을 참조하면, 제1보간부(120)는 제1경계정합부(110)에 의해 검출된 기준블록(BR1)과 최소의 평균절대차이를 갖는 경계블록(310)을 구성하는 두개의 픽셀열 중에서 손실블록(BLost)의 경계에 인접한 픽셀열(320)을 복원패치를 생성하기 위한 기본패치로 선택한다. 다음으로 제1보간부(120)는 기본패치의 양단부 중에서 기준블록(BR1)과 경계블록(310)에 의해 추정된 에지방향(즉, 이동계수의 부호에 대응하는 방향)에 해당하는 단부(즉, 기본패치의 왼쪽 단부)로부터 다음의 수학식에 의해 결정된 제거계수에 해당하는 개수의 픽셀을 제거한다.
Figure 112006096917259-pat00002
여기서, D는 제거계수, SHIFT는 기준블록(BR1)과 경계블록(310)의 상대적 위치차이, N은 복원패치의 생성횟수, 그리고, L은 경계블록(310)을 구성하는 픽셀열의 개수이다.
도 3에 도시된 실시예가 첫번째 복원패치를 생성하는 경우일 때, SHIFT, N 및 L은 각각 -2, 1 및 2이므로, 제거계수 D는 3이된다. 따라서 제1보간부(120)는 기본패치의 왼쪽 단부로부터 3개의 픽셀이 제거된 픽셀열(330)을 생성한다. 다음으로, 제1보간부(120)는 기본패치의 왼쪽 단부로부터 3개의 픽셀이 제거된 픽셀열(330)의 오른쪽 단부에 3개의 픽셀을 추가하여 복원패치(340)를 생성한다. 이때 추가되는 3개의 픽셀은 기본패치의 오른쪽 단부로부터 3개의 픽셀 또는 경계블록(310)의 오른쪽 단부로부터 해당 픽셀열과 동일한 선상에 위치하는 3개의 픽셀을 추출하여 얻어질 수 있다. 이와 달리, 복원될 영역의 좌우에 픽셀들이 존재할 경우에는 해당 복원될 영역으로부터 가까운 지점에 위치한 픽셀로부터 3개의 픽셀을 추출할 수도 있다. 만약 SHIFT가 홀수인 경우에는 추가되는 픽셀 중에서 가장 단부에 위치한 픽셀의 경우에는 인접하는 픽셀과의 중간값으로 설정하는 것이 바람직하다.
도 4는 제1보간부(120)에 의해 손실블록(BLost)의 일부가 복원된 결과를 도시 한 도면이다. 도 4를 참조하면, 제1보간부(120)에 의해 손실블록(BLost)에서 각각 4개의 픽셀열로 이루어지는 상부경계영역(410)과 하부경계영역(420)이 복원되었으며, 중앙의 8개 픽셀열이 미복원상태로 존재한다.
한편 도 3을 참조하여 설명한 실시예는 기준블록(BR1) 및 탐색블록(BS1)의 크기가 각각 2×8(픽셀) 및 2×16(픽셀)일 때, 에지방향을 고려하여 픽셀 단위로 복원하는 경우에 해당한다. 그러나 기준블록(BR1) 및 탐색블록(BS1)의 높이에 해당하는 픽셀 단위로 복원이 수행될 수 있으며, 이경우 수학식 2는 다음과 같이 수정된다.
Figure 112006096917259-pat00003
여기서, D는 제거계수, SHIFT는 기준블록(BR1)과 경계블록(310)의 상대적 위치차이, 그리고, N은 복원패치의 생성횟수이다.
나아가 에지방향을 고려하지 않고 복원을 수행할 수도 있으며, 이때 수학식 2와 수학식 3에서 N은 1로 고정된다.
제2경계정합부(130)는 손실블록의 상부경계영역 및 하부경계영역 각각에 대해 복수개의 픽셀열로 구성된 탐색블록을 설정하고, 각각의 경계영역에 대해 기준블록을 설정한 후 기준블록과 동일한 크기의 탐색윈도우를 서로 대향하는 경계영역에 위치한 탐색블록 상에서 이동시키면서 탐색블록으로부터 기준블록과 가장 유사한 경계블록을 검출한다.
도 5a 및 도 5b는 각각 상부경계영역 및 하부경계영역에 대해 설정된 기준블 록과 가장 유사한 경계블록을 검출하는 과정을 도시한 도면이다.
도 5a를 참조하면, 제2경계정합부(130)는 제1보간부(120)에 의해 복원된 하부경계영역(BB')의 단부에 위치한 픽셀열과 해당 픽셀열로부터 손실블록(BLost)의 수평방향으로 인접하는 인접블록(BL, BR)으로 연장되는 픽셀열로 구성된 탐색블록(BS1')을 설정하고, 상부경계영역(BT')의 단부에 위치한 픽셀열로 구성되는 기준블록(BR1')을 설정한다. 다음으로, 제2경계정합부(130)는 기준블록(BR1')과 동일한 크기의 탐색윈도우를 탐색블록(BS1') 상에서 이동시키면서 탐색블록(BS1')으로부터 기준블록(BR1')과 가장 유사한 경계블록을 검출한다. 이러한 경계블록검출과정은 도 5b에 도시된 바와 같은 상부경계영역(BT')의 단부에 위치한 픽셀열과 해당 픽셀열로부터 손실블록(BLost)의 수평방향으로 인접하는 인접블록(BL, BR)으로 연장되는 픽셀열로 구성된 탐색블록(BS2')과 하부경계영역(BB')의 단부에 위치한 픽셀열로 구성되는 기준블록(BR2')에 대해서도 동일하게 수행된다. 상술한 바와 같은 제2경계정합부(130)에 의한 경계블록의 검출은 다음의 수학식으로 표현될 수 있다.
Figure 112006096917259-pat00004
여기서, DT(x) 및 DB(x)는 각각 탐색윈도우를 각각의 탐색블록(BS1', BS2') 상에서 이동시키면서 얻어진 기준블록(BR1', BR2')과 탐색블록(BS1', BS2') 사이의 평균절대오차이고, i는 탐색블록(BS1', BS2')의 좌상꼭지점을 기준으로 한 수평방향으로의 좌표값이고, x는 탐색윈도우의 이동범위로서 -N에서 N(블록의 크기가 16×16일 때, N은 16으로 설정됨)까지의 값을 갖는다. 이때 x가 음수인 경우에는 탐색윈도우가 중심선으로부터 좌방향에 위치함을 의미한다.
다음으로, 제2경계정합부(130)는 각각의 탐색윈도우의 이동시에 얻어진 기준블록(BR1', BR2')과 탐색블록(BS2', BS1') 사이의 평균절대오차 중에서 최소인 평균절대오차에 해당하는 시점의 탐색윈도우 내에 위치하는 픽셀들로 구성된 경계블록을 검출한다. 이때 검출된 경계블록과 기준블록(BR1', BR2')의 대응되는 픽셀의 위치를 기초로 다음의 수학식에 의해 공간방향벡터가 결정된다.
Figure 112006096917259-pat00005
여기서, SDVT 및 SDVB는 각각 상부경계영역에서 정의된 기준블록(BR1', BR2')과 이에 대응하여 검출된 경계블록 사이의 공간방향벡터 및 하부경계영역에서 정의된 기준블록과 이에 대응하여 검출된 경계블록 사이의 공간방향벡터이고, N은 기준블록(BR1', BR2')의 길이방향의 픽셀수이며, M은 각각의 경계영역에 대해 제1보간 부(120)에 의해 복원된 픽셀열의 개수이다.
제2보간부(140)는 파악된 공간방향벡터에 따라 상부경계영역과 하부경계영역의 단부에 위치한 픽셀들을 포함하는 픽셀열에 대해 가중 보간을 수행하여 얻어진 복원블록에 의해 손실블록(BLost)의 미복원영역을 복원한다. 이때 제2보간부(140)는 다음의 수학식에 의해 두개의 복원블록을 생성한다.
Figure 112006096917259-pat00006
여기서, B(i,j)는 복원블록을 구성하는 픽셀이고, d는 복원블록을 구성하는 픽셀을 생성하기 위한 상부경계영역의 단부에 위치한 픽셀들을 포함하는 픽셀열과 이에 대응하는 상부경계영역의 단부에 위치한 픽셀들을 포함하는 픽셀열들 중에서 공간방향벡터의 방향을 따라 대응되는 픽셀들 사이의 거리로서 d=dB+dT이다. 또한, xB와 xT는 미복원영역의 (i,j)를 지나는 직선이 각각의 공간방향벡터의 방향을 따라 미복원영역의 경계와 만나는 지점의 좌표로서 기준블록(BR1', BR2')에 따라 다음의 수학식으로 표현된다.
Figure 112006096917259-pat00007
또한 dB와 dT는 각각 보간될 화소로부터 각각의 공간방향벡터의 방향을 따라 기준블록(BR1', BR2')과 이에 대응하는 경계블록까지의 거리로서, 기준블록(BR1', BR2')에 따라 얻어진 xB와 xT를 기초로 다음의 수학식에 의해 얻어진다.
Figure 112006096917259-pat00008
수학식 6 내지 수학식 8에 의하면, 보간될 화소의 위치가 하부경계영역과 가까우면 하부기준블록(BB)의 경계에 위치한 픽셀의 가중치는 dT의 증가로 인해 커지게 된다.
제2보간부(140)는 상술한 바와 같은 과정을 수행하여 손실블록(BLost)의 미복원영역에 대해 생성한 두개의 복원블록을 조합하여 최종적인 복원블록을 생성한다. 이때 제2보간부(140)는 두개의 복원블록의 동일한 위치의 픽셀값에 대해 다음의 수학식에 의한 가중평균합을 산출하여 손실블록(BLost)의 미복원영역을 복원한다.
Figure 112006096917259-pat00009
,
여기서, Bc(i,j)는 손실블록(BLost)의 미복원영역에서의 픽셀위치, DT는 상부경계영역에 대해 설정된 기준블록(BR1')과 하부경계영역에서 검출된 경계블록 사이의 최소평균절대오차, DB는 하부경계영역에 대해 설정된 기준블록(BR2')과 상부경계영역에서 검출된 경계블록 사이의 최소 평균절대오차, B1(i,j)는 상부경계영역에 대해 설정된 기준블록(BR1')으로부터 얻어진 복원블록, 그리고, B2(i,j)는 하부경계영역에 대해 설정된 기준블록(BR2')으로부터 얻어진 복원블록이다.
수학식 9를 참고하면, DT가 가장 작은 값일 때 복원된 블록 B1과 이웃한 상부기준블록(BT)간의 에지의 차이가 가장 작다는 것을 의미하므로, 손실블록(BLost)이 가장 잘 복원될 수 있음을 예측할 수 있다. 따라서 DT가 DB보다 작다면, 복원된 블록 B1의 가중치로 사용되고 DB는 가장 잘 복원된 블록 B2의 가중치로 사용되어 보다 양호한 품질의 복원블록을 얻을 수 있게 된다.
한편 공간방향벡터를 기초로 손실블록(BLost)의 미복원영역을 복원하는 과정 은 수학식 4에 의해 얻어진 평균절대오차의 최소값이 0(즉, 에지방향이 수직인 경우)이면, 이웃한 블록들 사이에 큰 에지가 흐르거나 손실블록(BLost)이 평탄한 영역이라는 것을 의미한다. 따라서 이 경우에 상부경계영역과 하부경계영역을 포함하는 픽셀열을 구성하는 각각의 픽셀열에 대해 최단거리에 위치하는 픽셀들에 대해 가중보간을 수행한다. 이경우 복원블록은 다음의 수학식에 의해 얻어진다.
Figure 112006096917259-pat00010
여기서, d=M-1이고, i 및 j는 1보다 크고 N보다 작은 정수이다.
도 6에는 이러한 선택적인 보간을 수행하기 위한 제2보간부(140)의 구성이 도시되어 있다.
도 6을 참조하면, 제2보간부(140)는 제1모드보간부(610), 제2모드보간부(620) 및 보간모드선택부(630)를 구비한다.
제1모드보간부(610)는 기준블록(BR1', BR2')과 경계블록에 의해 추정한 에지방향을 기초로 상부경계영역과 하부경계영역의 단부에 위치한 픽셀들을 포함하는 픽셀열에 대해 가중 보간을 수행하여 얻어진 복원블록에 의해 손실블록(BLost)의 미복원영역을 복원한다. 제2모드보간부(620)는 상부경계영역과 하부경계영역의 서로 대향하는 픽셀열을 기초로 가중보간을 수행하여 손실블록(BLost)의 미복원영역을 복원한다. 보간모드선택부(630)는 평균절대오차의 최소값이 사전에 설정된 기준값보 다 작으면 제1모드보간부(610)에 의해 손실블록(BLost)의 미복원영역을 복원하도록 제어하고, 평균절대오차의 최소값이 사전에 설정된 기준값보다 크거나 같으면 제2모드보간부(620)에 의해 손실블록(BLost)의 미복원영역을 복원하도록 제어한다.
도 7은 본 발명에 따른 공간적 에러 은닉 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 7을 참조하면, 제1경계정합부(110)는 에러가 발생한 손실블록의 상부와 하부에 인접하는 인접블록 각각에 대해 손실블록과의 경계로부터 2개의 픽셀열로 구성된 탐색블록을 설정하고, 인접블록 중에서 손실블록의 수직방향에 위치하는 상부인접블록 및 하부인접블록 각각에 대해 탐색블록의 경계로부터 기준블록을 설정한다(S700). 이때 보다 세밀한 에지의 방향성을 찾기 위해 상부인접블록 및 하부인접블록의 크기가 16×16(픽셀)일 때 탐색블록 및 기준블록의 크기는 각각 2×8(픽셀)로 설정된다. 다음으로, 제1경계정합부(110)는 인접블록의 동일한 픽셀열 상에서 복수개의 기준블록을 설정한 후 각각의 기준블록의 수직방향의 중심선을 기준으로 -M/2번째의 픽셀로부터 M/2번째의 픽셀까지로 설정되는 탐색블록 상에서 탐색윈도우를 이동시키면서 탐색블록으로부터 기준블록 각각과 가장 유사한 경계블록을 검출한다(S710).
다음으로, 제1보간부(120)는 검출된 경계블록을 구성하는 픽셀열 중에서 손실블록의 경계와 인접하는 픽셀열을 패치생성용 픽셀열로 선택하고, 패치생성용 픽셀열의 양단부 중에서 기준블록과 경계블록에 의해 추정한 에지방향에 대응하는 일 단부로부터 수학식 2에 의해 산출된 제거계수에 해당하는 개수의 픽셀을 제거하고, 타단부에 제거계수에 대응하는 픽셀을 부가하여 복원패치를 생성한다(S720). 또한 제1보간부(120)는 생성된 복원패치를 손실블록의 상부경계 및 하부경계로부터 순차적으로 삽입하여 사전에 설정된 개수의 픽셀열로 이루어지는 손실블록의 상부경계영역과 하부경계영역을 복원한다(S730).
다음으로, 제2경계정합부(130)는 경계영역 각각에 대해 사전에 설정된 개수의 픽셀열로 구성된 탐색블록을 설정하고, 각각의 경계영역에 대해 기준블록을 설정한다(S740). 이어서 제2경계정합부(130)는 기준블록과 동일한 크기의 탐색윈도우를 대향하는 경계영역에 위치한 탐색블록 상에서 이동시키면서 탐색블록으로부터 기준블록과 가장 유사한 경계블록을 검출하여 에지방향을 파악한다(S750). 이때 제2경계정합부(130)는 탐색윈도우를 탐색블록 상에서 이동시키면서 산출한 탐색윈도우 내에 위치한 픽셀들과 기준블록에 속하는 픽셀들과의 평균절대오차가 최소인 시점의 탐색윈도우 내에 위치한 픽셀들로 이루어진 블록을 경계블록으로 검출한다.
다음으로, 제2보간부(140)는 수학식 4에 의해 산출된 평균절대오차의 최소값을 기초로 기준블록과 경계블록에 의해 추정한 에지방향에 따라 상부경계영역과 하부경계영역의 단부에 위치한 픽셀들을 포함하는 픽셀열에 대해 가중보간을 수행하여 손실블록의 미복원영역을 복원한다(S760). 만약 제2보간부(140)는 수학식 4에 의해 산출된 평균절대오차의 최소값이 0이면, 상부경계영역과 하부경계영역의 서로 대향하는 픽셀열을 기초로 가중보간을 수행하여 손실블록의 미복원영역을 복원한다. 이때 제2보간부(140)는 서로 대향하는 경계영역에 위치한 기준블록과 경계블록 에 대해 얻어진 복수개의 복원블록의 동일한 위치의 픽셀값에 대해 수학식 10에 의해 산출된 가중평균합을 기초로 최종적인 복원블록을 생성하여 손실블록의 미복원영역을 복원하는 것이 바람직하다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
본 발명에 따른 공간적 에러 은닉 장치 및 방법에 의하면, 부호화된 영상에서 슬라이스 단위의 에러가 발생한 경우에 손상된 블록의 상부영역과 하부영역 각각에 대해 세밀한 에지 방향을 검출하여 각각의 영역별로 영상을 복원하여 높은 복 원 화질을 얻는 동시에 장치의 복잡도를 감소시킬 수 있다. 특히, 본 발명에 따른 공간적 에러 은닉 장치 및 방법은 손실블록이 복잡한 영상 구조, 즉 에지나 텍스쳐가 복잡한 영역에서도 시각적으로 만족스러운 결과를 보인다. 또한 본 발명에 따른 공간적 에러 은닉 장치 및 방법은 기존의 방법에 비해 주관적·객관적인 복원영상의 품질향상을 얻을 수 있으며, 복잡도가 낮기 때문에 실시간 응용에 적용할 수 있는 이점이 있다.

Claims (17)

  1. 에러가 발생한 손실블록의 상부와 하부에 인접하는 인접블록 각각에 대해 상기 손실블록과의 경계로부터 L개의 픽셀열로 구성된 제1탐색블록을 설정하고, 상기 인접블록 중에서 상기 손실블록의 수직방향에 위치하는 상부인접블록 및 하부인접블록 각각에 대해 상기 제1탐색블록의 경계로부터 제1기준블록을 설정한 후 상기 제1기준블록과 동일한 크기의 제1탐색윈도우를 상기 제1탐색블록 상에서 이동시키면서 상기 제1탐색윈도우 내에 위치하는 픽셀들과 이에 대응하는 상기 제1기준블록의 픽셀들 사이의 차이가 최소인 시점의 상기 제1탐색윈도우 내에 위치하는 픽셀들로 이루어진 블록을 제1경계블록으로 검출하는 제1경계정합부;
    상기 검출된 제1경계블록을 기초로 생성한 복원패치를 상기 손실블록의 상부경계 및 하부경계로부터 순차적으로 삽입하여 사전에 설정된 개수의 픽셀열로 이루어지는 상기 손실블록의 상부경계영역과 하부경계영역을 복원하는 제1보간부;
    상기 경계영역 각각에 대해 사전에 설정된 개수의 픽셀열로 구성된 제2탐색블록을 설정하고, 상기 경계영역 각각에 대해 제2기준블록을 설정한 후 상기 제2기준블록과 동일한 크기의 제2탐색윈도우를 대향하는 경계영역에 위치한 제2탐색블록 상에서 이동시키면서 상기 제2탐색윈도우 내에 위치하는 픽셀들과 이에 대응하는 상기 제2기준블록의 픽셀들 사이의 차이가 최소인 시점의 상기 제2탐색윈도우 내에 위치하는 픽셀들로 이루어진 블록을 제2경계블록으로 검출하여 에지방향을 파악하는 제2경계정합부; 및
    상기 파악된 에지방향에 따라 상기 상부경계영역과 하부경계영역의 단부에 위치한 픽셀들을 포함하는 픽셀열에 대해 가중 보간을 수행하여 얻어진 복원블록에 의해 상기 손실블록의 미복원영역을 복원하는 제2보간부;를 포함하며,
    상기 상부인접블록 및 하부인접블록의 크기가 M×M(픽셀)일 때 상기 제1탐색블록 및 상기 제1기준블록의 크기는 각각 L×M(픽셀) 및 L×M/2(픽셀)로 설정되고,
    상기 제1경계정합부는 상기 상부인접블록 및 상기 하부인접블록 각각에 대해 동일한 픽셀열 상에서 복수개의 상기 제1기준블록을 설정한 후 각각의 제1기준블록의 수직방향의 중심선을 기준으로 -M/2번째의 픽셀로부터 M/2번째의 픽셀까지로 설정되는 상기 제1탐색블록 상에서 상기 제1탐색윈도우를 이동시키면서 상기 제1탐색윈도우 내에 위치하는 픽셀들과 이에 대응하는 상기 제1기준블록의 픽셀들 사이의 차이가 최소인 시점의 상기 제1탐색윈도우 내에 위치하는 픽셀들로 이루어진 블록을 제1경계블록으로 검출하고,
    상기 제1보간부는 상기 손실블록의 수직방향의 중심선을 기준으로 상기 제1경계블록 각각으로부터 생성한 복원패치를 상기 손실블록의 상부경계 및 하부경계로부터 순차적으로 삽입하여 상기 손실블록의 상부경계영역 및 하부경계영역을 복원하는 것을 특징으로 하는 공간적 에러 은닉 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 제1보간부는 상기 제1경계블록의 양단부 중에서 상기 제1기준블록과 상기 제1경계블록에 의해 추정한 에지방향에 대응하는 일단부로부터 다음의 수학식에 의해 산출된 제거계수에 해당하는 개수의 픽셀을 제거하고, 타단부에 상기 제거계수에 대응하는 픽셀을 부가하여 상기 복원패치를 생성하는 것을 특징으로 하는 공간적 에러 은닉 장치:
    Figure 712008006031200-pat00011
    ,
    여기서, D는 상기 제거계수, SHIFT는 상기 제1기준블록과 상기 제1경계블록의 상대적 위치차이, 그리고, N은 상기 복원패치의 생성횟수이다.
  4. 제 1항에 있어서,
    상기 제1보간부는 상기 제1경계블록을 구성하는 픽셀열 중에서 상기 손실블록의 경계와 인접하는 픽셀열을 패치생성용 픽셀열로 선택하며, 상기 패치생성용 픽셀열의 양단부 중에서 상기 제1기준블록과 상기 제1경계블록에 의해 추정한 에지방향에 대응하는 일단부로부터 다음의 수학식에 의해 산출된 제거계수에 해당하는 개수의 픽셀을 제거하고, 타단부에 상기 제거계수에 대응하는 픽셀을 부가하여 상기 복원패치를 생성하는 것을 특징으로 하는 공간적 에러 은닉 장치:
    Figure 712008006031200-pat00012
    ,
    여기서, D는 상기 제거계수, SHIFT는 상기 제1기준블록과 상기 제1경계블록의 상대적 위치차이, N은 상기 복원패치의 생성횟수, 그리고, L은 상기 제1경계블록을 구성하는 픽셀열의 개수이다.
  5. 제 1항에 있어서,
    상기 제1경계정합부는 상기 제1탐색윈도우를 상기 제1탐색블록 상에서 이동시키면서 산출한 상기 제1탐색윈도우 내에 위치한 픽셀들과 상기 제1기준블록에 속하는 픽셀들과의 평균절대오차가 최소인 시점의 제1탐색윈도우 내에 위치한 픽셀들로 이루어진 블록을 상기 제1경계블록으로 검출하는 것을 특징으로 하는 공간적 에러 은닉 장치.
  6. 제 1항에 있어서,
    상기 제2경계정합부는 상기 제2탐색윈도우를 상기 제2탐색블록 상에서 이동시키면서 산출한 상기 제2탐색윈도우 내에 위치한 픽셀들과 상기 제2기준블록에 속하는 픽셀들과의 평균절대오차가 최소인 시점의 제2탐색윈도우 내에 위치한 픽셀들로 이루어진 블록을 상기 제2경계블록으로 검출하는 것을 특징으로 하는 공간적 에러 은닉 장치.
  7. 제 6항에 있어서,
    상기 제2보간부는,
    상기 제2기준블록과 상기 제2경계블록에 의해 추정한 에지방향을 기초로 상기 상부경계영역과 하부경계영역의 단부에 위치한 픽셀들을 포함하는 픽셀열에 대해 가중보간을 수행하여 상기 손실블록의 미복원영역을 복원하는 제1모드보간부;
    상기 제1보간부에 의해 복원된 상부경계영역과 하부경계영역의 서로 대향하는 픽셀열을 기초로 가중보간을 수행하여 상기 손실블록의 미복원영역을 복원하는 제2모드보간부; 및
    상기 평균절대오차의 최소값이 사전에 설정된 기준값과 상이하면 상기 제1모드보간부에 의해 상기 손실블록의 미복원영역을 복원하도록 제어하고, 상기 평균절대오차의 최소값이 사전에 설정된 기준값과 동일하면 상기 제2모드보간부에 의해 상기 손실블록의 미복원영역을 복원하도록 제어하는 보간모드선택부;를 포함하는 것을 특징으로 하는 공간적 에러 은닉 장치.
  8. 제 1항에 있어서,
    상기 제2보간부는 서로 대향하는 경계영역에 위치한 제2기준블록과 상기 제2경계블록에 대해 얻어진 복수개의 복원블록의 동일한 위치의 픽셀값에 대해 다음의 수학식에 의한 가중평균합을 산출하여 상기 손실블록의 미복원영역을 복원하는 것을 특징으로 하는 공간적 에러 은닉 장치:
    Figure 712008006031200-pat00013
    ,
    여기서, Bc(i,j)는 손실블록의 미복원영역에서의 픽셀위치, DT는 상부경계영역에 대해 설정된 제2기준블록과 하부경계영역에서 검출된 제2경계블록 사이의 평균절대오차, DB는 하부경계영역에 대해 설정된 제2기준블록과 상부경계영역에서 검출된 제2경계블록 사이의 평균절대오차, B1(i,j)는 상부경계영역에 대해 설정된 제2기준블록과 하부경계영역에서 검출된 제2경계블록에 대해 가중 보간을 수행하여 얻어진 복원블록, 그리고, B2(i,j)는 하부경계영역에 대해 설정된 제2기준블록과 상부경계영역에서 검출된 제2경계블록에 대해 가중 보간을 수행하여 얻어진 복원블록이다.
  9. (a) 에러가 발생한 손실블록의 상부와 하부에 인접하는 인접블록 각각에 대해 상기 손실블록과의 경계로부터 L개의 픽셀열로 구성된 제1탐색블록을 설정하고, 상기 인접블록 중에서 상기 손실블록의 수직방향에 위치하는 상부인접블록 및 하부인접블록 각각에 대해 상기 제1탐색블록의 경계로부터 제1기준블록을 설정하는 단계;
    (b) 상기 제1기준블록과 동일한 크기의 제1탐색윈도우를 상기 제1탐색블록 상에서 이동시키면서 상기 제1탐색윈도우 내에 위치하는 픽셀들과 이에 대응하는 상기 제1기준블록의 픽셀들 사이의 차이가 최소인 시점의 상기 제1탐색윈도우 내에 위치하는 픽셀들로 이루어진 블록을 제1경계블록으로 검출하는 단계;
    (c) 상기 검출된 제1경계블록을 기초로 생성한 복원패치를 상기 손실블록의 상부경계 및 하부경계로부터 순차적으로 삽입하여 사전에 설정된 개수의 픽셀열로 이루어지는 상기 손실블록의 상부경계영역과 하부경계영역을 복원하는 단계;
    (d) 상기 경계영역 각각에 대해 사전에 설정된 개수의 픽셀열로 구성된 제2탐색블록을 설정하고, 상기 경계영역 각각에 대해 제2기준블록을 설정하는 단계;
    (e) 상기 제2기준블록과 동일한 크기의 제2탐색윈도우를 대향하는 경계영역에 위치한 제2탐색블록 상에서 이동시키면서 상기 제2탐색윈도우 내에 위치하는 픽셀들과 이에 대응하는 상기 제2기준블록의 픽셀들 사이의 차이가 최소인 시점의 상기 제2탐색윈도우 내에 위치하는 픽셀들로 이루어진 블록을 제2경계블록으로 검출하여 에지방향을 파악하는 단계; 및
    (f) 상기 파악된 에지방향에 따라 상기 상부경계영역과 하부경계영역의 단부에 위치한 픽셀들을 포함하는 픽셀열에 대해 가중 보간을 수행하여 얻어진 복원블록에 의해 상기 손실블록의 미복원영역을 복원하는 단계;를 포함하며,
    상기 상부인접블록 및 하부인접블록의 크기가 M×M(픽셀)일 때 상기 제1탐색블록 및 상기 제1기준블록의 크기는 각각 L×M(픽셀) 및 L×M/2(픽셀)로 설정되고,
    상기 (b)단계에서, 상기 상부인접블록 및 상기 하부인접블록 각각에 대해 동일한 픽셀열 상에서 복수개의 상기 제1기준블록을 설정한 후 각각의 제1기준블록의 수직방향의 중심선을 기준으로 -M/2번째의 픽셀로부터 M/2번째의 픽셀까지로 설정되는 상기 제1탐색블록 상에서 상기 제1탐색윈도우를 이동시키면서 상기 제1탐색윈도우 내에 위치하는 픽셀들과 이에 대응하는 상기 제1기준블록의 픽셀들 사이의 차이가 최소인 시점의 상기 제1탐색윈도우 내에 위치하는 픽셀들로 이루어진 블록을 제1경계블록으로 검출하고,
    상기 (c)단계에서, 상기 손실블록의 수직방향의 중심선을 기준으로 상기 제1경계블록 각각으로부터 생성한 복원패치를 상기 손실블록의 상부경계 및 하부경계로부터 순차적으로 삽입하여 상기 손실블록의 상부경계영역 및 하부경계영역을 복원하는 것을 특징으로 하는 공간적 에러 은닉 방법.
  10. 삭제
  11. 제 9항에 있어서,
    상기 (c)단계는,
    (c1) 상기 제1경계블록의 양단부 중에서 상기 제1기준블록과 상기 제1경계블록에 의해 추정한 에지방향에 대응하는 일단부로부터 다음의 수학식에 의해 산출된 제거계수에 해당하는 개수의 픽셀을 제거하고, 타단부에 상기 제거계수에 해당하는 픽셀을 부가하여 상기 복원패치를 생성하는 단계; 및
    (c2) 상기 복원패치를 상기 손실블록의 상부경계 및 하부경계로부터 순차적으로 삽입하여 사전에 설정된 개수의 픽셀열로 이루어지는 상기 손실블록의 상부경계영역과 하부경계영역을 복원하는 단계;를 포함하는 것을 특징으로 하는 공간적 에러 은닉 방법:
    Figure 712008006031200-pat00014
    ,
    여기서, D는 상기 제거계수, SHIFT는 상기 제1기준블록과 상기 제1경계블록의 상대적 위치차이, 그리고, N은 상기 복원패치의 생성횟수이다.
  12. 제 9항에 있어서,
    상기 (c)단계는,
    (c1) 상기 제1경계블록을 구성하는 픽셀열 중에서 상기 손실블록의 경계와 인접하는 픽셀열을 패치생성용 픽셀열로 선택하는 단계;
    (c2) 상기 패치생성용 픽셀열의 양단부 중에서 상기 제1기준블록과 상기 제1경계블록에 의해 추정한 에지방향에 대응하는 일단부로부터 다음의 수학식에 의해 산출된 제거계수에 해당하는 개수의 픽셀을 제거하고, 타단부에 상기 제거계수에 대응하는 픽셀을 부가하여 상기 복원패치를 생성하는 단계; 및
    (c3) 상기 복원패치를 상기 손실블록의 상부경계 및 하부경계로부터 순차적으로 삽입하여 사전에 설정된 개수의 픽셀열로 이루어지는 상기 손실블록의 상부경계영역과 하부경계영역을 복원하는 단계;를 포함하는 것을 특징으로 하는 공간적 에러 은닉 방법:
    Figure 712008006031200-pat00015
    ,
    여기서, D는 상기 제거계수, SHIFT는 상기 제1기준블록과 상기 제1경계블록의 상대적 위치차이, N은 상기 복원패치의 생성횟수, 그리고, L은 상기 제1경계블록을 구성하는 픽셀열의 개수이다.
  13. 제 9항에 있어서,
    상기 (b)단계에서 상기 제1탐색윈도우를 상기 제1탐색블록 상에서 이동시키면서 산출한 상기 제1탐색윈도우 내에 위치한 픽셀들과 상기 제1기준블록에 속하는 픽셀들과의 평균절대오차가 최소인 시점의 제1탐색윈도우 내에 위치한 픽셀들로 이루어진 블록을 상기 제1경계블록으로 검출하는 것을 특징으로 하는 공간적 에러 은닉 방법.
  14. 제 9항에 있어서,
    상기 (e)단계에서 상기 제2탐색윈도우를 상기 제2탐색블록 상에서 이동시키면서 산출한 상기 제2탐색윈도우 내에 위치한 픽셀들과 상기 제2기준블록에 속하는 픽셀들과의 평균절대오차가 최소인 시점의 제2탐색윈도우 내에 위치한 픽셀들로 이루어진 블록을 상기 제2경계블록으로 검출하는 것을 특징으로 하는 공간적 에러 은닉 방법.
  15. 제 14항에 있어서,
    상기 (f)단계는,
    (f1) 상기 평균절대오차의 최소값을 사전에 설정된 기준값과 비교하는 단계; 및
    (f2) 상기 평균절대오차의 최소값이 상기 기준값과 상이하면 상기 제2기준블록과 상기 제2경계블록에 의해 추정한 에지방향을 기초로 상기 상부경계영역과 하부경계영역의 단부에 위치한 픽셀들을 포함하는 픽셀열에 대해 가중보간을 수행하여 상기 손실블록의 미복원영역을 복원하고, 상기 평균절대오차의 최소값이 상기 기준값과 동일하면 상기 복원된 상부경계영역과 하부경계영역의 서로 대향하는 픽셀열을 기초로 가중보간을 수행하여 상기 손실블록의 미복원영역을 복원하는 단계;를 포함하는 것을 특징으로 하는 공간적 에러 은닉 방법.
  16. 제 9항에 있어서,
    상기 (f)단계에서 서로 대향하는 경계영역에 위치한 제2기준블록과 상기 제2경계블록에 대해 얻어진 복수개의 복원블록의 동일한 위치의 픽셀값에 대해 다음의 수학식에 의한 가중평균합을 산출하여 상기 손실블록의 미복원영역을 복원하는 것을 특징으로 하는 공간적 에러 은닉 방법:
    Figure 712008006031200-pat00016
    ,
    여기서, Bc(i,j)는 손실블록의 미복원영역에서의 픽셀위치, DT는 상부경계영역에 대해 설정된 제2기준블록과 하부경계영역에서 검출된 제2경계블록 사이의 평균절대오차, DB는 하부경계영역에 대해 설정된 제2기준블록과 상부경계영역에서 검출된 제2경계블록 사이의 평균절대오차, B1(i,j)는 상부경계영역에 대해 설정된 제2기준블록과 하부경계영역에서 검출된 제2경계블록에 대해 가중 보간을 수행하여 얻어진 복원블록, 그리고, B2(i,j)는 하부경계영역에 대해 설정된 제2기준블록과 상부경계영역에서 검출된 제2경계블록에 대해 가중 보간을 수행하여 얻어진 복원블록이다.
  17. 제 9항에 기재된 공간적 에러 은닉 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020060134825A 2006-12-27 2006-12-27 공간적 에러은닉 장치 및 방법 KR100885234B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060134825A KR100885234B1 (ko) 2006-12-27 2006-12-27 공간적 에러은닉 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060134825A KR100885234B1 (ko) 2006-12-27 2006-12-27 공간적 에러은닉 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20080060561A KR20080060561A (ko) 2008-07-02
KR100885234B1 true KR100885234B1 (ko) 2009-02-24

Family

ID=39813070

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060134825A KR100885234B1 (ko) 2006-12-27 2006-12-27 공간적 에러은닉 장치 및 방법

Country Status (1)

Country Link
KR (1) KR100885234B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101420098B1 (ko) * 2007-06-19 2014-07-17 삼성전자주식회사 영상의 공간적 에러 은닉 방법 및 장치
KR101192429B1 (ko) 2008-12-19 2012-10-17 주식회사 케이티 영상의 전송 에러 복원 방법 및 그 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000024879A (ko) * 1998-10-02 2000-05-06 정선종 압축된 비디오 비트스트림에 발생하는 전송 에러의 실시간 은닉방법
KR20050035566A (ko) * 2003-10-13 2005-04-19 삼성전자주식회사 디지털 영상 보간 방법 및 장치

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000024879A (ko) * 1998-10-02 2000-05-06 정선종 압축된 비디오 비트스트림에 발생하는 전송 에러의 실시간 은닉방법
KR20050035566A (ko) * 2003-10-13 2005-04-19 삼성전자주식회사 디지털 영상 보간 방법 및 장치

Also Published As

Publication number Publication date
KR20080060561A (ko) 2008-07-02

Similar Documents

Publication Publication Date Title
US8605786B2 (en) Hierarchical motion vector processing method, software and devices
KR100446235B1 (ko) 다중 후보를 이용한 움직임 벡터 병합 탐색 방법
KR100870115B1 (ko) 블록정합 및 움직임 보상 보간을 이용한 영상 형성 방법
US8320470B2 (en) Method for spatial error concealment
Jeong et al. Motion-compensated frame interpolation based on multihypothesis motion estimation and texture optimization
US20080240247A1 (en) Method of encoding and decoding motion model parameters and video encoding and decoding method and apparatus using motion model parameters
EP3941056A1 (en) Encoding and decoding method and device, encoder side apparatus and decoder side apparatus
Liu et al. Spatial error concealment with an adaptive linear predictor
KR100948385B1 (ko) 프레임 해상도 향상 방법 및 장치
KR100301833B1 (ko) 오류은폐방법
JP2006521048A (ja) モーション／テクスチャ分解およびウェーブレット符号化によって画像シーケンスを符号化および復号化するための方法および装置
KR101418116B1 (ko) 프레임 보간 장치 및 그를 포함한 프레임 속도 상향 변환장치
US7295711B1 (en) Method and apparatus for merging related image segments
KR20090000502A (ko) 손실된 블록의 주변 블록 특성에 적응적인 에러 은닉 방법및 장치
Kung et al. A spatial-domain error concealment method with edge recovery and selective directional interpolation
KR100885234B1 (ko) 공간적 에러은닉 장치 및 방법
KR20060111528A (ko) 비디오 신호에서 국부적인 시각적 공간-시간 상세의 검출
KR20050076155A (ko) 영상 프레임의 에러 은닉 장치 및 방법
Belfiore et al. Robust and edge-preserving video error concealment by coarse-to-fine block replenishment
KR101144283B1 (ko) 디코딩된 비디오에 포함된 에러를 은닉하는 장치 및 방법
KR100706720B1 (ko) 방향성 보간을 이용한 공간적 에러은닉 방법
Wang et al. A low-complexity error concealment algorithm for video transmission based on non-local means denoising
KR20200093212A (ko) 양방향 영상 에러 은닉 장치 및 방법
Jo et al. Hybrid error concealments based on block content
KR100602900B1 (ko) 동영상 압축 처리방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120116

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20130111

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee