KR101420098B1 - 영상의 공간적 에러 은닉 방법 및 장치 - Google Patents

영상의 공간적 에러 은닉 방법 및 장치 Download PDF

Info

Publication number
KR101420098B1
KR101420098B1 KR1020070060061A KR20070060061A KR101420098B1 KR 101420098 B1 KR101420098 B1 KR 101420098B1 KR 1020070060061 A KR1020070060061 A KR 1020070060061A KR 20070060061 A KR20070060061 A KR 20070060061A KR 101420098 B1 KR101420098 B1 KR 101420098B1
Authority
KR
South Korea
Prior art keywords
edge
error
block
interpolation
directions
Prior art date
Application number
KR1020070060061A
Other languages
English (en)
Other versions
KR20080111742A (ko
Inventor
신승우
권세안
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020070060061A priority Critical patent/KR101420098B1/ko
Priority to US12/050,305 priority patent/US8509314B2/en
Publication of KR20080111742A publication Critical patent/KR20080111742A/ko
Application granted granted Critical
Publication of KR101420098B1 publication Critical patent/KR101420098B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder

Abstract

본 발명은 영상의 에러 은닉(error concealment) 방법 및 장치에 관한 것으로, 본 발명에 따른 영상의 에러 은닉 방법은 에러가 발생한 블록에 인접한 영역을 복수의 영역들로 나누고, 복수의 영역들 각각에서의 에지 방향을 계산하여 에지 방향들의 동일성 여부에 기초해 선택적으로 방향성 보간(directional interpolation)을 수행함으로써 보다 정확하게 에러가 발생한 블록을 복원할 수 있다.
에러 은닉, 영상, 블록

Description

영상의 공간적 에러 은닉 방법 및 장치{Method and apparatus for spatial error concealment of image}
도 1은 종래 기술에 따른 영상 시퀀스를 도시한다.
도 2는 종래 기술에 따른 이중 선형 보간(bilinear interpolation) 방법을 도시한다.
도 3은 본 발명의 일 실시예에 따른 에러 은닉 장치를 도시한다.
도 4a 내지 4d는 본 발명의 일 실시예에 따른 에지 방향 검출 방법을 도시한다.
도 5는 본 발명의 일 실시예에 따른 에지 방향의 예를 도시한다.
도 6a 내지 6b는 본 발명의 일 실시예에 따른 에러가 발생한 블록에 인접한 복수의 영역에서의 에지 방향의 예를 도시한다.
도 7은 본 발명의 일 실시예에 따른 방향성 보간을 수행하는 방법을 도시한다.
도 8은 본 발명의 일 실시예에 따라 에러 은닉을 수행한 결과를 도시한다.
도 9는 본 발명의 일 실시예에 따른 에러 은닉 방법을 도시한다.
본 발명은 영상의 에러 은닉 방법 및 장치에 관한 것으로 보다 상세히는 에러가 발생한 블록에 인접한 영역의 정보에 따라 적응적으로 공간적 에러 은닉(spatial error concealment)을 수행하여 에러가 발생한 블록을 복원하는 방법 및 장치에 관한 것이다.
MPEG-1, MPEG-2, MPEG-4 H.264/MPEG 4 AVC(Advanced Video Coding)와 같은 영상 압축 방식에서는 I 픽처(intra picture), P 픽처(predictive picture) 및 B 픽처(bipredictive picture)를 이용하여 영상을 부호화한다.
도 1은 종래 기술에 따른 영상 시퀀스를 도시한다.
도 1을 참조하면, I 픽처는 일정한 시간 간격을 두고 주기적으로 생성되는 픽처로써 시간적으로 선행 또는 후행하는 픽처들과는 관계없이 픽처 내의 공간적 중복성을 이용하여 독립적으로 부호화하여 얻어지는 픽처이다. 시간적 중복성을 제거하기 위한 움직임 예측을 수행하지 않으며, 픽처 내의 정보만을 이용해서 부호화를 수행한다.
P 픽처 및 B 픽처는 픽처 사이의 인터 예측을 수행하여 얻어지는 픽처이다. I 픽처 또는 다른 P 픽처 또는 다른 B 픽처를 참조 픽처로 하여 픽처간 인터 예측을 수행함으로써 시간적 중복성을 제거하여 얻어지는 픽처들이다.
에러 은닉 방법에는 공간 에러 은닉(spatial error concealment)와 시간 에러 은닉(tempral error concealment) 두 가지가 있다. P 픽처 또는 B 픽처를 복호화하여 복원하던 중 에러가 발생한 블록 즉, 손실된 블록(missing block)이 검출된 경우 H.264/AVC에서는 시간적 에러 은닉을 수행하여 손실된 블록을 복원한다.
그러나, I 픽처를 복호화하여 복원하던 중 에러가 발생한 블록이 있는 경우에는 공간 에러 은닉(spatial error concealment)를 수행하여 에러가 발생한 블록을 복원한다. 공간 에러 은닉에는 에러가 발생한 블록의 에지 방향을 고려하여 보간하는 방향성 보간(directional interpolation)과 에지 방향을 고려하지 않는 이중 선형 보간(bilinear interpolation)이 있다. H.264/AVC에서는 공간 에러 은닉 방법으로 이중 선형 보간만을 이용한다. 도 2를 참조하여 상세히 설명한다.
도 2는 종래 기술에 따른 이중 선형 보간 방법을 도시한다.
도 2를 참조하면, 에러가 발생한 블록(210)을 복원함에 있어 블록(210)에 포함된 각각의 픽셀들을 이중 선형 보간을 수행하여 복원한다. 도 2에 도시된 픽셀(212)을 복원하는 경우를 살펴보면, 에러가 발생한 블록(210)에 인접한 수직 방향의 에러가 발생하지 않은 영역에 포함된 픽셀들(222 및 224) 및 수평 방향의 에러가 발생하지 않은 영역에 포함된 픽셀들(226 및 228)을 이용하여 이중 선형 보간을 수행한다.
보간되는 픽셀(212)로부터 이중 선형 보간을 수행할 픽셀들(222 내지 228)까지의 거리에 따라 가중치를 설정하여 보간을 수행한다.
H.264/AVC에서와 같이 이중 선형 보간을 이용하여 에러가 발생한 블록(210)을 복원하면, 에러가 발생한 블록(210)에 인접한 영역의 에지 방향을 전혀 고려하지 않고, 선형적으로 보간을 수행하므로 블록킹 아티팩츠(blocking artifacts)가 발생할 확률이 높다. 또한, 전술한 방향성 보간만을 수행하여 에러가 발생한 블 록(210)을 복원하면, 원본 블록에는 없는 불필요한 에지가 복원된 블록에 포함할 수 있다.
이러한, 블록킹 아티팩츠 또는 불필요한 에지가 I 픽처에 발생하면, I 픽처를 참조하는 모든 P 또는 B 픽처에 오류가 전파되어 전체 영상 시퀀스에 심각한 왜곡이 발생하게 된다.
본 발명이 이루고자 하는 기술적 과제는 에러가 발생한 블록을 보다 정확하게 복원할 수 있는 영상의 에러 은닉 방법 및 장치를 제공하는데 있고, 상기 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 영상의 에러 은닉 방법은 현재 픽처에서 에러가 발생한 블록을 검출하는 단계; 상기 검출된 블록에 인접한 영역을 복수의 영역들로 나누고, 상기 복수의 영역들 각각에서의 에지 방향을 계산하는 단계; 및 상기 계산된 에지 방향들의 동일성 여부에 기초해 선택적으로 방향성 보간(directional interpolation)을 수행하여 상기 검출된 블록을 복원하는 단계를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 복원하는 단계는 상기 계산된 에지 방향들 중 적어도 소정 개수 이상의 에지 방향들이 동일한지 판단하는 단계; 및 상기 판단 결과에 기초하여 선택적으로 방향성 보간을 수행하는 단계를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 판단하는 단계는 상기 계산된 에지 방향들 중 적어도 2 이상의 에지 방향들이 동일한지 판단하는 단계를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 보간을 수행하는 단계는 상기 판단 결과 상기 계산된 에지 방향들 중 적어도 2 이상의 에지 방향들이 동일한 것으로 판단되면, 상기 동일한 에지 방향으로 방향성 보간을 수행하는 것을 특징으로 한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 에지 방향을 계산하는 단계는 소벨(sobel) 또는 프리윗(prewitt) 필터를 이용해 상기 복수의 영역들 각각에서의 에지 방향을 계산하는 단계를 포함한다.
상기 기술적 과제를 해결하기 위한 본 발명에 따른 영상의 에러 은닉 장치는 현재 픽처에서 에러가 발생한 블록을 검출하는 에러검출부; 상기 검출된 블록에 인접한 영역을 복수의 영역들로 나누고, 상기 복수의 영역들 각각에서의 에지 방향을 계산하는 에지검출부; 및 상기 계산된 에지 방향들의 동일성 여부에 기초해 선택적으로 방향성 보간(directional interpolation)을 수행하여 상기 검출된 블록을 복원하는 에러은닉부를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 에러은닉부는 상기 계산된 에지 방향들 중 적어도 소정 개수 이상의 에지 방향들이 동일한지 판단하는 판단부; 및 상기 판단 결과에 기초하여 선택적으로 방향성 보간을 수행하는 보간부 를 포함한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 판단부는 상기 계산된 에지 방향들 중 적어도 2 이상의 에지 방향들이 동일한지 판단하는 것을 특징으로 한다.
본 발명에 따른 보다 바람직한 실시예에 다르면, 상기 보간부는 상기 판단 결과 상기 계산된 에지 방향들 중 적어도 2 이상의 에지 방향들이 동일한 것으로 판단되면, 상기 동일한 에지 방향으로 방향성 보간을 수행하는 것을 특징으로 한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 에지검출부는 소벨(sobel) 또는 프리윗(prewitt) 필터를 이용해 상기 복수의 영역들 각각에서의 에지 방향을 계산하는 것을 특징으로 한다.
본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 복수의 영역들은 상기 검출된 블록의 상부, 하부, 좌측 및 우측에 인접한 영역들인 것을 특징으로 한다.
상기 기술적 과제를 해결하기 위해 본 발명은 상기된 에러 은닉 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.
도 3은 본 발명의 일 실시예에 따른 영상의 에러 은닉 장치를 도시한다.
도 3을 참조하면, 본 발명에 따른 에러 은닉 장치(300)는 에러검출부(310), 에지검출부(320) 및 에러은닉부(330)을 포함한다. 도 3에 도시된 에러 은닉 장치(300)는 공간 에러 은닉(spatial error concealment)을 수행하여 에러가 발생한 블록, 즉 손실된 블록(missing block)을 복원하는 장치에 대하여 도시한다.
에러검출부(310)는 현재 픽처에서 에러가 발생한 블록 즉, 영상 데이터를 전송하는 중에 에러가 발생하여 손실된 블록을 검출한다.
복호화된 현재 픽처에 포함된 블록들 중에서 영상 데이터가 손신될 블록을 검출한다. MPEG-1, MPEG-2, MPEG-4 H.264/MPEG 4 AVC(Advanced Video Coding)와 같은 영상 압축 방식은 영상 데이터는 높은 효율로 압축하기 때문에 영상 데이터를 포함하는 비트스트림의 일부에 에러가 발생하는 경우 많은 수의 블록에 오류가 발생할 수 있다.
특히, I 픽처에 포함된 블록에 에러가 발생한 경우에는 에러가 발생한 I 픽처를 참조하는 다른 P 또는 B 픽처에 에러가 전파(propagation)되어 전체 영상 시퀀스에 심각한 에러가 발생하게 된다. 따라서, 에러검출부(310)는 복호화 장치에서 복호화된 현재 픽처에 대한 데이터를 수신하고, 수신한 데이터에서 에러가 발생해 에러 은닉을 수행할 필요가 있는 블록을 검출한다.
에지검출부(320)는 에러검출부(310)에서 검출된 블록에 인접한 영역을 복수의 영역으로 나누고, 복수의 영역들 각각에서의 에지 방향을 계산한다.
에러가 발생한 블록은 블록에 인접한 영역들과 유사한 에지 방향을 가질 확률이 높다. 따라서, 인접한 영역의 에지 방향에 따라 보간을 수행하여 에러가 발생한 블록을 복원하기 위해 인접한 영역의 에지 방향을 계산한다. 그러나, 에러가 발생한 블록이 언제나 인접한 영역의 에지 방향과 일치하는 아니며, 인접한 영역과 다른 에지 방향을 가질 수 있다. 이 경우 인접한 영역의 에지 방향을 이용하여 방향성 보간을 수행하면 종래 기술의 문제점과 같이 복원된 블록에 불필요한 에지가 포함되어 영상에 심각한 왜곡을 가져오게 된다.
이러한 인접한 영역의 에지 방향들과 에러가 발생한 블록의 에지 방향의 불일치는 인접한 영역의 에지 방향이 다수인 경우에 주로 발생한다. 예를 들어 에러가 발생한 블록의 상부, 하부, 좌측 및 우측의 에지 방향이 전부 다름에도 불구하고, 이 에지 방향들 중에서 가장 큰 세기를 가지는 하나의 에지 방향으로만 방향성 보간을 수행하면 불필요한 에지가 발생하여 영상이 왜곡된다.
따라서, 본 발명은 에러가 발생한 블록에 인접한 영역을 복수의 영역으로 나누고, 각각의 영역에서의 에지 방향을 계산하고, 계산된 에지 방향들을 비교하여 방향성 보간을 수행할지 여부를 결정한다. 도 4a 내지 4d를 참조하여 상세히 설명한다.
도 4a 내지 4d는 본 발명의 일 실시예에 따른 에지 방향 검출 방법을 도시한다. 도 4a 내지 4d는 에지검출부(320)가 에러가 발생한 블록(410)에 인접한 영역을 상부, 하부, 좌측 및 우측의 네 개의 영역으로 나누고 각각에서의 에지 방향을 계산하는 방법에 도시한다.
도 4a는 에러가 발생한 블록(410)의 상부에 인접한 영역에서의 에지 방향을 계산하는 방법을 도시한다. 3×3 크기의 소벨(sobel) 또는 프리윗(prewitt) 필터를 이용하여 에러가 발생한 블록(410)의 상부에 인접한 영역을 스캐닝한다. 스캐 닝 결과 에러가 발생한 블록(410)의 상부에 인접한 영역에서의 에지 방향의 각도 및 에지 세기가 계산된다.
도 4b는 에러가 발생한 블록(410)의 우측에 인접한 영역에서의 에지 방향을 계산하는 방법을 도시하나. 도 4a와 마찬가지로 3×3 크기의 소벨(sobel) 또는 프리윗(prewitt) 필터를 이용하여 에러가 발생한 블록(410)의 상부에 인접한 영역을 스캐닝하여 우측에 인접한 영역에서의 에지 방향의 각도 및 에지 세기를 계산한다.
도 4c 및 4d는 각각 에러가 발생한 블록(410)의 하부에 인접한 영역에서 에지 방향을 계산하는 방법 및 좌측에 인접한 영역에서 에지 방향을 계산하는 방법에 대하여 도시한다.
도 4a 내지 4d에서 계산된 에지 방향을 적절히 비교하기 위해서는 계산된 에지 방향의 각도를 양자화할 필요가 있다. 도 5를 참조하여 상세히 설명한다.
도 5는 본 발명의 일 실시예에 따른 에지 방향의 예를 도시한다.
도 5를 참조하면, 본 발명에 따른 에지검출부(320)는 복수의 영역들 각각에서의 에지 방향을 계산하고, 계산 결과 생성된 에지 방향을 양자화한다.
바람직하게는 도 5에 도시된 에지 방향 중에서 실제 계산된 에지 방향과 가장 가까운 에지 방향으로 양자화를 수행한다. 예를 들어, 도 4a에 의해 계산된 에러가 발생한 블록(410)의 상부에 인접한 영역의 에지 방향이 22 도인 경우에는 상부에 인접한 영역의 에지 방향은 22 도와 가장 가까운 22.5 도로 양자화된다. 만약 계산된 에지 방향이 3 도인 경우에는 0도로 양자화될 것이다. 에지 방향을 양자화하는 이유는 복수의 영역들 각각에서의 에지 방향의 비교를 양자화된 에지 방 향을 이용해 쉽게 수행하기 위함이다.
도 5에 도시된 8 방향의 에지 방향은 에지 방향의 예시일 뿐이며, 도 5에 도시된 8 방향의 에지 방향 이외에 다른 방법으로 에지 방향을 양자화할 수 있음은 본 발명에 속하는 기술 분야에서 통상의 지식을 가진 자는 쉽게 이해할 수 있다. 예를 들어 11.25 도 간격의 16 방향으로 에지 방향을 양자화할 수도 있다.
다시 도 3을 참조하면, 에지검출부(320)에서 에러가 발생한 블록(410)에 인접한 복수의 영역들에서의 에지 방향이 모두 계산되면, 에러은닉부(330)는 에지검출부(320)에서 계산된 에지 방향들의 동일성 여부에 기초해 선택적으로 방향성 보간을 수행한다. 에지검출부(320)에서 계산된 복수의 영역들에서의 양자화된 에지 방향들을 서로 비교하여 동일한지 여부를 판단하고, 판단 결과에 기초하여 선택적으로 방향성 보간을 수행한다.
바람직하게는 본 발명에 따른 에러은닉부(330)는 판단부(332) 및 보간부(334)를 포함한다.
판단부(332)는 에지검출부(320)에서 계산된 복수의 영역들에서의 에지 방향들에 기초하여 방향성 보간을 수행할지 여부를 판단한다. 에지검출부(332)에서 계산된 복수의 영역들에서의 양자화된 에지 방향들 중 적어도 소정 개수 이상의 에지 방향들이 동일한지를 판단하여 방향성 보간을 수행할지 여부를 판단한다.
본 발명의 바람직한 실시예에 따르면 에지 방향들 중 2 이상의 에지 방향들이 동일한 경우에는 방향성 보간을 수행하는 것으로 판단하고, 동일한 에지 방향들이 없는 경우에는 방향성 보간이 아닌 다른 보간을 수행하는 것으로 판단한다.
방향성 보간이 아닌 보간에는 종래 기술과 관련하여 언급한 이중 선형 보간이 있을 수 있다. 그러나, 동일한 에지 방향들이 없는 경우는 에러가 발생한 블록(410)에 인접한 영역들에서의 에지 방향들이 서로 다른 경우이므로, 이를 고려하여 보간을 수행할 수 있는 다양한 보간 방법이 이중 선형 보간을 대신하여 수행될 수 있다.
도 6a 내지 6b는 본 발명의 일 실시예에 따른 에러가 발생한 블록(410)에 인접한 복수의 영역에서의 에지 방향의 예를 도시한다.
도 6a는 에지검출부(320)에서 계산된 에러가 발생한 블록(410)에 인접한 복수의 영역들의 에지 방향들 중 소정 개수 이상의 에지 방향들이 동일한 경우를 도시한다. 도 6a는 복수의 영역들의 에지 방향들이 모두 동일한 경우를 예로 들고 있다. 에지 방향들이 모두 45 도로 동일한 경우라고 가정하면, 판단부(332)는 동일한 에지 방향 즉 45 도 방향으로 방향성 보간을 수행하는 것으로 판단한다.
그러나, 도 6b에 도시된 바와 같이 에러가 발생한 블록(410)에 인접한 복수의 영역들의 에지 방향들 중에서 동일한 에지 방향이 없는 경우에는 판단부(332)는 방향성 보간이 아닌 다른 보간을 수행하는 것으로 판단한다. 이 경우 방향성 보간을 수행하면 보간 결과 복원된 블록에는 불필요한 에지가 발생하므로 이중 선형 보간과 같은 다른 보간 방법에 의해 에러가 발생한 블록(410)을 복원하는 것이 보다 정확하기 때문이다.
다시 도 3을 참조하면, 보간부(334)는 판단부(332)의 판단 결과에 기초하여 선택적으로 방향성 보간을 수행한다.
판단부(332)의 판단 결과 에러가 발생한 블록(410)에 인접한 복수의 영역들의 에지 방향들 중에서 소정 개수 이상의 에지 방향들이 동일한 것으로 판단되면, 동일한 에지 방향으로 방향성 보간을 수행한다. 그러나, 에지 방향들 중 동일한 에지 방향들이 없는 것으로 판단되면 방향성 보간이 아닌 다른 보간을 수행한다.
방향성 보간이 아닌 다른 보간을 수행하는 경우에 보간 방법의 예로는 이중 선형 보간이 있으나, 에러가 발생한 블록(410)에 인접한 영역들에서의 에지 방향들이 서로 다른 경우에 이를 고려하여 보간을 수행할 수 있는 다양한 보간 방법이 수행될 수 있음은 전술하였다.
도 7은 본 발명의 일 실시예에 따른 방향성 보간을 수행하는 방법을 도시한다. 도 7은 보간부(334)가 판단부(332)의 판단 결과에 기초하여 방향성 보간을 수행하는 경우 보간 방법에 대하여 도시한다.
도 7을 참조하면, 에러가 발생한 블록(410)에 포함된 픽셀(412)을 복원함에 있어, 에지 방향을 고려하여 보간을 수행한다. 판단부(332)의 판단 결과 에러가 발생한 블록(410)에 인접한 복수의 영역들에서의 에지 방향들 중에서 소정 개수 이상의 동일한 에지 방향이
Figure 112007044345517-pat00001
과 같다면, 같다면,
Figure 112007044345517-pat00002
방향으로 보간을 수행한다. 이 때 복간되는 픽셀(412)로부터 인접한 영역의 에지 방향으로의 거리
Figure 112007044345517-pat00003
및
Figure 112007044345517-pat00004
를 고려하여 가중치를 설정하여 보간을 수행한다. 보간되는 픽셀(412)의 픽셀값은 수학식 1에 의해 구해질 수 있다.
Figure 112007044345517-pat00005
Figure 112007044345517-pat00006
는 복간되는 픽셀(412)의 픽셀값이고,
Figure 112007044345517-pat00007
및
Figure 112007044345517-pat00008
는 보간되는 픽셀(412)로부터 인접한 영역까지의 에지 방향에 따른 거리를 의미한다.
Figure 112007044345517-pat00009
은
Figure 112007044345517-pat00010
거리에 있는 픽셀(422)의 픽셀값이고,
Figure 112007044345517-pat00011
는
Figure 112007044345517-pat00012
거리에 있는 픽셀(424)의 픽셀값이다.
도 8a 내지 8d는 본 발명의 일 실시예에 따라 에러 은닉을 수행한 결과를 도시한다.
도 8a는 현재 픽처에 에러가 발생한 경우를 도시한다. 현재 픽처에 대한 데이터 중에서 하나의 슬라이스에 대한 데이터가 손실된 경우에 발생하는 오류를 도시한다.
도 8b는 도 8a와 같은 손실이 발생한 현재 픽처를 종래 기술에 따라 이중 선형 보간을 이용해 복원한 경우를 도시한다.
도 8b를 참조하면, 이중 선형 보간을 이용해 에러가 발생한 블록들을 복원하면, 도 8b의 강한 에지 방향을 가지고 있는 영역(810)에 포함된 블록들을 복원하면 블록킹 아티팩츠(blocking artifacts)가 발생함을 알 수 있다.
도 8c는 도 8a와 같이 손실이 발행한 현재 픽처를 방향성 보간만을 이용해 복원한 경우를 도시한다.
도 8b와 비교하여보면, 강한 에지 방향을 가지고 있는 영역(820)에 포함된 블록들은 블로깅 아티팩츠가 없이 적절히 복원되었다. 그러나, 에지 방향이 희미하거나, 다수의 에지 방향이 존재하는 영역(830)에 포함된 블록을 복원하면 불필요한 에지를 포함하고 있는 것을 알 수 있다.
도 8d는 본 발명의 일 실시예에 따른 에러 은닉 방법에 의해 현재 픽처를 복원한 경우를 도시한다. 에러가 발생한 블록의 주변에 인접한 복수의 영역에서의 에지 방향들의 동일성 여부에 기초하여 선택적으로 방향성 보간을 수행하여 현재 픽처를 복원한 경우를 도시한다.
도 8d를 참조하면, 강한 에지 방향을 가지고 있는 영역(840)에서는 선택적으로 방향성 보간을 수행하여 도 8b에서 발생한 블록킹 아티팩츠를 최소화한다. 반면에, 복원시 불필요한 에지가 발생하는 영역(850)에서는 선택적으로 이중 선형 보간을 수행하여 불필요한 에지가 발생하는 것을 최소화한다.
도 9는 본 발명의 일 실시예에 따른 에러 은닉 방법을 도시한다.
도 9를 참조하면, 단계 910에서 본 발명에 따른 에러 은닉 장치(300)는 현재 픽처에서 에러가 발생한 블록을 검출한다.
단계 920에서 에러 은닉 장치(300)는 단계 910에서 검출된 블록에 인접한 영역의 복수의 영역들로 나누고, 복수의 영역들 각각에서의 에지 방향을 계산한다. 바람직하게는 검출된 블록에 인접한 영역을 상부, 하부, 좌측 및 우측의 영역으로 나누고 각각의 영역에서의 에지 방향을 소벨 또는 프리윗 필터를 이용하여 계산한다. 에지 방향의 각도 및 에지의 세기가 계산되는데 에지 방향의 각도는 소정의 양자화된 각도로 양자화한다.
단계 930 내지 934는 단계 920에서 계산된 에지 방향들의 동일성 여부에 기초해 선택적으로 방향성 보간을 수행하는 단계를 도시한다. 보간의 수행 결과 단계 910에서 에러가 검출된 블록이 복원된다.
단계 930에서 에러 은닉 장치(300)는 단계 920에서 계산된 에지 방향들 중에서 소정 개수 이상의 에지 방향들이 동일한지 판단한다. 바람직하게는 단계 920에서 계산된 에지 방향들 중에서 2 이상의 에지 방향들이 동일한지 판단한다.
단계 930의 판단 결과 소정 개수 이상의 에지 방향들이 동일한지 판단되면, 단계 932에서 에러 은닉 장치(300)는 에러가 검출된 블록에 대하여 방향성 보간을 수행한다. 바람직하게는 2 이상의 에지 방향들이 동일한 것으로 판단되면, 방향성 보간을 수행한다.
단계 930의 판단 결과 소정 개수 이상의 에지 방향들이 동일하지 않은 것으로 판단되면, 단계 934에서 에러 은닉 장치(300)는 종래 기술에 따라 이중 선형 보간을 수행한다. 이중 선형 보간은 방향성 보간이 아닌 보간 방법의 예시일 뿐임은 전술하였다.
단계 930에서 2 이상의 에지 방향들이 동일한지 판단한 경우에는 동일한 에지 방향들이 없는 경우에 이중 선형 보간을 수행한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. 또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
본 발명에 따르면, 에러가 발생한 블록에 인접한 복수의 영역들에서의 에지 방향에 기초하여 선택적으로 방향성 보간을 수행함으로서 보다 정확하게 에러가 발생한 블록을 복원할 수 있다.
또한, 에러가 발생한 블록에 인접한 영역의 에지 방향에 기초하여 방향성 보간을 수행할지 여부를 결정하므로, 블록킹 아티팩츠를 최소화하여 에지에 포함된 블록을 복원할 수 있다.

Claims (13)

  1. 영상의 에러 은닉 방법에 있어서,
    현재 픽처에서 에러가 발생한 블록을 검출하는 단계;
    상기 검출된 블록에 인접한 영역을 복수의 영역들로 나누고, 상기 복수의 영역들 각각에서의 에지 방향을 획득하는 단계; 및
    상기 획득된 에지 방향들의 동일성 여부에 기초해 선택적으로 방향성 보간(directional interpolation)을 수행하여 상기 검출된 블록을 복원하는 단계를 포함하며,
    상기 복원하는 단계는 상기 획득된 에지 방향들이 소정 개수 이상 동일한지 여부를 결정하고, 상기 획득된 에지 방향이 소정 개수 이상 동일한 경우 상기 방향성 보간을 수행하는 단계를 더 포함하는 것을 특징으로 하는 에러 은닉 방법.
  2. 삭제
  3. 제 1 항에 있어서, 상기 보간을 수행하는 단계는
    상기 획득된 에지 방향들 중 적어도 2 이상의 에지 방향들이 동일한 것으로 판단되면, 동일한 에지 방향으로 방향성 보간을 수행하는 것을 특징으로 하는 에러 은닉 방법.
  4. 제 1 항에 있어서, 상기 보간을 수행하는 단계는
    상기 획득된 에지 방향들 중 동일한 에지 방향들이 없는 것으로 판단되면, 이중 선형 보간(bilinear interpolation)을 수행하는 것을 특징으로 하는 에러 은닉 방법.
  5. 제 1 항에 있어서, 상기 복수의 영역들은
    상기 검출된 블록의 상부, 하부, 좌측 및 우측에 인접한 영역들인 것을 특징으로 하는 에러 은닉 방법.
  6. 제 1 항에 있어서, 상기 에지 방향을 계산하는 단계는
    소벨(sobel) 또는 프리윗(prewitt) 필터를 이용해 상기 복수의 영역들 각각에서의 에지 방향을 계산하는 단계를 포함하는 것을 특징으로 하는 에러 은닉 방법.
  7. 영상의 에러 은닉 장치에 있어서,
    현재 픽처에서 에러가 발생한 블록을 검출하는 에러검출부;
    상기 검출된 블록에 인접한 영역을 복수의 영역들로 나누고, 상기 복수의 영역들 각각에서의 에지 방향을 획득하는 에지검출부; 및
    상기 획득된 에지 방향들의 동일성 여부에 기초해 선택적으로 방향성 보간(directional interpolation)을 수행하여 상기 검출된 블록을 복원하는 에러 은닉부를 포함하며,
    상기 에러 은닉부는 상기 복원하는 단계는 상기 획득된 에지 방향들이 소정 개수 이상 동일한지 여부를 결정하는 판단부와 상기 획득된 에지 방향이 소정 개수 이상 동일한 경우 상기 방향성 보간을 수행하는 보간부를 더 포함하는 것을 특징으로 하는 에러 은닉 장치.
  8. 삭제
  9. 제 7 항에 있어서, 상기 보간부는
    상기 획득된 에지 방향들 중 적어도 2 이상의 에지 방향들이 동일한 것으로 판단되면, 동일한 에지 방향으로 방향성 보간을 수행하는 것을 특징으로 하는 에러 은닉 장치.
  10. 제 7 항에 있어서, 상기 보간부는
    상기 획득된 에지 방향들 중 동일한 에지 방향들이 없는 것으로 판단되면, 이중 선형 보간(bilinear interpolation)을 수행하는 것을 특징으로 하는 에러 은닉 장치.
  11. 제 7 항에 있어서, 상기 복수의 영역들은
    상기 검출된 블록의 상부, 하부, 좌측 및 우측에 인접한 영역들인 것을 특징으로 하는 에러 은닉 장치.
  12. 제 7 항에 있어서, 상기 에지검출부는
    소벨(sobel) 또는 프리윗(prewitt) 필터를 이용해 상기 복수의 영역들 각각에서의 에지 방향을 계산하는 것을 특징으로 하는 에러 은닉 장치.
  13. 제 1 항, 제3항, 제4항, 제5항, 및 제 6 항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.
KR1020070060061A 2007-06-19 2007-06-19 영상의 공간적 에러 은닉 방법 및 장치 KR101420098B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020070060061A KR101420098B1 (ko) 2007-06-19 2007-06-19 영상의 공간적 에러 은닉 방법 및 장치
US12/050,305 US8509314B2 (en) 2007-06-19 2008-03-18 Method and apparatus for spatial error concealment of image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020070060061A KR101420098B1 (ko) 2007-06-19 2007-06-19 영상의 공간적 에러 은닉 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20080111742A KR20080111742A (ko) 2008-12-24
KR101420098B1 true KR101420098B1 (ko) 2014-07-17

Family

ID=40136461

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070060061A KR101420098B1 (ko) 2007-06-19 2007-06-19 영상의 공간적 에러 은닉 방법 및 장치

Country Status (2)

Country Link
US (1) US8509314B2 (ko)
KR (1) KR101420098B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101665958B1 (ko) * 2010-08-16 2016-10-13 에스케이 텔레콤주식회사 변환영역 화소 그룹화를 통한 에너지 보정장치 및 그 방법
KR101889101B1 (ko) * 2011-09-14 2018-08-17 세종대학교산학협력단 메모리 복사를 이용하여 영상을 복원하는 방법 및 장치
US9848210B2 (en) * 2014-12-18 2017-12-19 Konkuk University Industrial Cooperation Corp Error concealment method using spatial interpolation and exemplar-based image inpainting

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070003502A (ko) * 2005-06-30 2007-01-05 삼성전자주식회사 에러 은닉 방법 및 장치
KR20080060561A (ko) * 2006-12-27 2008-07-02 한양대학교 산학협력단 공간적 에러은닉 장치 및 방법
KR20080070242A (ko) * 2007-01-25 2008-07-30 (주)마무리안디자인 에러 은닉 장치 및 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100197366B1 (ko) * 1995-12-23 1999-06-15 전주범 영상 에러 복구 장치
GB2343321B (en) * 1998-11-02 2003-03-26 Nokia Mobile Phones Ltd Error concealment in a video signal
JP4042563B2 (ja) * 2002-12-27 2008-02-06 セイコーエプソン株式会社 画像ノイズの低減
WO2004064396A1 (en) * 2003-01-10 2004-07-29 Thomson Licensing S.A. Decoder apparatus and method for smoothing artifacts created during error concealment
US7693345B2 (en) * 2004-03-04 2010-04-06 Nvidia Corporation Method and apparatus for error concealment for JPEG 2000 compressed images and data block-based video data
TWI253848B (en) * 2004-04-09 2006-04-21 Mstar Semiconductor Inc Pixel interpolation method and related pixel interpolation device
JP4600011B2 (ja) * 2004-11-29 2010-12-15 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
US7587098B2 (en) * 2005-07-14 2009-09-08 Mavs Lab. Inc. Pixel data generating method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070003502A (ko) * 2005-06-30 2007-01-05 삼성전자주식회사 에러 은닉 방법 및 장치
KR20080060561A (ko) * 2006-12-27 2008-07-02 한양대학교 산학협력단 공간적 에러은닉 장치 및 방법
KR20080070242A (ko) * 2007-01-25 2008-07-30 (주)마무리안디자인 에러 은닉 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
한국통신학회논문지, 유현선, 제30권 3C호, 2005.3, 133-140, 방향성 보간을 이용한 공간적 에러 은닉 기법 *

Also Published As

Publication number Publication date
US8509314B2 (en) 2013-08-13
US20080317137A1 (en) 2008-12-25
KR20080111742A (ko) 2008-12-24

Similar Documents

Publication Publication Date Title
US11843797B2 (en) Content adaptive deblocking during video encoding and decoding
KR102185954B1 (ko) 영상 부호화 및 복호화 장치 및 그 방법
US8649431B2 (en) Method and apparatus for encoding and decoding image by using filtered prediction block
US8098731B2 (en) Intraprediction method and apparatus using video symmetry and video encoding and decoding method and apparatus
US8320470B2 (en) Method for spatial error concealment
JP5871906B2 (ja) 復号方法、プログラムおよび復号装置
KR101199498B1 (ko) 카메라 파라미터를 이용한 다시점 영상의 부호화 장치 및생성 장치, 그 방법과, 이를 수행하기 위한 프로그램이기록된 기록 매체
US20080240246A1 (en) Video encoding and decoding method and apparatus
US8160160B2 (en) Bit-rate reduction for multimedia data streams
US20110069752A1 (en) Moving image encoding/decoding method and apparatus with filtering function considering edges
KR102162856B1 (ko) 비디오 모션 보상을 위한 장치 및 방법
US20220201286A1 (en) Method and Apparatus of Encoding or Decoding with Mode Dependent Intra Smoothing Filter in Intra Prediction
EP2679006A1 (en) Efficient decisions for deblocking
AU2012219941A1 (en) Efficient decisions for deblocking
US9288485B2 (en) Video image encoding and decoding device using adaptive pseudo random noise injection during planar mode filtering
US20130114690A1 (en) Video encoding device and video decoding device
Chang et al. An error propagation free data hiding algorithm in HEVC intra-coded frames
KR101420098B1 (ko) 영상의 공간적 에러 은닉 방법 및 장치
KR101446773B1 (ko) 영상 복구를 이용한 인터 예측 부호화, 복호화 방법 및장치
JP4624308B2 (ja) 動画像復号装置及び動画像復号方法
KR20050013621A (ko) 블록킹 아티팩트들 검출 방법
KR20210071032A (ko) 미리 정의된 기준에 의해 결정된 참조 샘플을 사용한 인코딩 또는 디코딩 방법 및 장치
KR100229794B1 (ko) 움직임 벡터 정보에 대한 오류 복원기능을 갖는영상복호화기
KR20080070242A (ko) 에러 은닉 장치 및 방법
KR19980015341A (ko) 움직임 벡터정보에 대한 오류 복원기능을 갖는 영상 복호화기(image decoder having functions for reconstructing error of motion vectors)

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170629

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee