KR20200093212A - Apparatus and method for bi-sequential video error concealment - Google Patents
Apparatus and method for bi-sequential video error concealment Download PDFInfo
- Publication number
- KR20200093212A KR20200093212A KR1020190010404A KR20190010404A KR20200093212A KR 20200093212 A KR20200093212 A KR 20200093212A KR 1020190010404 A KR1020190010404 A KR 1020190010404A KR 20190010404 A KR20190010404 A KR 20190010404A KR 20200093212 A KR20200093212 A KR 20200093212A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- error concealment
- frame
- damaged
- distortion rate
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 116
- 230000002123 temporal effect Effects 0.000 claims abstract description 210
- 230000002457 bidirectional effect Effects 0.000 claims abstract description 60
- 230000009466 transformation Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 description 13
- 239000011159 matrix material Substances 0.000 description 12
- 238000010586 diagram Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000005540 biological transmission Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004883 computer application Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
- H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
- H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
-
- G06T3/0093—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
- H04N19/103—Selection of coding mode or of prediction mode
- H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
- H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
- H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
- H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
Description
본원은 양방향 영상 에러 은닉 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for bidirectional image error concealment.
H.264, MPEG-4, HEVC와 같은 영상 부호화 기술은 가변장 부호화(variable length coding)와 공간 및 움직임 예측 방법(spatial and motion prediction) 등의 영상 압축 방법을 사용한다. 이와 같은 압축 영상은 에러가 있는 채널 환경에 매우 취약하여 단지 한 비트의 에러에 의해서도 영상 복호화 도중에 동기를 잃어버리게 하는 원인을 제공한다.Image coding techniques such as H.264, MPEG-4, and HEVC use image compression methods such as variable length coding and spatial and motion prediction. Such a compressed image is very vulnerable to an erroneous channel environment, and provides a cause of losing synchronization during image decoding even with only one bit of error.
이러한 전송 환경에서 발생하는 에러에 의한 피해를 최소화하기 위해 에러에 강인한 부호화 방법, 에러가 발생한 경우 에러를 은닉하는 방법 등에 대한 연구가 활발히 진행되어 왔다.In order to minimize the damage caused by an error occurring in such a transmission environment, research has been actively conducted on an error-resistant encoding method, an error hiding method when an error occurs, and the like.
이러한 에러 은닉(Error concealment) 방법은 전송 채널의 에러로 인해 발생하는 영상의 손실된 부분의 주관적 화질을 최대한 개선하기 위한 방법으로서, 손실된 블록 주변의 올바르게 복호된 블록 정보를 이용하여 참조 영상에서 가장 유사한 블록을 찾아 손실 블록을 대체하는 것이다. 정상적으로 복원된 시간적 혹은 공간적 이웃 블록 정보를 이용하여 손상된 블록을 완벽하게 복원할 수는 없지만, 인간의 눈에 최대한 띄지 않도록 은닉시킬 수 있다. 에러 은닉 방법은 크게 공간적 에러 은닉 방법(spatial error concealment: SEC)과 시간적 에러 은닉 방법(temporal error concealment: TEC)으로 분류할 수 있다. The error concealment method is a method for maximally improving the subjective image quality of a lost portion of an image caused by an error in a transmission channel, and is best used in a reference image by using correctly decoded block information around a lost block. Find similar blocks and replace lost blocks. Damaged blocks cannot be completely restored using normally restored temporal or spatial neighboring block information, but can be concealed so as not to be noticed by the human eye as much as possible. The error concealment method can be roughly classified into a spatial error concealment (SEC) and a temporal error concealment (TEC).
종래의 시간적 에러 은닉 방법으로 참조 영상의 해당 부분으로 단순 대체하는 시간적 대체 방법(temporal replacement: TR)과 프레임, 피처 및 마스크의 계층 구조를 사용한 시공간적 패치 매칭 알고리즘을 수행하는 인페이팅 방법(video inpainting method) 등이 존재하나, TR 방식은 현재 프레임과 참조 프레임 간의 차이가 거의 없다는 가정을 기반으로 하므로, 대상 프레임에 일정량의 움직임이 있는 경우 정확한 복원이 불가하며, 대부분의 기존 TEC 방식은 상대적으로 커다란 크기를 갖는 에러 영역을 은닉하는 데 어려움이 존재한다.Temporal replacement (TR), which is simply replaced with the corresponding part of the reference image by the conventional temporal error concealment method, and an infighting method that performs a spatio-temporal patch matching algorithm using the hierarchical structure of frames, features, and masks (video inpainting) method) exists, but since the TR method is based on the assumption that there is little difference between the current frame and the reference frame, accurate restoration is not possible when there is a certain amount of movement in the target frame, and most existing TEC methods are relatively large. Difficulties exist in concealing error regions of size.
본원의 배경이 되는 기술은 한국등록특허공보 제10-0711204호에 개시되어 있다.The background technology of this application is disclosed in Korean Patent Registration No. 10-0711204.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 복원 영역에 대하여 적절한 정합 모델을 선택 적용함으로써 다양한 유형을 갖는 복원 영역 또는 비교적 큰 크기의 복원 영역을 효율적으로 재구성할 수 있는 적응적 호모그래피 기반의 정합을 이용한 양방향 영상 에러 은닉 장치 및 방법을 제공하려는 것을 목적으로 한다.The present application is to solve the problems of the above-described prior art, and by adaptively selecting an appropriate matching model for the restoration region, adaptive homography based on which various types of restoration regions or relatively large-sized restoration regions can be efficiently reconstructed. An object of the present invention is to provide a bidirectional image error concealment apparatus and method using matching.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problems to be achieved by the embodiments of the present application are not limited to the technical problems as described above, and other technical problems may exist.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법은, 대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 손상된 영역이 존재하는 프레임을 탐색하는 단계, 상기 손상된 영역이 존재하는 프레임에 순방향 시간적 에러 은닉을 수행하는 단계, 대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 손상된 영역이 존재하는 프레임을 탐색하는 단계, 상기 손상된 영역이 존재하는 프레임에 역방향 시간적 에러 은닉을 수행하는 단계 및 상기 역방향 시간적 에러 은닉을 수행한 후, 손상된 영역이 남아있는 프레임에 대하여 공간적 에러 은닉을 수행하는 단계를 포함할 수 있다.As a technical means for achieving the above technical problem, a bidirectional image error concealment method according to an embodiment of the present application comprises: searching for a frame in which a damaged region exists from the first frame to the last frame in the playback order of the target image, the Performing forward temporal error concealment in a frame in which a damaged region exists, searching for a frame in which a damaged region exists from the last frame to the first frame in the playback order of the target image, a reverse temporal error in the frame in which the damaged region exists After performing the concealment and performing the reverse temporal error concealment, the method may include performing a spatial error concealment on a frame in which the damaged area remains.
또한, 본원의 일 실시에에 따른 양방향 영상 에러 은닉 방법은, 손상된 영역이 존재하는 마지막 프레임에 순방향 시간적 에러 은닉을 수행한 결과, 상기 마지막 프레임에 손상된 영역이 남아있는 경우, 상기 마지막 프레임에 대하여 공간적 에러 은닉을 수행하는 단계를 포함할 수 있다.In addition, in the bidirectional image error concealment method according to an embodiment of the present application, when a temporal temporal error concealment is performed on the last frame in which the damaged region exists, when the damaged region remains in the last frame, spatially with respect to the last frame And performing error concealment.
또한, 상기 순방향 시간적 에러 은닉을 수행하는 단계 또는 상기 역방향 시간적 에러 은닉을 수행하는 단계는, 상기 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임을 참조 이미지로 결정하는 단계, 상기 목표 이미지 및 참조 이미지의 매칭점을 추출하는 단계, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 전역 와핑 이미지를 생성하는 단계, 상기 목표이미지 및 참조이미지 내에 동일한 위치 및 면적을 가지며, 상기 손상된 영역을 포함하는 패치 영역을 설정하는 단계, 상기 목표 이미지 및 참조 이미지의 패치 영역을 고려하여 매칭점을 추출하는 단계, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 국부 와핑 이미지를 생성하는 단계, 상기 전역 와핑 이미지 및 국부 와핑 이미지의 왜곡률을 계산하는 단계 및 상기 왜곡률을 고려하여 전역 와핑 이미지 또는 국부 와핑 이미지를 적응적으로 선택하여 상기 손상된 영역을 복원하는 단계를 포함할 수 있다.In addition, the step of performing the forward temporal error concealment or the step of performing the reverse temporal error concealment may include a frame including the damaged region as a target image and source information for restoring the damaged region. Determining as a reference image, extracting a matching point of the target image and the reference image, performing homography transformation based on the matching point, and generating a global warping image, the same location in the target image and the reference image And setting a patch area having an area and including the damaged area, extracting a matching point in consideration of the patch areas of the target image and the reference image, and performing homography transformation based on the matching point to perform localization. Generating a warping image, calculating a distortion rate of the global and local warping images, and adaptively selecting a global warping image or a local warping image in consideration of the distortion rate to restore the damaged region. Can.
또한, 상기 참조 이미지는 상기 목표 이미지의 시간적 직전 프레임 또는 시간적 직후 프레임일 수 있다.In addition, the reference image may be a frame immediately before the temporal image or a frame immediately after the temporal image.
또한, 상기 대상 영상은 원본 영상 또는 상기 원본 영상을 특정한 수를 갖는 프레임 집합으로 분할한 분할 영상일 수 있다.Also, the target image may be an original image or a divided image obtained by dividing the original image into a set of frames having a specific number.
또한, 상기 매칭점을 추출하는 단계는, 상기 목표 이미지 및 참조 이미지 내 대응되는 복수의 특징점을 추출하는 단계 및 RANSAC 알고리즘을 적용하여 상기 복수의 특징점 중에서 매칭점을 선택하는 단계를 포함할 수 있다.The extracting of the matching points may include extracting a plurality of corresponding feature points in the target image and the reference image, and selecting a matching point from the plurality of feature points by applying a RANSAC algorithm.
또한, 상기 왜곡률을 계산하는 단계는, 상기 국부 와핑 이미지와 패치 영역의 공통 영역 및 손상된 영역에 기초하여 왜곡률 비교 영역을 설정하는 단계, 상기 목표 이미지 및 상기 전역 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 전역 왜곡률을 계산하는 단계 및 상기 목표 이미지 및 상기 국부 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 국부 왜곡률을 계산하는 단계를 포함할 수 있다.In addition, the calculating of the distortion rate may include setting a distortion rate comparison area based on a common area and a damaged area of the local warping image and a patch area, and of the pixels in the distortion rate comparison area of the target image and the global warping image. The method may include calculating a global distortion rate based on an absolute deviation and calculating a local distortion rate based on an absolute deviation of pixels in the distortion comparison area of the target image and the local warping image.
또한, 상기 적응적으로 선택하여 상기 손상된 영역을 복원하는 단계는, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값을 기 설정된 임계 왜곡률과 비교하는 단계 및 상기 기 설정된 임계 왜곡률이 더 큰경우, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값에 대응하는 전역 와핑 이미지 또는 국부 와핑 이미지에 기초하여 상기 손상된 영역을 복원하는 단계를 포함할 수 있다. Further, the adaptively selecting and restoring the damaged area may include comparing a smaller value of the global distortion rate and the local distortion rate with a preset threshold distortion rate, and when the preset threshold distortion rate is greater, the global distortion rate And restoring the damaged region based on a global warping image or a local warping image corresponding to a smaller value of the local distortion rate.
또한, 상기 순방향 시간적 에러 은닉을 수행하는 단계는, 상기 목표 이미지의 시간적 직전 프레임을 참조 이미지로 할 수 있고, 상기 역방향 시간적 에러 은닉을 수행하는 단계는, 상기 목표 이미지의 시간적 직후 프레임을 참조 이미지로 할 수 있다.Further, in the step of performing the forward temporal error concealment, a frame immediately before the temporal image of the target image may be used as a reference image, and the step of performing the reverse temporal error concealment may include a frame immediately after the temporal image of the target image as a reference image. can do.
한편, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치는, 대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 손상된 영역이 존재하는 프레임을 탐색 하고, 상기 손상된 영역이 존재하는 프레임에 순방향 시간적 에러 은닉을 수행하는 순방향 시간적 에러 은닉부, 대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 손상된 영역이 존재하는 프레임을 탐색하고, 상기 손상된 영역이 존재하는 프레임에 역방향 시간적 에러 은닉을 수행하는 역방향 시간적 에러 은닉부 및 손상된 영역이 존재하는 마지막 프레임에 순방향 시간적 에러 은닉을 수행한 결과, 상기 마지막 프레임에 손상된 영역이 남아있는 경우, 상기 마지막 프레임에 대하여 공간적 에러 은닉을 수행하고, 상기 역방향 시간적 에러 은닉이 수행되었으나 손상된 영역이 남아있는 프레임에 대하여 공간적 에러 은닉을 수행하는 공간적 에러 은닉부를 포함할 수 있다.On the other hand, the bidirectional image error concealment apparatus according to an embodiment of the present application searches for a frame in which a damaged region exists from a first frame to a last frame in a playback order of a target image, and conceals a forward temporal error in a frame in which the damaged region exists Forward temporal error concealment unit that performs a search for a frame in which a damaged area exists from the last frame to the first frame in the playback order of the target image, and reverse temporal error concealment to perform reverse temporal error concealment in the frame in which the damaged area exists As a result of performing forward temporal error concealment in the last frame in which the negative and damaged regions exist, when the damaged region remains in the last frame, spatial error concealment is performed for the last frame, and the reverse temporal error concealment is performed. A spatial error concealment unit may perform a spatial error concealment on a frame in which the damaged area remains.
또한, 상기 순방향 시간적 에러 은닉부 및 상기 역방향 시간적 에러 은닉부는, 상기 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임을 참조 이미지로 결정하는 프레임 결정부, 상기 목표 이미지 및 참조 이미지의 매칭점을 추출하고, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 전역 와핑 이미지 및 국부 와핑 이미지를 생성하는 이미지 정합부 및 상기 전역 와핑 이미지 및 국부 와핑 이미지의 왜곡률을 계산하고, 상기 왜곡률을 고려하여 전역 와핑 이미지 또는 국부 와핑 이미지를 적응적으로 선택하여 상기 손상된 영역을 복원하는 손상 영역 복원부를 포함할 수 있다.In addition, the forward temporal error concealment unit and the reverse temporal error concealment unit determine a frame for determining a frame including the damaged region as a target image and a frame including source information for restoring the damaged region as a reference image. An image matching unit that extracts a matching point of the target image and the reference image, and performs a homography transformation based on the matching point to generate a global warping image and a local warping image, and the global matching image and the local warping image. It may include a damaged area restoration unit for calculating the distortion rate and adaptively selecting a global warping image or a local warping image in consideration of the distortion rate to restore the damaged area.
또한, 상기 대상 영상은 원본 영상 또는 상기 원본 영상을 특정한 수를 갖는 프레임 집합으로 분할한 분할 영상일 수 있다.Also, the target image may be an original image or a divided image obtained by dividing the original image into a set of frames having a specific number.
또한, 상기 왜곡률은 전역 왜곡률 및 국부 왜곡률을 포함할 수 있고, 상기 손상 영역 복원부는 상기 국부 와핑 이미지와 패치영역의 공통 영역 및 손상된 영역에 기초하여 왜곡률 비교 영역을 설정하고, 상기 목표 이미지 및 상기 전역 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 전역 왜곡률을 계산하고, 상기 목표 이미지 및 상기 국부 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 국부 왜곡률을 계산할 수 있다.In addition, the distortion rate may include a global distortion rate and a local distortion rate, and the damaged area restoration unit sets a distortion rate comparison area based on the common area and the damaged area of the local warping image and the patch area, and the target image and the global A global distortion rate may be calculated based on an absolute deviation of a pixel in the distortion comparison area of the warping image, and a local distortion rate may be calculated based on an absolute deviation of a pixel in the distortion comparison area of the target image and the local warping image.
또한, 상기 손상 영역 복원부는, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값을 기 설정된 임계 왜곡률과 비교하여, 상기 기 설정된 임계 왜곡률이 더 큰 경우, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값에 대응하는 전역 와핑 이미지 또는 국부 와핑 이미지에 기초하여 상기 손상된 영역을 복원할 수 있다.In addition, the damaged region restoration unit compares a smaller value of the global distortion rate and the local distortion rate with a preset threshold distortion rate, and when the preset threshold distortion rate is greater, corresponds to a smaller value of the global distortion rate and the local distortion rate. The damaged area may be reconstructed based on a global warping image or a local warping image.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.The above-described problem solving means are merely exemplary and should not be construed as limiting the present application. In addition to the exemplary embodiments described above, additional embodiments may exist in the drawings and detailed description of the invention.
전술한 본원의 과제 해결 수단에 의하면, 대상 영상의 손상된 영역을 순방향 시간적 에러 은닉, 역방향 시간적 에러 은닉 및 공간적 에러 은닉을 복합적으로 적용하여 소스 정보의 전파를 통한 양방향 영상 에러 은닉 장치 및 방법을 제공할 수 있다.According to the above-described problem solving means of the present application, to provide an apparatus and method for bidirectional image error concealment through propagation of source information by applying a combination of forward temporal error concealment, reverse temporal error concealment and spatial error concealment to a damaged region of a target image Can.
전술한 본원의 과제 해결 수단에 의하면, 복원 영역에 대하여 적절한 정합 모델을 선택 적용함으로써 다양한 유형을 갖는 복원 영역 또는 비교적 큰 크기의 복원 영역을 효율적으로 재구성할 수 있는 적응적 호모그래피 기반의 정합을 이용한 양방향 영상 에러 은닉 장치 및 방법을 제공할 수 있다.According to the above-described problem solving means of the present application, by selecting and applying an appropriate matching model to the restoration region, an adaptive homography-based matching that can efficiently reconstruct a restoration region having various types or a restoration region having a relatively large size is used. It is possible to provide an apparatus and method for bidirectional image error concealment.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다. However, the effects obtainable herein are not limited to the effects described above, and other effects may exist.
도 1은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치의 개략적인 구성도이다.
도2는 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부 및 역방향 시간적 에러 은닉부의 개략적인 구성도이다.
도3은 본원의 일 실시예에 따른 전역 와핑 이미지를 생성하기 위한 목표 이미지 및 참조 이미지를 나타낸 도면이다.
도4는 본원의 일 실시예에 따른 국부 와핑 이미지를 생성하기 위한 목표 이미지 내 패치 영역 및 참조 이미지 내 패치 영역을 나타낸 도면이다.
도5는 본원의 일 실시예에 따른 왜곡률 비교 영역을 설명하기 위한 도면이다.
도6은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법의 개략적인 동작 흐름도이다.
도7은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법의 세부적인 동작 흐름도이다.
도8은 본원의 일 실시예에 따른 순방향 시간적 에러 은닉을 수행하는 단계 및 역방향 시간적 에러 은닉을 수행하는 단계의 세부적인 동작 흐름도이다.
도9는 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, 복수의 CTU 크기를 갖는 손상된 영역이 존재하는 프레임을 복원한 결과를 기존의 에러 은닉 기법들에 의한 결과와 비교하여 나타낸 도면이다.
도10은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, CTU 크기를 갖는 복수의 손상된 영역이 존재하는 프레임을 복원한 결과를 기존의 에러 은닉 기법들에 의한 결과와 PSNR 및 SSIM 측면에서 비교하여 나타낸 도표이다.
도11은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, 한 방향으로만 에러 은닉을 수행한 결과와 양방향 영상 에러 은닉 방법을 적용한 복원 결과를 PSNR 및 SSIM 측면에서 비교하여 나타낸 도표이다.
도12는 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, 종래의 Huang 기법과 영상 복원 프로세스에 소요되는 시간을 비교하여 나타낸 도표이다.1 is a schematic configuration diagram of a bidirectional image error concealment apparatus according to an embodiment of the present application.
2 is a schematic configuration diagram of a forward temporal error concealment unit and a reverse temporal error concealment unit according to an embodiment of the present application.
3 is a view showing a target image and a reference image for generating a global warping image according to an embodiment of the present application.
4 is a diagram illustrating a patch region in a target image and a patch region in a reference image for generating a local warping image according to an embodiment of the present application.
5 is a view for explaining a distortion rate comparison area according to an embodiment of the present application.
6 is a schematic operation flowchart of a bidirectional image error concealment method according to an embodiment of the present application.
7 is a detailed operation flowchart of a bidirectional image error concealment method according to an embodiment of the present application.
8 is a detailed operation flowchart of performing forward temporal error concealment and performing reverse temporal error concealment according to an embodiment of the present application.
9 is an experimental example associated with a bidirectional image error concealment method according to an embodiment of the present application, and a result of restoring a frame in which a damaged region having a plurality of CTU sizes exists is compared with a result of existing error concealment techniques. It is a figure shown by comparison.
10 is an experimental example associated with a bidirectional image error concealment method according to an embodiment of the present application, and a result of restoring a frame in which a plurality of damaged areas having a CTU size exists is compared with a result of existing error concealment techniques. It is a comparison chart in terms of PSNR and SSIM.
11 is an experimental example associated with the bidirectional image error concealment method according to an embodiment of the present application, and compares the result of performing error concealment in one direction and the restoration result using the bidirectional image error concealment method in terms of PSNR and SSIM. It is a diagram shown.
12 is a diagram illustrating a comparison of a time required for a conventional Huang technique and an image reconstruction process as an experimental example associated with a bidirectional image error concealment method according to an embodiment of the present application.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present application will be described in detail with reference to the accompanying drawings so that those skilled in the art to which the present application pertains may easily practice. However, the present application may be implemented in various different forms and is not limited to the embodiments described herein. In addition, in order to clearly describe the present application in the drawings, parts irrelevant to the description are omitted, and like reference numerals are assigned to similar parts throughout the specification.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다. Throughout this specification, when a part is "connected" to another part, it is not only "directly connected", but also "electrically connected" or "indirectly connected" with another element in between. "It includes the case where it is.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.Throughout this specification, when one member is positioned on another member “on”, “on top”, “top”, “bottom”, “bottom”, “bottom”, it means that one member is on another member This includes cases where there is another member between the two members as well as when in contact.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.Throughout the present specification, when a part “includes” a certain component, it means that the component may further include other components, not to exclude other components, unless otherwise stated.
에러 은닉(Error Concealment, EC)은 디코더 측에서 특정 영상을 복호화하는 과정에서, 특정 프레임에 손상된 영역이 존재하는 경우, 이를 복원하기 위한 후처리 기법으로, 영상 전송에서 패킷 손실 등에 의한 손실을 재구성하는데 효과적일 수 있다. 에러 은닉(EC)는 크게 인접 픽셀과의 상관 관계를 이용하는 공간적 에러 은닉(spatial error concealment, SEC)과 프레임 간의 상관 관계를 이용하는 시간적 에러 은닉(temporal error concealment, TEC)로 구분될 수 있다.Error Concealment (EC) is a post-processing technique for restoring when a damaged region exists in a specific frame in the process of decoding a specific image on the decoder side, reconstructing losses due to packet loss in image transmission. It can be effective. Error concealment (EC) can be largely divided into spatial error concealment (SEC) using correlation with adjacent pixels and temporal error concealment (TEC) using correlation between frames.
기존에 제안된 BI(bilinear interpolation) 기법은, 공간적 에러 은닉(SEC)의 하나로 픽셀 간 거리의 역 비율에 기초하여 가중치를 결정하고, 상기 가중치를 기반으로 보간을 수행하는 방식을 의미한다. 상기 BI 기법은 계산 복잡도가 낮으면서도 합리적이 결과를 도출할 수 있다는 장점이 있으나, 손상된 영역 내에 가장자리 (Edge) 구조가 존재할 경우에 있어서 복원 성능의 한계를 가진다.The previously proposed bilinear interpolation (BI) technique, as one of spatial error concealment (SEC), refers to a method of determining a weight based on an inverse ratio of a distance between pixels and performing interpolation based on the weight. The BI technique has the advantage of being able to derive a reasonable result while having a low computational complexity, but has a limitation in reconstruction performance when an edge structure exists in a damaged area.
또한, 기존에 제안된 TR(temporal replacement) 기법은, 시간적 에러 은닉(TEC)의 하나로, 손상된 영역의 픽셀을 참조 프레임의 동일한 위치에 있는 픽셀로 단순 대체하는 기법으로, 손상된 영역이 존재하는 프레임과 참조 프레임이 유사하다는 가정을 전제로 하므로, 일정한 움직임이 나타나는 영상에 있어서 복원 품질이 저하되는 단점이 존재한다.In addition, the proposed TR (temporal replacement) technique is one of temporal error concealment (TEC), which simply replaces a pixel in a damaged region with a pixel in the same position of a reference frame, and a frame in which a damaged region exists. Since it is assumed that the reference frames are similar, there is a disadvantage in that the reconstructed quality is deteriorated in an image in which a certain motion appears.
도 1은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치의 개략적인 구성도이다.1 is a schematic configuration diagram of a bidirectional image error concealment apparatus according to an embodiment of the present application.
도1을 참조하면, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)는, 순방향 시간적 에러 은닉부(110), 역방향 시간적 에러 은닉부(120) 및 공간적 에러 은닉부(130)을 포함할 수 있다.Referring to FIG. 1, the bidirectional image
순방향 시간적 에러 은닉부(110)는, 대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 손상된 영역이 존재하는 프레임을 탐색 하고, 상기 손상된 영역이 존재하는 프레임에 순방향 시간적 에러 은닉을 수행할 수 있다.The forward temporal
또한, 본원의 일 실시예에 따르면, 대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 탐색하는 것은, 재생 순서 기준 순방향을 의미할 수 있고, 대상 영상의 전체 프레임 수를 N이라 할 때, 프레임1로부터 프레임N으로 하나의 프레임씩 탐색을 진행하는 것을 의미할 수도 있다.Further, according to an embodiment of the present disclosure, searching from the first frame to the last frame in the playback order of the target video may mean a forward direction based on the playback order, and when the total number of frames of the target video is N, frame 1 It may mean that the search is performed from frame to frame N, one frame at a time.
역방향 시간적 에러 은닉부(120)는, 대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 손상된 영역이 존재하는 프레임을 탐색하고, 상기 손상된 영역이 존재하는 프레임에 역방향 시간적 에러 은닉을 수행할 수 있다.The reverse temporal
또한, 본원의 일 실시예에 따르면, 대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 탐색하는 것은, 재생 순서 기준 역방향을 의미할 수 있고, 대상 영상의 전체 프레임 수를 N이라 할 때, 프레임 N으로부터 프레임1로 하나의 프레임씩 탐색을 진행하는 것을 의미할 수도 있다.In addition, according to an embodiment of the present disclosure, searching from the last frame to the first frame in the playback order of the target video may mean a reverse direction based on the playback order, and when the total number of frames of the target video is N, frame N It may mean that the search is performed one frame at a time from to frame 1.
공간적 에러 은닉부(130)는, 손상된 영역이 존재하는 마지막 프레임에 순방향 시간적 에러 은닉을 수행한 결과, 상기 마지막 프레임에 손상된 영역이 남아있는 경우, 상기 마지막 프레임에 대하여 공간적 에러 은닉을 수행할 수 있다. 또한, 공간적 에러 은닉부(130)는, 상기 역방향 시간적 에러 은닉이 수행되었으나 손상된 영역이 남아있는 프레임에 대하여 공간적 에러 은닉을 수행할 수 있다. 본원의 일 실시예에 따르면, 공간적 에러 은닉부(130)는 공지된 공간적 에러 은닉 적용 방법에 따라 프레임에 존재하는 손상된 영역을 복원할 수 있다.The spatial
구체적으로, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)는, 대상 영상을 프레임 단위로 손상된 영역을 복원하기 위한 소스 정보를 전파하며 순방향으로 1회 및 역방향으로 1회 진행하며 에러 은닉을 수행한 후, 양방향 영상 에러 은닉을 종료하므로, 선행하는 순방향 시간적 에러 은닉 수행 단계에서는 손상된 영역이 존재하는 프레임에 대한 복원이 전체 손상된 영역에 대해 완결되지 않더라도, 후행하는 역방향 시간적 에러 은닉 수행 단계에서 미복원된 영역에 대한 에러 은닉이 적용될 수 있는 특징을 갖는다.Specifically, the bidirectional image
이에 따라, 양방향 영상 에러 은닉 장치(100)는, 순방향 시간적 에러 은닉 단계를 전체 프레임에 대하여 수행하고, 마지막 프레임에 대하여만 공간적 에러 은닉을 추가적으로 적용하고, 역방향 시간적 에러 은닉 단계에서는, 역방향 시간적 에러 은닉을 수행한 후에도 현재 프레임에 미복원된 손상 영역이 남아 있는 경우, 프레임 각각에 대하여 공간적 에러 은닉을 수행하여, 해당 프레임에 대한 손상 영역 복원을 완결하고 역방향으로 다음 프레임에 대한 탐색 및 복원을 진행할 수 있다. Accordingly, the bidirectional image
또한, 본원의 일 실시예에 따르면, 대상 영상은 원본 영상 또는 상기 원본 영상을 특정한 수를 갖는 프레임 집합으로 분할한 분할 영상일 수 있다.Further, according to an embodiment of the present application, the target image may be an original image or a divided image obtained by dividing the original image into a set of frames having a specific number.
또한, 본원의 일 실시예에 따르면, 상기 분할 영상은 GOF(group of frame)을 의미할 수 있고, 상기 대상 영상은 예시적으로 N개의 프레임을 포함할 수 있다.Further, according to an embodiment of the present application, the divided image may mean a group of frame (GOF), and the target image may include N frames as an example.
즉, 본원의 일 실시예에 따른, 양방향 영상 에러 은닉 장치(100)는, 원본 영상 전체를 양방향으로 탐색하며 에러 은닉을 수행함으로써 복원 영상을 출력할 수 있고, 상기 원본 영상을 특정 수의 프레임을 포함하는 분할 영상(GOF)로 분할하여, 분할 영상 각각에 대한 양방향 에러 은닉을 개별적으로 수행하고, 에러 은닉 수행 결과 손상된 영역이 복원된 각각의 복수의 결과 영상들을 합하여 복원 영상을 출력할 수도 있다. 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치 및 방법은 영상 디코딩 장치에 적용될 수 있다.That is, according to an embodiment of the present application, the bidirectional image
이하에서는 도2내지 도5를 통해 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)가 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 수행하는 과정을 상세히 서술한다.Hereinafter, a process in which the bidirectional image
또한, 상기 순방향 시간적 에러 은닉을 수행하는 과정은 순방향 시간적 에러 은닉부(110)에 의하여 수행될 수 있고, 상기 역방향 시간적 에러 은닉을 수행하는 과정은 역방향 시간적 에러 은닉부(120)에 의하여 수행될 수 있다.In addition, the process of performing the forward temporal error concealment may be performed by the forward temporal
도2는 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부 및 역방향 시간적 에러 은닉부의 개략적인 구성도이다.2 is a schematic configuration diagram of a forward temporal error concealment unit and a reverse temporal error concealment unit according to an embodiment of the present application.
도2를 참조하면 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)는, 프레임 결정부(111), 이미지 정합부(112) 및 손상 영역 복원부(113)을 포함할 수 있다.Referring to FIG. 2, the forward temporal
또한, 본원의 일 실시예에 따른 역방향 시간적 에러 은닉부(120)는, 프레임 결정부(121), 이미지 정합부(122) 및 손상 영역 복원부(123)을 포함할 수 있다.In addition, the reverse temporal
순방향 시간적 에러 은닉부(110)의 프레임 결정부(111) 및 역방향 시간적 에러 은닉부(120)의 프레임 결정부(121)는, 상기 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임을 참조 이미지로 결정할 수 있다.The
또한, 순방향 시간적 에러 은닉부(110)의 프레임 결정부(111)는, 상기 목표 이미지의 시간적 직전 프레임을 참조 이미지로 결정할 수 있다.In addition, the
반대로, 역방향 시간적 에러 은닉부(120)의 프레임 결정부(121)는, 상기 목표 이미지의 시간적 직후 프레임을 참조 이미지로 결정할 수 있다.Conversely, the
즉, 상기 참조 이미지는 상기 목표 이미지의 시간적 직전 프레임 또는 시간적 직후 프레임일 수 있다.That is, the reference image may be a frame immediately before the temporal image or a frame immediately after the temporal image.
순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 목표 이미지 및 참조 이미지의 매칭점을 추출하고, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 전역 와핑 이미지 및 국부 와핑 이미지를 생성할 수 있다.The
본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 목표 이미지 및 참조 이미지 내 대응되는 복수의 특징점을 추출하고, RANSAC 알고리즘을 적용하여 상기 복수의 특징점 중에서 매칭점을 선택할 수 있다.According to one embodiment of the present application, the
본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, Harris 기법, SIFT(scale-invariant feature transform) 기법 또는 SUFR 기법을 통해 상기 복수의 특징점을 추출할 수 있다. 다만, 이는 예시적 기재일 뿐 이에 한정될 필요는 없고, 다양한 기법들이 복수의 특징점 추출에 사용될 수 있다.According to one embodiment of the present application, the
또한, 본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 복수의 특징점에 RANSAC(RANdom Sample Consensus) 알고리즘을 적용할 수 있다.In addition, according to an embodiment of the present application, the
상기 RANSAC 알고리즘은, 복수의 데이터로부터 이상점(oulier)에 해당하는 데이터를 제거하여 컨센서스(Consensus)가 최대인 데이터 집합을 선택하는 알고리즘을 의미할 수 있다. The RANSAC algorithm may refer to an algorithm that removes data corresponding to an oulier from a plurality of data and selects a data set having a maximum consensus.
즉, 복수의 특징점 중 이상점(oulier)에 해당하는 특징점을 제외한 나머지를 매칭점으로 결정하여 상기 목표 이미지 및 상기 참조 이미지의 대응되는 특징을 적절하게 반영하는 매칭점을 결정할 수 있다.That is, the remaining points excluding the feature points corresponding to the oulier among the plurality of feature points may be determined as matching points to determine matching points appropriately reflecting the corresponding characteristics of the target image and the reference image.
또한, 본원의 일 실시예에 따르면, 전술한 특징점 및 매칭점은 목표 이미지와 참조 이미지의 전체 영역을 고려하여 추출 및 결정될 수 있고, 목표 이미지와 참조 이미지 내 대응되는 패치 영역을 설정하고, 상기 패치 영역을 고려하여 추출 및 결정될 수도 있다.In addition, according to an embodiment of the present application, the aforementioned feature points and matching points may be extracted and determined in consideration of the entire area of the target image and the reference image, and a corresponding patch area in the target image and the reference image may be set, and the patch It may be extracted and determined in consideration of a region.
또한, 본원의 일 실시예에 따르면, 목표 이미지와 참조 이미지의 전체 영역을 고려한 매칭점은 전역 와핑 이미지를 생성하기 위한 호모그래피 변환에 사용되고, 목표 이미지와 참조 이미지의 패치 영역을 고려한 매칭점은 국부 와핑 이미지를 생성하기 위한 호모그래피 변환에 사용될 수 있다.Further, according to an embodiment of the present disclosure, the matching point considering the entire area of the target image and the reference image is used for homography transformation to generate a global warping image, and the matching point considering patch areas of the target image and the reference image is local. It can be used for homography transformation to generate warping images.
이하에서는, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)가 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 수행하기 위하여, 전역 와핑 이미지 및 국부 와핑 이미지를 생성하는 과정을 자세히 서술한다. Hereinafter, a process in which the bidirectional image
도3은 본원의 일 실시예에 따른 전역 와핑 이미지를 생성하기 위한 목표 이미지 및 참조 이미지를 나타낸 도면이다.3 is a view showing a target image and a reference image for generating a global warping image according to an embodiment of the present application.
도3을 참조하면, (a)의 It는 손상된 영역이 존재하는 프레임으로 목표 이미지에 해당할 수 있다. (b)의 Ir은 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임으로 참조 이미지에 해당할 수 있다.Referring to FIG. 3, I t in (a) is a frame in which a damaged area exists and may correspond to a target image. Ir in (b) is a frame including source information for restoring the damaged area and may correspond to a reference image.
또한, (a)의 Ωt 는 상기 손상된 영역이고, (b)의 Φr 은 참조 이미지 내 소스 영역이고, (a)의 Φt는 (b)의 Φr 에 대응하는 목표 이미지 내 소스 영역을 나타낼 수 있다.Further, Ω t in (a) is the damaged region, Φ r in (b) is a source region in the reference image, and Φ t in (a) is a source region in the target image corresponding to Φ r in (b). Can be represented.
또한, Φt 및 Φr 내 회색 점들은 복수의 특징점이고, 붉은 점들은 복수의 특징점 중 RANSAC 알고리즘에 의해 선택된 매칭점일 수 있다.In addition, the gray dots in Φt and Φ r are a plurality of feature points, and the red dots may be a matching point selected by the RANSAC algorithm among the plurality of feature points.
본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 전술한 매칭점들에 기초하여 전역 호모그래피 행렬(H)를 계산할 수 있다.According to one embodiment of the present application, the
또한, 본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 전역 호모그래피 행렬에 기초하여, 호모그래피 변환을 수행하여 참조 이미지(Ir)로부터 전역 와핑 이미지(Iw)를 생성할 수 있다.In addition, according to an embodiment of the present application, the
또한, 본원의 일 실시예에 따르면, 전술한 전역 호모그래피 행렬은 아래의 식1에 의해 계산될 수 있다.Further, according to an embodiment of the present application, the above-described global homography matrix may be calculated by Equation 1 below.
[식1][Equation 1]
여기서, (x1, y1)는 목표 이미지 내 존재하는 매칭점의 좌표이고, (x2, y2)는 참조 이미지 내 존재하는 매칭점의 좌표이고, H는 상기 전역 호모그래피 행렬을 의미할 수 있다.Here, (x 1 , y 1 ) is the coordinates of the matching points present in the target image, (x 2 , y 2 ) is the coordinates of the matching points present in the reference image, and H is the global homography matrix. Can.
도4는 본원의 일 실시예에 따른 국부 와핑 이미지를 생성하기 위한 목표 이미지 내 패치 영역 및 참조 이미지 내 패치 영역을 나타낸 도면이다.4 is a diagram illustrating a patch region in a target image and a patch region in a reference image for generating a local warping image according to an embodiment of the present application.
도4을 참조하면, (a)의 It는 손상된 영역이 존재하는 프레임으로 목표 이미지에 해당할 수 있다. (b)의 Ir은 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임으로 참조 이미지에 해당할 수 있다.Referring to FIG. 4, I t in (a) is a frame in which a damaged area exists and may correspond to a target image. Ir in (b) is a frame including source information for restoring the damaged area and may correspond to a reference image.
또한, (a)의 Ωt 는 상기 손상된 영역이고, (b)의 Φr 은 참조 이미지 내 소스 영역이고, (a)의 Φt는 (b)의 Φr 에 대응하는 목표 이미지 내 소스 영역을 나타낼 수 있다.Further, Ω t in (a) is the damaged region, Φ r in (b) is a source region in the reference image, and Φ t in (a) is a source region in the target image corresponding to Φ r in (b). Can be represented.
또한, (a)의 Ψt는 상기 손상된 영역을 포함하는 목표 이미지 내 패치 영역일 수 있고, (b)의 Ψr은 상기 목표 이미지 내 패치 영역과 동일한 위치 및 면적을 가지는 참조 이미지 내 패치 영역일 수 있다.In addition, Ψ t in (a) may be a patch region in a target image including the damaged region, and Ψ r in (b) may be a patch region in a reference image having the same location and area as the patch region in the target image. Can.
또한, (a)의 Ψt는 손상된 영역 Ωt 및 손상된 영역을 둘러싼 경계 영역 δΩt 을 포함할 수 있다.In addition, Ψ t in (a) may include a damaged region Ω t and a boundary region δΩ t surrounding the damaged region.
또한, δΩt 및 Ψr 내 회색 점들은 복수의 특징점이고, 붉은 점들은 복수의 특징점 중 RANSAC 알고리즘에 의해 선택된 매칭점일 수 있다.In addition, the gray dots in δΩ t and Ψ r are a plurality of feature points, and the red dots may be a matching point selected by the RANSAC algorithm among the plurality of feature points.
본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 전술한 매칭점들에 기초하여 국부 호모그래피 행렬(Hp)를 계산할 수 있다.According to an embodiment of the present application, the
또한, 본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 국부 호모그래피 행렬에 기초하여, 호모그래피 변환을 수행하여 참조 이미지(Ir)로부터 국부 와핑 이미지(Ψw)를 생성할 수 있다.In addition, according to an embodiment of the present application, the
또한, 본원의 일 실시예에 따르면, 전술한 국부 호모그래피 행렬은 아래의 식2에 의해 계산될 수 있다.Further, according to an embodiment of the present application, the above-described local homography matrix may be calculated by
[식2][Equation 2]
여기서, (x1, y1)는 목표 이미지의 패치 영역 내 존재하는 매칭점의 좌표이고, (x2, y2)는 참조 이미지의 패치 영역 내 존재하는 매칭점의 좌표이고, Hp는 상기 전역 호모그래피 행렬을 의미할 수 있다.Here, (x 1 , y 1 ) is the coordinates of a matching point in the patch region of the target image, (x 2 , y 2 ) is the coordinates of a matching point in the patch region of the reference image, and H p is the above It may mean a global homography matrix.
순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 전역 와핑 이미지 및 국부 와핑 이미지의 왜곡률을 계산하고, 상기 왜곡률을 고려하여 전역 와핑 이미지 또는 국부 와핑 이미지를 적응적으로 선택하여 상기 손상된 영역을 복원할 수 있다.The damaged
또한, 상기 왜곡률은 전역 왜곡률 및 국부 왜곡률을 포함할 수 있다. In addition, the distortion rate may include a global distortion rate and a local distortion rate.
또한, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 국부 와핑 이미지와 참조 이미지의 패치영역의 공통 영역 및 손상된 영역에 기초하여 왜곡률 비교 영역을 설정할 수 있다. In addition, the damaged
또한, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 목표 이미지 및 상기 전역 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 전역 왜곡률을 계산할 수 있다. In addition, the damaged
또한, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 목표 이미지 및 상기 국부 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 국부 왜곡률을 계산할 수 있다.In addition, the damaged
도5는 본원의 일 실시예에 따른 왜곡률 비교 영역을 설명하기 위한 도면이다.5 is a view for explaining a distortion rate comparison area according to an embodiment of the present application.
도5를 참조하면, 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는 상기 국부 와핑 이미지와 상기 참조 이미지 내 패치 영역의 공통 영역 및 상기 목표 이미지 내 손상된 영역에 기초하여 왜곡률 비교 영역을 설정할 수 있다.Referring to FIG. 5, the damaged
구체적으로, 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는 국부 와핑 이미지(Ψw)와 참조 이미지 내 패치 영역(Ψr)의 공통 영역을 계산할 수 있고, 이를 Ψ^r 라 할 수 있다.Specifically, the damaged
또한, 목표 이미지 내에 전술한 공통 영역(Ψ^r)과 동일한 위치 및 면적을 갖는 영역을 설정하여, 이를 Ψ^t 라 할 수 있다.In addition, a region having the same location and area as the aforementioned common region (Ψ ^r) in the target image may be set, and this may be referred to as Ψ ^t .
또한, 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는 전술한 Ψ^t 에서 목표 이미지 내 손상된 영역(Ωt)을 제외한 영역을 왜곡률 비교 영역(St)으로 설정할 수 있다. 전술한 내용을 식으로 표현하면 아래의 식3과 같다.In addition, the damaged
[식3][Equation 3]
여기서, St는 상기 왜곡률 비교 영역일 수 있고, 도5의 각각의 빗금친 영역은 목표 이미지, 전역 와핑 이미지 및 국부 와핑 이미지 각각에 존재하는 왜곡률 비교 영역을 나타낼 수 있다.Here, S t may be the distortion rate comparison area, and each hatched area in FIG. 5 may represent a distortion rate comparison area present in each of the target image, the global warping image, and the local warping image.
또한, 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 아래의 식4를 통하여 목표 이미지의 왜곡률 비교 영역 및 전역 와핑 이미지의 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 전역 왜곡률을 계산할 수 있다.In addition, the damaged
[식4][Equation 4]
여기서, dw는 상기 전역 왜곡률이고, St는 상기 왜곡률 비교 영역이고, |St|는 상기 왜곡률 비교 영역 내 전체 픽셀의 수이고, Ir w는 상기 전역 와핑 이미지이고, i, j는 픽셀의 위치값을 의미할 수 있다. Here, d w is the global distortion rate, S t is the distortion comparison area, |S t | is the total number of pixels in the distortion comparison area, I r w is the global warping image, i, j are pixels It may mean the position value of.
즉, 식4에 의해 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 목표 이미지 내의 왜곡률 비교 영역 내 픽셀과 전역 와핑 이미지 내의 왜곡률 비교 영역 내 픽셀의 절대 편차를 합한 값을 상기 왜곡률 비교 영역 내 전체 픽셀의 수로 나눔으로써, 전역 와핑 이미지와 목표 이미지의 평균 절대 편차(mean absolute difference, MAD)를 계산할 수 있고, 이 값을 전역 왜곡률(dw)로 할 수 있다.That is, the damaged
또한, 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 아래의 식5를 통하여 목표 이미지의 왜곡률 비교 영역 및 국부 와핑 이미지의 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 국부 왜곡률을 구할 수 있다.In addition, the damaged
[식5][Equation 5]
여기서, dp는 상기 국부 왜곡률이고, St는 상기 왜곡률 비교 영역이고, |St|는 상기 왜곡률 비교 영역 내 전체 픽셀의 수이고, Ir p는 상기 국부 와핑 이미지이고, i, j는 픽셀의 위치값을 의미할 수 있다. Here, d p is the local distortion rate, S t is the distortion rate comparison area, |S t | is the total number of pixels in the distortion rate comparison area, I r p is the local warping image, i, j are pixels It may mean the position value of.
즉, 식5에 의해 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 목표 이미지 내의 왜곡률 비교 영역 내 픽셀과 국부 와핑 이미지 내의 왜곡률 비교 영역 내 픽셀의 절대 편차를 상기 왜곡률 비교 영역 내 전체 픽셀의 수로 나눔으로써, 국부 와핑 이미지와 목표 이미지의 평균 절대 편차(mean absolute difference, MAD)를 계산할 수 있고, 이 값을 국부 왜곡률(dp)로 할 수 있다.That is, the damaged
또한, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값을 기 설정된 임계 왜곡률과 비교할 수 있다. In addition, the damaged
또한, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 기 설정된 임계 왜곡률이 더 큰 경우, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값에 대응하는 전역 와핑 이미지 또는 국부 와핑 이미지에 기초하여 상기 손상된 영역을 복원할 수 있다.In addition, the damaged
본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 전역 왜곡률(dw) 및 국부 왜곡률(dp) 중 작은 값 보다 기 설정된 임계 왜곡률(T)이 작은 경우, 상기 전역 와핑 이미지 및 상기 국부 와핑 이미지 모두를 상기 목표 이미지 내 손상된 영역을 복원하는데 사용하지 않을 수 있다.According to one embodiment of the present application, the damaged
반대로, 본원의 일 실시예에 따르면, 전역 왜곡률(dw) 및 국부 왜곡률(dp) 중 작은 값 보다 기 설정된 임계 왜곡률(T)이 큰 경우에는, 전역 왜곡률(dw) 및 국부 왜곡률(dp) 중 작은 값에 대응되는 전역 와핑 이미지(Iw) 또는 국부 와핑 이미지(Ψw)에 기초하여 상기 손상된 영역을 복원할 수 있다. Conversely, according to an embodiment of the present application, when the preset critical distortion rate T is greater than a smaller value among the global distortion rate d w and the local distortion rate d p , the global distortion rate d w and the local distortion rate d The damaged region may be reconstructed based on a global warping image I w corresponding to a smaller value of p ) or a local warping image Ψ w .
구체적으로, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는 전역 왜곡률(dw)이 더 작은 경우, 상기 전역 왜곡률에 대응되는 전역 와핑 이미지를 참조하여 상기 손상된 영역을 복원할 수 있다.Specifically, the damaged
반대로, 국부 왜곡률(dp)이 더 작은 경우, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는 상기 국부 왜곡률에 대응되는 국부 와핑 이미지를 참조하여 상기 손상된 영역을 복원할 수 있다.Conversely, when the local distortion rate d p is smaller, the damaged
즉, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)는, 목표 이미지 및 참조 이미지의 전체 영역을 고려한 전역 와핑 이미지 및 패치 영역만을 고려한 국부 와핑 이미지에 대하여 각각의 전역 왜곡률 및 국부 왜곡률을 계산하고, 이를 기 설정된 임계 왜곡률과 비교하여, 복원 여부를 결정할 수 있다.That is, the bidirectional image
이에 따라, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)는, 손상된 영역이 부적절하게 재구성되는 것을 방지하고, 나아가 부적절하게 재구성된 프레임이 다음 프레임에 대한 에러 은닉 단계에서 새로운 참조 이미지로 결정됨으로써, 부적절하게 재구성된 결과가 다음 프레임으로 전파되는 오차 누적 효과를 저감시킬 수 있다.Accordingly, the bidirectional image
또한, 본원의 일 실시예에 따르면, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)는, 목표 이미지 내 독립하여 위치하는 손상된 영역 전체에 대해 전술한 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 수행했는가를 판단할 수 있다.In addition, according to an embodiment of the present application, the bidirectional image
구체적으로, 본원의 일 실시예에 따르면, 상기 손상된 영역은, 동일한 프레임 내에서 여러 위치에 복수개 존재할 수 있고, 복수의 손상된 영영 각각에 대하여 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 수행해야 하므로, 현재의 목표 이미지 내 독립하여 위치하는 손상된 영역들이 모두 고려되었는 가를 판단하여, 모든 손상된 영역들이 고려된 경우에만, 현재의 목표 이미지에 대한 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 종료할 수 있다.Specifically, according to an embodiment of the present application, since the plurality of damaged regions may exist at various locations within the same frame, forward temporal error concealment or reverse temporal error concealment must be performed for each of the plurality of damaged projections. It is determined whether all of the damaged regions independently positioned in the target image are considered, and only when all the damaged regions are considered, forward temporal error concealment or reverse temporal error concealment for the current target image may be ended.
전술한 내용에 따라, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)는, 한 프레임에 대한 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉이 종료된 경우, 일정 조건에 따라 추가적인 공간적 에러 은닉을 적용한 후, 다른 손상된 영역이 존재하는 프레임에 대한 탐색을 속행할 수 있다.According to the foregoing, the bidirectional image
도6은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법의 개략적인 동작 흐름도이다.6 is a schematic operation flowchart of a bidirectional image error concealment method according to an embodiment of the present application.
도6에 도시된 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법은 앞선 도1 내지 도 5를 통해 설명된 양방향 영상 에러 은닉 장치(100)에 의하여 수행될 수 있다. 따라서 이하 생략된 내용이라고 하더라도 도1 내지 도 5를 통해 양방향 영상 에러 은닉 장치(100)에 대하여 설명된 내용은 도6에도 동일하게 적용될 수 있다.The bidirectional image error concealment method according to an embodiment of the present application illustrated in FIG. 6 may be performed by the bidirectional image
도6을 참조하면, 단계 S610에서 순방향 시간적 에러 은닉부(110)는, 대상 영상의 재생 순서상 첫 프레임에서 마지막 프레임 방향으로 순방향 시간적 에러 은닉을 수행할 수 있다.Referring to FIG. 6, in step S610, the forward temporal
또한, 본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)는, 단계 S610을 마지막 프레임에 도달할 때까지 반복할 수 있다.Further, according to an embodiment of the present application, the forward temporal
다음으로, 단계 S620에서 공간적 에러 은닉부(130)는, 손상된 영역이 존재하는 마지막 프레임에 순방향 시간적 에러 은닉을 수행한 결과, 상기 마지막 프레임에 손상된 영역이 남아있는 경우, 상기 마지막 프레임에 대하여 공간적 에러 은닉을 수행할 수 있다.Next, in step S620, the spatial
다음으로, 단계 S630에서 역방향 시간적 에러 은닉부(120)는, 대상 영상의 재생 순서상 마지막 프레임에서 첫 프레임 방향으로 역방향 시간적 에러 은닉을 수행할 수 있다.Next, in step S630, the reverse temporal
다음으로, 단계 S640에서 공간적 에러 은닉부(130)는, 전술한 역방향 시간적 에러 은닉부(120)에 의한 단계 360 수행 결과, 프레임 내 손상된 영역이 남아있는 경우, 해당 프레임에 대하여 공간적 에러 은닉을 수행할 수 있다.Next, in step S640, the spatial
또한, 본원의 일 실시예에 따르면, 양방향 영상 에러 은닉 장치(100)는, 단계 S630 및 단계 S640을 첫 프레임에 도달할 때까지 반복할 수 있다. Further, according to an embodiment of the present application, the bidirectional image
또한, 본원의 일 실시예에 따르면, 역방향 시간적 에러 은닉부(120)가 역방향 시간적 에러 은닉을 수행한 결과, 특정 프레임에 손상된 영역이 남아있는 경우, 공간적 에러 은닉부(130)는 해당 프레임에 대하여 공간적 에러 은닉을 수행하여 남아있는 손상된 영역을 복원하여, 해당 프레임의 손상된 영역의 복원을 모두 완료할 수 있다.In addition, according to an embodiment of the present application, when the reverse temporal
그 후, 역방향 시간적 에러 은닉부(120)는 다음 프레임(시간적으로 이전 프레임)에 대한 프레임 탐색 및 역방향 시간적 에러 은닉을 수행하고, 해당 프레임에 손상된 영역이 남아있는 경우, 공간적 에러 은닉부(130)는 해당 프레임에 대하여 공간적 에러 은닉을 수행하여 남아있는 손상된 영역을 복원하여, 해당 프레임의 손상된 영역의 복원을 모두 완료할 수 있다.Thereafter, the reverse temporal
상술한 설명에서, 단계 S610내지 단계 S640은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S610 to S640 may be further divided into additional steps or combined into fewer steps, depending on the implementation of the present application. In addition, some steps may be omitted if necessary, and the order between the steps may be changed.
도7은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법의 세부적인 동작 흐름도이다.7 is a detailed operation flowchart of a bidirectional image error concealment method according to an embodiment of the present application.
도7에 도시된 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법은 앞선 도1 내지 도 5를 통해 설명된 양방향 영상 에러 은닉 장치(100)에 의하여 수행될 수 있다. 따라서 이하 생략된 내용이라고 하더라도 도1 내지 도 5를 통해 양방향 영상 에러 은닉 장치(100)에 대하여 설명된 내용은 도7에도 동일하게 적용될 수 있다.The bidirectional image error concealment method according to an embodiment of the present application illustrated in FIG. 7 may be performed by the bidirectional image
도7을 참조하면, 단계 S701에서 순방향 시간적 에러 은닉부(110)의 프레임 결정부(111)는, 대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 손상된 영역이 존재하는 프레임을 탐색할 수 있다.Referring to FIG. 7, in step S701, the
또한, 본원의 일 실시예에 따르면, 대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 탐색하는 것은, 재생 순서 기준 순방향을 의미할 수 있고, 대상 영상의 전체 프레임 수를 N이라 할 때, 프레임 1(첫 번째 프레임)로부터 프레임 N(마지막 프레임)으로 하나의 프레임씩 탐색을 진행하는 것을 의미할 수도 있다. 본원의 일 실시예에 따르면, 단계 S701에서, 프레임 1의 손상된 영역은 후술하는 단계 S706 내지 S709에서 복원될 수 있다.Further, according to an embodiment of the present disclosure, searching from the first frame to the last frame in the playback order of the target video may mean a forward direction based on the playback order, and when the total number of frames of the target video is N, frame 1 It may also mean that the search is performed one frame at a time from (first frame) to frame N (last frame). According to an embodiment of the present application, in step S701, the damaged area of frame 1 may be restored in steps S706 to S709 described later.
다음으로, 단계 S702에서 순방향 시간적 에러 은닉부(110)의 프레임 결정부 (111)는, 손상된 영역이 존재하는 프레임을 찾은 경우(프레임 2 이상에서), 상기 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 목표 이미지의 시간적 직전 프레임을 참조 이미지로 결정할 수 있다. Next, in step S702, the
다음으로, 단계 S703에서 순방향 시간적 에러 은닉부(110)는, 단계 S702에서 결정된 목표 이미지 및 참조 이미지에 기초하여, 손상된 영역이 존재하는 프레임에 순방향 시간적 에러 은닉을 수행할 수 있다.Next, in step S703, the forward temporal
다음으로, 단계 S704에서 순방향 시간적 에러 은닉부(110)는, 현재 프레임이 마지막 프레임인 N번째 프레임인지를 판단하고, 현재 프레임이 마지막 프레임인 경우 단계 S705로 넘어갈 수 있다.Next, in step S704, the forward temporal
반대로, 현재 프레임이 마지막 프레임이 아닌 경우, 순방향 시간적 에러 은닉부(110)는 단계 S701로 돌아가, 손상된 영역이 존재하는 프레임 탐색을 재생 순서 기준 순방향으로 다음 프레임에 대하여 진행할 수 있다.Conversely, if the current frame is not the last frame, the forward temporal
다음으로, 단계 S705에서 공간적 에러 은닉부(130)는, 손상된 영역이 존재하는 마지막 프레임에 단계 S702 및 단계 S703에서 순방향 시간적 에러 은닉을 수행한 결과, 상기 마지막 프레임(프레임 N)에 여전히 손상된 영역이 남아 있는 경우, 상기 마지막 프레임에 대하여 공간적 에러 은닉을 수행할 수 있다.Next, in step S705, the spatial
다음으로, 단계 S706에서 역방향 시간적 에러 은닉부(120)의 프레임 결정부(121)는, 대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 손상된 영역이 존재하는 프레임을 탐색할 수 있다.Next, in step S706, the
또한, 본원의 일 실시예에 따르면, 대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 탐색하는 것은, 재생 순서 기준 역방향을 의미할 수 있고, 대상 영상의 전체 프레임 수를 N이라 할 때, 프레임 N으로부터 프레임 1로 하나의 프레임씩 탐색을 진행하는 것을 의미할 수도 있다.In addition, according to an embodiment of the present disclosure, searching from the last frame to the first frame in the playback order of the target video may mean a reverse direction based on the playback order, and when the total number of frames of the target video is N, frame N It may mean that the search is performed one frame by frame from.
다음으로, 단계 S707에서 역방향 시간적 에러 은닉부(120)의 프레임 결정부 (121)는, 손상된 영역이 존재하는 프레임을 찾은 경우, 상기 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 목표 이미지의 시간적 직후 프레임을 참조 이미지로 결정할 수 있다.Next, in step S707, the
다음으로, 단계 S708에서 역방향 시간적 에러 은닉부(110)는, 단계 S707에서 결정된 목표 이미지 및 참조 이미지에 기초하여, 손상된 영역이 존재하는 프레임에 역방향 시간적 에러 은닉을 수행할 수 있다.Next, in step S708, the reverse temporal
다음으로, 단계 S709에서 공간적 에러 은닉부(130)는, 손상된 영역이 존재하는 프레임에 단계 S707 및 단계 S708에서 역방향 시간적 에러 은닉을 수행한 후, 손상된 영역이 남아 있는 프레임에 대하여 공간적 에러 은닉을 수행할 수 있다.Next, in step S709, the spatial
다음으로, 단계 S710에서 역방향 시간적 에러 은닉부(120)는, 현재 프레임이 첫 프레임인 1번째 프레임인지를 판단하고, 현재 프레임이 첫 프레임인 경우 양방향 영상 에러 은닉 방법을 종료할 수 있다.Next, in step S710, the reverse temporal
반대로, 현재 프레임이 첫 프레임이 아닌 경우, 역방향 시간적 에러 은닉부(120)는 단계 S706으로 돌아가, 손상된 영역이 존재하는 프레임 탐색을 재생 순서 기준 역방향으로 다음 프레임에 대하여 진행할 수 있다.Conversely, if the current frame is not the first frame, the backward temporal
상술한 설명에서, 단계 S701내지 단계 S710은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S701 to S710 may be further divided into additional steps or combined into fewer steps, depending on the implementation herein. In addition, some steps may be omitted if necessary, and the order between the steps may be changed.
도8은 본원의 일 실시예에 따른 순방향 시간적 에러 은닉을 수행하는 단계 및 역방향 시간적 에러 은닉을 수행하는 단계의 세부적인 동작 흐름도이다.8 is a detailed operation flowchart of performing forward temporal error concealment and performing reverse temporal error concealment according to an embodiment of the present application.
도8을 참조하면, 단계 S801에서 순방향 시간적 에러 은닉부(110)의 프레임 결정부(111) 및 역방향 시간적 에러 은닉부(120)의 프레임 결정부(121)는, 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임을 참조 이미지로 결정할 수 있다. Referring to FIG. 8, in step S801, the
다음으로, 단계 S802및 단계 S803에서, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 목표 이미지 및 참조 이미지의 매칭점을 추출할 수 있다.Next, in step S802 and step S803, the
구체적으로, 단계 S802에서는, 상기 목표 이미지 및 참조 이미지의 전체 영역을 고려하여 대응되는 복수의 특징점을 추출할 수 있다.Specifically, in step S802, a plurality of corresponding feature points may be extracted in consideration of the entire area of the target image and the reference image.
구체적으로, 단계 S803에서는, RANSAC 알고리즘을 적용하여 상기 복수의 특징점 중에서 매칭점을 선택할 수 있다. Specifically, in step S803, a matching point can be selected from the plurality of feature points by applying the RANSAC algorithm.
다음으로, 단계 S804 및 단계 S805에서, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 전역 와핑 이미지를 생성할 수 있다.Next, in step S804 and step S805, the
구체적으로, 단계 S804에서는, 전체 영역을 고려한 매칭점에 기초하여 전역 호모그래피 행렬을 계산할 수 있다.Specifically, in step S804, the global homography matrix may be calculated based on the matching point considering the entire region.
구체적으로, 단계 S805에서는, 상기 전역 호모그래피 행렬에 기초하여 전역 와핑 이미지를 정합할 수 있다.Specifically, in step S805, a global warping image may be matched based on the global homography matrix.
다음으로, 단계 S806에서, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 목표 이미지 및 참조 이미지 내에 동일한 위치 및 면적을 가지며, 상기 손상된 영역을 포함하는 패치 영역을 설정할 수 있다.Next, in step S806, the
다음으로, 단계 S807및 단계 S808에서, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 목표 이미지 및 참조 이미지의 패치 영역을 고려하여 매칭점을 추출할 수 있다.Next, in step S807 and step S808, the
구체적으로, 단계 S807에서는, 상기 목표 이미지 및 참조 이미지의 패치 영역을 고려하여 대응되는 복수의 특징점을 추출할 수 있다.Specifically, in step S807, a plurality of corresponding feature points may be extracted in consideration of patch regions of the target image and the reference image.
구체적으로, 단계 S808에서는, RANSAC 알고리즘을 적용하여 상기 복수의 특징점 중에서 매칭점을 선택할 수 있다.Specifically, in step S808, a matching point can be selected from the plurality of feature points by applying the RANSAC algorithm.
다음으로, 단계 S809 및 단계 S810에서, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 국부 와핑 이미지를 생성할 수 있다.Next, in steps S809 and S810, the
구체적으로, 단계 S809에서는, 패치 영역을 고려한 매칭점에 기초하여 국부 호모그래피 행렬을 계산할 수 있다.Specifically, in step S809, the local homography matrix may be calculated based on the matching point considering the patch area.
구체적으로, 단계 S810에서는, 상기 국부 호모그래피 행렬에 기초하여 국부 와핑 이미지를 정합할 수 있다.Specifically, in step S810, a local warping image may be matched based on the local homography matrix.
다음으로, 단계 S811에서, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 전역 와핑 이미지 및 국부 와핑 이미지의 왜곡률을 계산할 수 있다.Next, in step S811, the damaged
구체적으로, 단계 S811에서, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 국부 와핑 이미지와 패치 영역의 공통 영역 및 손상된 영역에 기초하여 왜곡률 비교 영역을 설정할 수 있다.Specifically, in step S811, the damaged
또한, 단계 S811에서, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 목표 이미지 및 상기 전역 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 전역 왜곡률을 계산할 수 있다.In addition, in step S811, the damaged
또한, 단계 S811에서, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 목표 이미지 및 상기 국부 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 국부 왜곡률을 계산할 수 있다.In addition, in step S811, the damaged
또한, 본원의 일 실시예에 따르면, 상기 왜곡률은 전역 와핑 이미지에 대응되는 전역 왜곡률(dw) 및 국부 와핑 이미지에 대응되는 국부 왜곡률(dp)를 포함할 수 있다.In addition, according to an embodiment of the present application, the distortion rate may include a global distortion rate d w corresponding to the global warping image and a local distortion rate d p corresponding to the local warping image.
다음으로, 단계 S812에서, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 전역 왜곡률(dw) 및 상기 국부 왜곡률(dp) 중 작은 값을 기 설정된 임계 왜곡률과 비교할 수 있다. 이 때, 기 설정된 임계 왜곡률이 더 큰 경우에는 단계 S813으로 넘어갈 수 있다.Next, in step S812, the damaged
반대로, 기 설정된 임계 왜곡률이 더 작거나 같은 경우, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 전역 와핑 이미지 또는 상기 국부 와핑 이미지에 기초하여 손상된 영역에 대한 복원을 수행하면 원본과 불일치 할 확률이 높은 것으로 간주하여, 상기 전역 와핑 이미지 또는 상기 국부 와핑 이미지에 기초한 복원을 수행하지 않고, 단계 S816으로 넘어갈 수 있다.Conversely, when the preset critical distortion rate is smaller or equal, the damaged
다음으로, 단계 S813내지 단계 S815에서, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 기 설정된 임계 왜곡률이 더 큰 경우, 상기 전역 왜곡률(dw) 및 상기 국부 왜곡률(dp) 중 작은 값에 대응하는 전역 와핑 이미지 또는 국부 와핑 이미지에 기초하여 상기 손상된 영역을 복원할 수 있다. Next, in steps S813 to S815, the damaged
구체적으로, 단계 S813에서는, 전역 왜곡률(dw)와 국부 왜곡률(dp)의 크기를 비교할 수 있다. 이 때 전역 왜곡률(dw)이 더 큰 경우에는 단계 S814로 넘어가고, 반 대로 국부 왜곡률(dp)이 더 큰 경우에는 단계 S815로 넘어갈 수 있다.Specifically, in step S813, the magnitude of the global distortion factor d w and the local distortion factor d p can be compared. At this time, when the global distortion rate d w is larger, the process proceeds to step S814, whereas when the local distortion rate d p is larger, the process proceeds to step S815.
구체적으로, 단계 S814에서는 전역 와핑 이미지에 기초하여 상기 손상된 영역을 복원할 수 있다.Specifically, in step S814, the damaged area may be restored based on the global warping image.
구체적으로, 단계 S815에서는 국부 와핑 이미지에 기초하여 상기 손상된 영역을 복원할 수 있다.Specifically, in step S815, the damaged area may be restored based on the local warping image.
즉, 단계 S812내지 단계 S815에서, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 왜곡률을 고려하여 전역 와핑 이미지 또는 국부 와핑 이미지를 적응적으로 선택하여 상기 손상된 영역을 복원할 수 있다.That is, in steps S812 to S815, the damaged
다음으로, 단계 S816에서, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)는, 목표 이미지 내 독립하여 위치하는 손상된 영역 전체에 대해 전술한 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 수행했는가를 판단할 수 있다.Next, in step S816, the bidirectional image
달리 말해, 본원의 일 실시예에 따르면, 상기 손상된 영역은, 동일한 프레임 내에서 여러 위치에 복수개 존재할 수 있고, 복수의 손상된 영역 각각에 대하여 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 수행해야 하므로, 단계 S816에서는, 동일 프레임(현재의 목표 이미지) 내 독립하여 위치하는 손상된 영역들이 모두 고려되었는가를 판단하여, 모두 고려된 경우 순방향 시간적 에러 은닉을 수행하는 단계 또는 역방향 시간적 에러 은닉을 수행하는 단계를 종료할 수 있다.In other words, according to an embodiment of the present application, since the plurality of damaged areas may exist at multiple locations within the same frame, forward temporal error concealment or reverse temporal error concealment must be performed for each of the plurality of damaged areas, step In S816, it is determined whether or not all of the damaged regions independently located in the same frame (current target image) are considered, and when all are considered, the step of performing forward temporal error concealment or the step of performing reverse temporal error concealment is terminated. Can.
반대로, 아직 고려되지 않은 독립된 손상된 영역이 남아있는 경우, 해당 손상된 영역에 대한 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 수행하기 위하여 단계 S816에서 단계 S806로 돌아갈 수 있다.Conversely, if an independent damaged region that has not yet been considered remains, it may return from step S816 to step S806 to perform forward temporal error concealment or reverse temporal error concealment for the damaged region.
상술한 설명에서, 단계 S801내지 단계 S816은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.In the above description, steps S801 to S816 may be further divided into additional steps or combined into fewer steps, depending on the implementation herein. In addition, some steps may be omitted if necessary, and the order between the steps may be changed.
도9는 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, 복수의 CTU 크기를 갖는 손상된 영역이 존재하는 프레임을 복원한 결과를 기존의 에러 은닉 기법들에 의한 결과와 비교하여 나타낸 도면이다.9 is an experimental example associated with a bidirectional image error concealment method according to an embodiment of the present application, and a result of restoring a frame having a damaged region having a plurality of CTU sizes is compared with a result of existing error concealment techniques It is a figure shown by comparison.
도9를 참조하면, (a)는 복수의 CTU 크기를 갖는 손상된 영역이 존재하는 프레임이고, 상기 손상된 영역은 녹색으로 표시될 수 있다. Referring to FIG. 9, (a) is a frame in which a damaged area having a plurality of CTU sizes exists, and the damaged area may be displayed in green.
또한, (b)는 DI 기법에 의한 복원 결과를, (c)는 LP 기법에 의한 복원 결과를, (d)는 TR 기법에 의한 복원 결과를, (e)는 Newson 기법에 의한 복원 결과를, (f)는 Ebdelli 기법에 의한 복원 결과를, (g)는 Huang 기법에 의한 복원 결과를 각각 나타낼 수 있다.In addition, (b) the restoration result by the DI technique, (c) the restoration result by the LP technique, (d) the restoration result by the TR technique, (e) the restoration result by the Newson technique, (f) can represent the restoration result by Ebdelli technique, and (g) can represent the restoration result by Huang technique.
또한, (h)는 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법을 적용하여 손상된 영역을 복원한 결과를 나타낼 수 있다.In addition, (h) may represent a result of restoring a damaged area by applying a bidirectional image error concealment method according to an embodiment of the present application.
도9를 참조하여 기존의 에러 은닉 기법들에 의한 복원 결과를 분석하면, (b)를 통해 DI 기법에 의하는 복원은 상대적으로 큰 손상 영역을 가지거나 블러(blurring) 효과가 큰 경우에 있어서 성능이 저하됨을 확인할 수 있다.Referring to FIG. 9, when analyzing the restoration results by the existing error concealment techniques, the restoration by the DI technique through (b) has a performance when the relatively large damage area or the blurring effect is large. It can be confirmed that this decreases.
또한, (c)를 통해 LP 기법에 의할 때 모서리(Edge) 근처가 부자연스럽게 복원됨을 확인할 수 있다.Also, it can be confirmed through (c) that the vicinity of the edge is unnaturally restored by the LP technique.
또한, (d)를 통해 TR 기법에 의할 때, 카메라에 움직임이 존재하는 영상에 있어서, 시간적인 선후 프레임 간의 차이가 존재하고 이에 따라, 재구성이 부적절한 것을 확인할 수 있다. In addition, when using the TR technique through (d), it can be confirmed that in an image in which motion is present in the camera, there is a difference between temporal post-frames and thus, reconstruction is inappropriate.
또한, (e)를 통해 Newson기법에 의할 때, 손상된 영역의 모서리(Edge) 구조를 재구성한 결과에 오류가 포함되고, 건물 상단 영역이 불분명하게 복원됨을 확인할 수 있다.In addition, it can be seen through (e) that, according to the Newson technique, an error is included in the result of reconstructing the edge structure of the damaged area, and the upper area of the building is unclearly restored.
또한, (f)를 통해 Ebdelli 기법에 의할 때, 우측 최하단의 손상된 영역에 대한 복원 결과가 불연속적일 수 있고, 이는 세그먼트 영역을 기반으로 복원을 수행했기 때문일 수 있다.In addition, according to the Ebdelli technique through (f), the restoration result for the damaged region at the bottom right may be discontinuous, which may be because the restoration is performed based on the segment region.
또한, (g)를 통해 Huang기법에 의할 때, 우측 최상단의 손상된 영역에 대한 복원 결과에 불분명한 아티팩트가 존재함을 확인할 수 있다.In addition, it can be confirmed through the (g) that when the Huang technique is used, there is an unclear artifact in the restoration result for the damaged region at the upper right.
본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법을 적용한 (h)를 살펴보면, 모서리(Edge) 구조를 포함한 복수의 손상된 영역 전체가 다른 기존의 에러 은닉 기법에 의할 때보다 우수한 품질로 복원됨을 확인할 수 있다. Looking at (h) applying the bidirectional image error concealment method according to an embodiment of the present application, it can be seen that the whole of a plurality of damaged areas including an edge structure is restored with better quality than by other existing error concealment techniques. Can.
도10은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, CTU 크기를 갖는 복수의 손상된 영역이 존재하는 프레임을 복원한 결과를 기존의 에러 은닉 기법들에 의한 결과와 PSNR 및 SSIM 측면에서 비교하여 나타낸 도표이다.10 is an experimental example associated with a bidirectional image error concealment method according to an embodiment of the present application, and a result of restoring a frame in which a plurality of damaged areas having a CTU size exists is compared with a result of existing error concealment techniques. It is a comparison chart in terms of PSNR and SSIM.
도10을 참조하면, 영상의 종류, 손실률(Loss rate) 및 적용 기법에 따른 PSNR(dB) 값 및 SSIM 값이 나열되어 있음을 알 수 있고, 각각의 경우에서 가장 성능이 우수한 성능을 나타내는 값은 볼드체로 기재되었다.Referring to FIG. 10, it can be seen that PSNR (dB) values and SSIM values are listed according to the image type, loss rate, and application technique, and the values representing the best performance in each case are shown. It is described in bold.
또한, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법을 적용했을 때(가장 오른쪽 열), 한 가지 경우를 제외하고 가장 우수한 성능을 보였음을 알 수 있으며, 구체적으로, 2차원 LP 기법 및 3차원 Huang기법에 비해 각각 평균적으로 15.46dB및1.9dB의 PSNR 측면의 성능 향상을 보였으며, 평균적으로 0.0227 및 0.0004의 SSIM값 측면의 성능 향상을 보였다.In addition, when the bidirectional image error concealment method according to an embodiment of the present application is applied (rightmost column), it can be seen that the best performance was obtained except for one case, specifically, the 2D LP technique and the 3D Compared to the Huang technique, the performance of PSNR aspects improved by 15.46dB and 1.9dB, respectively, and the SSIM values of 0.0227 and 0.0004 averaged, respectively.
도11은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, 한 방향으로만 에러 은닉을 수행한 결과와 양방향 영상 에러 은닉 방법을 적용한 복원 결과를 PSNR 및 SSIM 측면에서 비교하여 나타낸 도표이다.11 is an experimental example associated with the bidirectional image error concealment method according to an embodiment of the present application, and compares the result of performing error concealment in one direction and the restoration result using the bidirectional image error concealment method in terms of PSNR and SSIM. It is a diagram shown.
도11을 참조하면, 손상된 영역의 형태(CTU, Slice, Diamon) 및 손실률(5%-25%)이 다양한 복원을 요하는 복수의 영상에 대하여, 순방향으로만 에러 은닉을 수행한 기법, 역방향으로만 에러 은닉을 수행한 기법 및 양방향 영상 에러 은닉 방법의 의한 복원 결과를 비교할 수 있다. Referring to FIG. 11, a technique in which error concealment is performed only in the forward direction, in a reverse direction, for a plurality of images requiring various restorations in which the shape of the damaged area (CTU, Slice, Diamon) and the loss rate (5%-25%) are various Only the method of performing error concealment and the reconstruction result by the bidirectional image error concealment method can be compared.
도11을 참조하면, PSNR 측면에서 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법에 의할 때, 순방향 및 역방향으로만 에러 은닉을 수행한 기법에 비하여, 각각 평균적으로 0.72dB및0.37dB의 성능 향상을 보였다.Referring to FIG. 11, in terms of PSNR, when performing the bidirectional image error concealment method according to an embodiment of the present application, performances of 0.72 dB and 0.37 dB are averaged, respectively, compared to a technique in which error concealment is performed only in the forward and backward directions Showed improvement.
또한, SSIM 값 측면에서 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법에 의할 때, 순방향 및 역방향으로만 에러 은닉을 수행한 기법에 비하여, 각각 평균적으로 0.0019 및 0.0011의 성능 향상을 보였다. In addition, in terms of the SSIM value, when using the bidirectional image error concealment method according to an embodiment of the present application, compared to a technique in which error concealment is performed only in the forward and backward directions, the average performance is improved by 0.0019 and 0.0011, respectively.
도12는 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, 종래의 Huang 기법과 영상 복원 프로세스에 소요되는 시간을 비교하여 나타낸 도표이다.12 is a diagram illustrating a comparison of a time required for a conventional Huang technique and an image reconstruction process as an experimental example associated with a bidirectional image error concealment method according to an embodiment of the present application.
도12를 참조하면, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법에 의한 프로세스 속도가 종래의 Huang 기법 보다 월등히 빠른 것을 확인할 수 있다. 따라서, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법은 실시간 비디오 스트리밍 어플리케이션을 위한 디코더 구현 등에서 효과적으로 기능할 수 있다.Referring to Figure 12, it can be seen that the process speed by the bidirectional image error concealment method according to an embodiment of the present application is significantly faster than the conventional Huang technique. Accordingly, the bidirectional image error concealment method according to an embodiment of the present application can effectively function in a decoder implementation for a real-time video streaming application.
본원의 일 실시 예에 따른 양방향 영상 에러 은닉 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The bidirectional image error concealment method according to an embodiment of the present application may be implemented in a form of program instructions that can be executed through various computer means and recorded in a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination. The program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in computer software. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks. -Hardware devices specifically configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like. Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler. The hardware device described above may be configured to operate as one or more software modules to perform the operation of the present invention, and vice versa.
또한, 전술한 양방향 영상 에러 은닉 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.In addition, the above-described bidirectional image error concealment method may also be implemented in the form of a computer program or application executed by a computer stored in a recording medium.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present application is for illustrative purposes, and a person having ordinary knowledge in the technical field to which the present application belongs will understand that it is possible to easily change to other specific forms without changing the technical spirit or essential characteristics of the present application. Therefore, it should be understood that the embodiments described above are illustrative in all respects and not restrictive. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present application is indicated by the claims below, rather than the detailed description, and it should be interpreted that all modifications or variations derived from the meaning and scope of the claims and equivalent concepts thereof are included in the scope of the present application.
100: 양방향 영상 에러 은닉 장치
110: 순방향 시간적 에러 은닉부
120: 역방향 시간적 에러 은닉부
130: 공간적 에러 은닉부
100: bidirectional video error concealment device
110: forward temporal error concealment
120: reverse temporal error concealment
130: spatial error concealment
Claims (15)
대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 손상된 영역이 존재하는 프레임을 탐색하는 단계;
상기 손상된 영역이 존재하는 프레임에 순방향 시간적 에러 은닉을 수행하는 단계;
대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 손상된 영역이 존재하는 프레임을 탐색하는 단계;
상기 손상된 영역이 존재하는 프레임에 역방향 시간적 에러 은닉을 수행하는 단계; 및
상기 역방향 시간적 에러 은닉을 수행한 후, 손상된 영역이 남아있는 프레임에 대하여 공간적 에러 은닉을 수행하는 단계,
를 포함하는, 양방향 영상 에러 은닉 방법.In the bidirectional image error concealment method,
Searching for a frame in which a damaged area exists from the first frame to the last frame in the playback order of the target image;
Performing forward temporal error concealment in a frame in which the damaged region exists;
Searching for a frame in which a damaged area exists from the last frame to the first frame in the playback order of the target image;
Performing reverse temporal error concealment in a frame in which the damaged region exists; And
After performing the reverse temporal error concealment, performing spatial error concealment on a frame in which the damaged area remains,
Including, bi-directional video error concealment method.
손상된 영역이 존재하는 마지막 프레임에 순방향 시간적 에러 은닉을 수행한 결과, 상기 마지막 프레임에 손상된 영역이 남아있는 경우, 상기 마지막 프레임에 대하여 공간적 에러 은닉을 수행하는 단계,
를 더 포함하는 것인, 양방향 영상 에러 은닉 방법.According to claim 1,
Performing forward temporal error concealment in the last frame in which the damaged region exists, and performing a spatial error concealment in the last frame when the damaged region remains in the last frame,
The method further comprising, two-way video error concealment method.
상기 순방향 시간적 에러 은닉을 수행하는 단계 또는 상기 역방향 시간적 에러 은닉을 수행하는 단계는,
상기 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임을 참조 이미지로 결정하는 단계;
상기 목표 이미지 및 참조 이미지의 매칭점을 추출하는 단계;
상기 매칭점에 기초하여 호모그래피 변환을 수행하여 전역 와핑 이미지를 생성하는 단계;
상기 목표이미지 및 참조이미지 내에 동일한 위치 및 면적을 가지며, 상기 손상된 영역을 포함하는 패치 영역을 설정하는 단계;
상기 목표 이미지 및 참조 이미지의 패치 영역을 고려하여 매칭점을 추출하는 단계;
상기 매칭점에 기초하여 호모그래피 변환을 수행하여 국부 와핑 이미지를 생성하는 단계;
상기 전역 와핑 이미지 및 국부 와핑 이미지의 왜곡률을 계산하는 단계; 및
상기 왜곡률을 고려하여 전역 와핑 이미지 또는 국부 와핑 이미지를 적응적으로 선택하여 상기 손상된 영역을 복원하는 단계,
를 포함하는 것인, 양방향 영상 에러 은닉 방법.According to claim 1,
The step of performing the forward temporal error concealment or the step of performing the reverse temporal error concealment may include:
Determining a frame including the damaged area as a target image and a frame including source information for restoring the damaged area as a reference image;
Extracting a matching point between the target image and the reference image;
Generating a global warping image by performing a homography transformation based on the matching point;
Setting a patch region having the same location and area in the target image and the reference image and including the damaged region;
Extracting a matching point in consideration of patch areas of the target image and the reference image;
Generating a local warping image by performing homography transformation based on the matching point;
Calculating distortion rates of the global warping image and the local warping image; And
Restoring the damaged area by adaptively selecting a global warping image or a local warping image in consideration of the distortion rate,
Containing, bi-directional video error concealment method.
상기 참조 이미지는 상기 목표 이미지의 시간적 직전 프레임 또는 시간적 직후 프레임인 것인, 양방향 영상 에러 은닉 방법.According to claim 3,
The reference image is a frame immediately before or a temporally short frame of the target image.
상기 대상 영상은 원본 영상 또는 상기 원본 영상을 특정한 수를 갖는 프레임 집합으로 분할한 분할 영상인 것인, 양방향 영상 에러 은닉 방법.According to claim 1,
The target image is a split image obtained by dividing the original image or the original image into a set of frames having a specific number.
상기 매칭점을 추출하는 단계는,
상기 목표 이미지 및 참조 이미지 내 대응되는 복수의 특징점을 추출하는 단계; 및
RANSAC 알고리즘을 적용하여 상기 복수의 특징점 중에서 매칭점을 선택하는 단계,
를 포함하는 것인, 양방향 영상 에러 은닉 방법.According to claim 2,
Extracting the matching point,
Extracting a plurality of corresponding feature points in the target image and the reference image; And
Selecting a matching point from the plurality of feature points by applying a RANSAC algorithm,
Containing, bi-directional video error concealment method.
상기 왜곡률을 계산하는 단계는,
상기 국부 와핑 이미지와 패치 영역의 공통 영역 및 손상된 영역에 기초하여 왜곡률 비교 영역을 설정하는 단계;
상기 목표 이미지 및 상기 전역 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 전역 왜곡률을 계산하는 단계; 및
상기 목표 이미지 및 상기 국부 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 국부 왜곡률을 계산하는 단계,
를 포함하는 것인, 양방향 영상 에러 은닉 방법.According to claim 2,
The step of calculating the distortion rate,
Setting a distortion rate comparison area based on a common area and a damaged area of the local warping image and a patch area;
Calculating a global distortion rate based on an absolute deviation of pixels in the distortion comparison area of the target image and the global warping image; And
Calculating a local distortion rate based on an absolute deviation of a pixel in the distortion comparison area of the target image and the local warping image,
Containing, bi-directional video error concealment method.
상기 적응적으로 선택하여 상기 손상된 영역을 복원하는 단계는,
상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값을 기 설정된 임계 왜곡률과 비교하는 단계; 및
상기 기 설정된 임계 왜곡률이 더 큰경우, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값에 대응하는 전역 와핑 이미지 또는 국부 와핑 이미지에 기초하여 상기 손상된 영역을 복원하는 단계,
를 포함하는 것인, 양방향 영상 에러 은닉 방법.The method of claim 7,
Restoring the damaged area by adaptively selecting,
Comparing a smaller value of the global distortion rate and the local distortion rate with a preset critical distortion rate; And
Restoring the damaged region based on a global warping image or a local warping image corresponding to a smaller value of the global distortion rate and the local distortion rate when the preset critical distortion rate is greater;
Containing, bi-directional video error concealment method.
상기 순방향 시간적 에러 은닉을 수행하는 단계는, 상기 목표 이미지의 시간적 직전 프레임을 참조 이미지로 하고,
상기 역방향 시간적 에러 은닉을 수행하는 단계는, 상기 목표 이미지의 시간적 직후 프레임을 참조 이미지로 하는 것인, 양방향 영상 에러 은닉 방법.According to claim 2,
In the step of performing the forward temporal error concealment, a frame immediately before the temporal image of the target image is used as a reference image,
The step of performing the reverse temporal error concealment is to use a frame immediately after the temporal image of the target image as a reference image.
대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 손상된 영역이 존재하는 프레임을 탐색 하고, 상기 손상된 영역이 존재하는 프레임에 순방향 시간적 에러 은닉을 수행하는 순방향 시간적 에러 은닉부;
대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 손상된 영역이 존재하는 프레임을 탐색하고, 상기 손상된 영역이 존재하는 프레임에 역방향 시간적 에러 은닉을 수행하는 역방향 시간적 에러 은닉부; 및
손상된 영역이 존재하는 마지막 프레임에 순방향 시간적 에러 은닉을 수행한 결과, 상기 마지막 프레임에 손상된 영역이 남아있는 경우, 상기 마지막 프레임에 대하여 공간적 에러 은닉을 수행하고, 상기 역방향 시간적 에러 은닉이 수행되었으나 손상된 영역이 남아있는 프레임에 대하여 공간적 에러 은닉을 수행하는 공간적 에러 은닉부,
를 포함하는, 양방향 영상 에러 은닉 장치.In the bidirectional video error concealment device,
A forward temporal error concealment unit that searches for a frame in which a damaged region exists from a first frame to a last frame in a playback order of a target image, and performs forward temporal error concealment in a frame in which the damaged region exists;
A reverse temporal error concealment unit that searches for a frame in which a damaged region exists from a last frame to a first frame in a playback order of a target image, and performs reverse temporal error concealment in a frame in which the damaged region exists; And
As a result of performing forward temporal error concealment in the last frame in which the damaged region exists, when the damaged region remains in the last frame, spatial error concealment is performed for the last frame, and the reverse temporal error concealment is performed but the damaged region The spatial error concealment unit performs spatial error concealment on the remaining frames,
Including, bi-directional video error concealment device.
상기 순방향 시간적 에러 은닉부 및 상기 역방향 시간적 에러 은닉부는,
상기 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임을 참조 이미지로 결정하는 프레임 결정부;
상기 목표 이미지 및 참조 이미지의 매칭점을 추출하고, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 전역 와핑 이미지 및 국부 와핑 이미지를 생성하는 이미지 정합부; 및
상기 전역 와핑 이미지 및 국부 와핑 이미지의 왜곡률을 계산하고, 상기 왜곡률을 고려하여 전역 와핑 이미지 또는 국부 와핑 이미지를 적응적으로 선택하여 상기 손상된 영역을 복원하는 손상 영역 복원부,
를 포함하는 것인, 양방향 영상 에러 은닉 장치.The method of claim 10,
The forward temporal error hiding section and the reverse temporal error hiding section,
A frame determination unit determining a frame including the damaged region as a target image and a frame including source information for restoring the damaged region as a reference image;
An image matching unit for extracting a matching point of the target image and the reference image, and performing a homography transformation based on the matching point to generate a global warping image and a local warping image; And
The damaged area restoration unit calculates a distortion rate of the global warping image and the local warping image, and adaptively selects the global warping image or the local warping image in consideration of the distortion rate to restore the damaged area.
Containing, bi-directional video error concealment device.
상기 대상 영상은 원본 영상 또는 상기 원본 영상을 특정한 수를 갖는 프레임 집합으로 분할한 분할 영상인 것인, 양방향 영상 에러 은닉 장치.The method of claim 10,
The target image is a split image obtained by dividing the original image or the original image into a set of frames having a specific number.
상기 왜곡률은 전역 왜곡률 및 국부 왜곡률을 포함하고,
상기 손상 영역 복원부는 상기 국부 와핑 이미지와 패치영역의 공통 영역 및 손상된 영역에 기초하여 왜곡률 비교 영역을 설정하고, 상기 목표 이미지 및 상기 전역 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 전역 왜곡률을 계산하고, 상기 목표 이미지 및 상기 국부 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 국부 왜곡률을 계산하는 것을 특징으로 하는,
양방향 영상 에러 은닉 장치.The method of claim 11,
The distortion rate includes global distortion rate and local distortion rate,
The damaged area restoration unit sets a distortion rate comparison area based on a common area and a damaged area of the local warped image and a patch area, and is global based on an absolute deviation of pixels in the distortion rate comparison area of the target image and the global warping image. Computing a distortion factor, and based on the absolute deviation of the pixels in the distortion comparison area of the target image and the local warping image, characterized in that for calculating a local distortion factor,
Two-way video error concealment device.
상기 손상 영역 복원부는,
상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값을 기 설정된 임계 왜곡률과 비교하여, 상기 기 설정된 임계 왜곡률이 더 큰 경우, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값에 대응하는 전역 와핑 이미지 또는 국부 와핑 이미지에 기초하여 상기 손상된 영역을 복원하는 것인,
양방향 영상 에러 은닉 장치.The method of claim 13,
The damaged region restoration unit,
A smaller value of the global distortion rate and the local distortion rate is compared with a preset critical distortion rate, and when the preset critical distortion rate is greater, the global warping image or the local warping image corresponding to the smaller one of the global distortion rate and the local distortion rate is On the basis of which to restore the damaged area,
Two-way video error concealment device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190010404A KR102151975B1 (en) | 2019-01-28 | 2019-01-28 | Apparatus and method for bi-sequential video error concealment |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190010404A KR102151975B1 (en) | 2019-01-28 | 2019-01-28 | Apparatus and method for bi-sequential video error concealment |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20200093212A true KR20200093212A (en) | 2020-08-05 |
| KR102151975B1 KR102151975B1 (en) | 2020-09-04 |
Family
ID=72041472
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190010404A KR102151975B1 (en) | 2019-01-28 | 2019-01-28 | Apparatus and method for bi-sequential video error concealment |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102151975B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230087862A (en) * | 2021-12-10 | 2023-06-19 | 현대오토에버 주식회사 | Method and apparatus for obtaining vehicle free images from images captured by Mobile Mapping System |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980069911A (en) * | 1997-02-24 | 1998-10-26 | 윤종용 | Data error correction range judgment method |
| KR20030065694A (en) * | 2002-01-30 | 2003-08-09 | 유철 | Error concealment method of Itra coded frame by spatio-temporal information |
| KR20070003502A (en) * | 2005-06-30 | 2007-01-05 | 삼성전자주식회사 | Method and apparatus for concealing error of entire frame loss |
-
2019
- 2019-01-28 KR KR1020190010404A patent/KR102151975B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19980069911A (en) * | 1997-02-24 | 1998-10-26 | 윤종용 | Data error correction range judgment method |
| KR20030065694A (en) * | 2002-01-30 | 2003-08-09 | 유철 | Error concealment method of Itra coded frame by spatio-temporal information |
| KR20070003502A (en) * | 2005-06-30 | 2007-01-05 | 삼성전자주식회사 | Method and apparatus for concealing error of entire frame loss |
Non-Patent Citations (3)
| Title |
|---|
| Xiaopeng Fan et al, ‘Joint forward backward error concealment of redundantly coded video’, Proceedings of 2010 IEEE 18th International Packet Video Workshop, (2010.12.14.) * |
| 김성득, 임경원, ‘분리된 전처리 및 후처리 공간영역 필터를 가진 움직임 적응적 시공간영역 잡음 제거 기법’, 전자공학회논문지-SP 46(5), 40-47, (2009.09.30.) * |
| 김승휘 외 2명, ‘적응적인 PU 기반 움직임 벡터 외삽과 경계 정합을 통한 프레임 전체 오류 은닉 방법에 관한 연구’, 방송공학회논문지 제20권 제4호, 533-544, (2015.07.31.)* * |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230087862A (en) * | 2021-12-10 | 2023-06-19 | 현대오토에버 주식회사 | Method and apparatus for obtaining vehicle free images from images captured by Mobile Mapping System |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102151975B1 (en) | 2020-09-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Compressed-sensing recovery of images and video using multihypothesis predictions | |
| US8897364B2 (en) | Method and device for sequence decoding with error concealment | |
| US20080240247A1 (en) | Method of encoding and decoding motion model parameters and video encoding and decoding method and apparatus using motion model parameters | |
| US8229233B2 (en) | Method and apparatus for estimating and compensating spatiotemporal motion of image | |
| KR100301833B1 (en) | Error concealment method | |
| KR101636539B1 (en) | Apparatus and method for compressing three dimensional image | |
| Zhu et al. | Spatial error concealment for stereoscopic video coding based on pixel matching | |
| US20100303154A1 (en) | method and device for video sequence decoding with error concealment | |
| KR20040070892A (en) | Method for dividing the image block and Apparatus thereof | |
| KR20090000502A (en) | Method and apparatus adaptive to characteristics of the adjacent blocks of lost block | |
| KR102151975B1 (en) | Apparatus and method for bi-sequential video error concealment | |
| JP4070104B2 (en) | Video encoding / decoding method, video encoding device, and video decoding device | |
| US11778224B1 (en) | Video pre-processing using encoder-aware motion compensated residual reduction | |
| KR100711204B1 (en) | An apparatus for selective error concealment, and a method thereof | |
| Wang et al. | A low-complexity error concealment algorithm for video transmission based on non-local means denoising | |
| KR20010010753A (en) | method for concealing error in MPEG-2 decompression system | |
| US20090225832A1 (en) | Error concealment technique for inter-coded sequences | |
| Zhao et al. | A highly effective error concealment method for whole frame loss | |
| El-Shafai et al. | Effective multi-stage error control algorithms for robust 3D video transmission over wireless networks | |
| KR100885234B1 (en) | Apparatus and method for spatial error concealment | |
| Byongsu et al. | An improved exemplar-based image inpainting algorithm for error concealment | |
| Li et al. | Motion characteristic differentiated error concealment | |
| Chen et al. | Hybrid error concealment using linear interpolation | |
| KR100929169B1 (en) | Method for temporal error concealment | |
| El-Shafai et al. | Proposed optimized hybrid error recovery techniques for performance improvement of wireless 3D-MVC communication |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |