KR102151975B1 - 양방향 영상 에러 은닉 장치 및 방법 - Google Patents

양방향 영상 에러 은닉 장치 및 방법 Download PDF

Info

Publication number
KR102151975B1
KR102151975B1 KR1020190010404A KR20190010404A KR102151975B1 KR 102151975 B1 KR102151975 B1 KR 102151975B1 KR 1020190010404 A KR1020190010404 A KR 1020190010404A KR 20190010404 A KR20190010404 A KR 20190010404A KR 102151975 B1 KR102151975 B1 KR 102151975B1
Authority
KR
South Korea
Prior art keywords
image
error concealment
frame
distortion factor
damaged area
Prior art date
Application number
KR1020190010404A
Other languages
English (en)
Other versions
KR20200093212A (ko
Inventor
임창훈
정병진
Original Assignee
건국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 건국대학교 산학협력단 filed Critical 건국대학교 산학협력단
Priority to KR1020190010404A priority Critical patent/KR102151975B1/ko
Publication of KR20200093212A publication Critical patent/KR20200093212A/ko
Application granted granted Critical
Publication of KR102151975B1 publication Critical patent/KR102151975B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/89—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder
    • H04N19/895—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving methods or arrangements for detection of transmission errors at the decoder in combination with error concealment
    • G06T3/0093—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/18—Image warping, e.g. rearranging pixels individually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

양방향 영상 에러 은닉 장치 및 방법이 개시되며, 본원의 일 실시예에 따른, 양방향 영상 에러 은닉 방법은, 대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 손상된 영역이 존재하는 프레임을 탐색하는 단계, 상기 손상된 영역이 존재하는 프레임에 순방향 시간적 에러 은닉을 수행하는 단계, 대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 손상된 영역이 존재하는 프레임을 탐색하는 단계, 상기 손상된 영역이 존재하는 프레임에 역방향 시간적 에러 은닉을 수행하는 단계 및 상기 역방향 시간적 에러 은닉을 수행한 후, 손상된 영역이 남아있는 프레임에 대하여 공간적 에러 은닉을 수행하는 단계를 포함할 수 있다.

Description

양방향 영상 에러 은닉 장치 및 방법{APPARATUS AND METHOD FOR BI-SEQUENTIAL VIDEO ERROR CONCEALMENT}
본원은 양방향 영상 에러 은닉 장치 및 방법에 관한 것이다.
H.264, MPEG-4, HEVC와 같은 영상 부호화 기술은 가변장 부호화(variable length coding)와 공간 및 움직임 예측 방법(spatial and motion prediction) 등의 영상 압축 방법을 사용한다. 이와 같은 압축 영상은 에러가 있는 채널 환경에 매우 취약하여 단지 한 비트의 에러에 의해서도 영상 복호화 도중에 동기를 잃어버리게 하는 원인을 제공한다.
이러한 전송 환경에서 발생하는 에러에 의한 피해를 최소화하기 위해 에러에 강인한 부호화 방법, 에러가 발생한 경우 에러를 은닉하는 방법 등에 대한 연구가 활발히 진행되어 왔다.
이러한 에러 은닉(Error concealment) 방법은 전송 채널의 에러로 인해 발생하는 영상의 손실된 부분의 주관적 화질을 최대한 개선하기 위한 방법으로서, 손실된 블록 주변의 올바르게 복호된 블록 정보를 이용하여 참조 영상에서 가장 유사한 블록을 찾아 손실 블록을 대체하는 것이다. 정상적으로 복원된 시간적 혹은 공간적 이웃 블록 정보를 이용하여 손상된 블록을 완벽하게 복원할 수는 없지만, 인간의 눈에 최대한 띄지 않도록 은닉시킬 수 있다. 에러 은닉 방법은 크게 공간적 에러 은닉 방법(spatial error concealment: SEC)과 시간적 에러 은닉 방법(temporal error concealment: TEC)으로 분류할 수 있다.
종래의 시간적 에러 은닉 방법으로 참조 영상의 해당 부분으로 단순 대체하는 시간적 대체 방법(temporal replacement: TR)과 프레임, 피처 및 마스크의 계층 구조를 사용한 시공간적 패치 매칭 알고리즘을 수행하는 인페이팅 방법(video inpainting method) 등이 존재하나, TR 방식은 현재 프레임과 참조 프레임 간의 차이가 거의 없다는 가정을 기반으로 하므로, 대상 프레임에 일정량의 움직임이 있는 경우 정확한 복원이 불가하며, 대부분의 기존 TEC 방식은 상대적으로 커다란 크기를 갖는 에러 영역을 은닉하는 데 어려움이 존재한다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-0711204호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 복원 영역에 대하여 적절한 정합 모델을 선택 적용함으로써 다양한 유형을 갖는 복원 영역 또는 비교적 큰 크기의 복원 영역을 효율적으로 재구성할 수 있는 적응적 호모그래피 기반의 정합을 이용한 양방향 영상 에러 은닉 장치 및 방법을 제공하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법은, 대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 손상된 영역이 존재하는 프레임을 탐색하는 단계, 상기 손상된 영역이 존재하는 프레임에 순방향 시간적 에러 은닉을 수행하는 단계, 대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 손상된 영역이 존재하는 프레임을 탐색하는 단계, 상기 손상된 영역이 존재하는 프레임에 역방향 시간적 에러 은닉을 수행하는 단계 및 상기 역방향 시간적 에러 은닉을 수행한 후, 손상된 영역이 남아있는 프레임에 대하여 공간적 에러 은닉을 수행하는 단계를 포함할 수 있다.
또한, 본원의 일 실시에에 따른 양방향 영상 에러 은닉 방법은, 손상된 영역이 존재하는 마지막 프레임에 순방향 시간적 에러 은닉을 수행한 결과, 상기 마지막 프레임에 손상된 영역이 남아있는 경우, 상기 마지막 프레임에 대하여 공간적 에러 은닉을 수행하는 단계를 포함할 수 있다.
또한, 상기 순방향 시간적 에러 은닉을 수행하는 단계 또는 상기 역방향 시간적 에러 은닉을 수행하는 단계는, 상기 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임을 참조 이미지로 결정하는 단계, 상기 목표 이미지 및 참조 이미지의 매칭점을 추출하는 단계, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 전역 와핑 이미지를 생성하는 단계, 상기 목표이미지 및 참조이미지 내에 동일한 위치 및 면적을 가지며, 상기 손상된 영역을 포함하는 패치 영역을 설정하는 단계, 상기 목표 이미지 및 참조 이미지의 패치 영역을 고려하여 매칭점을 추출하는 단계, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 국부 와핑 이미지를 생성하는 단계, 상기 전역 와핑 이미지 및 국부 와핑 이미지의 왜곡률을 계산하는 단계 및 상기 왜곡률을 고려하여 전역 와핑 이미지 또는 국부 와핑 이미지를 적응적으로 선택하여 상기 손상된 영역을 복원하는 단계를 포함할 수 있다.
또한, 상기 참조 이미지는 상기 목표 이미지의 시간적 직전 프레임 또는 시간적 직후 프레임일 수 있다.
또한, 상기 대상 영상은 원본 영상 또는 상기 원본 영상을 특정한 수를 갖는 프레임 집합으로 분할한 분할 영상일 수 있다.
또한, 상기 매칭점을 추출하는 단계는, 상기 목표 이미지 및 참조 이미지 내 대응되는 복수의 특징점을 추출하는 단계 및 RANSAC 알고리즘을 적용하여 상기 복수의 특징점 중에서 매칭점을 선택하는 단계를 포함할 수 있다.
또한, 상기 왜곡률을 계산하는 단계는, 상기 국부 와핑 이미지와 패치 영역의 공통 영역 및 손상된 영역에 기초하여 왜곡률 비교 영역을 설정하는 단계, 상기 목표 이미지 및 상기 전역 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 전역 왜곡률을 계산하는 단계 및 상기 목표 이미지 및 상기 국부 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 국부 왜곡률을 계산하는 단계를 포함할 수 있다.
또한, 상기 적응적으로 선택하여 상기 손상된 영역을 복원하는 단계는, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값을 기 설정된 임계 왜곡률과 비교하는 단계 및 상기 기 설정된 임계 왜곡률이 더 큰경우, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값에 대응하는 전역 와핑 이미지 또는 국부 와핑 이미지에 기초하여 상기 손상된 영역을 복원하는 단계를 포함할 수 있다.
또한, 상기 순방향 시간적 에러 은닉을 수행하는 단계는, 상기 목표 이미지의 시간적 직전 프레임을 참조 이미지로 할 수 있고, 상기 역방향 시간적 에러 은닉을 수행하는 단계는, 상기 목표 이미지의 시간적 직후 프레임을 참조 이미지로 할 수 있다.
한편, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치는, 대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 손상된 영역이 존재하는 프레임을 탐색 하고, 상기 손상된 영역이 존재하는 프레임에 순방향 시간적 에러 은닉을 수행하는 순방향 시간적 에러 은닉부, 대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 손상된 영역이 존재하는 프레임을 탐색하고, 상기 손상된 영역이 존재하는 프레임에 역방향 시간적 에러 은닉을 수행하는 역방향 시간적 에러 은닉부 및 손상된 영역이 존재하는 마지막 프레임에 순방향 시간적 에러 은닉을 수행한 결과, 상기 마지막 프레임에 손상된 영역이 남아있는 경우, 상기 마지막 프레임에 대하여 공간적 에러 은닉을 수행하고, 상기 역방향 시간적 에러 은닉이 수행되었으나 손상된 영역이 남아있는 프레임에 대하여 공간적 에러 은닉을 수행하는 공간적 에러 은닉부를 포함할 수 있다.
또한, 상기 순방향 시간적 에러 은닉부 및 상기 역방향 시간적 에러 은닉부는, 상기 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임을 참조 이미지로 결정하는 프레임 결정부, 상기 목표 이미지 및 참조 이미지의 매칭점을 추출하고, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 전역 와핑 이미지 및 국부 와핑 이미지를 생성하는 이미지 정합부 및 상기 전역 와핑 이미지 및 국부 와핑 이미지의 왜곡률을 계산하고, 상기 왜곡률을 고려하여 전역 와핑 이미지 또는 국부 와핑 이미지를 적응적으로 선택하여 상기 손상된 영역을 복원하는 손상 영역 복원부를 포함할 수 있다.
또한, 상기 대상 영상은 원본 영상 또는 상기 원본 영상을 특정한 수를 갖는 프레임 집합으로 분할한 분할 영상일 수 있다.
또한, 상기 왜곡률은 전역 왜곡률 및 국부 왜곡률을 포함할 수 있고, 상기 손상 영역 복원부는 상기 국부 와핑 이미지와 패치영역의 공통 영역 및 손상된 영역에 기초하여 왜곡률 비교 영역을 설정하고, 상기 목표 이미지 및 상기 전역 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 전역 왜곡률을 계산하고, 상기 목표 이미지 및 상기 국부 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 국부 왜곡률을 계산할 수 있다.
또한, 상기 손상 영역 복원부는, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값을 기 설정된 임계 왜곡률과 비교하여, 상기 기 설정된 임계 왜곡률이 더 큰 경우, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값에 대응하는 전역 와핑 이미지 또는 국부 와핑 이미지에 기초하여 상기 손상된 영역을 복원할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 대상 영상의 손상된 영역을 순방향 시간적 에러 은닉, 역방향 시간적 에러 은닉 및 공간적 에러 은닉을 복합적으로 적용하여 소스 정보의 전파를 통한 양방향 영상 에러 은닉 장치 및 방법을 제공할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 복원 영역에 대하여 적절한 정합 모델을 선택 적용함으로써 다양한 유형을 갖는 복원 영역 또는 비교적 큰 크기의 복원 영역을 효율적으로 재구성할 수 있는 적응적 호모그래피 기반의 정합을 이용한 양방향 영상 에러 은닉 장치 및 방법을 제공할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치의 개략적인 구성도이다.
도2는 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부 및 역방향 시간적 에러 은닉부의 개략적인 구성도이다.
도3은 본원의 일 실시예에 따른 전역 와핑 이미지를 생성하기 위한 목표 이미지 및 참조 이미지를 나타낸 도면이다.
도4는 본원의 일 실시예에 따른 국부 와핑 이미지를 생성하기 위한 목표 이미지 내 패치 영역 및 참조 이미지 내 패치 영역을 나타낸 도면이다.
도5는 본원의 일 실시예에 따른 왜곡률 비교 영역을 설명하기 위한 도면이다.
도6은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법의 개략적인 동작 흐름도이다.
도7은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법의 세부적인 동작 흐름도이다.
도8은 본원의 일 실시예에 따른 순방향 시간적 에러 은닉을 수행하는 단계 및 역방향 시간적 에러 은닉을 수행하는 단계의 세부적인 동작 흐름도이다.
도9는 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, 복수의 CTU 크기를 갖는 손상된 영역이 존재하는 프레임을 복원한 결과를 기존의 에러 은닉 기법들에 의한 결과와 비교하여 나타낸 도면이다.
도10은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, CTU 크기를 갖는 복수의 손상된 영역이 존재하는 프레임을 복원한 결과를 기존의 에러 은닉 기법들에 의한 결과와 PSNR 및 SSIM 측면에서 비교하여 나타낸 도표이다.
도11은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, 한 방향으로만 에러 은닉을 수행한 결과와 양방향 영상 에러 은닉 방법을 적용한 복원 결과를 PSNR 및 SSIM 측면에서 비교하여 나타낸 도표이다.
도12는 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, 종래의 Huang 기법과 영상 복원 프로세스에 소요되는 시간을 비교하여 나타낸 도표이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
에러 은닉(Error Concealment, EC)은 디코더 측에서 특정 영상을 복호화하는 과정에서, 특정 프레임에 손상된 영역이 존재하는 경우, 이를 복원하기 위한 후처리 기법으로, 영상 전송에서 패킷 손실 등에 의한 손실을 재구성하는데 효과적일 수 있다. 에러 은닉(EC)는 크게 인접 픽셀과의 상관 관계를 이용하는 공간적 에러 은닉(spatial error concealment, SEC)과 프레임 간의 상관 관계를 이용하는 시간적 에러 은닉(temporal error concealment, TEC)로 구분될 수 있다.
기존에 제안된 BI(bilinear interpolation) 기법은, 공간적 에러 은닉(SEC)의 하나로 픽셀 간 거리의 역 비율에 기초하여 가중치를 결정하고, 상기 가중치를 기반으로 보간을 수행하는 방식을 의미한다. 상기 BI 기법은 계산 복잡도가 낮으면서도 합리적이 결과를 도출할 수 있다는 장점이 있으나, 손상된 영역 내에 가장자리 (Edge) 구조가 존재할 경우에 있어서 복원 성능의 한계를 가진다.
또한, 기존에 제안된 TR(temporal replacement) 기법은, 시간적 에러 은닉(TEC)의 하나로, 손상된 영역의 픽셀을 참조 프레임의 동일한 위치에 있는 픽셀로 단순 대체하는 기법으로, 손상된 영역이 존재하는 프레임과 참조 프레임이 유사하다는 가정을 전제로 하므로, 일정한 움직임이 나타나는 영상에 있어서 복원 품질이 저하되는 단점이 존재한다.
도 1은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치의 개략적인 구성도이다.
도1을 참조하면, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)는, 순방향 시간적 에러 은닉부(110), 역방향 시간적 에러 은닉부(120) 및 공간적 에러 은닉부(130)을 포함할 수 있다.
순방향 시간적 에러 은닉부(110)는, 대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 손상된 영역이 존재하는 프레임을 탐색 하고, 상기 손상된 영역이 존재하는 프레임에 순방향 시간적 에러 은닉을 수행할 수 있다.
또한, 본원의 일 실시예에 따르면, 대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 탐색하는 것은, 재생 순서 기준 순방향을 의미할 수 있고, 대상 영상의 전체 프레임 수를 N이라 할 때, 프레임1로부터 프레임N으로 하나의 프레임씩 탐색을 진행하는 것을 의미할 수도 있다.
역방향 시간적 에러 은닉부(120)는, 대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 손상된 영역이 존재하는 프레임을 탐색하고, 상기 손상된 영역이 존재하는 프레임에 역방향 시간적 에러 은닉을 수행할 수 있다.
또한, 본원의 일 실시예에 따르면, 대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 탐색하는 것은, 재생 순서 기준 역방향을 의미할 수 있고, 대상 영상의 전체 프레임 수를 N이라 할 때, 프레임 N으로부터 프레임1로 하나의 프레임씩 탐색을 진행하는 것을 의미할 수도 있다.
공간적 에러 은닉부(130)는, 손상된 영역이 존재하는 마지막 프레임에 순방향 시간적 에러 은닉을 수행한 결과, 상기 마지막 프레임에 손상된 영역이 남아있는 경우, 상기 마지막 프레임에 대하여 공간적 에러 은닉을 수행할 수 있다. 또한, 공간적 에러 은닉부(130)는, 상기 역방향 시간적 에러 은닉이 수행되었으나 손상된 영역이 남아있는 프레임에 대하여 공간적 에러 은닉을 수행할 수 있다. 본원의 일 실시예에 따르면, 공간적 에러 은닉부(130)는 공지된 공간적 에러 은닉 적용 방법에 따라 프레임에 존재하는 손상된 영역을 복원할 수 있다.
구체적으로, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)는, 대상 영상을 프레임 단위로 손상된 영역을 복원하기 위한 소스 정보를 전파하며 순방향으로 1회 및 역방향으로 1회 진행하며 에러 은닉을 수행한 후, 양방향 영상 에러 은닉을 종료하므로, 선행하는 순방향 시간적 에러 은닉 수행 단계에서는 손상된 영역이 존재하는 프레임에 대한 복원이 전체 손상된 영역에 대해 완결되지 않더라도, 후행하는 역방향 시간적 에러 은닉 수행 단계에서 미복원된 영역에 대한 에러 은닉이 적용될 수 있는 특징을 갖는다.
이에 따라, 양방향 영상 에러 은닉 장치(100)는, 순방향 시간적 에러 은닉 단계를 전체 프레임에 대하여 수행하고, 마지막 프레임에 대하여만 공간적 에러 은닉을 추가적으로 적용하고, 역방향 시간적 에러 은닉 단계에서는, 역방향 시간적 에러 은닉을 수행한 후에도 현재 프레임에 미복원된 손상 영역이 남아 있는 경우, 프레임 각각에 대하여 공간적 에러 은닉을 수행하여, 해당 프레임에 대한 손상 영역 복원을 완결하고 역방향으로 다음 프레임에 대한 탐색 및 복원을 진행할 수 있다.
또한, 본원의 일 실시예에 따르면, 대상 영상은 원본 영상 또는 상기 원본 영상을 특정한 수를 갖는 프레임 집합으로 분할한 분할 영상일 수 있다.
또한, 본원의 일 실시예에 따르면, 상기 분할 영상은 GOF(group of frame)을 의미할 수 있고, 상기 대상 영상은 예시적으로 N개의 프레임을 포함할 수 있다.
즉, 본원의 일 실시예에 따른, 양방향 영상 에러 은닉 장치(100)는, 원본 영상 전체를 양방향으로 탐색하며 에러 은닉을 수행함으로써 복원 영상을 출력할 수 있고, 상기 원본 영상을 특정 수의 프레임을 포함하는 분할 영상(GOF)로 분할하여, 분할 영상 각각에 대한 양방향 에러 은닉을 개별적으로 수행하고, 에러 은닉 수행 결과 손상된 영역이 복원된 각각의 복수의 결과 영상들을 합하여 복원 영상을 출력할 수도 있다. 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치 및 방법은 영상 디코딩 장치에 적용될 수 있다.
이하에서는 도2내지 도5를 통해 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)가 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 수행하는 과정을 상세히 서술한다.
또한, 상기 순방향 시간적 에러 은닉을 수행하는 과정은 순방향 시간적 에러 은닉부(110)에 의하여 수행될 수 있고, 상기 역방향 시간적 에러 은닉을 수행하는 과정은 역방향 시간적 에러 은닉부(120)에 의하여 수행될 수 있다.
도2는 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부 및 역방향 시간적 에러 은닉부의 개략적인 구성도이다.
도2를 참조하면 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)는, 프레임 결정부(111), 이미지 정합부(112) 및 손상 영역 복원부(113)을 포함할 수 있다.
또한, 본원의 일 실시예에 따른 역방향 시간적 에러 은닉부(120)는, 프레임 결정부(121), 이미지 정합부(122) 및 손상 영역 복원부(123)을 포함할 수 있다.
순방향 시간적 에러 은닉부(110)의 프레임 결정부(111) 및 역방향 시간적 에러 은닉부(120)의 프레임 결정부(121)는, 상기 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임을 참조 이미지로 결정할 수 있다.
또한, 순방향 시간적 에러 은닉부(110)의 프레임 결정부(111)는, 상기 목표 이미지의 시간적 직전 프레임을 참조 이미지로 결정할 수 있다.
반대로, 역방향 시간적 에러 은닉부(120)의 프레임 결정부(121)는, 상기 목표 이미지의 시간적 직후 프레임을 참조 이미지로 결정할 수 있다.
즉, 상기 참조 이미지는 상기 목표 이미지의 시간적 직전 프레임 또는 시간적 직후 프레임일 수 있다.
순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 목표 이미지 및 참조 이미지의 매칭점을 추출하고, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 전역 와핑 이미지 및 국부 와핑 이미지를 생성할 수 있다.
본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 목표 이미지 및 참조 이미지 내 대응되는 복수의 특징점을 추출하고, RANSAC 알고리즘을 적용하여 상기 복수의 특징점 중에서 매칭점을 선택할 수 있다.
본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, Harris 기법, SIFT(scale-invariant feature transform) 기법 또는 SUFR 기법을 통해 상기 복수의 특징점을 추출할 수 있다. 다만, 이는 예시적 기재일 뿐 이에 한정될 필요는 없고, 다양한 기법들이 복수의 특징점 추출에 사용될 수 있다.
또한, 본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 복수의 특징점에 RANSAC(RANdom Sample Consensus) 알고리즘을 적용할 수 있다.
상기 RANSAC 알고리즘은, 복수의 데이터로부터 이상점(oulier)에 해당하는 데이터를 제거하여 컨센서스(Consensus)가 최대인 데이터 집합을 선택하는 알고리즘을 의미할 수 있다.
즉, 복수의 특징점 중 이상점(oulier)에 해당하는 특징점을 제외한 나머지를 매칭점으로 결정하여 상기 목표 이미지 및 상기 참조 이미지의 대응되는 특징을 적절하게 반영하는 매칭점을 결정할 수 있다.
또한, 본원의 일 실시예에 따르면, 전술한 특징점 및 매칭점은 목표 이미지와 참조 이미지의 전체 영역을 고려하여 추출 및 결정될 수 있고, 목표 이미지와 참조 이미지 내 대응되는 패치 영역을 설정하고, 상기 패치 영역을 고려하여 추출 및 결정될 수도 있다.
또한, 본원의 일 실시예에 따르면, 목표 이미지와 참조 이미지의 전체 영역을 고려한 매칭점은 전역 와핑 이미지를 생성하기 위한 호모그래피 변환에 사용되고, 목표 이미지와 참조 이미지의 패치 영역을 고려한 매칭점은 국부 와핑 이미지를 생성하기 위한 호모그래피 변환에 사용될 수 있다.
이하에서는, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)가 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 수행하기 위하여, 전역 와핑 이미지 및 국부 와핑 이미지를 생성하는 과정을 자세히 서술한다.
도3은 본원의 일 실시예에 따른 전역 와핑 이미지를 생성하기 위한 목표 이미지 및 참조 이미지를 나타낸 도면이다.
도3을 참조하면, (a)의 It는 손상된 영역이 존재하는 프레임으로 목표 이미지에 해당할 수 있다. (b)의 Ir은 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임으로 참조 이미지에 해당할 수 있다.
또한, (a)의 Ωt 는 상기 손상된 영역이고, (b)의 Φr 은 참조 이미지 내 소스 영역이고, (a)의 Φt는 (b)의 Φr 에 대응하는 목표 이미지 내 소스 영역을 나타낼 수 있다.
또한, Φt 및 Φr 내 회색 점들은 복수의 특징점이고, 붉은 점들은 복수의 특징점 중 RANSAC 알고리즘에 의해 선택된 매칭점일 수 있다.
본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 전술한 매칭점들에 기초하여 전역 호모그래피 행렬(H)를 계산할 수 있다.
또한, 본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 전역 호모그래피 행렬에 기초하여, 호모그래피 변환을 수행하여 참조 이미지(Ir)로부터 전역 와핑 이미지(Iw)를 생성할 수 있다.
또한, 본원의 일 실시예에 따르면, 전술한 전역 호모그래피 행렬은 아래의 식1에 의해 계산될 수 있다.
[식1]
Figure 112019009680423-pat00001
여기서, (x1, y1)는 목표 이미지 내 존재하는 매칭점의 좌표이고, (x2, y2)는 참조 이미지 내 존재하는 매칭점의 좌표이고, H는 상기 전역 호모그래피 행렬을 의미할 수 있다.
도4는 본원의 일 실시예에 따른 국부 와핑 이미지를 생성하기 위한 목표 이미지 내 패치 영역 및 참조 이미지 내 패치 영역을 나타낸 도면이다.
도4을 참조하면, (a)의 It는 손상된 영역이 존재하는 프레임으로 목표 이미지에 해당할 수 있다. (b)의 Ir은 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임으로 참조 이미지에 해당할 수 있다.
또한, (a)의 Ωt 는 상기 손상된 영역이고, (b)의 Φr 은 참조 이미지 내 소스 영역이고, (a)의 Φt는 (b)의 Φr 에 대응하는 목표 이미지 내 소스 영역을 나타낼 수 있다.
또한, (a)의 Ψt는 상기 손상된 영역을 포함하는 목표 이미지 내 패치 영역일 수 있고, (b)의 Ψr은 상기 목표 이미지 내 패치 영역과 동일한 위치 및 면적을 가지는 참조 이미지 내 패치 영역일 수 있다.
또한, (a)의 Ψt는 손상된 영역 Ωt 및 손상된 영역을 둘러싼 경계 영역 δΩt 을 포함할 수 있다.
또한, δΩt 및 Ψr 내 회색 점들은 복수의 특징점이고, 붉은 점들은 복수의 특징점 중 RANSAC 알고리즘에 의해 선택된 매칭점일 수 있다.
본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 전술한 매칭점들에 기초하여 국부 호모그래피 행렬(Hp)를 계산할 수 있다.
또한, 본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 국부 호모그래피 행렬에 기초하여, 호모그래피 변환을 수행하여 참조 이미지(Ir)로부터 국부 와핑 이미지(Ψw)를 생성할 수 있다.
또한, 본원의 일 실시예에 따르면, 전술한 국부 호모그래피 행렬은 아래의 식2에 의해 계산될 수 있다.
[식2]
Figure 112019009680423-pat00002
여기서, (x1, y1)는 목표 이미지의 패치 영역 내 존재하는 매칭점의 좌표이고, (x2, y2)는 참조 이미지의 패치 영역 내 존재하는 매칭점의 좌표이고, Hp는 상기 전역 호모그래피 행렬을 의미할 수 있다.
순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 전역 와핑 이미지 및 국부 와핑 이미지의 왜곡률을 계산하고, 상기 왜곡률을 고려하여 전역 와핑 이미지 또는 국부 와핑 이미지를 적응적으로 선택하여 상기 손상된 영역을 복원할 수 있다.
또한, 상기 왜곡률은 전역 왜곡률 및 국부 왜곡률을 포함할 수 있다.
또한, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 국부 와핑 이미지와 참조 이미지의 패치영역의 공통 영역 및 손상된 영역에 기초하여 왜곡률 비교 영역을 설정할 수 있다.
또한, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 목표 이미지 및 상기 전역 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 전역 왜곡률을 계산할 수 있다.
또한, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 목표 이미지 및 상기 국부 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 국부 왜곡률을 계산할 수 있다.
도5는 본원의 일 실시예에 따른 왜곡률 비교 영역을 설명하기 위한 도면이다.
도5를 참조하면, 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는 상기 국부 와핑 이미지와 상기 참조 이미지 내 패치 영역의 공통 영역 및 상기 목표 이미지 내 손상된 영역에 기초하여 왜곡률 비교 영역을 설정할 수 있다.
구체적으로, 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는 국부 와핑 이미지(Ψw)와 참조 이미지 내 패치 영역(Ψr)의 공통 영역을 계산할 수 있고, 이를 Ψ^r 라 할 수 있다.
또한, 목표 이미지 내에 전술한 공통 영역(Ψ^r)과 동일한 위치 및 면적을 갖는 영역을 설정하여, 이를 Ψ^t 라 할 수 있다.
또한, 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는 전술한 Ψ^t 에서 목표 이미지 내 손상된 영역(Ωt)을 제외한 영역을 왜곡률 비교 영역(St)으로 설정할 수 있다. 전술한 내용을 식으로 표현하면 아래의 식3과 같다.
[식3]
Figure 112019009680423-pat00003
여기서, St는 상기 왜곡률 비교 영역일 수 있고, 도5의 각각의 빗금친 영역은 목표 이미지, 전역 와핑 이미지 및 국부 와핑 이미지 각각에 존재하는 왜곡률 비교 영역을 나타낼 수 있다.
또한, 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 아래의 식4를 통하여 목표 이미지의 왜곡률 비교 영역 및 전역 와핑 이미지의 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 전역 왜곡률을 계산할 수 있다.
[식4]
Figure 112019009680423-pat00004
여기서, dw는 상기 전역 왜곡률이고, St는 상기 왜곡률 비교 영역이고, |St|는 상기 왜곡률 비교 영역 내 전체 픽셀의 수이고, Ir w는 상기 전역 와핑 이미지이고, i, j는 픽셀의 위치값을 의미할 수 있다.
즉, 식4에 의해 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 목표 이미지 내의 왜곡률 비교 영역 내 픽셀과 전역 와핑 이미지 내의 왜곡률 비교 영역 내 픽셀의 절대 편차를 합한 값을 상기 왜곡률 비교 영역 내 전체 픽셀의 수로 나눔으로써, 전역 와핑 이미지와 목표 이미지의 평균 절대 편차(mean absolute difference, MAD)를 계산할 수 있고, 이 값을 전역 왜곡률(dw)로 할 수 있다.
또한, 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 아래의 식5를 통하여 목표 이미지의 왜곡률 비교 영역 및 국부 와핑 이미지의 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 국부 왜곡률을 구할 수 있다.
[식5]
Figure 112019009680423-pat00005
여기서, dp는 상기 국부 왜곡률이고, St는 상기 왜곡률 비교 영역이고, |St|는 상기 왜곡률 비교 영역 내 전체 픽셀의 수이고, Ir p는 상기 국부 와핑 이미지이고, i, j는 픽셀의 위치값을 의미할 수 있다.
즉, 식5에 의해 본원의 일 실시예에 따른 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 목표 이미지 내의 왜곡률 비교 영역 내 픽셀과 국부 와핑 이미지 내의 왜곡률 비교 영역 내 픽셀의 절대 편차를 상기 왜곡률 비교 영역 내 전체 픽셀의 수로 나눔으로써, 국부 와핑 이미지와 목표 이미지의 평균 절대 편차(mean absolute difference, MAD)를 계산할 수 있고, 이 값을 국부 왜곡률(dp)로 할 수 있다.
또한, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값을 기 설정된 임계 왜곡률과 비교할 수 있다.
또한, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 기 설정된 임계 왜곡률이 더 큰 경우, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값에 대응하는 전역 와핑 이미지 또는 국부 와핑 이미지에 기초하여 상기 손상된 영역을 복원할 수 있다.
본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 전역 왜곡률(dw) 및 국부 왜곡률(dp) 중 작은 값 보다 기 설정된 임계 왜곡률(T)이 작은 경우, 상기 전역 와핑 이미지 및 상기 국부 와핑 이미지 모두를 상기 목표 이미지 내 손상된 영역을 복원하는데 사용하지 않을 수 있다.
반대로, 본원의 일 실시예에 따르면, 전역 왜곡률(dw) 및 국부 왜곡률(dp) 중 작은 값 보다 기 설정된 임계 왜곡률(T)이 큰 경우에는, 전역 왜곡률(dw) 및 국부 왜곡률(dp) 중 작은 값에 대응되는 전역 와핑 이미지(Iw) 또는 국부 와핑 이미지(Ψw)에 기초하여 상기 손상된 영역을 복원할 수 있다.
구체적으로, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는 전역 왜곡률(dw)이 더 작은 경우, 상기 전역 왜곡률에 대응되는 전역 와핑 이미지를 참조하여 상기 손상된 영역을 복원할 수 있다.
반대로, 국부 왜곡률(dp)이 더 작은 경우, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는 상기 국부 왜곡률에 대응되는 국부 와핑 이미지를 참조하여 상기 손상된 영역을 복원할 수 있다.
즉, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)는, 목표 이미지 및 참조 이미지의 전체 영역을 고려한 전역 와핑 이미지 및 패치 영역만을 고려한 국부 와핑 이미지에 대하여 각각의 전역 왜곡률 및 국부 왜곡률을 계산하고, 이를 기 설정된 임계 왜곡률과 비교하여, 복원 여부를 결정할 수 있다.
이에 따라, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)는, 손상된 영역이 부적절하게 재구성되는 것을 방지하고, 나아가 부적절하게 재구성된 프레임이 다음 프레임에 대한 에러 은닉 단계에서 새로운 참조 이미지로 결정됨으로써, 부적절하게 재구성된 결과가 다음 프레임으로 전파되는 오차 누적 효과를 저감시킬 수 있다.
또한, 본원의 일 실시예에 따르면, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)는, 목표 이미지 내 독립하여 위치하는 손상된 영역 전체에 대해 전술한 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 수행했는가를 판단할 수 있다.
구체적으로, 본원의 일 실시예에 따르면, 상기 손상된 영역은, 동일한 프레임 내에서 여러 위치에 복수개 존재할 수 있고, 복수의 손상된 영영 각각에 대하여 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 수행해야 하므로, 현재의 목표 이미지 내 독립하여 위치하는 손상된 영역들이 모두 고려되었는 가를 판단하여, 모든 손상된 영역들이 고려된 경우에만, 현재의 목표 이미지에 대한 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 종료할 수 있다.
전술한 내용에 따라, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)는, 한 프레임에 대한 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉이 종료된 경우, 일정 조건에 따라 추가적인 공간적 에러 은닉을 적용한 후, 다른 손상된 영역이 존재하는 프레임에 대한 탐색을 속행할 수 있다.
도6은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법의 개략적인 동작 흐름도이다.
도6에 도시된 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법은 앞선 도1 내지 도 5를 통해 설명된 양방향 영상 에러 은닉 장치(100)에 의하여 수행될 수 있다. 따라서 이하 생략된 내용이라고 하더라도 도1 내지 도 5를 통해 양방향 영상 에러 은닉 장치(100)에 대하여 설명된 내용은 도6에도 동일하게 적용될 수 있다.
도6을 참조하면, 단계 S610에서 순방향 시간적 에러 은닉부(110)는, 대상 영상의 재생 순서상 첫 프레임에서 마지막 프레임 방향으로 순방향 시간적 에러 은닉을 수행할 수 있다.
또한, 본원의 일 실시예에 따르면, 순방향 시간적 에러 은닉부(110)는, 단계 S610을 마지막 프레임에 도달할 때까지 반복할 수 있다.
다음으로, 단계 S620에서 공간적 에러 은닉부(130)는, 손상된 영역이 존재하는 마지막 프레임에 순방향 시간적 에러 은닉을 수행한 결과, 상기 마지막 프레임에 손상된 영역이 남아있는 경우, 상기 마지막 프레임에 대하여 공간적 에러 은닉을 수행할 수 있다.
다음으로, 단계 S630에서 역방향 시간적 에러 은닉부(120)는, 대상 영상의 재생 순서상 마지막 프레임에서 첫 프레임 방향으로 역방향 시간적 에러 은닉을 수행할 수 있다.
다음으로, 단계 S640에서 공간적 에러 은닉부(130)는, 전술한 역방향 시간적 에러 은닉부(120)에 의한 단계 360 수행 결과, 프레임 내 손상된 영역이 남아있는 경우, 해당 프레임에 대하여 공간적 에러 은닉을 수행할 수 있다.
또한, 본원의 일 실시예에 따르면, 양방향 영상 에러 은닉 장치(100)는, 단계 S630 및 단계 S640을 첫 프레임에 도달할 때까지 반복할 수 있다.
또한, 본원의 일 실시예에 따르면, 역방향 시간적 에러 은닉부(120)가 역방향 시간적 에러 은닉을 수행한 결과, 특정 프레임에 손상된 영역이 남아있는 경우, 공간적 에러 은닉부(130)는 해당 프레임에 대하여 공간적 에러 은닉을 수행하여 남아있는 손상된 영역을 복원하여, 해당 프레임의 손상된 영역의 복원을 모두 완료할 수 있다.
그 후, 역방향 시간적 에러 은닉부(120)는 다음 프레임(시간적으로 이전 프레임)에 대한 프레임 탐색 및 역방향 시간적 에러 은닉을 수행하고, 해당 프레임에 손상된 영역이 남아있는 경우, 공간적 에러 은닉부(130)는 해당 프레임에 대하여 공간적 에러 은닉을 수행하여 남아있는 손상된 영역을 복원하여, 해당 프레임의 손상된 영역의 복원을 모두 완료할 수 있다.
상술한 설명에서, 단계 S610내지 단계 S640은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도7은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법의 세부적인 동작 흐름도이다.
도7에 도시된 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법은 앞선 도1 내지 도 5를 통해 설명된 양방향 영상 에러 은닉 장치(100)에 의하여 수행될 수 있다. 따라서 이하 생략된 내용이라고 하더라도 도1 내지 도 5를 통해 양방향 영상 에러 은닉 장치(100)에 대하여 설명된 내용은 도7에도 동일하게 적용될 수 있다.
도7을 참조하면, 단계 S701에서 순방향 시간적 에러 은닉부(110)의 프레임 결정부(111)는, 대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 손상된 영역이 존재하는 프레임을 탐색할 수 있다.
또한, 본원의 일 실시예에 따르면, 대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 탐색하는 것은, 재생 순서 기준 순방향을 의미할 수 있고, 대상 영상의 전체 프레임 수를 N이라 할 때, 프레임 1(첫 번째 프레임)로부터 프레임 N(마지막 프레임)으로 하나의 프레임씩 탐색을 진행하는 것을 의미할 수도 있다. 본원의 일 실시예에 따르면, 단계 S701에서, 프레임 1의 손상된 영역은 후술하는 단계 S706 내지 S709에서 복원될 수 있다.
다음으로, 단계 S702에서 순방향 시간적 에러 은닉부(110)의 프레임 결정부 (111)는, 손상된 영역이 존재하는 프레임을 찾은 경우(프레임 2 이상에서), 상기 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 목표 이미지의 시간적 직전 프레임을 참조 이미지로 결정할 수 있다.
다음으로, 단계 S703에서 순방향 시간적 에러 은닉부(110)는, 단계 S702에서 결정된 목표 이미지 및 참조 이미지에 기초하여, 손상된 영역이 존재하는 프레임에 순방향 시간적 에러 은닉을 수행할 수 있다.
다음으로, 단계 S704에서 순방향 시간적 에러 은닉부(110)는, 현재 프레임이 마지막 프레임인 N번째 프레임인지를 판단하고, 현재 프레임이 마지막 프레임인 경우 단계 S705로 넘어갈 수 있다.
반대로, 현재 프레임이 마지막 프레임이 아닌 경우, 순방향 시간적 에러 은닉부(110)는 단계 S701로 돌아가, 손상된 영역이 존재하는 프레임 탐색을 재생 순서 기준 순방향으로 다음 프레임에 대하여 진행할 수 있다.
다음으로, 단계 S705에서 공간적 에러 은닉부(130)는, 손상된 영역이 존재하는 마지막 프레임에 단계 S702 및 단계 S703에서 순방향 시간적 에러 은닉을 수행한 결과, 상기 마지막 프레임(프레임 N)에 여전히 손상된 영역이 남아 있는 경우, 상기 마지막 프레임에 대하여 공간적 에러 은닉을 수행할 수 있다.
다음으로, 단계 S706에서 역방향 시간적 에러 은닉부(120)의 프레임 결정부(121)는, 대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 손상된 영역이 존재하는 프레임을 탐색할 수 있다.
또한, 본원의 일 실시예에 따르면, 대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 탐색하는 것은, 재생 순서 기준 역방향을 의미할 수 있고, 대상 영상의 전체 프레임 수를 N이라 할 때, 프레임 N으로부터 프레임 1로 하나의 프레임씩 탐색을 진행하는 것을 의미할 수도 있다.
다음으로, 단계 S707에서 역방향 시간적 에러 은닉부(120)의 프레임 결정부 (121)는, 손상된 영역이 존재하는 프레임을 찾은 경우, 상기 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 목표 이미지의 시간적 직후 프레임을 참조 이미지로 결정할 수 있다.
다음으로, 단계 S708에서 역방향 시간적 에러 은닉부(110)는, 단계 S707에서 결정된 목표 이미지 및 참조 이미지에 기초하여, 손상된 영역이 존재하는 프레임에 역방향 시간적 에러 은닉을 수행할 수 있다.
다음으로, 단계 S709에서 공간적 에러 은닉부(130)는, 손상된 영역이 존재하는 프레임에 단계 S707 및 단계 S708에서 역방향 시간적 에러 은닉을 수행한 후, 손상된 영역이 남아 있는 프레임에 대하여 공간적 에러 은닉을 수행할 수 있다.
다음으로, 단계 S710에서 역방향 시간적 에러 은닉부(120)는, 현재 프레임이 첫 프레임인 1번째 프레임인지를 판단하고, 현재 프레임이 첫 프레임인 경우 양방향 영상 에러 은닉 방법을 종료할 수 있다.
반대로, 현재 프레임이 첫 프레임이 아닌 경우, 역방향 시간적 에러 은닉부(120)는 단계 S706으로 돌아가, 손상된 영역이 존재하는 프레임 탐색을 재생 순서 기준 역방향으로 다음 프레임에 대하여 진행할 수 있다.
상술한 설명에서, 단계 S701내지 단계 S710은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도8은 본원의 일 실시예에 따른 순방향 시간적 에러 은닉을 수행하는 단계 및 역방향 시간적 에러 은닉을 수행하는 단계의 세부적인 동작 흐름도이다.
도8을 참조하면, 단계 S801에서 순방향 시간적 에러 은닉부(110)의 프레임 결정부(111) 및 역방향 시간적 에러 은닉부(120)의 프레임 결정부(121)는, 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임을 참조 이미지로 결정할 수 있다.
다음으로, 단계 S802및 단계 S803에서, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 목표 이미지 및 참조 이미지의 매칭점을 추출할 수 있다.
구체적으로, 단계 S802에서는, 상기 목표 이미지 및 참조 이미지의 전체 영역을 고려하여 대응되는 복수의 특징점을 추출할 수 있다.
구체적으로, 단계 S803에서는, RANSAC 알고리즘을 적용하여 상기 복수의 특징점 중에서 매칭점을 선택할 수 있다.
다음으로, 단계 S804 및 단계 S805에서, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 전역 와핑 이미지를 생성할 수 있다.
구체적으로, 단계 S804에서는, 전체 영역을 고려한 매칭점에 기초하여 전역 호모그래피 행렬을 계산할 수 있다.
구체적으로, 단계 S805에서는, 상기 전역 호모그래피 행렬에 기초하여 전역 와핑 이미지를 정합할 수 있다.
다음으로, 단계 S806에서, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 목표 이미지 및 참조 이미지 내에 동일한 위치 및 면적을 가지며, 상기 손상된 영역을 포함하는 패치 영역을 설정할 수 있다.
다음으로, 단계 S807및 단계 S808에서, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 목표 이미지 및 참조 이미지의 패치 영역을 고려하여 매칭점을 추출할 수 있다.
구체적으로, 단계 S807에서는, 상기 목표 이미지 및 참조 이미지의 패치 영역을 고려하여 대응되는 복수의 특징점을 추출할 수 있다.
구체적으로, 단계 S808에서는, RANSAC 알고리즘을 적용하여 상기 복수의 특징점 중에서 매칭점을 선택할 수 있다.
다음으로, 단계 S809 및 단계 S810에서, 순방향 시간적 에러 은닉부(110)의 이미지 정합부(112) 및 역방향 시간적 에러 은닉부(120)의 이미지 정합부(122)는, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 국부 와핑 이미지를 생성할 수 있다.
구체적으로, 단계 S809에서는, 패치 영역을 고려한 매칭점에 기초하여 국부 호모그래피 행렬을 계산할 수 있다.
구체적으로, 단계 S810에서는, 상기 국부 호모그래피 행렬에 기초하여 국부 와핑 이미지를 정합할 수 있다.
다음으로, 단계 S811에서, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 전역 와핑 이미지 및 국부 와핑 이미지의 왜곡률을 계산할 수 있다.
구체적으로, 단계 S811에서, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 국부 와핑 이미지와 패치 영역의 공통 영역 및 손상된 영역에 기초하여 왜곡률 비교 영역을 설정할 수 있다.
또한, 단계 S811에서, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 목표 이미지 및 상기 전역 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 전역 왜곡률을 계산할 수 있다.
또한, 단계 S811에서, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 목표 이미지 및 상기 국부 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 국부 왜곡률을 계산할 수 있다.
또한, 본원의 일 실시예에 따르면, 상기 왜곡률은 전역 와핑 이미지에 대응되는 전역 왜곡률(dw) 및 국부 와핑 이미지에 대응되는 국부 왜곡률(dp)를 포함할 수 있다.
다음으로, 단계 S812에서, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 전역 왜곡률(dw) 및 상기 국부 왜곡률(dp) 중 작은 값을 기 설정된 임계 왜곡률과 비교할 수 있다. 이 때, 기 설정된 임계 왜곡률이 더 큰 경우에는 단계 S813으로 넘어갈 수 있다.
반대로, 기 설정된 임계 왜곡률이 더 작거나 같은 경우, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 전역 와핑 이미지 또는 상기 국부 와핑 이미지에 기초하여 손상된 영역에 대한 복원을 수행하면 원본과 불일치 할 확률이 높은 것으로 간주하여, 상기 전역 와핑 이미지 또는 상기 국부 와핑 이미지에 기초한 복원을 수행하지 않고, 단계 S816으로 넘어갈 수 있다.
다음으로, 단계 S813내지 단계 S815에서, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 기 설정된 임계 왜곡률이 더 큰 경우, 상기 전역 왜곡률(dw) 및 상기 국부 왜곡률(dp) 중 작은 값에 대응하는 전역 와핑 이미지 또는 국부 와핑 이미지에 기초하여 상기 손상된 영역을 복원할 수 있다.
구체적으로, 단계 S813에서는, 전역 왜곡률(dw)와 국부 왜곡률(dp)의 크기를 비교할 수 있다. 이 때 전역 왜곡률(dw)이 더 큰 경우에는 단계 S814로 넘어가고, 반 대로 국부 왜곡률(dp)이 더 큰 경우에는 단계 S815로 넘어갈 수 있다.
구체적으로, 단계 S814에서는 전역 와핑 이미지에 기초하여 상기 손상된 영역을 복원할 수 있다.
구체적으로, 단계 S815에서는 국부 와핑 이미지에 기초하여 상기 손상된 영역을 복원할 수 있다.
즉, 단계 S812내지 단계 S815에서, 순방향 시간적 에러 은닉부(110)의 손상 영역 복원부(113) 및 역방향 시간적 에러 은닉부(120)의 손상 영역 복원부(123)는, 상기 왜곡률을 고려하여 전역 와핑 이미지 또는 국부 와핑 이미지를 적응적으로 선택하여 상기 손상된 영역을 복원할 수 있다.
다음으로, 단계 S816에서, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 장치(100)는, 목표 이미지 내 독립하여 위치하는 손상된 영역 전체에 대해 전술한 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 수행했는가를 판단할 수 있다.
달리 말해, 본원의 일 실시예에 따르면, 상기 손상된 영역은, 동일한 프레임 내에서 여러 위치에 복수개 존재할 수 있고, 복수의 손상된 영역 각각에 대하여 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 수행해야 하므로, 단계 S816에서는, 동일 프레임(현재의 목표 이미지) 내 독립하여 위치하는 손상된 영역들이 모두 고려되었는가를 판단하여, 모두 고려된 경우 순방향 시간적 에러 은닉을 수행하는 단계 또는 역방향 시간적 에러 은닉을 수행하는 단계를 종료할 수 있다.
반대로, 아직 고려되지 않은 독립된 손상된 영역이 남아있는 경우, 해당 손상된 영역에 대한 순방향 시간적 에러 은닉 또는 역방향 시간적 에러 은닉을 수행하기 위하여 단계 S816에서 단계 S806로 돌아갈 수 있다.
상술한 설명에서, 단계 S801내지 단계 S816은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도9는 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, 복수의 CTU 크기를 갖는 손상된 영역이 존재하는 프레임을 복원한 결과를 기존의 에러 은닉 기법들에 의한 결과와 비교하여 나타낸 도면이다.
도9를 참조하면, (a)는 복수의 CTU 크기를 갖는 손상된 영역이 존재하는 프레임이고, 상기 손상된 영역은 녹색으로 표시될 수 있다.
또한, (b)는 DI 기법에 의한 복원 결과를, (c)는 LP 기법에 의한 복원 결과를, (d)는 TR 기법에 의한 복원 결과를, (e)는 Newson 기법에 의한 복원 결과를, (f)는 Ebdelli 기법에 의한 복원 결과를, (g)는 Huang 기법에 의한 복원 결과를 각각 나타낼 수 있다.
또한, (h)는 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법을 적용하여 손상된 영역을 복원한 결과를 나타낼 수 있다.
도9를 참조하여 기존의 에러 은닉 기법들에 의한 복원 결과를 분석하면, (b)를 통해 DI 기법에 의하는 복원은 상대적으로 큰 손상 영역을 가지거나 블러(blurring) 효과가 큰 경우에 있어서 성능이 저하됨을 확인할 수 있다.
또한, (c)를 통해 LP 기법에 의할 때 모서리(Edge) 근처가 부자연스럽게 복원됨을 확인할 수 있다.
또한, (d)를 통해 TR 기법에 의할 때, 카메라에 움직임이 존재하는 영상에 있어서, 시간적인 선후 프레임 간의 차이가 존재하고 이에 따라, 재구성이 부적절한 것을 확인할 수 있다.
또한, (e)를 통해 Newson기법에 의할 때, 손상된 영역의 모서리(Edge) 구조를 재구성한 결과에 오류가 포함되고, 건물 상단 영역이 불분명하게 복원됨을 확인할 수 있다.
또한, (f)를 통해 Ebdelli 기법에 의할 때, 우측 최하단의 손상된 영역에 대한 복원 결과가 불연속적일 수 있고, 이는 세그먼트 영역을 기반으로 복원을 수행했기 때문일 수 있다.
또한, (g)를 통해 Huang기법에 의할 때, 우측 최상단의 손상된 영역에 대한 복원 결과에 불분명한 아티팩트가 존재함을 확인할 수 있다.
본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법을 적용한 (h)를 살펴보면, 모서리(Edge) 구조를 포함한 복수의 손상된 영역 전체가 다른 기존의 에러 은닉 기법에 의할 때보다 우수한 품질로 복원됨을 확인할 수 있다.
도10은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, CTU 크기를 갖는 복수의 손상된 영역이 존재하는 프레임을 복원한 결과를 기존의 에러 은닉 기법들에 의한 결과와 PSNR 및 SSIM 측면에서 비교하여 나타낸 도표이다.
도10을 참조하면, 영상의 종류, 손실률(Loss rate) 및 적용 기법에 따른 PSNR(dB) 값 및 SSIM 값이 나열되어 있음을 알 수 있고, 각각의 경우에서 가장 성능이 우수한 성능을 나타내는 값은 볼드체로 기재되었다.
또한, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법을 적용했을 때(가장 오른쪽 열), 한 가지 경우를 제외하고 가장 우수한 성능을 보였음을 알 수 있으며, 구체적으로, 2차원 LP 기법 및 3차원 Huang기법에 비해 각각 평균적으로 15.46dB및1.9dB의 PSNR 측면의 성능 향상을 보였으며, 평균적으로 0.0227 및 0.0004의 SSIM값 측면의 성능 향상을 보였다.
도11은 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, 한 방향으로만 에러 은닉을 수행한 결과와 양방향 영상 에러 은닉 방법을 적용한 복원 결과를 PSNR 및 SSIM 측면에서 비교하여 나타낸 도표이다.
도11을 참조하면, 손상된 영역의 형태(CTU, Slice, Diamon) 및 손실률(5%-25%)이 다양한 복원을 요하는 복수의 영상에 대하여, 순방향으로만 에러 은닉을 수행한 기법, 역방향으로만 에러 은닉을 수행한 기법 및 양방향 영상 에러 은닉 방법의 의한 복원 결과를 비교할 수 있다.
도11을 참조하면, PSNR 측면에서 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법에 의할 때, 순방향 및 역방향으로만 에러 은닉을 수행한 기법에 비하여, 각각 평균적으로 0.72dB및0.37dB의 성능 향상을 보였다.
또한, SSIM 값 측면에서 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법에 의할 때, 순방향 및 역방향으로만 에러 은닉을 수행한 기법에 비하여, 각각 평균적으로 0.0019 및 0.0011의 성능 향상을 보였다.
도12는 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법과 연계된 일 실험예로서, 종래의 Huang 기법과 영상 복원 프로세스에 소요되는 시간을 비교하여 나타낸 도표이다.
도12를 참조하면, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법에 의한 프로세스 속도가 종래의 Huang 기법 보다 월등히 빠른 것을 확인할 수 있다. 따라서, 본원의 일 실시예에 따른 양방향 영상 에러 은닉 방법은 실시간 비디오 스트리밍 어플리케이션을 위한 디코더 구현 등에서 효과적으로 기능할 수 있다.
본원의 일 실시 예에 따른 양방향 영상 에러 은닉 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 양방향 영상 에러 은닉 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 양방향 영상 에러 은닉 장치
110: 순방향 시간적 에러 은닉부
120: 역방향 시간적 에러 은닉부
130: 공간적 에러 은닉부

Claims (15)

  1. 양방향 영상 에러 은닉 방법에 있어서,
    대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 손상된 영역이 존재하는 프레임을 탐색하는 단계;
    상기 손상된 영역이 존재하는 프레임에 순방향 시간적 에러 은닉을 수행하는 단계;
    대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 손상된 영역이 존재하는 프레임을 탐색하는 단계;
    상기 손상된 영역이 존재하는 프레임에 역방향 시간적 에러 은닉을 수행하는 단계; 및
    상기 역방향 시간적 에러 은닉을 수행한 후, 손상된 영역이 남아있는 프레임에 대하여 공간적 에러 은닉을 수행하는 단계,
    를 포함하고,
    상기 순방향 시간적 에러 은닉을 수행하는 단계 또는 상기 역방향 시간적 에러 은닉을 수행하는 단계는,
    손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임을 참조 이미지로 결정하는 단계;
    상기 목표 이미지 및 참조 이미지의 매칭점을 추출하고, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 전역 와핑 이미지 및 국부 와핑 이미지를 생성하는 단계;
    상기 전역 와핑 이미지 및 상기 국부 와핑 이미지의 왜곡률을 계산하는 단계; 및
    상기 왜곡률을 고려하여 상기 전역 와핑 이미지 또는 상기 국부 와핑 이미지를 적응적으로 선택하여 상기 손상된 영역을 복원하는 단계,
    를 포함하는 것인, 양방향 영상 에러 은닉 방법.
  2. 제1항에 있어서,
    손상된 영역이 존재하는 마지막 프레임에 순방향 시간적 에러 은닉을 수행한 결과, 상기 마지막 프레임에 손상된 영역이 남아있는 경우, 상기 마지막 프레임에 대하여 공간적 에러 은닉을 수행하는 단계,
    를 더 포함하는 것인, 양방향 영상 에러 은닉 방법.
  3. 제1항에 있어서,
    상기 전역 와핑 이미지 및 국부 와핑 이미지를 생성하는 단계는,
    상기 목표 이미지 및 참조 이미지의 매칭점을 추출하는 단계;
    상기 매칭점에 기초하여 호모그래피 변환을 수행하여 전역 와핑 이미지를 생성하는 단계;
    상기 목표 이미지 및 참조이미지 내에 동일한 위치 및 면적을 가지며, 상기 손상된 영역을 포함하는 패치 영역을 설정하는 단계;
    상기 목표 이미지 및 참조 이미지의 패치 영역을 고려하여 매칭점을 추출하는 단계; 및
    상기 매칭점에 기초하여 호모그래피 변환을 수행하여 국부 와핑 이미지를 생성하는 단계,
    를 포함하는 것인, 양방향 영상 에러 은닉 방법.
  4. 제3항에 있어서,
    상기 참조 이미지는 상기 목표 이미지의 시간적 직전 프레임 또는 시간적 직후 프레임인 것인, 양방향 영상 에러 은닉 방법.
  5. 제1항에 있어서,
    상기 대상 영상은 원본 영상 또는 상기 원본 영상을 특정한 수를 갖는 프레임 집합으로 분할한 분할 영상인 것인, 양방향 영상 에러 은닉 방법.
  6. 제3항에 있어서,
    상기 목표 이미지 및 참조 이미지의 매칭점을 추출하는 단계 또는 상기 목표 이미지 및 참조 이미지의 패치 영역을 고려하여 매칭점을 추출하는 단계는,
    상기 목표 이미지 및 참조 이미지 내 대응되는 복수의 특징점을 추출하는 단계; 및
    RANSAC 알고리즘을 적용하여 상기 복수의 특징점 중에서 매칭점을 선택하는 단계,
    를 포함하는 것인, 양방향 영상 에러 은닉 방법.
  7. 제1항에 있어서,
    상기 왜곡률을 계산하는 단계는,
    상기 국부 와핑 이미지와 패치 영역의 공통 영역 및 손상된 영역에 기초하여 왜곡률 비교 영역을 설정하는 단계;
    상기 목표 이미지 및 상기 전역 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 전역 왜곡률을 계산하는 단계; 및
    상기 목표 이미지 및 상기 국부 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 국부 왜곡률을 계산하는 단계,
    를 포함하는 것인, 양방향 영상 에러 은닉 방법.
  8. 제7항에 있어서,
    상기 적응적으로 선택하여 상기 손상된 영역을 복원하는 단계는,
    상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값을 기 설정된 임계 왜곡률과 비교하는 단계; 및
    상기 기 설정된 임계 왜곡률이 더 큰경우, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값에 대응하는 전역 와핑 이미지 또는 국부 와핑 이미지에 기초하여 상기 손상된 영역을 복원하는 단계,
    를 포함하는 것인, 양방향 영상 에러 은닉 방법.
  9. 제1항에 있어서,
    상기 순방향 시간적 에러 은닉을 수행하는 단계는, 상기 목표 이미지의 시간적 직전 프레임을 참조 이미지로 하고,
    상기 역방향 시간적 에러 은닉을 수행하는 단계는, 상기 목표 이미지의 시간적 직후 프레임을 참조 이미지로 하는 것인, 양방향 영상 에러 은닉 방법.
  10. 양방향 영상 에러 은닉 장치에 있어서,
    대상 영상의 재생 순서상 첫 프레임으로부터 마지막 프레임까지 손상된 영역이 존재하는 프레임을 탐색 하고, 상기 손상된 영역이 존재하는 프레임에 순방향 시간적 에러 은닉을 수행하는 순방향 시간적 에러 은닉부;
    대상 영상의 재생 순서상 마지막 프레임으로부터 첫 프레임까지 손상된 영역이 존재하는 프레임을 탐색하고, 상기 손상된 영역이 존재하는 프레임에 역방향 시간적 에러 은닉을 수행하는 역방향 시간적 에러 은닉부; 및
    손상된 영역이 존재하는 마지막 프레임에 순방향 시간적 에러 은닉을 수행한 결과, 상기 마지막 프레임에 손상된 영역이 남아있는 경우, 상기 마지막 프레임에 대하여 공간적 에러 은닉을 수행하고, 상기 역방향 시간적 에러 은닉이 수행되었으나 손상된 영역이 남아있는 프레임에 대하여 공간적 에러 은닉을 수행하는 공간적 에러 은닉부,
    를 포함하고,
    상기 순방향 시간적 에러 은닉부 및 상기 역방향 시간적 에러 은닉부는,
    상기 손상된 영역이 존재하는 프레임을 목표 이미지로 하고, 상기 손상된 영역을 복원하기 위한 소스 정보를 포함하는 프레임을 참조 이미지로 결정하는 프레임 결정부;
    상기 목표 이미지 및 참조 이미지의 매칭점을 추출하고, 상기 매칭점에 기초하여 호모그래피 변환을 수행하여 전역 와핑 이미지 및 국부 와핑 이미지를 생성하는 이미지 정합부; 및
    상기 전역 와핑 이미지 및 국부 와핑 이미지의 왜곡률을 계산하고, 상기 왜곡률을 고려하여 전역 와핑 이미지 또는 국부 와핑 이미지를 적응적으로 선택하여 상기 손상된 영역을 복원하는 손상 영역 복원부,
    를 포함하는 것인, 양방향 영상 에러 은닉 장치.
  11. 삭제
  12. 제10항에 있어서,
    상기 대상 영상은 원본 영상 또는 상기 원본 영상을 특정한 수를 갖는 프레임 집합으로 분할한 분할 영상인 것인, 양방향 영상 에러 은닉 장치.
  13. 제10항에 있어서,
    상기 왜곡률은 전역 왜곡률 및 국부 왜곡률을 포함하고,
    상기 손상 영역 복원부는 상기 국부 와핑 이미지와 패치영역의 공통 영역 및 손상된 영역에 기초하여 왜곡률 비교 영역을 설정하고, 상기 목표 이미지 및 상기 전역 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 전역 왜곡률을 계산하고, 상기 목표 이미지 및 상기 국부 와핑 이미지의 상기 왜곡률 비교 영역 내 픽셀의 절대 편차에 기초하여 국부 왜곡률을 계산하는 것을 특징으로 하는,
    양방향 영상 에러 은닉 장치.
  14. 제13항에 있어서,
    상기 손상 영역 복원부는,
    상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값을 기 설정된 임계 왜곡률과 비교하여, 상기 기 설정된 임계 왜곡률이 더 큰 경우, 상기 전역 왜곡률 및 상기 국부 왜곡률 중 작은 값에 대응하는 전역 와핑 이미지 또는 국부 와핑 이미지에 기초하여 상기 손상된 영역을 복원하는 것인,
    양방향 영상 에러 은닉 장치.
  15. 제1항 내지 제9항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020190010404A 2019-01-28 2019-01-28 양방향 영상 에러 은닉 장치 및 방법 KR102151975B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190010404A KR102151975B1 (ko) 2019-01-28 2019-01-28 양방향 영상 에러 은닉 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190010404A KR102151975B1 (ko) 2019-01-28 2019-01-28 양방향 영상 에러 은닉 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200093212A KR20200093212A (ko) 2020-08-05
KR102151975B1 true KR102151975B1 (ko) 2020-09-04

Family

ID=72041472

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190010404A KR102151975B1 (ko) 2019-01-28 2019-01-28 양방향 영상 에러 은닉 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102151975B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102599310B1 (ko) * 2021-12-10 2023-11-06 현대오토에버 주식회사 Mms에 의해 촬영된 영상으로부터 차량이 제거된 영상을 획득하는 방법 및 장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100224868B1 (ko) * 1997-02-24 1999-10-15 윤종용 데이터 에러 정정 범위 판단방법
KR100454526B1 (ko) * 2002-01-30 2004-11-05 유철 시공간적 정보를 이용한 인트라 프레임의 에러 은닉방법
KR100736041B1 (ko) * 2005-06-30 2007-07-06 삼성전자주식회사 에러 은닉 방법 및 장치

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Xiaopeng Fan et al, ‘Joint forward backward error concealment of redundantly coded video’, Proceedings of 2010 IEEE 18th International Packet Video Workshop, (2010.12.14.)
김성득, 임경원, ‘분리된 전처리 및 후처리 공간영역 필터를 가진 움직임 적응적 시공간영역 잡음 제거 기법’, 전자공학회논문지-SP 46(5), 40-47, (2009.09.30.)
김승휘 외 2명, ‘적응적인 PU 기반 움직임 벡터 외삽과 경계 정합을 통한 프레임 전체 오류 은닉 방법에 관한 연구’, 방송공학회논문지 제20권 제4호, 533-544, (2015.07.31.)*

Also Published As

Publication number Publication date
KR20200093212A (ko) 2020-08-05

Similar Documents

Publication Publication Date Title
Chen et al. Compressed-sensing recovery of images and video using multihypothesis predictions
US20080240247A1 (en) Method of encoding and decoding motion model parameters and video encoding and decoding method and apparatus using motion model parameters
US8897364B2 (en) Method and device for sequence decoding with error concealment
US20080285651A1 (en) Spatio-temporal boundary matching algorithm for temporal error concealment
KR100301833B1 (ko) 오류은폐방법
US20100322309A1 (en) Method for spatial error concealment
US8229233B2 (en) Method and apparatus for estimating and compensating spatiotemporal motion of image
KR101636539B1 (ko) 입체영상 압축 처리 방법 및 장치
US20100303154A1 (en) method and device for video sequence decoding with error concealment
KR100827091B1 (ko) 동영상 복호화시 손실 은폐 방법 및 이를 이용한 복호화장치
US20090003461A1 (en) Error concealing method and apparatus adaptive to characteristics of blocks adjacent to lost block
KR102151975B1 (ko) 양방향 영상 에러 은닉 장치 및 방법
US20100329336A1 (en) Method and apparatus for encoding and decoding based on inter prediction using image inpainting
KR100587274B1 (ko) 엠펙­２ 압축복원시스템에서의 오류 은폐방법
US20060179388A1 (en) Method and apparatus for re-concealing error included in decoded image
KR101138922B1 (ko) 복원된 비디오 프레임의 프레임율을 향상 시키기 위한 프레임율 향상 장치 및 방법
Lee et al. A temporal error concealment method for MPEG coded video using a multi-frame boundary matching algorithm
KR100885234B1 (ko) 공간적 에러은닉 장치 및 방법
Ebdelli et al. Loss concealment based on video inpainting for robust video communication
Chen et al. A joint motion-image inpainting method for error concealment in video coding
US11778224B1 (en) Video pre-processing using encoder-aware motion compensated residual reduction
KR100856215B1 (ko) 동영상 복호화시 프레임 손실의 은폐 방법 및 장치
US20230336710A1 (en) Image compression method and apparatus for machine vision
KR100897884B1 (ko) 영상 복원 장치 및 이를 이루기 위한 오류 은닉 방법
KR100929169B1 (ko) 시방향 에러 은닉 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant