KR100762783B1 - 다시점 영상 부호화 및 복호화 장치 - Google Patents
다시점 영상 부호화 및 복호화 장치 Download PDFInfo
- Publication number
- KR100762783B1 KR100762783B1 KR1020050062060A KR20050062060A KR100762783B1 KR 100762783 B1 KR100762783 B1 KR 100762783B1 KR 1020050062060 A KR1020050062060 A KR 1020050062060A KR 20050062060 A KR20050062060 A KR 20050062060A KR 100762783 B1 KR100762783 B1 KR 100762783B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- motion
- information
- central
- center
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/57—Motion estimation characterised by a search window with variable size or shape
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명은 MPEG4(Motion Picture Experts Group 4) 기반에서 고화질의 3차원 동영상을 초저속으로 구현하기 위하여, 움직임 추정 및 보상의 부호화 및 복호화, 변이 추정 및 보상의 부호화 및 복호화, 및 데이터 구조 등을 기반으로 한 3시점 영상 부호화 및 복호화 장치에 관한 것이다.
다시점 영상, 3시점 영상, 부호화, 복호화, MPEG4
Description
도 1은 본 발명에 따른 다시점 영상 부호화 및 복호화 장치의 블록도이다.
도 2는 본 발명에 따른 다시점 영상 부호화 장치의 블록도이다.
도 3은 본 발명에 따른 다시점 영상 부호화 장치에서 다시점 영상의 움직임 예측 및 변이 예측 관계를 나타내는 도면이다.
도 4는 종래의 전체 탐색 블록 정합 알고리즘의 움직임 예측 방식을 나타내는 도면이다.
도 5는 본 발명에 따른 다이아몬드 탐색 알고리즘의 움직임 예측 방식을 나타내는 도면이다.
도 6는 본 발명에 따른 다시점 영상 복호화 장치의 블록도이다.
*도면의 주요 부분에 대한 부호의 설명*
100 : 다시점 부호화 장치 110 : 중앙영상 부호화부
111 : 영상 부호화 수단 112 : 움직임 추정 수단
113 : 움직임 보상 수단 114 : 감산기
120 : 좌측영상 부호화부 121 : 변이 및 움직임 추정 수단
122 : 변이 및 움직임 보상 수단 123 : 감산기
124 : 영상 부호화 수단 130 : 우측영상 부호화부
140 : 멀티플렉서 150 : 버퍼
200 : 다시점 복호화 장치 210 : 디멀티플렉서
220 : 중앙영상 복호화부 221 : 영상 복호화 수단
222 : 영상 재구성 수단 223 : 움직임 복호화 수단
224 : 움직임 보상 수단 230 : 좌측영상 복호화부
231 : 영상 복호화 수단 232 : 변이 및 움직임 복호화 수단
233 : 변이 및 움직임 보상 수단 234 : 영상 재구성 수단
240 : 우측영상 복호화부 250 : 영상 메모리
300 : 카메라
본 발명은 다시점 영상 부호화 및 복호화 장치에 관한 것으로, 보다 상세하게는 MPEG4(Motion Picture Experts Group 4) 기반에서 고화질의 3차원 동영상을 초저속으로 구현할 수 있는 고압출률의 3시점 영상 부호화 및 복호화 장치에 관한 것이다.
MPEG은 동영상 압축과 코드 표현을 통해 정보의 전송이 이루어지도록 하는 방법으로서, MPEG1, MPEG2 및 MPEG4에 이어 MPEG7까지 연구되고 있다.
이 중에서, MPEG2는 디지털 TV, 대화형 TV, DVD 등의 고화질과 고음질을 필요로 하는 분야에 적용하기 위하여 4∼100Mbps 정도의 높은 전송속도 처리가 요구되는 영상압축기술로서, ISO(International Organization for Standardization; 국제 표준화 기구) 13818로 규격화된 영상압축기술이다.
또한, MPEG4는 인터넷 유선망과 이동통신망 등의 무선망에서 멀티미디어 통신 등의 64kbps 이하의 낮은 전송률로 동영상을 구현하기 위한 영상압축기술이다.
현재, 이러한 MPEG2 또는 MPEG4 기반의 다시점 영상 부호화 및 복호화 장치가 연구되어왔으며, 예를 들어, 한국공개특허 제 2004-65014 호에 MPEG2 기반의 3시점 영상의 부호화 및 복호화 장치에 관하여 개시되어 있고, 한국등록특허 제 397511 호에 MPEG4 기반의 양안식(즉, 2시점) 3차원 동영상 처리 시스템에 관하여 개시되어 있다.
그러나, 한국공개특허 제 2004-65014 호에 개시된 3시점 영상의 부호화 및 복호화 장치는 4∼100Mbps의 높은 전송속도를 요구하는 MPEG2 기반이기 때문에, 64kbps 이하의 낮은 전송속도를 요구하는 MPEG4 기반에서 고화질의 다시점 영상에 적용하기 어려운 문제점이 있었다.
또한, 한국등록특허 제 397511 호에 개시된 양안식 3차원 동영상 처리 시스템 및 방법은 MPEG4 기반이기는 하나, 시점이 양안으로 제한되기 때문에, 관찰자가 제한된 시역을 벗어나거나 초점이 맞지 않을 경우, 입체감을 느낄 수 없고, 눈의 피곤함 및 어지러움 등을 느껴 실질적인 응용이 제한되는 문제점이 있었다.
상기 문제점을 해결하기 위한 본 발명의 기술적 과제는 낮은 전송속도의 MPEG4 기반에서 고화질의 3차원 동영상을 구현할 수 있는 고압축률의 다시점 영상 부호화 및 복호화 장치를 제공하는데 있다.
상기 기술적 과제를 해결하기 위하여, 본 발명에 따른 다시점 영상 부호화 장치는 제 1 중앙영상을 부호화하여 텍스쳐 정보(texture information)를 생성하고, 제 2 중앙영상부터 설정된 중앙영상까지 이전 중앙영상을 기준영상으로 하여 움직임을 추정하고 보상하면서 부호화하여 중앙영상 움직임 정보를 생성하는 중앙영상 부호화부; 상기 제 1 중앙영상을 기준영상으로 하여 제 1 좌측영상의 변이를 추정하고 보상하면서 부호화하여 좌측영상 변이 정보를 생성하고, 제 2 좌측영상부터 설정된 좌측영상까지 이전 좌측영상을 기준영상으로 하여 움직임을 추정하고 보상하면서 부호화하여 좌측영상 움직임 정보를 생성하는 좌측영상 부호화부; 상기 제 1 중앙영상을 기준영상으로 하여 제 1 우측영상의 변이를 추정하고 보상하면서 부호화하여 우측영상 변이 정보를 생성하고, 제 2 우측영상부터 설정된 우측영상까지 이전 우측영상을 기준영상으로 하여 움직임을 추정하고 보상하면서 부호화하여 우측영상 움직임 정보를 생성하는 우측영상 부호화부; 및 상기 중앙영상 부호화부, 상기 좌측영상 부호화부 및 상기 우측영상 부호화부로부터 입력되는 상기 텍스쳐 정보, 상기 움직임 정보 및 상기 변이 정보를 다중화하여 데이터 스트림을 생성하는 멀티플렉서를 포함하는 것을 특징으로 한다.
바람직한 실시예에서, 본 발명에 따른 다시점 영상 부호화 장치의 상기 중앙영상 부호화부는, 상기 제 1 중앙영상을 부호화하여 텍스쳐 정보를 생성하고, 상기 제 1 중앙영상을 재구성하여 기준영상으로 제공하는 영상 부호화 수단; 상기 제 2 중앙영상부터 설정된 중앙영상까지, 이전 중앙영상을 기준영상으로 하여 움직임을 추정하여 움직임 정보를 생성하는 움직임 추정 수단; 상기 움직임 추정 수단에서 추정된 움직임 정보에 따른 움직임 보상값을 생성하는 움직임 보상 수단; 및 상기 중앙영상에서 상기 움직임 보상 수단에서 보상된 상기 움직임 보상값을 감산하여 상기 중앙영상의 차영상을 생성하는 감산기를 포함하는 것이 바람직하다.
바람직한 실시예에서, 본 발명에 따른 다시점 영상 부호화 장치의 상기 좌측영상 부호화부 및 상기 우측영상 부호화부는, 상기 제 1 중앙영상을 기준영상으로 하여 제 1 좌측영상 또는 제 1 우측영상의 변이를 추정하여 제 1 좌측영상 또는 제 1 우측영상의 변이 정보를 생성하고, 상기 제 2 좌측영상 또는 제 2 우측영상부터 설정된 좌측영상 또는 우측영상까지, 이전 좌측영상 또는 우측영상을 기준영상으로 하여 움직임을 추정하여 움직임 정보를 생성하는 변이 및 움직임 추정 수단; 상기 변이 및 움직임 추정 수단에서 추정된 상기 변이 정보 및 움직임 정보에 따른 변이 보상값 및 움직임 보상값을 생성하는 변이 및 움직임 보상 수단; 및 상기 좌측영상 또는 우측영상에서 상기 변이 및 움직임 보상 수단에서 보상된 상기 변이 보상값 또는 움직임 보상값을 감산하여 상기 좌측영상 또는 우측영상의 차영상을 생성하는 감산기를 포함하는 것이 바람직하다.
보다 바람직한 실시예에서, 본 발명에 따른 다시점 영상 부호화 장치의 상기 좌측영상 부호화부 및 상기 우측영상 부호화부는, 상기 기준영상으로 이용된 제 1 중앙영상을 재구성하고 부호화하여 텍스쳐 정보를 생성하는 영상 부호화 수단을 더 포함하는 것이 바람직하다.
보다 더 바람직한 실시예에서, 본 발명에 따른 다시점 영상 부호화 장치의 상기 중앙영상 부호화부, 상기 좌측영상 부호화부 및 상기 우측영상 부호화부는 다이아몬드 검색 알고리즘을 이용하여 상기 움직임을 추정하는 것이 바람직하다.
상기 기술적 과제를 해결하기 위하여, 본 발명에 따른 다시점 영상 복호화 장치는 다중화된 데이터 스트림을 역다중화하여 중앙영상 데이터 스트림, 좌측영상 데이터 스트림 및 우측영상 데이터 스트림을 제공하는 디멀티플렉서; 상기 디멀티플렉서에서 입력되는 중앙영상 데이터 스트림 중 텍스쳐 정보를 복호화하여 재구성된 제 1 중앙영상을 생성하고, 이전 중앙영상을 기준영상으로 하여 상기 중앙영상 데이터 스트림 중 움직임 정보를 복호화하고 보상하여 재구성된 제 2 중앙영상부터 설정된 중앙영상까지 생성하는 중앙영상 복호화부; 상기 디멀티플렉서에서 입력되는 좌측영상 데이터 스트림 중 텍스쳐 정보를 복호화하여 제 1 중앙영상을 생성하고, 상기 제 1 중앙영상을 기준영상으로 하여 상기 좌측영상 데이터 스트림 중 변이 정보를 복호화하고 보상하여 제 1 좌측영상을 생성하고, 이전 좌측영상을 기준영상으로 하여 상기 좌측영상 데이터 스트림 중 움직임 정보를 복호화하고 보상하여 제 2 좌측영상부터 설정된 좌측영상까지 생성하는 좌측영상 복호화부; 상기 디 멀티플렉서에서 입력되는 우측영상 데이터 스트림 중 텍스쳐 정보를 복호화하여 제 1 중앙영상을 생성하고, 상기 제 1 중앙영상을 기준영상으로 하여 상기 우측영상 데이터 스트림 중 변이 정보를 복호화하고 보상하여 제 1 우측영상을 생성하고, 이전 우측영상을 기준영상으로 하여 상기 우측영상 데이터 스트림 중 움직임 정보를 복호화하고 보상하여 제 2 우측영상부터 설정된 우측영상까지 생성하는 우측영상 복호화부; 및 상기 기준영상들을 저장하는 영상 메모리를 포함하는 것을 특징으로 한다.
바람직한 실시예에서, 본 발명에 따른 다시점 영상 복호화 장치의 상기 중앙영상 복호화부는, 상기 중앙영상 데이터 스트림 중 텍스쳐 정보를 복호화하는 영상 복호화 수단; 상기 중앙영상 데이터 스트림 중 움직임 정보를 복호화하는 움직임 복호화 수단; 상기 영상 메모리에 저장된 이전 중앙영상에 상기 움직임 복호화 수단에서 복호화된 움직임 정보를 보상하는 움직임 보상 수단; 및 상기 복호화된 텍스쳐 정보로부터 제 1 중앙영상을 생성하고, 상기 복호화되고 보상된 움직임 정보로부터 제 2 중앙영상부터 설정된 중앙영상까지 생성하는 영상 재구성 수단을 포함하는 것이 바람직하다.
바람직한 실시예에서, 본 발명에 따른 다시점 영상 복호화 장치의 상기 좌측영상 복호화부 및 상기 우측영상 복호화부는, 상기 좌측영상 또는 우측영상 데이터 스트림 중 텍스쳐 정보를 복호화하는 영상 복호화 수단; 상기 좌측영상 또는 우측영상 데이터 스트림 중 변이 정보 및 움직임 정보를 복호화하는 변이 및 움직임 복호화 수단; 상기 영상 복호화 수단에서 복호화된 텍스쳐 정보에 상기 변이 및 움직 임 복호화 수단에서 복호화된 변이 정보를 보상하고, 상기 영상 메모리에 저장된 이전 좌측영상 또는 우측영상에 상기 변이 및 움직임 복호화 수단에서 복호화된 움직임 정보를 보상하는 변이 및 움직임 보상 수단; 및 상기 변이 정보로부터 제 1 좌측영상 또는 제 1 우측영상을 생성하고, 상기 복호화되고 보상된 움직임 정보로부터 제 2 좌측영상 또는 제 2 우측영상부터 설정된 좌측영상 또는 우측영상까지 생성하는 영상 재구성 수단을 포함하는 것이 바람직하다.
이하, 도면을 참조하여 본 발명에 따른 다시점 영상 부호화 및 복호화 장치를 상세히 설명하기로 한다.
도 1은 본 발명에 따른 다시점 영상 부호화 및 복호화 장치의 블록도이고, 도 2는 본 발명에 따른 다시점 영상 부호화 장치의 블록도이며, 도 3은 본 발명에 따른 다시점 영상 부호화 장치에서 다시점 영상의 움직임 예측 및 변이 예측 관계를 나타내는 도면이고, 도 4는 종래의 전체 탐색 블록 정합 알고리즘의 움직임 예측 방식을 나타내는 도면이고, 도 5는 본 발명에 따른 다이아몬드 탐색 알고리즘의 움직임 예측 방식을 나타내는 도면이며, 도 6는 본 발명에 따른 다시점 영상 복호화 장치의 블록도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 다시점 영상 부호화 및 복호화 장치는 일정한 간격을 유지하면서 수평으로 같은 높이에 배치된 3대의 카메라(300)로부터 중앙영상, 좌측영상 및 우측영상을 획득하여 부호화하는 다시점 부호화 장치(100) 및 부화화된 영상들을 다시 반대의 과정으로 복호화하는 다시점 복호화 장치(200)를 포함한다.
도 1 및 도 2를 참조하면, 본 발명에 따른 다시점 부호화 장치(100)는 중앙영상 부호화부(110), 좌측영상 부호화부(120), 우측영상 부호화부(130), 멀티플렉서(multiplexer; 140) 및 버퍼(buffer; 150)를 포함한다.
중앙영상 부호화부(110)는 영상 부호화 수단(111), 움직임 추정 수단(112), 움직임 보상 수단(113) 및 감산기(114)를 포함하며, 입력되는 중앙영상의 움직임을 추정하고 움직임을 보상하면서, 그 중앙영상을 부호화하여 중앙영상의 텍스쳐 정보(texture information)와 움직임 정보(motion information)를 생성하는 역할을 한다.
영상 부호화 수단(111)은 중앙영상을 부호화하여 텍스쳐 정보(texture information)를 멀티플렉서(140)에 제공하고, 움직임 추정 수단(112) 및 감산기(114)에 기준영상으로 재구성된 중앙영상을 제공하는 역할을 한다.
움직임 추정 수단(112)은 재구성된 중앙영상을 참조하여 입력되는 중앙영상의 움직임을 추정하여 움직임 정보를 생성하고, 생성된 움직임 정보를 움직임 보상 수단(113) 및 멀티플렉서(140)에 제공하는 역할을 한다.
움직임 보상 수단(113)은 움직임 추정 수단(112)에서 추정된 움직임 정보에 따른 움직임 보상값을 생성하고, 생성된 움직임 보상값을 감산기(114)에 제공하는 역할을 한다.
감산기(114)는 영상 부호화 수단(111)으로부터 입력되는 재구성된 중앙영상에서 움직임 보상 수단(113)으로부터 입력되는 움직임 보상값을 감산하여 중앙영상의 차영상을 생성하는 역할을 한다.
좌측영상 부호화부(120) 또는 우측영상 부호화부(130)는 각각 변이 및 움직임 추정 수단(121), 변이 및 움직임 보상 수단(122), 감산기(123) 및 영상 부호화 수단(124)을 포함하며, 입력되는 좌측영상 또는 우측영상을 움직임을 추정하고 보상하며, 입력되는 중앙영상을 기준영상으로 참조하여 변이를 추정하고 보상하며, 좌측영상 또는 우측영상을 부호화하여, 중앙영상의 텍스쳐 정보와 좌측영상 또는 우측영상의 변이 정보(disparity information) 및 움직임 정보를 생성하는 역할을 한다.
변이 및 움직임 추정 수단(121)은 입력되는 중앙영상을 기준영상으로 참조하여 좌측영상 또는 우측영상의 변이를 추정하여 변이 정보를 생성하고, 이전 좌측영상 또는 우측영상을 기준영상으로 참조하여 다음 좌측영상 또는 우측영상의 움직임을 추정하여 움직임 정보를 생성하며, 생성된 변이 정보와 움직임 정보를 변이 및 움직임 보상 수단(122)과 멀티플렉서(140)에 제공하는 역할을 한다.
변이 및 움직임 보상 수단(122)은 변이 및 움직임 추정 수단(121)에서 추정된 변이 정보와 움직임 정보에 따른 변이 보상값과 움직임 보상값을 생성하고, 생성된 변이 보상값과 움직임 보상값을 감산기(123)에 제공하는 역할을 한다.
감산기(123)는 카메라(300)로부터 입력되는 좌측영상 또는 우측영상에서 변이 및 움직임 보상 수단(122)으로부터 입력되는 변이 보상값과 움직임 보상값을 감산하여 좌측영상 또는 우측영상의 차영상을 생성하는 역할을 한다.
영상 부호화 수단(124)은 기준영상으로 이용된 중앙영상을 재구성하고 부호화하여 텍스쳐 정보를 멀티플렉서(140)에 제공하는 역할을 한다.
멀티플렉서(140)는 중앙영상 부호화부(110), 좌측영상 부호화부(120) 및 우측영상 부호화부(130)로부터 입력되는 텍스쳐 정보, 움직임 정보 및 변이 정보를 다중화하여 데이터 스트림(data stream)을 생성하는 역할을 한다.
버퍼(150)는 멀티플렉서(140)에서 다중화된 데이터 스트림을 저장시키는 역할을 한다.
일반적으로, MPEG4(Motion Picture Experts Group 4) 부호화는 자연 영상(natural image) 및 합성 영상(synthetic image)의 부호화로 나뉘어지며, 여기서 자연 영상은 카메라로부터 얻어지고, 합성 영상은 컴퓨터 그래픽 등에 의하여 생성된 인공 영상과 자연 영상 등이 혼합된 것이다. 따라서, MPEG4는 종래의 방식에 비해 압축효율과 영상품질이 상당히 우수하다. 또한, MPEG4는 장면에 대한 이진형상(binary format for scene), 비디오, 오디오, 애니메이션 문자 등이 포함된 멀티미디어 데이터로 구성된 소스가 디멀티플렉서를 통해 단일매체로 분할되고, 분할된 데이터는 다시 특정한 응용을 위해 몇 개씩 통합되어 사용자에게 제공된다.
이러한 MPEG4는 종래의 방식들과 유사하게 I-VOP(Intra-coded Video Object Plane), P-VOP(Predictive coded VOP) 및 B-VOP(Bidirectionally predictive coded VOP)의 세 가지 형태를 유지하고 있다. 여기서 I-VOP는 움직임 보상을 이용하지 않고 단순히 그 VOP만을 DCT(Discreate Cosine Transform)하여 부호화한 것이고, P-VOP는 I-VOP 또는 다른 P-VOP를 참조하여 움직임 보상을 한 후 나머지 차분을 DCT하여 부호화한 것이며, B-VOP는 P-VOP와 같이 움직임 보상을 사용하지만 시간축상에 두 개의 프레임으로부터 움직임 보상을 수행한 후 나머지 차분을 DCT하여 부 호화한 것이다.
이와 같은 MPEG4 압축기법에서, 시간에 따라 변화하는 화면의 연속을 효율적으로 압축하기 위하여, 영상 데이터가 가지고 있는 2차원 공간적인 중복성(spatial redundancy) 및 프레임 사이의 시간적인 중복성(temporal redundancy)을 제거하는 것이 필요하다.
도 3을 참조하면, 본 발명에 따른 다시점 부호화 장치는 먼저 기준영상인 제 1 중앙영상을 개별적으로 부호화하여 텍스쳐 정보를 생성하고, 제 1 좌측영상과 제 1 우측영상을 기준영상인 제 1 중앙영상에서 변이를 추정하고 부호화하여 변이 정보를 생성한다. 또한, 제 2 중앙영상, 제 2 좌측영상 및 제 2 우측영상부터는 설정된 중앙영상, 좌측영상 및 우측영상까지(예를 들면, 30프레임의 영상까지) 이전영상을 참조하여 움직임을 추정하고 부호화하여 움직임 정보를 생성하다.
따라서, 본 발명에 따른 다시점 부호화 장치는 제 1 중앙영상만 데이터 용량이 큰 I-VOP의 텍스쳐 정보로 부호화하고, 다른 영상들에 대해서 데이터 용량이 작은 P-VOP의 변이 정보 또는 움직임 정보로 부호화하므로, 인접한 영상들의 공간적 중복성 및 시간적 중복성을 제거할 수 있고, 이로 인하여 데이터의 양을 줄일 수 있다. 따라서, 압축률을 높일 수 있고, 낮은 전송속도의 MPEG4 기반에서 고화질의 3차원 동영상을 구현할 수 있다.
한편, 도 4를 참조하면, 종래의 MPEG4 부호화 장치는 움직임 예측을 위해 전체 탐색 블록 정합 알고리즘(full search block matching algorism)을 사용하였는데, 정해진 영역 내에서 대상이 되는 두 영상(a, b) 사이에서 각각의 화소를 매크 로 블록 단위로 비교하여 오차가 가장 적은 매크로 블록과의 변위를 움직임 벡터(c)로 할당하는 방법이다. 이 전체 탐색 블록 정합 알고리즘은 움직임 예측을 위한 탐색범위를 파라미터 파일 등을 통해 결정해 줄 수 있으며, 만약 움직임이 탐색범위내에 존재한다면 좋은 성능을 보이지만 영상의 움직임이 너무 커서 탐색 범위를 벗어난다면 예측의 정확도가 떨어지는 단점이 있다. 즉, 움직임 예측의 정확도가 커지면 움직임 보상 후 차영상 데이터량이 감소하게 되므로, 전체적으로 압축율과 화질개선 효과를 볼 수 있지만, 이를 위해 탐색범위를 크게 하면 계산량이 증가하여 실시간 처리에 부적합하게 되는 것이다. 일반적으로, MPEG4 압축에서 걸리는 처리시간은 대부분 움직임 예측에 의해 소요되기 때문에, 보다 넓은 탐색범위를 가지면서 처리시간을 줄일 수 있는 알고리즘이 요구된다. 이를 해결하기 위하여, 본 발명은 도 5에 도시된 바와 같은 다이아몬드 검색 알고리즘(diamond search algorism)을 사용한다.
도 5를 참조하면, 본 발명에 따른 다이아몬드 검색 알고리즘은 큰 다이아몬드(large diamond; d)를 이용하여 검색한 후, 큰 다이아몬드 중앙에 최소의 SAD값이 올 때까지 검색한 후 작은 다이아몬드(small diamond; e)를 이용하여 최적화된 움직임 벡터를 검색하는 알고리즘으로, 매우 빠른 처리시간을 나타낸다.
다시, 도 1 및 도 6를 참조하면, 본 발명에 따른 다시점 복호화 장치(200)는 디멀티플렉서(demultiplexer; 210), 중앙영상 복호화부(220), 좌측영상 복호화부(230), 우측영상 복호화부(240) 및 영상 메모리(250)를 포함한다.
디멀티플렉서(210)는 다시점 영상 부호화기의 멀티플렉서(140)로부터 입력되 는 다중화된 데이터 스트림을 역다중화하여 중앙영상 데이터 스트림, 좌측영상 데이터 스트림 및 우측영상 데이터 스트림을 각각 중앙영상 복호화부(220), 좌측영상 복호화부(230) 및 우측영상 복호화부(240)에 제공한다.
중앙영상 복호화부(220)는 영상 복호화 수단(221), 영상 재구성 수단(222), 움직임 복호화 수단(223) 및 움직임 보상 수단(224)을 포함하며, 입력되는 중앙영상 데이터 스트림을 복호화하고 움직임을 보상하여 재구성된 중앙영상을 생성하는 역할을 한다.
영상 복호화 수단(221)은 입력되는 중앙영상의 데이터 스트림 중 텍스쳐 정보를 복호화하여 영상 재구성 수단(222)에 제공하는 역할을 한다.
영상 재구성 수단(222)은 영상 복호화 수단(221)에서 복호화된 영상을 재구성하고, 움직임 보상 수단(224)에서 보상된 영상을 재구성하는 역할을 한다.
움직임 복호화 수단(223)은 입력되는 중앙영상의 데이터 스트림 중 움직임 정보를 복호화하여 움직임 보상 수단(224)에 제공하는 역할을 한다.
움직임 보상 수단(224)은 영상 메모리(250)로부터 입력되는 기준영상인 이전영상에 움직임 복호화 수단(223)으로부터 입력되는 복호화된 움직임 정보를 보상하여 영상 재구성 수단(222)에 제공하는 역할을 한다.
좌측영상 복호화부(230) 또는 우측영상 복호화부(240)는 각각 영상 복호화 수단(231), 변이 및 움직임 복호화 수단(232), 변이 및 움직임 보상 수단(233) 및 영상 재구성 수단(234)을 포함하며, 입력되는 좌측영상 또는 우측영상의 데이터 스트림을 복호화하고 변이 및 움직임을 보상하여 재구성 좌측영상 또는 우측영상을 생성하는 역할을 한다.
영상 복호화 수단(231)은 입력되는 좌측영상 또는 우측영상의 데이터 스트림 중 기준영상으로 사용되는 중앙영상의 텍스쳐 정보를 복호화하여 변이 및 움직임 보상 수단(233)에 제공하는 역할을 한다.
변이 및 움직임 복호화 수단(232)은 입력되는 좌측영상 또는 우측영상의 데이터 스트림 중 변이 정보와 움직임 정보를 복호화하여 변이 및 움직임 보상 수단(233)에 제공하는 역할을 한다.
변이 및 움직임 보상 수단(233)은 영상 복호화 수단(231)으로부터 입력되는 기준영상에 변이 및 움직임 복호화 수단(232)에서 입력되는 변이 정보를 보상하고, 영상 메모리(250)로부터 입력되는 이전영상에 변이 및 움직임 복호화 수단(232)에서 입력되는 움직임 정보를 보상하여 영상 재구성 수단(234)에 제공하는 역할을 한다.
영상 재구성 수단(234)은 변이 및 움직임 보상 수단(233)에서 보상된 영상을 재구성하는 역할을 한다.
영상 메모리(250)는 중앙영상의 움직임 보상에 기준이 되는 이전영상을 저장하는 역할을 한다.
이상에서 본 발명에 대하여 설명하였으나, 이는 일실시예에 불과하며, 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 얼마든지 다양한 변화 및 변형이 가능함은 본 기술분야에서 통상적으로 숙련된 당업자에게 분명할 것이다. 하지만, 이러한 변화 및 변형이 본 발명의 범위 내에 속한다는 것은 이하 특허청구범위를 통하여 확인될 것이다.
상술한 바와 같이, 본 발명에 따른 다시점 영상 부호화 및 복호화 장치는 중앙영상, 좌측영상 및 우측영상간에 움직임 예측 및 변이 예측을 통하여 공간적 중복성 및 시간적 중복성을 제거하므로, MPEG4 기반의 3차원 동영상에서 전송되는 데이터의 양을 줄일 수 있는 효과가 있다.
또한, 본 발명에 따른 다시점 영상 부호화 및 복호화 장치는 다이아몬드 검색 알고리즘을 사용하여 움직임 예측에 소요되는 처리시간을 줄일 수 있으므로, MPEG4 기반의 3차원 동영상을 실시간으로 압축하여 전송할 수 있는 효과도 있다.
따라서, 본 발명에 따른 다시점 영상 부호화 및 복호화 장치는 낮은 전송속도의 MPEG4 기반에 고화질의 3차원 동영상을 실시간으로 구현할 수 있는 효과가 있다.
Claims (8)
- 삭제
- 제 1 중앙영상을 부호화하여 텍스쳐 정보(texture information)를 생성하고, 제 2 중앙영상부터 설정된 중앙영상까지 이전 중앙영상을 기준영상으로 하여 움직임을 추정하고 보상하면서 부호화하여 중앙영상 움직임 정보를 생성하는 중앙영상 부호화부;상기 제 1 중앙영상을 기준영상으로 하여 제 1 좌측영상의 변이를 추정하고 보상하면서 부호화하여 좌측영상 변이 정보를 생성하고, 제 2 좌측영상부터 설정된 좌측영상까지 이전 좌측영상을 기준영상으로 하여 움직임을 추정하고 보상하면서 부호화하여 좌측영상 움직임 정보를 생성하는 좌측영상 부호화부;상기 제 1 중앙영상을 기준영상으로 하여 제 1 우측영상의 변이를 추정하고 보상하면서 부호화하여 우측영상 변이 정보를 생성하고, 제 2 우측영상부터 설정된 우측영상까지 이전 우측영상을 기준영상으로 하여 움직임을 추정하고 보상하면서 부호화하여 우측영상 움직임 정보를 생성하는 우측영상 부호화부; 및상기 중앙영상 부호화부, 상기 좌측영상 부호화부 및 상기 우측영상 부호화부로부터 입력되는 상기 텍스쳐 정보, 상기 움직임 정보 및 상기 변이 정보를 다중화하여 데이터 스트림을 생성하는 멀티플렉서를 포함하되,상기 중앙영상 부호화부는, 상기 제 1 중앙영상을 부호화하여 텍스쳐 정보를 생성하고, 상기 제 1 중앙영상을 재구성하여 기준영상으로 제공하는 영상 부호화 수단; 상기 제 2 중앙영상부터 설정된 중앙영상까지, 이전 중앙영상을 기준영상으로 하여 움직임을 추정하여 움직임 정보를 생성하는 움직임 추정 수단; 상기 움직임 추정 수단에서 추정된 움직임 정보에 따른 움직임 보상값을 생성하는 움직임 보상 수단; 및 상기 중앙영상에서 상기 움직임 보상 수단에서 보상된 상기 움직임 보상값을 감산하여 상기 중앙영상의 차영상을 생성하는 감산기를 포함하는 것을 특징으로 하는 다시점 영상 부호화 장치.
- 제 1 중앙영상을 부호화하여 텍스쳐 정보(texture information)를 생성하고, 제 2 중앙영상부터 설정된 중앙영상까지 이전 중앙영상을 기준영상으로 하여 움직임을 추정하고 보상하면서 부호화하여 중앙영상 움직임 정보를 생성하는 중앙영상 부호화부;상기 제 1 중앙영상을 기준영상으로 하여 제 1 좌측영상의 변이를 추정하고 보상하면서 부호화하여 좌측영상 변이 정보를 생성하고, 제 2 좌측영상부터 설정된 좌측영상까지 이전 좌측영상을 기준영상으로 하여 움직임을 추정하고 보상하면서 부호화하여 좌측영상 움직임 정보를 생성하는 좌측영상 부호화부;상기 제 1 중앙영상을 기준영상으로 하여 제 1 우측영상의 변이를 추정하고 보상하면서 부호화하여 우측영상 변이 정보를 생성하고, 제 2 우측영상부터 설정된 우측영상까지 이전 우측영상을 기준영상으로 하여 움직임을 추정하고 보상하면서 부호화하여 우측영상 움직임 정보를 생성하는 우측영상 부호화부; 및상기 중앙영상 부호화부, 상기 좌측영상 부호화부 및 상기 우측영상 부호화부로부터 입력되는 상기 텍스쳐 정보, 상기 움직임 정보 및 상기 변이 정보를 다중화하여 데이터 스트림을 생성하는 멀티플렉서를 포함하되,상기 좌측영상 부호화부 및 상기 우측영상 부호화부는, 상기 제 1 중앙영상을 기준영상으로 하여 제 1 좌측영상 또는 제 1 우측영상의 변이를 추정하여 제 1 좌측영상 또는 제 1 우측영상의 변이 정보를 생성하고, 상기 제 2 좌측영상 또는 제 2 우측영상부터 설정된 좌측영상 또는 우측영상까지, 이전 좌측영상 또는 우측영상을 기준영상으로 하여 움직임을 추정하여 움직임 정보를 생성하는 변이 및 움직임 추정 수단; 상기 변이 및 움직임 추정 수단에서 추정된 상기 변이 정보 및 움직임 정보에 따른 변이 보상값 및 움직임 보상값을 생성하는 변이 및 움직임 보상 수단; 및 상기 좌측영상 또는 우측영상에서 상기 변이 및 움직임 보상 수단에서 보상된 상기 변이 보상값 또는 움직임 보상값을 감산하여 상기 좌측영상 또는 우측영상의 차영상을 생성하는 감산기를 포함하는 것을 특징으로 하는 다시점 영상 부호화 장치.
- 제 3 항에 있어서, 상기 좌측영상 부호화부 및 상기 우측영상 부호화부는,상기 기준영상으로 이용된 제 1 중앙영상을 재구성하고 부호화하여 텍스쳐 정보를 생성하는 영상 부호화 수단을 더 포함하는 것을 특징으로 하는 다시점 영상 부호화 장치.
- 제 2 항 또는 제 3 항에 있어서,상기 중앙영상 부호화부, 상기 좌측영상 부호화부 및 상기 우측영상 부호화부는 다이아몬드 검색 알고리즘을 이용하여 상기 움직임을 추정하는 것을 특징으로 하는 다시점 영상 부호화 장치.
- 다중화된 데이터 스트림을 역다중화하여 중앙영상 데이터 스트림, 좌측영상 데이터 스트림 및 우측영상 데이터 스트림을 제공하는 디멀티플렉서;상기 디멀티플렉서에서 입력되는 중앙영상 데이터 스트림 중 텍스쳐 정보를 복호화하여 재구성된 제 1 중앙영상을 생성하고, 이전 중앙영상을 기준영상으로 하여 상기 중앙영상 데이터 스트림 중 움직임 정보를 복호화하고 보상하여 재구성된 제 2 중앙영상부터 설정된 중앙영상까지 생성하는 중앙영상 복호화부;상기 디멀티플렉서에서 입력되는 좌측영상 데이터 스트림 중 텍스쳐 정보를 복호화하여 제 1 중앙영상을 생성하고, 상기 제 1 중앙영상을 기준영상으로 하여 상기 좌측영상 데이터 스트림 중 변이 정보를 복호화하고 보상하여 제 1 좌측영상을 생성하고, 이전 좌측영상을 기준영상으로 하여 상기 좌측영상 데이터 스트림 중 움직임 정보를 복호화하고 보상하여 제 2 좌측영상부터 설정된 좌측영상까지 생성하는 좌측영상 복호화부;상기 디멀티플렉서에서 입력되는 우측영상 데이터 스트림 중 텍스쳐 정보를 복호화하여 제 1 중앙영상을 생성하고, 상기 제 1 중앙영상을 기준영상으로 하여 상기 우측영상 데이터 스트림 중 변이 정보를 복호화하고 보상하여 제 1 우측영상을 생성하고, 이전 우측영상을 기준영상으로 하여 상기 우측영상 데이터 스트림 중 움직임 정보를 복호화하고 보상하여 제 2 우측영상부터 설정된 우측영상까지 생성하는 우측영상 복호화부; 및상기 기준영상들을 저장하는 영상 메모리를 포함하는 것을 특징으로 하는 다시점 영상 복호화 장치.
- 제 6 항에 있어서, 상기 중앙영상 복호화부는,상기 중앙영상 데이터 스트림 중 텍스쳐 정보를 복호화하는 영상 복호화 수단;상기 중앙영상 데이터 스트림 중 움직임 정보를 복호화하는 움직임 복호화 수단;상기 영상 메모리에 저장된 이전 중앙영상에 상기 움직임 복호화 수단에서 복호화된 움직임 정보를 보상하는 움직임 보상 수단; 및상기 복호화된 텍스쳐 정보로부터 제 1 중앙영상을 생성하고, 상기 복호화되고 보상된 움직임 정보로부터 제 2 중앙영상부터 설정된 중앙영상까지 생성하는 영상 재구성 수단을 포함하는 것을 특징으로 하는 다지점 영상 복호화 장치.
- 제 6 항에 있어서, 상기 좌측영상 복호화부 및 상기 우측영상 복호화부는,상기 좌측영상 또는 우측영상 데이터 스트림 중 텍스쳐 정보를 복호화하는 영상 복호화 수단;상기 좌측영상 또는 우측영상 데이터 스트림 중 변이 정보 및 움직임 정보를 복호화하는 변이 및 움직임 복호화 수단;상기 영상 복호화 수단에서 복호화된 텍스쳐 정보에 상기 변이 및 움직임 복호화 수단에서 복호화된 변이 정보를 보상하고, 상기 영상 메모리에 저장된 이전 좌측영상 또는 우측영상에 상기 변이 및 움직임 복호화 수단에서 복호화된 움직임 정보를 보상하는 변이 및 움직임 보상 수단; 및상기 복호화되고 보상된 변이 정보로부터 제 1 좌측영상 또는 제 1 우측영상을 생성하고, 상기 복호화되고 보상된 움직임 정보로부터 제 2 좌측영상 또는 제 2 우측영상부터 설정된 좌측영상 또는 우측영상까지 생성하는 영상 재구성 수단을 포함하는 것을 특징으로 하는 다시점 영상 복호화 장치.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2005/002226 WO2007007923A1 (en) | 2005-07-11 | 2005-07-11 | Apparatus for encoding and decoding multi-view image |
| KR1020050062060A KR100762783B1 (ko) | 2005-07-11 | 2005-07-11 | 다시점 영상 부호화 및 복호화 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020050062060A KR100762783B1 (ko) | 2005-07-11 | 2005-07-11 | 다시점 영상 부호화 및 복호화 장치 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20070007442A KR20070007442A (ko) | 2007-01-16 |
| KR100762783B1 true KR100762783B1 (ko) | 2007-10-05 |
Family
ID=37637279
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020050062060A KR100762783B1 (ko) | 2005-07-11 | 2005-07-11 | 다시점 영상 부호화 및 복호화 장치 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR100762783B1 (ko) |
| WO (1) | WO2007007923A1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2013109112A1 (ko) * | 2012-01-19 | 2013-07-25 | 삼성전자 주식회사 | 시점 변환을 위한 다시점 비디오 예측 방법 및 그 장치, 시점 변환을 위한 다시점 비디오 예측 복원 방법 및 그 장치 |
| KR101342783B1 (ko) | 2009-12-03 | 2013-12-19 | 한국전자통신연구원 | 가상시점 영상 생성 방법 및 그 장치 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2008143746A2 (en) * | 2007-05-16 | 2008-11-27 | Thomson Licensing | Methods and apparatus for the use of slice groups in encoding multi-view video coding (mvc) information |
| KR20100040640A (ko) | 2008-10-10 | 2010-04-20 | 엘지전자 주식회사 | 수신 시스템 및 데이터 처리 방법 |
| CA2760100C (en) * | 2009-04-27 | 2015-12-08 | Lg Electronics Inc. | Broadcast transmitter, broadcast receiver and 3d video data processing method thereof |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09261653A (ja) * | 1996-03-18 | 1997-10-03 | Sharp Corp | 多視点画像符号化装置 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6057884A (en) * | 1997-06-05 | 2000-05-02 | General Instrument Corporation | Temporal and spatial scaleable coding for video object planes |
| US6043838A (en) * | 1997-11-07 | 2000-03-28 | General Instrument Corporation | View offset estimation for stereoscopic video coding |
| JP2000209580A (ja) * | 1999-01-13 | 2000-07-28 | Canon Inc | 画像処理装置およびその方法 |
| KR100523930B1 (ko) * | 2003-01-13 | 2005-10-26 | 전자부품연구원 | 다시점 영상의 압축/복원장치 |
-
2005
- 2005-07-11 WO PCT/KR2005/002226 patent/WO2007007923A1/en active Application Filing
- 2005-07-11 KR KR1020050062060A patent/KR100762783B1/ko active IP Right Grant
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH09261653A (ja) * | 1996-03-18 | 1997-10-03 | Sharp Corp | 多視点画像符号化装置 |
Non-Patent Citations (1)
| Title |
|---|
| 09261653 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101342783B1 (ko) | 2009-12-03 | 2013-12-19 | 한국전자통신연구원 | 가상시점 영상 생성 방법 및 그 장치 |
| WO2013109112A1 (ko) * | 2012-01-19 | 2013-07-25 | 삼성전자 주식회사 | 시점 변환을 위한 다시점 비디오 예측 방법 및 그 장치, 시점 변환을 위한 다시점 비디오 예측 복원 방법 및 그 장치 |
| US9674534B2 (en) | 2012-01-19 | 2017-06-06 | Samsung Electronics Co., Ltd. | Method and apparatus for encoding multi-view video prediction capable of view switching, and method and apparatus for decoding multi-view video prediction capable of view switching |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2007007923A1 (en) | 2007-01-18 |
| KR20070007442A (ko) | 2007-01-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100760258B1 (ko) | 범용적 다시점 동영상 부호화/복호화 장치 및 방법 | |
| CA2238900C (en) | Temporal and spatial scaleable coding for video object planes | |
| CN100512431C (zh) | 用于编码和解码立体视频的方法和装置 | |
| US8644386B2 (en) | Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method | |
| US6567427B1 (en) | Image signal multiplexing apparatus and methods, image signal demultiplexing apparatus and methods, and transmission media | |
| KR100789753B1 (ko) | 시간 및 시점간 참조영상 버퍼를 활용한 예측부호화/복호화장치 및 그 방법 | |
| US8270482B2 (en) | Method and apparatus for encoding and decoding multi-view video to provide uniform picture quality | |
| US20070104276A1 (en) | Method and apparatus for encoding multiview video | |
| US20090190662A1 (en) | Method and apparatus for encoding and decoding multiview video | |
| EP2302939B1 (en) | Method and system for frame buffer compression and memory reduction for 3D video | |
| US20070041443A1 (en) | Method and apparatus for encoding multiview video | |
| KR20030083285A (ko) | 다 시점 동영상 부호화 장치 | |
| WO2007035054A1 (en) | Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method | |
| JP2007266749A (ja) | 符号化方法 | |
| KR100762783B1 (ko) | 다시점 영상 부호화 및 복호화 장치 | |
| Yang et al. | An MPEG-4-compatible stereoscopic/multiview video coding scheme | |
| KR101386651B1 (ko) | 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치 | |
| JP2012227929A (ja) | ３次元ビデオ信号を符号化する符号化方法及び符号化装置並びに対応する復号化方法及び復号化装置 | |
| Yang et al. | MPEG-4 based stereoscopic video sequences encoder | |
| KR20110118744A (ko) | 쓰리디 티브이 동영상 부호화 방법, 복호화 방법 | |
| KR100780844B1 (ko) | 다시점 화상 복호화기, 다시점 화상 데이터 처리 시스템,다시점 화상 데이터 처리 방법 및 이를 수행하는프로그램을 기록한 기록매체 | |
| KR100925627B1 (ko) | 영상 분할에 기반한 신축적인 동영상 부호화/복호화 장치 | |
| Lim et al. | Motion/disparity compensated multiview sequence coding | |
| Kumarganesh et al. | Efficient medical data and medical video compression using HEVC standard | |
| Choi et al. | Field-based stereoscopic video codec for multiple display methods |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| N231 | Notification of change of applicant | ||
| GRNT | Written decision to grant | ||
| G170 | Publication of correction | ||
| FPAY | Annual fee payment |
Payment date: 20120910 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20130917 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20140918 Year of fee payment: 8 |
|
| FPAY | Annual fee payment |
Payment date: 20150916 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20160919 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20170829 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20180913 Year of fee payment: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20190909 Year of fee payment: 13 |