KR101066550B1 - 가상시점 영상 생성방법 및 그 장치 - Google Patents

가상시점 영상 생성방법 및 그 장치 Download PDF

Info

Publication number
KR101066550B1
KR101066550B1 KR1020080123320A KR20080123320A KR101066550B1 KR 101066550 B1 KR101066550 B1 KR 101066550B1 KR 1020080123320 A KR1020080123320 A KR 1020080123320A KR 20080123320 A KR20080123320 A KR 20080123320A KR 101066550 B1 KR101066550 B1 KR 101066550B1
Authority
KR
South Korea
Prior art keywords
image
virtual
unprocessed
virtual viewpoint
depth information
Prior art date
Application number
KR1020080123320A
Other languages
English (en)
Other versions
KR20100019927A (ko
Inventor
장은영
엄기문
김태원
방건
허남호
김진웅
이수인
유지상
박세환
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20100019927A publication Critical patent/KR20100019927A/ko
Application granted granted Critical
Publication of KR101066550B1 publication Critical patent/KR101066550B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Abstract

고화질의 가상시점 영상을 생성하는 가상시점 영상 생성방법 및 그 장치에 관한 기술이 개시된다. 이러한 기술에 따르면 복수의 기준시점 카메라에 대한 기준시점 영상을 합성하여 가상시점 카메라에 대한 가상시점 영상을 생성하는 가상시점 영상 합성단계; 상기 복수의 기준시점 카메라에 대한 깊이정보 영상을 합성하여 상기 가상시점 영상에 대한 깊이정보 영상을 생성하고 상기 가상시점 영상에 대한 깊이정보 영상의 미처리 영역인 제1미처리영역을 보상하는 깊이정보 영상 합성단계; 및 상기 현재 및 적어도 하나 이상의 이전 프레임의 가상시점 영상에 대한 깊이정보 영상에 기초하여 상기 현재 프레임의 가상시점 영상의 미처리 영역인 제2미처리영역을 보상하는 가상시점 미처리 영역 보상단계를 포함한다.
기준시점, 가상시점, 폐색영역, 미처리영역, 깊이

Description

가상시점 영상 생성방법 및 그 장치{METHOD FOR GENERATING VITUAL VIEW IMAGE AND APPARATUS THEREOF}
본 발명은 가상시점 영상 생성방법 및 그 장치에 관한 것으로, 보다 상세하게는 이전 프레임의 가상시점 영상의 화소값을 이용하여 현재 프레임의 가상시점 영상의 미처리 영역을 보상하는 가상시점 영상 생성방법 및 그 장치에 관한 것이다. 본 발명은 지식경제부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리 번호: 2008-F-011-01, 과제명: 차세대 DTV 핵심기술 개발(표준화연계)-무안경 개인형 3D방송기술 개발].
최근 인터랙티브 응용 및 다시점 3D 디스플레이 산업이 활성화됨에 따라 기준 시점 카메라 영상(스테레오 영상 또는 다시점 영상)과 해당 깊이/변이 영상을 이용하여 실제 카메라로부터 획득되지 않은 시점에 대한 가상 영상을 합성하기 위한 가상시점 영상 합성에 관한 기술이 활발히 연구되고 있다.
도 1은 가상시점 영상을 설명하기 위한 도면이다.
기준시점 카메라(101, 107, 111)는 실제 영상을 획득한다. 그리고 가상시점 카메라(103, 105, 109, 113, 115, 117)는 실제로 촬영하여 영상을 획득하지 않는 가상시점의 카메라이다. 가상시점 영상이란 가상시점 카메라(103, 105, 109, 113, 115, 117)의 시점으로 바라본 영상이다. 가상시점 영상은 기준시점 카메라(101, 107, 111)로부터 획득한 실제영상, 즉 기준시점 영상과 깊이/변이정보 영상을 3차원 워핑(warping) 기법 또는 영상 보간 기법을 이용하여 합성함으로써 생성된다. 여기서 깊이(depth)란 촬영된 객체가 카메라로부터 떨어진 정도를 나타내며 변이(disparity)란 기준시점 카메라 각각에서 촬영된 객체의 위치 차이를 나타낸다.
광축선상의 가상시점 카메라(103, 105, 109)의 시점은 기준 시점 카메라(101, 107, 111)로부터 선형적으로 보간되어 광축선상에 위치하며 광축선상 외의 가상시점 카메라(113, 115, 117)의 시점은 광축선 상의 가상시점 카메라(103, 105, 109)에 회전 또는 병진운동을 적용하여 광축선 상 외의 지점에 위치한다. 기준시점 카메라(101, 107, 111)의 기준시점 영상이 합성되어 가상시점 카메라(103, 105, 109, 113, 115, 117) 중 어느 하나의 시점, 즉 다양한 가상시점의 영상이 생성될 수 있다.
도 2 및 도 3은 합성된 가상시점 영상을 도시한 도면으로서, 도 2의 가상시점 영상은 두 기준시점 카메라(107, 111)의 기준시점 영상을 3차원 워핑기법으로 합성한 광축선상의 가상시점 카메라(109)에 대한 영상이며 도 3의 가상시점 영상은 두 기준시점 카메라(107, 111)의 기준시점 영상을 3차원 워핑기법으로 합성한 광축선상 외의 가상시점 카메라(115)에 대한 영상이다. 주관적 화질 평가를 위해 MPEG-4(Moving Picture Expert Group) Video 분야에서 제공하는 테스트 영상 중 브레이크 댄서(Breaker Dancer) 영상이 이용되었다. 그리고 이하 도시되는 영상은 모두 MPEG-4 Video 분야에서 제공하는 브레이크 댄서 영상이다.
도 2 및 도 3에 도시된 바와 같이, 가상시점 영상에는 하얗게 도시된 미처리 영역이 존재한다. 미처리 영역은 깊이/변이정보의 정수화 문제, 폐색영역 등으로 발생한다. 폐색영역은 가상시점 카메라의 시점(115)과 기준시점 카메라(107, 111)의 시점 차이로 가상시점 카메라의 시점(115)에서는 보이나 기준시점 카메라(107, 111)의 시점에서는 보이지 않는 영역이다. 광축선상 외의 가상시점 카메라(115)에 대한 가상시점 영상인 도 3의 가상시점 영상에 도 2의 가상시점 영상보다 많은 미처리 영역이 존재한다.
미처리 영역은 가상시점 영상의 화질을 저하시키므로 미처리 영역이 소정의 화소값으로 보상되는 것이 필요하다. 깊이/변이정보의 정수화 문제로 인한 미처리 영역은 미처리 영역 주변 유효 화소값을 보간하여 비교적 쉽고 정확하게 보상할 수 있다. 여기서 '유효'의 의미는 미처리 영역이 아닌 처리 영역에 대응된다. 그러나 폐색영역으로 인한 미처리 영역을 미처리 영역 주변 유효 화소값을 보간하여 보상하는 경우 폐색영역은 기준시점 영상에 존재하지 않는 부분이므로 보상과정에서 오차가 발생하였다. 그래서 종래에는 미처리 영역을 보상하기 위해 하나 이상의 기준시점 카메라(101)의 기준시점 영상을 추가하여 가상시점 영상의 미처리 영역을 보 상하였다.
하지만 이 경우 광축선상의 가상시점 카메라(109)에 의한 가상시점 영상의 미처리 영역은 보상될 수 있으나 광축선상 외의 가상시점 카메라(115)에 의한 가상시점 영상의 미처리 영역은 보상되기 어려운 문제가 있다. 광축선상 외에 존재하는 기준시점 카메라를 추가할 경우 광축선상 외의 가상시점 카메라(115)에 의한 가상시점 영상의 미처리 영역이 보상될 수 있으나 이 경우 가상시점 영상의 합성과정이 너무 복잡해지는 문제가 있다. 또한 기준시점 카메라가 추가될수록 비용이 증가하는 문제가 있다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로서, 가상시점 영상의 미처리 영역을 보다 정확하게 보상하여 보다 고화질의 가상시점 영상을 생성하는 가상시점 영상 생성방법 및 그 장치를 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명은 복수의 기준시점 카메라에 대한 기준시점 영상을 합성하여 가상시점 카메라에 대한 가상시점 영상을 생성하는 가상시점 영상 합성단계; 상기 복수의 기준시점 카메라에 대한 깊이정보 영상을 합성하여 상기 가상시점 영상에 대한 깊이정보 영상을 생성하고 상기 가상시점 영상에 대한 깊이정보 영상의 미처리 영역인 제1미처리영역을 보상하는 깊이정보 영상 합성단계; 및 하나 이상의 이전 프레임의 가상시점 영상의 화소값을 이용해 현재 프레임의 가상시점 영상의 미처리 영역인 제2미처리영역을 보상하는 가상시점 미처리 영역 보상단계를 포함하는 가상시점 영상 생성방법을 제공한다.
또한 상기 목적을 달성하기 위한 본 발명은 복수의 기준시점 카메라에 대한 기준시점 영상을 합성하여 가상시점 카메라에 대한 가상시점 영상을 생성하는 가상시점 영상 합성단계; 상기 복수의 기준시점 카메라에 대한 변이정보 영상을 합성하여 상기 가상시점 영상에 대한 변이정보 영상을 생성하고 상기 가상시점 영상에 대한 변이정보 영상의 미처리 영역을 보상하는 변이정보 영상 합성단계; 및 하나 이상의 이전 프레임의 가상시점 영상의 화소값을 이용해 현재 프레임의 가상시점 영상의 미처리 영역을 보상하는 가상시점 미처리 영역 보상단계를 포함하는 가상시점 영상 생성방법을 제공한다.
또한 상기 목적을 달성하기 위한 본 발명은 복수의 기준시점 카메라에 대한 기준시점 영상을 합성하여 가상시점 카메라에 대한 가상시점 영상을 생성하는 가상시점 영상 합성부; 상기 복수의 기준시점 카메라에 대한 깊이정보 영상을 합성하여 상기 가상시점 영상에 대한 깊이정보 영상을 생성하고 상기 가상시점 영상에 대한 깊이정보 영상의 미처리 영역인 제1미처리영역을 보상하는 깊이정보 영상 합성부; 및 하나 이상의 이전 프레임의 가상시점 영상의 화소값을 이용해 현재 프레임의 가상시점 영상의 미처리 영역인 제2미처리영역을 보상하는 가상시점 미처리 영역 보상부를 포함하는 가상시점 영상 생성장치를 제공한다.
본 발명에 따르면, 이전 프레임의 가상시점 영상의 화소값을 이용하여 현재 프레임의 가상시점 영상의 미처리 영역을 보상함으로써 보다 고화질의 가상시점 영상을 획득할 수 있는 효과가 있다.
또한 기준시점 카메라의 감소로 비용적인 측면에서도 유리한 효과가 있다.
이하 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있도록 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부 도면을 참조하여 설명하기로 한다.
도 4는 본 발명의 일실시예에 따른 가상시점 영상 생성방법을 나타내는 흐름도이다.
도 4를 참조하면, 본 발명에 따른 가상시점 영상 생성방법은 가상시점 영상 합성단계(401), 깊이정보 영상 합성단계(403) 및 가상시점 미처리영역 보상단계(405)를 포함한다. 이하 도 3의 기준시점 카메라(107, 111) 및 가상시점 카메라(115)의 위치에 대한 가상시점 영상을 생성하는 경우가 일실시예로서 설명된다.
가상시점 영상 합성단계(401)에서 복수의 기준시점 카메라(107, 111)의 기준시점 영상이 합성되어 가상시점 카메라(115)에 대한 가상시점 영상이 생성된다. 가상시점 카메라(115)에 대한 가상시점 영상은 복수의 기준시점 카메라(107, 111)로부터 획득할 수 있는 기준시점 영상과 깊이정보 영상을 3차원 워핑 기법 또는 영상 보간 기법을 이용해 합성함으로써 생성될 수 있다. 가상시점 카메라(115)의 시점이 기준시점 카메라(107, 111)의 시점보다 높으므로 가상시점 영상 합성단계(401) 에서 생성된 가상시점 영상에는 기준시점 카메라(107, 111)에 의해 촬영되지 못한 폐색영역에 의한 미처리 영역이 존재한다. 또한 상기 가상시점 영상에는 깊이/변이정보의 정수화 과정에서 발생하는 오류 등으로 인한 미처리 영역이 존재 한다. 가상시점 영상 합성단계(401)에서 생성되는 가상시점 영상의 미처리 영역은 후술되는 가상시점 미처리 영역 보상단계(405)에서 보상된다.
깊이정보 영상 합성단계(403)에서 복수의 기준시점 카메라(107, 111)에 대한 깊이정보 영상이 3차원 워핑(warping) 기법 또는 영상 보간 기법에 의해 합성되어 가상시점 영상에 대한 깊이정보 영상이 생성된다. 깊이정보 영상 합성단계(403)에서 생성된 깊이정보 영상에도 가상시점 영상 합성단계(401)에서 생성된 가상시점 영상과 같이 미처리 영역이 존재한다. 깊이정보 영상 합성단계(403)에서 가상시점 영상에 대한 깊이정보 영상의 미처리영역이 보상된다.
가상시점 영상 합성단계(401) 및 깊이정보 영상 합성단계(403)에서 생성되는 영상은 과거부터 현재까지 연속되는 프레임 영상 각각을 의미한다. 깊이정보 영상 합성단계(403)에 대한 자세한 설명은 도 6에서 후술된다.
가상시점 미처리 영역 보상단계(405)에서, 가상시점 영상 합성단계(401)에서 생성된 현재 프레임의 가상시점 영상의 미처리 영역이 보상된다. 이때 깊이정보 영상 합성단계(403)에서 보상된 현재 및 적어도 하나 이상의 이전 프레임의 가상시점 영상에 대한 깊이정보 영상이 이용된다. 가상시점 미처리 영역 보상단계(405)에서 이전 프레임의 가상시점 영상의 화소값에 의해 현재 프레임의 가상시점 영상의 미처리 영역이 보상된다. 이 때 이전 프레임의 가상시점 영상의 화소값이 현재 프레임의 가상시점 영상과 동일한 객체를 나타내는 화소값인지 여부에 대해 판단이 필요하고 본 발명에 따른 가상시점 영상 합성방법은 깊이정보 영상 합성단계(403)에서 보상되는 깊이정보 영상을 판단기준으로 사용한다.
도 5를 참조하여 가상시점 미처리 영역 보상단계(405)에 대해 보다 자세히 설명한다. 도 5는 도 4의 가상시점 영상 합성단계(401) 및 깊이정보 영상 합성단계(403)에서 생성되는 이전 프레임 및 현재 프레임의 가상시점 영상(501, 505) 및 깊이정보 영상(503, 507)을 도시한 도면이다. 도 5는 일실시예로서 현재 프레임 바로 직전에 대한 하나의 프레임의 가상시점 영상 및 깊이정보 영상을 도시한다. 이하 현재 프레임 바로 직전에 대한 하나의 프레임의 가상시점 영상 및 깊이정보 영상이 사용되는 것을 일실시예로서 설명한다.
가상시점 영상(501, 505)에서 빨간색 원으로 도시된 부분은 폐색영역에 의해 발생된 미처리 영역이다. 도 5에 도시된 바와 같이, 현재 프레임의 가상시점 영상(505)의 미처리 영역은 이전 프레임의 가상시점 영상(501)에서는 미처리 영역이 아닐 수 있다. 보다 상세하게, 현재 프레임의 가상시점 영상(505)에서 빨간색 원으로 도시된 부분의 미처리 영역의 화소의 위치와 대응되는 이전 프레임의 가상시점 영상(501)의 부분은 미처리 영역이 아니다.
따라서 현재 프레임의 가상시점 영상(505)의 미처리 영역은 이전 프레임의 가상시점 영상(501)에 의해 보상될 수 있음을 알 수 있다. 이 때 상기된 바와 같이 이전 프레임의 가상시점 영상(501)으로부터 보상받고자 하는 화소값이 존재하는 객체가 현재 프레임의 가상시점 영상(505)의 미처리 영역의 객체와 동일성이 인정되어야 하며 동일성의 판단의 기준으로 깊이정보 영상(503, 507)이 사용된다. 깊이값의 동일성이 인정된다는 것은 카메라로부터 동일거리에 위치함을 의미하며 동일한 객체일 확률이 높다는 것을 의미한다. 깊이값이 클수록 객체가 카메라로부터 가까 우며 깊이값이 작을수록 객체가 카메라로부터 멀다.
한편, 상기된 바와 같이 깊이정보 영상(503, 507)에도 미처리 영역이 존재하고 깊이정보 영상 합성단계(403)에서 깊이정보 영상(503, 507)의 미처리 영역이 최종적으로 보상된다.
도 6은 도 4의 깊이정보 영상 합성단계(403)를 나타내는 상세 흐름도이다.
도 6을 참조하면 깊이정보 영상 합성단계(403)는 합성단계(601), 수평 탐색단계(603), 수평 보상단계(605), 수직 탐색단계(607) 및 수직 보상단계(609)를 포함한다. 합성단계(601)에서 복수의 기준시점 카메라(107, 111)에 대한 깊이정보 영상이 3차원 워핑(warping) 기법 또는 영상 보간 기법에 의해 합성되어 가상시점 영상 합성단계(401)에서 생성되는 가상시점 영상에 대한 깊이정보 영상이 생성된다.
수평 탐색단계(603)에서, 합성단계(601)에서 생성된 깊이정보 영상에 미처리 영역이 존재하는 것으로 판단되는 경우, 수평 스캔라인 단위로 상기 깊이정보 영상의 미처리 영역에 대해 유효 깊이값이 탐색된다. 그리고 탐색된 유효 깊이값 중 미처리 영역 경계의 유효 깊이값을 갖는 화소간 거리가 수평 스캔라인 단위로 계산된다. 예를 들어, 미처리 영역 경계의 유효 깊이값을 갖는 임의의 A화소의 위치가 (5, 1)이고 수평하게 대응되는 B화소의 위치가 (10, 1)라면 수평 스캔라인 단위의 A, B화소간 거리는 5가 된다.
다음으로 수평 보상단계(605)에서, 미처리 영역에 대한 상기 화소간 거리가 수평 스캔라인 단위로 계산된 최대 변이값보다 작은지 판단된다. 이 때의 계산된 변이값은 기준시점 카메라간에서 계산된 변이값이 아닌 기준시점 영상과 가상시점 영상간에서 계산된 변이값을 나타낸다. 기준시점 카메라(107, 111)로부터 가까이 있는 객체일수록 변이값이 크고, 폐색 영역에 의한 미처리 영역은 소정 객체에 의해 차단되어 발생되는 것이기 때문에 미처리 영역 경계의 화소간 거리는 상기 소정 객체(화소)의 변이값보다 작다. 따라서 상기 최대 변이값을 기준으로, 상기 미처리 영역에 대한 화소간 거리가 상기 최대 변이값보다 작은 경우 상기 미처리 영역이 보상된다면 상기 미처리 영역은 정확하게 보상될 수 있다. 한편, 상기 미처리 영역에 대한 화소간 거리가 상기 최대 변이값보다 큰 경우도 존재할 수 있는데 이는 도 8에서 후술된다.
상기 최대 변이값은 수평 스캔라인 단위, 블록단위 또는 가상시점 영상 전체 내에서의 최대 변이값일 수 있다.
상기 미처리 영역에 대한 화소간 거리가 상기 최대 변이값보다 작은 경우 수평 탐색단계(603)에서 탐색된 상기 미처리 영역 경계의 유효 깊이값이 이용되어 수평 스캔라인 단위로 상기 깊이정보 영상의 미처리 영역이 소정 깊이값으로 보상된다. 상기 소정 깊이값은 상기 깊이정보 영상의 미처리 영역 경계 주변의 유효 깊이값 중 최소값일 수 있다. 상기된 바와 같이 폐색영역에 의한 미처리 영역은 소정 객체에 의해 차단되어 발생하는 것이기 때문이다. 상기 소정 깊이값은 요구되는 정확성에 따라 상기 깊이정보 영상의 미처리 영역 경계 주변의 유효 깊이값의 평균값, 최대값 등일 수 있다.
수평 보상단계(605)에서, 미처리 영역에 대한 화소간 거리가 상기 최대 변 이값보다 큰 경우 상기 미처리 영역은 보상되지 않는다.
다음으로 수직 탐색단계(607)에서, 수평 보상단계(605)에서 보상되지 않은 미처리 영역을 보상하기 위해 수직 스캔라인 단위로 상기 깊이정보 영상의 미처리 영역에 대해 유효 깊이값이 탐색된다. 그리고 상기 탐색된 유효 깊이값 중 미처리 영역 경계의 유효 깊이값을 갖는 화소간 거리가 수직 스캔라인 단위로 계산된다.
다음으로 수직 보상단계(609)에서 미처리 영역에 대한 상기 화소간 거리가 수직 스캔라인 단위로 계산된 최대 변이값보다 작은지 판단된다. 상기 미처리 영역에 대한 화소간 거리가 상기 최대 변이값보다 작은 경우 수직 탐색단계(607)에 탐색된 상기 미처리 영역 경계의 유효 깊이값이 이용되어 수직 스캔라인 단위로 상기 깊이정보 영상의 미처리 영역이 소정 깊이값으로 보상된다. 상기 미처리 영역에 대한 화소간 거리가 상기 최대 변이값보다 큰 경우 상기 미처리 영역은 보상되지 않는다.
한편, 수직 탐색단계(607) 및 수직 보상단계(609)가 먼저 수행된 이후 수평 탐색단계(603) 및 수평 보상단계(605)가 수행될 수 있다.
도 7 및 도 8은 본 발명에 따른 깊이정보 영상 합성단계(403)가 수행되어 미처리 영역이 보상된 가상시점 영상에 대한 깊이정보 영상을 도시한 도면이다.
도 7은 도 5에 도시된 이전 및 현재 프레임의 가상시점 영상에 대한 깊이정보 영상의 미처리 영역이 본 발명에 따라 보상된 영상을 도시하고 있다.
도 8은 깊이정보 영상 합성단계(403)에서 생성된 깊이정보 영상인 제1영 상(801) 및 제1영상(801)의 미처리 영역을 각각 보상한 제2 내지 제4영상(803, 805, 807)을 도시하고 있다.
제2영상(803)은 깊이정보 영상 합성단계(403)에서 수평 스캔라인 단위만으로 제1영상(801)의 미처리 영역을 보상한 결과 영상이다. 제3영상(805)은 깊이정보 영상 합성단계(403)에서 수직 스캔라인 단위만으로 제1영상(801)의 미처리 영역을 보상한 결과 영상이다. 제4영상(807)은 깊이정보 영상 합성단계(403)에서 수평 및 수직 스캔라인 단위로 제1영상(801)의 미처리 영역을 보상한 결과 영상이다.
제1영상(801)에서 제2영상(803)의 빨간색 원으로 표시된 부분과 대응되는 부분은, 수평 스캔라인 단위로 다른 부분과 비교하여 미처리 영역 경계의 화소간 거리가 상당히 큼을 알 수 있다. 그리고 제1영상(801)에서 제3영상(805)의 빨간색 원으로 표시된 부분과 대응되는 부분은, 수직 스캔라인 단위로 다른 부분과 비교하여 미처리 영역 경계의 화소간 거리가 상당히 큼을 알 수 있다. 즉, 제2 및 제3영상(803, 805)에서 빨간색 원으로 표시된 부분 각각은 도 6의 수직 및 수평 탐색단계(603, 607) 각각에서 탐색된 미처리 영역 경계의 화소간 거리가 최대 변이값보다 큰 부분이다. 그리고 제2 및 제3영상(803, 805)을 살펴보면, 빨간색 원으로 도시된 부분의 영상이 부정확하게 보상되었음을 알 수 있다.
본 발명에 따르면, 제2영상(803)의 빨간색 원으로 표시된 부분은 수직 보상단계(609)를 통해 보상되며, 제3영상(805)의 빨간색 원으로 표시된 부분은 수평 보상단계(605)를 통해 보상된다. 제2 및 제3영상(803, 805)과 비교하여 본 발명에 따른 제4영상(807)에서 빨간색 원으로 표시된 부분이 보다 정확하고 자연스럽게 보상 되었음을 알 수 있다.
도 9는 도 4의 가상시점 미처리 영역 보상단계(405)를 나타내는 상세 흐름도이다.
도 9를 참조하면, 가상시점 미처리 영역 보상단계(405)는 탐색단계(901), 판단단계(903) 및 설정단계(905)를 포함한다.
탐색단계(901)에서, 가상시점 영상 합성단계(401)에서 생성되는 가상시점 영상의 미처리영역 내의 화소 각각에 대응하는, 현재 및 이전 프레임의 가상시점 영상에 대한 깊이정보 영상의 깊이값이 탐색된다. 상기 현재 및 이전 프레임의 가상시점 영상에 대한 깊이정보 영상에는 미처리 영역이 존재하지만 상기 미처리 영역은 깊이정보 영상 합성단계(403)에 의해 보상된다.
판단단계(903)에서 탐색단계(901)에서 탐색된 이전 프레임의 가상시점 영상에 대한 깊이정보 영상의 깊이값과 현재 프레임의 가상시점 영상에 대한 깊이정보 영상의 깊이값의 동일성 여부가 판단된다. 상기 이전 프레임의 가상시점 영상에 대한 깊이정보 영상의 깊이값과 현재 프레임의 가상시점 영상에 대한 깊이정보 영상의 깊이값이 완전히 동일하거나 그 차이가 소정 범위 이내인 경우 동일성이 인정될 수 있다.
설정단계(905)에서 판단단계(903)의 결과 동일성이 인정되면 현재 프레임의 가상시점 영상의 미처리 영역이 이전 프레임의 가상시점 영상의 유효한 화소값으로 보상된다. 상기 이전 프레임의 가상시점 영상의 유효한 화소값은 상기 미처리 영역 내의 화소 각각에 대응되는 화소값이다. 이 때 이전 프레임의 가상시점 영상의 미처리 영역이 보상되었는지 여부는 문제되지 않는다. 그리고 설정단계(905)에서 판단단계(903)의 결과 동일성이 인정되지 않는 부분은 현재 프레임의 가상시점 영상의 미처리 영역의 경계 유효 화소값이 보간되어 보상될 수 있다.
한편, 본 발명에 따른 가상시점 영상 생성방법에서 가상시점 영상에 대한 깊이정보 영상대신 변이정보 영상이 사용될 수도 있다. 깊이정보가 사용된 원리와 동일하게 이전 프레임의 가상시점 영상과 현재 프레임의 가상시점 영상에서 동일한 객체는 변이값의 변화가 적으므로 깊이정보 영상 합성단계(403) 및 가상시점 미처리영역 보상단계(405)에서 변이정보 영상이 사용되어 가상시점 영상이 보상될 수 있다.
도 10은 본 발명에 따른 가상시점 영상 생성방법을 적용해 생성한 가상시점 영상과 그렇지 않은 가상시점 영상을 도시한 도면으로서 설정단계(905)에서 동일성이 인정된 미처리 영역에 대해 보상이 이루어진 영상이다.
상기된 바와 같이 폐색영역에 의한 미처리 영역은 화소값 보간등의 방식으로 보상되는 경우 오류가 발생할 수 있으므로 화소값 보간등의 방식으로 미처리 영역이 보상되기 전 폐색영역에 의한 미처리 영역은 그 점유율이 적을수록 최종 가상시점 영상의 화질이 좋아질 수 있다. 빨간색 원으로 도시된 미처리 영역은 폐색영역에 의한 미처리 영역으로 본 발명이 적용된 현재 프레임의 가상시점 영상의 경우 미처리 영역이 의도된 화소값으로 보상되었음을 알 수 있다. 따라서 종래기술에 비 해 본 발명에 따른 가상시점 영상 생성방법을 이용하여 기준시점 카메라 추가없이 보다 나은 화질의 가상시점 영상을 생성할 수 있다.
도 11은 본 발명의 일실시예에 따른 가상시점 영상 생성장치의 구성도이다.
도 11을 참조하면, 본 발명에 따른 가상시점 영상 생성장치는 가상시점 영상 합성부(1101), 깊이정보 영상 합성부(1103) 및 가상시점 미처리 영역 보상부(1111)를 포함한다.
가상시점 영상 합성부(1101)는 복수의 기준시점 카메라에 대한 기준시점 영상을 합성하여 미처리 영역이 포함된 가상시점 카메라에 대한 가상시점 영상을 생성한다. 이때 3차원 워핑 기법 또는 영상 보간 기법이 적용될 수 있다.
깊이정보 영상 합성부(1103)는 상기 복수의 기준시점 카메라에 대한 깊이정보 영상을 합성하여 가상시점 영상 합성부(1101)에서 생성된 가상시점 영상에 대한 깊이정보 영상을 생성하고 상기 가상시점 영상에 대한 깊이정보 영상의 미처리 영역을 보상한다. 깊이정보 영상 합성부(1103)는 합성수단(1105), 수평 탐색수단(1106), 수평 보상수단(1107), 수직 탐색수단(1108) 및 수직 보상수단(1109)을 포함한다.
합성수단(1105)은 상기 복수의 기준시점 카메라에 대한 깊이정보 영상을 합성하여 가상시점 영상 합성부(1101)에서 생성된 가상시점 영상에 대한 깊이정보 영상을 생성한다.
그리고 수평 탐색수단(1106)은 합성수단(1105)에서 생성된 깊이정보 영상의 미처리 영역에 대한 유효한 깊이값을 수평 스캔라인 단위로 탐색하고 탐색된 유효 깊이값 중 미처리 영역 경계의 유효 깊이값을 갖는 화소간 거리를 수평 스캔라인 단위로 계산한다. 수평 보상수단(1107)은 상기 미처리 영역에 대한 화소간 거리가 상기 최대 변이값보다 작은 경우 수평 스캔라인 단위로 탐색된 상기 미처리 영역 경계의 유효 깊이값 중 최소 깊이값으로 상기 깊이정보 영상의 미처리 영역을 보상한다. 수평 보상수단(1107)은 요구되는 정확성에 따라 상기 미처리 영역 경계의 유효 깊이값의 평균값, 최대값 등으로 상기 깊이정보 영상의 미처리 영역을 보상할 수 있다.
수직 탐색수단(1108) 및 수직 보상수단(1109)은 수평 탐색수단(1106) 및 수평 보상수단(1107)과 같이 미처리 영역을 탐색 및 보상하나, 수직 스캔라인 단위로 미처리 영역을 탐색 및 보상한다.
가상시점 미처리영역 보상부(1111)는 깊이정보 영상 합성부(1103)에서 생성되는 현재 및 적어도 하나 이상의 이전 프레임의 가상시점 영상에 대한 깊이정보 영상에 기초하여 가상시점 영상 합성부(1101)에서 생성되는 현재 프레임의 가상시점 영상의 미처리 영역을 보상한다. 가상시점 미처리영역 보상부(1111)는 탐색수단(1113), 판단수단(1115) 및 설정수단(1117)을 포함한다.
탐색수단(1113)은 가상시점 영상 합성부(1101)에서 생성되는 현재 프레임의 가상시점 영상의 미처리 영역 내의 화소 각각에 대응하는 현재 및 적어도 하나 이상의 이전 프레임의 가상시점 영상에 대한 깊이정보 영상의 깊이값을 탐색한다. 판단수단(1115)은 탐색수단(1113)에서 탐색된 현재 및 적어도 하나 이상의 이전 프레 임의 가상시점 영상에 대한 깊이정보 영상의 깊이값의 동일성 여부를 판단한다. 상기 깊이값이 각각 동일하거나 상기 깊이값의 차이가 소정 범위 이내인 경우 동일성이 인정될 수 있다. 설정수단(1117)은 판단수단(1115)의 판단결과 동일성이 인정되는 경우 현재 프레임의 가상시점 영상의 미처리 영역을 상기 현재 프레임의 가상시점 영상의 미처리 영역 내의 화소에 대응하는 이전 프레임의 가상시점 영상의 화소값으로 보상한다. 설정수단(1117)은 판단수단(1115)의 판단결과 동일성이 인정되지 않은 미처리 영역의 경우 상기 미처리 영역 경계의 유효 화소값을 보간하여 상기 미처리 영역을 보상할 수 있다.
한편, 전술한 바와 같은 본 발명에 따른 가상시점 영상 생성방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체(CD, DVD와 같은 유형적 매체뿐만 아니라 반송파와 같은 무형적 매체)를 포함한다.
본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 특허청구범위의 균등범위 내에서 다양한 수정 및 변 형이 가능함은 물론이다.
도 1은 가상시점 영상을 설명하기 위한 도면,
도 2 및 도 3은 합성된 가상시점 영상을 도시한 도면,
도 4는 본 발명의 일실시예에 따른 가상시점 영상 생성방법을 나타내는 흐름도,
도 5는 도 4의 가상시점 영상 합성단계(401) 및 깊이정보 영상 합성단계(403)에서 생성되는 이전 프레임 및 현재 프레임의 가상시점 영상(501, 505) 및 깊이정보 영상(503, 507)을 도시한 도면,
도 6은 도 4의 깊이정보 영상 합성단계(403)를 나타내는 상세 흐름도,
도 7 및 도 8은 본 발명에 따른 깊이정보 영상 합성단계(403)가 수행되어 미처리 영역이 보상된 가상시점 영상에 대한 깊이정보 영상을 도시한 도면,
도 9는 도 4의 가상시점 미처리 영역 보상단계(405)를 나타내는 상세 흐름도,
도 10은 본 발명에 따른 가상시점 영상 생성방법을 적용해 생성한 가상시점 영상과 그렇지 않은 가상시점 영상을 도시한 도면,
도 11은 본 발명의 일실시예에 따른 가상시점 영상 생성장치의 구성도이다.

Claims (10)

  1. 복수의 기준시점 카메라에 대한 기준시점 영상을 합성하여 가상시점 카메라에 대한 가상시점 영상을 생성하는 가상시점 영상 합성단계;
    상기 복수의 기준시점 카메라에 대한 깊이정보 영상을 합성하여 상기 가상시점 영상에 대한 깊이정보 영상을 생성하고 상기 가상시점 영상에 대한 깊이정보 영상의 미처리 영역인 제1미처리영역을 보상하는 깊이정보 영상 합성단계; 및
    하나 이상의 이전 프레임의 가상시점 영상의 화소값을 이용해 현재 프레임의 가상시점 영상의 미처리 영역인 제2미처리영역을 보상하는 가상시점 미처리 영역 보상단계
    를 포함하는 가상시점 영상 생성방법.
  2. 제 1항에 있어서,
    상기 깊이정보 영상 합성단계는,
    상기 가상시점 영상에 대한 깊이정보 영상을 합성하는 합성단계;
    상기 제1미처리영역에 대한 유효 깊이값을 수평 스캔라인 단위로 탐색하는 수평 탐색단계;
    상기 수평 스캔라인 단위에서 상기 제1미처리영역 경계의 유효 깊이값을 갖는 화소간 거리가 최대 변이값보다 작은 경우, 상기 경계의 유효 깊이값을 이용하여 상기 제2미처리영역을 보상하는 수평 보상단계;
    상기 수평 보상단계 결과 존재하는 미처리영역에 대한 유효 깊이값을 수직 스캔라인 단위로 탐색하는 수직 탐색단계; 및
    상기 수직 스캔라인 단위에서 상기 수직 탐색단계의 미처리영역 경계의 유효 깊이값을 갖는 화소간 거리가 최대 변이값보다 작은 경우, 상기 경계의 유효 깊이값을 이용하여 상기 수직 탐색단계의 미처리영역을 보상하는 수직 보상단계
    를 포함하는 가상시점 영상 생성방법.
  3. 제 2항에 있어서,
    상기 수평 및 수직 보상단계는
    상기 경계의 유효 깊이값 중 최소값으로 미처리영역을 보상하는
    가상시점 영상 생성방법.
  4. 제 1항에 있어서,
    상기 가상시점 미처리 영역 보상단계는
    상기 제2미처리영역 내의 화소 각각에 대응하는, 현재 및 하나 이상의 이전 프레임의 가상시점 영상에 대한 깊이정보 영상의 깊이값을 탐색하는 탐색단계;
    상기 탐색단계에서 탐색된 깊이값 각각의 동일성 여부를 판단하는 판단단계; 및
    상기 판단단계의 결과 동일성이 인정되는 경우, 상기 제2미처리영역 내의 화소 각각에 대응하는 상기 하나 이상의 이전 프레임의 가상시점 영상의 화소값을 상기 제2미처리영역 내의 화소값으로 설정하는 설정단계
    를 포함하는 가상시점 영상 생성방법.
  5. 제 4항에 있어서,
    상기 판단단계는
    상기 깊이값 각각이 같거나 상기 깊이값 각각의 차이가 소정 범위 이내인 경우를 기준으로 동일성 여부를 판단하는
    가상시점 영상 생성방법.
  6. 복수의 기준시점 카메라에 대한 기준시점 영상을 합성하여 가상시점 카메라에 대한 가상시점 영상을 생성하는 가상시점 영상 합성단계;
    상기 복수의 기준시점 카메라에 대한 변이정보 영상을 합성하여 상기 가상시점 영상에 대한 변이정보 영상을 생성하고 상기 가상시점 영상에 대한 변이정보 영상의 미처리 영역을 보상하는 변이정보 영상 합성단계; 및
    하나 이상의 이전 프레임의 가상시점 영상의 화소값을 이용해 현재 프레임의 가상시점 영상의 미처리 영역을 보상하는 가상시점 미처리 영역 보상단계
    를 포함하는 가상시점 영상 생성방법.
  7. 복수의 기준시점 카메라에 대한 기준시점 영상을 합성하여 가상시점 카메라에 대한 가상시점 영상을 생성하는 가상시점 영상 합성부;
    상기 복수의 기준시점 카메라에 대한 깊이정보 영상을 합성하여 상기 가상시점 영상에 대한 깊이정보 영상을 생성하고 상기 가상시점 영상에 대한 깊이정보 영상의 미처리 영역인 제1미처리영역을 보상하는 깊이정보 영상 합성부; 및
    하나 이상의 이전 프레임의 가상시점 영상의 화소값을 이용해 현재 프레임의 가상시점 영상의 미처리 영역인 제2미처리영역을 보상하는 가상시점 미처리 영역 보상부
    를 포함하는 가상시점 영상 생성장치.
  8. 제 7항에 있어서,
    상기 깊이정보 영상 합성부는
    상기 가상시점 영상에 대한 깊이정보 영상을 합성하는 합성수단;
    상기 제1미처리영역에 대한 유효 깊이값을 수평 스캔라인 단위로 탐색하는 수평 탐색수단;
    상기 수평 스캔라인 단위에서 상기 제1미처리영역 경계의 유효 깊이값을 갖는 화소간 거리가 최대 변이값보다 작은 경우, 상기 경계의 유효 깊이값을 이용하여 상기 제1미처리영역을 보상하는 수평 보상수단;
    상기 수평 수단 결과 존재하는 미처리영역에 대한 유효 깊이값을 수직 스캔라인 단위로 탐색하는 수직 탐색수단; 및
    상기 수직 스캔라인 단위에서 상기 수직 탐색수단의 미처리영역 경계의 유효 깊이값을 갖는 화소간 거리가 최대 변이값보다 작은 경우, 상기 경계의 유효한 깊이값을 이용하여 상기 수직 탐색수단의 미처리영역을 보상하는 수직 보상수단
    을 포함하는 가상시점 영상 생성장치.
  9. 제 8항에 있어서,
    상기 수평 및 수직 보상수단은
    상기 경계의 유효 깊이값 중 최소값으로 미처리영역을 보상하는
    가상시점 영상 생성장치.
  10. 제 7항에 있어서,
    상기 가상시점 미처리 영역 보상부는
    상기 제2미처리영역 내의 화소 각각에 대응하는, 상기 현재 및 적어도 하나 이상의 이전 프레임의 가상시점 영상에 대한 깊이정보 영상의 깊이값을 탐색하는 탐색수단;
    상기 탐색수단에서 탐색된 깊이값 각각의 동일성 여부를 판단하는 판단수단; 및
    상기 판단수단의 결과 동일성이 인정되는 경우 상기 제2미처리영역 내의 화소 각각에 대응하는 상기 적어도 하나 이상의 이전 프레임의 가상시점 영상의 화소값을 상기 제2미처리영역 내의 화소값으로 설정하는 설정수단
    을 포함하는 가상시점 영상 생성장치.
KR1020080123320A 2008-08-11 2008-12-05 가상시점 영상 생성방법 및 그 장치 KR101066550B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020080078463 2008-08-11
KR20080078463 2008-08-11

Publications (2)

Publication Number Publication Date
KR20100019927A KR20100019927A (ko) 2010-02-19
KR101066550B1 true KR101066550B1 (ko) 2011-09-21

Family

ID=42090124

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080123320A KR101066550B1 (ko) 2008-08-11 2008-12-05 가상시점 영상 생성방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR101066550B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101336955B1 (ko) 2012-06-25 2013-12-04 인텔렉추얼디스커버리 주식회사 다시점 영상 생성 방법 및 시스템
KR20190103296A (ko) * 2017-02-17 2019-09-04 주식회사 소니 인터랙티브 엔터테인먼트 화상 생성 장치, 화상 생성 방법, 컴퓨터 프로그램, 및 기록 매체

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101666019B1 (ko) 2010-08-03 2016-10-14 삼성전자주식회사 외삽 뷰 생성을 위한 장치 및 방법
KR101676830B1 (ko) 2010-08-16 2016-11-17 삼성전자주식회사 영상 처리 장치 및 방법
JP5784729B2 (ja) 2010-08-27 2015-09-24 サムスン エレクトロニクス カンパニー リミテッド マルチビュー生成のためのレンダリング装置およびその方法
KR101683164B1 (ko) * 2010-09-10 2016-12-05 삼성전자주식회사 폐색 영역 복원 장치 및 방법
KR101210625B1 (ko) 2010-12-28 2012-12-11 주식회사 케이티 빈공간 채움 방법 및 이를 수행하는 3차원 비디오 시스템
KR101758058B1 (ko) 2011-01-20 2017-07-17 삼성전자주식회사 깊이 정보를 이용한 카메라 모션 추정 방법 및 장치, 증강 현실 시스템
US9807340B2 (en) 2014-11-25 2017-10-31 Electronics And Telecommunications Research Institute Method and apparatus for providing eye-contact function to multiple points of attendance using stereo image in video conference system
JP7170441B2 (ja) * 2018-07-12 2022-11-14 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100603601B1 (ko) 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
KR100776649B1 (ko) * 2004-12-06 2007-11-19 한국전자통신연구원 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
KR20080051015A (ko) * 2006-12-04 2008-06-10 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100603601B1 (ko) 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
KR100776649B1 (ko) * 2004-12-06 2007-11-19 한국전자통신연구원 깊이 정보 기반 스테레오/다시점 영상 정합 장치 및 방법
KR20080051015A (ko) * 2006-12-04 2008-06-10 한국전자통신연구원 프레임 간 깊이 연속성 유지를 위한 깊이 추정 장치 및 그방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
IEEE TRANSACTIONS ON BROADCASTING, VOL. 51, NO. 2 (Liang Zhang 외 1인, Stereoscopic Image Generation Based on Depth Images for 3D TV, 2005년 6월)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101336955B1 (ko) 2012-06-25 2013-12-04 인텔렉추얼디스커버리 주식회사 다시점 영상 생성 방법 및 시스템
KR20190103296A (ko) * 2017-02-17 2019-09-04 주식회사 소니 인터랙티브 엔터테인먼트 화상 생성 장치, 화상 생성 방법, 컴퓨터 프로그램, 및 기록 매체
KR102214263B1 (ko) 2017-02-17 2021-02-09 주식회사 소니 인터랙티브 엔터테인먼트 화상 생성 장치, 화상 생성 방법, 컴퓨터 프로그램, 및 기록 매체
US11120613B2 (en) 2017-02-17 2021-09-14 Sony Interactive Entertainment Inc. Image generating device and method of generating image

Also Published As

Publication number Publication date
KR20100019927A (ko) 2010-02-19

Similar Documents

Publication Publication Date Title
KR101066550B1 (ko) 가상시점 영상 생성방법 및 그 장치
Zhu et al. Depth image based view synthesis: New insights and perspectives on hole generation and filling
US10070115B2 (en) Methods for full parallax compressed light field synthesis utilizing depth information
CN101682794B (zh) 用于处理深度相关信息的方法、装置和系统
JP5729915B2 (ja) 多視点映像表示装置、多視点映像表示方法及び記憶媒体
US20090129667A1 (en) Device and method for estimatiming depth map, and method for generating intermediate image and method for encoding multi-view video using the same
US20130069942A1 (en) Method and device for converting three-dimensional image using depth map information
US20140118509A1 (en) Method and apparatus for generating a signal for a display
US20120127267A1 (en) Depth estimation based on global motion
JPH0927969A (ja) 複数画像の中間像生成方法及び視差推定方法および装置
KR20110021875A (ko) 스테레오스코픽 모션 픽쳐들의 잠재적인 아이스트레인을 측정하기 위한 시스템 및 방법
WO2012061549A2 (en) Methods, systems, and computer program products for creating three-dimensional video sequences
US8803947B2 (en) Apparatus and method for generating extrapolated view
KR100745691B1 (ko) 차폐영역 검출을 이용한 양안 또는 다시점 스테레오 정합장치 및 그 방법
US20140293003A1 (en) Method for processing a stereoscopic image comprising an embedded object and corresponding device
US20130242043A1 (en) Depth video filtering method and apparatus
US9639944B2 (en) Method and apparatus for determining a depth of a target object
KR101066542B1 (ko) 가상시점 영상 생성방법 및 그 장치
KR101289283B1 (ko) 하이브리드 영상획득 장치 기반 홀로그래픽 영상 복원 방법
JPH0981746A (ja) 二次元表示画像生成方法
US10554954B2 (en) Stereoscopic focus point adjustment
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
KR20140113066A (ko) 차폐 영역 정보를 기반으로 하는 다시점 영상 생성 방법 및 장치
US9591290B2 (en) Stereoscopic video generation
KR101342783B1 (ko) 가상시점 영상 생성 방법 및 그 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20140827

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20150827

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 7