KR101502365B1 - 삼차원 영상 생성기 및 그 제어 방법 - Google Patents

삼차원 영상 생성기 및 그 제어 방법 Download PDF

Info

Publication number
KR101502365B1
KR101502365B1 KR1020080109930A KR20080109930A KR101502365B1 KR 101502365 B1 KR101502365 B1 KR 101502365B1 KR 1020080109930 A KR1020080109930 A KR 1020080109930A KR 20080109930 A KR20080109930 A KR 20080109930A KR 101502365 B1 KR101502365 B1 KR 101502365B1
Authority
KR
South Korea
Prior art keywords
image
dimensional
value
depth
filtering
Prior art date
Application number
KR1020080109930A
Other languages
English (en)
Other versions
KR20100050838A (ko
Inventor
김지원
정용주
백아론
박두식
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020080109930A priority Critical patent/KR101502365B1/ko
Priority to US12/402,732 priority patent/US8253733B2/en
Publication of KR20100050838A publication Critical patent/KR20100050838A/ko
Application granted granted Critical
Publication of KR101502365B1 publication Critical patent/KR101502365B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

3차원 영상 생성기 및 그 제어 방법이 제공된다. 2차원 영상 또는 깊이 지도(Depth map)를 스케일링(Scaling)하고, 2차원 영상과 깊이 영상의 위치 정보를 고려한 교차 필터링(Cross Filtering)을 통해, 깊이 영상(Depth Map) 상의 선명하지 않은(Blur) 영역을 선명하게 필터링(Filtering)함으로써 보다 선명한 깊이 영상을 획득하고, 상기 깊이 영상을 이용하여 보다 입체감 있는 3차원 영상을 제공한다.
Figure R1020080109930
3차원 영상, 스케일러, Scaler, Depth map, Filter

Description

삼차원 영상 생성기 및 그 제어 방법{THREE DIMENSIONAL VIDEO SCALER AND CONTROLLING METHOD FOR THE SAME}
본 발명은 3차원 영상 생성기 및 그 제어 방법에 관한 것이다.
최근 3차원 디스플레이 장치의 발전에 따라, 시청자에게 기존 영상보다 더욱 현실적인 입체감과 임장감이 있는 3차원 영상을 제공할 수 있게 되었다. 3차원 컨텐츠의 양은 빠른 속도로 증가하고 있고, 컨텐츠가 제작되는 환경의 해상도 또한 다양해지고 있다.
3차원 디스플레이들은 작게는 720x480의 NTSC 포맷으로부터 크게는 1920x1080의 HD급 화질까지 다양한 사이즈의 컨텐츠를 지원해야 하고, 또한 3차원 깊이(depth)감에 대한 스케일링(Scaling)도 지원해야 한다.
종래에는 다양한 3차원 입력 포맷(3D Input Format)을 지원하는 일반적인(General) 3차원 영상 스케일러(3D Video Scaler)가 존재하지 않으므로, 널리 알려진 2차원 영상 스케일러(2D Video Scaler)를 사용하였다.
개시되는 실시예는, 2차원 영상 또는 깊이 지도(Depth map)를 스케일링(Scaling)하고, 2차원 영상과 깊이 영상의 위치 정보를 고려한 교차 필터링(Cross Filtering)을 통해, 깊이 영상(Depth Map) 상의 선명하지 않은(Blur) 영역을 선명하게 필터링(Filtering)함으로써 보다 선명한 깊이 영상을 획득하고, 상기 깊이 영상을 이용하여 보다 입체감 있는 3차원 영상을 제공하고자 한다.
또한, 개시되는 실시예는, 선명한 깊이 영상(Depth Map)을 이용하여 보다 향상된 3차원 영상을 얻을 수 있는 3차원 영상 콘텐츠(3D Content Generation) 알고리즘을 제공하고, 그에 따라 3차원 영상의 시청이 가능한 TV, Monitor 등의 다양한 디스플레이(Display)를 통하여, 보다 입체감과 임장감 있는 시청환경을 제공하고자 한다.
개시되는 실시예에 따른 3차원 영상을 생성하는 방법은, 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 확대(upscale)하는 단계; 및 상기 제1이차원(2D)영상을 이용하여 상기 제2이차원(2D)영상을 선명하게(sharp)하는 필터링(filtering), 또는 상기 제2이차원(2D)영상을 이용하여 상기 제1이차원(2D)영상을 선명하게(sharp)하는 필터링(filtering) 중에서, 적어도 어느 하나의 필터링을 실행하는 단계를 포함한다.
이때, 상기 제1이차원(2D)영상 및 제2이차원(2D)영상 중에서 어느 하나의 영 상은, 상기 3차원 영상의 입체감에 대한 정보를 포함하는 깊이 영상(depth map)일 수 있다.
이때, 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 확대(upscale)하는 단계는, 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 상호 연결하는 단계; 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 확대(upscale)하는 단계; 및 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 분리하는 단계를 포함할 수 있다.
이때, 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 상호 연결하는 단계는, 상기 제1이차원(2D)영상 및 제2이차원(2D)영상의 일측면을 나란히 상호 연결하는 단계일 수 있다.
이때, 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 상호 연결하는 단계는, 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 기 선정된 영역으로 분할한 후 결합하여, 상호 연결하는 단계일 수 있다.
이때, 상기 제1이차원(2D)영상을 이용하여 상기 제2이차원(2D)영상을 선명하게(sharp) 하는 필터링(filtering)은, 상기 제2이차원(2D)영상이 깊이(depth) 영상인 경우, 상기 제1이차원(2D)영상 상에서의 특징 유사 영역에 대응되는, 상기 깊이 (depth) 영상의 영역에서의 깊이(depth) 값을, 기 설정된 깊이 값으로 조정하는 필터링(filtering)이며, 상기 특징 유사 영역은 특징 정보 값이 기 설정된 범위 값 내에 해당하는 영역일 수 있다.
이때, 상기 제2이차원(2D)영상을 이용하여 상기 제1이차원(2D)영상을 선명하게(sharp)하는 필터링(filtering)은, 상기 제2이차원(2D)영상이 깊이(depth) 영상 인 경우, 상기 깊이(depth) 영상 상에서의 깊이 값 유사 영역에 대응되는, 상기 제1이차원(2D)영상의 영역에서의 특징 정보 값을, 기 설정된 특징 정보 값으로 조정하는 필터링(filtering)이며, 상기 깊이 값 유사 영역은 깊이(depth) 값이 기 설정된 범위 값 내에 해당하는 영역인 것을 특징으로 하는 3차원 영상을 생성할 수 있다.
이때, 상기 특징 정보 값은 휘도(luminance) 또는 RGB값에 관련된 정보 값일 수 있다.
이때, 상기 적어도 어느 하나의 필터링을 실행하는 단계는, 영상의 엣지(Edge) 또는 컨투어(Contour)에 해당하는 선분 요소들을 선명하게(sharp)하게 하고, 영상에서 유사한 영역 값을 가지는 영역을 동일한 영역 값으로 조정하는, 크로스 바이래터럴 필터(Cross Bilateral Filter)를 사용하여, 상기 적어도 어느 하나의 필터링을 실행하는 단계일 수 있다.
개시되는 실시예에 따른 3차원 영상 생성기는, 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 확대(upscale)하는 영상 스케일러; 및 상기 제1이차원(2D)영상을 이용하여 상기 제2이차원(2D)영상을 선명하게(sharp)하는 필터링(filtering), 또는 상기 제2이차원(2D)영상을 이용하여 상기 제1이차원(2D)영상을 선명하게(sharp)하는 필터링(filtering) 중에서, 적어도 어느 하나의 필터링을 실행하는 필터를 포함한다.
이때, 상기 제1이차원(2D)영상 및 제2이차원(2D)영상 중에서 어느 하나의 영상은, 상기 3차원 영상의 입체감에 대한 정보를 포함하는 깊이 영상(depth map)일 수 있다.
이때, 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 상호 연결하는 연결기(Concatenator); 및 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 분리하는 분할기(Seperator)를 더 포함할 수 있다.
이때, 상기 연결기는 상기 제1이차원(2D)영상 및 제2이차원(2D)영상의 일측면을 나란히 상호 연결할 수 있다.
이때, 상기 연결기는 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 기 선정된 영역으로 분할한 후 결합하여, 상호 연결할 수 있다.
이때, 상기 필터는 상기 제2이차원(2D)영상이 깊이(depth) 영상인 경우, 상기 제1이차원(2D)영상 상에서의 특징 유사 영역에 대응되는, 상기 깊이 (depth) 영상의 영역에서의 깊이(depth) 값을, 기 설정된 깊이 값으로 조정하는 필터링(filtering)을 실행하며, 상기 특징 유사 영역은 특징 정보 값이 기 설정된 범위 값 내에 해당하는 영역일 수 있다.
이때, 상기 필터는 상기 제2이차원(2D)영상이 깊이(depth) 영상인 경우, 상기 깊이(depth) 영상 상에서의 깊이 값 유사 영역에 대응되는, 상기 제1이차원(2D)영상의 영역에서의 특징 정보 값을, 기 설정된 특징 정보 값으로 조정하는 필터링(filtering)을 실행하며, 상기 깊이 값 유사 영역은 깊이(depth) 값이 기 설정된 범위 값 내에 해당하는 영역일 수 있다.
이때, 상기 특징 정보 값은 휘도(luminance) 또는 RGB값에 관련된 정보 값일 수 있다.
이때, 상기 필터는 영상의 엣지(Edge) 또는 컨투어(Contour)에 해당하는 선분 요소들을 선명하게(sharp)하게 하고, 영상에서 유사한 영역 값을 가지는 영역을 동일한 영역 값으로 조정하는, 크로스 바이래터럴 필터(Cross Bilateral Filter)로 구성되어, 상기 적어도 어느 하나의 필터링을 실행할 수 있다.
이때, 상기 영상 스케일러는, 상기 제1이차원(2D)영상을 확대(upscale)하는 제1영상 스케일러; 및 상기 제2이차원(2D)영상을 확대(upscale)하는 제2영상 스케일러를 포함할 수 있다.
개시되는 실시예에 따르면, 3차원 영상 스케일러(3D Video Scaler)를 제공하여 깊이 영상(Depth Map) 상의 선명하지 않은(Blur) 영역을 선명하게 필터링(Filtering)하여, 보다 선명한 깊이 영상을 획득할 수 있다.
따라서, 개시되는 실시예에 따르면, 단순히 2차원 영상이나 깊이 영상을 개별적으로 스케일링(Scaling)하는 것과 달리, 2차원 영상과 깊이 영상의 위치 정보를 고려한 교차 필터링(Cross Filtering)을 통하여 스케일링(Scaling)하는 방법을 제공할 수 있다.
그러므로, 선명한 깊이 영상(Depth Map)을 이용하여 보다 향상된 3차원 영상을 얻을 수 있는 3차원 영상 콘텐츠(3D Content Generation) 알고리즘을 제공하고, 그에 따라 3차원 영상의 시청이 가능한 TV, Monitor 등의 다양한 디스플레이(Display)를 통하여, 보다 입체감과 임장감 있는 시청환경을 제공할 수 있다.
이하 첨부된 도면들 및 첨부된 도면들에 기재된 내용들을 참조하여 바람직한 실시예를 상세하게 설명하지만, 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 제안되는 실시예에 따른 3차원 영상을 생성기의 구성도이다. 도 1을 참조하여 제안되는 실시예에 따른 3차원 영상을 생성기를 설명하기로 한다.
도 1에 도시된 바와 같이, 3차원(3 dimensional: 3D) 영상 생성기는 영상 스케일러(110, 120) 및 필터(130)를 포함한다.
제안되는 실시예에 따른 3차원 영상 생성기는 적어도 2개의 2차원(2D) 영상을 이용하여 3차원 영상을 생성할 수 있다.
영상 스케일러(Image Scaler: 110, 120)는 2차원 영상을 확대(upscale)한다. 이때, 제안되는 실시예에 따른 영상 스케일러는, 제1영상 스케일러(110) 및 제2영상 스케일러(120)로 구성될 수 있다.
제1영상 스케일러(110) 및 제2영상 스케일러(120)는 각각, 입력되는 2차원 영상을 확대(upscale)할 수 있다.
이때, 제1영상 스케일러(110) 및 제2영상 스케일러(120) 측으로 입력되는 상기 2차원 영상 중에서 어느 하나의 영상은, 상기 3차원 영상의 입체감에 대한 정보를 포함하는 깊이 영상(depth map)일 수 있다.
즉, 도 1에 도시된 바와 같이, 제1영상 스케일러(110) 측에는 2차원 영상(2D Video)이 입력 될 수 있으며, 제2영상 스케일러(120) 측에는 깊이 영상(Depth map)이 입력될 수 있다.
따라서, 제1영상 스케일러(110)는 상기 2차원 영상(2D Video)을 확대(upscale)할 수 있으며, 제2영상 스케일러(120)는 상기 깊이 영상을 확대할 수 있다.
한편, 제안되는 실시예에 따른 3차원 영상을 생성기는, 상기와 같이 2차원 영상 및 깊이 지도가 입력되는 경우뿐만 아니라, 다양한 영상이 입력되는 경우에도 처리가 가능하다. 즉, 예를 들어 제1영상 스케일러(110)는 상기 2차원 영상 대신에 좌안 영상을 사용하고, 상기 깊이 영상 대신에 우안 영상을 사용하여 확대 연산을 실행할 수 있다.
필터(130)는 제1영상 스케일러(110)로부터 전달받은 제1이차원(2D)영상을 이용하여 상기 제2이차원(2D)영상을 선명하게(sharp)하는 필터링(filtering)을 실행할 수 있으며, 제2영상 스케일러(120)로부터 전달받은 제2이차원(2D)영상을 이용하여 상기 제1이차원(2D)영상을 선명하게(sharp)하는 필터링(filtering)을 실행할 수 있다.
예를 들어, 제1이차원(2D)영상은 3차원 영상의 구성에 사용되는 2차원 영상이고, 제2이차원(2D)영상은 깊이 영상(depth map)인 경우에는, 제1이차원(2D)영상인 2차원 영상을 이용하여 상기 깊이 영상(depth map)을 선명하게 필터링할 수 있고, 상기 깊이 영상(depth map)을 이용하여 상기 제1이차원(2D)영상인 2차원 영상을 선명하게 필터링할 수 있다.
보다 상세하게 살펴보면, 필터(130)는 상기 제2이차원(2D)영상이 깊이 영상(depth map)인 경우, 상기 제1이차원(2D)영상인 2차원 영상에서 특징이 유사한 영역을 찾고, 상기 깊이 영상(depth map) 상에서 상기 특징이 유사한 영역에 대응되는 영역을 찾는다. 이후, 상기 깊이 영상 상에 존재하는, 상기 대응 영역의 깊이(depth) 값을 기 설정된 깊이 값으로 조정한다. 즉, 필터(130)는 2차원 영상 내에서 비슷한 특성을 가지는 영역에 대응되는 깊이 지도에서의 영역에서도, 비슷한 깊이 값들을 가지도록 한다.
또 달리, 필터(130)는 상기 제2이차원(2D)영상이 깊이(depth) 영상인 경우, 상기 깊이 영상(depth map) 상에서의 깊이 값 유사 영역에 대응되는 영역을, 상기 제1이차원(2D)영상 상에서 찾고, 상기 찾은 영역에서의 특징 정보 값을, 기 설정된 특징 정보 값으로 조정할 수 있다. 이때, 상기 깊이 값이 유사한 영역이라 함은, 깊이(depth) 값이 기 설정된 범위 값 내에 해당하는 영역을 말한다.
즉, 필터(130)는 깊이 영상을 이용하여, 제1이차원(2D)영상인 2차 영상을 선명하게 하는 필터링을 실행할 수 있다.
이때, 상기 특징이 유사한 영역은 특징 정보 값이 기 설정된 범위 값 내에 해당하는 영역을 말하며, 상기 특징 정보 값으로는 휘도(luminance) 또는 RGB값에 관련된 정보 값이 사용될 수 있다.
한편, 이와 같은 필터(130)로는 영상의 엣지(Edge) 또는 컨투어(Contour)에 해당하는 선분 요소들을 선명하게(sharp)하게 하고, 영상에서 유사한 영역 값을 가지는 영역을 동일한 영역 값으로 조정하는, 크로스 바이래터럴 필터(Cross Bilateral Filter)가 사용될 수 있다.
따라서, 개시되는 실시예에 따르면, 깊이 영상(Depth Map) 상의 선명하지 않 은(Blur) 영역을 선명하게 필터링(Filtering)하여, 보다 선명한 깊이 영상을 획득할 수 있다. 그러므로, 단순히 2차원 영상이나 깊이 영상을 개별적으로 스케일링(Scaling)하는 것과 달리, 2차원 영상과 깊이 영상의 위치 정보를 고려한 교차 필터링(Cross Filtering)을 통하여 보다 입체감 있는 3차원 영상을 제공할 수 있다.
도 2는 제안되는 또 다른 실시예에 따른 3차원 영상을 생성기의 구성도이다. 도 2를 참조하여 제안되는 또 다른 실시예에 따른 3차원 영상을 생성기를 설명하기로 한다.
도 2에 도시된 바와 같이, 제안되는 또 다른 실시예에 따른 3차원 영상을 생성기는, 연결기(210), 영상 스케일러(220), 분할기(230), 및 필터(240)를 포함한다.
연결기(Concatenator: 210)는 입력되는 제1이차원(2D)영상 및 제2이차원(2D)영상을 상호 연결한다.
이와 같이, 연결기(210)를 이용하여 제1이차원(2D)영상 및 제2이차원(2D)영상을 상호 연결하는 경우에는, 두 개의 영상 스케일러가 아닌, 하나의 영상 스케일러(220)로 확대(upscale)가 가능하다.
이때, 연결기(210)는 상기 제1이차원(2D)영상 및 제2이차원(2D)영상의 상호 연결시에, 일측면을 나란히 상호 연결할 수 있다. 즉, 상기 제1이차원(2D)영상과 제2이차원(2D)영상의 측면을 상호 연결(Side-by-side)하거나, 또는 상기 제1이차원(2D)영상과 제2이차원(2D)영상의 상하면을 상호 연결(Above-Below)할 수 있다.
즉, 연결기(210)가 상기 제1이차원(2D)영상과 제2이차원(2D)영상의 측면을 상호 연결(Side-by-side)하는 경우에는, 상기 상호 연결에 의하여 생성된 영상이, 제1이차원(2D)영상 또는 제2이차원(2D)영상의 세로 폭과 동일한 크기이나, 가로 폭은 두 배의 크기로 생성될 수 있다.
또한, 연결기(210)는 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 기 선정된 영역으로 분할한 후 결합하여, 체커보드(Checkerboard) 형태의 결합 영상이 생성할 수 있으며, 이외에도 다양한 영상의 결합 방법에 의하여 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 상호 연결할 수 있다.
스케일러(2D Scaler: 220)는 상기 상호 연결된 제1이차원(2D)영상 및 제2이차원(2D)영상을 확대(upscale)한다.
분할기(Seperator: 230)는 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 분리할 수 있다.
필터(240)는 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 선명하게(sharp)하는 필터링(filtering)을 실행한다.
보다 상세하게 설명하면, 필터(240)는 상기 제1이차원(2D)영상을 이용하여 상기 제2이차원(2D)영상을 선명하게(sharp)하는 필터링(filtering), 및 상기 제2이차원(2D)영상을 이용하여 상기 제1이차원(2D)영상을 선명하게(sharp)하는 필터링(filtering) 중에서, 적어도 어느 하나의 필터링을 실행할 수 있다.
즉, 제1이차원(2D)영상을 이용하여 상기 제2이차원(2D)영상을 선명하게(sharp)하거나, 제2이차원(2D)영상을 이용하여 상기 제1이차원(2D)영상을 선명하 게(sharp)하는 필터링을 실행할 수 있다. 또한, 동시에 제1이차원(2D)영상을 이용하여 상기 제2이차원(2D)영상을 선명하게(sharp)하고, 제2이차원(2D)영상을 이용하여 상기 제1이차원(2D)영상을 선명하게(sharp)하는 필터링을 실행할 수 있다.
예를 들어, 필터(240)는 상기 제2이차원(2D)영상이 깊이(depth) 영상인 경우, 상기 제1이차원(2D)영상 상에서의 특징 유사 영역에 대응되는, 상기 깊이 (depth) 영상의 영역에서의 깊이(depth) 값을, 기 설정된 깊이 값으로 조정하는 필터링(filtering)을 실행할 수 있다. 이때, 깊이 영상(depth map)은 상기 3차원 영상의 입체감에 대한 정보를 포함하는 영상을 말하며, 상기 특징 유사 영역은 특징 정보 값이 기 설정된 범위 값 내에 해당하는 영역을 말한다.
다시 말해, 필터(240)는 제2이차원(2D)영상 상에서 유사한 RGB값 또는 휘도값에 해당하는 유사한 특징 값을 가지는 영역에 매칭되는, 깊이 영상에서의 영역은 기 설정된 비슷한 깊이 값을 갖도록 할 수 있다.
또한, 필터(240)는 영상의 엣지(Edge) 또는 컨투어(Contour)에 해당하는 선분 요소들을 선명하게(sharp)하게 하고, 영상에서 유사한 영역 값을 가지는 영역을 동일한 영역 값으로 조정하는, 크로스 바이래터럴 필터(Cross Bilateral Filter)로 구성되어, 필터링을 실행할 수 있다.
도 3은 제안되는 실시예에 따른 영상의 스케일링 방법을 설명하기 위한 도면이다. 보다 상세하게 설명하면, 도 3은 제안되는 실시예에 따른 제1이차원(2D)영상을 확대한 영상(310), 종래 기술에 따른 깊이 영상(depth map)을 확대한 영상(320), 및 제안되는 실시예에 따른 깊이 영상을 확대한 영상(330)이 도시되어 있 다.
종래 기술에 따른 깊이 영상(depth map)을 확대한 영상(320)은, 스케일(Scale) 시에 발생하는 작은 오차들에 의하여 디스플레이(Display)에서 3차원 영상의 구현시에 공간상의 매우 큰 왜곡을 발생시킬 수 있다.
다-시점(Multi view)의 3차원 영상인 경우에는 관측 각도의 범위가 넓으므로, 오차가 발생한 깊이 영상을 사용하여 3차원 영상을 생성하는 경우에는, 오차가 누적(Accumulate)되어 시각적 왜곡이 포함된 3차원 영상이 생성될 수 있다.
제안되는 실시예에 따르면, 제1이차원(2D)영상을 확대한 영상(310)을 이용하여, 보다 정확한(Accurate) 깊이 영상을 확대한 영상(330)을 생성할 수 있다.
즉, 제안되는 실시예에 따른 필터는 제1이차원(2D)영상의 색상 정보들을 통하여, 깊이 영상의 엣지(Edge) 또는 윤곽(Contour)가 있는 부분 중에서 선명하지 않은(blur) 영역을 보다 선명하게(sharp)하게 필터링을 실행할 수 있다.
따라서, 제안되는 실시예에 따르면 제1이차원(2D)영상과 깊이 영상 간의 정렬 정확도(Alignment Accuracy)를 높인 경우, 보다 선명한 3원 영상을 얻을 수 있다.
도 4는 제안되는 실시예에 따른 3차원 영상을 생성하는 방법을 설명하기 위한 흐름도이다. 도 4를 참조하여 제안되는 실시예에 따른 3차원 영상을 생성하는 방법을 설명하기로 한다.
연결기(Concatenator)는 입력되는 제1이차원(2D)영상 및 제2이차원(2D)영상을 상호 연결한다(S410).
이와 같이, 연결기를 이용하여 입력되는 제1이차원(2D)영상 및 제2이차원(2D)영상을 상호 연결하는 경우에는, 두 개의 영상 스케일러가 아닌, 하나의 영상 스케일러로 확대(upscale)가 가능하다.
이때, 연결기는 상기 제1이차원(2D)영상 및 제2이차원(2D)영상의 상호 연결시에, 일측면을 나란히 상호 연결할 수 있다. 즉, 상기 제1이차원(2D)영상과 제2이차원(2D)영상의 측면을 상호 연결(Side-by-side)하거나, 또는 상기 제1이차원(2D)영상과 제2이차원(2D)영상의 상하면을 상호 연결(Above-Below)할 수 있다.
또한, 연결기는 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 기 선정된 영역으로 분할한 후 결합하여, 체커보드(Checkerboard) 형태의 결합 영상이 생성할 수 있으며, 이외에도 다양한 영상의 결합 방법에 의하여 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 상호 연결할 수 있다.
스케일러는 상기 상호 연결된 제1이차원(2D)영상 및 제2이차원(2D)영상을 확대(upscale)한다(S420).
분할기(Seperator)는 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 분리할 수 있다(S430).
필터는 상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 선명하게(sharp)하는 필터링(filtering)을 실행한다(S440).
이때, 필터는 상기 제1이차원(2D)영상을 이용하여 상기 제2이차원(2D)영상을 선명하게(sharp)하는 필터링(filtering), 및 상기 제2이차원(2D)영상을 이용하여 상기 제1이차원(2D)영상을 선명하게(sharp)하는 필터링(filtering) 중에서, 적어도 어느 하나의 필터링을 실행할 수 있다.
즉, 제1이차원(2D)영상을 이용하여 상기 제2이차원(2D)영상을 선명하게(sharp)하거나, 제2이차원(2D)영상을 이용하여 상기 제1이차원(2D)영상을 선명하게(sharp)하는 필터링을 실행할 수 있다. 또한, 동시에 제1이차원(2D)영상을 이용하여 상기 제2이차원(2D)영상을 선명하게(sharp)하고, 제2이차원(2D)영상을 이용하여 상기 제1이차원(2D)영상을 선명하게(sharp)하는 필터링을 실행할 수 있다.
따라서, 개시되는 실시예에 따르면, 선명한 깊이 영상(Depth Map)을 이용하여 보다 향상된 3차원 영상을 얻을 수 있는 3차원 영상 콘텐츠(3D Content Generation) 알고리즘을 제공하고, 그에 따라 3차원 영상의 시청이 가능한 TV, Monitor 등의 다양한 디스플레이(Display)를 통하여, 보다 입체감과 임장감 있는 시청환경을 제공할 수 있다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 제안되는 실시예에 따른 3차원 영상을 생성기의 구성도이다.
도 2는 제안되는 또 다른 실시예에 따른 3차원 영상을 생성기의 구성도이다.
도 3은 제안되는 실시예에 따른 영상의 스케일링 방법을 설명하기 위한 도면이다.
도 4는 제안되는 실시예에 따른 3차원 영상을 생성하는 방법을 설명하기 위한 흐름도이다.
<도면의 주요 부분에 대한 부호의 설명>
110: 제1영상 스케일러 120: 제2영상 스케일러
130: 필터 210: 연결기
220: 영상 스케일러 230: 분할기
240: 필터

Claims (19)

  1. 제1이차원(2D)영상 및 제2이차원(2D)영상을 이용하여 3차원 영상을 생성하는 방법에 있어서,
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 확대(upscale)하는 단계; 및
    상기 제1이차원(2D)영상을 이용하여 상기 제2이차원(2D)영상을 선명하게(sharp)하는 교차 필터링(cross filtering)을 실행하고, 상기 제2이차원(2D)영상을 이용하여 상기 제1이차원(2D)영상을 선명하게(sharp)하는 교차 필터링(cross filtering)을 실행하는 필터링 단계
    를 포함하는 것을 특징으로 하는 3차원 영상을 생성하는 방법.
  2. 제1항에 있어서,
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상 중에서 어느 하나의 영상은,
    상기 3차원 영상의 입체감에 대한 정보를 포함하는 깊이 영상(depth map)
    인 것을 특징으로 하는 3차원 영상을 생성하는 방법.
  3. 제1항에 있어서,
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 확대(upscale)하는 단계는,
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 상호 연결하는 단계;
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 확대(upscale)하는 단계; 및
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 분리하는 단계
    를 포함하는 것을 특징으로 하는 3차원 영상을 생성하는 방법.
  4. 제3항에 있어서,
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 상호 연결하는 단계는,
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상의 일측면을 나란히 상호 연결하는 단계
    인 것을 특징으로 하는 3차원 영상을 생성하는 방법.
  5. 제3항에 있어서,
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 상호 연결하는 단계는,
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 기 선정된 영역으로 분할한 후 결합하여, 상호 연결하는 단계
    인 것을 특징으로 하는 3차원 영상을 생성하는 방법.
  6. 제1항에 있어서,
    상기 제1이차원(2D)영상을 이용하여 상기 제2이차원(2D)영상을 선명하게(sharp)하는 교차 필터링(cross filtering)은,
    상기 제2이차원(2D)영상이 깊이(depth) 영상인 경우, 상기 제1이차원(2D)영상 상에서의 특징 유사 영역에 대응되는, 상기 깊이 (depth) 영상의 영역에서의 깊이(depth) 값을, 기 설정된 깊이 값으로 조정하는 필터링(filtering)이며,
    상기 특징 유사 영역은,
    특징 정보 값이 기 설정된 범위 값 내에 해당하는 영역인 것을 특징으로 하는 3차원 영상을 생성하는 방법.
  7. 제1항에 있어서,
    상기 제2이차원(2D)영상을 이용하여 상기 제1이차원(2D)영상을 선명하게(sharp)하는 교차 필터링(cross filtering)은,
    상기 제2이차원(2D)영상이 깊이(depth) 영상인 경우, 상기 깊이(depth) 영상 상에서의 깊이 값 유사 영역에 대응되는, 상기 제1이차원(2D)영상의 영역에서의 특징 정보 값을, 기 설정된 특징 정보 값으로 조정하는 필터링(filtering)이며,
    상기 깊이 값 유사 영역은,
    깊이(depth) 값이 기 설정된 범위 값 내에 해당하는 영역인 것을 특징으로 하는 3차원 영상을 생성하는 방법.
  8. 제6항 또는 제7항 중 어느 하나의 항에 있어서,
    상기 특징 정보 값은,
    휘도(luminance) 또는 RGB값에 관련된 정보 값인 것을 특징으로 하는 3차원 영상을 생성하는 방법.
  9. 제1항에 있어서,
    상기 필터링 단계는,
    영상의 엣지(Edge) 또는 컨투어(Contour)에 해당하는 선분 요소들을 선명하게(sharp)하게 하고, 영상에서 유사한 영역 값을 가지는 영역을 동일한 영역 값으로 조정하는, 크로스 바이래터럴 필터(Cross Bilateral Filter)를 사용하여, 교차 필터링을 실행하는 단계
    인 것을 특징으로 하는 3차원 영상을 생성하는 방법.
  10. 제1이차원(2D)영상 및 제2이차원(2D)영상을 이용하여 3차원 영상을 생성하는 3차원 영상 생성기에 있어서,
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 확대(upscale)하는 영상 스케일러; 및
    상기 제1이차원(2D)영상을 이용하여 상기 제2이차원(2D)영상을 선명하게(sharp)하는 교차 필터링(filtering)을 실행하고, 상기 제2이차원(2D)영상을 이용하여 상기 제1이차원(2D)영상을 선명하게(sharp)하는 교차 필터링(cross filtering)을 실행하는 필터
    를 포함하는 것을 특징으로 하는 3차원 영상 생성기.
  11. 제10항에 있어서,
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상 중에서 어느 하나의 영상은,
    상기 3차원 영상의 입체감에 대한 정보를 포함하는 깊이 영상(depth map)
    인 것을 특징으로 하는 3차원 영상 생성기.
  12. 제10항에 있어서,
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 상호 연결하는 연결기(Concatenator); 및
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 분리하는 분할기(Seperator)
    를 더 포함하는 것을 특징으로 하는 3차원 영상 생성기.
  13. 제12항에 있어서,
    상기 연결기는,
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상의 일측면을 나란히 상호 연결하는 것을 특징으로 하는 3차원 영상 생성기.
  14. 제12항에 있어서,
    상기 연결기는,
    상기 제1이차원(2D)영상 및 제2이차원(2D)영상을 기 선정된 영역으로 분할한 후 결합하여, 상호 연결하는 것을 특징으로 하는 3차원 영상 생성기.
  15. 제10항에 있어서,
    상기 필터는,
    상기 제2이차원(2D)영상이 깊이(depth) 영상인 경우, 상기 제1이차원(2D)영상 상에서의 특징 유사 영역에 대응되는, 상기 깊이 (depth) 영상의 영역에서의 깊이(depth) 값을, 기 설정된 깊이 값으로 조정하는 교차 필터링(cross filtering)을 실행하며,
    상기 특징 유사 영역은,
    특징 정보 값이 기 설정된 범위 값 내에 해당하는 영역인 것을 특징으로 하는 3차원 영상 생성기.
  16. 제10항에 있어서,
    상기 필터는,
    상기 제2이차원(2D)영상이 깊이(depth) 영상인 경우, 상기 깊이(depth) 영상 상에서의 깊이 값 유사 영역에 대응되는, 상기 제1이차원(2D)영상의 영역에서의 특징 정보 값을, 기 설정된 특징 정보 값으로 조정하는 교차 필터링(cross filtering)을 실행하며,
    상기 깊이 값 유사 영역은,
    깊이(depth) 값이 기 설정된 범위 값 내에 해당하는 영역인 것을 특징으로 하는 3차원 영상 생성기.
  17. 제15항 또는 제16항 중 어느 하나의 항에 있어서,
    상기 특징 정보 값은,
    휘도(luminance) 또는 RGB값에 관련된 정보 값인 것을 특징으로 하는 3차원 영상 생성기.
  18. 제10항에 있어서,
    상기 필터는,
    영상의 엣지(Edge) 또는 컨투어(Contour)에 해당하는 선분 요소들을 선명하게(sharp)하게 하고, 영상에서 유사한 영역 값을 가지는 영역을 동일한 영역 값으로 조정하는, 크로스 바이래터럴 필터(Cross Bilateral Filter)로 구성되어, 교차 필터링을 실행하는 것을 특징으로 하는 3차원 영상 생성기.
  19. 제10항에 있어서,
    상기 영상 스케일러는,
    상기 제1이차원(2D)영상을 확대(upscale)하는 제1영상 스케일러; 및
    상기 제2이차원(2D)영상을 확대(upscale)하는 제2영상 스케일러
    를 포함하는 것을 특징으로 하는 3차원 영상 생성기.
KR1020080109930A 2008-11-06 2008-11-06 삼차원 영상 생성기 및 그 제어 방법 KR101502365B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080109930A KR101502365B1 (ko) 2008-11-06 2008-11-06 삼차원 영상 생성기 및 그 제어 방법
US12/402,732 US8253733B2 (en) 2008-11-06 2009-03-12 3D image generation apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080109930A KR101502365B1 (ko) 2008-11-06 2008-11-06 삼차원 영상 생성기 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20100050838A KR20100050838A (ko) 2010-05-14
KR101502365B1 true KR101502365B1 (ko) 2015-03-13

Family

ID=42130808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080109930A KR101502365B1 (ko) 2008-11-06 2008-11-06 삼차원 영상 생성기 및 그 제어 방법

Country Status (2)

Country Link
US (1) US8253733B2 (ko)
KR (1) KR101502365B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10212412B2 (en) 2015-03-25 2019-02-19 Electronics And Telecommunications Research Institute Method of increasing photographing speed of photographing device

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120269458A1 (en) * 2007-12-11 2012-10-25 Graziosi Danillo B Method for Generating High Resolution Depth Images from Low Resolution Depth Images Using Edge Layers
EP2184713A1 (en) * 2008-11-04 2010-05-12 Koninklijke Philips Electronics N.V. Method and device for generating a depth map
US9053562B1 (en) 2010-06-24 2015-06-09 Gregory S. Rabin Two dimensional to three dimensional moving image converter
CN101894265B (zh) * 2010-06-29 2012-10-03 北京航空航天大学 基于相关度信息的三维模型的特征提取方法和装置
KR20120003147A (ko) * 2010-07-02 2012-01-10 삼성전자주식회사 루프 필터를 이용한 깊이 영상 부호화 장치 및 복호화 장치
KR101233398B1 (ko) * 2010-12-10 2013-02-15 광주과학기술원 깊이 지도 생성 방법 및 장치
TR201010439A2 (tr) * 2010-12-14 2012-07-23 Vestel Elektroni̇k San. Ve Ti̇c. A.Ş. Derinlik verilerinin yukarı örneklenmesi
KR101694292B1 (ko) * 2010-12-17 2017-01-09 한국전자통신연구원 스테레오 영상 정합 장치 및 그 방법
BR112013021276A2 (pt) 2011-02-23 2018-06-12 Koninklijke Philips Nv dispositivo e método de processamento de sinal para processar dados da imagem tridimensional, gerador de ponto de vista, gerador dos dados de profundidade e programa de computador
WO2013081383A1 (ko) * 2011-11-29 2013-06-06 삼성전자주식회사 깊이 영상을 고해상도로 변환하는 방법 및 장치
KR101978172B1 (ko) 2011-11-29 2019-05-15 삼성전자주식회사 깊이 영상을 고해상도로 변환하는 방법 및 장치
US20130202194A1 (en) * 2012-02-05 2013-08-08 Danillo Bracco Graziosi Method for generating high resolution depth images from low resolution depth images using edge information
WO2013124312A1 (en) * 2012-02-21 2013-08-29 Tp Vision Holding B.V. Object-aligned filtering method and apparatus
JP5982907B2 (ja) * 2012-03-19 2016-08-31 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
KR101938205B1 (ko) 2012-03-19 2019-01-14 한국전자통신연구원 깊이 영상 필터링 방법 및 그 장치
WO2013173749A1 (en) * 2012-05-17 2013-11-21 The Regents Of The University Of California Sampling-based multi-lateral filter method for depth map enhancement and codec
KR101909630B1 (ko) 2012-10-30 2018-10-18 삼성전자주식회사 동작 인식 방법 및 동작 인식 장치
US9992021B1 (en) 2013-03-14 2018-06-05 GoTenna, Inc. System and method for private and point-to-point communication between computing devices
JP2017021759A (ja) * 2015-07-15 2017-01-26 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US10445861B2 (en) * 2017-02-14 2019-10-15 Qualcomm Incorporated Refinement of structured light depth maps using RGB color data
CN107170008B (zh) * 2017-05-19 2019-12-24 成都通甲优博科技有限责任公司 一种深度图创建方法、系统以及图像虚化方法、系统
US20210019923A1 (en) * 2018-03-20 2021-01-21 Nec Corporation Imaging apparatus and imaging method
KR20220085481A (ko) 2020-12-15 2022-06-22 삼성전자주식회사 영상 처리 방법 및 영상 처리 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060044388A1 (en) * 2004-08-26 2006-03-02 Sung-Sik Kim Method of generating stereoscopic image signal and method of scaling the same
US20080252638A1 (en) * 2005-05-13 2008-10-16 Koninklijke Philips Electronics, N.V. Cost Effective Rendering for 3D Displays

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4188968B2 (ja) 2003-01-20 2008-12-03 三洋電機株式会社 立体視用映像提供方法及び立体映像表示装置
KR100513055B1 (ko) 2003-12-11 2005-09-06 한국전자통신연구원 변이지도 및 깊이지도의 융합을 통한 3차원 장면 모델생성 장치 및 그 방법
KR100603601B1 (ko) 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
KR100656783B1 (ko) 2004-12-14 2006-12-12 한국전자통신연구원 양안식 입체 영상 전송 장치 및 그 방법과 그를 이용한양안식 입체 영상 렌더링 장치 및 그 방법
US20060248210A1 (en) * 2005-05-02 2006-11-02 Lifesize Communications, Inc. Controlling video display mode in a video conferencing system
WO2007132397A2 (en) * 2006-05-09 2007-11-22 Koninklijke Philips Electronics N.V. Up-scaling
WO2008041178A2 (en) * 2006-10-04 2008-04-10 Koninklijke Philips Electronics N.V. Image enhancement
US7889949B2 (en) * 2007-04-30 2011-02-15 Microsoft Corporation Joint bilateral upsampling

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060044388A1 (en) * 2004-08-26 2006-03-02 Sung-Sik Kim Method of generating stereoscopic image signal and method of scaling the same
KR20060019012A (ko) * 2004-08-26 2006-03-03 삼성전자주식회사 입체 영상 신호 발생 방법 및 이에 적합한 스케일링 방법
US20080252638A1 (en) * 2005-05-13 2008-10-16 Koninklijke Philips Electronics, N.V. Cost Effective Rendering for 3D Displays

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10212412B2 (en) 2015-03-25 2019-02-19 Electronics And Telecommunications Research Institute Method of increasing photographing speed of photographing device

Also Published As

Publication number Publication date
KR20100050838A (ko) 2010-05-14
US20100110070A1 (en) 2010-05-06
US8253733B2 (en) 2012-08-28

Similar Documents

Publication Publication Date Title
KR101502365B1 (ko) 삼차원 영상 생성기 및 그 제어 방법
JP6147275B2 (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
JP5068391B2 (ja) 画像処理装置
KR101625830B1 (ko) 깊이 맵을 생성하기 위한 방법 및 디바이스
EP1582074B1 (en) Video filtering for stereo images
JP2010158009A (ja) 映像処理方法及びその装置
KR101584115B1 (ko) 시각적 관심맵 생성 장치 및 방법
KR100795481B1 (ko) 다시점화상의 처리 방법 및 장치
JP2008538871A (ja) 平面パススルーを有する自動立体ディスプレイ
CN102972038A (zh) 图像处理装置、图像处理方法、程序、集成电路
JP2011223566A (ja) 画像変換装置及びこれを含む立体画像表示装置
JP2011199389A (ja) 画像処理装置、画像変換方法、およびプログラム
US9167223B2 (en) Stereoscopic video processing device and method, and program
US20130027391A1 (en) Stereoscopic image system
EP2498501A2 (en) 3D image display method and apparatus thereof
US9088774B2 (en) Image processing apparatus, image processing method and program
TWI511525B (zh) 用於產生、傳送及接收立體影像之方法，以及其相關裝置
JP2006229818A (ja) 立体画像表示装置
CN102026012B (zh) 平面视频立体化转换深度图生成方法和装置
Jiufei et al. A new virtual view rendering method based on depth image
JP2014072809A (ja) 画像生成装置、画像生成方法、画像生成装置用プログラム
KR101451236B1 (ko) 3차원 영상 변환 방법 및 그 장치
KR101302431B1 (ko) 2차원 영상을 스테레오 영상으로 변환하는 방법
US20120200678A1 (en) Image processing apparatus, image processing method, and program
US9053567B2 (en) Stereoscopic image processing device and stereoscopic image processing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180220

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190221

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200225

Year of fee payment: 6