KR20110056777A - 출력모드 전환방법 및 이를 이용한 디스플레이 장치와 ３ｄ 영상 제공 시스템 - Google Patents

출력모드 전환방법 및 이를 이용한 디스플레이 장치와 ３ｄ 영상 제공 시스템 Download PDF

Info

Publication number
KR20110056777A
KR20110056777A KR1020090113243A KR20090113243A KR20110056777A KR 20110056777 A KR20110056777 A KR 20110056777A KR 1020090113243 A KR1020090113243 A KR 1020090113243A KR 20090113243 A KR20090113243 A KR 20090113243A KR 20110056777 A KR20110056777 A KR 20110056777A
Authority
KR
South Korea
Prior art keywords
image
output mode
shutter glass
state
eye image
Prior art date
Application number
KR1020090113243A
Other languages
English (en)
Other versions
KR101638959B1 (ko
Inventor
고창석
한지연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020090113243A priority Critical patent/KR101638959B1/ko
Priority to US12/943,637 priority patent/US9414041B2/en
Priority to EP10191295.4A priority patent/EP2326099A3/en
Priority to JP2010257805A priority patent/JP5745822B2/ja
Publication of KR20110056777A publication Critical patent/KR20110056777A/ko
Priority to US14/922,633 priority patent/US20160041662A1/en
Application granted granted Critical
Publication of KR101638959B1 publication Critical patent/KR101638959B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
    • G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

출력모드 전환방법 및 이를 이용한 디스플레이 장치와 3D 영상 제공 시스템이 개시된다. 본 3D 영상 출력모드와 2D 영상 출력모드 간의 전환방법은, 셔터 글래스로부터 상태정보를 수신하는 단계 및 상태정보를 기초로 출력모드를 전환하거나 출력모드의 전환을 위한 메시지를 표시하는 단계를 포함한다. 이에 의해, 3D 영상에 대한 사용자의 시청의도가 고려된 출력모드로 영상이 제공되게 된다.
3D 영상, 셔터 글래스

Description

출력모드 전환방법 및 이를 이용한 디스플레이 장치와 ３Ｄ 영상 제공 시스템{Display mode changing method, and display apparatus and 3D image providing system using the same}
본 발명은 출력모드 전환방법 및 이를 이용한 디스플레이 장치와 3D 영상 제공 시스템에 관한 것으로, 보다 상세하게는 3D 출력모드와 2D 출력모드 간의 전환 방법 및 이를 이용한 디스플레이 장치와 3D 영상 제공 시스템에 관한 것이다.
3차원 입체 영상 기술은 정보통신, 방송, 의료, 교육 훈련, 군사, 게임, 애니메이션, 가상현실, CAD, 산업 기술 등 그 응용 분야가 매우 다양하며 이러한 여러 분야에서 공통적으로 요구되는 차세대 3차원 입체 멀티미디어 정보 통신의 핵심 기반 기술이라고 할 수 있다.
일반적으로 사람이 지각하는 입체감은 관찰하고자 하는 물체의 위치에 따른 수정체의 두께 변화 정도, 양쪽 눈과 대상물과의 각도 차이, 그리고 좌우 눈에 보이는 대상물의 위치 및 형태의 차이, 대상물의 운동에 따라 생기는 시차, 그 밖에 각종 심리 및 기억에 의한 효과 등이 복합적으로 작용해 생긴다.
그 중에서도 사람의 두 눈이 가로 방향으로 약 6~7㎝가량 떨어져 위치함으로 써 나타나게 되는 양안 시차(binocular disparity)는 입체감의 가장 중요한 요인이라고 할 수 있다. 즉 양안 시차에 의해 대상물에 대한 각도 차이를 가지고 바라보게 되고, 이 차이로 인해 각각의 눈에 들어오는 이미지가 서로 다른 상을 갖게 되며 이 두 영상이 망막을 통해 뇌로 전달되면 뇌는 이 두 개의 정보를 정확히 서로 융합하여 본래의 3차원 입체 영상을 느낄 수 있는 것이다.
입체 영상 디스플레이 장치로는 특수안경을 사용하는 안경식과 특수안경을 사용하지 않는 비안경식으로 구분된다. 안경식은 상호 보색 관계에 있는 색 필터를 이용해 영상을 분리 선택하는 색필터 방식, 직교한 편광 소자의 조합에 의한 차광 효과를 이용해서 좌안과 우안의 영상을 분리하는 편광필터 방식 및 좌안 영상신호와 우안 영상신호를 스크린에 투사하는 동기신호에 대응하여 좌안과 우안을 교번적으로 차단함으로써 입체감을 느낄 수 있도록 하는 셔터 글래스 방식이 존재한다.
이 중 셔터 글래스 방식은 양쪽 눈의 시차를 이용한 디스플레이 방법으로서, 디스플레이 장치의 영상 제공과 안경 좌우 양안의 온-오프를 동기화하여, 각각 다른 각도에서 관찰된 영상이 두뇌작용으로 인한 공간감을 인식하도록 하는 방식이다.
한편, 사용자는 입체 영상에 대한 원활한 시청을 위해, 입체 영상에 대한 각종 설정 사항들을 변경시킬 수 있다. 그러나, 기존의 입체 영상에 대한 설정은 사용자가 직접 메뉴 조작을 하여야 하며, 이는 사용자에게 상당한 번거로움이 아닐 수 없게 된다.
이에 따라, 사용자의 시청의도를 능동적으로 고려하고, 사용자의 시청의도에 따라 3D 영상에 대한 출력모드를 변환하기 위한 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 자동으로 3D 영상에 대한 출력모드가 전환되는 출력모드 전환방법 및 이를 이용한 디스플레이 장치와 3D 영상 제공 시스템을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 3D(3-Dimension) 영상 출력모드와 2D(2-Dimension) 영상 출력모드 간의 전환방법은, 셔터 글래스로부터 상기 셔터 글래스에 대한 상태정보를 수신하는 단계; 및 상기 상태정보를 기초로, 출력모드를 전환하거나 상기 출력모드의 전환을 위한 메시지를 표시하는 단계;를 포함한다.
여기서, 상기 상태정보는, 상기 셔터 글래스의 전원 ON/OFF 상태, 상기 셔터 글래스의 배터리 충전 상태 및 상기 셔터 글래스의 개폐 상태 중 적어도 하나에 관한 정보일 수 있다.
그리고, 상기 전환 또는 표시 단계는, 상기 3D 영상 출력모드 중에 상기 셔터 글래스의 전원 OFF 상태에 관한 상태정보가 수신된 경우, 상기 3D 영상 출력모드를 상기 2D 영상 출력모드로 자동 전환할 수 있다.
또한, 상기 전환 또는 표시 단계는, 상기 2D 영상 출력모드 중에 상기 셔터 글래스의 전원 ON 상태에 관한 상태 정보가 수신된 경우, 상기 2D 영상 출력모드를 상기 3D 영상 출력모드로 자동 전환할 수 있다.
그리고, 상기 전환 또는 표시 단계는, 상기 3D 영상 출력모드 중에 상기 셔 터 글래스의 전원 OFF 상태에 관한 상태정보가 수신된 경우, 상기 셔터 글래스의 전원 ON을 요청하는 메시지를 표시할 수 있다.
또한, 본 발명의 일 실시예에 따른 출력모드 전환방법은, 상기 셔터 글래스의 전원 OFF 상태에 관한 상태정보가 수신된 이후, 상기 셔터 글래스의 전원 ON 상태에 관한 상태정보가 수신된 경우, 상기 메시지에 대한 표시를 종료하는 단계;를 더 포함할 수 있다.
그리고, 상기 전환 또는 표시 단계는, 상기 2D 영상 출력모드 중에 상기 셔터 글래스의 전원 ON 상태에 관한 상태정보가 수신된 경우, 상기 3D 영상 출력모드로 전환할 것인지 여부를 문의하는 메시지를 표시할 수 있다.
또한, 상기 셔터 글래스는, 기설정된 시간 간격으로 상기 상태정보를 전송하거나, 상기 상태정보에 대한 전송요청이 수신된 경우 상기 상태정보를 전송할 수 있다.
그리고, 상기 3D 영상 출력모드는, 상기 3D 영상을 구성하는 좌안 영상과 우안 영상이 화면 전체에서 교번적으로 표시되는 모드이고, 상기 2D 영상 출력모드는, 상기 좌안 영상과 상기 우안 영상이 상기 화면에서 분할되어 표시되는 모드일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 3D(3-Dimension) 영상 출력모드 또는 2D(2-Dimension) 영상 출력모드로 동작되는 디스플레이 장치는, 셔터 글래스로부터 상기 셔터 글래스에 대한 상태정보를 수신하기 위한 통신 인터페이스; 및 상기 상태정보를 기초로, 출력모드가 전환되거나 상기 출 력모드의 전환을 위한 메시지가 표시되도록 하는 제어부;를 포함한다.
여기서, 상기 상태정보는, 상기 셔터 글래스의 전원 ON/OFF 상태, 상기 셔터 글래스의 배터리 충전 상태 및 상기 셔터 글래스의 개폐 상태 중 적어도 하나에 관한 정보일 수 있다.
그리고, 상기 제어부는, 상기 3D 영상 출력모드 중에 상기 셔터 글래스의 전원 OFF 상태에 관한 상태정보가 수신된 경우, 상기 3D 영상 출력모드가 상기 2D 영상 출력모드로 자동 전환되도록 할 수 있다.
또한, 상기 제어부는, 상기 2D 영상 출력모드 중에 상기 셔터 글래스의 전원 ON 상태에 관한 상태 정보가 수신된 경우, 상기 2D 영상 출력모드가 상기 3D 영상 출력모드로 자동 전환되도록 할 수 있다.
그리고, 상기 제어부는, 상기 3D 영상 출력모드 중에 상기 셔터 글래스의 전원 OFF 상태에 관한 상태정보가 수신된 경우, 상기 셔터 글래스의 전원 ON을 요청하는 메시지가 표시되도록 할 수 있다.
또한, 상기 제어부는, 상기 셔터 글래스의 전원 OFF 상태에 관한 상태정보가 수신된 이후, 상기 셔터 글래스의 전원 ON 상태에 관한 상태정보가 수신된 경우, 상기 메시지에 대한 표시를 종료시킬 수 있다.
그리고, 상기 제어부는, 상기 2D 영상 출력모드 중에 상기 셔터 글래스의 전원 ON 상태에 관한 상태정보가 수신된 경우, 상기 3D 영상 출력모드로 전환할 것인지 여부를 문의하는 메시지가 표시되도록 할 수 있다.
또한, 상기 셔터 글래스는, 기설정된 시간 간격으로 상기 상태정보를 전송하 거나, 상기 상태정보에 대한 전송요청이 수신된 경우 상기 상태정보를 전송할 수 있다.
그리고, 상기 3D 영상 출력모드는, 상기 3D 영상을 구성하는 좌안 영상과 우안 영상이 화면 전체에서 교번적으로 표시되는 모드이고, 상기 2D 영상 출력모드는, 상기 좌안 영상과 상기 우안 영상이 상기 화면에서 분할되어 표시되는 모드일 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 3D 영상 제공 시스템은, 외부로부터 수신된 동기신호를 기초로 좌안 글래스와 우안 글래스를 교번적으로 개폐하며, 상기 셔터 글래스에 관한 상태정보를 외부로 전송하는 셔터 글래스; 및 3D(3-Dimension) 영상 출력모드 또는 2D(2-Dimension) 영상 출력모드로 동작되며, 상기 상태정보를 수신하여, 상기 상태정보를 기초로 출력모드를 전환하거나 상기 출력모드의 전환을 위한 메시지를 표시하는 디스플레이 장치;를 포함한다.
이에 의해, 3D 영상에 대한 사용자의 시청의도가 고려된 출력모드로 영상이 제공되게 된다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다. 특히, 도 1 내지 도 4를 참조하여 본 발명의 일 실시예에 따른 3D(3-Dimension) 영상 제공 시스템의 동작원리와 구성에 대해 설명하기로 하고, 도 5a 내지 도 5c를 참조하여 3D 영상에 대한 처리과정에 대해 설명하기로 한다. 또한, 도 6 및 도 7을 참조하여 3D 영상에 대한 화면 전환 과정에 대해 설명하기로 하고, 도 8을 참조하여 출력모드가 전환되는 동작 흐름에 대해 설명하기로 한다. 그리고, 도 9 및 도 10을 참조하여, 기타 실시예에 따른 구성에 대해 설명하기로 한다.
< 3D 영상 제공 시스템의 동작원리 및 구성 >
도 1은 본 발명의 일 실시예에 따른 3D 영상 제공 시스템을 도시한 도면이다. 도시된 바와 같이, 3D 영상 제공 시스템은 3D 영상을 생성하기 위한 카메라(100), 3D 영상을 화면에 표시하기 위한 TV(200) 및 3D 영상을 시청하기 위한 셔터 글래스(300)로 구성된다.
카메라(100)는 3D 영상을 생성하기 위한 촬영 장치의 일종으로서, 사용자의 좌안에 제공하기 위한 목적으로 촬영된 좌안 영상과 사용자의 우안에 제공하기 위한 목적으로 촬영된 우안 영상을 생성한다. 즉, 3D 영상은 좌안 영상과 우안 영상으로 구성되며, 이러한 좌안 영상과 우안 영상이 사용자의 좌안과 우안에 각각 교번적으로 제공되면서, 양안 시차에 의한 입체감이 발생되게 되는 것이다.
이를 위해, 카메라(100)는 좌안 영상을 생성하기 위한 좌안 카메라와 우안 영상을 생성하기 위한 우안 카메라로 구성되고, 좌안 카메라와 우안 카메라 간의 간격은, 사람의 두 눈 간의 이격 간격으로부터 고려되게 된다.
카메라(100)는 촬영된 좌안 영상과 우안 영상을 TV(200)로 전달한다. 특히, 카메라(100)가 TV(200)로 전달하는 좌안 영상과 우안 영상은, 하나의 프레임에 좌안 영상 및 우안 영상 중 하나의 영상만으로 구성된 포맷으로 전달되거나, 하나의 프레임에 좌안 영상과 우안 영상이 모두 포함되도록 구성된 포맷으로 전달될 수 있다.
이하에서는, TV(200)로 전달되는 3D 영상의 포맷에 대한 구체적인 설명을 위해 도 2a 내지 도 2f를 참조하기로 한다.
도 2a 내지 도 2f는 3D 영상의 포맷을 설명하기 위한 도면이다. 도 2a 내지 도 2f에서는 설명의 편의를 위해 좌안 영상 부분을 백색으로 표시하고 우안 영상 부분을 흑색으로 표시하였다.
우선, 도 2a는 일반적인 프레임 시퀀스 방식에 따른 3D 영상의 포맷을 도시한 도면이다. 프레임 시퀀스 방식에 의할 경우, 3D 영상의 포맷은 하나의 프레임에 하나의 좌안 영상 또는 하나의 우안 영상이 삽입된 포맷이 된다.
이러한 포맷에 의할 경우, 1920*1080의 해상도를 가지는 3D 영상은, '좌안 카메라에 의해 촬영된 좌안 영상 L1이 포함된 프레임 -> 우안 카메라에 의해 촬영된 우안 영상 R1이 포함된 프레임 -> 좌안 카메라에 의해 촬영된 좌안 영상 L2가 포함된 프레임 -> 우안 카메라에 의해 촬영된 우안 영상 R2가 포함된 프레임 -> …'으로 구성되게 된다.
도 2b는 바톰-업(buttom-up) 방식에 따른 3D 영상의 포맷을 도시한 도면이다. 바톰-업 방식은 상하분할방식으로도 불리며, 이에 의할 경우, 3D 영상의 포맷은 하나의 프레임에 좌안 영상과 우안 영상이 모두 포함된 포맷이 된다. 특히, 바톰-업 방식에 따른 3D 영상의 포맷은, 좌안 영상과 우안 영상이 상하로 구분되며, 좌안 영상이 상측에 마련되고 우안 영상이 하측에 마련된 포맷이 된다.
이를 위해, 카메라(100)에서 촬영된 좌안 영상과 우안 영상은 상하 방향으로 축소 스케일링되어 각각 1920*540의 해상도로 변환되고, 이후 축소된 좌안 영상과 우안 영상이 1920*1080의 해상도를 가지도록 상하로 통합되어 한 프레임을 구성하며 TV(200)로 전달되게 된다.
이러한 포맷에 의할 경우, 1920*1080의 해상도를 가지는 3D 영상은, '좌안 카메라에 의해 촬영된 좌안 영상 L1(상)과 우안 카메라에 의해 촬영된 우안 영상 R1(하)이 포함된 프레임 -> 좌안 카메라에 의해 촬영된 좌안 영상 L2(상)와 우안 카메라에 의해 촬영된 우안 영상 R2(하)가 포함된 프레임 -> …'으로 구성되게 된다.
도 2c는 사이드 바이 사이드(side by side) 방식에 따른 3D 영상의 포맷을 도시한 도면이다. 사이드 바이 사이드 방식에 의할 경우, 3D 영상의 포맷은 하나의 프레임에 좌안 영상과 우안 영상이 모두 포함된 포맷이 된다. 특히, 사이드 바이 사이드 방식에 따른 3D 영상의 포맷은, 좌안 영상과 우안 영상이 좌우로 구분되며, 좌안 영상이 좌측에 마련되고 우안 영상이 우측에 마련된 포맷이 된다.
이를 위해, 카메라(100)에서 촬영된 좌안 영상과 우안 영상은 좌우 방향으로 축소 스케일링되어 각각 960*1080의 해상도로 변환되고, 이후 축소된 좌안 영상과 우안 영상이 1920*1080의 해상도를 가지도록 좌우로 통합되어 한 프레임을 구성하며 TV(200)로 전달되게 된다.
이러한 포맷에 의할 경우, 1920*1080의 해상도를 가지는 3D 영상은, '좌안 카메라에 의해 촬영된 좌안 영상 L1(좌)과 우안 카메라에 의해 촬영된 우안 영상 R1(우)을 포함하는 프레임 -> 좌안 카메라에 의해 촬영된 좌안 영상 L2(좌)와 우안 카메라에 의해 촬영된 우안 영상 R2(우)을 포함하는 프레임 -> …'으로 구성되게 된다.
도 2d는 수평 인터리브 방식에 따른 3D 영상의 포맷을 도시한 도면이다. 수평 인터리브 방식에 의할 경우, 3D 영상의 포맷은 하나의 프레임에 좌안 영상과 우안 영상이 모두 포함된 포맷이 된다. 특히, 수평 인터리브 방식에 따른 3D 영상의 포맷은, 좌안 영상과 우안 영상이 행 단위로 교번 배치된 포맷이 된다.
이를 위해, 카메라(100)에서 촬영된 좌안 영상과 우안 영상은, ①상하 방향으로 축소 스케일링되어 각각 1920*540의 해상도로 변환된 후, 변환된 좌안 영상과 변환된 우안 영상이 행 단위로 각각 홀수 행 또는 짝수 행에 교번 배치됨으로써 하나의 프레임을 구성할 수도 있고, ②좌안 영상 중 홀수 행의 영상만이 추출되고 우안 영상 중 짝수 행의 영상만이 추출되어, 홀수 행들의 영상과 짝수 행들의 영상이 통합되어 하나의 프레임을 구성할 수도 있을 것이다.
예를 들어, 상기 ①에 따른 포맷에 의할 경우, 3D 영상은, '좌안 카메라에 의해 촬영된 좌안 영상(L1) 중 제1행, 우안 카메라에 의해 촬영된 우안 영상(R1) 중 제1행, 좌안 카메라에 의해 촬영된 좌안 영상(L1) 중 제2행, 우안 영상 카메라에 의해 촬영된 우안 영상(R1) 중 제2행 …'이 하나의 프레임을 구성하게 된다.
또한, 그 다음 프레임에서는, '좌안 카메라에 의해 촬영된 좌안 영상(L2) 중 제1행, 우안 카메라에 의해 촬영된 우안 영상(R2) 중 제1행, 좌안 카메라에 의해 촬영된 좌안 영상(L2) 중 제2행, 우안 영상 카메라에 의해 촬영된 우안 영상(R2) 중 제2행 …'으로 구성되게 된다.
도 2e는 수직 인터리브 방식에 따른 3D 영상의 포맷을 도시한 도면이다. 수직 인터리브 방식에 의할 경우, 3D 영상의 포맷은 하나의 프레임에 좌안 영상과 우안 영상이 모두 포함된 포맷이 된다. 특히, 수직 인터리브 방식에 따른 3D 영상의 포맷은, 좌안 영상과 우안 영상이 열 단위로 교번 배치된 포맷이 된다.
이를 위해, 카메라(100)에서 촬영된 좌안 영상과 우안 영상은, ①좌우 방향으로 축소 스케일링되어 각각 960*1080의 해상도로 변환된 후, 변환된 좌안 영상과 변환된 우안 영상이 행 단위로 각각 홀수 행 또는 짝수 행에 교번 배치됨으로써 하나의 프레임을 구성할 수도 있고, ②좌안 영상 중 홀수 행의 영상만이 추출되고 우안 영상 중 짝수 행의 영상만이 추출되어, 홀수 행들의 영상과 짝수 행들의 영상이 통합되어 하나의 프레임을 구성할 수도 있을 것이다.
예를 들어, 상기 ①에 따른 포맷에 의할 경우, 3D 영상은, '좌안 카메라에 의해 촬영된 좌안 영상(L1) 중 제1열, 우안 카메라에 의해 촬영된 우안 영상(R1) 중 제1열, 좌안 카메라에 의해 촬영된 좌안 영상(L1) 중 제2열, 우안 영상 카메라에 의해 촬영된 우안 영상(R1) 중 제2열 …'이 하나의 프레임을 구성하게 된다.
또한, 그 다음 프레임에서는, '좌안 카메라에 의해 촬영된 좌안 영상(L2) 중 제1열, 우안 카메라에 의해 촬영된 우안 영상(R2) 중 제1열, 좌안 카메라에 의해 촬영된 좌안 영상(L2) 중 제2열, 우안 영상 카메라에 의해 촬영된 우안 영상(R2) 중 제2열 …'으로 구성되게 된다.
도 2f는 체커보드 방식에 따른 3D 영상의 포맷을 도시한 도면이다. 체커보드 방식에 의할 경우, 3D 영상의 포맷은 하나의 프레임에 좌안 영상과 우안 영상이 모두 포함된 포맷이 된다. 특히, 체커보드 방식에 따른 3D 영상의 포맷은, 좌안 영상과 우안 영상이 픽셀 단위 또는 픽셀 군 단위로 교번 배치된 포맷이 된다.
이를 위해, 카메라(100)에서 촬영된 좌안 영상과 우안 영상은, 픽셀 단위 또는 픽셀 군 단위로 추출되어 각 프레임을 구성하는 픽셀들 또는 픽셀 군들에 교번 배치되게 된다.
예를 들어, 체커보드 방식에 따른 3D 영상의 포맷에 의할 경우, 3D 영상은, '좌안 카메라에 의해 촬영된 좌안 영상(L1) 중 제1행 제1열, 우안 카메라에 의해 촬영된 우안 영상(R1) 중 제1행 제2열, 좌안 카메라에 의해 촬영된 좌안 영상(L1) 중 제1행 제3열, 우안 카메라에 의해 촬영된 우안 영상(R1) 중 제1행 제4열 …'이 하나의 프레임을 구성하게 된다.
또한, 그 다음 프레임에서는, '좌안 카메라에 의해 촬영된 좌안 영상(L2) 중 제1행 제1열, 우안 카메라에 의해 촬영된 우안 영상(R2) 중 제1행 제2열, 좌안 카메라에 의해 촬영된 좌안 영상(L2) 중 제1행 제3열, 우안 카메라에 의해 촬영된 우안 영상(R2) 중 제1행 제4열 …'으로 구성되게 된다.
다시 도 1에 대해 설명하면, 이와 같이, 카메라(100)는 전술한 포맷들 중 하나의 포맷을 미리 결정하고, 결정된 포맷에 따라 3D 영상을 TV(200)로 전달하게 된다.
TV(200)는 디스플레이 장치의 일종으로서, 카메라(100) 등의 촬영장치로부터 수신된 3D 영상 또는 카메라(100)에 의해 촬영되어 방송국에서 편집/가공된 후 방 송국에서 송출된 3D 영상을 수신하고, 수신된 3D 영상을 처리한 후 이를 화면에 표시한다. 특히, TV(200)는 3D 영상의 포맷을 참조하여, 좌안 영상과 우안 영상을 가공하고, 가공된 좌안 영상과 우안 영상이 시분할되어 교번적으로 디스플레이되도록 한다.
뿐만 아니라, TV(200)는 좌안 영상과 우안 영상이 시분할되어 디스플레이되는 타이밍과 동기된 동기신호를 생성하여 셔터 글래스(300)로 전달한다.
이와 같은 TV(200)의 구체적인 구성에 대한 설명을 위해 도 3을 참조하기로 한다. 도 3은 본 발명의 일 실시예에 따른 TV(200)의 블록도를 도시한 도면이다.
도시된 바와 같이, 본 실시예에 따른 TV(200)는 영상 수신부(210), 영상 처리부(220), 영상 출력부(230), 제어부(240), GUI(Graphic User Interface) 생성부(250), 저장부(260), 사용자 명령 수신부(270), IR 전송부(280) 및 통신 인터페이스(190)를 구비한다.
영상 수신부(210)는 방송국 또는 위성으로부터 유선 또는 무선으로 수신되는 방송을 수신하여 복조한다. 또한, 영상 수신부(210)는 카메라(100) 등의 외부기기와 연결되어 외부기기로부터 3D 영상을 입력받는다. 외부기기는 무선으로 연결되거나 S-Video, 컴포넌트, 컴포지트, D-Sub, DVI, HDMI 등의 인터페이스를 통해 유선으로 연결될 수 있다.
전술한 바와 같이, 3D 영상은 적어도 하나의 프레임으로 구성된 영상으로서, 하나의 영상 프레임에 좌안 영상과 우안 영상이 포함되거나 각 프레임이 좌안 영상 또는 우안 영상으로 구성된 영상을 의미한다. 즉, 3D 영상은, 전술한 도 2에 따른 포맷들 중 하나에 따라 생성된 영상이다.
따라서, 영상 수신부(210)로 수신되는 3D 영상은 다양한 포맷으로 될 수 있으며, 특히, 일반적인 프레임 시퀀스 방식, 바톰-업 방식, 사이드 바이 사이드 방식, 수평 인터리브 방식, 수직 인터리브 방식, 및 체커보드 방식 중 하나에 따른 포맷으로 될 수 있다.
영상 수신부(210)는 수신된 3D 영상을 영상 처리부(220)로 전달한다.
영상 처리부(220)는, 영상 수신부(210)로 수신된 3D 영상에 대해 비디오 디코딩, 포맷 분석, 비디오 스케일링 등의 신호처리 및 GUI 부가 등의 작업을 수행한다.
특히, 영상 처리부(220)는 영상 수신부(210)로 입력된 3D 영상의 포맷을 이용하여, 한 화면의 크기(1920*1080)에 해당하는 좌안 영상과 우안 영상을 각각 생성한다.
즉, 3D 영상의 포맷이 바톰-업 방식, 사이드 바이 사이드 방식, 수평 인터리브 방식, 수직 인터리브 방식 또는 체커보드 방식에 따른 포맷일 경우, 영상 처리부(220)는 각 영상 프레임에서 좌안 영상 부분과 우안 영상 부분을 각각 추출하여, 추출된 좌안 영상과 우안 영상을 확대 스케일링 또는 보간함으로써, 사용자에게 제공하기 위한 좌안 영상과 우안 영상을 각각 생성하게 된다.
또한, 3D 영상의 포맷이 일반적인 프레임 시퀀스 방식일 경우, 영상 처리부(220)는 각 프레임에서 좌안 영상 또는 우안 영상을 추출하여 사용자에게 제공하기 위한 준비를 하게 된다.
한편, 입력된 3D 영상의 포맷에 대한 정보는 3D 영상 신호에 포함되어 있을 수도 있고 포함되어 있지 않을 수도 있다.
예를 들어, 입력된 3D 영상의 포맷에 대한 정보가 3D 영상 신호에 포함되어 있는 경우, 영상 처리부(220)는 3D 영상을 분석하여 포맷에 대한 정보를 추출하고, 추출된 정보에 따라 수신된 3D 영상을 처리하게 된다. 반면, 입력된 3D 영상의 포맷에 대한 정보가 3D 영상 신호에 포함되어 있지 않은 경우, 영상 처리부(220)는 사용자로부터 입력된 포맷에 따라 수신된 3D 영상을 처리하거나 미리 설정된 포맷에 따라 수신된 3D 영상을 처리하게 된다.
뿐만 아니라, 영상 처리부(220)는 후술할 GUI 생성부(250)로부터 수신된 GUI가 좌안 영상, 우안 영상, 또는 양자 모두에 부가되도록 한다.
영상 처리부(220)는 추출된 좌안 영상과 우안 영상을 시분할하여 교번적으로 영상 출력부(230)로 전달한다. 즉, 영상 처리부(220)는 '좌안 영상(L1) -> 우안 영상(R1) -> 좌안 영상(L2) -> 우안 영상(R2) -> …'의 시간적 순서로 좌안 영상과 우안 영상을 영상 출력부(230)로 전달한다.
영상 출력부(230)는 영상 처리부(220)에서 출력되는 좌안 영상과 우안 영상을 교번적으로 출력하여 사용자에게 제공한다.
GUI 생성부(250)는, 디스플레이에 표시될 GUI를 생성한다. GUI 생성부(250)에서 생성된 GUI는 영상 처리부(220)로 인가되어, 디스플레이에 표시될 좌안 영상, 우안 영상, 또는 양자 모두에 부가되게 된다.
저장부(260)는, TV(200)를 동작시키기 위해 필요한 각종 프로그램 등이 저장 되는 저장매체로서, 메모리, HDD(Hard Disk Drive) 등으로 구현가능하다.
사용자 명령 수신부(270)는 리모콘 등의 입력수단으로부터 수신되는 사용자 명령을 제어부(240)로 전달한다.
IR 전송부(280)는, 교번적으로 출력되는 좌안 영상 및 우안 영상과 동기된 동기신호를 생성하고, 생성된 동기신호를 적외선 형태로 셔터 글래스(300)에 전송한다. 이는, TV(200)와 셔터 글래스(300) 간의 동기를 통해, 셔터 글래스(300)가 교번적으로 개폐되어, 셔터 글래스(300)의 좌안 오픈 타이밍에 영상 출력부(230)에서 좌안 영상이 표시되고, 셔터 글래스(300)의 우안 오픈 타이밍에 영상 출력(230)에서 우안 영상이 표시되도록 하기 위함이다.
통신 인터페이스(190)는 셔터 글래스(300)와 통신하여 셔터 글래스(300)에 대한 상태정보를 수신하기 위한 목적으로 사용된다. 상태정보란, 셔터 글래스(300)를 사용자가 착용중인 상태인지 여부에 관한 정보, 셔터 글래스(300)의 충전상태에 관한 정보 등이 될 수 있다.
특히, 사용자가 셔터 글래스(300)를 착용중인 상태인지 여부에 관한 정보는, 셔터 글래스(300)에 마련된 스위치 등이 ON되어, 셔터 글래스(300)를 구성하는 각 구성요소에 전원이 공급되고 있는지 여부에 대한 정보가 된다.
이와 같이, 통신 인터페이스(190)는 셔터 글래스(300)에 대한 상태정보를 수신하여 수신된 상태정보를 제어부(140)로 전달한다.
제어부(240)는 사용자 명령 수신부(270)로부터 전달받은 사용자 명령에 따라 TV(200)의 전반적인 동작을 제어한다.
특히, 제어부(240)는 영상 수신부(210) 및 영상 처리부(220)를 제어하여, 3D 영상이 수신되고, 수신된 3D 영상이 좌안 영상과 우안 영상으로 분리되며, 분리된 좌안 영상과 우안 영상 각각이 하나의 화면에서 디스플레이될 수 있는 크기로 스케일링 또는 보간되도록 한다.
또한, 제어부(240)는 GUI 생성부(250)를 제어하여, 사용자 명령 수신부(270)로부터 전달받은 사용자 명령에 대응되는 GUI가 생성되도록 하며, IR 전송부(280)를 제어하여, 좌안 영상 및 우안 영상의 출력 타이밍과 동기된 동기신호가 생성 및 전송되도록 한다.
뿐만 아니라, 제어부(240)는 통신 인터페이스(290)를 통해 수신된 셔터 글래스(300)의 상태정보를 기초로, 상태정보에 대응되는 3D 영상이 화면에 표시되고 상태정보에 대응되는 GUI가 생성되도록 영상 처리부(120) 및 GUI 생성부(150)를 제어한다. 이에 대한 구체적인 설명에 대해서는 후술하기로 한다.
한편, 셔터 글래스(300)는 TV(200)로부터 수신된 동기신호에 따라 좌안 글래스와 우안 글래스를 교번적으로 개폐하여, 사용자가 좌안과 우안을 통해 좌안 영상 및 우안 영상을 각각 시청가능하도록 한다. 이하에서는 도 4를 참조하여 셔터 글래스(300)의 구체적 구성에 대해 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 셔터 글래스(300)의 블록도를 도시한 도면이다. 도시된 바와 같이, 셔터 글래스(300)는 IR 수신부(310), 제어부(320), 글래스 구동부(330), 글래스부(340), 전원 공급부(370) 및 통신 인터페이스(380)를 구비한다.
IR 수신부(310)는 유선 또는 무선으로 연결된 TV(200)의 IR 전송부(280)로부터 3D 영상에 대한 동기신호를 수신한다. 특히, IR 전송부(280)는 직진성을 가진 적외선을 이용하여 동기신호를 방사하고, IR 수신부(310)는 방사된 적외선으로부터 동기신호를 수신한다.
예를 들어, IR 전송부(280)에서 IR 수신부(310)로 전달되는 동기신호는 기설정된 시간 간격으로 하이 레벨(high level)과 로우 레벨(low level)이 교번된 신호일 수 있고, 하이 레벨인 시간에서는 좌안 영상이 전송되고 로우 레벨인 시간에서는 우안 영상이 전송되도록 구현할 수 있을 것이다.
IR 수신부(310)는 IR 전송부(280)로부터 수신된 동기신호를 제어부(320)로 전달한다.
제어부(320)는 셔터 글래스(300) 전반에 대한 동작을 제어한다. 특히, 제어부(320)는 IR 수신부(310)에서 수신된 동기신호를 기초로 제어신호를 생성하고, 생성된 제어신호를 글래스 구동부(330)로 전달하여 글래스 구동부(330)를 제어한다. 특히, 제어부(320)는 동기신호를 기초로, 글래스부(340)를 구동시키기 위한 구동신호가 글래스 구동부(330)에서 생성되도록 글래스 구동부(330)를 제어한다.
글래스 구동부(330)는 제어부(320)로부터 수신된 제어신호를 기초로 구동신호를 생성한다. 특히, 후술할 글래스부(340)는 좌안 글래스(350) 및 우안 글래스(360)로 구성되기 때문에, 글래스 구동부(330)는 좌안 글래스(350)를 구동하기 위한 좌안 구동신호와 우안 글래스(360)를 구동하기 위한 우안 구동신호를 각각 생성하고, 생성된 좌안 구동신호를 좌안 글래스(350)로 전달하며 우안 구동신호를 우 안 글래스(360)로 전달한다.
글래스부(340)는 전술한 바와 같이, 좌안 글래스(350) 및 우안 글래스(360)로 구성되며, 글래스 구동부(330)로부터 수신된 구동신호에 따라 각각의 글래스를 개폐한다.
전원 공급부(370)는 셔터 글래스(300)에 마련된 스위치(미도시)등을 통해 셔터 글래스(300)가 ON되면, 셔터 글래스(300)를 구성하는 각 구성요소에 전원이 공급되도록 한다.
통신 인터페이스(380)는 TV(200)와 통신하기 위한 연결통로로서, TV(200)로 셔터 글래스(300)에 대한 상태정보를 전송하기 위한 목적으로 사용된다. 특히, 통신 인터페이스(380)는 셔터 글래스(300)가 ON 되었는지 또는 OFF 되었는지 여부에 대한 상태정보를 TV(200)로 전송한다.
이러한 상태정보는, TV(200)와 셔터 글래스(300) 사이에 미리 설정된 시간간격으로 전송되거나 TV(200)로부터 상태정보 전송에 대한 요청이 있는 경우에 전송될 수 있다.
< 3D 영상에 대한 처리과정 >
이하에서는, 3D 영상에 대한 처리 과정에 대해 도 5a 내지 도 5c를 참조하여 설명하기로 한다. 도 5a 내지 도 5c는 3D 영상의 포맷에 따른 처리방법을 설명하기 위한 도면이다.
우선, 도 5a는 일반적인 프레임 시퀀스 방식에 따라 3D 영상이 수신된 경우, 이를 화면에 표시하는 방법을 나타내고 있다.
도시된 바와 같이, 프레임 시퀀스 방식에 따른 3D 영상의 포맷은, 하나의 프레임에 하나의 좌안 영상 또는 하나의 우안 영상이 삽입된 포맷이다. 따라서, 3D 영상은, '좌안 카메라에 의해 촬영된 좌안 영상 L1이 포함된 프레임 -> 우안 카메라에 의해 촬영된 우안 영상 R1이 포함된 프레임 -> 좌안 카메라에 의해 촬영된 좌안 영상 L2가 포함된 프레임 -> 우안 카메라에 의해 촬영된 우안 영상 R2가 포함된 프레임 -> …'의 순서로 입력되며, 입력된 순서로 화면에 표시되게 된다.
도 5b는 사이드 바이 사이드 방식에 따라 3D 영상이 수신된 경우, 이를 화면에 표시하는 방법을 나타내고 있다.
도시된 바와 같이, 사이드 바이 사이드 방식에 따른 3D 영상의 포맷은, 하나의 프레임에 좌안 영상과 우안 영상이 모두 포함된 포맷이 된다. 특히, 사이드 바이 사이드 방식에 따른 3D 영상의 포맷은, 좌안 영상과 우안 영상이 좌우로 구분되며, 좌안 영상이 좌측에 마련되고 우안 영상이 우측에 마련된 포맷이 된다.
이러한 포맷에 의할 경우, TV(200)는 수신된 3D 영상의 각 프레임을 좌우로 이등분하여 좌안 영상 부분과 우안 영상 부분으로 분리하고, 분리된 좌안 영상 부분과 우안 영상 부분을 좌우로 2배 확대 스케일링하여 화면에 표시할 좌안 영상과 우안 영상을 생성하며, 생성된 좌안 영상과 우안 영상을 교번적으로 화면에 디스플레이하게 된다.
따라서, 3D 영상은, '제1 프레임에 포함된 영상 중 좌측 부분(L1)을 2배 확대한 좌안 영상 -> 제1 프레임에 포함된 영상 중 우측 부분(R1)을 2배 확대한 우안 영상 -> 제2 프레임에 포함된 영상 중 좌측 부분(L2)을 2배 확대한 좌안 영상 -> 제2 프레임에 포함된 영상 중 우측 부분(R2)을 2배 확대한 우안 영상 -> …'의 순서로 화면에 표시되게 된다.
한편, 이상에서는 사이드 바이 사이드 방식에 따른 3D 영상의 포맷에 대해 처리하는 과정에 대해 예로 들어 설명하였으나, 탑-바톰 방식에 따른 3D 영상의 포맷에 대한 처리 과정도 이로부터 유추가능함은 물론이다. 즉, 탑-바톰 방식에 따른 3D 영상의 포맷에 의할 경우, TV(200)는 수신된 3D 영상의 각 프레임을 상하로 이등분하여 좌안 영상 부분과 우안 영상 부분으로 각각 분리하고, 분리된 좌안 영상 부분과 우안 영상 부분을 상하로 2배로 확대 스케일링하여 화면에 표시할 좌안 영상과 우안 영상을 생성하며, 생성된 좌안 영상과 우안 영상을 교번적으로 화면에 디스플레이하게 된다.
도 5c는 수평 인터리브 방식에 3D 영상이 수신된 경우, 이를 화면에 표시하는 방법을 나타내고 있다.
도시된 바와 같이, 수평 인터리브 방식에 따른 3D 영상의 포맷은, 하나의 프레임에 좌안 영상과 우안 영상이 모두 포함된 포맷이 된다. 특히, 수평 인터리브 방식에 따른 3D 영상의 포맷은, 좌안 영상과 우안 영상이 행 단위로 교번 배치된 포맷이 된다.
이러한 포맷에 의할 경우, TV(200)는 수신된 3D 영상의 각 프레임을 홀수 행별 및 짝수 행별로 구분하여 좌안 영상 부분과 우안 영상 부분으로 분리하고, 분리된 좌안 영상 부분과 우안 영상 부분을 상하로 2배 확대 스케일링하여 좌안 영상과 우안 영상을 생성하며, 생성된 좌안 영상과 우안 영상을 교번적으로 화면에 디스플레이하게 된다.
따라서, 3D 영상은, '제1 프레임에 포함된 영상 중 홀수 행 부분(L1-1, L1-2)을 각각 2배 확대한 좌안 영상 -> 제1 프레임에 포함된 영상 중 우측 부분(R1-1, R1-2)을 각각 2배 확대한 우안 영상 -> 제2 프레임에 포함된 영상 중 좌측 부분(L2-1, L2-2)을 각각 2배 확대한 좌안 영상 -> 제2 프레임에 포함된 영상 중 우측 부분(R2-1, R2-2)을 각각 2배 확대한 우안 영상 -> …'의 순서로 화면에 표시되게 된다.
물론, 수평 인터리브 방식에 따른 3D 영상의 포맷에 대해서는, 전술한 확대 스케일링 방식을 사용하지 않고, 하나의 프레임에 포함된 영상 중 홀수 행 부분을 이용해 짝수 행 부분을 보간하여 좌안 영상을 생성하고, 짝수 행 부분을 이용해 홀수 행 부분을 보간하여 우안 영상을 생성하는 방식을 사용할 수도 있을 것이다.
뿐만 아니라, 확대 스케일링 방식이나 보간 방식을 사용하지 않고, 홀수 행에 대해서만 영상을 출력하여 좌안 영상을 생성하고, 짝수 행에 대해서만 영상을 출력하여 우안 영상을 생성하는 방법으로도 구현가능하다.
한편, 이상에서는 수평 인터리브 방식에 따른 3D 영상의 포맷에 대해 처리하는 과정에 대해 예로 들어 설명하였으나, 수직 인터리브 방식이나 체커보드 방식에 따른 3D 영상의 포맷에 대한 처리 과정도 이로부터 유추가능함은 물론이다.
즉, 수직 인터리브 방식에 따른 3D 영상의 포맷에 대해서는, 행별 스케일링이나 보간이 아닌 열별 스케일링이나 보간을 적용하여 좌안 영상과 우안 영상을 생 성하여 교번 출력함으로써, 3D 영상을 사용자에게 제공할 수 있을 것이다.
또한, 체커보드 방식에 따른 3D 영상의 포맷에 대해서는, 픽셀별 스케일링이나 보간 또는 픽셀군별 스케일링이나 보간을 이용할 수 있을 것이다.
< 3D 영상의 화면 전환 과정 >
이하에서는, 전술한 바와 같이 처리된 3D 영상에 관한 화면 전환 과정에 대해 도 6 및 도 7을 참조하여 설명하기로 한다.
도 6은 셔터 글래스가 온된 경우의 화면 전환 과정을 설명하기 위한 도면이다. TV(200)가 2D 영상 출력모드일 때 3D 영상이 수신되면, 도 6의 좌측 화면과 같이 수신된 3D 영상이 그대로 출력하게 된다.
즉, 2D 영상 출력모드란, 3D 모드가 OFF된 모드로서, 입력된 3D 영상에 포함된 각 영상 프레임을 그대로 디스플레이하는 모드를 의미한다. 따라서, 이 경우, 3D 영상이 프레임 시퀀스 방식이 아닌 다른 방식에 따른 포맷으로 되었다면, 좌안 영상과 우안 영상이 동시에 디스플레이되게 된다.
도 6에서는 좌안 영상에 포함된 2D 오브젝트(610)와 우안 영상에 포함된 2D 오브젝트(620)가 상하로 나누어져 하나의 화면에 디스플레이되고 있음을 알 수 있고, 이에 따라, 탑-바톰 방식에 따른 포맷으로 된 3D 영상이 수신되고 있음을 알 수 있다.
반면, 3D 영상 출력모드란, 3D 모드가 ON된 모드로서, 입력된 3D 영상에 포함된 각 영상 프레임을, 적용된 포맷에 따라 좌안 영상 부분과 우안 영상 부분으로 분리하고, 분리된 좌안 영상 부분과 우안 영상 부분에 대해 확대 스케일링하여 좌안 영상과 우안 영상을 생성하며, 좌안 영상과 우안 영상을 시분할하여 교번적으로 디스플레이하는 모드를 의미한다.
한편, 2D 영상 출력모드일 때 3D 영상이 수신되면, TV(200)는 셔터 글래스(300)와 통신하여 셔터 글래스(300)에 대한 상태정보를 수집한다. 상태정보란, 셔터 글래스의 전원 ON/OFF 상태, 셔터 글래스의 배터리 충전 상태 및 셔터 글래스의 개폐 상태 등에 관한 정보이다.
특히, TV(200)는 셔터 글래스(300)의 전원 ON/OFF 상태에 관한 상태정보를 수집하여, 셔터 글래스(300)의 전원이 OFF 상태라고 판단되면, 2D 영상 출력모드를 그대로 유지하고, 셔터 글래스(300)의 전원이 ON 상태라고 판단되면, 2D 영상 출력모드를 3D 영상 출력모드로 전환하거나 3D 영상 출력모드로 전환하도록 유도하기 위한 메시지를 디스플레이하게 된다.
도 6의 우측 상단 화면을 참조하면, TV(200)는 상태정보를 기초로 셔터 글래스(300)의 전원 ON 상태를 확인하고, 3D 영상 출력모드로 전환하였음을 알 수 있다. 전술한 바와 같이, 3D 영상 출력모드는, 적용된 포맷에 따라 3D 영상을 좌안 영상 부분과 우안 영상 부분으로 분리하고, 분리된 좌안 영상 부분과 우안 영상 부분에 대해 확대 스케일링하여 좌안 영상과 우안 영상을 생성하며, 좌안 영상과 우안 영상을 시분할하여 교번적으로 디스플레이하는 모드가 된다.
이에 따라, TV(200)의 화면에는 2D 오브젝트(610, 620) 대신 3D 오브젝트(630)가 표시되게 된다. 도 6에서는 시분할되어 교번적으로 디스플레이되는 3D 영상에 대한 그래픽적 표현을 위해 원형의 좌안 영상과 원형의 우안 영상이 겹쳐진 형태로 된 3D 오브젝트(630)를 도시하였다.
또한, 도 6의 우측 중앙 화면과 같이, 3D 출력모드로 전환됨과 동시에 3D 출력모드로 전환되었음을 알리기 위한 메시지가 포함된 GUI(640)가 화면에 표시되도록 할 수도 있다. 이 경우, 소정 시간(T)이 경과하면 자동으로 GUI(640)가 사라지고, 3D 오브젝트(630)만이 화면에 제공되게 된다.
뿐만 아니라, 도 6의 우측 하단 화면과 같이, 3D 출력모드로 전환하지 않고, 3D 출력모드로 전환할 것인지 여부를 문의하는 메시지가 포함된 GUI(650)가 화면에 표시되도록 구현할 수도 있을 것이다. 이 경우, 사용자가 TV(200)에 마련된 조작버튼 또는 리모콘에 마련된 조작버튼을 눌러 GUI(640)가 사라지게 하며 3D 출력모드로 전환시킬 수도 있고, 별다른 선택이 없이 소정 시간(T)이 경과하는 경우 자동으로 GUI(640)가 사라지며 3D 출력모드로 전환될 수도 있을 것이다.
이와 같이, 사용자가 셔터 글래스(300)의 전원을 ON 시키는 동작만으로, TV(200)는 사용자의 의도를 분석하고 의도에 부합하는 액션을 능동적으로 취할 수 있으며, 이에 따라, 3D 영상에 대한 사용자의 시청의도가 고려된 출력모드로 영상이 제공될 수 있게 된다.
한편, 도 7은 셔터 글래스가 오프된 경우의 화면 전환 과정을 설명하기 위한 도면이다. TV(200)가 3D 영상 출력모드일 때는, 도 7의 좌측 화면과 같이, TV(200)는 입력된 3D 영상에 포함된 각 영상 프레임을, 적용된 포맷에 따라 좌안 영상 부분과 우안 영상 부분으로 분리하고, 분리된 좌안 영상 부분과 우안 영상 부 분에 대해 확대 스케일링하여 좌안 영상과 우안 영상을 생성하며, 좌안 영상과 우안 영상을 시분할하여 교번적으로 디스플레이하게 된다.
이에 따라, 화면에는 3D 오브젝트(630)가 디스플레이되게 된다.
한편, TV(200)는 미리 설정된 시간마다 셔터 글래스(300)와 통신하여 셔터 글래스(300)에 대한 상태정보를 수집하거나, 셔터 글래스(300)의 상태가 변경될 때마다 셔터 글래스(300)로부터 상태정보를 수신하게 된다.
따라서, 셔터 글래스(300)의 전원이 OFF 상태로 변경되었다고 판단되면, TV(200)는 3D 영상 출력모드를 2D 영상 출력모드로 전환하거나 2D 영상 출력모드로 전환하도록 유도하기 위한 메시지 또는 셔터 글래스(300)의 전원 ON을 유도하기 위한 메시지를 디스플레이하게 된다.
도 7의 우측 첫번째 화면을 참조하면, TV(200)는 상태정보를 기초로 셔터 글래스(300)의 전원 OFF 상태를 확인하고, 2D 영상 출력모드로 전환하였음을 알 수 있다. 전술한 바와 같이, 2D 영상 출력모드에서는 입력된 3D 영상에 포함된 각 영상 프레임이 그대로 디스플레이되게 된다.
이에 따라, TV(200)의 화면에는 3D 오브젝트(630) 대신 2D 오브젝트(610, 620)가 상하로 표시되게 되고, 상하로 나누어진 2D 오브젝트(610, 620)를 기초로 탑-바톰 방식에 따른 포맷이 적용된 3D 영상이 수신되었다는 것을 알 수 있게 된다.
또한, 도 7의 우측 두번째 화면과 같이, 2D 오브젝트(610, 620)와 함께 2D 출력모드로 전환되었음을 알리는 메시지가 포함된 GUI(660)가 부가될 수 있다.
뿐만 아니라, 도 7의 우측 세번째 화면 및 우측 네번째 화면과 같이, TV(200)는 3D 출력상태를 그대로 유지하며, 2D 출력모드로의 전환을 유도하는 메시지가 포함된 GUI(670) 또는 셔터 글래스의 파워-온 또는 착용을 유도하는 메시지가 포함된 GUI(680)가 3D 오브젝트(630)에 부가되도록 할 수도 있음은 물론이다.
한편, 도 7의 우측 두번째 화면의 경우, 소정 시간(T)이 경과하면 자동으로 GUI(660)가 사라지고, 우측 첫번째 화면과 같이 2D 오브젝트(610, 620)만이 화면에 제공되도록 할 수 있으며, 도 7의 우측 세번째 화면의 경우, 소정 시간(T)이 경과하거나 사용자가 2D 출력모드로의 전환을 요청하면, GUI(670)가 사라지고, 우측 첫번째 화면과 같이 2D 오브젝트(610, 620)만이 화면에 제공되도록 할 수 있을 것이다.
또한, 도 7의 우측 네번째 화면의 경우, 사용자가 다시 셔터 글래스(300)를 착용한 것으로 판단되면, 즉, 셔터 글래스(300)가 온 상태로 되면, GUI(680)가 사라지고 3D 오브젝트(630)만이 화면에 제공되도록 할 수 있다.
이와 같이, 사용자가 셔터 글래스(300)의 전원을 OFF 시키는 동작만으로, TV(200)는 사용자의 의도를 분석하고 의도에 부합하는 액션을 능동적으로 취할 수 있으며, 이에 따라, 3D 영상에 대한 사용자의 시청의도가 고려된 출력모드로 영상이 제공될 수 있게 된다.
< 출력모드가 전환되는 동작 흐름 >
이하에서는, 도 8을 참조하여, 출력모드가 자동으로 전환되는 동작 흐름에 대해 설명하기로 한다. 도 8은 출력모드 전환방법을 설명하기 위한 흐름도이다.
3D 출력모드로 3D 영상을 출력하는 중(S810), TV(200)는 미리 설정된 시간 간격으로 셔터 글래스(300)의 상태를 확인한다(S820).
셔터 글래스(300)가 온 상태라고 판단되면(S820-ON), TV(200)는 현재의 3D 출력모드로 3D 영상을 계속 출력하고(S810), 셔터 글래스(300)가 오프 상태라고 판단되면(S820-OFF), TV(200)는 자동전환 모드로 설정되어 있는지 여부를 판단한다(S830). 즉, 전술한 출력모드 자동전환은 사용자에 의해 미리 설정될 수 있는 것이다.
사용자에 의해 자동전환 모드로 설정되면(S830-Y), TV(200)는 2D 출력모드로 3D 영상을 출력하고(S840), 2D 출력모드로 전환되었음을 알리는 메지시를 디스플레이하게된다(S850). 물론, 전술한 바와 같이, S840 단계와 S850 단계 중 하나만이 수행될 수도 있을 것이다.
반면, 사용자에 의해 자동전환 모드로 설정되지 않았다면(S830-N), TV(200)는 출력모드 전환을 문의하는 메시지 도는 셔터 글래스(300)의 착용을 요청하는 메시지를 화면에 디스플레이한다(S860).
이와 같이, 사용자가 셔터 글래스(300)의 전원을 ON 시키거나 OFF 시키는 동작만으로, TV(200)는 사용자의 의도를 분석하고 의도에 부합하는 액션을 능동적으로 취할 수 있으며, 이에 따라, 3D 영상에 대한 사용자의 시청의도가 고려된 출력모드로 영상이 제공될 수 있게 된다.
< 기타 실시예에 따른 구성 >
도 9은 본 발명의 다른 실시예에 따른 TV(200)의 구성을 설명하기 위한 도면이고, 도 10은 본 발명의 다른 실시예에 따른 셔터 글래스(300)의 구성을 설명하기 위한 도면이다.
도 9 및 도 10은 전술한 도 3 및 도 4의 내용과 동일하거나 이로부터 유추가능한 바, 이하에서는, 도 3 및 도 4와의 차이점 위주로 설명하기로 한다.
도 3 및 도 4에서는, TV(200)와 리모콘(300)이 적외선 통신 방식에 따라 동기신호를 송수신하고, 이를 위해, IR 전송부(280) 및 IR 수신부(310)를 각각 구비한다고 언급한 바 있다.
그러나, 도 9 및 도 10에서 TV(200)와 리모콘(300)은 별도의 IR 전송부(280) 및 IR 수신부(310)를 구비하고 있지 않다.
즉, TV(200)와 리모콘(300)은 IR 전송부(280) 및 IR 수신부(310)를 별도로 구비하지 않고, 통신 인터페이스(290, 380)를 통해 상태정보 뿐만 아니라 동기신호도 송수신하여, 좌안 영상의 출력 타이밍과 좌안 글래스의 오픈 타이밍이 동기되고, 우안 영상의 출력 타이밍과 우안 글래스이 오픈 타이밍이 동기되며, 셔터 글래스(300)의 상태정보를 기초로 출력모드가 전환되도록 할 수 있게 된다.
이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명 의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
도 1은 본 발명의 일 실시예에 따른 3D 영상 제공 시스템을 도시한 도면,
도 2a 내지 도 2f는 3D 영상의 포맷을 설명하기 위한 도면,
도 3은 본 발명의 일 실시예에 따른 TV의 블록도를 도시한 도면,
도 4는 본 발명의 일 실시예에 따른 셔터 글래스의 블록도를 도시한 도면,
도 5a 내지 도 5c는 3D 영상의 포맷에 따른 처리방법을 설명하기 위한 도면,
도 6은 셔터 글래스가 온된 경우의 화면 전환 과정을 설명하기 위한 도면,
도 7은 셔터 글래스가 오프된 경우의 화면 전환 과정을 설명하기 위한 도면,
도 8은 출력모드 전환방법을 설명하기 위한 흐름도,
도 9는 본 발명의 다른 실시예에 따른 TV의 구성을 설명하기 위한 도면, 그리고,
도 10은 본 발명의 다른 실시예에 따른 셔터 글래스의 구성을 설명하기 위한 도면이다.

Claims (19)

  1. 3D(3-Dimension) 영상 출력모드와 2D(2-Dimension) 영상 출력모드 간의 전환방법에 있어서,
    셔터 글래스로부터 상기 셔터 글래스에 대한 상태정보를 수신하는 단계; 및
    상기 상태정보를 기초로, 출력모드를 전환하거나 상기 출력모드의 전환을 위한 메시지를 표시하는 단계;를 포함하는 출력모드 전환방법.
  2. 제 1항에 있어서,
    상기 상태정보는,
    상기 셔터 글래스의 전원 ON/OFF 상태, 상기 셔터 글래스의 배터리 충전 상태 및 상기 셔터 글래스의 개폐 상태 중 적어도 하나에 관한 정보인 것을 특징으로 하는 출력모드 전환방법.
  3. 제 1항에 있어서,
    상기 전환 또는 표시 단계는,
    상기 3D 영상 출력모드 중에 상기 셔터 글래스의 전원 OFF 상태에 관한 상태정보가 수신된 경우, 상기 3D 영상 출력모드를 상기 2D 영상 출력모드로 자동 전환하는 것을 특징으로 하는 출력모드 전환방법.
  4. 제 1항에 있어서,
    상기 전환 또는 표시 단계는,
    상기 2D 영상 출력모드 중에 상기 셔터 글래스의 전원 ON 상태에 관한 상태 정보가 수신된 경우, 상기 2D 영상 출력모드를 상기 3D 영상 출력모드로 자동 전환하는 것을 특징으로 하는 출력모드 전환방법.
  5. 제 1항에 있어서,
    상기 전환 또는 표시 단계는,
    상기 3D 영상 출력모드 중에 상기 셔터 글래스의 전원 OFF 상태에 관한 상태정보가 수신된 경우, 상기 셔터 글래스의 전원 ON을 요청하는 메시지를 표시하는 것을 특징으로 하는 출력모드 전환방법.
  6. 제 5항에 있어서,
    상기 셔터 글래스의 전원 OFF 상태에 관한 상태정보가 수신된 이후, 상기 셔터 글래스의 전원 ON 상태에 관한 상태정보가 수신된 경우, 상기 메시지에 대한 표시를 종료하는 단계;를 더 포함하는 것을 특징으로 하는 출력모드 전환방법.
  7. 제 1항에 있어서,
    상기 전환 또는 표시 단계는,
    상기 2D 영상 출력모드 중에 상기 셔터 글래스의 전원 ON 상태에 관한 상태 정보가 수신된 경우, 상기 3D 영상 출력모드로 전환할 것인지 여부를 문의하는 메시지를 표시하는 것을 특징으로 하는 출력모드 전환방법.
  8. 제 1항에 있어서,
    상기 셔터 글래스는, 기설정된 시간 간격으로 상기 상태정보를 전송하거나, 상기 상태정보에 대한 전송요청이 수신된 경우 상기 상태정보를 전송하는 것을 특징으로 하는 출력모드 전환방법.
  9. 제 1항에 있어서,
    상기 3D 영상 출력모드는, 상기 3D 영상을 구성하는 좌안 영상과 우안 영상이 화면 전체에서 교번적으로 표시되는 모드이고,
    상기 2D 영상 출력모드는, 상기 좌안 영상과 상기 우안 영상이 상기 화면에서 분할되어 표시되는 모드인 것을 특징으로 하는 출력모드 전환방법.
  10. 3D(3-Dimension) 영상 출력모드 또는 2D(2-Dimension) 영상 출력모드로 동작되는 디스플레이 장치에 있어서,
    셔터 글래스로부터 상기 셔터 글래스에 대한 상태정보를 수신하기 위한 통신 인터페이스; 및
    상기 상태정보를 기초로, 출력모드가 전환되거나 상기 출력모드의 전환을 위한 메시지가 표시되도록 하는 제어부;를 포함하는 디스플레이 장치.
  11. 제 10항에 있어서,
    상기 상태정보는,
    상기 셔터 글래스의 전원 ON/OFF 상태, 상기 셔터 글래스의 배터리 충전 상태 및 상기 셔터 글래스의 개폐 상태 중 적어도 하나에 관한 정보인 것을 특징으로 하는 디스플레이 장치.
  12. 제 10항에 있어서,
    상기 제어부는,
    상기 3D 영상 출력모드 중에 상기 셔터 글래스의 전원 OFF 상태에 관한 상태정보가 수신된 경우, 상기 3D 영상 출력모드가 상기 2D 영상 출력모드로 자동 전환되도록 하는 것을 특징으로 하는 디스플레이 장치.
  13. 제 10항에 있어서,
    상기 제어부는,
    상기 2D 영상 출력모드 중에 상기 셔터 글래스의 전원 ON 상태에 관한 상태 정보가 수신된 경우, 상기 2D 영상 출력모드가 상기 3D 영상 출력모드로 자동 전환되도록 하는 것을 특징으로 하는 디스플레이 장치.
  14. 제 10항에 있어서,
    상기 제어부는,
    상기 3D 영상 출력모드 중에 상기 셔터 글래스의 전원 OFF 상태에 관한 상태정보가 수신된 경우, 상기 셔터 글래스의 전원 ON을 요청하는 메시지가 표시되도록 하는 것을 특징으로 하는 디스플레이 장치.
  15. 제 14항에 있어서,
    상기 제어부는,
    상기 셔터 글래스의 전원 OFF 상태에 관한 상태정보가 수신된 이후, 상기 셔터 글래스의 전원 ON 상태에 관한 상태정보가 수신된 경우, 상기 메시지에 대한 표시를 종료시키는 것을 특징으로 하는 디스플레이 장치.
  16. 제 10항에 있어서,
    상기 제어부는,
    상기 2D 영상 출력모드 중에 상기 셔터 글래스의 전원 ON 상태에 관한 상태정보가 수신된 경우, 상기 3D 영상 출력모드로 전환할 것인지 여부를 문의하는 메시지가 표시되도록 하는 것을 특징으로 하는 디스플레이 장치.
  17. 제 10항에 있어서,
    상기 셔터 글래스는, 기설정된 시간 간격으로 상기 상태정보를 전송하거나, 상기 상태정보에 대한 전송요청이 수신된 경우 상기 상태정보를 전송하는 것을 특 징으로 하는 디스플레이 장치.
  18. 제 10항에 있어서,
    상기 3D 영상 출력모드는, 상기 3D 영상을 구성하는 좌안 영상과 우안 영상이 화면 전체에서 교번적으로 표시되는 모드이고,
    상기 2D 영상 출력모드는, 상기 좌안 영상과 상기 우안 영상이 상기 화면에서 분할되어 표시되는 모드인 것을 특징으로 하는 디스플레이 장치.
  19. 외부로부터 수신된 동기신호를 기초로 좌안 글래스와 우안 글래스를 교번적으로 개폐하며, 상기 셔터 글래스에 관한 상태정보를 외부로 전송하는 셔터 글래스; 및
    3D(3-Dimension) 영상 출력모드 또는 2D(2-Dimension) 영상 출력모드로 동작되며, 상기 상태정보를 수신하여, 상기 상태정보를 기초로 출력모드를 전환하거나 상기 출력모드의 전환을 위한 메시지를 표시하는 디스플레이 장치;를 포함하는 3D 영상 제공 시스템.
KR1020090113243A 2009-11-23 2009-11-23 출력모드 전환방법 및 이를 이용한 디스플레이 장치와 ３ｄ 영상 제공 시스템 KR101638959B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020090113243A KR101638959B1 (ko) 2009-11-23 2009-11-23 출력모드 전환방법 및 이를 이용한 디스플레이 장치와 ３ｄ 영상 제공 시스템
US12/943,637 US9414041B2 (en) 2009-11-23 2010-11-10 Method for changing play mode, method for changing display mode, and display apparatus and 3D image providing system using the same
EP10191295.4A EP2326099A3 (en) 2009-11-23 2010-11-16 Method for Changing Play Mode, Method for Changing Display Mode, and Display Apparatus and 3D Image Providing System using the Same
JP2010257805A JP5745822B2 (ja) 2009-11-23 2010-11-18 再生モード切替方法、出力モード切替方法及びこれを用いたディスプレイ装置と３ｄ映像提供システム
US14/922,633 US20160041662A1 (en) 2009-11-23 2015-10-26 Method for changing play mode, method for changing display mode, and display apparatus and 3d image providing system using the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090113243A KR101638959B1 (ko) 2009-11-23 2009-11-23 출력모드 전환방법 및 이를 이용한 디스플레이 장치와 ３ｄ 영상 제공 시스템

Publications (2)

Publication Number Publication Date
KR20110056777A true KR20110056777A (ko) 2011-05-31
KR101638959B1 KR101638959B1 (ko) 2016-07-25

Family

ID=44365090

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090113243A KR101638959B1 (ko) 2009-11-23 2009-11-23 출력모드 전환방법 및 이를 이용한 디스플레이 장치와 ３ｄ 영상 제공 시스템

Country Status (1)

Country Link
KR (1) KR101638959B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101233576B1 (ko) * 2011-09-22 2013-02-19 케이디씨 주식회사 2ｄ 또는 3ｄ 전환용 셔터 안경
WO2013054973A1 (ko) * 2011-10-14 2013-04-18 주식회사 플렉스엘시디 Lcd 렌즈를 이용한 입체영상용 안경의 동작상태 표시방법 및 이를 위한 장치
KR20150069948A (ko) * 2013-12-16 2015-06-24 엘지전자 주식회사 영상표시기기

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175223A (ja) * 1997-08-29 1999-03-16 Sanyo Electric Co Ltd 立体表示装置
JP2006084964A (ja) * 2004-09-17 2006-03-30 Seiko Epson Corp 立体画像表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1175223A (ja) * 1997-08-29 1999-03-16 Sanyo Electric Co Ltd 立体表示装置
JP2006084964A (ja) * 2004-09-17 2006-03-30 Seiko Epson Corp 立体画像表示装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101233576B1 (ko) * 2011-09-22 2013-02-19 케이디씨 주식회사 2ｄ 또는 3ｄ 전환용 셔터 안경
WO2013054973A1 (ko) * 2011-10-14 2013-04-18 주식회사 플렉스엘시디 Lcd 렌즈를 이용한 입체영상용 안경의 동작상태 표시방법 및 이를 위한 장치
KR20150069948A (ko) * 2013-12-16 2015-06-24 엘지전자 주식회사 영상표시기기

Also Published As

Publication number Publication date
KR101638959B1 (ko) 2016-07-25

Similar Documents

Publication Publication Date Title
JP5745822B2 (ja) 再生モード切替方法、出力モード切替方法及びこれを用いたディスプレイ装置と３ｄ映像提供システム
KR101435594B1 (ko) 디스플레이 장치 및 그 디스플레이 방법
US20110126160A1 (en) Method of providing 3d image and 3d display apparatus using the same
US20150350626A1 (en) Method for providing three-dimensional (3d) image, method for converting 3d message, graphical user interface (gui) providing method related to 3d image, and 3d display apparatus and system for providing 3d image
KR101621907B1 (ko) 디스플레이 장치, 3ｄ 영상 제공 방법 및 3ｄ 영상 제공 시스템
US20110248989A1 (en) 3d display apparatus, method for setting display mode, and 3d display system
KR20110101944A (ko) 3ｄ 안경, 3ｄ 안경의 구동방법 및 3ｄ 영상 제공 시스템
EP2627092B1 (en) Three-dimensional glasses, three-dimensional image display apparatus, and method for driving the three-dimensional glasses and the three-dimensional image display apparatus
KR20110080035A (ko) 3ｄ 글래스 구동 방법 및 이를 이용한 3ｄ 글래스와 3ｄ 디스플레이 장치
EP2337370A2 (en) 3D glasses, method for controlling 3D glasses, and method for controlling power applied thereto
KR20110114260A (ko) 3ｄ 디스플레이 장치 및 그의 ｇｕｉ 설정 방법, 그리고 3ｄ 안경
KR20120132240A (ko) 복수의 사용자에게 복수의 영상을 제공하는 듀얼 뷰 디스플레이 방법 및 듀얼 뷰 안경 구동 방법, 이를 적용한 디스플레이 장치 및 듀얼 뷰 안경
KR20110125416A (ko) 입체영상표시장치 및 그 구동 방법
KR101648864B1 (ko) 3ｄ 영상에 대한 ｇｕｉ 제공방법 및 이를 이용한 디스플레이 장치 및 3ｄ 영상 제공 시스템
KR20120020477A (ko) 입체영상표시장치 및 그 구동 방법
KR101638959B1 (ko) 출력모드 전환방법 및 이를 이용한 디스플레이 장치와 ３ｄ 영상 제공 시스템
KR20120059947A (ko) 3차원 안경 및 이에 적용되는 3차원 안경 제어방법
KR101634768B1 (ko) 디스플레이 장치 및 3ｄ 영상 제공 방법
KR101639310B1 (ko) 3ｄ 영상에 대한 ｇｕｉ 제공방법 및 이를 이용한 디스플레이 장치
KR20110062983A (ko) 3ｄ 영상의 입체감 조절 요소를 설정하는 ｇｕｉ를 표시하는 디스플레이 장치 및 이에 적용되는 ｇｕｉ 제공 방법
KR20110130708A (ko) 3차원 안경 및 3차원 디스플레이 장치
KR101713786B1 (ko) 디스플레이 장치 및 이에 적용되는 ｇｕｉ 제공 방법
KR20110056780A (ko) 재생모드 전환방법 및 이를 이용한 디스플레이 장치와 ３ｄ 영상 제공 시스템
KR20110056743A (ko) ３ｄ 영상 제공방법 및 이를 적용한 ３ｄ 디스플레이 장치
KR101615695B1 (ko) 3ｄ 영상에 대한 ｇｕｉ 제공방법 및 이를 이용한 디스플레이 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 4