KR101628951B1 - 트래킹을 이용한 디스플레이 화면 제어 장치 및 방법, 트래킹을 이용한 홀로그램 영상 제어 장치 및 방법 - Google Patents

트래킹을 이용한 디스플레이 화면 제어 장치 및 방법, 트래킹을 이용한 홀로그램 영상 제어 장치 및 방법 Download PDF

Info

Publication number
KR101628951B1
KR101628951B1 KR1020150001271A KR20150001271A KR101628951B1 KR 101628951 B1 KR101628951 B1 KR 101628951B1 KR 1020150001271 A KR1020150001271 A KR 1020150001271A KR 20150001271 A KR20150001271 A KR 20150001271A KR 101628951 B1 KR101628951 B1 KR 101628951B1
Authority
KR
South Korea
Prior art keywords
tracking information
tracking
display screen
user
unit
Prior art date
Application number
KR1020150001271A
Other languages
English (en)
Inventor
이인수
손웅희
이범수
김민선
박은영
유제민
황정구
Original Assignee
한국생산기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국생산기술연구원 filed Critical 한국생산기술연구원
Priority to KR1020150001271A priority Critical patent/KR101628951B1/ko
Application granted granted Critical
Publication of KR101628951B1 publication Critical patent/KR101628951B1/ko

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/422Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294Addressing the hologram to an active spatial light modulator
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03HHOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00Electro-optic or electronic components relating to digital holography
    • G03H2226/05Means for tracking the observer
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30041Eye; Retina; Ophthalmic

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Holo Graphy (AREA)

Abstract

트래킹을 이용한 디스플레이 화면 제어 장치 및 방법과, 트래킹을 이용한 홀로그램 영상 제어 장치 및 방법이 개시된다. 본 발명에 따른 트래킹을 이용한 디스플레이 화면 제어 장치는, 트래킹을 이용하여 디스플레이 화면을 제어하는 장치에 있어서, 상기 디스플레이 화면을 지지하여 상기 디스플레이 화면의 위치 및 각도를 변경시키는 지지부, 상기 디스플레이 화면에 영상을 출력하는 영상 출력부, 사용자를 트래킹하여 트래킹 정보를 생성하는 트래킹 정보 생성부 및 상기 트래킹 정보 생성부를 통해 생성된 트래킹 정보를 기반으로 상기 지지부 및 상기 영상 출력부를 제어하는 제어부를 포함한다.

Description

트래킹을 이용한 디스플레이 화면 제어 장치 및 방법, 트래킹을 이용한 홀로그램 영상 제어 장치 및 방법{APPARATUS AND METHOD FOR CONTROLLING DISPLAY SCREEN WITH TRACKING, APPARATUS AND METHOD FOR CONTROLLING HOLOGRAM IMAGE WITH TRACKING}
본 발명은 트래킹을 이용한 디스플레이 화면 제어 장치 및 방법과, 트래킹을 이용한 홀로그램 영상 제어 장치 및 방법에 관한 것이다. 더욱 상세하게는 사용자의 시선 또는 움직임에 대응하여 디스플레이 화면과 출력영상 또는 홀로그램 영상의 위치를 제어함으로써 사용자의 편의를 도모하는 트래킹을 이용한 디스플레이 화면 제어 장치 및 방법, 트래킹을 이용한 홀로그램 영상 제어 장치 및 방법에 관한 것이다.
멀티미디어 장치는 예를 들어, 사용자가 시청할 수 있는 방송영상을 수신하여 처리하는 기능을 갖춘 장치이다. 멀티미디어 장치는 예를 들어, 방송국에서 송출되는 방송신호 중 사용자가 선택한 방송을 디스플레이에 표시한다. 현재 방송은 전 세계적으로 아날로그 방송에서 디지털 방송으로 전환하고 있는 추세이다.
디지털 방송은 디지털 영상 및 음성 신호를 송출하는 방송을 의미한다. 디지털 방송은 아날로그 방송에 비해, 외부 잡음에 강해 데이터 손실이 작으며, 에러 정정에 유리하며, 해상도가 높고, 선명한 화면을 제공한다. 또한, 디지털 방송은 아날로그 방송과 달리 양방향 서비스가 가능하다.
또한, 기존의 아날로그 방송을 벗어나, 디지털 기반의 디지털 방송 기술이 개발되고 상용화됨에 따라, 기존의 전파나 유선 케이블 매체 외에도 각 가정에 연결되어 있는 인터넷 네트워크를 이용하여 실시간 방송, CoD(Contents on Demand), 게임 또는 뉴스 등 다양한 종류의 컨텐츠 서비스를 사용자에게 제공할 수 있게 되었다. 그리고 디지털 방송을 수신하는 멀티미디어 장치는 전술한 각종 컨텐츠 서비스를 제공받아 디스플레이 할 수 있게 되었다.
따라서 디지털 방송을 수신하는 멀티미디어 장치는 단순히 방송국에서 송출되는 방송신호를 수신하여 출력할 뿐만 아니라, 동영상 데이터, 오디오 데이터, 이미지 데이터, 텍스트 데이터 등 다양한 컨텐츠를 이용할 수 있게 되었다.
종래 기술은, 상기와 같은 멀티미디어 장치를 디스플레이함에 있어서, 사용자의 시선 또는 위치를 반영하지 못하기 때문에, 사용자가 이동할 경우, 멀티미디어 장치를 이동시키거나, 별도의 리모컨 등을 통하여 상기 멀티미디어 장치를 이동시켜야 하는 불편함이 있었다.
따라서, 사용자의 시선 또는 움직임에 대응하여 디스플레이 화면과 출력영상 또는 홀로그램 영상의 위치를 제어함으로써 사용자의 편의를 도모하는 트래킹을 이용한 디스플레이 화면 제어 장치 및 방법, 트래킹을 이용한 홀로그램 영상 제어 장치 및 방법이 필요한 실정이다. 관련기술로는 한국등록특허 10-1473234호가 존재한다.
본 발명의 목적은, 상기한 문제점을 해결하기 위하여 안출된 것으로서, 사용자의 시선 또는 사용자의 움직임을 기반으로 출력되는 영상, 디스플레이 화면 및 홀로그램 영상을 제어하는 것을 가능케 하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 트래킹을 이용한 디스플레이 화면 제어 장치는, 트래킹을 이용하여 디스플레이 화면을 제어하는 장치에 있어서, 상기 디스플레이 화면을 지지하여 상기 디스플레이 화면의 위치 및 각도를 변경시키는 지지부; 상기 디스플레이 화면에 영상을 출력하는 영상 출력부; 사용자를 트래킹하여 트래킹 정보를 생성하는 트래킹 정보 생성부; 및 상기 트래킹 정보 생성부를 통해 생성된 트래킹 정보를 기반으로 상기 지지부 및 상기 영상 출력부를 제어하는 제어부를 포함하며, 상기 트래킹 정보 생성부는, 상기 사용자의 동공 또는 시선방향을 센싱함으로써 제 1 트래킹 정보를 생성하는 카메라 모듈; 및 상기 사용자의 움직임을 센싱함으로써 제 2 트래킹 정보를 생성하는 적외선 LED 모듈을 포함하며, 상기 제어부는, 상기 제 1 트래킹 정보 및 상기 제 2 트래킹 정보에 서로 다른 가중치를 부여하여 상기 디스플레이 화면에 출력되는 영상 및 상기 지지부의 위치 및 각도를 제어하거나, 또는, 상기 제어부는, 상기 제 1 트래킹 정보를 기반으로 상기 지지부의 위치 및 각도를 제어하고, 상기 제 2 트래킹 정보를 기반으로 상기 디스플레이 화면에 출력되는 영상의 중심 위치를 제어하는 것을 특징으로 하는 트래킹을 이용한 디스플레이 화면 제어 장치를 제공한다.
이 때, 상기 지지부는, 상기 디스플레이 화면의 서로 다른 위치에 각각 연결되는 복수개로 구성되며, 복수개의 지지부 각각은 적어도 하나 이상의 경첩을 포함할 수 있다.
삭제
삭제
삭제
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 트래킹을 이용한 디스플레이 화면 제어 방법은, 트래킹을 이용하여 디스플레이 화면을 제어하는 방법에 있어서, 트래킹 정보 생성부에 의하여, 사용자를 트래킹하여 트래킹 정보를 생성하는 단계; 및 제어부에 의하여, 상기 트래킹 정보를 생성하는 단계에서 생성된 트래킹 정보를 기반으로 지지부 및 영상 출력부를 제어하는 단계를 포함하되, 상기 트래킹 정보를 생성하는 단계는, 카메라 모듈에 의하여, 상기 사용자의 동공 또는 시선방향을 센싱함으로써 제 1 트래킹 정보를 생성하는 단계; 및 적외선 LED 모듈에 의하여, 상기 사용자의 움직임을 센싱함으로써 제 2 트래킹 정보를 생성하는 단계를 포함하며, 상기 지지부는, 상기 디스플레이 화면의 일측에 연결되어 상기 디스플레이 화면을 지지함으로써 상기 디스플레이 화면의 위치 및 각도를 조절하며, 상기 영상 출력부는, 상기 디스플레이 화면에 영상을 출력하며, 상기 제어부는, 상기 제 1 트래킹 정보 및 상기 제 2 트래킹 정보에 서로 다른 가중치를 부여하여 상기 디스플레이 화면에 출력되는 영상 및 상기 지지부의 위치 및 각도를 제어하거나, 또는, 상기 제어부는, 상기 제 1 트래킹 정보를 기반으로 상기 지지부의 위치 및 각도를 제어하고, 상기 제 2 트래킹 정보를 기반으로 상기 디스플레이 화면에 출력되는 영상의 중심 위치를 제어하는 것을 특징으로 하는 트래킹을 이용한 디스플레이 화면 제어 방법을 제공한다.
삭제
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 트래킹을 이용한 홀로그램 영상 제어 장치는, 트래킹을 이용하여 홀로그램 영상을 제어하는 장치에 있어서, 사용자의 주변에 위치한 공간에 홀로그램 영상을 출력하는 홀로그램 영상 출력부; 상기 사용자를 트래킹 하여 트래킹 정보를 생성하는 트래킹 정보 생성부; 및 상기 트래킹 정보 생성부를 통해 생성된 트래킹 정보를 기반으로 상기 홀로그램 영상 출력부를 제어하는 제어부를 포함하며, 상기 트래킹 정보 생성부는, 상기 사용자의 동공 또는 시선방향을 센싱함으로써 제 1 트래킹 정보를 생성하는 카메라 모듈; 및 상기 사용자의 움직임을 센싱함으로써 제 2 트래킹 정보를 생성하는 적외선 LED 모듈을 포함하며, 상기 제어부는, 상기 제 1 트래킹 정보 및 상기 제 2 트래킹 정보에 서로 다른 가중치를 부여하여 상기 홀로그램 영상의 중심 위치를 제어하는 것을 특징으로 하는 트래킹을 이용한 홀로그램 영상 제어 장치를 제공한다.
이 때, 상기 홀로그램 영상 출력부는, 빛의 간섭(interference)에 의해 생성된 간섭무늬를 기록하도록 형성되는 홀로그래피 저장부 및 상기 간섭무늬와 회절(diffraction)을 일으켜 생성된 상기 홀로그램 영상이 출력되게 상기 홀로그래피 저장부에 빛을 조사하도록 이루어지는 홀로그래피 출력부를 포함할 수 있다.
삭제
삭제
또한, 상기한 목적을 달성하기 위한 본 발명에 따른 트래킹을 이용한 홀로그램 영상 제어 방법은, 트래킹을 이용하여 홀로그램 영상을 제어하는 방법에 있어서, 트래킹 정보 생성부에 의하여, 사용자를 트래킹하여 트래킹 정보를 생성하는 단계; 및 제어부에 의하여, 상기 트래킹 정보 생성부를 통해 생성된 트래킹 정보를 기반으로 홀로그램 영상 출력부를 제어하는 단계를 포함하되, 상기 트래킹 정보를 생성하는 단계는, 카메라 모듈에 의하여, 상기 사용자의 동공 또는 시선방향을 센싱함으로써 제 1 트래킹 정보를 생성하는 단계; 및 적외선 LED 모듈에 의하여, 상기 사용자의 움직임을 센싱함으로써 제 2 트래킹 정보를 생성하는 단계를 포함하며, 상기 홀로그램 영상 출력부는, 상기 사용자의 주변에 위치한 공간에 홀로그램 영상을 출력하며, 상기 제어부는, 상기 제 1 트래킹 정보 및 상기 제 2 트래킹 정보에 서로 다른 가중치를 부여하여 상기 홀로그램 영상의 중심 위치를 제어하는 것을 특징으로 하는 트래킹을 이용한 홀로그램 영상 제어 방법을 제공한다.
삭제
본 발명에 의하면, 사용자의 시선 또는 사용자의 움직임을 기반으로 출력되는 영상, 디스플레이 화면 및 홀로그램 영상을 제어할 수 있는 효과가 있다.
도 1은 본 발명에 따른 트래킹을 이용한 디스플레이 화면 제어 장치의 블록도이다.
도 2는 본 발명에 따른 트래킹을 이용한 홀로그램 영상 제어 장치의 블록도이다.
도 3 및 도 4는 홀로그래피의 원리를 설명하기 위한 개념도이다.
도 5는 본 발명에 따른 트래킹을 이용한 디스플레이 화면 제어 방법의 흐름도이다.
도 6은 본 발명에 따른 트래킹을 이용한 홀로그램 영상 제어 방법의 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다.
그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 이하, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
도 1은 본 발명에 따른 트래킹을 이용한 디스플레이 화면 제어 장치의 블록도이다. 도 1을 참조하여 설명하면, 본 발명에 따른 트래킹을 이용한 디스플레이 화면 제어 장치(100)는, 지지부(110), 영상 출력부(120), 트래킹 정보 생성부(130), 제어부(140)를 포함하여 구성되며, 그 이외에 무선 통신부, 전원공급부, 사용자 입력부 및 메모리를 더 포함하여 구성될 수 있다. 도 1에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
상기 지지부(110)는 상기 디스플레이 화면을 지지하여 상기 디스플레이 화면의 위치 및 각도를 변경시킬 수 있도록 설계되며, 상기 디스플레이 화면의 일측에 연결되어 있다. 이 때, 실시예에 따라서는 상기 지지부(110)는 상기 디스플레이 화면의 서로 다른 위치에 각각 연결되는 복수개로 형성될 수 있으며, 복수개의 지지부 각각은 적어도 하나 이상의 경첩을 포함할 수 있다. 즉, 상기 경첩을 통하여 상기 디스플레이 화면의 위치와 각도를 변경시킬 수 있는 것이다. 후술되는 제어부(140)의 제어에 따라 상기 지지부(110)는 상기 디스플레이 화면의 위치 및 각도를 변경하게 된다.
상기 영상 출력부(120)는 상기 디스플레이 화면에 시각 및 청각을 출력하는 기능을 수행한다. 후술되는 제어부(140)의 제어에 따라 상기 영상 출력부(120)는 상기 디스플레이 화면에 출력되는 영상의 중심 위치를 변경할 수 있다.
상기 트래킹 정보 생성부(130)는, 사용자를 트래킹하여 트래킹 정보를 생성하는 기능을 수행하며, 보다 구체적으로 설명하면, 도 1에 도시된 바와 같이, 상기 트래킹 정보 생성부(130)는 카메라 모듈(131) 및 적외선 LED 모듈(132)를 포함하여 구성될 수 있다. 이 때, 상기 카메라 모듈(131)은 상기 사용자의 동공 또는 시선방향을 센싱함으로써 제 1 트래킹 정보를 생성하고, 상기 적외선 LED 모듈(132)은 상기 사용자의 움직임을 센싱함으로써 제 2 트래킹 정보를 생성한다.
상기 적외선 LED 모듈(132)에 대하여 상세하게 설명하면, 일반적으로 동작인식 센서는 크게 카메라 모듈 방식과 IR(적외선) LED 방식으로 나뉜다. 카메라 모듈 방식은 센서에 달린 상보성 금속 산화막 반도체(CMOS) 카메라로 사용자의 움직임을 촬영하고 센서 IC가 그 영상을 인식한다. 그러나 카메라가 촬영한 영상을 IC로 전송하고 인식하는데 까지 시간이 걸려 인식 감도가 떨어지는 문제점이 있으며, 다양한 동작을 동시에 처리하기 어렵고 전력 소모량이 많으며 비용의 부담이 있다.
다만, 본 발명에서 개시되는 적외선 LED 모듈(132)는 사물에 닿으면 굴절하는 빛의 특성을 이용하는 기술로서 센서가 내보내는 적외선이 사용자의 손이나 사물에 닿아 진행 방향이 바뀌면 IC가 이를 인식하고 메인 칩에 신호를 보내는 방식이다. 신호 처리 과정이 단순하기 때문에 카메라 모듈 방식 보다 두 배 이상 인식 감도가 빠르다. 또한, 마이크로 컨트롤 유닛(MCU)이나 고가의 부품이 필요 없어 원가가 저렴한 장점이 있다.
상기 제어부(140)는 상기 트래킹 정보 생성부(130)를 통해 생성된 트래킹 정보를 기반으로 상기 지지부(110) 및 상기 영상 출력부(120)를 제어하는 기능을 수행한다. 보다 구체적으로, 상기 제어부(140)는 상기 제 1 트래킹 정보 및 상기 제 2 트래킹 정보에 서로 다른 가중치를 부여하여 상기 디스플레이 화면에 출력되는 영상 및 상기 지지부(110)의 위치 및 각도를 제어할 수 있다. 예로, 사용자의 설정에 대응하여 상기 제 1 트래킹 정보에 80% 비율의 가중치를 부여하고, 상기 제 2 트래킹 정보에 20%의 비율의 가중치를 부여하여 기정해진 알고리즘에 대응하여 상기 디스플레이 화면에 출력되는 영상과 상기 지지부(110)의 위치 및 각도를 제어할 수 있는 것이다.
또한, 다른 실시예와 관련하여 상기 제어부(140)는 상기 제 1 트래킹 정보를 기반으로 상기 지지부의 위치 및 각도를 제어하고, 상기 제 2 트래킹 정보를 기반으로 상기 디스플레이 화면에 출력되는 영상의 중심 위치를 제어할 수 있다. 또한, 상기 실시예와 반대로 상기 제 1 트래킹 정보를 기반으로 상기 디스플레이 화면에 출력되는 영상의 중심 위치를 제어하고, 상기 제 2 트래킹 정보를 기반으로 상기 지지부의 위치 및 각도를 제어할 수도 있다.
바람직한 실시예로는 사용자의 움직임이 많을 경우, 즉, 사용자가 다른 위치로 이동하는 경우에 있어서는 상기 제 2 트래킹 정보를 기반으로 상기 지지부의 위치 및 각도를 제어하는 것이 효율적이며, 사용자의 움직임이 적은 경우에는, 상기 제 1 트래킹 정보를 기반으로 상기 지지부의 위치 및 각도를 제어하는 것이 효율적일 수 있다. 따라서, 상기 제 1 트래킹 정보와 상기 제 2 트래킹 정보는 실시예에 따라 서로 부여하는 가중치를 다르게 적용할 수 있는 것이다.
도 2는 본 발명에 따른 트래킹을 이용한 홀로그램 영상 제어 장치의 블록도이다.
도 2를 참조하여 설명하면, 본 발명에 따른 트래킹을 이용한 홀로그램 영상 제어 장치(200)는, 홀로그램 영상 출력부(210), 트래킹 정보 생성부(220) 및 제어부(130)를 포함하여 구성된다. 그 이외에 전원공급부, 사용자 입력부 및 메모리를 더 포함하여 구성될 수 있다. 도 2에 도시된 구성요소들이 필수적인 것은 아니어서, 그보다 많은 구성요소들을 갖거나 그보다 적은 구성요소들을 가질 수 있다.
이하, 상기 구성요소들에 대해 차례로 살펴본다.
상기 홀로그램 영상 출력부(210)는, 사용자의 주변에 위치한 공간에 홀로그램 영상을 출력하는 기능을 수행하며, 도 2에 도시된 바와 같이, 홀로그래피 저장부(211) 및 홀로그래피 출력부(212)를 포함하여 구성된다. 보다 구체적으로, 상기 홀로그래피 저장부(211)는 빛의 간섭(interference)에 의해 생성된 간섭무늬를 기록하는 기능을 수행하며, 상기 홀로그래피 출력부(212)는 상기 간섭무늬와 회절(diffraction)을 일으켜 생성된 상기 홀로그램 영상이 출력되게 상기 홀로그래피 저장부(211)에 빛을 조사하는 기능을 수행한다. 홀로그래피의 원리 및 상기 홀로그램 영상 출력부(210)의 동작에 대해서는 도 3 및 도 4를 통해 후술하도록 한다.
상기 트래킹 정보 생성부(220)는 사용자를 트래킹하여 트래킹 정보를 생성하는 기능을 수행하며, 보다 구체적으로 설명하면, 도 2에 도시된 바와 같이, 상기 트래킹 정보 생성부(220)는 카메라 모듈(221) 및 적외선 LED 모듈(222)를 포함하여 구성될 수 있다. 이 때, 상기 카메라 모듈(211)은 상기 사용자의 동공 또는 시선방향을 센싱함으로써 제 1 트래킹 정보를 생성하고, 상기 적외선 LED 모듈(222)은 상기 사용자의 움직임을 센싱함으로써 제 2 트래킹 정보를 생성한다.
상기 제어부(230)는, 상기 트래킹 정보 생성부(220)를 통해 생성된 트래킹 정보를 기반으로 상기 홀로그램 영상 출력부(210)를 제어하는 기능을 수행한다.
실시예와 관련하여, 상기 제어부(230)는, 상기 제 1 트래킹 정보 및 상기 제 2 트래킹 정보에 서로 다른 가중치를 부여하여 상기 홀로그램 영상의 중심 위치를 제어할 수 있다.
또한, 상기 메모리부는 상기 제어부(230)의 처리 및 제어를 위한 프로그램이 저장될 수도 있고, 입/출력되는 데이터들의 임시 저장을 위한 기능을 수행할 수도 있다. 또한, 상기 메모리부는 상기 홀로그램 영상 출력부(210)의 홀로그래피 영상 투사를 지원하기 위해, 홀로그래피 간섭무늬에 대한 정보를 저장할 수 있다. 즉, 메모리부에 저장된 정보를 통해 사용자의 음성, 어플리케이션의 실행 결과 등을 홀로그램 영상 출력부(210)을 통해 외부로 출력하는 것이 가능해진다.
상기 전원 공급부는 상기 제어부(230)의 제어에 의해 외부의 전원, 내부의 전원을 인가받아 각 구성요소들의 동작에 필요한 전원을 공급하는 기능을 수행한다.
상기 사용자 입력부는 사용자가 방음 홀로그램 발생 장치의 동작 제어를 위한 입력 데이터를 발생시킨다. 사용자 입력부는 키 패드(ket pad), 돔 스위치(dome switch), 터치 패드(정압/정전), 조그 휠, 조그 스위치 등으로 구성될 수 있다.
여기에 설명되는 다양한 실시예는 예를 들어, 소프트웨어, 하드웨어 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 여기에 설명되는 실시예는 ASICs (application specific integrated circuits), DSPs (digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays, 프로세서(processors), 제어기(controllers), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors), 기타 기능 수행을 위한 전기적인 유닛 중 적어도 하나를 이용하여 구현될 수 있다. 일부의 경우에 본 명세서에서 설명되는 실시예들이 제어부(230) 자체로 구현될 수 있다.
소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상기 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다. 적절한 프로그램 언어로 쓰여진 소프트웨어 어플리케이션으로 소프트웨어 코드가 구현될 수 있다. 상기 소프트웨어 코드는 메모리에 저장되고, 제어부(230)에 의해 실행될 수 있다.
도 3 및 도 4는 홀로그래피의 원리를 설명하기 위한 개념도이다.
도 3을 참조하면, 레이저 광원(201)에서 나온 간섭성 빛은 스플리터(202)를 통해 둘로 나누어진다. 이 중 하나의 광선은 피사체(207)을 비추고, 피사체(207)의 표면에서 난반사된 빛이 홀로그래피 감광재료(205)에 도달하게 된다. 이러한 광선을 물체파라고 정의한다. 한편, 광선의 경로를 전환하기 위해서는 거울(203,204)이 사용될 수 있다.
상기 스플리터(202)에서 나누어진 또 하나의 광선은 거울(208)을 통하여 경로가 전환되며, 렌즈(206)를 통하여 확산되어 피사체(207)를 비추지 않고 직접 홀로그래피 감광재료(205) 전면에 도달하게 된다. 이와 같이, 피사체(20)를 비추지 않고 직접 홀로그래피 감광재료(205)의 전면에 도달하게 되는 광선을 기준파라고 정의한다. 즉, 상기 레이저 광원(201)에서 나온 빛은 물체파와 기준파로 분리되어 정의될 수 있다.
홀로그래피 감광재료(205) 상에 물체파와 기준파가 서로 간섭(interference) 현상을 일으켜 1mm당 500~1,500개 정도의 매우 섬세하고 복잡한 간섭무늬를 만들게 된다. 이러한 간섭무늬를 기록한 홀로그래피 저장매체를 홀로그램이라고 한다.
이후, 도 4에 도시된 바와 같이, 생성된 기준파와 같은 광선, 즉 재생파를 홀로그래피 감광재료(205)에 투사하면 간섭무늬가 회절결자의 역할을 해서 기준파가 입사한 방향과 다른 위치에서 빛이 회절(diffraction)되고, 회절된 빛이 모여 처음 물체에서 반사해서 생긴 빛과 같이 형성됨으로써 홀로그래피 영상(209)을 투사하게 된다. 즉, 홀로그램을 통해 처음의 물체광이 재생되어 홀로그래피 영상(209)으로 표현될 수 있다.
이 때, 재생된 파면 안에서 들여다보면 처음 물체가 보이기는 하나 마치 물체가 안쪽에 있는 것처럼 보인다. 그리고 보는 지점을 이동하면 물체가 보이는 위치도 변하여 마치 입체사진을 보는 것처럼 보인다. 또한, 원래 물체의 파면이 재생되기 때문에 아주 약간 변형한 물체에서 나오는 파면과도 간섭시킬 수 있다.
홀로그래피 영상(209)의 표현 방식은 재생 방식에 따라 투과형 홀로그래피 영상 표현 방식과 반사형 홀로그래피 영상 표시 방식으로 구분될 수 있다.
투과형 홀로그래피 영상 표현 방식은 홀로그램의 뒤에서 빛을 비추어 투과하여 나온 상을 홀로그램 앞에서 관찰할 수 있도록 하는 방식으로서 투과형 홀로그래피 영상 표현 방식에서는 제작 시에 물체파와 기준파를 같은 방향으로 홀로그래피 감광재료에 노출시키게 되고 생성된 홀로그래피 영상은 색이 선명하고 밝은 것이 특징이다.
다음으로, 반사형 홀로그래피 영상 표시 방식은 홀로그램의 앞에서 빛을 비추어 반사하여 나온 상을 홀로그램의 앞에서 관찰할 수 있도록 하는 방식으로서 물체파와 기준파를 홀로그래피 감광재료에 서로 반대 방향으로 입사하도록 제작된다. 반사형 홀로그래피 영상 표시 방식으로 생성된 홀로그래피 영상은 입체감이 뛰어난 것이 특징이다.
본 명세서에서 상기 홀로그래피 감광재료는 홀로그래피 저장부(211)에 구비되는 홀로그래피 저장매체로 표현되고, 상기 홀로그래피 감광재료에 빛을 투사하여 홀로그래피 영상을 생성할 수 있는 다른 구성요소는 홀로그래피 출력부(212)로 표현된다. 설명의 편의를 위해 본 명세서에서는 홀로그래피 저장부(211)와 홀로그래피 출력부(212)가 홀로그래피 영상 출력부(210)에 포함되어 함께 구현되는 것으로 설명하나, 이는 단순한 일례에 불과하고 별개의 구성으로 트래킹을 이용한 홀로그램 영상 제어 장치(200)에 포함될 수도 있다.
이하, 본 발명에 다른 트래킹을 이용한 디스플레이 화면 제어 방법에 대하여 설명하도록 한다. 상기 살펴본 바와 같이, 본 발명에 따른 디스플레이 화면 제어 장치(100)와 중복되는 기술 내용에 대한 설명은 생략하도록 한다.
도 5는 본 발명에 따른 트래킹을 이용한 디스플레이 화면 제어 방법의 흐름도이다. 도 5를 참조하여 설명하면, 본 발명에 따른 디스플레이 화면 제어 방법은, 사용자의 동공 또는 시선방향을 센싱함으로써 트래킹 정보를 생성하는 단계(S100)가 진행된다. 상기 S100 단계에서 생성되는 트래킹 정보를 제 1 트래킹 정보라 한다. 상기 S100 단계 이후, 사용자의 움직임을 센싱함으로써 트래킹 정보를 생성하는 단계(S110)가 진행되며, 상기 S110 단계에서 생성되는 트래킹 정보를 제 2 트래킹 정보라 한다. 상기 S110 단계 이후에는, 생성된 트래킹 정보를 기반으로 지지부 및 영상 출력부를 제어하는 단계(S120)가 진행된다. 즉, 상기 제 1 트래킹 정보 및 상기 제 2 트래킹 정보를 기반으로 상기 지지부 및 영상 출력부를 제어하며, 실시예에 따라서는 상기 제 1 트래킹 정보 및 상기 제 2 트래킹 정보는 서로 다른 가중치가 부여될 수 있으며, 상기 지지부와 상기 영상 출력부는 서로 다른 트래킹 정보를 기반으로 제어될 수 있다.
이하, 본 발명에 다른 트래킹을 이용한 홀로그램 영상 제어 방법에 대하여 설명하도록 한다. 상기 살펴본 바와 같이, 본 발명에 따른 홀로그램 영상 제어 장치(200)와 중복되는 기술 내용에 대한 설명은 생략하도록 한다.
도 6은 본 발명에 따른 트래킹을 이용한 홀로그램 영상 제어 방법의 흐름도이다. 도 6을 참조하여 설명하면, 본 발명에 따른 홀로그램 영상 제어 방법은, 사용자의 동공 또는 시선방향을 센싱함으로써 트래킹 정보를 생성하는 단계(S200)가 진행된다. 상기 S200 단계에서 생성되는 트래킹 정보를 제 1 트래킹 정보라 한다. 상기 S200 단계 이후, 사용자의 움직임을 센싱함으로써 트래킹 정보를 생성하는 단계(S210)가 진행되며, 상기 S210 단계에서 생성되는 트래킹 정보를 제 2 트래킹 정보라 한다. 상기 S210 단계 이후에는, 생성된 트래킹 정보를 기반으로 홀로그램 영상 출력부를 제어하는 단계(S220)가 진행된다. 즉, 상기 제 1 트래킹 정보 및 상기 제 2 트래킹 정보를 기반으로 상기 홀로그램 영상 출력부를 제어하며, 실시예에 따라서는 상기 제 1 트래킹 정보 및 상기 제 2 트래킹 정보는 서로 다른 가중치가 부여될 수 있다.
이상에서와 같은 본 발명은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 대여적으로 조합되어 구성될 수도 있다. 따라서 상술한 예를 참조하여 본 발명을 상세하게 설명하였지만, 당업자라면 본 발명의 범위를 벗어나지 않으면서도 본 예들에 대한 개조, 변경 및 변형을 가할 수 있다.
요컨대 본 발명이 의도하는 효과를 달성하기 위해 도면에 도시된 모든 기능 블록을 별도로 포함하거나 따라야 하는 것은 아니며, 그렇지 않더라도 얼마든지 청구항에 기재된 본 발명의 기술적 범위에 속할 수 있음에 주의한다.
100: 트래킹을 이용한 디스플레이 화면 제어 장치
200: 트래킹을 이용한 홀로그램 영상 제어 장치
110: 지지부
120: 영상 출력부
130,220: 트래킹 정보 생성부
131,221: 카메라 모듈
132,222: 적외선 LED 모듈
140,230: 제어부
210: 홀로그램 영상 출력부
211: 홀로그래피 저장부
212: 홀로그래피 출력부

Claims (13)

  1. 트래킹을 이용하여 디스플레이 화면을 제어하는 장치에 있어서,
    상기 디스플레이 화면을 지지하여 상기 디스플레이 화면의 위치 및 각도를 변경시키는 지지부;
    상기 디스플레이 화면에 영상을 출력하는 영상 출력부;
    사용자를 트래킹하여 트래킹 정보를 생성하는 트래킹 정보 생성부; 및
    상기 트래킹 정보 생성부를 통해 생성된 트래킹 정보를 기반으로 상기 지지부 및 상기 영상 출력부를 제어하는 제어부를 포함하며,
    상기 트래킹 정보 생성부는, 상기 사용자의 동공 또는 시선방향을 센싱함으로써 제 1 트래킹 정보를 생성하는 카메라 모듈; 및
    상기 사용자의 움직임을 센싱함으로써 제 2 트래킹 정보를 생성하는 적외선 LED 모듈을 포함하며,
    상기 제어부는, 상기 제 1 트래킹 정보 및 상기 제 2 트래킹 정보에 서로 다른 가중치를 부여하여 상기 디스플레이 화면에 출력되는 영상 및 상기 지지부의 위치 및 각도를 제어하거나, 또는, 상기 제어부는, 상기 제 1 트래킹 정보를 기반으로 상기 지지부의 위치 및 각도를 제어하고, 상기 제 2 트래킹 정보를 기반으로 상기 디스플레이 화면에 출력되는 영상의 중심 위치를 제어하는 것을 특징으로 하는 트래킹을 이용한 디스플레이 화면 제어 장치.
  2. 청구항 1에 있어서,
    상기 지지부는,
    상기 디스플레이 화면의 서로 다른 위치에 각각 연결되는 복수개로 구성되며, 복수개의 지지부 각각은 적어도 하나 이상의 경첩을 포함하는 것을 특징으로 하는 트래킹을 이용한 디스플레이 화면 제어 장치.
  3. 삭제
  4. 삭제
  5. 삭제
  6. 트래킹을 이용하여 디스플레이 화면을 제어하는 방법에 있어서,
    트래킹 정보 생성부에 의하여, 사용자를 트래킹하여 트래킹 정보를 생성하는 단계; 및
    제어부에 의하여, 상기 트래킹 정보를 생성하는 단계에서 생성된 트래킹 정보를 기반으로 지지부 및 영상 출력부를 제어하는 단계를 포함하되,
    상기 트래킹 정보를 생성하는 단계는,
    카메라 모듈에 의하여, 상기 사용자의 동공 또는 시선방향을 센싱함으로써 제 1 트래킹 정보를 생성하는 단계; 및
    적외선 LED 모듈에 의하여, 상기 사용자의 움직임을 센싱함으로써 제 2 트래킹 정보를 생성하는 단계를 포함하며,
    상기 지지부는, 상기 디스플레이 화면의 일측에 연결되어 상기 디스플레이 화면을 지지함으로써 상기 디스플레이 화면의 위치 및 각도를 조절하며,
    상기 영상 출력부는, 상기 디스플레이 화면에 영상을 출력하며,
    상기 제어부는, 상기 제 1 트래킹 정보 및 상기 제 2 트래킹 정보에 서로 다른 가중치를 부여하여 상기 디스플레이 화면에 출력되는 영상 및 상기 지지부의 위치 및 각도를 제어하거나, 또는, 상기 제어부는, 상기 제 1 트래킹 정보를 기반으로 상기 지지부의 위치 및 각도를 제어하고, 상기 제 2 트래킹 정보를 기반으로 상기 디스플레이 화면에 출력되는 영상의 중심 위치를 제어하는 것을 특징으로 하는 트래킹을 이용한 디스플레이 화면 제어 방법.
  7. 삭제
  8. 트래킹을 이용하여 홀로그램 영상을 제어하는 장치에 있어서,
    사용자의 주변에 위치한 공간에 홀로그램 영상을 출력하는 홀로그램 영상 출력부;
    상기 사용자를 트래킹 하여 트래킹 정보를 생성하는 트래킹 정보 생성부; 및
    상기 트래킹 정보 생성부를 통해 생성된 트래킹 정보를 기반으로 상기 홀로그램 영상 출력부를 제어하는 제어부를 포함하며,
    상기 트래킹 정보 생성부는, 상기 사용자의 동공 또는 시선방향을 센싱함으로써 제 1 트래킹 정보를 생성하는 카메라 모듈; 및
    상기 사용자의 움직임을 센싱함으로써 제 2 트래킹 정보를 생성하는 적외선 LED 모듈을 포함하며,
    상기 제어부는, 상기 제 1 트래킹 정보 및 상기 제 2 트래킹 정보에 서로 다른 가중치를 부여하여 상기 홀로그램 영상의 중심 위치를 제어하는 것을 특징으로 하는 트래킹을 이용한 홀로그램 영상 제어 장치.
  9. 청구항 8에 있어서,
    상기 홀로그램 영상 출력부는,
    빛의 간섭(interference)에 의해 생성된 간섭무늬를 기록하도록 형성되는 홀로그래피 저장부; 및
    상기 간섭무늬와 회절(diffraction)을 일으켜 생성된 상기 홀로그램 영상이 출력되게 상기 홀로그래피 저장부에 빛을 조사하도록 이루어지는 홀로그래피 출력부를 포함하는 것을 특징으로 하는 트래킹을 이용한 홀로그램 영상 제어 장치.
  10. 삭제
  11. 삭제
  12. 트래킹을 이용하여 홀로그램 영상을 제어하는 방법에 있어서,
    트래킹 정보 생성부에 의하여, 사용자를 트래킹하여 트래킹 정보를 생성하는 단계; 및
    제어부에 의하여, 상기 트래킹 정보 생성부를 통해 생성된 트래킹 정보를 기반으로 홀로그램 영상 출력부를 제어하는 단계를 포함하되,
    상기 트래킹 정보를 생성하는 단계는,
    카메라 모듈에 의하여, 상기 사용자의 동공 또는 시선방향을 센싱함으로써 제 1 트래킹 정보를 생성하는 단계; 및
    적외선 LED 모듈에 의하여, 상기 사용자의 움직임을 센싱함으로써 제 2 트래킹 정보를 생성하는 단계를 포함하며,
    상기 홀로그램 영상 출력부는, 상기 사용자의 주변에 위치한 공간에 홀로그램 영상을 출력하며,
    상기 제어부는, 상기 제 1 트래킹 정보 및 상기 제 2 트래킹 정보에 서로 다른 가중치를 부여하여 상기 홀로그램 영상의 중심 위치를 제어하는 것을 특징으로 하는 트래킹을 이용한 홀로그램 영상 제어 방법.
  13. 삭제
KR1020150001271A 2015-01-06 2015-01-06 트래킹을 이용한 디스플레이 화면 제어 장치 및 방법, 트래킹을 이용한 홀로그램 영상 제어 장치 및 방법 KR101628951B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150001271A KR101628951B1 (ko) 2015-01-06 2015-01-06 트래킹을 이용한 디스플레이 화면 제어 장치 및 방법, 트래킹을 이용한 홀로그램 영상 제어 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150001271A KR101628951B1 (ko) 2015-01-06 2015-01-06 트래킹을 이용한 디스플레이 화면 제어 장치 및 방법, 트래킹을 이용한 홀로그램 영상 제어 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101628951B1 true KR101628951B1 (ko) 2016-06-14

Family

ID=56191952

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150001271A KR101628951B1 (ko) 2015-01-06 2015-01-06 트래킹을 이용한 디스플레이 화면 제어 장치 및 방법, 트래킹을 이용한 홀로그램 영상 제어 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101628951B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116075007A (zh) * 2023-03-02 2023-05-05 深圳市序源科技有限公司 一种显示屏同步跟随灯具

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060018625A (ko) * 2004-08-25 2006-03-02 삼성전자주식회사 디스플레이 위치 제어 방법 및 장치
KR20120009657A (ko) * 2010-07-20 2012-02-02 재단법인대구경북과학기술원 골프 시뮬레이션 시스템 및 그 제어방법
KR20140090838A (ko) * 2013-01-10 2014-07-18 한국전자통신연구원 홀로그램 영상 표시 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060018625A (ko) * 2004-08-25 2006-03-02 삼성전자주식회사 디스플레이 위치 제어 방법 및 장치
KR20120009657A (ko) * 2010-07-20 2012-02-02 재단법인대구경북과학기술원 골프 시뮬레이션 시스템 및 그 제어방법
KR20140090838A (ko) * 2013-01-10 2014-07-18 한국전자통신연구원 홀로그램 영상 표시 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116075007A (zh) * 2023-03-02 2023-05-05 深圳市序源科技有限公司 一种显示屏同步跟随灯具

Similar Documents

Publication Publication Date Title
US11740460B2 (en) Optical systems with multi-layer holographic combiners
US11360557B2 (en) Eye tracking system
US10191283B2 (en) Systems, devices, and methods for eyebox expansion displays in wearable heads-up displays
RU2589379C2 (ru) Система трехмерного отображения
US11281003B2 (en) Near eye dynamic holography
TWI390247B (zh) 用於全像投影系統的光波校正
US9268520B1 (en) Altering content projection
US11662582B2 (en) Display with holographic relay and holographic image combiner
US20200043391A1 (en) Wearable Display With Coherent Replication
US20200413032A1 (en) Methods and apparatus to render 3d content within a moveable region of display screen
US11675311B2 (en) Eye tracking system with holographic film decoder
CN113574471A (zh) 基于眼睛位置生成的全息图像
CN106020480A (zh) 一种虚拟现实设备和虚拟现实图像处理方法
US20150304642A1 (en) Mobile terminal
KR101628951B1 (ko) 트래킹을 이용한 디스플레이 화면 제어 장치 및 방법, 트래킹을 이용한 홀로그램 영상 제어 장치 및 방법
CN116249926A (zh) 基于光导的全息显示设备
KR101873412B1 (ko) 이동 단말기 및 이를 구비하는 홀로그래피 제어 시스템
KR20130029862A (ko) 이동 단말기 및 그 제어방법
KR101870724B1 (ko) 이동 단말기 및 이를 구비하는 홀로그래피 제어 시스템
KR101627701B1 (ko) 사운드 공간 연출 장치 및 방법과 시스템
US20240005511A1 (en) Immediate Proximity Detection and Breakthrough with Visual Treatment
US20230305625A1 (en) Eye Tracking Data Filtering
JP2022149260A (ja) 拡張現実ディスプレイ、ビューアおよびプロジェクタ
KR20230037993A (ko) 전자 장치 및 그 동작 방법
WO2022212058A1 (en) Gaze and head pose interaction

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190402

Year of fee payment: 4