KR20140061235A - Oled display apparatus and visible light communication system having the display apparatus - Google Patents

Oled display apparatus and visible light communication system having the display apparatus Download PDF

Info

Publication number
KR20140061235A
KR20140061235A KR1020130126267A KR20130126267A KR20140061235A KR 20140061235 A KR20140061235 A KR 20140061235A KR 1020130126267 A KR1020130126267 A KR 1020130126267A KR 20130126267 A KR20130126267 A KR 20130126267A KR 20140061235 A KR20140061235 A KR 20140061235A
Authority
KR
South Korea
Prior art keywords
terminal
image
visible light
unit
additional information
Prior art date
Application number
KR1020130126267A
Other languages
Korean (ko)
Other versions
KR101417678B1 (en
Inventor
차재상
Original Assignee
서울과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울과학기술대학교 산학협력단 filed Critical 서울과학기술대학교 산학협력단
Priority to KR1020130126267A priority Critical patent/KR101417678B1/en
Priority to PCT/KR2013/010182 priority patent/WO2014073922A1/en
Priority to US14/442,396 priority patent/US9825702B2/en
Publication of KR20140061235A publication Critical patent/KR20140061235A/en
Application granted granted Critical
Publication of KR101417678B1 publication Critical patent/KR101417678B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B10/00—Transmission systems employing electromagnetic waves other than radio-waves, e.g. infrared, visible or ultraviolet light, or employing corpuscular radiation, e.g. quantum communication
    • H04B10/11—Arrangements specific to free-space transmission, i.e. transmission through air or vacuum
    • H04B10/114—Indoor or close-range type systems
    • H04B10/116—Visible light communication
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/18—Use of optical transmission of display information

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Electroluminescent Light Sources (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Control Of El Displays (AREA)

Abstract

An OLED display device capable of visible light communication and a visible light communication system are disclosed. The OLED display device includes an OLED display part, a data memory part, and an OLED control part. The OLED display part outputs an image displayed to the outside and additional information included in the image. The data memory part stores image data corresponding to the image and additional data corresponding to the additional information. The OLED control part controls the OLED display part to display the image on the OLED display part using the image data provided from the data memory part and controls the image blinking in a range where human eyes cannot recognize in order to include the additional information in the image using the additional data provided from the data memory part. The OLED display device displays additional information included in the image besides the general image in order to perform a transmission function of the visible light communication and an image display function.

Description

ＯＬＥＤ 표시장치 및 이를 갖는 가시광 통신 시스템{OLED DISPLAY APPARATUS AND VISIBLE LIGHT COMMUNICATION SYSTEM HAVING THE DISPLAY APPARATUS}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to an OLED display and a visible light communication system having the OLED display.

본 발명은 OLED 표시장치 및 이를 갖는 가시광 통신 시스템에 관한 것으로, 더욱 상세하게는 가시광 통신이 가능한 면형태의 광을 출사하는 OLED 표시장치 및 이를 갖는 가시광 통신 시스템에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an OLED display and a visible light communication system having the OLED display, and more particularly, to an OLED display and a visible light communication system having the same.

일반적으로 영상을 표시하기 위한 디스플레이 장치로는, 액정 표시장치(LCD), 전계발광 표시장치, OLED(organic light-emitting diode) 표시장치 등이 있을 수 있다. 이러한 디스플레이 장치 중 OLED 표시장치는 다른 표시장치에 비해 무게가 가볍고 얇은 두께로 형성될 수 있고, 낮은 전력으로 구동될 수 있으며, 높은 선명도를 영상을 표시할 수 있다. 따라서, 상기 OLED 표시장치는 스마트폰의 디스플레이 장치이나 모니터 등에 적용되고 있고, 그 이용분야가 최근 더 확대되고 있다.In general, a display device for displaying an image may be a liquid crystal display (LCD), an electroluminescence display device, an organic light-emitting diode (OLED) display device, or the like. Of these display devices, OLED display devices can be formed to be light in weight and thinner than other display devices, can be driven with low power, and can display images with high sharpness. Therefore, the OLED display device is applied to a display device or a monitor of a smart phone, and the field of use thereof is expanding recently.

따라서, 본 발명은 이러한 문제점을 해결하기 위한 것으로, 본 발명의 해결하고자 하는 과제는 가시광 통신이 가능한 영상을 출사시키는 OLED 표시장치를 제공하는 것이다.SUMMARY OF THE INVENTION Accordingly, the present invention has been made to solve the above-mentioned problems occurring in the prior art, and it is an object of the present invention to provide an OLED display device that emits an image capable of visible light communication.

본 발명의 또 해결하고자 하는 과제는 상기 OLED 표시장치를 구비하는 가시광 통신 시스템을 제공하는 것이다.A further object of the present invention is to provide a visible light communication system including the OLED display.

본 발명의 일 실시예에 의한 OLED 표시장치는 OLED(organic light-emitting diode) 표시부, 데이터 메모리부 및 OLED 제어부를 포함한다.An OLED display according to an embodiment of the present invention includes an organic light-emitting diode (OLED) display unit, a data memory unit, and an OLED control unit.

상기 OLED 표시부는 외부로 표시되는 영상 및 상기 영상 내에 포함된 부가 정보를 출사시킨다. 상기 데이터 메모리부는 상기 영상에 대응하는 영상 데이터 및 상기 부가 정보와 대응하는 부가 데이터를 저장하고 있다. 상기 OLED 제어부는 상기 데이터 메모리부로부터 제공된 상기 영상 데이터를 이용하여 상기 OLED 표시부에서 상기 영상이 표시되도록 상기 OLED 표시부를 제어하고, 상기 데이터 메모리부로부터 제공된 상기 부가 데이터를 이용하여 상기 부가 정보가 상기 영상 내에 포함되도록 인간의 눈으로 인지되지 못하는 범위 내에서 상기 영상의 깜빡임을 제어한다.The OLED display unit emits an image displayed externally and additional information included in the image. The data memory unit stores image data corresponding to the image and additional data corresponding to the additional information. Wherein the OLED control unit controls the OLED display unit to display the image on the OLED display unit using the image data provided from the data memory unit and controls the OLED display unit to display the additional information using the additional data provided from the data memory unit, The blinking of the image is controlled within a range that can not be recognized by the human eye.

상기 부가 정보는 위치 안내를 위한 위치값을 갖는 위치 정보를 포함할 수 있다. 이에 더하여, 상기 부가 정보는 상기 위치값에 따라 개별적으로 연결된 위치별 부가 정보를 더 포함할 수 있다.The additional information may include location information having a location value for location guidance. In addition, the additional information may further include position-dependent additional information individually connected according to the position value.

상기 OLED 표시장치는 외부 장치와 유선 또는 무선으로 접속되어 통신이 가능하고, 상기 외부 장치로부터 상기 영상 데이터 및 상기 부가 데이터 중 적어도 하나의 업데이트를 위한 업데이트 데이터를 제공받아 상기 OLED 제어부로 제공하는 인터페이스부를 더 포함할 수 있다.Wherein the OLED display device is connected to an external device by wire or wireless communication and is capable of receiving update data for updating at least one of the image data and the supplementary data from the external device and providing the updated data to the OLED control part .

상기 OLED 표시장치는 외부로부터 인가되는 가시광의 깜박임을 센싱하여 상기 가시광 내에 포함된 정보를 상기 OLED 제어부로 제공하는 광통신 수신부를 더 포함할 수 있다.The OLED display may further include an optical communication receiving unit for sensing the flicker of visible light applied from the outside and providing information included in the visible light to the OLED control unit.

본 발명의 일 실시예에 의한 가시광 통신 시스템은 외부로 표시되는 영상 및 상기 영상의 깜빡임에 포함된 부가 정보를 출사시키는 OLED 표시장치, 및 상기 영상의 깜빡임을 센싱하여 상기 부가 정보를 인식할 수 있는 가시광 통신 단말기를 포함한다.The visible light communication system according to an exemplary embodiment of the present invention includes an OLED display device for emitting an image displayed externally and additional information included in blinking of the image, and an OLED display device for sensing the blinking of the image, And a visible light communication terminal.

상기 부가 정보는 상기 OLED 표시장치의 위치값을 갖는 위치 정보, 및 상기 위치값에 따라 개별적으로 연결된 위치별 부가 정보를 포함할 수 있다.The additional information may include position information having a position value of the OLED display device and additional information per position connected individually according to the position value.

상기 가시광 통신 단말기는 상기 영상의 깜빡임을 센싱하여 상기 영상에서 상기 부가 정보를 추출하는 단말기 광센서부, 상기 부가 정보를 제공받아 데이터 처리를 수행하는 단말기 제어부, 상기 단말기 제어부에 의해 제어되어 상기 부가 정보를 저장하는 단말기 메모리부, 및 상기 단말기 제어부에 의해 제어되어 상기 부가 정보를 표시하는 단말기 디스플레이부를 포함할 수 있다.The visible light communication terminal includes a terminal optical sensor unit for sensing the flicker of the image and extracting the supplementary information from the image, a terminal controller for performing data processing by receiving the supplementary information, And a terminal display unit which is controlled by the terminal control unit and displays the additional information.

상기 단말기 메모리부는 가시광 통신을 위한 단말기 부가 정보를 포함하는 단말기 부가 데이터를 저장하고 있고, 상기 단말기 제어부는 상기 단말기 메모리부로부터 제공된 상기 단말기 부가 데이터를 이용하여 상기 단말기 부가 정보가 상기 단말기 디스플레이부에서 표시되는 단말기 영상 내에 포함되도록 인간의 눈으로 인지되지 못하는 범위 내에서 상기 단말기 영상의 깜빡임을 제어할 수 있다.Wherein the terminal memory unit stores terminal-side data including terminal side information for visible light communication, and the terminal control unit displays the terminal side information on the terminal display unit using the terminal-side data provided from the terminal memory unit The blinking of the terminal image can be controlled within a range that can not be recognized by the human eye so as to be included in the terminal image.

상기 가시광 통신 단말기는 상기 영상의 깜빡임을 센싱하여 상기 영상에서 상기 부가 정보를 추출하는 카메라 유닛, 상기 부가 정보를 제공받아 데이터 처리를 수행하는 단말기 제어부, 상기 단말기 제어부에 의해 제어되어 상기 부가 정보를 저장하는 단말기 메모리부, 및 상기 단말기 제어부에 의해 제어되어 상기 부가 정보를 표시하는 단말기 디스플레이부를 포함할 수 있다.The visible light communication terminal includes a camera unit for sensing the flicker of the image and extracting the additional information from the image, a terminal controller for performing data processing by receiving the additional information, And a terminal display unit, which is controlled by the terminal control unit and displays the additional information.

상기 카메라 유닛은 상기 영상의 깜빡임을 센싱하여 상기 영상에서 상기 부가 정보를 추출하는 이미지 센서부, 및 상기 이미지 센서부에서 상기 영상을 촬영하도록 광을 출사시키는 플래시부를 포함할 수 있다.The camera unit may include an image sensor unit for sensing the flicker of the image and extracting the additional information from the image, and a flash unit for emitting light to image the image in the image sensor unit.

상기 단말기 메모리부는 가시광 통신을 위한 단말기 부가 정보를 포함하는 단말기 부가 데이터를 저장하고 있고, 상기 단말기 제어부는 상기 단말기 메모리부로부터 제공된 상기 단말기 부가 데이터를 이용하여 상기 단말기 부가 정보가 상기 플래시부에서 출사되는 광에 포함되도록 상기 광의 깜빡임을 제어할 수 있다.Wherein the terminal memory unit stores terminal-side data including terminal side information for visible light communication, and the terminal control unit uses the terminal-side data provided from the terminal memory unit so that the terminal side information is outputted from the flash unit And to control the flicker of the light to be included in the light.

이와 같이 OLED 표시장치 및 이를 갖는 가시광 통신 시스템에 따르면, OLED 표시장치는 일반적인 영상뿐만 아니라 상기 영상 내에 부가 정보를 포함시켜 표시함에 따라, 영상 표시기능 및 가시광 통신의 송신 기능도 함께 수행할 수 있다.According to the OLED display device and the visible light communication system having the OLED display device, the OLED display device can display not only the general image but also the additional information in the image, so that the OLED display device can also perform the image display function and the transmission function of the visible light communication.

또한, 가시광 통신 단말기는 상기 OLED 표시장치에서 표시되는 영상의 깜빡임을 센싱하여 상기 영상 내에 포함된 상기 부가 정보를 추출하여 데이터 처리를 수행하고, 단말기 디스플레이부를 통해 외부로 상기 부가 정보를 표시할 수 있다.Also, the visible light communication terminal senses the blinking of the image displayed on the OLED display device, extracts the additional information included in the image, performs data processing, and displays the additional information through the terminal display unit .

또한, 상기 가시광 통신 단말기는 상기 단말기 디스플레이부를 통해 가시광 통신의 송신 기능을 수행하거나, 카메라 유닛에 내장된 플래시부를 통해 가시광 통신의 송신 기능을 수행할 수 있다.In addition, the visible light communication terminal may perform the transmission function of the visible light communication through the terminal display unit or may perform the transmission function of the visible light communication through the flash unit built in the camera unit.

또한, 상기 OLED 표시장치에도 가시광 통신의 송신 기능이 포함될 경우, 상기 OLED 표시장치와 상기 가시광 통신 단말기 사이에서 가시광 통신이 이루어질 수 있다.In addition, when the OLED display device also includes a transmission function of visible light communication, visible light communication can be performed between the OLED display device and the visible light communication terminal.

도 1은 본 발명의 일 실시예에 따른 가시광 통신 시스템을 도시한 개념도이다.
도 2는 도 1의 가시광 통신 시스템 중 OLED 표시장치를 도시한 블록도이다.
도 3은 도 1의 가시광 통신 시스템 중 가시광 통신 단말기의 일 실시예를 도시한 블록도이다.
도 4는 도 1의 가시광 통신 시스템 중 가시광 통신 단말기의 다른 실시예를 도시한 블록도이다.1 is a conceptual diagram illustrating a visible light communication system according to an embodiment of the present invention.
2 is a block diagram illustrating an OLED display device of the visible light communication system of FIG.
FIG. 3 is a block diagram illustrating an embodiment of a visible light communication terminal in the visible light communication system of FIG. 1. Referring to FIG.
4 is a block diagram illustrating another embodiment of a visible light communication terminal in the visible light communication system of FIG.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다.The present invention is capable of various modifications and various forms, and specific embodiments are illustrated in the drawings and described in detail in the text.

그러나, 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 제1, 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.It should be understood, however, that the invention is not intended to be limited to the particular forms disclosed, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. The terms first, second, etc. may be used to describe various elements, but the elements should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as a second component, and similarly, the second component may also be referred to as a first component.

본 출원에서 사용한 용어는 단지 특정한 실시예들을 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성 요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
The terminology used herein is for the purpose of describing particular embodiments only and is not intended to be limiting of the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprising" or "having ", and the like, are intended to specify the presence of stated features, integers, steps, operations, elements, parts, or combinations thereof, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, parts, or combinations thereof.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예들을 보다 상세하게 설명한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Reference will now be made in detail to the preferred embodiments of the present invention, examples of which are illustrated in the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 가시광 통신 시스템을 도시한 개념도이다.1 is a conceptual diagram illustrating a visible light communication system according to an embodiment of the present invention.

도 1을 참조하면, 본 실시예에 의한 가시광 통신 시스템은 OLED 표시장치(100) 및 가시광 통신 단말기(200)를 포함한다.Referring to FIG. 1, the visible light communication system according to the present embodiment includes an OLED display device 100 and a visible light communication terminal 200.

상기 OLED 표시장치(100)는 가시광 통신이 가능한 영상을 출사시킨다. 즉, 상기 OLED 표시장치(100)는 외부로 표시되는 영상 및 가사광 통신을 위한 부가 정보를 함께 출사시킨다. 이때, 상기 부가 정보는 인간의 눈으로 인지되지 못하는 범위 내에서 상기 영상의 깜빡임에 포함된다.The OLED display 100 emits an image capable of visible light communication. That is, the OLED display device 100 emits an image to be displayed externally and additional information for visual communication. At this time, the additional information is included in blinking of the image within a range that can not be recognized by the human eye.

상기 가시광 통신 단말기(200)는 상기 OLED 표시장치(100)에서 출사되는 영상의 깜빡임을 센싱하여 상기 영상의 깜빡임에 포함된 상기 부가 정보를 인식할 수 있고, 상기 부가 정보를 데이터 처리하여 외부로 표시할 수 있다.The visible light communication terminal 200 can sense the blinking of an image emitted from the OLED display device 100 to recognize the additional information included in the blinking of the image, can do.

한편, 본 실시예에서 상기 OLED 표시장치(100)는 다양한 응용분야에 적용될 수 있다. 예를 들어, 상기 OLED 표시장치(100)는 영상을 표시하는 일반 모니터, 노트북 표시장치, TV 등에 적용될 수 있고, 전시장 내의 디스플레이 장치, 정거장이나 전철역 내의 안내 디스플레이 장치 등에 적용될 수 있다. 또한, 상기 OLED 표시장치(100)는 가시광 통신의 송신 및 수신 모두가 가능한 가시광 통신 단말기일 수도 있다.Meanwhile, in the present embodiment, the OLED display device 100 can be applied to various application fields. For example, the OLED display device 100 may be applied to a general monitor for displaying images, a notebook display device, a TV, and the like, and may be applied to a display device in an exhibition hall, a guidance display device in a station or a subway station. Also, the OLED display 100 may be a visible light communication terminal capable of transmitting and receiving visible light communication.

상기 OLED 표시장치(100)에서 출사되는 상기 부가 정보는 상기 OLED 표시장치(100)의 현재 위치값을 갖는 위치 정보를 포함할 수 있고, 이에 더하여 상기 위치값에 따라 개별적으로 연결된 위치별 부가 정보를 더 포함할 수 있다. 예를 들어, 상기 OLED 표시장치(100)가 적용된 안내 디스플레이가 어느 거리에 배치되어 있다고 할 때, 상기 안내 디스플레이에서 출사되는 부가 정보에는 상기 안내 디스플레이의 현재 위치와 상기 현재 위치와 인접한 주요 상점, 음식점 등의 위치별 부가 정보를 함께 제공할 수 있다.The additional information output from the OLED display 100 may include position information having a current position value of the OLED display 100 and additional information per position individually connected to the position value . For example, suppose that the guidance display to which the OLED display device 100 is applied is located at a certain distance, the additional information emitted from the guidance display includes a current location of the guidance display and a main store adjacent to the current location, And the like can be provided together.

이하, 별도의 도면을 통해 상기 OLED 표시장치(100) 및 상기 가시광 통신 단말기(200)에 대해 상세하게 설명하고자 한다.Hereinafter, the OLED display device 100 and the visible light communication terminal 200 will be described in detail with reference to separate drawings.

도 2는 도 1의 가시광 통신 시스템 중 OLED 표시장치를 도시한 블록도이다.2 is a block diagram illustrating an OLED display device of the visible light communication system of FIG.

도 2를 참조하면, 상기 OLED 표시장치(100)는 OLED 표시부(110), 데이터 메모리부(120), OLED 제어부(130) 및 인터페이스부(140)를 포함한다.Referring to FIG. 2, the OLED display 100 includes an OLED display 110, a data memory 120, an OLED controller 130, and an interface 140.

상기 OLED 표시부(110)는 매트릭스 형태로 배치된 복수의 OLED(organic light-emitting diode) 소자들을 포함하고, 외부로 표시되는 영상 및 상기 영상의 깜빡임 내에 포함된 부가 정보를 출사시킬 수 있다.The OLED display 110 includes a plurality of organic light-emitting diode (OLED) elements arranged in a matrix, and may emit an image displayed externally and additional information included in a blink of the image.

상기 데이터 메모리부(120)는 상기 OLED 제어부(130)에 의해 제어되어 상기 OLED 표시장치(100)에 필요한 각종 데이터를 저장할 수 있다. 구체적으로, 상기 OLED 표시부(110)는 상기 OLED 표시부(110)에서 표시되어야 할 영상에 대응하는 영상 데이터와, 상기 영상의 깜빡임 내에 포함된 부가 정보와 대응하는 부가 데이터를 저장할 수 있다.The data memory unit 120 may be controlled by the OLED control unit 130 to store various data required for the OLED display device 100. Specifically, the OLED display 110 may store image data corresponding to an image to be displayed on the OLED display 110, and additional data corresponding to additional information included in the blink of the image.

상기 OLED 제어부(130)는 상기 데이터 메모리부(120)로부터 상기 영상 데이터를 제공받고, 상기 영상 데이터를 이용하여 상기 OLED 표시부(110)에서 상기 영상이 표시되도록 상기 OLED 표시부(110)를 제어한다. 또한, 상기 OLED 제어부(130)는 상기 데이터 메모리부(120)로부터 상기 부가 데이터를 제공받고, 상기 부가 데이터를 이용하여 상기 부가 정보가 상기 영상 내에 포함되도록 인간의 눈으로 인지되지 못하는 범위 내에서 상기 영상의 깜빡임을 제어한다.The OLED control unit 130 receives the image data from the data memory unit 120 and controls the OLED display unit 110 to display the image in the OLED display unit 110 using the image data. The OLED control unit 130 may receive the additional data from the data memory unit 120 and may use the additional data so that the additional information is included in the image, Controls the blinking of the image.

상기 인터페이스부(140)는 상기 OLED 제어부(130)와 연결되어 신호를 주고 받을 수 있고, 외부 장치(미도시)와 유선 또는 무선으로 접속되어 통신이 가능하다. 예를 들어, 상기 인터페이스부(140)는 상기 외부 장치와 별도의 케이블을 통해 접속할 수 있는 인터페이스 유닛, 및 무선 통신 방법을 통해 상기 외부 장치와 접속되어 신호를 주고 받을 수 있는 무선 통신 유닛 중 적어도 하나늘 포함할 수 있다.The interface unit 140 can be connected to the OLED control unit 130 to transmit and receive signals, and can communicate with an external device (not shown) through a wired or wireless connection. For example, the interface unit 140 may include at least one of an interface unit that can be connected to the external device through a separate cable, and a wireless communication unit that is connected to the external device through the wireless communication method, You can always include it.

상기 인터페이스부(140)는 상기 외부 장치로부터 상기 영상 데이터 및 상기 부가 데이터 중 적어도 하나의 업데이트를 위한 업데이트 데이터를 제공받아 상기 OLED 제어부(130)로 제공할 수 있다. 따라서, 상기 OLED 제어부(130)는 상기 업데이트 데이터를 이용하여 상기 데이터 메모리부(120)에 저장되어 있는 상기 영상 데이터 및 상기 부가 데이터 중 적어도 하나를 업데이트시킬 수 있다.The interface unit 140 may receive update data for updating at least one of the image data and the supplementary data from the external apparatus and provide the update data to the OLED control unit 130. Accordingly, the OLED control unit 130 may update at least one of the image data and the additional data stored in the data memory unit 120 using the update data.

한편, 상기 OLED 표시장치(100)는 가시광 통신의 송신을 위한 기능만을 수행하는 것이 아니라, 가시광 통신의 수신 기능도 함께 수행할 수도 있다. 즉, 상기 OLED 표시장치(100)는 외부로부터 인가되는 가시광의 깜박임을 센싱하여 상기 가시광 내에 포함된 정보를 상기 OLED 제어부(130)로 제공하는 광통신 수신부(150)를 더 포함할 수 있다.Meanwhile, the OLED display device 100 may perform not only a function for transmitting visible light communication but also a receiving function for visible light communication. That is, the OLED display 100 may further include an optical communication receiver 150 sensing the flicker of visible light applied from the outside and providing information included in the visible light to the OLED controller 130.

도 3은 도 1의 가시광 통신 시스템 중 가시광 통신 단말기의 일 실시예를 도시한 블록도이다.FIG. 3 is a block diagram illustrating an embodiment of a visible light communication terminal in the visible light communication system of FIG. 1. Referring to FIG.

도 3을 참조하면, 상기 가시광 통신 단말기(200)는 단말기 광센서부(210), 단말기 제어부(220), 단말기 메모리부(230) 및 단말기 디스플레이부(240)를 포함할 수 있다.3, the visible light communication terminal 200 may include a terminal optical sensor unit 210, a terminal control unit 220, a terminal memory unit 230, and a terminal display unit 240.

상기 단말기 광센서부(210)는 상기 OLED 표시장치(100)에서 출사된 영상의 깜빡임을 센싱하여 상기 영상에 포함된 부가 정보를 추출한다. 이때, 상기 단말기 광센서부(210)는 상기 영상의 깜박임을 센싱할 수 있도록 상기 영상의 깜박임보다 더 빠른 속도로 영상을 획득할 수 있는 광통신 센서를 포함한다.The terminal optical sensor unit 210 senses blinking of an image emitted from the OLED display device 100 and extracts additional information included in the image. At this time, the terminal optical sensor unit 210 includes an optical communication sensor capable of acquiring an image at a higher speed than the flicker of the image so as to sense the flicker of the image.

상기 단말기 제어부(220)는 상기 단말기 광센서부(210)로부터 상기 부가 정보를 제공받아 데이터 처리를 수행한다. 상기 단말기 메모리부(230)는 상기 가시광 통신 단말기(200)의 구동에 필요한 각종 데이터를 저장할 수 있고, 또한 상기 단말기 제어부(220)에 의해 제어되어 상기 부가 정보를 저장할 수 있다. 상기 단말기 디스플레이부(240)는 상기 단말기 제어부에 의해 제어되어 상기 각종 데이터에 따른 영상을 표시할 수 있고, 또한 상기 단말기 제어부(220)로부터 제공된 상기 부가 정보를 표시할 수 있다.The terminal control unit 220 receives the additional information from the terminal optical sensor unit 210 and performs data processing. The terminal memory unit 230 may store various data necessary for driving the visible light communication terminal 200 and may store the additional information under the control of the terminal control unit 220. [ The terminal display unit 240 can display an image according to the various data controlled by the terminal control unit and can display the additional information provided from the terminal control unit 220.

한편, 상기 단말기 디스플레이부(240)는 단순 영상을 표시할 뿐만 아니라 가시광 통신의 송신 기능도 함께 수행할 수 있다.Meanwhile, the terminal display unit 240 may display not only a simple image but also transmit a visible light communication function.

구체적으로 예를 들면, 상기 단말기 메모리부(230)는 가시광 통신을 위한 단말기 부가 정보, 즉 전송하고자하는 각종 정보를 포함하는 단말기 부가 데이터를 저장하고 있을 수 있다. 이때, 상기 단말기 제어부(220)는 상기 단말기 메모리부(230)로부터 상기 단말기 부가 데이터를 제공받고, 상기 단말기 부가 데이터에 포함된 상기 단말기 부가 정보가 상기 단말기 디스플레이부(240)에서 표시되는 단말기 영상 내에 포함되도록 인간의 눈으로 인지되지 못하는 범위 내에서 상기 단말기 영상의 깜빡임을 제어할 수 있다.Specifically, for example, the terminal memory unit 230 may store terminal additional data for visible light communication, that is, terminal additional data including various information to be transmitted. At this time, the terminal control unit 220 receives the terminal unit data from the terminal memory unit 230, and the terminal unit information included in the terminal unit data is stored in the terminal image displayed on the terminal display unit 240 The blinking of the terminal image can be controlled within a range that can not be recognized by the human eye.

도 4는 도 1의 가시광 통신 시스템 중 가시광 통신 단말기의 다른 실시예를 도시한 블록도이다.4 is a block diagram illustrating another embodiment of a visible light communication terminal in the visible light communication system of FIG.

도 4를 참조하면, 상기 가시광 통신 단말기(200)는 단말기 제어부(220), 단말기 메모리부(230), 단말기 디스플레이부(240) 및 카메라 유닛(250)을 포함할 수 있다. 이때, 상기 단말기 제어부(220), 상기 단말기 메모리부(230) 및 상기 단말기 디스플레이부(240)는 도 3을 통해 설명한 단말기 제어부(220), 단말기 메모리부(230) 및 단말기 디스플레이부(240)와 실질적으로 동일하므로, 이에 대한 자세한 설명은 생략하기로 한다.4, the visible light communication terminal 200 may include a terminal control unit 220, a terminal memory unit 230, a terminal display unit 240, and a camera unit 250. The terminal control unit 220, the terminal memory unit 230 and the terminal display unit 240 are connected to the terminal control unit 220, the terminal memory unit 230 and the terminal display unit 240, And thus a detailed description thereof will be omitted.

상기 카메라 유닛(250)은 상기 OLED 표시장치(100)에서 출사된 영상의 깜빡임을 센싱하여 상기 영상에 포함된 부가 정보를 추출한다. 구체적으로, 상기 카메라 유닛(250)은 상기 영상의 깜빡임을 센싱하여 상기 영상에 포함된 상기 부가 정보를 추출하는 이미지 센서부(252), 및 상기 이미지 센서부(252)에서 상기 영상을 촬영하도록 광을 출사시키는 플래시부(254)를 포함할 수 있다. 이때, 상기 이미지 센서부(252)는 상기 영상의 깜박임을 센싱할 수 있도록 상기 영상의 깜박임보다 더 빠른 속도로 영상을 획득할 수 있는 복수의 이미지 센서들, 예를 들어 CMOS 센서들을 포함할 수 있다.The camera unit 250 senses blinking of an image emitted from the OLED display device 100 and extracts additional information included in the image. Specifically, the camera unit 250 includes an image sensor unit 252 for sensing the flicker of the image and extracting the additional information included in the image, and an image sensor unit 252 for sensing the image from the image sensor unit 252 And a flash unit 254 that emits a light beam. The image sensor unit 252 may include a plurality of image sensors, for example, CMOS sensors, which can acquire an image at a higher speed than the flicker of the image so as to sense the flicker of the image .

한편, 상기 플래시부(254)는 단순히 광을 조사하는 기능 외에 가시광 통신의 송신 기능도 함께 수행할 수 있다. Meanwhile, the flash unit 254 can perform a function of transmitting visible light communication in addition to a function of simply irradiating light.

구체적으로 예를 들면, 상기 단말기 메모리부(230)는 가시광 통신을 위한 단말기 부가 정보, 즉 전송하고자하는 각종 정보를 포함하는 단말기 부가 데이터를 저장하고 있을 수 있다. 이때, 상기 단말기 제어부(220)는 상기 단말기 메모리부(230)로부터 상기 단말기 부가 데이터를 제공받고, 상기 단말기 부가 데이터에 포함된 상기 단말기 부가 정보가 상기 플래시부(254)에서 출사되는 플래시광에 포함되도록 인간의 눈으로 인지되지 못하는 범위 내에서 상기 플래시광의 깜빡임을 제어할 수 있다.Specifically, for example, the terminal memory unit 230 may store terminal additional data for visible light communication, that is, terminal additional data including various information to be transmitted. At this time, the terminal control unit 220 receives the terminal unit data from the terminal memory unit 230, and the terminal unit information included in the terminal unit data is included in the flash light emitted from the flash unit 254 The flicker of the flash light can be controlled within a range that is not recognized by the human eye.

이와 같이 본 실시예에 따르면, 상기 OLED 표시장치(100)는 일반적인 영상뿐만 아니라 상기 영상의 깜빡임을 제어하여 상기 영상 내에 부가 정보를 포함시켜 표시함에 따라, 영상 표시기능 및 가시광 통신의 송신 기능도 함께 수행할 수 있다.As described above, according to the present embodiment, the OLED display 100 controls not only a general image but also blinking of the image to include additional information in the image, thereby displaying a video display function and a visible light communication transmission function Can be performed.

또한, 상기 가시광 통신 단말기(200)는 상기 OLED 표시장치(100)에서 표시되는 영상의 깜빡임을 센싱하여 상기 영상 내에 포함된 상기 부가 정보를 추출하여 데이터 처리를 수행하고, 상기 단말기 디스플레이부(240)를 통해 외부로 상기 부가 정보를 표시할 수 있다.Also, the visible light communication terminal 200 senses blinking of an image displayed on the OLED display 100, extracts the additional information included in the image and performs data processing, So that the additional information can be displayed to the outside.

또한, 상기 가시광 통신 단말기(200)는 상기 단말기 디스플레이부(240)를 통해 가시광 통신의 송신 기능을 수행하거나, 상기 카메라 유닛(254)에 내장된 플래시부(254)를 통해 가시광 통신의 송신 기능을 수행할 수 있다.The visible light communication terminal 200 may perform a transmission function of visible light communication through the terminal display unit 240 or a transmission function of visible light communication through a flash unit 254 built in the camera unit 254. [ Can be performed.

또한, 상기 OLED 표시장치(100)에도 가시광 통신의 송신 기능이 포함될 경우, 상기 OLED 표시장치(100)와 상기 가시광 통신 단말기(200) 사이에서 가시광 통신이 이루어질 수 있다.
In addition, when the OLED display device 100 includes a transmission function of visible light communication, visible light communication may be performed between the OLED display device 100 and the visible light communication terminal 200. [

앞서 설명한 본 발명의 상세한 설명에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술분야의 숙련된 당업자 또는 해당 기술분야에 통상의 지식을 갖는 자라면 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.While the present invention has been described in connection with what is presently considered to be practical and exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims.

100 : OLED 표시장치 110 : OLED 표시부
120 : 데이터 메모리부 130 : OLED 제어부
140 : 인터페이스부 150 : 광통신 수신부
200 : 가시광 통신 단말기 210 : 단말기 센서부
220 : 단말기 제어부 230 : 단말기 메모리부
240 : 단말기 디스플레이부 250 : 카메라 유닛
252 : 이미지 센서부 254 : 플래시부100: OLED display 110: OLED display
120: Data memory unit 130: OLED control unit
140: interface unit 150: optical communication receiver
200: visible light communication terminal 210: terminal sensor unit
220: terminal control unit 230: terminal memory unit
240: terminal display unit 250: camera unit
252: image sensor unit 254: flash unit

Claims (8)

외부 장치로부터 제공되는 가시광의 깜빡임을 센싱하여 상기 가시광에서 부가 정보를 추출하는 카메라 유닛;
상기 부가 정보를 제공받아 데이터 처리를 수행하는 단말기 제어부;
상기 단말기 제어부에 의해 제어되고, 상기 부가 정보를 저장하는 단말기 메모리부; 및
상기 단말기 제어부에 의해 제어되고, 상기 부가 정보를 포함한 단말기 영상을 표시하는 단말기 디스플레이부를 포함하는 것을 특징으로 하는 가시광 통신 단말기.A camera unit for sensing a blink of visible light provided from an external device and extracting additional information from the visible light;
A terminal controller for receiving the additional information and performing data processing;
A terminal memory unit controlled by the terminal control unit and storing the additional information; And
And a terminal display unit controlled by the terminal control unit and displaying a terminal image including the additional information. 제1항에 있어서, 상기 카메라 유닛은
상기 가시광의 깜빡임을 센싱하여 상기 가시광에서 상기 부가 정보를 추출하는 이미지 센서부; 및
상기 이미지 센서부에서 상기 영상을 촬영하도록 광을 출사시키는 플래시부를 포함하는 것을 특징으로 하는 가시광 통신 단말기.The camera system according to claim 1, wherein the camera unit
An image sensor unit for sensing the flickering of the visible light and extracting the additional information from the visible light; And
And a flash unit for emitting light to image the image in the image sensor unit. 제2항에 있어서, 상기 단말기 메모리부는 가시광 통신을 위한 단말기 부가 정보를 포함하는 단말기 부가 데이터를 저장하고 있고,
상기 단말기 제어부는 상기 단말기 메모리부로부터 상기 단말기 부가 데이터를 제공받고, 상기 단말기 부가 정보가 상기 플래시부에서 출사되는 광에 포함되도록 상기 광의 깜빡임을 제어하는 것을 특징으로 하는 가시광 통신 단말기.3. The apparatus of claim 2, wherein the terminal memory stores terminal data including terminal additional information for visible light communication,
Wherein the terminal control unit controls the flickering of the light so that the terminal unit receives data from the terminal memory unit and the terminal unit information is included in light emitted from the flash unit. 제2항에 있어서, 상기 이미지 센서부는
상기 가시광의 깜박임을 센싱할 수 있도록 상기 가시광의 깜박임보다 더 빠른 속도로 영상을 획득할 수 있는 복수의 CMOS 센서들을 포함하는 가시광 통신 단말기.3. The image pickup apparatus according to claim 2,
And a plurality of CMOS sensors capable of acquiring an image at a speed faster than the flicker of the visible light so as to sense the flicker of the visible light. 외부 장치로부터 제공되는 가시광의 깜빡임을 센싱하여 상기 가시광에 포함된 부가 정보를 추출하는 단말기 광센서부;
상기 부가 정보를 제공받아 데이터 처리를 수행하는 단말기 제어부;
상기 단말기 제어부에 의해 제어되고, 상기 부가 정보를 저장하는 단말기 메모리부; 및
상기 단말기 제어부에 의해 제어되고, 상기 부가 정보를 포함한 단말기 영상을 표시하는 단말기 디스플레이부를 포함하는 가시광 통신 단말기.A terminal optical sensor unit sensing a blink of visible light provided from an external device and extracting additional information included in the visible light;
A terminal controller for receiving the additional information and performing data processing;
A terminal memory unit controlled by the terminal control unit and storing the additional information; And
And a terminal display unit controlled by the terminal control unit and displaying a terminal image including the additional information. 제1항 또는 제5항에 있어서, 상기 단말기 메모리부는 가시광 통신을 위한 단말기 부가 정보를 포함하는 단말기 부가 데이터를 저장하고 있고,
상기 단말기 제어부는 상기 단말기 메모리부로부터 상기 단말기 부가 데이터를 제공받고, 상기 단말기 부가 정보가 상기 단말기 영상 내에 포함되도록 상기 단말기 영상의 깜빡임을 제어하는 것을 특징으로 하는 가시광 통신 단말기.The terminal of claim 1 or 5, wherein the terminal memory stores terminal data including terminal additional information for visible light communication,
Wherein the terminal control unit controls the flicker of the terminal image so that the terminal unit receives data from the terminal memory unit and the terminal unit information is included in the terminal image. 제6항에 있어서, 상기 단말기 영상은
인간의 눈으로 인지되지 못하는 범위 내에서 깜빡이는 것을 특징으로 하는 가시광 통신 단말기.7. The method of claim 6,
And blinks within a range that can not be recognized by the human eye. 제1항 또는 제5항에 있어서, 상기 부가 정보는
상기 외부 장치의 위치값을 갖는 위치 정보; 및
상기 위치값에 따라 개별적으로 연결된 위치별 부가 정보를 포함하는 것을 특징으로 하는 가시광 통신 단말기.The method according to claim 1 or 5,
Position information having a position value of the external device; And
Wherein the additional information includes location-specific additional information that is individually connected according to the position value.
KR1020130126267A 2012-11-12 2013-10-23 Oled display apparatus and visible light communication system having the display apparatus KR101417678B1 (en)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020130126267A KR101417678B1 (en) 2013-10-23 2013-10-23 Oled display apparatus and visible light communication system having the display apparatus
PCT/KR2013/010182 WO2014073922A1 (en) 2012-11-12 2013-11-11 Oled display and visible light communication system having same
US14/442,396 US9825702B2 (en) 2012-11-12 2013-11-11 OLED display apparatus and visible light communication system having the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130126267A KR101417678B1 (en) 2013-10-23 2013-10-23 Oled display apparatus and visible light communication system having the display apparatus

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020120127206A Division KR101457389B1 (en) 2012-11-12 2012-11-12 Oled display apparatus and visible light communication system having the display apparatus

Publications (2)

Publication Number Publication Date
KR20140061235A true KR20140061235A (en) 2014-05-21
KR101417678B1 KR101417678B1 (en) 2014-07-10

Family

ID=50890323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130126267A KR101417678B1 (en) 2012-11-12 2013-10-23 Oled display apparatus and visible light communication system having the display apparatus

Country Status (1)

Country Link
KR (1) KR101417678B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016117293A1 (en) * 2015-01-23 2016-07-28 Sony Corporation Device, system, and method for displaying an image together with a superimposed light component representing a code

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060017940A (en) * 2004-08-23 2006-02-28 현제훈 Mobile multimedia report management system and control method thereof
JP2009153117A (en) * 2007-11-28 2009-07-09 Fujikura Ltd Visible light communication module
KR101036849B1 (en) * 2008-12-12 2011-05-25 한국광기술원 Device and Method for communication using visible light
KR20120063935A (en) * 2010-12-08 2012-06-18 한국전자통신연구원 Apparatus and method for providing service of data exchange

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016117293A1 (en) * 2015-01-23 2016-07-28 Sony Corporation Device, system, and method for displaying an image together with a superimposed light component representing a code
US10211918B2 (en) 2015-01-23 2019-02-19 Sony Corporation Device, system, and method for displaying an image together with a superimposed light component representing a code

Also Published As

Publication number Publication date
KR101417678B1 (en) 2014-07-10

Similar Documents

Publication Publication Date Title
US10948983B2 (en) System and method for utilizing gaze tracking and focal point tracking
US9886796B2 (en) Display device, head mounted display, display system, and control method for display device
US10395116B2 (en) Dynamically created and updated indoor positioning map
US9825702B2 (en) OLED display apparatus and visible light communication system having the same
CN108885856B (en) Information processing apparatus, information processing method, and program
KR100911376B1 (en) The method and apparatus for realizing augmented reality using transparent display
US20140225916A1 (en) Augmented reality system with encoding beacons
US20140368533A1 (en) Multi-space connected virtual data objects
KR101457389B1 (en) Oled display apparatus and visible light communication system having the display apparatus
MY174590A (en) Image display device and image display method, information communication terminal and information communication method, and image display system
KR20140027576A (en) Oled display for visible ray communication
KR20160046620A (en) Display driver circuit and display system
EP3872796A1 (en) Display control method and apparatus, driving module and electronic device
EP2889860A3 (en) Organic light emitting diode display device and method of driving the same
JP2019105678A (en) Display device and method to display images
US10394283B2 (en) Display system and related method
JP2015160696A (en) Picking assisting device and program
CN104269142A (en) Touch drive circuit and drive method thereof
KR20210137762A (en) Display device reducing flicker and electronic device including the same
KR102453082B1 (en) Display incuding hole area and electronic device including the display
EP2767845B1 (en) Augmented reality system with encoding beacons
US20200273413A1 (en) Grayscale adjustment method and display device
JP2024509648A (en) Display driving integrated circuits, displays and electronic equipment
KR101417678B1 (en) Oled display apparatus and visible light communication system having the display apparatus
KR20140097742A (en) Smart glasses comprising sensor for sensing intensity of illumination

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 4

R401 Registration of restoration