KR20160109479A - Rear view display system and method - Google Patents

Rear view display system and method Download PDF

Info

Publication number
KR20160109479A
KR20160109479A KR1020150033932A KR20150033932A KR20160109479A KR 20160109479 A KR20160109479 A KR 20160109479A KR 1020150033932 A KR1020150033932 A KR 1020150033932A KR 20150033932 A KR20150033932 A KR 20150033932A KR 20160109479 A KR20160109479 A KR 20160109479A
Authority
KR
South Korea
Prior art keywords
image
unit
display unit
photographing
displayed
Prior art date
Application number
KR1020150033932A
Other languages
Korean (ko)
Other versions
KR101670582B1 (en
Inventor
박영태
Original Assignee
박영태
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 박영태 filed Critical 박영태
Priority to KR1020150033932A priority Critical patent/KR101670582B1/en
Publication of KR20160109479A publication Critical patent/KR20160109479A/en
Application granted granted Critical
Publication of KR101670582B1 publication Critical patent/KR101670582B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/93—Regeneration of the television signal or of selected parts thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Finance (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Marketing (AREA)
  • Game Theory and Decision Science (AREA)
  • Economics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Business, Economics & Management (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

Disclosed are a rear view display system and a method thereof, of which a front side display device photographs a user and displays the photographed users image after a certain interval to allow a user to see a rear view of the user when the user turns back and see the front by displaying an image of the turned user. The present invention comprises: a display unit displaying a users appearance; a photographing unit photographing a user from a side near to the center of the display unit; and a processing unit outputting to display a paused image to the display unit, wherein the paused image is an image photographed from the photographing unit and delayed for a certain amount of time to be displayed.

Description

뒷모습 디스플레이 시스템 및 그 방법{Rear view display system and method}Rear view display system and method

본 발명은 뒷모습 디스플레이 시스템 및 그 방법에 관한 것으로 특히 정면의 디스플레이 장치에서 대상을 촬영하여 표시하되, 일정 지연 후 표시되도록 하여 뒤돌아선 대상이 다시 정면을 볼 때 뒤돌아선 상태의 영상이 표시되도록 하므로 대상의 뒷모습을 대상이 볼 수 있게 되는 뒷모습 디스플레이 시스템 및 그 방법에 관한 것이다.
More particularly, the present invention relates to a rear view display system and a method thereof, and more particularly to a front view display system in which a target is photographed and displayed so as to be displayed after a predetermined delay, The rear view display system and method thereof are provided.

주지하는 바와 같이, 대상의 뒷모습을 표시하는 시스템이 공지된 바 있으며, 그 대표적인 예로 대한민국 등록특허공보 제10-1392591호(발명의 명칭 : 뒷모습을 볼 수 있는 거울 겸용 디스플레이 시스템 ; 이하 '인용발명'이라 함)가 있다.As known in the art, a system for displaying the rear view of an object has been known. For example, Korean Patent Registration No. 10-1392591 entitled " Mirror Display System (hereinafter referred to as "Quot;).

공지된 인용발명은 도 1에서 보는 바와 같이, 전면에 거울(111)이 위치하고, 상기 거울(111)의 후면에 전방으로 이미지를 디스플레이하는 디스플레이부(112)가 마련되며, 일렬로 다수로 배열되고, 서로가 힌지 결합됨으로써 각각이 원하는 각도로 배열되는 거울디스플레이부(110);1, a mirror 111 is disposed on a front surface of the mirror 111, and a display unit 112 for displaying an image on the front of the mirror 111 is disposed on the rear surface of the mirror 111, A mirror display unit 110 which is hinged to each other and arranged at desired angles;

상기 거울디스플레이부(110)의 전방에 위치함으로써 상기 거울디스플레이부(110)와의 사이에 위치하는 사용자의 뒷모습을 상이한 각도에서 각각 촬영하도록 다수로 설치되는 카메라(120);A camera 120 installed in front of the mirror display unit 110 so as to photograph a rear view of a user located between the mirror display unit 110 and the mirror display unit 110 at different angles;

상기 카메라(120)에 의해 촬영되는 이미지를 상기 디스플레이부(112)에 디스플레이 되도록 제어하는 제어부;A control unit for controlling an image photographed by the camera 120 to be displayed on the display unit 112;

상기 거울(111)과 상기 디스플레이부(112)의 선택적 사용을 위해 상기 제어부를 조작하고, 선택되는 카메라(120)에 의해 촬영되는 이미지를 선택되는 디스플레이부(112)에 디스플레이 되도록 상기 제어부를 조작하는 조작부; 및The control unit is operated for selective use of the mirror 111 and the display unit 112 and the control unit is operated to be displayed on the display unit 112 where the image photographed by the selected camera 120 is selected An operating portion; And

지면에 수평 되게 다수로 설치되고, 서로 힌지 결합되는 수평프레임과, 상기 수평프레임에 길이방향을 따라 슬라이딩 가능하게 결합되도록 설치되는 제 1 수직프레임과, 상기 수평프레임의 힌지 결합 부분에 설치되는 제 2 수직프레임과, 상기 제 1 및 제 2 수직프레임에 길이방향을 따라 슬라이딩 가능하게 각각 결합되고, 고정부에 의해 상기 제 1 및 제 2 수직프레임에서 원하는 높이에 각각 고정되며, 상기 카메라(120)가 장착되는 카메라 브라켓을 포함하여, 상기 카메라(120) 각각의 촬영 각도와 촬영 위치를 변경시키는 가변프레임을 포함하는, 뒷모습을 볼 수 있는 거울 겸용 디스플레이 시스템이다.A first vertical frame mounted to the horizontal frame so as to be slidable along the longitudinal direction, and a second vertical frame provided on the hinge-coupled portion of the horizontal frame, A vertical frame, a first vertical frame, and a second vertical frame, respectively, which are slidably coupled to the first and second vertical frames, respectively, and fixed to a desired height in the first and second vertical frames, respectively, And a variable frame for changing the photographing angle and the photographing position of each of the cameras 120, including a camera bracket to be mounted.

이러한 인용발명은 거울(111)과 디스플레이부(112)가 복합 구성되고, 거울(111) 앞에 서 있는 대상의 뒷모습을 촬영하는 카메라(120)가 대상의 뒤에 구성되어 대상의 앞모습은 물론 뒷모습을 보여주는 시스템인 것이다.This cited invention has a camera 111 in which a mirror 111 and a display unit 112 are configured in a combined manner and a camera 120 for photographing a rear view of an object standing in front of a mirror 111 is formed behind the object, System.

그러나 인용발명은 거울(111)과 디스플레이부(112)의 화면이 일체로 되어 있기 때문에 디스플레이부(112)를 사용하지 않는 경우에는 거울(111)에 대상의 앞모습이 정상적으로 잘 나타나지만 디스플레이부(112)에 카메라(120)로부터 촬영된 대상의 뒷모습이 표시되면 거울(111)에 비춰지는 대상의 앞모습과 겹치게 되어 앞모습과 뒷모습 모두 부정확하게 나타나게 되는 문제점이 있으며, However, in the cited invention, when the display unit 112 is not used, the mirror 111 and the screen of the display unit 112 are integrated, When the back view of the object photographed from the camera 120 is displayed on the mirror 111, the front view of the object reflected on the mirror 111 overlaps with the front view of the object, and both the front view and the back view are inaccurately displayed.

아무런 조작 없이 사용되는 종래의 거울 사용 방법과는 달리, 인용발명은 카메라(120)를 조작하여 대상의 뒷모습을 촬영해야 뒷모습을 볼 수 있는 것이어서 사용 방법 숙지가 필요하게 되는 문제점 있고, Unlike the conventional method of using a mirror, which is used without any manipulation, the cited invention requires a camera 120 to be photographed to capture the rear view of the subject,

더욱이 인용발명은 대상의 뒷모습을 촬영하기 위하여 카메라(120)를 대상의 뒤에 위치시키는 별도의 구성이 필요하여 인용발명의 시스템을 의류 매장 등에 설치하기 위해서는 넓은 공간이 요구되는 문제점뿐만 아니라 상기 카메라(120)를 위치시키는 다수의 프레임이 보행에 지장을 초래하는 동시에 대상의 앞모습과 함께 거울(111)에 비춰지기 때문에 모습 확인을 저해하는 문제점이 있다.
In addition, the cited invention requires a separate structure for positioning the camera 120 behind the subject in order to photograph the rear view of the subject, and thus, in order to install the system of the cited invention in a clothing store or the like, Of the frame are obstructive to the walking and at the same time are reflected on the mirror 111 together with the frontal appearance of the object.

대한민국 등록특허공보 제10-1392591호Korean Patent Publication No. 10-1392591

본 발명의 목적은 이러한 문제점을 해결하기 위하여 사용이 간편하고, 설치공간이 최소화 되는 뒷모습 디스플레이 시스템을 제공하며, SUMMARY OF THE INVENTION It is an object of the present invention to provide a rear view display system which is simple in use and minimizes installation space,

정면의 디스플레이 장치에서 대상을 촬영하여 표시하되, 일정 지연 후 표시되도록 하여 뒤돌아선 대상이 다시 정면을 볼 때 뒤돌아선 상태의 영상이 표시되도록 하므로 대상의 뒷모습을 대상이 볼 수 있게 되는 뒷모습 디스플레이 방법을 제공함에 있다.
A rear view display method in which an object is displayed on a front display device and displayed after a predetermined delay so that a backward display image is displayed when the backward object is viewed from the front again, .

본 발명은 이러한 목적을 달성하기 위하여 대상의 모습을 표시하는 디스플레이부와, 상기 디스플레이부의 중심에 가까운 측부에서 대상을 촬영하는 촬영부와, 상기 촬영부가 촬영하는 영상을 지연시켜 디스플레이부를 통해 표시되도록 하는 처리부와, 상기 처리부와 통신하여 디스플레이부를 통해 표시되는 광고데이터를 제공하는 광고서버 및 상기 디스플레이부의 둘레에서 대상을 조광하는 발광부가 구성된 뒷모습 디스플레이 시스템을 제공하는 것이다.According to an aspect of the present invention, there is provided a display device including a display unit for displaying a shape of an object, a photographing unit for photographing an object at a side close to the center of the display unit, An advertisement server communicating with the processing unit to provide advertisement data displayed through a display unit, and a back view display system including a light emitting unit for dimming an object around the display unit.

또한 본 발명은 촬영부가 대상을 촬영하는 촬영단계와; 상기 촬영단계에서 촬영된 영상을 처리부가 설정된 지연시간만큼 버퍼메모리에 저장하여 선입선출 방식으로 처리하는 지연단계와; 상기 지연단계에서 지연된 영상을 디스플레이부를 통해 표시하여 뒷모습이 비춰진 지연된 영상이 플레이 되는 표시단계가 구성된 뒷모습 디스플레이 방법을 제공한다.
The present invention also provides an image processing method comprising: a photographing step of photographing an object; A delay step of storing the image photographed in the photographing step in a buffer memory for a predetermined delay time and processing the image in a first-in first-out manner; And displaying a delayed image in the delaying step through a display unit to display a delayed image having a backward view.

이와 같이 하여 본 발명은 촬영부가 대상의 뒤에 설치된 것이 아니라 디스플레이부를 바라보는 대상을 촬영하도록 상기 디스플레이부의 중심에 가까운 측부에 촬영부가 구비되므로 본 발명에 의한 뒷모습 디스플레이 시스템이 의상실 등과 같은 매장에서 차지하는 공간이 최소화 될 수 있는 것이며, 전신거울과 같은 형식으로 가로 길이보다 세로 길이가 긴 디스플레이부의 측부에 촬영부가 상, 하로 위치 조정이 가능하도록 구비됨에 따라 디스플레이부를 바라보는 대상의 시선에 촬영부의 카메라가 근접될 수 있어서, 외곡이 최소화 되고, 거울에 비춰진 모습에 근접되어 자연스러운 영상을 제공할 수 있게 되는 것이다.In this way, since the photographing unit is provided on the side close to the center of the display unit so that the photographing unit is not installed behind the subject but the subject looking at the display unit is photographed, the rear view display system according to the present invention has a space occupied in a store such as a wardrobe And the position of the photographing unit can be adjusted so that the position of the photographing unit can be adjusted up and down on the side of the display unit which is longer than the horizontal length in the same format as the whole body mirror so that the camera of the photographing unit approaches So that the distortion can be minimized, and it is possible to provide a natural image close to the mirror image.

또한 본 발명은 대상이 사용방법을 숙지할 필요 없고, 명령 입력이나 조작 없이 거울을 사용하듯 자신의 모습을 비춰보고, 뒤돌아보는 것만으로 정면모습 뿐만 아니라 뒷모습까지도 확인할 수 있도록 하는 것이기 때문에 거부감을 최소화 하면서 누구나 사용할 수 있으며, 뒷모습 확인이 용이하게 되는 유용한 효과가 있다.In addition, since the object does not need to know how to use the object, it is possible to illuminate his / her own image as if the mirror is used without inputting or manipulating the command, and to check not only the frontal view but also the rearward merely by looking back, There is a useful effect that can be used by anyone and easy to check the rear view.

아울러 본 발명은 대상의 얼굴이 인식된 후 얼굴인식이 중단되기까지는 영상의 지연처리 없이 카메라의 영상을 그대로 디스플레이부를 통해 실시간 표시되도록 하여 거울과 동일하게 작동되고, 얼굴인식이 중단된 이후의 영상만이 지연 처리되어 선입선출 방식으로 출력되는 것이므로 성인 한 사람의 전신이 실물크기 이상으로 표시될 수 있도록 하는 Full HD 이상의 고해상도 영상을 장시간 촬영하고 출력하더라도 고성능의 프로세서, 대용량의 저장 공간 없이도 구현 가능하며, 장시간 고해상도 영상 처리에 따른 고열 발생이 방지되어 시스템 구축비용의 절감 및 유지보수 비용이 절감되는 유용한 효과가 있다.In addition, according to the present invention, the image of the camera is displayed as it is in real time through the display unit without delay processing of the image until the face recognition is stopped after the face of the object is recognized. Is output in a first-in first-out manner. Therefore, even if a high-resolution image of a full HD or higher is displayed and output for a long time so that a whole body of an adult can be displayed in a size larger than a real size, it can be implemented without a high-performance processor and a large- It is possible to prevent the occurrence of high heat due to the long time high-resolution image processing, thereby reducing system construction cost and maintenance cost.

또한 본 발명은 광고서버로부터 광고데이터를 입력받아 대상이 자신의 모습을 비춰보듯 사용되는 디스플레이부를 통해 광고를 함께 출력할 수 있으며, 특히 본 발명에 의한 뒷모습 디스플레이 시스템이 설치된 매장에 방문하는 소비자에 특화된 광고를 출력할 수 있어서, 광고 효과가 높은 대상 마케팅이 가능하게 되어 효과적인 새로운 광고시장이 형성될 수 있게 되는 유용한 효과가 있다.
In addition, the present invention can output the advertisement together through the display unit, which receives the advertisement data from the advertisement server and is used as the object looks at its own image. In particular, It is possible to output the advertisement, and the target marketing with high advertisement effect becomes possible, which is a useful effect that an effective new advertisement market can be formed.

도1은 인용발명의 구성을 나타내는 구성도.
도2는 본 발명에 의한 뒷모습 디스플레이 시스템의 구성을 구체적으로 예시하는 실시예의 구성도.
도3은 본 발명에 의한 뒷모습 디스플레이 시스템의 처리부 구성을 구체적으로 예시하는 구성도.
도4, 5는 본 발명에 의한 뒷모습 디스플레이 시스템의 작동을 그래프로 예시한 도표.
도6 내지 8은 본 발명에 의한 뒷모습 디스플레이 방법에 대한 구체적인 실시예의 흐름도.BRIEF DESCRIPTION OF THE DRAWINGS Fig.
2 is a configuration diagram of an embodiment that specifically illustrates the configuration of a rear view display system according to the present invention.
3 is a configuration diagram specifically illustrating a configuration of a processing unit of the rear view display system according to the present invention.
Figs. 4 and 5 are graphs illustrating the operation of the rear view display system according to the present invention.
6 to 8 are flowcharts of a specific embodiment of a rear view display method according to the present invention.

이러한 본 발명을 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명하면 다음과 같다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

본 발명에 의한 뒷모습 디스플레이 시스템의 구체적인 실시예의 전체적인 구성을 도 2로 도시하였다.The overall configuration of a specific embodiment of the rear view display system according to the present invention is shown in Fig.

이에서 볼 수 있는 바와 같이, 본 발명에 의한 뒷모습 디스플레이 시스템은 대상의 모습을 표시하는 디스플레이부(10)와, As can be seen from the above, the rear view display system according to the present invention includes a display unit 10 for displaying the shape of an object,

상기 디스플레이부(10)의 중심에 가까운 측부에서 대상을 촬영하는 촬영부(20)와, A photographing unit 20 for photographing an object at a side close to the center of the display unit 10,

상기 촬영부(20)가 촬영하는 영상을 지연시킨 후 지연된 영상을 상기 디스플레이부(10)를 통해 표시되도록 출력하는 처리부(30)가 구성될 수 있다.And a processing unit 30 for delaying an image captured by the image capturing unit 20 and outputting a delayed image to be displayed through the display unit 10.

이에 따라 디스플레이부(10)에 자신의 모습을 비춰보는 대상이 디스플레이부(10) 앞에 서서 뒷모습을 비춰본 후 디스플레이부(10)를 바라보면 방금 전에 비춰본 뒷모습이 지연되어 디스플레이부(10)를 통해 표시(플레이)되므로 뒷모습을 확인할 수 있게 되는 것이다.Accordingly, when an object to be viewed in the display unit 10 stands in front of the display unit 10 and the rear view is viewed and the display unit 10 is viewed, the rear view just before is delayed, (Play), so you can check the back view.

즉, 도 4에서 도시한 표에서와 같이, 만약 대상이 지연시간 이상 뒤돌아서서 디스플레이부(10)의 측부에 설치된 촬영부(20)가 뒷모습을 촬영할 수 있도록 뒷모습을 비춰본 후 디스플레이부(10)를 바라보면 지연시간이 지나서 표시되는 영상은 뒤돌아 있는 상태의 영상이 표시되므로 바로 뒷모습 확인이 가능하게 되는 것이다.That is, as shown in the table of FIG. 4, if the display unit 10 displays the rear view so that the imaging unit 20 installed on the side of the display unit 10 can take a back view, The image displayed after the delay time is displayed in a state of being turned back, so that the rear view can be confirmed immediately.

여기에서 상기 디스플레이부(10)는 전신 거울과 같이 정면에서 볼 때 가로보다 세로의 길이가 더 길고, 적어도 성인 한 사람의 전신이 실물크기로 표시될 수 있도록 하는 Full HD 이상의 고해상도 영상 출력 장치로 구성되는 것이 바람직하며, 이러한 디스플레이부(10)의 측부에 설치된 촬영부(20)는 디스플레이부(10)의 정면에서 디스플레이부(10)의 정면 앞에 선 대상을 촬영하는 Full HD 이상의 고해상도 영상 촬영이 가능한 카메라(21)와, 대상의 키에 따라 상기 카메라(21)의 위치를 상, 하로 이동시킬 수 있도록 하는 이동부(22)가 구성될 수 있고, 상기 이동부(22)는 처리부(30)에 의해 제어되는 모터 등에 의해 작동될 수 있다.Here, the display unit 10 is configured as a full-HD or higher-resolution video output device, such as a full-body mirror, which has a longer length than a width when viewed from the front and allows at least a whole body of an adult to be displayed at a real size The photographing unit 20 installed on the side of the display unit 10 is capable of photographing a high resolution image of Full HD or higher which photographs a line object in front of the display unit 10 in front of the display unit 10. [ The moving unit 22 may be configured to move the camera 21 up and down in accordance with the key of the object and the moving unit 22 may be provided with the processing unit 30 Or by a motor controlled by the motor.

또한 상기 디스플레이부(10)는 디스플레이부(10)의 전방으로 빛을 발산하여 대상을 조광(照光)하는 발광부가 디스플레이부(10)의 둘레에 구비될 수 있으며, 이러한 발광부는 대상의 전신에 강하고 풍부한 빛으로 고르게 비추어 천장등에 의한 음영 발생을 방지할 수 있도록 다수의 LED 등으로 구성 가능한 라이트 바(Light bar)로 구성되는 것이 바람직하다.The display unit 10 may be provided around the display unit 10 to emit light toward the front of the display unit 10 to dim the subject, And a light bar that can be configured with a large number of LEDs or the like so as to prevent shading caused by a ceiling or the like in view of an abundance of light.

아울러 상기 처리부(30)는 데이터를 저장하는 메모리와, 상기 촬영부(20)로부터 영상데이터를 입력받아 지연 처리하여 디스플레이부(10)를 통해 지연된 영상이 출력되도록 하는 프로세서 및 통신장치가 구성될 수 있으며, 이러한 처리부(30)는 촬영부(20)의 영상데이터를 순차적으로 버퍼메모리(31)에 저장하고 버퍼메모리(31)가 채워지면 도 4에서 도시한 표와 같이, 선입선출 방식으로 먼저 입력된 영상데이터부터 순차적으로 출력시키면서 비워진 버퍼메모리(31)에 계속해서 다음 영상데이터를 저장하도록 하여 버퍼메모리(31)가 채워지는 시간만큼의 지연시간으로 지연 영상이 출력되도록 하는 것일 수 있다.The processor 30 may include a memory for storing data and a processor and a communication device for outputting a delayed image through the display unit 10 by receiving and delaying the image data from the photographing unit 20 The processing unit 30 sequentially stores the image data of the photographing unit 20 in the buffer memory 31. When the buffer memory 31 is filled up, The buffer memory 31 sequentially stores the next image data in the vacated buffer memory 31 so that the delayed image is output with a delay time equivalent to the time that the buffer memory 31 is filled.

또한 상기 처리부(30)는 도 3으로 예시한 바와 같이, 촬영부(20)로부터 입력되는 영상데이터에서 얼굴을 인식하는 인식부(32)와; 상기 인식부(32)에서 얼굴 인식이 중단된 이후부터 다시 인식될 때까지의 영상데이터를 지연시간만큼 지연시키는 지연부(33)와; 상기 인식부(32)에서 얼굴 인식이 중단되기 전까지 상기 디스플레이부(10)를 통해 실시간 영상이 출력되도록 하고, 얼굴 인식이 중단되면 상기 지연부(33)가 지연시킨 영상데이터를 출력하도록 하는 출력부(34)가 구성되어 도 5에서 도시한 표에서 보는 바와 같이, 처리부(30)에 입력되는 영상데이터에서 인식부(32)가 얼굴을 인식하면 촬영부(20)의 촬영 영상이 그대로 디스플레이부(10)에 실시간 영상 출력이 이루어져 거울과 같이 작동되고, 이와 같이 얼굴인식이 지속적으로 이루어지거나 인식된 얼굴을 다음 영상에서 추적하던 중 얼굴인식이 중단되면 대상이 뒤로 돌아선 것으로 간주하여 상기 지연부(33)가 입력되는 영상데이터를 설정된 지연시간만큼 지연시키며, 상기 출력부(34)가 이와 같이 지연된 영상데이터를 디스플레이부(10)를 통해 출력하므로 대상은 거울과 다름없이 디스플레이부(10) 앞에서 대상의 앞모습을 비춰보다가 뒷모습을 확인하고자 할 때 뒤돌아선 후 다시 디스플레이부(10)를 바라보면 뒤돌아섰을 때의 영상을 볼 수 있게 되는 것이고, 지연된 영상의 출력이 완료되면 다시 실시간 영상 출력이 이루어져 거울과 같이 사용할 수 있게 되는 것이다.3, the processing unit 30 includes a recognition unit 32 for recognizing a face from image data input from the photographing unit 20; A delay unit (33) for delaying the image data from the recognition of the face recognition by the recognition unit (32) to the recognition of the face image again by the delay time; A delay unit 33 for delaying the delayed image data when the face recognition is interrupted, and for outputting the delayed image data until the recognition unit 32 stops the face recognition, 5, when the recognition unit 32 recognizes a face from the image data input to the processing unit 30, the image taken by the photographing unit 20 is directly displayed on the display unit 10, and is operated as a mirror. When the facial recognition is continuously performed or the recognized face is being tracked on the next image, when the face recognition is interrupted, it is considered that the object is turned back and the delay unit 33 Is delayed by a predetermined delay time and the output unit 34 outputs the delayed video data through the display unit 10, When viewed from the front of the display unit 10, it is possible to view the image when the viewer turns back when the user looks back at the front part of the display unit 10, The output of the real-time image is made again so that it can be used like a mirror.

이러한 본 발명에 의한 뒷모습 디스플레이 시스템은 지연된 영상의 출력 속도를 조절하거나 반복 플레이, 일시 정지, 되돌리기 등을 할 수 있고, 디스플레이부(10)의 화면을 분할하여 실시간 영상과 지연된 영상을 동시에 표시할 수 있으며, 디스플레이부(10)의 일부를 이용하여 작동 알림을 실시하거나 디스플레이부(10) 또는 촬영부(20)에 대상을 감지하는 모션감지센서, 포토센서 등과 같은 감지센서가 처리부(30)에 감지값을 입력할 수 있도록 구비되어 디스플레이부(10) 앞의 일정 거리 이내에 대상이 있는지 없는지를 감지하여 뒷모습 디스플레이 시스템이 작동되도록 구성될 수 있다.The rear view display system according to the present invention can adjust the output speed of the delayed image, repeat playback, pause, and rewind, divide the screen of the display unit 10, and display the real time image and the delayed image simultaneously A detection sensor such as a motion detection sensor or a photo sensor for detecting an object on the display unit 10 or the photographing unit 20 is detected by the processing unit 30 by using a part of the display unit 10, So that it is possible to detect whether there is an object within a predetermined distance in front of the display unit 10 and to operate the rear view display system.

또한 상기 처리부(30)와 통신하여 디스플레이부(10)를 통해 표시되는 광고데이터를 제공하는 광고서버(50)가 구성될 수 있어서, 디스플레이부(10) 앞에 대상이 없는 경우 디스플레이부(10) 전체에 광고영상을 출력할 수 있고, 감지센서 등에 의해 대상이 감지되거나 얼굴이 인식되어 실시간 영상출력 중일 때, 또는 지연된 영상이 출력중일 때에는 디스플레이부(10)의 일부에 광고영상이 출력되도록 할 수 있다.The advertisement server 50 may be configured to provide advertisement data displayed through the display unit 10 in communication with the processing unit 30. When the display unit 10 does not have an object, The advertisement image may be output to a part of the display unit 10 when the object is detected by the detection sensor or the face is recognized and the real-time image is being outputted or the delayed image is being output .

또한 본 발명에 의한 뒷모습 디스플레이 시스템을 이용한 뒷모습 디스플레이 방법은 도 6에서 예시한 바와 같이, 촬영부(20)가 대상을 촬영하는 촬영단계(S10)와, As shown in FIG. 6, the rear view display method using the rear view display system according to the present invention includes a shooting step S10 for shooting the object by the shooting unit 20,

상기 촬영단계(S10)에서 촬영된 영상을 처리부(30)가 설정된 지연시간만큼 버퍼메모리(31)에 저장하여 선입선출 방식으로 처리하는 지연단계(S20)와, A delay step S20 of storing the image photographed in the photographing step S10 in the buffer memory 31 for a predetermined delay time and processing the image in a first-in first-out manner,

상기 지연단계(S20)에서 지연된 영상을 디스플레이부(10)를 통해 표시하는 표시단계(S30)가 구성될 수 있다. The display step S30 may be configured to display the image delayed in the delay step S20 through the display unit 10. [

여기에서 상기 지연단계(S20)는 설정되는 버퍼메모리(31)의 저장용량에 따라 지연시간이 조정될 수 있는 것이며, 영상데이터의 이미지프로세싱 없이 촬영부(20)로부터 입력되는 영상데이터의 프레임 별로 순차적으로 버퍼메모리(31)가 채워질 때까지 버퍼메모리(31)에 저장하다가 버퍼메모리(31)가 거의 다 채워지면 먼저 저장된 프레임부터 순차적으로 출력하면서 출력시킨 프레임은 버퍼메모리(31)에서 삭제하므로 이때부터 버퍼메모리(31)는 새로 입력되는 프레임 쓰기, 가장 먼저 저장된 프레임 읽기, 읽은 프레임 삭제를 순차 반복함에 따라 영상데이터를 저장하면서 먼저 저장된 프레임을 순차적으로 출력시켜서 버퍼메모리(31)가 일정량 채워지는 지연시간 후 촬영부(20)가 촬영한 영상이 그대로 디스플레이부(10)를 통해 출력되어 표시될 수 있게 되는 것이다.The delaying step S20 may adjust the delay time according to the storage capacity of the buffer memory 31 to be set. The delaying step S20 may be performed sequentially for each frame of the video data input from the photographing unit 20 without image processing of the video data. When the buffer memory 31 is almost filled with data stored in the buffer memory 31 until the buffer memory 31 is filled up, the frames output from the buffer memory 31 are sequentially output from the buffer memory 31 and are deleted from the buffer memory 31. Therefore, The memory 31 sequentially outputs the frames stored in advance while storing the image data by sequentially repeating the newly input frame write, the first stored frame read, and the read frame deletion so that the buffer memory 31 stores a delay time The image photographed by the photographing unit 20 can be output and displayed through the display unit 10 as it is to be.

이와 같은 지연단계(S20)의 작동 중에 디스플레이부(10) 앞에 선 대상은 디스플레이부(10)에 뒷모습을 비춰본 후 다시 디스플레이부(10)를 바라보면 뒷모습을 비출 때의 영상이 지연되어 다시 디스플레이부(10)를 바라볼 때 표시될 수 있어서 대상이 자신의 뒷모습을 확인할 수 있게 되는 것이다.During the operation of the delaying step S20, the line object in front of the display unit 10 is reflected on the display unit 10, and then the display unit 10 is viewed again, It can be displayed when looking at the part 10, so that the subject can check his / her rear view.

또한 본 발명은 뒷모습 디스플레이 시스템의 사용 방법을 거울의 사용 방식에 가깝도록 하여 자연스럽고, 용이하게 이용할 수 있도록 하기 위하여 도 7에서 예시한 바와 같이, 상기 지연단계(S20)는 촬영부(20)가 촬영한 영상에서 대상의 얼굴을 인식하는 인식단계(S21)와, In order to make the method of using the rear view display system close to the use of the mirror so that it is natural and easy to use, the delay step S20 is performed by the photographing unit 20 A recognizing step (S21) of recognizing a face of the object in the photographed image,

상기 인식단계(S21)에서 대상의 얼굴이 인식되면 촬영부(20)가 촬영하는 영상을 실시간으로 디스플레이부(10)를 통해 표시되도록 하는 실시간출력단계(S22)와, A real time output step S22 for displaying an image photographed by the photographing unit 20 in real time through the display unit 10 when the face of the object is recognized in the recognition step S21,

상기 인식단계(S21)에서 대상의 얼굴 인식이 중단된 영상부터 설정된 지연시간만큼 버퍼메모리(31)에 저장하여 선입선출 방식으로 출력하는 지연 출력단계가 구성될 수 있다.In the recognizing step S21, a delayed outputting step may be performed in which the face recognition of the object is stopped and the image is stored in the buffer memory 31 for a predetermined delay time and output in a first-in first-out manner.

여기에서 얼굴인식은 본인 확인을 위한 얼굴인식이 아니라 대상이 디스플레이부(10)를 바라보는 것인지 뒤돌아선 것인지를 판단하기 위한 것이며, 이러한 얼굴인식 방법은 영상데이터에서 얼굴의 눈, 코, 입 등과 같은 얼굴요소들의 패턴 중 적어도 어느 하나를 인식하는 것일 수 있고, 얼굴요소들의 크기, 모양, 상호 연관성 등에 의해 얼굴인지 아닌지를 판별하는 것일 수 있으며, 얼굴요소들 간의 거리와 위치 관계에 따라 식별하는 것, 또는 얼굴의 색상과 질감에 의해 얼굴인지를 인식하는 방법에 의해 얼굴을 인식하는 것이며, 전술한 방법들을 혼용하여 얼굴을 인식할 수 있다.Here, the face recognition is not a face recognition for identifying the person but is for judging whether or not the subject is looking at the display unit 10 or turning around. Such a face recognition method is a method of recognizing faces in the image data such as eyes, nose, A pattern of facial elements, a pattern of facial elements, or the like, and discriminates whether or not a face is determined by size, shape, and correlation of facial elements. It is also possible to discriminate according to the distance and positional relationship between facial elements, Or recognizing the face by a method of recognizing the face by the color and texture of the face, and can recognize the face by mixing the above methods.

이와 같은 방법으로 영상데이터에서 얼굴이 인식된 후 지속적으로 다음 영상데이터에서도 얼굴이 인식되거나 처음 인식된 얼굴을 추적할 수 있으며, 이때에는 거울을 이용하는 것과 같이 지연 없이 촬영부(20)가 촬영하는 영상을 그대로 디스플레이부(10)를 통해 실시간 영상을 출력하여 거울과 동일한 작동이 이루어지도록 하고, 이와 같이 지속적으로 얼굴인식 중 얼굴인식이 중단되거나 얼굴을 추적하던 중 얼굴추적이 중단되는 경우 대상이 뒤돌아선 것으로 간주하여 지연출력단계(S23)가 실시되고, 다시 얼굴이 인식되면 표시단계(S30)가 실시되어 대상이 자신의 뒷모습을 볼 수 있도록 하는 것이다.In this way, after the face is recognized in the image data, the face can be continuously recognized in the next image data or the face recognized first. In this case, the image captured by the photographing unit 20 The same operation as that of the mirror is performed by outputting the real-time image through the display unit 10 as it is. If the face tracking is interrupted while the face recognition is interrupted or the face is continuously tracked during the face recognition, The delayed output step S23 is performed. If the face is recognized again, the display step S30 is performed so that the subject can see his or her rear view.

아울러 본 발명은 디스플레이부(10) 앞에 대상이 있는지 없는지를 검출할 수 있는 감지센서가 구성되거나 촬영부(20)의 영상에서 설정된 크기 이상의 물체를 인식하여 대상을 감지할 수 있으며, 도 8과 같이, 상기 촬영단계(S10)에서 촬영된 영상에 대상이 없을 때 광고서버(50)로부터 수신된 광고데이터가 디스플레이부(10)를 통해 표시되는 상시광고단계(S40)와, In addition, the present invention can detect a subject by configuring a detection sensor capable of detecting whether there is an object in front of the display unit 10 or recognizing an object of a predetermined size or more from the image of the photographing unit 20, An advertisement step S40 in which the advertisement data received from the advertisement server 50 is displayed on the display unit 10 when there is no object in the image taken in the shooting step S10,

상기 촬영단계(S10)에서 촬영된 영상에 대상이 있을 때 광고서버(50)로부터 수신된 광고데이터가 디스플레이부(10)의 주변부에서 표시되는 대상광고단계(S50)가 구성될 수 있어서, 대상이 감지되지 않으면 상시광고단계(S40)가 실시되고, 대상이 감지되면서 얼굴이 인식될 때에만 대상광고단계(S50)가 실시되도록 하여 본 발명에 의한 뒷모습 디스플레이 시스템이 설치된 매장에 방문하는 소비자에게 특화된 광고를 출력할 수 있고, 새로운 광고시장으로써 사용될 수 있다.The target advertisement step S50 in which the advertisement data received from the advertisement server 50 is displayed on the periphery of the display unit 10 when the image captured in the shooting step S10 is an object can be configured, If it is not detected, the normal advertisement step S40 is performed, and the target advertisement step S50 is performed only when the face is recognized while the target is detected, so that the advertisement specific to the consumer visiting the store where the rear view display system according to the present invention is installed And can be used as a new advertising market.

이상에서, 본 발명에 대한 기술사상을 첨부도면과 함께 서술하였지만, 이는 본 발명의 가장 양호한 실시예를 예시적으로 설명한 것이지 본 발명을 한정하는 것이 아니고, 이 기술분야의 통상의 지식을 가진 자이면 누구나 본 발명의 기술사상의 범위를 이탈하지 않는 범위 내에서 치수 및 모양 그리고 구조 등의 다양한 변형 및 모방할 수 있음은 명백한 사실이며 이러한 변형 및 모방은 본 발명의 기술 사상의 범위에 포함된다.
While the present invention has been described in connection with what is presently considered to be preferred embodiments thereof, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims and their equivalents.

10:디스플레이부 20:촬영부 21:카메라
22:이동부 30:처리부 31:버퍼메모리
32:인식부 33:지연부 34:출력부
40:조광부 50:광고서버 S10:촬영단계
S20:지연단계 S21:인식단계 S22:실시간출력단계
S23:지연출력단계 S30:표시단계 S40:상시광고단계
S50:대상광고단계10: display unit 20: photographing unit 21: camera
22: moving part 30: processing part 31: buffer memory
32: recognition unit 33: delay unit 34: output unit
40: light setting unit 50: advertisement server S10: photographing step
S20: delay step S21: recognition step S22: real time output step
S23: delay output step S30: display step S40:
S50: Target Ad Stage

Claims (8)

대상의 모습을 표시하는 디스플레이부와, 상기 디스플레이부의 중심에 가까운 측부에서 대상을 촬영하는 촬영부와, 상기 촬영부가 촬영하는 영상을 지연시킨 후 지연된 영상을 상기 디스플레이부를 통해 표시되도록 출력하는 처리부가 구성됨을 특징으로 하는 뒷모습 디스플레이 시스템.A processing unit for outputting the image delayed by delaying the image to be photographed by the photographing unit to be displayed through the display unit; and a display unit for displaying the image of the object displayed on the display unit. And a rear view display system. 제 1 항에 있어서,
상기 디스플레이부의 둘레에 구비되고, 전방으로 빛을 발산하여 대상을 조광하는 발광부가 구성됨을 특징으로 하는 뒷모습 디스플레이 시스템.The method according to claim 1,
And a light emitting unit provided on the periphery of the display unit to emit light forward to illuminate an object. 제 1 항에 있어서,
상기 촬영부는 대상을 촬영하는 카메라와, 상기 카메라의 위치를 상, 하로 이동시키는 이동부로 구성됨을 특징으로 하는 뒷모습 디스플레이 시스템.The method according to claim 1,
Wherein the photographing unit comprises a camera for photographing an object and a moving unit for moving the position of the camera upward and downward. 제1항에 있어서,
상기 처리부는 촬영부로부터 입력되는 영상데이터에서 얼굴을 인식하는 인식부와,
상기 인식부에서 얼굴 인식이 중단된 이후부터 다시 인식될 때까지의 영상데이터를 지연시간만큼 지연시키는 지연부와,
상기 인식부에서 얼굴 인식이 중단되기 전까지 상기 디스플레이부를 통해 실시간 영상이 출력되도록 하고, 얼굴 인식이 중단되면 상기 지연부가 지연시킨 영상데이터를 출력하도록 하는 출력부가 구성된 것임을 특징으로 하는 뒷모습 디스플레이 시스템.The method according to claim 1,
Wherein the processing unit comprises: a recognizing unit for recognizing a face from the image data input from the photographing unit;
A delay unit for delaying, by a delay time, the image data from when the face recognition is stopped to when it is recognized again by the recognition unit;
Wherein the output unit is configured to output a real time image through the display unit until the face recognition is stopped in the recognition unit and output the image data delayed by the delay unit when the face recognition is stopped. 제1항에 있어서,
상기 처리부와 통신하여 디스플레이부를 통해 표시되는 광고데이터를 제공하는 광고서버가 구성된 것임을 특징으로 하는 뒷모습 디스플레이 시스템.The method according to claim 1,
And an advertisement server communicating with the processing unit and providing advertisement data displayed through the display unit. 촬영부가 대상을 촬영하는 촬영단계와,
상기 촬영단계에서 촬영된 영상을 처리부가 설정된 지연시간만큼 버퍼메모리에 저장하여 선입선출 방식으로 처리하는 지연단계와,
상기 지연단계에서 지연된 영상을 디스플레이부를 통해 표시하여 뒷모습이 비춰진 지연된 영상이 플레이 되는 표시단계가 구성됨을 특징으로 하는 뒷모습 디스플레이 방법.A photographing step of photographing a subject,
A delay step of storing the image photographed in the photographing step in a buffer memory for a predetermined delay time and processing the image in a first-in first-
And displaying the image delayed in the delaying step through the display unit so that the delayed image having the rearward view is played. 제6항에 있어서,
상기 지연단계는 촬영부가 촬영한 영상에서 대상의 얼굴을 인식하는 인식단계와,
상기 인식단계에서 대상의 얼굴이 인식되면 촬영부가 촬영하는 영상을 실시간으로 디스플레이부를 통해 표시되도록 하는 실시간 출력단계와,
상기 인식단계에서 대상의 얼굴 인식이 중단된 영상부터 설정된 지연시간만큼 버퍼메모리에 저장하여 선입선출 방식으로 출력하는 지연 출력단계가 구성된 것임을 특징으로 하는 뒷모습 디스플레이 방법.The method according to claim 6,
Wherein the delaying step comprises a recognition step of recognizing a face of an object in the image taken by the shooting unit,
A real-time output step of displaying an image photographed by the photographing unit in real time through a display unit when the face of the object is recognized in the recognizing step;
And a delay output step of storing the image in the buffer memory for a predetermined delay time from the image in which the face recognition of the object is stopped in the recognition step, and outputting it in a first-in first-out manner. 제6항에 있어서,
상기 촬영단계에서 촬영된 영상에 대상이 없을 때 광고서버로부터 수신된 광고데이터가 디스플레이부를 통해 표시되는 상시 광고 단계와,
상기 촬영단계에서 촬영된 영상에 대상이 있을 때 광고서버로부터 수신된 광고데이터가 디스플레이부의 주변부에서 표시되는 대상 광고 단계가 구성됨을 특징으로 하는 뒷모습 디스플레이 방법.The method according to claim 6,
An advertisement step in which the advertisement data received from the advertisement server is displayed through the display unit when there is no object in the image photographed in the shooting step,
And a target advertisement step in which the advertisement data received from the advertisement server is displayed at the periphery of the display unit when the image captured at the shooting step includes an object.
KR1020150033932A 2015-03-11 2015-03-11 Rear view display system and method KR101670582B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150033932A KR101670582B1 (en) 2015-03-11 2015-03-11 Rear view display system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150033932A KR101670582B1 (en) 2015-03-11 2015-03-11 Rear view display system and method

Publications (2)

Publication Number Publication Date
KR20160109479A true KR20160109479A (en) 2016-09-21
KR101670582B1 KR101670582B1 (en) 2016-10-28

Family

ID=57079807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150033932A KR101670582B1 (en) 2015-03-11 2015-03-11 Rear view display system and method

Country Status (1)

Country Link
KR (1) KR101670582B1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080096866A (en) * 2007-04-30 2008-11-04 윤상구 The display system for a beauty salon
JP2011248714A (en) * 2010-05-28 2011-12-08 Panasonic Corp Picked-up image processing system
JP2013528919A (en) * 2010-06-17 2013-07-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Display and lighting device for fitting room
KR101392591B1 (en) 2013-11-25 2014-05-08 정규은 Mirror combined display system of capable viewing rear

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080096866A (en) * 2007-04-30 2008-11-04 윤상구 The display system for a beauty salon
JP2011248714A (en) * 2010-05-28 2011-12-08 Panasonic Corp Picked-up image processing system
JP2013528919A (en) * 2010-06-17 2013-07-11 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Display and lighting device for fitting room
KR101392591B1 (en) 2013-11-25 2014-05-08 정규은 Mirror combined display system of capable viewing rear

Also Published As

Publication number Publication date
KR101670582B1 (en) 2016-10-28

Similar Documents

Publication Publication Date Title
JP2021060590A (en) Pass-through display of captured imagery
KR102214193B1 (en) Depth camera device, 3d image display system having the same and control methods thereof
US9813607B2 (en) Method and apparatus for image capture targeting
US9852339B2 (en) Method for recognizing iris and electronic device thereof
JP4707034B2 (en) Image processing method and input interface device
US10805543B2 (en) Display method, system and computer-readable recording medium thereof
CN111567036A (en) Video capture system and method
US20130100255A1 (en) Information processing system using captured image, information processing device, and information processing method
US8982245B2 (en) Method and system for sequential viewing of two video streams
KR20160065920A (en) Controlling a camera with face detection
US9699405B2 (en) Immersive teleconferencing with translucent video stream
US10694115B2 (en) Method, apparatus, and terminal for presenting panoramic visual content
JP6278242B2 (en) Shading device, shading method, and program
JP2022535520A (en) Electronic device control method and electronic device
EP4322520A1 (en) Photographing method and apparatus, and electronic device
US10321107B2 (en) Methods, systems, and computer readable media for improved illumination of spatial augmented reality objects
WO2009119288A1 (en) Communication system and communication program
CN110870304A (en) Method and apparatus for providing information to a user for viewing multi-view content
US11189047B2 (en) Gaze based rendering for audience engagement
EP3206082A1 (en) System, method and computer program for recording a non-virtual environment for obtaining a virtual representation
KR101670582B1 (en) Rear view display system and method
TW202036369A (en) Image processing apparatus and method thereof
KR20150010070A (en) Method and apparatus for dispalying images on portable terminal
JP2009055094A (en) Video system
KR101515404B1 (en) Method and apparatus for controlling of virtual camera

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191115

Year of fee payment: 4

R401 Registration of restoration