KR20150004952A - Behavior-based Realistic Picture Environment Control System - Google Patents
Behavior-based Realistic Picture Environment Control System Download PDFInfo
- Publication number
- KR20150004952A KR20150004952A KR1020130077630A KR20130077630A KR20150004952A KR 20150004952 A KR20150004952 A KR 20150004952A KR 1020130077630 A KR1020130077630 A KR 1020130077630A KR 20130077630 A KR20130077630 A KR 20130077630A KR 20150004952 A KR20150004952 A KR 20150004952A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- image
- behavior
- runtime
- display device
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Business, Economics & Management (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Tourism & Hospitality (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Human Resources & Organizations (AREA)
- Economics (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
본 발명은 시청자의 움직임에 대응하여 영상콘텐츠의 디스플레이가 제어되고, SNS를 통해 수집되는 소셜정보와 영상콘텐츠에 수반된 정보레이어를 비교, 분석함으로써 관심정보를 추출하여 활용하며, 영상콘텐츠 현시 장면에 대응하는 시청자의 움직임을 수집, 분석함으로써 해당 영상콘텐츠를 감상하는 다음 시청자의 런타임별 행동패턴을 예측하여 디스플레이장치 및 실감영상보조장치를 제어하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템을 제공한다.
In the present invention, display of image contents is controlled in response to a motion of a viewer, and interest information is extracted and utilized by comparing and analyzing social information collected through the SNS and an information layer associated with the image content, Based on a behavior-based real-scene image environment control system configured to control a display device and a sensation image auxiliary device by predicting a behavior pattern for each runtime of a next viewer who views the corresponding image content by collecting and analyzing a motion of a corresponding viewer do.
UI(User Interface)란 사용자(사람)와 컴퓨터 사이의 소통을 위한 매개체로서, 현재의 UI기술은 텍스트 기반의 CLI(Command Line Interface), 그래픽 기반의 GUI(Graphical User Interface)를 넘어 인간 신체 기반의 NUI(Natural User Interface)로 진화하고 있다. UI (User Interface) is a medium for communication between a user (person) and a computer. Current UI technology is based on a human body based interface (GUI) It is evolving into the NUI (Natural User Interface).
[참고도 1] [Reference Figure 1]
NUI는 인간의 손동작, 음성, 제스처 등을 기반으로 한 것이기 때문에 이용하기 쉽다는 장점이 있으며, 컨넥티드 디바이스(Connected Device)의 보급이 일반화되면서 NUI 역시 다양하게 진화하고 있다. NUI의 주요 기술로는 Multi-Touch, Gesture, Voice, Eye Tracking, Facial Expression, Device Movement, Biometrics, Brain-based 등이 있다. 아래의 [표 1]은 현존하는 NUI 기술을 유형별로 분류하여 설명한 것이다.Since NUI is based on human hand movements, voice, and gestures, it has an advantage that it is easy to use. As the spread of connected devices becomes common, NUI is also evolving variously. NUI's main technologies include Multi-Touch, Gesture, Voice, Eye Tracking, Facial Expression, Device Movement, Biometrics, and Brain-based. Table 1 below shows the existing NUI technologies classified by type.
[표 1][Table 1]
최근에는 NUI를 활용하여 사용자 체험을 강조하는 UX(User Experience)가 주목받고 있으며, 실감영상분야도 전인체적인 체험을 받을 수만 있는 시스템(또는 소프트웨어) 구성에서 한 단계 더 발전하여 전인격적인 체험을 실감영상으로 교류하고 소통하며 더 나아가 이를 기반으로 사용자의 행위를 예측하는 쌍방향의 체험 기술이 각광받을 것으로 여겨진다.
In recent years, UX (User Experience), which emphasizes the user experience by using NUI, has attracted attention, and the field of sensation video has also developed a system (or software) that can receive an entire human experience, It is believed that two-way experiential technology that interacts and communicates with realistic images and further predicts user's behavior based on this will be spotlighted.
본 발명이 해결하고자 하는 과제는 다음과 같다.Problems to be solved by the present invention are as follows.
1. 시청자의 동작에 대응하여 영상콘텐츠의 디스플레이가 제어되는 시스템을 제공한다.1. A system for controlling display of image contents in response to an operation of a viewer.
2. SNS를 통해 수집되는 소셜정보와 영상콘텐츠에 수반된 정보레이어를 비교, 분석함으로써 관심정보를 추출, 활용하는 시스템을 제공한다.2. Provides a system for extracting and utilizing information of interests by comparing and analyzing social information collected through SNS and information layer accompanied by image contents.
3. 영상콘텐츠의 런타임에 따라 현시되는 화면에 대응하는 시청자의 동작을 수집, 분석하여 해당 영상콘텐츠를 감상하는 다음 시청자의 런타임별 행동패턴을 예측하여 디스플레이장치 및 실감영상보조장치를 제어하는 시스템을 제공한다.
3. A system for collecting and analyzing the motion of the viewer corresponding to the displayed image according to the runtime of the image content and controlling the display device and the sensory image assisting device by predicting the behavior pattern for each runtime of the viewer to provide.
본 발명은 「유·무선통신수단에 의해 정보를 송·수신할 수 있는 촬영부, 제어부 및 디스플레이장치를 포함하여 구성되는 영상콘텐츠 제어 시스템으로서, 상기 촬영부는 상기 디스플레이장치에 현시되는 영상콘텐츠를 감상하는 시청자를 촬영하여 생성한 이미지 정보를 상기 제어부에 전달하고, 상기 제어부는 기 구축된 행동패턴DB과 상기 이미지 정보를 비교·분석하고 행동의미를 추론하여 상기 디스플레이장치에 제어신호를 전달하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템」을 제공한다.
The present invention relates to an image content control system comprising a photographing unit, a control unit, and a display device capable of transmitting and receiving information by means of wire / wireless communication means, wherein the photographing unit displays the image content displayed on the display device And transmits the generated image information to the control unit. The control unit compares and analyzes the previously constructed behavior pattern DB and the image information, and infer the behavioral meaning to transmit the control signal to the display device Based realistic image environment control system.
또한, 본 발명은 「상기 영상콘텐츠에는 영상진행에 따른 런타임정보 및 런타임에 따른 시청자 행동패턴을 기록한 런타임-행동DB가 수반되어 있고, 상기 제어부는 상기 영상콘텐츠로부터 런타임정보를 추출하여 상기 이미지 정보와 매칭시켜 런타임-행동 갱신정보를 생성하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템」을 함께 제공한다.
Further, the present invention is characterized in that the image content includes a runtime-behavior DB in which runtime information according to image progress and viewer behavior patterns according to runtime are recorded, and the control unit extracts runtime information from the image content, Based real-time image environment control system configured to generate run-time-behavior update information by matching the behavior-based real-time image environment control system.
또한, 본 발명은 「상기 디스플레이장치에 상기 영상콘텐츠를 제공하는 콘텐츠 관리서버; 를 더 포함하여 구성되며, 상기 콘텐츠 관리서버는 주기적으로 상기 제어부로부터 상기 런타임-행동 갱신정보를 수집하여 상기 런타임-행동DB를 갱신하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템」을 함께 제공한다.
Further, the present invention is characterized by " a content management server for providing the image content to the display device; Based real-time image environment control system, characterized in that the content management server is configured to periodically collect the run-time behavior update information from the control unit and update the run-time behavior DB do.
또한, 본 발명은 「상기 제어부는 상기 영상콘텐츠의 플레이 시각정보 및 상기 디스플레이장치 설치지점의 위치정보를 수집하여 상기 런타임-행동 갱신정보와 함께 상기 콘텐츠 관리서버로 전달하도록 구성된 것을 특징으로 하는 행동기반 영상콘텐츠 제어 시스템」을 함께 제공한다.
Further, the present invention is characterized in that the control unit collects play time information of the image content and position information of the display device installation point and transmits the collected information together with the runtime-behavior update information to the content management server Video content control system ".
또한, 본 발명은 「시청자가 가입한 SNS(Social Network Service)를 통해 소셜정보를 수집하여 상기 제어부에 전달하는 소셜정보서버; 를 더 포함하여 구성되고, 상기 영상콘텐츠는 영상과 관련된 배경지역 정보, 건물정보, 인물정보, 대사정보 및 물품정보를 포함하는 정보레이어가 수반되어 있으며, 상기 제어부는 상기 소셜정보와 정보레이어를 비교·분석함으로써 상기 정보레이어로부터 관심정보를 추출하도록 구성된 것을 특징으로 하는 행동기반 영상콘텐츠 제어 시스템」을 함께 제공한다. 이 경우 상기 제어부는 추출된 관심정보를 키워드로 하여 인터넷망에서 추천콘텐츠를 검색하여 리스트를 작성하도록 구성할 수 있으며, 또한 상기 제어부는 상기 소셜정보서버를 통해 열람되는 타인의 SNS 업로드정보 중 상기 관심정보와 매칭되는 것에 대해 상기 관심정보를 자동으로 첨부하도록 구성할 수 있다.
The present invention further provides a social information server for collecting social information through a Social Network Service (SNS) to which the viewer subscribes and transmitting the collected social information to the control unit; Wherein the image content is accompanied by an information layer including background region information, building information, person information, metabolism information, and article information related to the image, and the controller compares the social information and the information layer And extracts the information of interest from the information layer by analysis. &Quot; In this case, the controller may search the recommended content in the Internet network using the extracted interest information as a keyword, and create a list. In addition, the control unit may configure the SNS upload information of the other SNS uploaded through the social information server, The interest information may be automatically attached to the matching information.
또한, 본 발명은 「상기 디스플레이장치와 연계되어, 상기 제어부에서 전달하는 제어신호에 의해 작동이 통제되는 실감영상보조장치; 를 더 포함하여 구성된 것을 특징으로 하는 행동기반 영상콘텐츠 제어 시스템」을 함께 제공한다.
Further, the present invention is characterized in that " a sensory image assisting device linked with the display device and controlled in operation by a control signal transmitted from the control unit; Quot ;, and " behavior-based image content control system "
전술한 본 발명에 따르면 다음의 효과를 기대할 수 있다.According to the present invention described above, the following effects can be expected.
1. 시청자의 행동에 따라 디스플레이장치가 제어되므로, 시청자가 영상콘텐츠 시청 중 다른 용무가 발생하여 급히 자리를 비웠다가 돌아오는 경우 영상콘텐츠의 재생이 중단되었다가 리플레이되는 제어, 시청자가 영상콘텐츠 시청 중 잠이 드는 경우 자동으로 디스플레이장치를 오프시키는 제어 등, 상황에 맞는 제어를 자동으로 수행할 수 있다.1. Since the display device is controlled according to the behavior of the viewer, when the viewer is absent due to another situation while watching the video content and then returns, the control of the replay of the video content is stopped. And automatically turning off the display device when it is locked, or the like, can be performed automatically.
2. SNS를 통해 수집되는 소셜정보와 영상콘텐츠에 수반된 정보레이어를 비교, 분석함으로써 시청자의 관심정보를 추출하여, 광고 서비스 등과 연계시킬 수 있고, 상기 관심정보를 키워드로 여러 가지 추천콘텐츠를 검색하여 제공할 수 있다.2. By comparing and analyzing the social information collected through the SNS and the information layer accompanied by the image content, it is possible to extract the interested information of the viewer and to associate with the advertisement service and the like, .
3. 영상콘텐츠의 런타임에 따라 현시되는 화면에 대응하는 시청자의 동작을 수집, 분석하여 이를 DB화 함으로써 해당 영상콘텐츠를 감상하는 다음 시청자의 런타임별 행동패턴을 예측하여 디스플레이장치 및 실감영상보조장치를 제어하여 영상콘텐츠 감상을 위한 최적화된 환경을 제공할 수 있다.
3. The viewer's action corresponding to the displayed screen according to the runtime of the image content is collected and analyzed and DB is rendered so as to observe the corresponding image content, and then the behavior pattern for each runtime of the viewer is predicted, It is possible to provide an optimized environment for viewing video contents.
[도 1]은 시청자의 행동 분석 결과에 따라 디스플레이장치를 제어하는 행동기반 영상콘텐츠 제어 시스템의 모식도이다.
[도 2]는 영상콘텐츠의 런타임별 시청자 행동패턴 분석결과에 따라 디스플레이장치를 제어하는 행동기반 영상콘텐츠 제어 시스템의 모식도이다.
[도 3]은 콘텐츠 관리서버에서 런타임-행동 갱신정보를 수집하여 런타임-행동DB를 갱신하는 과정의 모식도이다.
[도 4]는 영상콘텐츠의 플레이 시각정보 및 상기 디스플레이장치 설치지점의 위치정보가 수록된 런타임-행동 갱신정보 리스트의 실시예이다.
[도 5]는 제어부가 시청자의 소셜정보와 영상콘텐츠의 정보레이어를 비교, 분석하여 관심정보를 추출하는 과정의 모식도이이다.
[도 6]은 소셜정보와 정보레이어를 비교, 분석하여 추출한 관심정보를 키워드로 검색하여 도출한 추천콘텐츠 리스트의 실시예이다.FIG. 1 is a schematic diagram of a behavior-based image content control system for controlling a display device according to a behavior analysis result of a viewer.
FIG. 2 is a schematic diagram of a behavior-based image content control system for controlling a display device according to a viewer behavior pattern analysis result for each image content at runtime. FIG.
[Fig. 3] is a schematic diagram of a process of collecting runtime-behavior update information in the content management server and updating the runtime-behavior DB.
4 is an example of a runtime-behavior update information list in which play time information of a video content and location information of the display device installation point are recorded.
5 is a schematic diagram illustrating a process of the control unit comparing and analyzing the social information of the viewer and the information layer of the image content to extract interest information.
6 is an example of a recommended content list derived by searching for keywords extracted from interest information by comparing and analyzing social information and an information layer.
본 발명은 「유·무선통신수단에 의해 정보를 송·수신할 수 있는 촬영부, 제어부 및 디스플레이장치를 포함하여 구성되는 영상콘텐츠 제어 시스템으로서, 상기 촬영부는 상기 디스플레이장치에 현시되는 영상콘텐츠를 감상하는 시청자를 촬영하여 생성한 이미지 정보를 상기 제어부에 전달하고, 상기 제어부는 기 구축된 행동패턴DB과 상기 이미지 정보를 비교·분석하고 행동의미를 추론하여 상기 디스플레이장치에 제어신호를 전달하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템」을 제공한다.
The present invention relates to an image content control system comprising a photographing unit, a control unit, and a display device capable of transmitting and receiving information by means of wire / wireless communication means, wherein the photographing unit displays the image content displayed on the display device And transmits the generated image information to the control unit. The control unit compares and analyzes the previously constructed behavior pattern DB and the image information, and infer the behavioral meaning to transmit the control signal to the display device Based realistic image environment control system.
이하에서는 첨부한 도면과 함께 본 발명을 상세히 설명한다.
Hereinafter, the present invention will be described in detail with reference to the accompanying drawings.
[도 1]은 시청자의 행동 분석 결과에 따라 디스플레이장치를 제어하는 행동기반 영상콘텐츠 제어 시스템의 모식도이다. 상기 디스플레이장치는 영상콘텐츠를 현시하고, 제어부에서 전달하는 제어신호에 의해 작동이 통제되는 모든 기기를 총칭한다.
FIG. 1 is a schematic diagram of a behavior-based image content control system for controlling a display device according to a behavior analysis result of a viewer. The display device collectively refers to all devices whose image content is displayed and whose operation is controlled by a control signal transmitted from the control unit.
상기 촬영부는 상기 디스플레이장치에 현시되는 영상콘텐츠를 감상하는 시청자를 촬영하여 생성한 이미지 정보를 상기 제어부에 전달한다. 상기 촬영부는 상기 디스플레이장치와 물리적으로 결합되어 있을 수 있으며, 별도의 CCTV, 소형카메라 등으로 구성할 수도 있다. The photographing unit photographs a viewer who views the image content displayed on the display device and transmits the generated image information to the control unit. The photographing unit may be physically coupled to the display device, or may be constituted by a CCTV or a small camera.
상기 이미지 정보는 촬영영상을 그대로 디지털정보화 한 것일 수 있으나, 영상이미지 분석을 통해 촬영영상의 배경과 시청자를 구분하고, 아래의 [참고도 2]와 같이 촬영영상으로 나타난 시청자의 신체 각 부위 지점에 점을 찍어 좌표정보화하고, 각 점의 좌표변화를 기록하는 방식 등으로 이미지 정보량을 줄일 수 있다. 또한 아래의 [참고도 3]과 같이 신체의 부위의 굴곡을 선으로 단순화하여, 선의 변화를 기록하는 방식 등으로 이미지 정보량을 줄일 수도 있다. The image information may be a digitized information of the photographed image as it is. However, the background of the photographed image may be distinguished from the viewers through the image analysis, It is possible to reduce the amount of image information by a method of recording the coordinate information by taking a point and recording the coordinate change of each point. In addition, as shown in [Reference Figure 3] below, the image information amount can be reduced by simplifying the bending of the body part by a line and recording a change of the line.
[참고도 2][Reference Figure 2]
[참고도 3][Reference Figure 3]
상기 제어부는 기 구축된 행동패턴DB과 상기 이미지 정보를 비교·분석하고 행동의미를 추론하여 상기 디스플레이장치에 제어신호를 전달한다. 상기 제어부는 상기 디스플레이장치 또는 상기 촬영부와 물리적으로 결합되어 있을 수 있다. The controller compares and analyzes the previously constructed behavior pattern DB and the image information, and infer the behavioral meaning and transmits a control signal to the display device. The control unit may be physically coupled to the display device or the photographing unit.
상기 행동패턴DB는 상기 제어부 내의 메모리에 저장되어 있을 수 있고, 후술할 콘텐츠 관리서버에 저장된 것을 유·무선통신수단을 통해 접속하여 활용하도록 구성할 수도 있다.The behavior pattern DB may be stored in a memory in the control unit, and may be configured to be connected to a content management server, which will be described later, through a wire / wireless communication means.
상기 행동패턴DB는 영상콘텐츠를 감상하면서 벌어질 수 있는 행동패턴들(취침, 통화, 이동 등)을 유형화하여 정리한 것으로서, 상기 제어부가 상기 촬영부로부터 상기 행동패턴DB와 매칭되는 이미지 정보를 전달받은 경우, 자동으로 해당 행동패턴에 대한 대응으로 설정된 제어신호를 상기 디스플레이장치에 전달하는 것이다. 아래의 [표 2]는 이미지 정보 분석 결과에 따른 제어신호의 유형을 예시한 것이다.The behavior pattern DB is a kind of behavior patterns (sleeping, talking, moving, etc.) that can be woken up while enjoying image contents. The control unit transmits image information matched with the behavior pattern DB from the photographing unit The controller automatically transmits a control signal set in correspondence to the behavior pattern to the display device. Table 2 below shows the types of control signals according to the result of analyzing image information.
[표 2][Table 2]
한편, 상기 영상콘텐츠에는 영상진행에 따른 런타임정보와 함께 런타임에 따른 시청자 행동패턴을 기록한 런타임-행동DB가 수반되도록 할 수 있다. 이 경우 상기 제어부는 상기 영상콘텐츠로부터 런타임정보를 추출하여 상기 이미지 정보와 매칭시켜 런타임-행동 갱신정보를 생성하도록 구성할 수 있다. 상기 런타임-행동DB는 영상콘텐츠의 장면에 따른 시청자의 행동을 데이터화하여 정리한 것인데, 본 발명에서는 상기 제어부가 촬영부로부터 수신한 이미지 정보를 런타임정보와 매칭시킴으로써 상기 런타임-행동DB를 수시로 업데이트하도록 구성한 것이다. [도 3]은 콘텐츠 관리서버에서 런타임-행동 갱신정보를 수집하여 런타임-행동DB를 갱신하는 과정의 모식도이다.
Meanwhile, the image content may be accompanied by a runtime-behavior DB in which runtime information according to image progress and viewer behavior patterns according to runtime are recorded. In this case, the control unit may extract runtime information from the image content, and generate runtime-behavior update information by matching with the image information. In the present invention, the control unit periodically updates the runtime-behavior DB by matching the image information received from the photographing unit with runtime information. Respectively. [Fig. 3] is a schematic diagram of a process of collecting runtime-behavior update information in the content management server and updating the runtime-behavior DB.
한편, 본 발명은 상기 디스플레이장치에 상기 영상콘텐츠를 제공하는 콘텐츠 관리서버를 더 포함하여 구성할 수 있다. 이 경우 상기 콘텐츠 관리서버는 주기적으로 상기 제어부로부터 상기 런타임-행동 갱신정보를 수집하여 상기 런타임-행동DB를 갱신토록 할 수 있다. 즉, 상기 콘텐츠 관리서버는 방송, 전송 등의 방식으로 영상콘텐츠가 디스플레이장치에 의해 재생되도록 제공하는 한편, 영상콘텐츠의 각 장면에 대응하는 시청자의 행동패턴 정보를 상기 제어부로부터 수집하는 것이다. Meanwhile, the present invention may further comprise a content management server for providing the image content to the display device. In this case, the content management server may periodically collect the runtime-behavior update information from the control unit and update the runtime-behavior DB. That is, the content management server provides the image content to be reproduced by the display device in the manner of broadcasting, transmission, etc., and collects the behavior pattern information of the viewer corresponding to each scene of the image content from the control section.
이와 같이 수시로 업데이트되는 런타임-행동DB는 영상콘텐츠를 업그레이드하여 실감영상화를 위한 기초 자료로 이용할 수 있다. 즉, 영상콘텐츠의 장면에 따른 시청자의 반응을 분석하여 디스플레이장치 또는 후술할 실감영상보조장치를 통해 출력되는 빛, 음향, 진동 등의 강약을 제어할 수 있는 것이다.
The runtime-behavior DB, which is updated frequently, can be used as a basic data for realizing the image by upgrading the image contents. That is, it is possible to control the intensity of light, sound, vibration, and the like outputted through the display device or a sensation image auxiliary device to be described later by analyzing the reaction of the viewer according to the scene of the image content.
또한, 상기 제어부는 상기 영상콘텐츠의 플레이 시각정보 및 상기 디스플레이장치 설치지점의 위치정보를 수집하여 상기 런타임-행동 갱신정보와 함께 상기 콘텐츠 관리서버로 전달하도록 구성할 수 있다. 이에 따라 상기 콘텐츠 관리서버는 상기 영상콘텐츠가 재생되는 지역과 시간에 대한 정보를 수집하여 다수 시청자의 성향분석 자료로 활용할 수 있고, 영상콘텐츠별 성향분석 자료는 광고, 통계, 리서치 등에 활용될 수 있다. [도 4]는 영상콘텐츠의 플레이 시각정보 및 상기 디스플레이장치 설치지점의 위치정보가 수록된 런타임-행동 갱신정보 리스트의 실시예이다. 런타임별 행동정보는 [도 4]에 나타난 바와 같이 코드화함으로써 정보 데이터 양을 대폭 줄일 수 있다.
The control unit may collect play time information of the image content and location information of the display device installation point and transmit the collected location information together with the runtime-behavior update information to the content management server. Accordingly, the content management server can collect information on the region and time in which the image content is reproduced and utilize the information as the tendency analysis data of a plurality of viewers. The tendency analysis data per image content can be utilized for advertisement, statistics, research, . 4 is an example of a runtime-behavior update information list in which play time information of a video content and location information of the display device installation point are recorded. The runtime-specific behavior information is coded as shown in FIG. 4, whereby the amount of information data can be greatly reduced.
한편, 본 발명은 [도 5]에 도시된 바와 같이 시청자가 가입한 SNS(Social Network Service)를 통해 소셜정보를 수집하여 영상콘텐츠로부터 관심정보를 추출, 활용하도록 구성할 수 있다.Meanwhile, as shown in FIG. 5, the present invention can collect social information through SNS (Social Network Service) to which the viewer subscribes, and extract and use interest information from the image content.
상기 SNS는 정보통신망을 통한 인적교류 서비스를 제공하는 프로그램 및 시스템을 통칭한다. SNS는 종류마다 각기 다른 기능들이 구현되어 있어 일괄적으로 설명하기는 어려우나 공통적인 특징은 있다. 우선, 이용자의 신상정보를 등록하고 공개한다는 점이다. 구체적으로 SNS를 통해 이용자의 성별, 연령, 직업, 문화적 취향, 이데올로기, 종교 등이 전부 또는 선택적으로 공시될 수 있다. 그 다음은 SNS의 본질적 기능에서 보듯 대인관계망과 그 구조가 드러난다는 것이다. 이용자는 자신과 관계를 맺고 있는 또 다른 이용자들을 드러내며, 단계를 거치면 다른 이용자의 네트워크, 나아가 그 네트워크상의 이용자가 갖고 있는 네트워크 등으로 네트워크의 범위를 확대해 가며 파악할 수도 있다. 이용자는 SNS를 통해 의견이나 정보를 게시할 수 있고, 그 이용자와 관계를 맺고 있는 이용자를 포함해 또 다른 이용자가 그것에 대한 반응으로 또 다른 의견과 정보를 게시할 수 있다. 게시물이 다분히 공개적이라면 SNS를 통해 일명 '쪽지'와 같은 사적인 메시지를 주고받을 수도 있다.The SNS collectively refers to a program and a system for providing a personal exchange service through an information communication network. SNS has different features for each type, so it is difficult to explain all at once, but it has a common feature. First, the user's personal information is registered and disclosed. Specifically, the user's gender, age, occupation, cultural preference, ideology, religion, etc. can be publicly or selectively disclosed through SNS. The next step is to show the interpersonal network and its structure as shown in the essential function of SNS. The user can reveal other users who have a relationship with him or herself, and the user can grasp the network by expanding the network to another user's network, or a network owned by the user on the network. The user can post opinions or information through the SNS, and another user, including the user who has a relationship with the user, can post another opinion and information in response to it. If the post is openly public, you can send and receive a personal message like 'note' through SNS.
이상과 같은 기능들이 SNS들이 공유하는 기능들이라면 서비스별로 특화된 기능을 제공하는 경우도 있다. 예를 들어, 사진이나 비디오를 공유하는 기능을 제공하기도 하고 블로그 기능이 디폴트로 주어지는 경우도 있다. 인스턴트 메시징이나 모바일 지원 기능도 그런 예인데, 최근 들어 대부분의 SNS들은 이런 기능들을 포함하고 있다.If the functions described above are functions shared by the SNSs, there may be cases where the functions are provided for each service. For example, it may provide the ability to share photos or videos, and sometimes the blog functionality is given by default. Instant messaging and mobile support are examples, and in recent years most social networks have included these features.
본 명세서에서는 SNS를 통해 게시되는 이용자의 개인정보, 게시물 정보, 네트워크 정보 및 이용자와 관계를 맺고 있는 다른 이용자의 여러 가지 정보들을 통칭하여 "소셜정보"라 칭한다.
In the present specification, various pieces of information of the user posted through the SNS, such as personal information of the user, post information, network information, and other users who have a relationship with the user are collectively referred to as "social information ".
본 발명이 제공하는 행동기반 영상콘텐츠 제어 시스템이 SNS를 통해 수집되는 소셜정보를 이용하여 영상콘텐츠로부터 관심정보를 추출하도록 하기 위해, 본 발명은 상기 소셜정보서버는 시청자가 가입한 SNS(Social Network Service)를 통해 소셜정보를 수집하여 상기 제어부에 전달하는 소셜정보서버를 더 포함하여 구성된다. In order to allow the behavior-based image content control system provided by the present invention to extract interest information from image content using social information collected through the SNS, the present invention is characterized in that the social information server includes a social network service (SNS) And a social information server for collecting and transmitting the social information to the control unit.
상기 소셜정보서버는 하나 또는 2이상의 SNS로부터 소셜정보를 수집하도록 구성할 수 있다. 또한, 상기 영상콘텐츠는 영상과 관련된 배경지역 정보, 건물정보, 인물정보, 대사정보 및 물품정보를 포함하는 정보레이어가 수반되어 있어, 상기 제어부가 상기 소셜정보와 정보레이어를 비교·분석함으로써 상기 정보레이어로부터 관심정보를 추출하도록 구성할 수 있다. 예를 들어 영상콘텐츠의 정보레이어에 출연 배우의 인물정보가 수록되어 있고, 시청자가 SNS를 통해 해당 배우에 대한 관심을 표시한 바 있다면, 그러한 소셜정보와 정보레이어를 기반으로 해당 배우의 약력, 출연 영화 등을 관심정보로 추출할 수 있는 것이다. 또 다른 예로, 영상콘텐츠의 정보레이어에 배경지역 정보가 수록되어 있고, 시청자가 SNS를 통해 해당 지역의 방문기록 등을 남긴바 있다면, 그러한 소셜정보와 정보레이어를 기반으로 해당 지역의 역사, 문화, 특산물, 명소 등을 관심정보로 추출할 수 있는 것이다. 상기 관심정보는 광고매체 등에 제공되어 여러 가지 수단을 통해 상기 시청자에게 적절한 상품광고가 제공되도록 할 수 있다.
The social information server may be configured to collect social information from one or more SNSs. The image content may be accompanied by an information layer including background region information, building information, person information, metabolism information, and article information related to the image, and the control unit may compare the social information and the information layer, And extract interest information from the layer. For example, if the information layer of the actor is included in the information layer of the image content, and the viewer has expressed an interest in the actor through the SNS, based on such social information and information layer, Movies, and so on. As another example, if the background information is included in the information layer of the image content, and the viewer has left the visit history of the area through the SNS, the history, culture, Specialties, and attractions can be extracted as interest information. The interest information may be provided to an advertisement medium or the like so that an appropriate commodity advertisement is provided to the viewer through various means.
더 나아가 상기 제어부는 추출된 관심정보를 키워드로 하여 인터넷망에서 상기 관심정보와 관계된 동영상, 음악, 생활정보 등을 검색함으로써 추천콘텐츠 리스트를 작성하도록 구성할 수 있다. [도 6]은 소셜정보와 정보레이어를 비교, 분석하여 추출한 관심정보를 키워드로 검색하여 도출한 추천콘텐츠 리스트의 실시예이다.Further, the control unit may construct a recommended content list by searching for videos, music, living information, etc. related to the interest information in the Internet network using the extracted interest information as a keyword. 6 is an example of a recommended content list derived by searching for keywords extracted from interest information by comparing and analyzing social information and an information layer.
상기 추천콘텐츠 리스트는 디스플레이장치를 통해 시청자의 선택에 의해 현시되도록 하거나, 시청자의 모바일단말기에 제공되어 추후에 시청여부를 선택하도록 할 수 있다.
The recommended content list may be displayed by a viewer's selection through a display device or may be provided to a viewer's mobile terminal so that the user can select whether or not to view the recommended content list later.
위와 같은 관심정보, 추천콘텐츠 리스트 등은 시청자의 SNS친구와의 네트워크 강화에 활용될 수 있다. 즉, 상기 제어부는 상기 소셜정보서버를 통해 열람되는 SNS친구의 소셜정보와 영상콘텐츠의 정보레이어를 비교, 분석하여 SNS친구의 관심정보를 추출하고, 상기 관심정보를 키워드로 하여 인터넷망에서 상기 관심정보와 관계된 추천콘텐츠 리스트를 도출한 후 상기 관심정보 또는 추천콘텐츠 리스트를 상기 SNS친구의 멘트에 대한 댓글이나 메세지 형태로 전달되도록 구성할 수 있는 것이다.
Such information of interest, a list of recommended contents, and the like can be utilized for strengthening the network with viewers' SNS friends. That is, the control unit compares and analyzes the social information of the SNS friend and the information layer of the image content browsed through the social information server, extracts interest information of the SNS friend, The recommendation contents list related to the information may be derived, and the interest information or the recommended contents list may be transmitted in the form of a comment or a message for the moment of the SNS friend.
한편, 상기 디스플레이장치는 각종 실감영상보조장치와 연계 구성할 수 있다. 상기 실감영상보조장치 역시 상기 제어부에서 전달하는 제어신호에 의해 작동이 통제되어야 하며, 조명장치, 음향장치, 진동장치, 서브디스플레이장치 및 시청자 모바일단말기 중 어느 하나 이상을 적용할 수 있다. 이 경우 상기 제어부는 상기 런타임-행동DB에 기록된 런타임별 행동패턴에 따라 상기 디스플레이장치 및 실감영상보조장치에 대한 제어신호를 전달하도록 구성할 수 있다. [도 2]는 영상콘텐츠의 런타임별 시청자 행동패턴 분석결과에 따라 디스플레이장치를 제어하는 행동기반 영상콘텐츠 제어 시스템의 모식도이다. 예를 들어 영상콘텐츠의 런타임 10분에 시청자가 놀라는 행동패턴을 보인 경우 조명장치를 제어하여 조명의 점멸이 반복되거나 진동장치를 제어하여 진동이 발생토록 함으로써 영상의 느낌이 시청자에게 더욱 생생하게 전달되도록 할 수 있다.
Meanwhile, the display device can be configured to be linked with various sensation image assisting devices. The sensory image assisting device may also be controlled by a control signal transmitted from the control unit, and may be applied to at least one of a lighting device, a sound device, a vibration device, a sub-display device, and a viewer's mobile terminal. In this case, the controller may be configured to transmit control signals to the display device and the real image quality assisting device according to the behavior pattern of the runtime recorded in the runtime-behavior DB. FIG. 2 is a schematic diagram of a behavior-based image content control system for controlling a display device according to a viewer behavior pattern analysis result for each image content at runtime. FIG. For example, if a viewer shows a surprising behavior pattern in 10 minutes of runtime of video content, the lighting device is controlled so that the flashing of the light is repeated or the vibration device is controlled so that the vibration is generated, can do.
상기 이미지 정보 비교·분석에 의해 생성되는 제어신호와 상기 런타임-행동DB에 따라 생성되는 제어신호가 동시간에 경합하는 경우에는 상기 제어부가 상기 이미지 정보 비교·분석에 의해 생성되는 제어신호를 먼저 활성화시키도록 구성함으로써 제어신호의 혼동을 방지할 수 있다.
When the control signal generated by the image information comparison / analysis compares with the control signal generated according to the runtime-behavior DB at the same time, the control unit first activates the control signal generated by the image information comparison / analysis So that confusion of the control signal can be prevented.
이상에서 본 발명에 관해 첨부된 도면을 참조하면서 살펴보았다. 그러나 본 발명이 첨부된 도면과 관련하여 설명한 실시예로 한정되는 것은 아니며, 본 발명의 요지를 벗어남이 없는 범위에서 다양한 수정 및 변형이 가능하다. 따라서 본 발명의 청구범위는 이건 발명의 진정한 범위 내에 속하는 수정 및 변형을 포함한다.
The present invention has been described with reference to the accompanying drawings. However, the present invention is not limited to the embodiments described with reference to the accompanying drawings, and various modifications and variations are possible without departing from the gist of the present invention. It is therefore intended that the appended claims cover such modifications and variations as fall within the true scope of the invention.
해당없음Not applicable
Claims (10)
상기 촬영부는 상기 디스플레이장치에 현시되는 영상콘텐츠를 감상하는 시청자를 촬영하여 생성한 이미지 정보를 상기 제어부에 전달하고,
상기 제어부는 기 구축된 행동패턴DB과 상기 이미지 정보를 비교·분석하고 행동의미를 추론하여 상기 디스플레이장치에 제어신호를 전달하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템.
An image content control system comprising a photographing unit, a control unit, and a display device capable of transmitting and receiving information by wire / wireless communication means,
Wherein the photographing unit photographs a viewer who views the image content displayed on the display device and transmits the generated image information to the control unit,
Wherein the controller is configured to compare and analyze the previously constructed behavior pattern DB and the image information, and to transmit a control signal to the display device by inferring a behavioral meaning.
상기 영상콘텐츠에는 영상진행에 따른 런타임정보 및 런타임에 따른 시청자 행동패턴을 기록한 런타임-행동DB가 수반되어 있고,
상기 제어부는 상기 영상콘텐츠로부터 런타임정보를 추출하여 상기 이미지 정보와 매칭시켜 런타임-행동 갱신정보를 생성하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템.
The method of claim 1,
The image content includes a runtime-behavior DB in which runtime information according to image progress and viewer behavior patterns according to runtime are recorded,
Wherein the controller is configured to extract runtime information from the image content and to generate runtime-behavior update information by matching the image information with the image information.
상기 디스플레이장치에 상기 영상콘텐츠를 제공하는 콘텐츠 관리서버; 를 더 포함하여 구성되며,
상기 콘텐츠 관리서버는 주기적으로 상기 제어부로부터 상기 런타임-행동 갱신정보를 수집하여 상기 런타임-행동DB를 갱신하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템.
3. The method of claim 2,
A content management server for providing the image content to the display device; Further comprising:
Wherein the content management server periodically collects the runtime-behavior update information from the control unit and updates the runtime-behavior DB.
상기 제어부는 상기 영상콘텐츠의 플레이 시각정보 및 상기 디스플레이장치 설치지점의 위치정보를 수집하여 상기 런타임-행동 갱신정보와 함께 상기 콘텐츠 관리서버로 전달하도록 구성된 것을 특징으로 하는 행동기반 영상콘텐츠 제어 시스템.
4. The method of claim 3,
Wherein the control unit is configured to collect play time information of the image content and location information of the display device installation point and deliver the same to the content management server together with the runtime-behavior update information.
시청자가 가입한 SNS(Social Network Service)를 통해 소셜정보를 수집하여 상기 제어부에 전달하는 소셜정보서버; 를 더 포함하여 구성되고,
상기 영상콘텐츠는 영상과 관련된 배경지역 정보, 건물정보, 인물정보, 대사정보 및 물품정보를 포함하는 정보레이어가 수반되어 있으며,
상기 제어부는 상기 소셜정보와 정보레이어를 비교·분석함으로써 상기 정보레이어로부터 관심정보를 추출하도록 구성된 것을 특징으로 하는 행동기반 영상콘텐츠 제어 시스템.
5. The method of claim 4,
A social information server for collecting social information through a Social Network Service (SNS) to which the viewer subscribes and transmitting the collected social information to the control unit; Further comprising:
The image content is accompanied by an information layer including background region information, building information, person information, metabolism information, and article information related to the image,
Wherein the controller is configured to extract interest information from the information layer by comparing and analyzing the social information and the information layer.
상기 제어부는 추출된 관심정보를 키워드로 하여 인터넷망에서 추천콘텐츠를 검색하여 리스트를 작성하도록 구성된 것을 특징으로 하는 행동기반 영상콘텐츠 제어 시스템.
The method of claim 5,
Wherein the controller is configured to search the recommended content in the Internet network using the extracted interest information as a keyword to create a list.
상기 디스플레이장치와 연계되어, 상기 제어부에서 전달하는 제어신호에 의해 작동이 통제되는 실감영상보조장치; 를 더 포함하여 구성된 것을 특징으로 하는 행동기반 영상콘텐츠 제어 시스템.
7. The method according to any one of claims 1 to 6,
A sensory image auxiliary device connected to the display device and controlled in operation by a control signal transmitted from the control device; Based video content control system.
상기 실감영상보조장치는 조명장치, 음향장치, 진동장치, 서브디스플레이장치 및 시청자 모바일단말기 중 어느 하나 이상인 것을 특징으로 하는 행동기반 영상콘텐츠 제어 시스템.
8. The method of claim 7,
Wherein the sensory image supplementary device is any one of a lighting device, a sound device, a vibration device, a sub-display device, and a viewer's mobile terminal.
상기 제어부는 상기 런타임-행동DB에 기록된 런타임별 행동패턴에 따라 상기 디스플레이장치 및 실감영상보조장치에 대한 제어신호를 전달하도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템.
9. The method of claim 8,
Wherein the controller is configured to transmit a control signal for the display device and the sensory image assisting device according to a behavior pattern for each runtime recorded in the runtime-behavior DB.
상기 이미지 정보 비교·분석에 의해 생성되는 제어신호와 상기 런타임-행동DB에 따라 생성되는 제어신호가 동시간에 경합하는 경우, 상기 제어부는 상기 이미지 정보 비교·분석에 의해 생성되는 제어신호를 먼저 활성화시키도록 구성된 것을 특징으로 하는 행동기반 실감영상환경 제어 시스템.The method of claim 9,
When the control signal generated by the image information comparison / analysis compares with the control signal generated according to the runtime-behavior DB at the same time, the control unit first activates the control signal generated by the image information comparison / Based real-world image environment control system.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20130077630A KR101481996B1 (en) | 2013-07-03 | 2013-07-03 | Behavior-based Realistic Picture Environment Control System |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20130077630A KR101481996B1 (en) | 2013-07-03 | 2013-07-03 | Behavior-based Realistic Picture Environment Control System |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150004952A true KR20150004952A (en) | 2015-01-14 |
| KR101481996B1 KR101481996B1 (en) | 2015-01-22 |
Family
ID=52476911
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR20130077630A KR101481996B1 (en) | 2013-07-03 | 2013-07-03 | Behavior-based Realistic Picture Environment Control System |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101481996B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190078899A (en) * | 2017-12-27 | 2019-07-05 | 연세대학교 산학협력단 | Visual Question Answering Apparatus Using Hierarchical Visual Feature and Method Thereof |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20180114771A (en) | 2017-04-11 | 2018-10-19 | 주식회사 아모센스 | Touch screen sensor and touch screen panel having the same |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100785963B1 (en) | 2005-06-30 | 2007-12-14 | 주식회사 대우일렉트로닉스 | Apparatus and method for processing audio/video according to television seeing mode of user in a digital broadcasting receiver |
| KR20120068253A (en) * | 2010-12-17 | 2012-06-27 | 삼성전자주식회사 | Method and apparatus for providing response of user interface |
| JP2013016903A (en) | 2011-06-30 | 2013-01-24 | Toshiba Corp | Information processor and information processing method |
| WO2013089490A1 (en) * | 2011-12-15 | 2013-06-20 | 한양대학교 산학협력단 | Apparatus and method for providing tactile sensation in cooperation with display device |
-
2013
- 2013-07-03 KR KR20130077630A patent/KR101481996B1/en active IP Right Grant
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20190078899A (en) * | 2017-12-27 | 2019-07-05 | 연세대학교 산학협력단 | Visual Question Answering Apparatus Using Hierarchical Visual Feature and Method Thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101481996B1 (en) | 2015-01-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10425694B2 (en) | Live broadcast on an online social network | |
| US10701121B2 (en) | Live broadcast on an online social network | |
| CN104756514B (en) | TV and video frequency program are shared by social networks | |
| US8745502B2 (en) | System and method for interfacing interactive systems with social networks and media playback devices | |
| JP2021518593A (en) | Automated decisions based on descriptive models | |
| JP6483338B2 (en) | Object display method, object providing method, and system therefor | |
| US10645460B2 (en) | Real-time script for live broadcast | |
| CN110140138A (en) | The determination of the content-data of local device, transimission and storage | |
| CN103635892A (en) | Auto-creating groups for sharing photos | |
| CN105320404A (en) | Device and method for performing functions | |
| KR20170095817A (en) | Avatar selection mechanism | |
| CN102577367A (en) | Time shifted video communications | |
| CN105829995A (en) | Capturing media content in accordance with a viewer expression | |
| CA2829079A1 (en) | Face recognition based on spatial and temporal proximity | |
| KR101978299B1 (en) | Apparatus for service contents in contents service system | |
| US20150294634A1 (en) | Life Experience Memorialization with Alternative Observational Opportunity Provisioning | |
| JP6747444B2 (en) | Information processing system, information processing method, and program | |
| CN107113467A (en) | User terminal apparatus, system and its control method | |
| US11212579B2 (en) | Presence and authentication for media measurement | |
| US20180268496A1 (en) | Photo booth system | |
| KR20200039814A (en) | Modify capture of video data by the video capture device based on video data previously captured by the video capture device | |
| US10664513B2 (en) | Automatic environmental presentation content selection | |
| KR101481996B1 (en) | Behavior-based Realistic Picture Environment Control System | |
| WO2017193343A1 (en) | Media file sharing method, media file sharing device and terminal | |
| US20230394878A1 (en) | Program, information processing device, and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20171110 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20181224 Year of fee payment: 5 |
|
| FPAY | Annual fee payment |
Payment date: 20191231 Year of fee payment: 6 |