KR101305547B1 - System for expressing emotion in driving - Google Patents

System for expressing emotion in driving Download PDF

Info

Publication number
KR101305547B1
KR101305547B1 KR1020110071301A KR20110071301A KR101305547B1 KR 101305547 B1 KR101305547 B1 KR 101305547B1 KR 1020110071301 A KR1020110071301 A KR 1020110071301A KR 20110071301 A KR20110071301 A KR 20110071301A KR 101305547 B1 KR101305547 B1 KR 101305547B1
Authority
KR
South Korea
Prior art keywords
data
vehicle
emotion
combination
display
Prior art date
Application number
KR1020110071301A
Other languages
Korean (ko)
Other versions
KR20130010585A (en
Inventor
정호열
장달현
김영탁
임윤수
이승환
Original Assignee
영남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 영남대학교 산학협력단 filed Critical 영남대학교 산학협력단
Priority to KR1020110071301A priority Critical patent/KR101305547B1/en
Publication of KR20130010585A publication Critical patent/KR20130010585A/en
Application granted granted Critical
Publication of KR101305547B1 publication Critical patent/KR101305547B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/549—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for expressing greetings, gratitude or emotions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/30—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating rear of vehicle, e.g. by means of reflecting surfaces
    • B60Q1/302—Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating rear of vehicle, e.g. by means of reflecting surfaces mounted in the vicinity, e.g. in the middle, of a rear window
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0258—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for navigation systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0264—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for control means
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21S—NON-PORTABLE LIGHTING DEVICES; SYSTEMS THEREOF; VEHICLE LIGHTING DEVICES SPECIALLY ADAPTED FOR VEHICLE EXTERIORS
    • F21S43/00—Signalling devices specially adapted for vehicle exteriors, e.g. brake lamps, direction indicator lights or reversing lights
    • F21S43/10—Signalling devices specially adapted for vehicle exteriors, e.g. brake lamps, direction indicator lights or reversing lights characterised by the light source
    • F21S43/13—Signalling devices specially adapted for vehicle exteriors, e.g. brake lamps, direction indicator lights or reversing lights characterised by the light source characterised by the type of light source
    • F21S43/14—Light emitting diodes [LED]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q2900/00—Features of lamps not covered by other groups in B60Q
    • B60Q2900/30—Lamps commanded by wireless transmissions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2200/00—Type of vehicle
    • B60Y2200/10—Road Vehicles
    • B60Y2200/11—Passenger cars; Automobiles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/304—Acceleration sensors
    • F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
    • F21—LIGHTING
    • F21W—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES F21K, F21L, F21S and F21V, RELATING TO USES OR APPLICATIONS OF LIGHTING DEVICES OR SYSTEMS
    • F21W2107/00—Use or application of lighting devices on or in particular types of vehicles
    • F21W2107/10—Use or application of lighting devices on or in particular types of vehicles for land vehicles
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S362/00—Illumination
    • Y10S362/80—Light emitting diode

Abstract

주행 감정 표현 시스템이 제공된다. 본 차량용 표시장치는, 차량용 표시장치와 독립적인 기능을 수행하는 외부기기와 통신가능하도록 연결되는 통신부, 시각 정보를 표시하는 표시부 및 외부기기에서 입력된 사용자 감정에 대한 정보를 통신부를 통해 전달받으면 사용자 감정에 해당하는 시각 정보가 표시되도록 표시부를 제어하는 제어부를 포함한다. 이에 의해, 제스처나 비상등이 아닌 다른 방법으로 운전자의 감정을 정확하게 표현할 수 있게 된다.A driving emotion expression system is provided. The display device for a vehicle includes a communication unit connected to communicate with an external device performing a function independent of the vehicle display device, a display unit for displaying visual information, and a user when information about user emotion input from the external device is received through the communication unit. And a controller configured to control the display unit to display visual information corresponding to the emotion. This makes it possible to accurately express the emotions of the driver in a manner other than gestures or emergency lights.

Description

주행 감정 표현 시스템{System for expressing emotion in driving}Driving emotion expression system {System for expressing emotion in driving}

본 발명은 주행 감정 표현 시스템에 관한 것으로, 더욱 상세하게는 주행 중에 운전자가 운전과 관련된 감정을 다른 차량의 운전자에게 효과적으로 전달하기 위한 주행 감정 표현 시스템에 관한 것이다.
The present invention relates to a driving emotion expression system, and more particularly, to a driving emotion expression system for effectively transmitting a driver-related emotion to a driver of another vehicle while driving.

주행 중 추월이나 끼어들기를 했을 경우, 음성 또는 수신호를 사용하여 운전자의 감정을 표현하는 것이 일반적이다. 하지만, 차량은 앞, 뒤 유리에 코팅을 하는 차량이 점점 많아 짐에 따라 뒤따르는 차량에서 운전자의 제스처를 확인하기 어려워 감정 전달이 제대로 되지 않는 문제가 있다.In case of overtaking or cutting in while driving, it is common to express the emotion of the driver by using voice or hand signal. However, as the vehicle has more and more coatings on the front and rear glass, it is difficult to check the gesture of the driver in the following vehicle, so that the emotion transmission is not properly performed.

이에 따라, 비상등을 점멸시켜 감정을 전달하는 경우가 빈번해졌는데, 이와 같은 비상등 점멸을 불쾌히 여기는 운전자들이 상당수 있을 뿐만 아니라, 비상 상황을 알리기 위해 사용하도록 한 비상등이 남용되어 실제 기능으로서의 역할이 희석되는 문제가 있다.As a result, the number of drivers who are displeased with the flashing of the emergency light has become frequent, and the emergency light that is used to inform the emergency situation is abused, and the role of the actual function is diluted. there is a problem.

이에, 제스처나 비상등이 아닌 다른 방법으로 운전자의 감정을 정확하게 표현할 수 있는 방안에 대한 모색이 요청된다.Therefore, the search for a method that can accurately express the emotions of the driver in a manner other than gestures or emergency lights.

한국공개특허 제 2005-119747호Korean Patent Publication No. 2005-119747

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 제스처나 비상등이 아닌 보다 효과적인 방법으로 운전자의 감정을 정확하게 표현할 수 있는 주행 감정 표현 시스템을 제공함에 있다.
The present invention has been made to solve the above problems, and an object of the present invention is to provide a driving emotion expression system that can accurately express the emotions of the driver in a more effective manner than gestures or emergency lights.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 차량용 표시장치는, 상기 차량용 표시장치와 독립적인 기능을 수행하는 외부기기와 통신가능하도록 연결되는 통신부; 시각 정보를 표시하는 표시부; 및 상기 외부기기에서 입력된 사용자 감정 데이터를 상기 통신부를 통해 전달받으면, 상기 사용자 감정 데이터에 해당하는 시각 정보가 표시되도록 상기 표시부를 제어하는 제어부;를 포함한다.According to an embodiment of the present invention, a display device for a vehicle includes: a communication unit connected to communicate with an external device performing a function independent of the display device for a vehicle; A display unit for displaying time information; And a controller configured to control the display unit to display visual information corresponding to the user emotion data when the user emotion data input from the external device is received through the communication unit.

또한, 상기 외부기기는, 상기 사용자의 모바일 기기 및 차량에 장착된 네비게이션 중 어느 하나일 수 있다.The external device may be any one of a mobile device of the user and a navigation device mounted on a vehicle.

또한, 상기 통신부를 통해 전달되는 사용자 감정 데이터는 텍스트, 이미지 또는 이들의 조합에 대한 데이터 이거나, 상기 차량용 표시장치에 미리 저장된 텍스트, 이미지 또는 이들의 조합에 대한 데이터의 호출 코드일 수 있다. In addition, the user emotion data transmitted through the communication unit may be data on text, an image, or a combination thereof, or a call code of data on text, an image, or a combination thereof, which is pre-stored in the vehicle display apparatus.

또한, 상기 차량용 표시장치는 가속도 센서를 더 포함할 수 있다. In addition, the vehicle display device may further include an acceleration sensor.

또한, 상기 제어부는, 차량의 가속도가 기설정된 임계 가속도 미만이면, 감속 안내를 위한 시각 정보가 표시되도록 상기 표시부를 제어할 수 있다.The controller may control the display unit to display time information for deceleration guidance when the acceleration of the vehicle is less than a predetermined threshold acceleration.

한편, 본 발명의 다른 실시예에 따른, 사용자 기기의 사용자 입력 전달 방법은, 상기 사용자 기기가, 선택가능한 사용자 감정들을 표시하는 단계; 상기 표시단계에서 표시된 감정들 중 하나가 선택되면, 상기 사용자 기기가 선택된 감정에 대한 텍스트, 이미지 또는 이들의 조합에 대한 데이터 또는 상기 데이터의 호출코드 정보를 차량용 표시장치로 전달하는 단계; 및, 상기 사용자 기기로부터 전달받은 정보가 감정에 대한 텍스트, 이미지 또는 이들의 조합에 대한 데이터이면 이를 표시하고, 감정에 대한 텍스트, 이미지 또는 이들의 조합에 대한 데이터의 호출코드 정보인 경우 상기 차량용 표시장치에 저장되어 있는 텍스트, 이미지 또는 이들의 조합에 대한 데이터를 호출하여 표시하는 단계;를 포함한다.
On the other hand, according to another embodiment of the present invention, the user input delivery method of the user device, the user device, displaying the selectable user emotions; If one of the emotions displayed in the display step is selected, transmitting, by the user device, data on text, an image or a combination thereof, or call code information of the data to the vehicle display apparatus; And displaying information if the information received from the user device is data about text, images, or a combination thereof, and calling code information on data about text, images, or a combination thereof. And calling and displaying data on text, images, or a combination thereof stored in the device.

이상 설명한 바와 같이, 본 발명에 따르면, 제스처나 비상등이 아닌 다른 방법으로 운전자의 감정을 정확하게 표현할 수 있게 된다. 또한, 사용자의 입력에 기반한 감정 표현은 물론, 차량의 상태에 기반하여 감정을 자동으로 표현하는 것이 가능하므로, 활용도를 확장할 수 있다.
As described above, according to the present invention, it is possible to accurately express the emotion of the driver by a method other than a gesture or an emergency light. In addition, since the emotion can be automatically expressed based on the state of the vehicle as well as the emotion expression based on the user's input, the utilization can be extended.

도 1은 본 발명이 적용가능한 주행 감정 표현 시스템의 개념을 도시한 도면,
도 2는, 도 1에 도시된 스마트폰의 상세 블럭도,
도 3은, 도 1에 도시된 감정 표시장치의 상세 블럭도, 그리고,
도 4는 본 발명의 일 실시예에 따른 주행 감정 표시방법의 설명에 제공되는 흐름도이다.1 is a diagram illustrating a concept of a driving emotion expression system to which the present invention is applicable;
2 is a detailed block diagram of the smartphone shown in FIG. 1;
3 is a detailed block diagram of the emotion display device shown in FIG. 1;
4 is a flowchart provided to explain a driving emotion display method according to an embodiment of the present invention.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, with reference to the drawings will be described the present invention in more detail.

도 1은 본 발명이 적용가능한 주행 감정 표현 시스템의 개념을 도시한 도면이다. 주행 감정 표현 시스템은, 차량 주행 중에 운전자가 전달하고자 하는 감정에 대한 텍스트, 이미지 또는 이들의 조합을 다른 차량의 운전자에게 알리기 위한 시스템이다. 여기서, 운전자가 느끼는 감정은, 고마움, 미안함, 불쾌함, 위험함 등을 포함할 수 있다.1 is a diagram illustrating a concept of a driving emotion expression system to which the present invention is applicable. The driving emotion expression system is a system for informing the driver of another vehicle of text, an image, or a combination thereof about an emotion that the driver intends to convey while driving the vehicle. The emotions felt by the driver may include gratefulness, sorry, displeasure, danger, and the like.

도 1에 도시된 바와 같이, 주행 감정 표현 시스템은, 서로 독립적인 기능을 수행하는 스마트폰(100)과 차량용 표시장치(200)로 구축가능한데, 양자는 무선으로 통신가능하도록 연결된다.As shown in FIG. 1, the driving emotion expression system may be constructed as a smartphone 100 and a vehicle display device 200 that perform functions independent of each other, and both are connected to communicate wirelessly.

스마트폰(100)과 차량용 표시장치(200)의 통신 방식은 블루투스, 지그비(Zigbee) 등 적용 가능한 모든 무선 방식 중 당업자의 선택에 의하여 적용될 수 있다. 또한, 당업자의 선택에 의하여 차량 내의 배선을 통해 유선으로 연결하는 것도 가능하다.The communication method between the smartphone 100 and the vehicle display apparatus 200 may be applied by a person skilled in the art among all applicable wireless methods such as Bluetooth and Zigbee. In addition, it is possible to connect by wire through the wiring in the vehicle by the choice of those skilled in the art.

스마트폰(100)은 운전자의 소유로, 차량 운전시에는 거치대에 거치시키는 것이 바람직하다. 스마트폰(100)에는 주행 감정 표현 어플리케이션이 저장/설치/실행된다.The smartphone 100 is owned by the driver and is preferably mounted on a cradle when driving a vehicle. The smartphone 100 stores / installs / executes a driving emotion expression application.

주행 감정 표현 어플리케이션이 실행되면, 도 1에 도시된 바와 같이, 스마트폰(100)의 터치 스크린(120)에는 표현 가능한 감정에 대한 정보들이 리스트로 나열된다. 이러한 감정에 대한 정보들은 텍스트, 이미지 또는 이들의 조합일 수 있다. 도 1에 도시된 스마트폰(100)의 터치 스크린(120)에 표시된 감정 리스트 상에 나열된, 고마움, 미안함, 불쾌함, 위험함은 예시적인 것들로, 이 밖의 다른 감정들이 더 나열될 수 있음은 물론이다. 또한 사용자가 직접 새로운 감정에 대한 정보들을 추가하거나 기존의 값들을 편집할 수 있다. When the driving emotion expression application is executed, as shown in FIG. 1, information on emotions that can be expressed are listed on the touch screen 120 of the smartphone 100 in a list. Information about such feelings may be text, images or a combination thereof. Thanks, sorry, unpleasantness, danger listed on the emotion list displayed on the touch screen 120 of the smartphone 100 shown in FIG. 1 are exemplary, and other emotions may be further listed. Of course. In addition, the user can directly add information on the new emotion or edit the existing values.

스마트폰(100)은 사용자로부터 다른 차량의 운전자에게 전달하고자 하는 감정에 대한 정보를 입력받아 차량용 표시장치(200)로 전달한다. 이때 상기 차량용 표시장치(200)에 전달되는 감정에 대한 정보는 상기 감정에 대응되는 텍스트, 이미지 또는 이들의 조합에 대한 데이터이거나, 차량용 표시장치(200)에 저장되어 있는 텍스트, 이미지 또는 이들의 조합에 대한 데이터의 호출 코드일 수 있다. The smartphone 100 receives information about an emotion to be transmitted to the driver of another vehicle from the user and transmits the received information to the vehicle display apparatus 200. In this case, the information on the emotions transmitted to the vehicle display apparatus 200 may be data on texts, images, or a combination thereof corresponding to the emotions, or may be text, images, or a combination thereof stored on the vehicle display apparatus 200. It may be a calling code of data for.

차량용 표시장치(200)는 도 1에 도시된 바와 같이, 차량의 후방 유리에 인접하게 설치되어, 후방에 뒤따르는 다른 차량들이 표시된 내용을 볼 수 있도록 한다. 차량용 표시장치(200)에는 운전자가 스마트폰(100)을 이용하여 선택한 감정에 대응되는 정보가 표시된다.The vehicle display apparatus 200 is installed adjacent to the rear glass of the vehicle, as shown in FIG. 1, so that other vehicles following the rear can see the displayed contents. The vehicle display apparatus 200 displays information corresponding to the emotion selected by the driver using the smartphone 100.

차량용 표시장치(200)는 다수의 LED들을 매트릭스 형태로 배열한 LED 패널을 통해 운전자가 스마트폰(100)을 이용하여 선택한 감정에 대응되는 정보를 표시한다. 도 1에서, 차량용 표시장치(200)는 운전자의 감정을 이모티콘으로 표시하는 것으로 상정하였는데, 이는 설명의 편의를 위한 일 예에 불과하다. 이모티콘이 아닌 문자로 운전자의 감정을 표시하거나, 이모티콘과 문자를 교번적으로 표시하여 운전자가 상대 운전자에게 전달하고자 하는 감정을 표현하는 것도 가능하다.
The vehicle display apparatus 200 displays information corresponding to an emotion selected by the driver using the smartphone 100 through an LED panel in which a plurality of LEDs are arranged in a matrix form. In FIG. 1, it is assumed that the vehicle display apparatus 200 displays an emotion of a driver as an emoticon, which is merely an example for convenience of description. It is also possible to express the emotions of the driver by using a character other than an emoticon or by alternately displaying an emoticon and a character to express the emotion that the driver wants to convey to the counterpart driver.

이하에서, 도 1에 도시된 주행 감정 표현 시스템을 구성하는 스마트폰(100)과 차량용 표시장치(200)에 대해, 하나씩 상세히 설명한다.Hereinafter, the smartphone 100 and the vehicle display apparatus 200 constituting the driving emotion expression system illustrated in FIG. 1 will be described in detail one by one.

도 2는, 도 1에 도시된 스마트폰(100)의 상세 블럭도이다. 도 2에 도시된 바와 같이, 스마트폰(100)은 스마트폰 기능블럭(110), 터치 스크린(120), 통신부(130), 제어부(140), 저장부(150), GPS 모듈(160), 마이크로폰(170) 및 가속도 센서(180)를 구비한다.2 is a detailed block diagram of the smartphone 100 shown in FIG. As shown in FIG. 2, the smartphone 100 includes a smartphone function block 110, a touch screen 120, a communication unit 130, a control unit 140, a storage unit 150, a GPS module 160, A microphone 170 and an acceleration sensor 180 are provided.

스마트폰 기능블럭(110)은 스마트폰(100) 본연의 기능인, 전화통화, SMS 발송/수신, 사진/동영상 촬영, 컨텐츠 재생 등을 수행하는 블럭이다.The smart phone function block 110 is a block for performing a phone call, SMS sending / receiving, picture / video shooting, content playback, etc., which are the functions of the smart phone 100.

터치 스크린(120)은 스마트폰 기능블럭(110)의 기능수행 과정/결과에서 발생되는 화면을 표시하는 디스플레이 수단으로서의 기능과, 터치를 통해 운전자인 사용자의 명령을 입력받기 위한 입력 수단으로서의 기능을 수행한다.The touch screen 120 performs a function as a display means for displaying a screen generated from a function performance process / result of the smart phone function block 110 and as an input means for receiving a command of a user who is a driver through a touch. do.

통신부(130)는 차량용 표시장치(200)와 유선/무선으로 연결되어, 스마트폰(100)과 차량용 표시장치(200) 간의 통신을 지원한다.The communication unit 130 is connected to the vehicle display apparatus 200 by wire / wirelessly to support communication between the smartphone 100 and the vehicle display apparatus 200.

저장부(150)는 스마트폰(100)에서 사용하는 소프트웨어와 데이터가 저장되는 저장공간을 제공한다. 저장부(150)에 저장되는 소프트웨어에는 전술한 주행 감정 표현 어플리케이션(155)이 포함된다.The storage unit 150 provides a storage space for storing software and data used in the smartphone 100. The software stored in the storage unit 150 includes the driving emotion expression application 155 described above.

GPS 모듈(160)은 GPS 위성들로부터 수신되는 GPS 위성신호들로 스마트폰(100)의 현재 위치를 계산하고, 계산된 현재 위치를 제어부(140)로 전달한다. 여기서, 스마트폰(100)의 현재 위치는 스마트폰(100)을 휴대한 운전자가 탑승한 차량의 위치로 볼 수 있다.The GPS module 160 calculates a current position of the smartphone 100 using GPS satellite signals received from GPS satellites, and transmits the calculated current position to the controller 140. Here, the current position of the smartphone 100 may be viewed as the position of the vehicle in which the driver carrying the smartphone 100 is boarded.

마이크로폰(170)은 운전자의 음성을 입력받아 전기적 신호로 변환하여 제어부(140)로 전달한다.The microphone 170 receives a driver's voice, converts the driver's voice into an electrical signal, and transmits the signal to the controller 140.

가속도 센서(180)는 스마트폰(100)의 가속도를 측정하여 제어부(140)로 전달한다. 여기서, 스마트폰(100)의 가속도는 차량의 가속도로 볼 수 있다.The acceleration sensor 180 measures the acceleration of the smartphone 100 and transmits the acceleration to the controller 140. Here, the acceleration of the smartphone 100 can be seen as the acceleration of the vehicle.

제어부(140)는 주행 감정 어플리케이션(155)을 실행하고 이를 통해 운전자가 입력한 감정에 대한 정보를 통신부(130)를 통해 차량용 표시장치(200)로 전송한다. 이때 상기 감정에 대한 정보는 차량용 표시장치(200)에 표시하기 위한 텍스트, 이미지 또는 이들의 조합에 대한 데이터 이거나, 차량용 표시장치(200)에 기 저장된 텍스트, 이미지 또는 이들의 조합에 대한 데이터를 호출하기 위한 코드 정보일 수 있다. 이 과정에 대한 상세한 설명은, 도 4를 참조하여 후술한다.
The controller 140 executes the driving emotion application 155 and transmits the information on the emotion input by the driver to the vehicle display apparatus 200 through the communication unit 130. In this case, the information on the emotion is data on text, an image, or a combination thereof for display on the vehicle display apparatus 200, or data on text, an image, or a combination thereof, previously stored on the vehicle display apparatus 200, is called. May be code information. Detailed description of this process will be described later with reference to FIG. 4.

한편, 도 3에는 도 1에 도시된 차량용 표시장치(200)의 상세 블럭도가 도시되어 있다. 도 3에 도시된 바와 같이, 차량용 표시장치(200)는 통신부(210), 제어부(230), 저장부(240) 및 LED 패널(250)을 구비하며, 가속도 센서(220)를 추가로 포함할 수 있다.3 is a detailed block diagram of the vehicle display apparatus 200 shown in FIG. 1. As shown in FIG. 3, the vehicle display apparatus 200 includes a communication unit 210, a control unit 230, a storage unit 240, and an LED panel 250, and further include an acceleration sensor 220. Can be.

통신부(210)는 스마트폰(100)과 유선/무선으로 연결되여, 차량용 표시장치(200)와 스마트폰(100) 간의 통신을 지원한다.The communication unit 210 is connected to the smart phone 100 by wire / wireless, and supports communication between the vehicle display device 200 and the smart phone 100.

가속도 센서(220)는 차량용 표시장치(200)의 가속도를 측정하여 제어부(230)로 전달한다. 여기서, 차량용 표시장치(200)의 가속도는, 차량용 표시장치(200)가 설치된 차량의 가속도로 볼 수 있다.The acceleration sensor 220 measures the acceleration of the vehicle display apparatus 200 and transmits the acceleration to the controller 230. Here, the acceleration of the vehicle display apparatus 200 may be viewed as the acceleration of the vehicle in which the vehicle display apparatus 200 is installed.

저장부(240)는 LED 패널(250)에 시각 정보로 표시되는 표시 패턴들이 저장될 수 있다. 표시 패턴들은 운전자의 감정을 표현하는 텍스트, 이미지 또는 이들의 조합에 대한 데이터 등이 저장되어 있다. The storage unit 240 may store display patterns displayed as visual information on the LED panel 250. The display patterns store text, images, or a combination thereof that express the driver's emotion.

LED 패널(250)은 다수의 LED들이 매트릭스 형태로 배열된 패널로, 저장부(240)에 저장된 표시 패턴이 표시된다.The LED panel 250 is a panel in which a plurality of LEDs are arranged in a matrix form, and a display pattern stored in the storage 240 is displayed.

제어부(230)는 LED 패널(250)의 표시 동작을 제어하는데, 이 과정에 대한 상세한 설명은 도 4를 참조하여 설명한다.
The controller 230 controls the display operation of the LED panel 250, a detailed description of this process will be described with reference to FIG.

도 4는 본 발명의 일 실시예에 따른, 주행 감정 표시방법의 설명에 제공되는 흐름도이다. 도 4에서는 이해의 편의를 위해, 스마트폰(100)에서 수행되는 단계들은 좌측에, 차량용 표시장치(200)에서 수행되는 단계들은 우측에, 각각 도시하였다.4 is a flowchart provided to explain a driving emotion display method according to an embodiment of the present invention. In FIG. 4, for the convenience of understanding, the steps performed in the smartphone 100 are shown on the left side, and the steps performed in the vehicle display device 200 are shown on the right side.

도 4에 도시된 바와 같이, 먼저 터치 스크린(120)을 통한 명령으로 주행 감정 표현 어플리케이션(155)이 실행되면(S410), 주행 감정 표현 어플리케이션(155)은 표현 가능한 감정들을 나열한 리스트를 터치 스크린(120)에 표시한다(S420).As shown in FIG. 4, first, when the driving emotion expression application 155 is executed by the command through the touch screen 120 (S410), the driving emotion expression application 155 may display a list listing the emotions that can be expressed. In operation S420, the process is indicated by reference numeral 120.

이후, 터치 스크린(120)에 표시된 감정들 중 하나가 운전자에 의해 선택되면(S430-Y), 제어부(140)는 S430단계에서 선택된 감정에 대한 정보를 통신부(130)를 통해 차량용 표시장치(200)로 전송한다(S440). 이때, 상기 차량용 표시장치(200)에 전달되는 감정에 대한 정보는 상기 감정에 대응되는 텍스트, 이미지 또는 이들의 조합에 대한 데이터이거나, 차량용 표시장치(200)에 저장되어 있는 텍스트, 이미지 또는 이들의 조합에 대한 데이터의 호출코드일 수 있다. Subsequently, when one of the emotions displayed on the touch screen 120 is selected by the driver (S430 -Y), the controller 140 transmits the information about the emotion selected in operation S430 to the vehicle display apparatus 200 through the communication unit 130. In step S440). In this case, the information on the emotions transmitted to the vehicle display apparatus 200 may be data about texts, images, or a combination thereof corresponding to the emotions, or may be texts, images, or the like stored in the vehicle display apparatus 200. Call code of the data for the combination.

그러면, 차량용 표시장치(200)의 제어부(230)는 통신부(210)를 통해 S440단계에서 전송된 감정 정보를 수신하고(S450), 수신된 감정 정보를 LED 패널(250)에 표시한다(S450).Then, the control unit 230 of the vehicle display device 200 receives the emotion information transmitted in step S440 through the communication unit 210 (S450), and displays the received emotion information on the LED panel 250 (S450). .

이때, 상기 제어부(230)는 상기 S440단계에서 전송된 감정 정보가 표시될 텍스트, 이미지 또는 이들의 조합에 대한 데이터인 경우에는 LED 패널(250)을 직접 제어하여 해당 텍스트, 이미지 또는 이들의 조합을 표시한다. 만일, 상기 S440단계에서 전송된 감정 정보가 저장부(240)에 저장된 텍스트, 이미지 또는 이들의 조합에 대한 데이터의 호출 코드인 경우에는, 상기 제어부(230)는 표현하는 텍스트, 이미지 또는 이들의 조합에 대한 데이터를 저장부(240)에서 읽어들인 다음 상기 LED 패널(250)이 이를 표시할 수 있도록 제어한다.
In this case, the controller 230 directly controls the LED panel 250 when the emotion information transmitted in step S440 is data for text, image, or a combination thereof to display the text, image, or a combination thereof. Display. If the emotion information transmitted in step S440 is a call code of data for text, an image, or a combination thereof stored in the storage unit 240, the controller 230 expresses text, an image, or a combination thereof. After reading the data for the storage unit 240, the LED panel 250 controls to display it.

지금까지, 차량 주행 중에 운전자가 느끼는 감정에 대한 정보를 스마트폰(100)을 통해 입력하면, 차량용 표시장치(200)에 표시하는 시스템과 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.Up to now, a system and method for displaying information on emotions felt by a driver while driving a vehicle through the smartphone 100 have been described in detail with reference to a preferred embodiment.

위 실시예에서 언급한 스마트폰(100)은 운전자인 사용자가 입력한 감정을 차량용 표시장치(200)에 전달하는 기능을 수행하는데, 사용자 입력을 차량용 표시장치(200)에 전달할 수 있는 기기라면 어떠한 것이라도 스마트폰(100)을 대체할 수 있음은 물론이다. 예를 들어, 스마트폰 이외의 다른 휴대전화, 모바일 PC, PDA, 휴대용 컨텐츠 플레이어 등의 모바일 기기가 스마트폰(100)을 대체할 수 있다.The smartphone 100 mentioned in the above embodiment performs a function of transmitting the emotion input by the user who is the driver to the vehicle display apparatus 200. If the device can transmit the user input to the vehicle display apparatus 200, Of course, it is possible to replace the smartphone 100, of course. For example, a mobile device such as a mobile phone other than a smart phone, a mobile PC, a PDA, a portable content player, etc. may replace the smart phone 100.

또한, 위 실시예에서 스마트폰(100)의 기능을 차량 내에 마련/설치되는 다른 기기(예를 들어, 네비게이션 장치)에 흡수시키는 것도 가능하다.In addition, in the above embodiment, it is also possible to absorb the function of the smartphone 100 to another device (eg, a navigation device) provided / installed in the vehicle.

그리고, 위 실시예에서 운전자의 감정은, 터치 스크린을 통해 입력되는 것을 상정하였으나, 이는 설명의 편의를 위한 일 예에 불과하다. 마이크로폰(170)을 통해 입력된 사용자의 음성을 음성 인식하여 사용자의 감정을 파악할 수도 있다.
In the above embodiment, the driver's emotion is assumed to be input through the touch screen, but this is merely an example for convenience of description. The user's emotion may be determined by voice recognition of the user's voice input through the microphone 170.

한편, 감정의 정도에 단계를 두는 것이 가능하다. 예를 들어, 고마움의 정도를 강한 고마움과 약한 고마움으로 구분할 수 있다. 이 경우, 감정의 정도에 따라 차량용 표시장치(200)에 표시되는 이모티콘의 종류를 달리하는 것이 가능하다.On the other hand, it is possible to stage the degree of emotion. For example, the degree of gratitude can be divided into strong and weak gratitude. In this case, it is possible to change the type of emoticon displayed on the vehicle display apparatus 200 according to the degree of emotion.

감정의 정도는, 사용자의 입력행위로 구분할 수 있는데, 구체적으로, 음성의 크기와 터치 스크린을 통한 터치의 세기로 구분가능하다. 즉, 음성의 크기가 클 수록. 터치의 세기가 셀수록, 강한 감정으로 처리한다.
The degree of emotion can be classified by the user's input behavior. Specifically, the emotion level can be classified by the size of the voice and the intensity of the touch through the touch screen. That is, the louder the voice. The greater the intensity of the touch, the stronger the emotion.

지금까지는, 차량용 표시장치(200)로 표시되는 감정이 사용자의 입력으로만 결정되는 경우를 설명하였으나, 차량의 상태에 기반하여 자동으로 차량용 표시장치(200)에 표시될 정보가 선택되는 것도 가능하다. 예를 들어, 차량이 급제동하는 경우(즉, 차량의 가속도가 임계 가속도 미만인 경우), 이를 감지하여 차량용 표시장치(200)에 위험함을 나타내는 텍스트, 이미지 또는 이들의 조합을 자동으로 표시하여 감속을 안내하는 것이 가능하다.Up to now, the case in which the emotion displayed on the vehicle display device 200 is determined only by a user's input has been described. However, information to be displayed on the vehicle display device 200 may be automatically selected based on the state of the vehicle. . For example, when the vehicle suddenly brakes (ie, when the acceleration of the vehicle is less than the threshold acceleration), the vehicle detects this and automatically displays a text, an image, or a combination thereof indicating the danger on the vehicle display device 200 to reduce the speed. It is possible to guide.

차량의 가속도는, 스마트폰(100)에 마련된 가속도 센서(180)를 통해 측정하는 것이 가능함은 물론, GPS 모듈(160)에 의해 실시간으로 계산되는 차량의 현재 위치의 궤적을 2차 미분하여 산출가능할 뿐만 아니라, 차량용 표시장치(200)에 마련된 가속도 센서(220)를 통해 차량의 가속도를 측정하는 것도 가능함은 물론이다.
The acceleration of the vehicle may be measured by the acceleration sensor 180 provided in the smartphone 100, and may be calculated by secondly differenting the trajectory of the current position of the vehicle calculated by the GPS module 160 in real time. In addition, it is of course possible to measure the acceleration of the vehicle through the acceleration sensor 220 provided in the vehicle display apparatus 200.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되서는 안될 것이다.
In addition, although the preferred embodiment of the present invention has been shown and described above, the present invention is not limited to the specific embodiments described above, but the technical field to which the invention belongs without departing from the spirit of the invention claimed in the claims. Of course, various modifications can be made by those skilled in the art, and these modifications should not be individually understood from the technical spirit or the prospect of the present invention.

100 : 스마트폰 110 : 스마트폰 기능블럭
120 : 터치 스크린 130 : 통신부
140 : 제어부 150 : 저장부
160 : GPS 모듈 170 : 마이크로폰
180 : 가속도 센서 200 : 차량용 표시장치
210 : 통신부 220 : 가속도 센서
230 : 제어부 240 : 저장부
250 : LED 패널100: smart phone 110: smart phone function block
120: touch screen 130: communication unit
140: control unit 150: storage unit
160: GPS module 170: microphone
180: acceleration sensor 200: vehicle display device
210: communication unit 220: acceleration sensor
230: control unit 240: storage unit
250: LED panel

Claims (6)

차량용 표시장치에 있어서,
상기 차량용 표시장치와 독립적인 기능을 수행하는 외부기기와 통신가능하도록 연결되는 통신부;
시각 정보를 표시하는 표시부;
데이터의 호출 코드에 대응되는 텍스트, 이미지 또는 이들의 조합을 저장하는 저장부; 및
상기 외부기기에서 입력된 사용자 감정 데이터를 상기 통신부를 통해 전달받으면,
상기 전송된 감정 데이터가 텍스트, 이미지 또는 이들의 조합에 대한 데이터인 경우에는 상기 감정 데이터에 해당하는 시각 정보가 표시되도록 상기 표시부를 제어하고,
상기 전송된 감정 데이터가 데이터의 호출 코드인 경우에는 상기 저장부에 저장되어 있는 상기 데이터의 호출 코드에 대응되는 텍스트, 이미지 또는 이들의 조합에 대한 데이터가 상기 표시부에 표시되도록 제어하는 제어부;를 포함하는 것을 특징으로 하는 차량용 표시장치.
In the vehicle display device,
A communication unit connected to communicate with an external device performing a function independent of the vehicle display device;
A display unit for displaying time information;
A storage unit for storing text, an image, or a combination thereof corresponding to the calling code of the data; And
When receiving the user emotion data input from the external device through the communication unit,
If the transmitted emotion data is text, an image, or a combination thereof, the display unit is controlled to display visual information corresponding to the emotion data.
If the sent emotion data is a call code of the data, the control unit for controlling to display the data on the display, the text, image or a combination thereof corresponding to the call code of the data stored in the storage unit; Vehicle display device, characterized in that.
제 1항에 있어서,
상기 외부기기는,
상기 사용자의 모바일 기기 및 차량에 장착된 네비게이션 중 어느 하나인 것을 특징으로 하는 차량용 표시장치.
The method of claim 1,
The external device,
Vehicle display device, characterized in that any one of the user's mobile device and the navigation mounted on the vehicle.
삭제delete 제 1항에 있어서,
가속도 센서를 더 포함하는 것을 특징으로 하는 차량용 표시장치.
The method of claim 1,
Vehicle display device further comprises an acceleration sensor.
제 1항 또는 제 4항에 있어서,
상기 제어부는,
차량의 가속도가 기설정된 임계 가속도 미만이면,
감속 안내를 위한 시각 정보가 표시되도록 상기 표시부를 제어하는 것을 특징으로 하는 차량용 표시장치.
The method according to claim 1 or 4,
The control unit,
If the acceleration of the vehicle is less than the preset threshold acceleration,
And the display unit is controlled to display time information for deceleration guidance.
사용자 기기의 사용자 입력 전달 방법에 있어서,
상기 사용자 기기가, 선택가능한 사용자 감정들을 표시하는 단계;
상기 표시단계에서 표시된 감정들 중 하나가 선택되면, 상기 사용자 기기가 선택된 감정에 대한 텍스트, 이미지 또는 이들의 조합에 대한 데이터 또는 상기 데이터의 호출코드 정보를 차량용 표시장치로 전달하는 단계; 및,
상기 사용자 기기로부터 전달받은 정보가 감정에 대한 텍스트, 이미지 또는 이들의 조합에 대한 데이터이면 이를 표시하고, 감정에 대한 텍스트, 이미지 또는 이들의 조합에 대한 데이터의 호출코드 정보인 경우 상기 차량용 표시장치에 저장되어 있는 텍스트, 이미지 또는 이들의 조합에 대한 데이터를 호출하여 표시하는 단계;를 포함하는 것을 특징으로 하는 사용자 입력 전달 방법.
In the user input delivery method of the user device,
Displaying, by the user device, selectable user emotions;
If one of the emotions displayed in the display step is selected, transmitting, by the user device, data on text, an image or a combination thereof, or call code information of the data to the vehicle display apparatus; And
If the information received from the user device is data about text, images, or a combination of emotions, the information is displayed, and when the call code information of data on text, images, or a combination thereof is displayed, And calling and displaying data on stored text, images, or a combination thereof.
KR1020110071301A 2011-07-19 2011-07-19 System for expressing emotion in driving KR101305547B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110071301A KR101305547B1 (en) 2011-07-19 2011-07-19 System for expressing emotion in driving

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110071301A KR101305547B1 (en) 2011-07-19 2011-07-19 System for expressing emotion in driving

Publications (2)

Publication Number Publication Date
KR20130010585A KR20130010585A (en) 2013-01-29
KR101305547B1 true KR101305547B1 (en) 2013-09-06

Family

ID=47839764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110071301A KR101305547B1 (en) 2011-07-19 2011-07-19 System for expressing emotion in driving

Country Status (1)

Country Link
KR (1) KR101305547B1 (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078441B2 (en) 2015-07-28 2018-09-18 Samsung Electronics Co., Ltd Electronic apparatus and method for controlling display displaying content to which effects is applied
KR102301141B1 (en) 2020-09-14 2021-09-09 김동규 Electronic device attached onto vehicle and method for operating the same
AU2016256830B2 (en) * 2015-11-12 2023-02-02 Diverse Industries Intl. Pty. Ltd. Signalling device and method

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102235368B1 (en) * 2016-10-27 2021-04-01 군산대학교산학협력단 Message Displaying Apparatus for Vehicles and Method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006005945A (en) * 2004-06-18 2006-01-05 Lg Electronics Inc Method of communicating and disclosing feelings of mobile terminal user and communication system thereof
KR20060024485A (en) * 2004-09-14 2006-03-17 유승식 Emoticon display device for displaying emotion of a driver
KR20070038638A (en) * 2005-10-06 2007-04-11 한준희 Display system for rear indicator light of automobile
KR20110076000A (en) * 2009-12-29 2011-07-06 대성전기공업 주식회사 A rear message display for automobile and the method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006005945A (en) * 2004-06-18 2006-01-05 Lg Electronics Inc Method of communicating and disclosing feelings of mobile terminal user and communication system thereof
KR20060024485A (en) * 2004-09-14 2006-03-17 유승식 Emoticon display device for displaying emotion of a driver
KR20070038638A (en) * 2005-10-06 2007-04-11 한준희 Display system for rear indicator light of automobile
KR20110076000A (en) * 2009-12-29 2011-07-06 대성전기공업 주식회사 A rear message display for automobile and the method thereof

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078441B2 (en) 2015-07-28 2018-09-18 Samsung Electronics Co., Ltd Electronic apparatus and method for controlling display displaying content to which effects is applied
AU2016256830B2 (en) * 2015-11-12 2023-02-02 Diverse Industries Intl. Pty. Ltd. Signalling device and method
KR102301141B1 (en) 2020-09-14 2021-09-09 김동규 Electronic device attached onto vehicle and method for operating the same

Also Published As

Publication number Publication date
KR20130010585A (en) 2013-01-29

Similar Documents

Publication Publication Date Title
KR102479072B1 (en) Method for Outputting Contents via Checking Passenger Terminal and Distraction
KR101822945B1 (en) Mobile terminal
KR101330826B1 (en) Smart AVN(Audio Visual Navigation) system interactively operating with smart phone
WO2015136874A1 (en) Display control device, display device, display control program, display control method, and recording medium
CN105790799A (en) Bluetooth Pairing System And Method
JP5548668B2 (en) A system that links in-vehicle devices and portable information terminals
US20190005544A1 (en) Mobile terminal and method for controlling same
US20150281430A1 (en) Method and apparatus for providing information based on movement of an electronic device
KR101305547B1 (en) System for expressing emotion in driving
CN108370490B (en) Vehicle use state determination method and device and terminal
CN104890570B (en) Worn type information of vehicles indicator and the method for indicating information of vehicles using it
EP3441275A1 (en) Method, device, vehicle, and storage medium for vehicle control
CN106200894B (en) Event notification method and device thereof
KR102235368B1 (en) Message Displaying Apparatus for Vehicles and Method thereof
GB2517593A (en) Bicycle safety system
KR20160104800A (en) Display system for vehicle
CN115269097A (en) Navigation interface display method, navigation interface display device, navigation interface display equipment, storage medium and program product
CN104581441A (en) Vehicle-mounted intercom system and method
KR101736820B1 (en) Mobile terminal and method for controlling the same
KR101828400B1 (en) Portable v2x terminal and method for controlling the same
KR20180000837U (en) Automobile LED display system using smart device
US20140242973A1 (en) Control apparatus and wireless communication system
KR20210062774A (en) Smart car see-through display control system and method thereof
KR20140033294A (en) Vehicle and device interface control methods thereof
KR101055703B1 (en) Wireless display system of context-based control in vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160829

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170904

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180703

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190708

Year of fee payment: 7