KR101204493B1 - Method and System for Location Tracking for Multi User Based on ubiquitous Home Environments - Google Patents

Method and System for Location Tracking for Multi User Based on ubiquitous Home Environments Download PDF

Info

Publication number
KR101204493B1
KR101204493B1 KR1020110009322A KR20110009322A KR101204493B1 KR 101204493 B1 KR101204493 B1 KR 101204493B1 KR 1020110009322 A KR1020110009322 A KR 1020110009322A KR 20110009322 A KR20110009322 A KR 20110009322A KR 101204493 B1 KR101204493 B1 KR 101204493B1
Authority
KR
South Korea
Prior art keywords
user
users
article
location
sensor
Prior art date
Application number
KR1020110009322A
Other languages
Korean (ko)
Other versions
KR20120088168A (en
Inventor
정창원
장형근
주수종
Original Assignee
원광대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 원광대학교산학협력단 filed Critical 원광대학교산학협력단
Priority to KR1020110009322A priority Critical patent/KR101204493B1/en
Publication of KR20120088168A publication Critical patent/KR20120088168A/en
Application granted granted Critical
Publication of KR101204493B1 publication Critical patent/KR101204493B1/en

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02Services making use of location information
    • H04W4/029Location-based management or tracking services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/22Social work or social welfare, e.g. community support activities or counselling services
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W4/00Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30Services specially adapted for particular environments, situations or purposes
    • H04W4/33Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W64/00Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H04W64/006Locating users or terminals or network equipment for network management purposes, e.g. mobility management with additional information processing, e.g. for direction or speed determination
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04WWIRELESS COMMUNICATION NETWORKS
    • H04W84/00Network topologies
    • H04W84/18Self-organising networks, e.g. ad-hoc networks or sensor networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Telephonic Communication Services (AREA)

Abstract

유비쿼터스 홈 환경 기반의 다중 사용자 실내 위치추적 방법 및 시스템이 제공된다. 본 다중 사용자 위치추적 방법은, 사용자의 위치와 사용자에 의한 물건 이용 실태를 감지하고, 물건 이용 실태를 기초로 사용자가 다수의 사용자들 중 누구인지 파악한 후, 사용자의 위치를 다른 사용자와 구분하여 추적한다. 이에 의해, 기존 사용자의 부착형 센서 및 소지하는 기기의 위치 추적 기술이 아닌 무구속, 무자각 지향의 다중 사용자 실내 위치추적이 가능해진다.A multi-user indoor location tracking method and system based on ubiquitous home environment is provided. The multi-user location tracking method detects the user's location and the user's use of the object, identifies the user among the plurality of users based on the object's use, and tracks the user's location separately from other users. do. As a result, non-responsive, self-aware multi-user indoor location tracking is possible, rather than an existing user's attached sensor and a location tracking technology of the device.

Description

유비쿼터스 홈 환경 기반의 다중 사용자 실내 위치추적 방법 및 시스템{Method and System for Location Tracking for Multi User Based on ubiquitous Home Environments}Method and System for Location Tracking for Multi User Based on ubiquitous Home Environments}

본 발명은 다중 사용자 실내 위치추적 방법에 관한 것으로, 더욱 상세하게는 유비쿼터스 홈 환경 기반의 다중 사용자 실내 위치추적 방법에 관한 것이다.
The present invention relates to a multi-user indoor location tracking method, and more particularly to a multi-user indoor location tracking method based on the ubiquitous home environment.

유비쿼터스 컴퓨팅 환경으로의 변화는 기존 헬스케어 서비스에 많은 영향을 주었다. 특히, 독거노인을 위한 모니터링 시스템 기술은 국내외에서 시범 서비스를 통해 주기적인 건강관리 목적과 응급상황에 대한 신속한 대처에 효과적이며, 건강관리 서비스의 미래를 제시하고 있다. 이에 대한 핵심 기술은 거주자의 위치와 행위에 대한 모니터링을 기반으로 하고 있다.The shift to a ubiquitous computing environment has had a significant impact on existing healthcare services. In particular, the monitoring system technology for the elderly living alone is effective for periodical health care purposes and prompt response to emergency situations through pilot services at home and abroad, and suggests the future of health care services. The core technology for this is based on monitoring residents' locations and behaviors.

이와 관련하여, 국내외 실내 위치추적 연구는 RFID 태그 및 단말기 등의 부착형 센서 및 기기를 이용하여 무선 통신 기술을 접목한 연구가 대부분이다. 또한, 영상을 통해 하나 이상의 사용자 식별과 행위에 대한 검출을 통해 서비스를 제공하고 있다.In this regard, most domestic and overseas indoor location research studies are incorporating wireless communication technology using attached sensors and devices such as RFID tags and terminals. In addition, the service is provided through detection of one or more user identification and actions through an image.

이러한 기존 연구를 기반으로 u-헬스케어에 적용하는데 있어 스마트 홈 또는 유비쿼터스 홈 환경을 기반으로 하는 고가의 인프라를 구축해야 한다. 이와 함께, 사용자의 행위 패턴에 대한 연구가 일일 생활에 대해 정의하여야 하는 복잡함에 직면하게 된다.Based on these existing researches, it is necessary to construct an expensive infrastructure based on smart home or ubiquitous home environment to apply to u-healthcare. At the same time, the study of user behavior patterns is faced with the complexity of defining daily life.

또한, 독거노인을 위한 모니터링 시스템에 관한 연구로 적외선 센서, 활동감지 센서 그리고 가스 센서와 같은 다양한 센서 등을 이용할 수 있는데, 이들 시스템들은 몸에 부착한 센서에 의해 행위를 검출하고 이를 모니터링 서비스에 적용하고 있다.In addition, research on monitoring system for elderly people can use various sensors such as infrared sensor, activity sensor, and gas sensor. These systems detect behaviors by sensors attached to the body and apply them to monitoring service. Doing.

그러나, 이러한 부착형 센서를 이용한 방법은 독거노인에게는 불편한 시스템으로 적용하기 힘든 어려운 문제점을 갖고 있다.
However, the method using the attached sensor has a difficult problem that is difficult to apply to the elderly living alone.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 기존 사용자의 부착형 센서 및 소지하는 기기의 위치 추적 기술이 아닌 무구속, 무자각 지향의 다중 사용자 실내 위치추적 방법 및 시스템을 제공함에 있다.
The present invention has been made to solve the above problems, the object of the present invention is a non-responsive, self-aware multi-user indoor location tracking method, rather than the existing user-attached sensor and the location tracking technology of the device. And providing a system.

상기 목적을 달성하기 위한 본 발명에 따른, 다중 사용자 위치추적 방법은, 사용자의 위치를 감지하는 단계; 사용자에 의한 물건 이용 실태를 감지하는 단계; 물건 이용 실태를 기초로, 사용자가 다수의 사용자들 중 누구인지 파악하는 단계; 및 상기 단계들을 반복하여, 상기 사용자의 위치를 다른 사용자와 구분하여 추적하는 단계;를 포함한다.According to the present invention for achieving the above object, a multi-user location tracking method comprising the steps of: sensing the location of the user; Detecting the use of objects by the user; Determining who the user is among the plurality of users based on the object usage status; And repeating the above steps, separately tracking the location of the user from other users.

그리고, 상기 물건 이용 실태는, 상기 다수의 사용자들 마다 상이한 것이 바람직하다.In addition, it is preferable that the goods use status is different for the plurality of users.

또한, 상기 물건 이용 실태는, 물건 사용 위치를 포함하고, 상기 물건 사용 위치는, 상기 다수의 사용자들 마다 상이할 수 있다.In addition, the article use status includes a article use location, and the article use location may be different for the plurality of users.

그리고, 상기 물건 이용 실태는, 사용 물건 정보를 포함하고, 상기 다수의 사용자들 마다 사용 물건이 상이한 것이 바람직하다.In addition, the goods use status includes used goods information, and it is preferable that the used goods are different for the plurality of users.

또한, 상기 물건 이용 실태는, 물건 이용 시간을 포함하고, 상기 물건 이용 시간은, 상기 다수의 사용자들 마다 상이할 수 있다.In addition, the goods use status includes a goods use time, and the goods use time may be different for the plurality of users.

그리고, 상기 물건 이용 실태는, 물건 이용 횟수를 포함하고, 상기 물건 이용 횟수는, 상기 다수의 사용자들 마다 상이할 수 있다.In addition, the article use status includes a article use count, and the article use count may be different for the plurality of users.

또한, 본 다중 사용자 위치추적 방법은, 사용자의 신체 특성을 감지하는 단계; 및 신체 특성을 기초로, 사용자가 다수의 사용자들 중 누구인지 파악하는 단계;를 더 포함하는 것이 바람직하다.In addition, the present multi-user location tracking method, comprising: detecting a body characteristic of the user; And determining who the user is among the plurality of users based on the physical characteristics.

한편, 본 발명에 따른, 다중 사용자 위치추적 시스템은, 사용자의 위치를 감지하는 제1 센서; 사용자에 의한 물건 이용 실태를 감지하는 제2 센서; 및 상기 제2 센서에 의해 감지된 물건 이용 실태를 기초로, 상기 제1 센서에 의해 감지된 사용자가 다수의 사용자들 중 누구인지 파악하고, 상기 사용자의 위치를 다른 사용자와 구분하여 추적하는 위치 추적 서버;를 포함한다.On the other hand, the multi-user location tracking system according to the present invention, the first sensor for sensing the location of the user; A second sensor for detecting an actual use of an object by a user; And location tracking to identify who the user detected by the first sensor is among a plurality of users based on the object usage detected by the second sensor, and to track the location of the user separately from other users. Server; includes.

그리고, 상기 물건 이용 실태는, 상기 다수의 사용자들 마다 상이한 것이 바람직하다.In addition, it is preferable that the goods use status is different for the plurality of users.

또한, 상기 물건 이용 실태는, 물건 사용 위치를 포함하고, 상기 물건 사용 위치는, 상기 다수의 사용자들 마다 상이할 수 있다.In addition, the article use status includes a article use location, and the article use location may be different for the plurality of users.

그리고, 상기 물건 이용 실태는, 사용 물건 정보를 포함하고, 상기 다수의 사용자들 마다 사용 물건이 상이한 것이 바람직하다.In addition, the goods use status includes used goods information, and it is preferable that the used goods are different for the plurality of users.

또한, 상기 물건 이용 실태는, 물건 이용 시간을 포함하고, 상기 물건 이용 시간은, 상기 다수의 사용자들 마다 상이할 수 있다.In addition, the goods use status includes a goods use time, and the goods use time may be different for the plurality of users.

그리고, 상기 물건 이용 실태는, 물건 이용 횟수를 포함하고, 상기 물건 이용 횟수는, 상기 다수의 사용자들 마다 상이한 것이 바람직하다.In addition, the article use status includes a article use count, and the article use count is different for each of the plurality of users.

또한, 본 발명에 따른, 다중 사용자 위치추적 시스템은, 사용자의 신체 특성을 감지하는 제3 센서;를 더 포함하고, 상기 위치 추적 서버는, 상기 제3 센서에 의해 감지된 신체 특성을 기초로, 사용자가 다수의 사용자들 중 누구인지 파악하는 것이 바람직하다.
In addition, the multi-user location tracking system according to the present invention further includes a third sensor for sensing a body characteristic of the user, wherein the location tracking server, based on the body characteristic sensed by the third sensor, It is desirable to know who the user is among the plurality of users.

이상 설명한 바와 같이, 본 발명에 따르면, 기존 사용자의 부착형 센서 및 소지하는 기기의 위치 추적 기술이 아닌 무구속, 무자각 지향의 다중 사용자 실내 위치추적이 가능해진다.As described above, according to the present invention, non-responsive, self-aware multi-user indoor location tracking is possible, rather than the existing user's attached sensor and the location tracking technology of the device.

또한, 기존 홈네트워크 시스템과 연계하여 거주자에 대한 개인 이력 및 간병 및 상담과 같은 정보를 기반으로 보호 관찰이 요구되는 노인뿐만 아니라 장애인 및 맞벌이 부부의 자녀들에 대한 관리 서비스로 활용할 수 있게 된다.In addition, in connection with the existing home network system, based on information such as personal history and care and counseling for residents, it can be used as a management service for the children of disabled and dual income couples as well as the elderly who need probation.

그리고, 사용자의 불편 요소 즉, 무엇인가에 감시받고 있다는 심적 부담, 무엇을 작동시켜야 하는 불편함, 시스템 속에 있다는 구속감을 느끼지 않도록 할 수 있다.
In addition, it is possible to prevent the user from feeling uncomfortable, that is, the mental burden of being monitored by something, the inconvenience of operating something, and the constraint of being in the system.

도 1은 본 발명의 일 실시예에 따른, 다중 사용자 실내 위치추적 시스템의 블럭도,
도 2는 본 발명의 다른 실시예에 따른 다중 사용자 실내 위치추적 방법의 설명에 제공되는 흐름도, 그리고,
도 3은 위치 추적 결과를 예시한 도면이다.
1 is a block diagram of a multi-user indoor location tracking system, in accordance with an embodiment of the present invention;
2 is a flow chart provided in the description of the multi-user indoor location tracking method according to another embodiment of the present invention, and
3 is a diagram illustrating a location tracking result.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
Hereinafter, with reference to the drawings will be described the present invention in more detail.

1. 다중 사용자 실내 위치추적 시스템1. Multi-user indoor location tracking system

도 1은 본 발명의 일 실시예에 따른, 다중 사용자 실내 위치추적 시스템의 블럭도이다. 도시된 다중 사용자 실내 위치추적 시스템은, 유비쿼터스 홈 환경 기반으로, 무구속, 무자각을 지향한다.1 is a block diagram of a multi-user indoor location tracking system, in accordance with an embodiment of the present invention. The multi-user indoor location tracking system shown, based on the ubiquitous home environment, aims to be unconstrained and self-aware.

도 1에 도시된 바와 같이, 본 실시예에 따른 다중 사용자 실내 위치추적 시스템은, 다수의 센서들(110 내지 170) 및 위치 추적 서버(200)가 상호 통신가능하도록 연결되어 구축된다.As shown in FIG. 1, the multi-user indoor location tracking system according to the present embodiment is constructed by connecting a plurality of sensors 110 to 170 and a location tracking server 200 to communicate with each other.

도 1에 도시된 다중 사용자 실내 위치추적 시스템은, 위치 추적 서버(200)를 중심으로 다수의 센서들(110 내지 170)이 연결되어 있는 구조로 도시되어 있는데 이는 예시적인 것에 불과하다.The multi-user indoor location tracking system shown in FIG. 1 is illustrated in a structure in which a plurality of sensors 110 to 170 are connected with respect to the location tracking server 200, which is merely exemplary.

수의 센서들(110 내지 170)에 의한 감지 과가 위치 추적 서버(200)로 전달될 수만 있다면, 다중 사용자 실내 위치추적 시스템의 토폴로지는 문제되지 않는다. 즉, 도 1에 도시된 구조 이외의 다른 구조로 위치 추적 서버(200)와 다수의 센서들(110 내지 170)이 연결될 수 있음은 물론이다.The topology of the multi-user indoor location tracking system is not a problem as long as the sensing transient by the number of sensors 110-170 can only be communicated to the location tracking server 200. That is, the location tracking server 200 and the plurality of sensors 110 to 170 may be connected to a structure other than the structure shown in FIG. 1.

센서들(110 내지 170)은 다중 사용자들에 대한 위치, 신체 특성 및 물건 이용 실태를 감지하고, 감지결과를 위치 추적 서버(200)로 전달한다.The sensors 110 to 170 detect the location, physical characteristics, and object usage of the multiple users, and transmit the detection result to the location tracking server 200.

위치 추적 서버(200)는 센서들(110 내지 170)의 감지결과들을 수집하여, 이를 기초로 다중 사용자들에 대한 위치 추적을 사용자 별로 수행한다.
The location tracking server 200 collects the detection results of the sensors 110 to 170, and performs location tracking for multiple users for each user based on this.

2. 센서2. Sensor

이하에서는 다중 사용자 실내 위치추적 시스템이 가정집 내에 구축되는 것으로 상정하고, 센서들(110 내지 170)에 대해 하나씩 구체적으로 설명한다.
Hereinafter, a multi-user indoor location tracking system is assumed to be built in a home, and the sensors 110 to 170 will be described in detail one by one.

2.1. 거리 감지 센서2.1. Distance sensing sensor

거리 감지 센서(110)는 사용자까지의 거리를 감지하는 센서이다. '실내의 높이'에서 '거리 감지 센서(110)에 의해 감지된 거리'를 감산하면, 사용자의 신체 특성 중 하나인 신장(키)를 계산할 수 있다.The distance sensor 110 is a sensor that detects a distance to a user. When the distance detected by the distance sensor 110 is subtracted from the height of the room, a height, which is one of the user's body characteristics, may be calculated.

거리 감지 센서(110)는 사용자들이 주로 서있는 장소인 현관에 설치하는 것이 바람직한데, 이외의 다른 장소에 설치할 수 있음은 물론이다.
The distance sensor 110 is preferably installed in the porch, which is a place where users mainly stand, but can be installed in other places.

2.2. 무게 감지 센서2.2. Weight sensing sensor

무게 감지 센서(120)는 사용자의 무게를 감지하는 센서이다. 무게 감지 센서(120)는 사용자들이 주로 오랫동안 서있는 장소인 세면대에 설치하는 것이 바람직한데, 이외의 다른 장소에 설치할 수도 있음은 물론이다.
The weight sensor 120 is a sensor for detecting the weight of the user. The weight sensor 120 is preferably installed in the wash basin where the user is standing for a long time, it may be installed in other places, of course.

2.3. 활동 감지 센서2.3. Activity detection sensor

활동 감지 센서(130)는 사용자의 활동을 감지하여 궁극적으로는 사용자가 위치하고 있는 장소를 감지하는 센서이다.The activity detection sensor 130 is a sensor that detects a user's activity and ultimately detects a place where the user is located.

활동 감지 센서(130)는 집안의 구분되는 장소마다 설치하는 것이 바람직하며, 예를 들어, 거실, 안방, 주방, 화장실, 베란다, 다용도실, 현관에 설치할 수 있다.It is preferable to install the activity detection sensor 130 in each place of the house, for example, it can be installed in the living room, the main room, the kitchen, the toilet, the veranda, the utility room, the entrance.

한편, 현관에는 거리 감지 센서(110)를 설치할 수 있다고 전술한 바 있는데, 거리 감지 센서(110)가 활동 감지 센서(130)의 역할을 함께 수행하도록 구현가능하다. 즉, 거리 감지 센서(110)에 의해 사용자까지의 거리가 감지되면, 사용자가 현관에 위치하는 것으로 취급가능하다는 의미이다.
On the other hand, the front door has been described that the distance sensor 110 can be installed, the distance sensor 110 may be implemented to perform the role of the activity sensor 130 together. That is, when the distance to the user is detected by the distance sensor 110, it means that the user can be treated as being located at the front door.

2.4. 세부위치 감지 센서2.4. Detailed Position Detection Sensor

세부위치 감지 센서(140)는 사용자의 세부위치를 감지하는 센서로, 침대, 소파, 옷장, 신발장, 식탁 의자 등과 같은 가구에 설치될 수 있다. 여기서, 세부위치란 매우 구체적인 위치로서, 예를 들어The detailed position detection sensor 140 is a sensor for detecting a detailed position of the user and may be installed in furniture such as a bed, a sofa, a wardrobe, a shoe rack, a dining table chair, and the like. Here, the detailed position is a very specific position, for example

1) 침대의 경우, 침대의 좌측 및 우측을 구분하고,1) In case of bed, separate left and right sides of bed,

2) 소파의 경우, 소파의 좌측, 중앙 및 우측을 구분하며,2) In case of sofa, divide the left, center and right side of sofa,

3) 옷장의 경우, 옷장의 좌측 및 우측을 구분하고,3) In case of closet, distinguish left and right side of closet,

4) 신발장의 경우, 신발장의 상부 및 하부를 구분하고,4) In case of shoe box, distinguish upper and lower part of shoe box,

5) 식탁 의자의 경우, 첫 번째 의자, 두 번째 의자, 세 번째 의자 및 네 번째 의자를 구분한다.
5) For dining chairs, distinguish the first chair, the second chair, the third chair and the fourth chair.

2.5. 인접 감지 센서2.5. Proximity sensor

인접 감지 센서(150)는 사용자가 접근하였는지 여부를 감지하는 센서로, 가정내의 다양한 제품에 설치되어, 사용자가 그 제품을 사용하는지 여부를 감지할 수 있다.The proximity sensor 150 is a sensor that detects whether a user has approached and is installed in various products in the home, and may detect whether the user uses the product.

인접 감지 센서(150)가 설치 가능한 제품들로, 싱크대, 가스레인지, 냉장고 등을 예로 들 수 있으며, 이들 이외의 다른 제품에도 인접 감지 센서(150)가 설치될 수 있다.Examples of products in which the proximity sensor 150 may be installed may include a sink, a gas range, a refrigerator, and the like, and the other proximity sensor 150 may be installed in other products.

한편, 인접 감지 센서(150)는 세부위치 감지 센서(140)와 사실상 동일한 기능을 수행하는 바, 구현시 이들을 구별하지 않아도 무방하다.
On the other hand, the proximity sensor 150 performs substantially the same function as the detailed position detection sensor 140, it is not necessary to distinguish between them in the implementation.

2.6. 연기 감지 센서2.6. Smoke detection sensor

연기 감지 센서(160)는 발생된 연기를 감지하는 센서로, 구체적으로 사용자가 흡연을 하고 있는지 여부를 감지할 수 있다.The smoke sensor 160 is a sensor for detecting the generated smoke, and specifically, may detect whether the user is smoking.

연기 감지 센서(160)는 흡연에 적합한 장소인 베란다에 설치하는 것이 바람직한데, 이외의 다른 장소에 설치할 수 있음은 물론이다.
The smoke detection sensor 160 is preferably installed on the veranda, which is a suitable place for smoking, of course, can be installed in other places.

2.7. 사용형태 감지 센서2.7. Type Sensor

사용형태 감지 센서(170)는 제품에 설치되는데, 설치된 제품을 사용자가 어떻게 이용하는지 감지하는 센서이다. 사용형태 감지 센서(170)가 설치가능한 제품으로 비데가 있는데, 비데에 설치된 사용형태 감지 센서(170)는 사용자가 변기 시트를 올리고 사용하는지(남자) 내려놓고 사용하는지(남자,여자) 감지한다.Usage form detection sensor 170 is installed in the product, it is a sensor for detecting how the user uses the installed product. The use type detection sensor 170 is a product that can be installed, there is a bidet, the use type detection sensor 170 installed in the bidet detects whether the user raises and uses the toilet seat (man) and put down (man, woman).

비데 이외에도 사용자별로 사용형태가 다른 제품의 경우는 사용형태 감지 센서(170)가 설치되어 이용될 수 있다. 예를 들어, 사용자-1은 드라이어를 더운 바람으로 이용하고, 사용자-2는 드라이어를 찬 바람으로 이용한다면, 드라이어에 사용형태 감지 센서(170)를 설치하여 사용형태를 감지하도록 할 수 있다.
In addition to the bidet, in the case of a product having a different usage type for each user, a usage type sensor 170 may be installed and used. For example, if user-1 uses the dryer as hot wind, and user-2 uses the dryer as cold wind, the user-1 may install the usage pattern detecting sensor 170 in the dryer to detect the usage form.

3. 다중 사용자 식별 및 위치 추적 방안3. Multi-user identification and location tracking

위치 추적 서버(200)는 센서들(110 내지 170)의 감지결과들을 수집하고, 이를 기초로 다중 사용자를 식별하여 사용자 별로 위치 추적을 수행하는 바, 그 과정에 대해 도 2를 참조하여 상세히 설명한다.The location tracking server 200 collects the detection results of the sensors 110 to 170, and based on this, identifies the multiple users and performs location tracking for each user. The process will be described in detail with reference to FIG. 2. .

도 2는 본 발명의 다른 실시예에 따른 다중 사용자 실내 위치추적 방법의 설명에 제공되는 흐름도이다. 도 2에 도시된 바와 같이, 사용자의 위치가 감지되었지만(S310-Y), 사용자의 신체 특성이 감지되지 않았고(S320-N), 물건 이용 실태만이 감지된 경우(S330-Y), 위치 추적 서버(200)는 S330단계에서 감지된 물건 이용 실태를 기초로, S310단계에서 위치가 감지된 사용자가 누구인지 파악한다(S340).2 is a flowchart provided to explain a multi-user indoor location tracking method according to another embodiment of the present invention. As shown in FIG. 2, when the user's location is detected (S310-Y), but the user's physical characteristics are not detected (S320-N), and only the object use status is detected (S330-Y), location tracking The server 200 determines who is the user whose location is detected in operation S310 based on the detected use status of the operation in operation S330 (S340).

S310단계에서의 사용자 위치는 활동 감지 센서(130)에 의해 감지된다. 그리고, S320단계에서 감지하는 신체 특성은 거리 감지 센서(110)에 의해 감지되는 사용자의 신장과 무게 감지 센서(120)에 의해 감지되는 사용자의 무게를 포함한다.The user's location in step S310 is detected by the activity detection sensor 130. In addition, the body characteristics detected in operation S320 include the height of the user sensed by the distance sensor 110 and the weight of the user sensed by the weight detection sensor 120.

한편, S330단계에서 감지하는 물건 이용 실태는,On the other hand, the use of the object detected in step S330 is,

1) 세부위치 감지 센서(140)에 의해 감지되는 물건 사용 위치,1) location of the object detected by the detailed position detection sensor 140,

2) 인접 감지 센서(150)에 의해 감지되는 사용 물건에 대한 정보,2) information on the object of use detected by the proximity sensor 150,

3) 연기 감지 센서(160)에 의해 감지되는 흡연 여부에 대한 정보, 및3) information on whether smoking is detected by the smoke detection sensor 160, and

4) 사용형태 감지 센서(170)에 의해 감지되는 물건 사용 형태4) Use form of the object detected by the use form detection sensor 170

중 적어도 하나를 포함한다.Or the like.

이하에서는, S340단계에서 물건 이용 실태를 기초로, S310단계에서 위치가 감지된 사용자가 누구인지 파악하는 방법에 대해 구체적으로 예를 들어 설명한다.
Hereinafter, a method of determining who is a user whose location is detected in step S310 will be described in detail based on the use status of goods in step S340.

위치 추적 서버(200)는, 세부위치 감지 센서(140)에 의해,Position tracking server 200, by the detailed position detection sensor 140,

i) 침대의 좌측에서 사용자가 감지된 경우는, 침대 좌측을 주로 사용하는 사용자-1이 침대가 있는 안방에 위치하는 것으로,i) If the user is detected on the left side of the bed, User-1, who mainly uses the left side of the bed, is located in the room where the bed is,

ii) 침대의 우측에서 사용자가 감지된 경우는, 침대 우측을 주로 사용하는 사용자-2가 침대가 있는 안방에 위치하는 것으로,ii) If the user is detected on the right side of the bed, User-2, who mainly uses the right side of the bed, is located in the room where the bed is,

iii) 침대의 좌측과 우측 모두에서 사용자가 감지된 경우는, 사용자-1과 사용자-2 모두가 침대가 있는 안방에 위치하는 것으로 파악한다.iii) If the user is detected on both the left and the right side of the bed, it is assumed that both User-1 and User-2 are located in the bed with the bed.

또한, 위치 추적 서버(200)는, 세부위치 감지 센서(140)에 의해,In addition, the location tracking server 200, by the detailed position detection sensor 140,

i) 소파의 좌측에서 사용자가 감지된 경우는, 소파 좌측을 주로 사용하는 사용자-1이 소파가 있는 거실에 위치하는 것으로,i) If the user is detected on the left side of the sofa, User-1, who mainly uses the left side of the sofa, is located in the living room with the sofa,

ii) 소파의 중앙에서 사용자가 감지된 경우는, 소파 중앙을 주로 사용하는 사용자-2가 소파가 있는 거실에 위치하는 것으로,ii) If the user is detected in the center of the sofa, User-2, who mainly uses the center of the sofa, is located in the living room with the sofa,

iii) 소파의 좌측과 중앙 모두에서 사용자가 감지된 경우는, 사용자-1과 사용자-2 모두가 소파가 있는 안방에 위치하는 것으로 파악한다.
iii) If the user is detected on both the left and the center of the sofa, it is assumed that both User-1 and User-2 are located in the room where the sofa is located.

한편, 위치 추적 서버(200)는, 인접 감지 센서(150)에 의해, 싱크대에서 사용자가 감지된 경우는, 싱크대를 주로 사용하는 사용자-1이 싱크대가 있는 주방에 위치하는 것으로 파악한다.
On the other hand, the location tracking server 200, when the user is detected at the sink by the proximity sensor 150, the user-1 mainly using the sink is determined to be located in the kitchen with the sink.

그리고, 위치 추적 서버(200)는, 베란다에 위치한 활동 감지 센서(130)에 의해 사용자가 감지되었고, 연기 감지 센서(160)에 의해 연기가 감지된 경우 베란다에 흡연자인 사용자-2가 위치하는 것으로 파악한다.And, the location tracking server 200, when the user is detected by the activity detection sensor 130 located on the veranda, and smoke is detected by the smoke detection sensor 160 as a user-2 smoker is located on the veranda. Figure out.

반면, 위치 추적 서버(200)는, 베란다에 위치한 활동 감지 센서(130)에 의해 사용자가 감지되었지만, 연기 감지 센서(160)에 의해 연기가 감지되지 않은 경우 베란다에 비흡연자인 사용자-1이 위치하는 것으로 파악한다.
On the other hand, the location tracking server 200, when the user is detected by the activity detection sensor 130 located on the veranda, but the smoke is not detected by the smoke detection sensor 160, the non-smoker user-1 is located on the veranda I grasp it.

또한, 위치 추적 서버(200)는, 비데에 설치된 사용형태 감지 센서(170)에 의해 변기 시트가 올려진 것이 감지되면, 비데가 있는 화장실에 남자인 사용자-2가 위치하는 것으로 파악한다.
In addition, when the location tracking server 200 detects that the toilet seat is raised by the usage type sensor 170 installed in the bidet, the user 2, which is a male, is located in the toilet with the bidet.

이밖에도, S330단계에서 감지하는 물건 이용 실태에는, 물건 이용 시간과 물건 이용 횟수가 더 고려될 수 있다.In addition, the article usage time and article usage count may be further considered in the article usage situation detected in operation S330.

예를 들어, 사용자-1은 낮과 밤 모두 집에 있고, 사용자-2는 밤에만 집에 있는 경우라면, 낮에 감지된 사용자는 사용자-1로 파악할 수 있다.For example, if user-1 is at home during the day and night, and user-2 is at home only at night, the user sensed during the day may be regarded as user-1.

또 다른 예로, 사용자-2는 취식을 위해 냉장고를 일회성으로 사용하는 반면, 사용자-1은 요리를 위해 냉장고를 단시간에 많은 횟수로 사용한다면, 냉장고에 설치된 인접 감지 센서(110)에 의해 단시간에 많은 횟수로 사용자가 감지된 경우, 사용자-1이 냉장고가 있는 주방에 위치하고 있는 것으로 파악할 수 있다.
As another example, if user-2 uses the refrigerator one time for eating, while user-1 uses the refrigerator many times in a short time for cooking, the user-2 uses a refrigerator many times in a short time. If the user is detected by the number of times, it can be seen that User-1 is located in the kitchen with the refrigerator.

S340단계 이후, 위치 추적 서버(200)는 S310단계에서 감지된 위치와 S340단계의 파악된 사용자를 참고로, 사용자별로 위치를 추적한다(S350).After operation S340, the location tracking server 200 tracks the location for each user by referring to the detected location in operation S310 and the identified user in operation S340 (S350).

한편, S320단계에서 사용자의 신체 특성이 감지된 경우라면(S320-Y), 위치 추적 서버(200)는 S320단계에서 감지된 신체 특성을 기초로, S310단계에서 위치가 감지된 사용자가 누구인지 파악하고(S360), S350단계를 수행한다.On the other hand, if the user's body characteristics are detected in step S320 (S320-Y), the location tracking server 200, based on the body characteristics detected in step S320, who is the location is detected in step S310 In operation S360, the operation S350 is performed.

S350단계에서의 위치 추적 결과는, 다중 사용자에 대한 위치 추적에 참고함은 물론, 사용자의 다음 행위를 예측할 수 있어, 환자 응급 상황 모니터링에 이용될 수 있음은 물론 자녀 돌보미 모니터링에 이용될 수 있다.
The location tracking result in step S350, as well as reference to the location tracking for the multi-user, can predict the next behavior of the user, can be used for monitoring the patient emergency, as well as can be used for monitoring the child care.

4. 위치 추적 결과 예시4. Example of location tracking result

1명의 여자(P1)와 1명의 남자(P2)가 다중 사용자로 한 가정집 내에 거주하는 경우의 위치 추적 결과를 도 3에 예시하였다. 여기서, P1은 비흡연자이지만 P2는 흡연자로 상정하였으며, 소파, 식탁 의자를 이용하는 경우 특정 위치를 주로 사용하는 습관을 갖고 있을 뿐만 아니라, P1이 주방 제품들을 P2보다 더 자주 사용하는 것으로 상정하였다.FIG. 3 illustrates a location tracking result when one woman P1 and one man P2 live in a home with multiple users. Here, P1 is a non-smoker, but P2 is assumed to be a smoker, and not only has a habit of mainly using a specific location when using a sofa or a table chair, but also assumes that P1 uses kitchen products more frequently than P2.

도 3에 도시된 바에 따르면, 현관의 거리 감지 센서(110)에 의한 사용자 신장(키) 감지를 통해 "P2"가 "귀가"하여 "현관"에 위치하고, 싱크대, 가스레인지, 냉장고에 마련된 인접 감지 센서(110)에 의한 사용자 감지를 통해 "P1"이 "요리"를 위해 "주방"에 위치하며, 옷장의 특정 부분(예를 들면, 옷장 좌측)에 마련된 세부위치 감지 센서(140)에 의한 사용자 감지를 통해 "P2"가 "옷을 갈아입기" 위해 옷장이 마련된 "안방"에 위치하고, ... , 현관의 거리 감지 센서(110)에 의한 사용자 신장(키) 감지를 통해 "P2"가 "출근"를 위해 "현관"에 위치하고 있음이 나타나 있다.As shown in FIG. 3, through the user's height (key) detection by the distance detecting sensor 110 of the front door, "P2" is "returned" and located in the "front door", and adjacent sensing provided in a sink, a gas range, and a refrigerator. The user by the sensor 110, the "P1" is located in the "kitchen" for "cooking", the user by the detailed position detection sensor 140 provided in a specific part of the closet (for example, the left side of the closet) "P2" is located in the "room" where the wardrobe is provided to "change clothes" through the detection, ..., "P2" is detected by the user height (key) detection by the distance sensor 110 of the porch " It appears that you are in the "front door" for work.

도 3에서 사용자들이 감지된 위치들이, 사용자별로 구분 연결되어 있는데, 이 연결들이 사용자들의 위치 추적 결과인 위치 이동 궤적에 해당한다.
In FIG. 3, the locations detected by the users are connected by user, and these connections correspond to the location movement trajectory which is a result of the location tracking of the users.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, but, on the contrary, It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention.

110 : 거리 감지 센서 120 : 무게 감지 센서
130 : 활동 감지 센서 140 : 세부위치 감지 센서
150 : 인접 감지 센서 160 : 연기 감지 센서
170 : 사용형태 감지 센서 200 : 위치 추적 서버
110: distance detection sensor 120: weight detection sensor
130: activity detection sensor 140: detailed position detection sensor
150: proximity detection sensor 160: smoke detection sensor
170: usage detection sensor 200: location tracking server

Claims (14)

사용자의 위치를 감지하는 단계;
사용자에 의한 물건 이용 실태를 감지하는 단계;
물건 이용 실태를 기초로, 사용자가 다수의 사용자들 중 누구인지 파악하는 단계; 및
상기 단계들을 반복하여, 상기 사용자의 위치를 다른 사용자와 구분하여 추적하는 단계;를 포함하고,
상기 물건 이용 실태는,
상기 다수의 사용자들 마다 상이한 것을 특징으로 하는 다중 사용자 위치추적 방법.
Detecting a location of the user;
Detecting the use of objects by the user;
Determining who the user is among the plurality of users based on the object usage status; And
Repeating the above steps, separately tracking the location of the user from other users; and
The use condition of the article,
Multi-user location method, characterized in that different for the plurality of users.
삭제delete 제 1항에 있어서,
상기 물건 이용 실태는, 물건 사용 위치를 포함하고,
상기 물건 사용 위치는, 상기 다수의 사용자들 마다 상이한 것을 특징으로 하는 다중 사용자 위치추적 방법.
The method of claim 1,
The article use situation includes a article use position,
And wherein the object use location is different for the plurality of users.
제 1항에 있어서,
상기 물건 이용 실태는, 사용 물건 정보를 포함하고,
상기 다수의 사용자들 마다 사용 물건이 상이한 것을 특징으로 하는 다중 사용자 위치추적 방법.
The method of claim 1,
The article use fact includes use article information,
Multi-user location tracking method characterized in that the object of use is different for the plurality of users.
제 1항에 있어서,
상기 물건 이용 실태는, 물건 이용 시간을 포함하고,
상기 물건 이용 시간은, 상기 다수의 사용자들 마다 상이한 것을 특징으로 하는 다중 사용자 위치추적 방법.
The method of claim 1,
The article use fact includes article use time,
And wherein the article use time is different for the plurality of users.
제 1항에 있어서,
상기 물건 이용 실태는, 물건 이용 횟수를 포함하고,
상기 물건 이용 횟수는, 상기 다수의 사용자들 마다 상이한 것을 특징으로 하는 다중 사용자 위치추적 방법.
The method of claim 1,
The article use status includes the number of article usages,
And the number of times of use of the object is different for the plurality of users.
제 1항에 있어서,
사용자의 신체 특성을 감지하는 단계; 및
신체 특성을 기초로, 사용자가 다수의 사용자들 중 누구인지 파악하는 단계;를 더 포함하는 것을 특징으로 하는 다중 사용자 위치추적 방법.
The method of claim 1,
Sensing body characteristics of the user; And
Based on the physical characteristics, determining who the user is among the plurality of users; multi-user location tracking method further comprising.
사용자의 위치를 감지하는 제1 센서;
사용자에 의한 물건 이용 실태를 감지하는 제2 센서; 및
상기 제2 센서에 의해 감지된 물건 이용 실태를 기초로, 상기 제1 센서에 의해 감지된 사용자가 다수의 사용자들 중 누구인지 파악하고, 상기 사용자의 위치를 다른 사용자와 구분하여 추적하는 위치 추적 서버;를 포함하고,
상기 물건 이용 실태는,
상기 다수의 사용자들 마다 상이한 것을 특징으로 하는 다중 사용자 위치추적 시스템.
A first sensor detecting a location of a user;
A second sensor for detecting an actual use of an object by a user; And
A location tracking server that grasps the user who is detected by the first sensor based on the object usage detected by the second sensor, and tracks the location of the user separately from other users. Including;
The use condition of the article,
Multi-user location system, characterized in that different for the plurality of users.
삭제delete 제 8항에 있어서,
상기 물건 이용 실태는, 물건 사용 위치를 포함하고,
상기 물건 사용 위치는, 상기 다수의 사용자들 마다 상이한 것을 특징으로 하는 다중 사용자 위치추적 시스템.
The method of claim 8,
The article use situation includes a article use position,
And the location of the object use is different for the plurality of users.
제 8항에 있어서,
상기 물건 이용 실태는, 사용 물건 정보를 포함하고,
상기 다수의 사용자들 마다 사용 물건이 상이한 것을 특징으로 하는 다중 사용자 위치추적 시스템.
The method of claim 8,
The article use fact includes use article information,
Multi-user location tracking system characterized in that the object of use is different for the plurality of users.
제 8항에 있어서,
상기 물건 이용 실태는, 물건 이용 시간을 포함하고,
상기 물건 이용 시간은, 상기 다수의 사용자들 마다 상이한 것을 특징으로 하는 다중 사용자 위치추적 시스템.
The method of claim 8,
The article use fact includes article use time,
And wherein the article use time is different for the plurality of users.
제 8항에 있어서,
상기 물건 이용 실태는, 물건 이용 횟수를 포함하고,
상기 물건 이용 횟수는, 상기 다수의 사용자들 마다 상이한 것을 특징으로 하는 다중 사용자 위치추적 시스템.
The method of claim 8,
The article use status includes the number of article usages,
And the number of times of use of the object is different for the plurality of users.
제 8항에 있어서,
사용자의 신체 특성을 감지하는 제3 센서;를 더 포함하고,
상기 위치 추적 서버는,
상기 제3 센서에 의해 감지된 신체 특성을 기초로, 사용자가 다수의 사용자들 중 누구인지 파악하는 것을 특징으로 하는 다중 사용자 위치추적 시스템.
The method of claim 8,
Further comprising: a third sensor for sensing the physical characteristics of the user,
The location tracking server,
And determining who the user is from among the plurality of users based on the physical characteristics sensed by the third sensor.
KR1020110009322A 2011-01-31 2011-01-31 Method and System for Location Tracking for Multi User Based on ubiquitous Home Environments KR101204493B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110009322A KR101204493B1 (en) 2011-01-31 2011-01-31 Method and System for Location Tracking for Multi User Based on ubiquitous Home Environments

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110009322A KR101204493B1 (en) 2011-01-31 2011-01-31 Method and System for Location Tracking for Multi User Based on ubiquitous Home Environments

Publications (2)

Publication Number Publication Date
KR20120088168A KR20120088168A (en) 2012-08-08
KR101204493B1 true KR101204493B1 (en) 2012-11-26

Family

ID=46873496

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110009322A KR101204493B1 (en) 2011-01-31 2011-01-31 Method and System for Location Tracking for Multi User Based on ubiquitous Home Environments

Country Status (1)

Country Link
KR (1) KR101204493B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419877B2 (en) 2015-10-07 2019-09-17 Samsung Electronics Co., Ltd. Electronic apparatus and IoT device controlling method thereof
US10986398B2 (en) 2018-11-02 2021-04-20 Dish Network L.L.C. Location-tracked media delivery across multiple media consumption devices

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104569958A (en) * 2013-10-18 2015-04-29 中国科学院上海高等研究院 Target positioning method and system based on ultrasonic wave and inertial navigation combination

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10419877B2 (en) 2015-10-07 2019-09-17 Samsung Electronics Co., Ltd. Electronic apparatus and IoT device controlling method thereof
US11595781B2 (en) 2015-10-07 2023-02-28 Samsung Electronics Co., Ltd. Electronic apparatus and IoT device controlling method thereof
US10986398B2 (en) 2018-11-02 2021-04-20 Dish Network L.L.C. Location-tracked media delivery across multiple media consumption devices
US11743532B2 (en) 2018-11-02 2023-08-29 Dish Network L.L.C. Location-tracked media delivery across multiple media consumption devices

Also Published As

Publication number Publication date
KR20120088168A (en) 2012-08-08

Similar Documents

Publication Publication Date Title
Tsukiyama In-home health monitoring system for solitary elderly
Hussain et al. Applications of wireless sensor networks and RFID in a smart home environment
Chan et al. Assessment of activity of elderly people using a home monitoring system
CN105989695B (en) Guardianship active risks appraisal procedure and device
US20200341457A1 (en) Property control and configuration based on floor contact monitoring
CN108348194A (en) Mobility monitors
CN202648699U (en) Multifunctional home monitoring and nursing network system
JP2011523122A (en) System and method for detecting human daily activities
Ariani et al. Simulated unobtrusive falls detection with multiple persons
TWI607330B (en) Home-based emergency service system based on water consumption
KR101204493B1 (en) Method and System for Location Tracking for Multi User Based on ubiquitous Home Environments
GB2525476A (en) Method and device for monitoring at least one interior of a building, and assistance system for at least one interior of a building
Ghaffarianhoseini et al. The essence of smart homes: Application of intelligent technologies towards smarter urban future
WO2013014578A1 (en) Monitoring system and method for monitoring a monitored area
CN104871225A (en) Method and system for determining the location of a fecal insult
KR20210155335A (en) Method and apparatus for predicting dementia based on Activity of daily living
Kashimoto et al. Low-cost and device-free activity recognition system with energy harvesting PIR and door sensors
GB2522771A (en) Monitoring device for monitoring an inactivity behaviour of a monitored person, method and computer program
Suzuki et al. Monitoring daily living activities of elderly people in a nursing home using an infrared motion-detection system
Bouaziz et al. Detection of social isolation based on meal-taking activity and mobility of elderly people living alone
Nag et al. Smart Home: Recognition of activities of elderly for 24/7; Coverage issues
JP2002352352A (en) System and method for determining degree of abnormality of life behavior pattern
JP6772648B2 (en) Watching device, watching method, and watching program
CN106227168A (en) A kind of intelligent kitchen old man's behavioral activity identification system based on Internet of Things
KR20140141963A (en) System for managing Care-Object person with user orientation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20151118

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161004

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20171012

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180920

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191024

Year of fee payment: 8