WO2017039140A1 - 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법 - Google Patents

센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법 Download PDF

Info

Publication number
WO2017039140A1
WO2017039140A1 PCT/KR2016/007544 KR2016007544W WO2017039140A1 WO 2017039140 A1 WO2017039140 A1 WO 2017039140A1 KR 2016007544 W KR2016007544 W KR 2016007544W WO 2017039140 A1 WO2017039140 A1 WO 2017039140A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
behavior
information
sensor
location
Prior art date
Application number
PCT/KR2016/007544
Other languages
English (en)
French (fr)
Inventor
유승학
이승우
차호정
고요한
김수환
김현충
신종훈
이경우
함성일
Original Assignee
삼성전자(주)
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자(주), 연세대학교 산학협력단 filed Critical 삼성전자(주)
Priority to US15/754,512 priority Critical patent/US10341981B2/en
Publication of WO2017039140A1 publication Critical patent/WO2017039140A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W64/00—Locating users or terminals or network equipment for network management purposes, e.g. mobility management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/02—Details of telephonic subscriber devices including a Bluetooth interface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion

Definitions

  • the present invention relates to a user terminal device and method for finding a user position in a user space.
  • a wearable device is a computing device that can be worn on a user's body and includes various sensors. By computing the data of various sensors to understand the user's situation through wearable devices, various services based on the Internet of Things can be provided. Therefore, researches on how to use wearable devices to recognize user situations are actively conducted. It is becoming. Recently, various types of wearable devices have been released as commercial products rather than research purposes.
  • Conventional techniques for grasping user's behavior information or location information can be divided according to the sensor used, and the sensor used is also divided into two according to the position of the sensor.
  • the first is the use of sensors that rely on the infrastructure to install them in space.
  • a passive infrared intrusion sensor or ultrasonic sensor which is a cheap sensor, is installed in a large space, or a data is collected by recording with a camera, and tomography using a wireless signal transceiver is performed. In this way, the user's location can only be located where the sensor is directly installed.
  • the user possesses a device equipped with a sensor.
  • the user attaches the sensor to the body, wears a smartphone, or wears a wearable device, and the sensor is near the user. It mainly uses inertial sensors that measure acceleration and rotational angular velocity. Others use modules that read RFID signals or network modules that collect Wi-Fi signals. For example, use an RFID tag or use a smartphone's W-Fi module.
  • the conventional techniques described above have the following problems.
  • the method of installing the sensor in the infrastructure has practical problems related to cost and installation because the necessary sensors must be installed in all parts of the house.
  • the concept of smart home has been introduced due to the spread of the Internet of Things, but it has not yet reached the stage of installing ultrasonic sensors or cameras in every corner of the house, and even if it is possible, it may incur additional costs.
  • the method of using a smart phone is widely used at present, but there is a limit to use when the user is in a home. For example, in a home, the user may not be able to obtain motion information directly from the user because the user does not charge or possess the smartphone.
  • a location method using a wearable device has a problem in that power consumption is severe due to periodic Wi-Fi signal collection.
  • Wearable devices have a relatively low battery capacity and are not suitable for collecting Wi-Fi signals to determine a user's location.
  • wearable devices may not be capable of sufficient hardware and software capabilities due to size limitations.
  • An object of the present invention is to provide a user terminal device and method for determining the location of a user using sensor information embedded in a wearable device to solve the problems of the prior art.
  • Another object of the present invention is to provide a user terminal apparatus and method capable of recognizing a user's location in a house without an infrastructure for installing a plurality of sensors.
  • Still another object of the present invention is to provide a user terminal device and method capable of recognizing a user's location even if the user does not always have a smartphone in the house.
  • Another object of the present invention is to determine whether the smart phone is near the user, and if there is a user terminal device and method that can recognize the user location in the house by using the location information of the smart phone as an auxiliary means To provide.
  • a user terminal device for recognizing a user's location using sensor-based behavioral recognition to achieve the above-described problem of the present invention, detects information on at least one of a user's state and the surrounding environment and acts based on the detected information.
  • a communication module for receiving the behavior information from a mobile device for extracting information;
  • a processor configured to determine a user's position in a user space corresponding to the user's behavior based on the received behavior information.
  • the mobile device may include at least one of a wearable device and a mobile phone.
  • the user terminal device may include at least one of a mobile phone, a notebook PC, a tablet PC, a PDA, a desktop PC, and a server.
  • the mobile device may include a first sensor module including at least one of an acceleration sensor, a microphone, a heart rate sensor, a gyroscope, a geomagnetic sensor, a gravity sensor, an optical sensor, a digital compass, an odor sensor, and a proximity sensor.
  • a first sensor module including at least one of an acceleration sensor, a microphone, a heart rate sensor, a gyroscope, a geomagnetic sensor, a gravity sensor, an optical sensor, a digital compass, an odor sensor, and a proximity sensor.
  • the user terminal device may include a second sensor module including at least one of an acceleration sensor, a microphone, a gyroscope, a geomagnetic sensor, a gravity sensor, an optical sensor, a digital compass, an odor sensor, and a proximity sensor.
  • a second sensor module including at least one of an acceleration sensor, a microphone, a gyroscope, a geomagnetic sensor, a gravity sensor, an optical sensor, a digital compass, an odor sensor, and a proximity sensor.
  • the mobile device extracts first behavior information based on the first sensing information sensed by the first sensor module, and the processor performs a second behavior based on the second sensing information sensed by the second sensor module.
  • the information may be extracted, and the user location may be determined based on the first behavior information and the second behavior information.
  • the communication module may include a blue pitcher communication module, and the processor may measure a distance between the mobile device and the user terminal device based on a Bluetooth communication signal strength with the mobile device.
  • the communication module includes a Wi-Fi communication module, and the processor determines that the user and the user terminal device are in the same position when the distance between the mobile device and the user terminal device is within a predetermined range, and the Wi-Fi based location tracking system.
  • the position of the user terminal acquired through (WPS) can be determined as the user position.
  • the behavior information may include an activity fingerprint generated based on raw detection data obtained from the first sensor module.
  • the behavior fingerprint may be generated by a clustering algorithm based on a feature extracted from raw sensed data.
  • the processor may determine a user location using a statistical model based on the activity fingerprint.
  • the user terminal device may further include a storage unit for storing an action fingerprint corresponding to the user location in association with the user location.
  • the user terminal device may further include a storage unit for storing user behavior history data associated with the behavior time corresponding to the user behavior corresponding to the behavior information.
  • the processor may control an electronic device arranged at the user location.
  • a system for recognizing a user's location using sensor-based behavioral recognition includes a sensor module for detecting information on at least one of a user's state and surrounding environment, and extracting behavioral information based on the detected information
  • a mobile device having a first processor and a first communication module for transmitting the extracted behavior information; And a second communication module for receiving the behavior information from the first communication module, and a second processor for determining a user position in a user space corresponding to user behavior based on the received behavior information. It is characterized by including.
  • a system for recognizing a user location using sensor based behavior recognition includes a sensor module that detects information on at least one of a user's state and a surrounding environment, and a behavior information based on the detected information.
  • a first mobile device having a first processor for extracting and a first communication module for transmitting the extracted behavior information;
  • a second communication module for performing Wi-Fi communication and Bluetooth communication, and a second processor for obtaining its own location information through the Wi-Fi communication and obtaining distance information with the first mobile device through the blue pitcher communication.
  • a third communication module configured to receive the behavior information from the first communication module and to receive the location information and the distance information from the second communication module, and the first mobile device and the second mobile based on the distance information.
  • the location information is determined as a user location when the device is within a predetermined distance, and the user space corresponding to user behavior based on the received behavior information when the first mobile device and the second mobile device are out of a predetermined distance. It characterized in that it comprises a user terminal device having a third processor for determining the user position in the.
  • a method for recognizing a user location using sensor-based behavioral recognition includes: detecting, by a mobile device, information about at least one of a user's state and a surrounding environment; Extracting behavior information based on the sensed information; Transmitting the behavior information to a user terminal device; And determining a user position in a user space corresponding to the behavior information based on the received behavior information.
  • the method for recognizing a user location includes determining whether a user is at the same location as the user terminal device by using Bluetooth communication between the mobile device and the user terminal device; If the user is in the same position as the user terminal device may further comprise the step of determining the location of the user terminal device to the user location in the user space using the Wi-Fi communication of the user terminal device.
  • the method for recognizing a user location includes: detecting, by the user terminal device, second information regarding at least one of a user's state and a user's surrounding environment; Extracting, by the user terminal device, second action information based on the second information; The method may further include determining a user position in a user space corresponding to user behavior based on the first behavior information and the second behavior information.
  • the recording medium may record a program for determining the user position in the user space corresponding to the user behavior based on the behavior information.
  • the user's location or behavior information can be incorporated into services for the user's convenience.
  • the location is determined based on the user's behavior information, it is possible to perform situational awareness of what the user is doing in which room.
  • the user's life habits can be analyzed, and the user can provide a customized service for each situation.
  • Actions that can be determined in the present invention include general activities performed in the home, such as watching TV, reading a book, sleeping, using a PC, and hygiene performed in the home, such as cleaning, showering, cooking, eating, washing dishes, drying hair, and washing clothes. It covers activities and activities that include other people's interactions, such as talking, making coffee and drinking. By knowing in which room this behavior occurs, you can better understand the user's situation.
  • the user can obtain information about where and when each action occurs, the user's life pattern can be analyzed. For example, you can see how you live until you wake up in the morning and sleep at night. Thus, if data is collected over a sufficient period of time, the user will be able to predict what to do next. By providing the necessary services through the user's behavior prediction can be convenient to the user.
  • Continuous service can be provided through user's behavior prediction. For example, a user who wears a smartwatch wakes up in the morning by vibrating the wrist, and turns on the light in the room where the user is. You will wake up periodically until you go to the bathroom to avoid oversleeping. As the user counts, the coffee pot with the Internet of Things will prepare morning coffee for the user while the hair is dry. After washing and having breakfast, the TV will turn on automatically to show the morning news.
  • the present invention can be suitably applied to a situation where periodical checks of activities of daily living in the home, such as the elderly, the disabled, and dementia patients.
  • a situation where periodical checks of activities of daily living in the home, such as the elderly, the disabled, and dementia patients.
  • independence is determined by what actions such as eating, showering, and moving.
  • the remote monitoring can be performed without the infrastructure and the imaging.
  • the information collected from the user does not invade privacy, there is an advantage that it is easier to use than the conventional technology. For example, smartwatch does not collect any video information and analyzes features by processing in a way that sound restoration is impossible, so it operates without invading privacy.
  • FIG. 1 is a schematic diagram showing a scenario of a behavior-based location recognition system according to an embodiment of the present invention
  • FIG. 2 is a block diagram of a user terminal device for recognizing a location of a user using sensor-based behavioral recognition according to an embodiment of the present invention
  • 3 is a table showing the relationship of electronic devices by space in the house
  • 4 and 5 is a table showing the relationship between space and behavior for each user
  • FIG. 6 is a schematic diagram illustrating a process of recognizing a user's location using sensor based behavior recognition according to an embodiment of the present invention
  • FIG. 7 is a diagram showing a behavioral score according to the behavior in the home.
  • FIG. 8 is a schematic diagram showing a behavior fingerprint generation process according to an embodiment of the present invention.
  • FIG. 10 is a schematic diagram showing an HMM for estimating user location recognition
  • FIG. 11 is a view showing an example of a house space and an electronic device arrangement structure
  • FIG. 12 is a view showing another example of a house space and an electronic device arrangement structure
  • 21 is a view for explaining the use location determination according to the WiFi-based positioning system
  • 25 is a flowchart illustrating a method for recognizing a user location according to an embodiment of the present invention.
  • 26 is a flowchart illustrating a user location recognition method according to another embodiment of the present invention.
  • the expression “A or B,” “at least one of A or / and B,” or “one or more of A or / and B” may include all possible combinations of items listed together.
  • “A or B,” “at least one of A and B,” or “at least one of A or B”, includes (1) at least one A, (2) at least one B, Or (3) both of cases including at least one A and at least one B.
  • first,” “second,” “first,” or “second,” and the like may modify various elements, regardless of order and / or importance, and do not limit the corresponding elements. Do not. Such expressions may be used to distinguish one component from another.
  • the first user device and the second user device may represent different user devices regardless of the order or importance.
  • the first component may be referred to as the second component, and similarly, the second component may be referred to as the first component.
  • One component is "(operatively or communicatively) coupled with / to" to another component (eg second component) or " When referred to as “connected to”, it should be understood that a component may be directly connected to another component or connected through another component (eg, a third component).
  • a component e.g., a first component
  • another component e.g., a second component
  • the expression “configured to” is, depending on the context, for example, “suitable for,” “having the capacity to. It may be used interchangeably with “designed to,” “adapted to,” “made to,” or “capable of.”
  • the term “configured to” may not necessarily mean only “specifically designed to” in hardware. Instead, in some situations, the expression “device configured to” may mean that the device “can” along with other devices or components.
  • the phrase “processor configured (or configured) to perform A, B, and C” refers to a dedicated processor (eg, an embedded processor) for performing the operation, or one or more software programs stored in a memory device. By doing so, it may mean a general-purpose processor (for example, a CPU or an application processor) capable of performing the corresponding operations.
  • FIG. 1 is a schematic diagram showing a scenario of a behavior-based location recognition system 1 according to an embodiment of the present invention.
  • the behavior-based location recognition system 1 recognizes a location of a resident or a user (hereinafter referred to as a 'user') in an environment within a specific space such as a home, a building, a building, or an office without additional infrastructure.
  • a 'user' a location of a resident or a user
  • the behavior-based location recognition system 1 includes a user terminal device 100 and a mobile device 200.
  • the user terminal device 100 may be implemented as a mobile phone, a notebook PC, a tablet PC, a PDA, a desktop PC and a server.
  • the mobile device 200 may be implemented as a smart watch, wearable band, smart glasses, a headset, or the like as the wearable device.
  • the user terminal device 100 is applied to a widely used mobile phone 100
  • the mobile device 200 is a general wearable (wearable) device for monitoring the behavior and movement of the user in everyday life Wrist wearing smartwatch 200 was applied.
  • Smartphone 100 and wrist worn smartwatch 200 are increasingly used in the commercial market and there is no difficulty in use and wearing for the user.
  • it is assumed that the mobile phone 100 and the smart watch 200 are always worn except for some situations, for example, charging, sleeping, and showering.
  • Behavior-based location recognition system 1 tracks users in the following ways.
  • the smart watch 200 monitors the movement of the user, generates an action fingerprint for the arm movement using the 3-axis acceleration sensor 230-1, and uses the microphone 230-2 to surround the environment or the sound of the action.
  • Measure User behaviors include cleaning, watching TV, sleeping, showering, eating, using a PC, cooking, washing dishes, drinking tea, chatting, washing the toilet, viewing the toilet, reading, walking the laundry, cleaning up laundry, drying hair, and coffee.
  • the mobile phone 100 periodically performs WiFi location tracking using WiFi Received Signal Strength (RSS) to recognize the location of the device. Distance measurement and data exchange between the mobile phone 100 and the smart watch 200 are periodically performed through Bluetooth communication.
  • RSS WiFi Received Signal Strength
  • the current location of the user is determined as the recognized location of the mobile phone 200 from the Wi-Fi positioning system (WFPS).
  • WLAN Wi-Fi positioning system
  • Room location information and behavior fingerprints are added to the learning sample to train the inference model considering the correlation between space and behavior.
  • the behavior-based position recognition system 1 is the location of the user from the inference model to find a space in the house with a high correlation to the behavior observed by the smartwatch 200 Judge.
  • Feature extraction and location inference in the behavior-based location recognition system 1 of the present invention may be performed in any one of the mobile phone 100 or the smart watch 200.
  • the feature vector may be generated in the smart watch 200 and transmitted to the mobile phone 100.
  • the learning and prediction step based on the behavior fingerprint is preferably performed in the mobile phone 100 due to limited resources and limited computing capability of the wearable device.
  • FIG. 2 is a block diagram illustrating a behavior-based location recognition system 1 according to an exemplary embodiment of the present invention, and includes a user terminal device 100, a mobile device 200, and a wireless router (Access Point) 300.
  • a user terminal device 100 includes a user terminal device 100, a mobile device 200, and a wireless router (Access Point) 300.
  • a wireless router Access Point 300.
  • the user terminal device 100 includes a first processor 110, a first sensor module 120, a first communication module 130, and a first storage unit 140.
  • the user terminal device 100 may include additional components, such as a signal processor, a display, and a user input unit, in addition to the above components.
  • the first processor 110 may include a central processing unit (CPU), a micro processing unit (MPU), application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), and programmable logic devices (PLDs). It is implemented as a control board that includes field programmable gate arrays (FPGAs), micro-controllers, and microprocessors.
  • the first processor 110 controls overall components of the user terminal device 100, for example, the first sensor module 120, the first communication module 130, and the first storage unit 140.
  • the smart watch 200 or an external device via a network may receive various types of information input and sensed received from a server in software or hardware.
  • the first processor 110 may include an operating system (OS) such as, for example, Android version 5.0 (Lollipop).
  • OS operating system
  • the first processor 110 detects at least one of information transmitted from the mobile phone 200, for example, information about a user's state and surrounding environment in the first sensor module 120 of the mobile phone 200.
  • an application program that receives the first detection information and recognizes the user's location at the user's spatial location.
  • the first processor 110 recognizes a user's location, for example, a living room watching a TV, at a user space location corresponding to the received first sensing information, controls a TV disposed in the living room, or provides information to the TV. Can provide a suitable service to the user.
  • the first sensor module 120 is a 3-axis acceleration sensor 120-1, a microphone 120-2, a gyroscope 120-3 (gyroscope), a geomagnetism sensor, a gravity sensor, Light sensor, digital compass, odor sensor and proximity sensor.
  • the sensor module 120 may further include other sensors in addition to the above-described sensors.
  • the 3-axis acceleration sensor 120-1 detects vertical movement of the device.
  • the three-axis acceleration sensor 120-1 obtains a motion vector by detecting the number of steps (movement) or the moving direction of the user.
  • the microphone 120-2 measures a sound accompanying a user's action, for example, a sound of water in a shower, a speech of language study, a conversation of chatter, and the like. This measured acoustic feature is used to estimate the position in user space.
  • the gyroscope 120-3 is a device used to measure or maintain a direction based on the conservation of angular momentum. Even if the frame holding the device is inclined according to the momentum of the rapidly rotating wheel, the posture of the fast rotating wheel remains constant regardless of the tilt of the device.
  • Gyroscopes can be divided into mechanical gyro, optical gyro, and micro gyro.
  • a mechanical gyro uses the Coriolis effect of a rotating or vibrating object, which includes a vibrating gyro.
  • the optical gyro uses a Sagnac effect, and there are a ring laser gyro (RLG) and a fiber optic gyro (FOG).
  • the micro gyro is a miniaturized gyro having a size of several mm or less using semiconductor process technology, and mainly uses the vibrating gyro principle.
  • Geomagnetic sensor 120-4 is a sensor that displays the orientation, such as a compass.
  • the geomagnetic sensor 120-4 is used to provide a direction of a desired region or to implement an augmented reality map showing a map based on a current user's location.
  • the gravity sensor is a sensor that detects the direction of gravity, and is mounted on an electronic device to detect which direction the gravity acts and assists the user's convenience in accordance with the situation.
  • a mobile phone 100 having a gravity sensor function when rotated horizontally, the photographic image is changed in the horizontal direction so that the user is easy to see.
  • IT home appliances such as mobile phones and MP3s
  • vehicle driving recorder black box
  • An optical sensor is a sensor that senses movement or temperature using light.
  • the digital compass is a sensor that detects the direction.
  • the odor sensor is a sensor for detecting odors.
  • the odor sensor utilizes a change generated when an odor molecule adheres to a material.
  • the basic principle is to pattern and apply the signals generated when odor molecules stick to the sensor material.
  • the proximity sensor is a sensor that detects the presence or absence of an object approaching the detection surface of the switch without using a mechanical contact using the force of an electromagnetic field.
  • the first communication module 130 includes a WiFI communication module 130-1 and a Bluetooth communication module 130-2. Additionally, the first communication module 130 may be 2G, 3G, 4G, mobile communication such as Long Term Evolution (LTE), wireless broadband (Wibro), world interoperability for microwave access (Wimax), high speed downlink packet access (HSDPA), or the like.
  • the wireless Internet module may include a short range communication module such as a radio frequency identification (RFID), an infrared data association (IrDA), an ultra wideband (UWB), and a ZigBee.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra wideband
  • ZigBee ZigBee
  • the WiFi communication module 130-1 performs the wireless Internet through the wireless router 300.
  • by using the location information between the wireless routers 300 and the mobile device 100 can determine the exact location of the mobile device (100).
  • the Bluetooth communication module 130-2 performs data communication with the smart watch 200.
  • the Bluetooth communication module 130-2 also measures the distance between the mobile device 100 and the smart watch 200 using the Bluetooth communication signal strength. At this time, when it is within the range of the Bluetooth signal strength within a specific range, it is determined that the mobile device 100 and the smart watch 200 is present in the same position. That is, the same position is a criterion for determining that the user has the mobile device 100, assuming that the user always wears the smart watch 200.
  • the first storage unit 140 stores unlimited data.
  • the first storage unit 140 is accessed by the processor 110, and the data is read, recorded, modified, deleted, and updated by the processor 110.
  • the data stored in the first storage unit 140 may use, for example, raw sensed data detected by the user first sensor module 120 and raw sensed data by the first processor 110. Extracted by using the extracted feature, the first action fingerprint data generated from the extracted feature, the second action fingerprint data received from the smart watch 200 through the first communication module, the spatial location database associated with the first action fingerprint, The spatial location database associated with the two-action fingerprint, the spatial location database associated with the location fingerprint, the behavior fingerprint database corresponding to the location fingerprint, and the behavior fingerprint-location fingerprint-electronic device history database related to the user's behavior Include.
  • the first storage unit 140 includes an operating system, various applications executable on the operating system, image data, additional data, and the like.
  • the first storage unit 140 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (eg, SD or XD memory, etc.).
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • Magnetic At least one type of storage medium may include a memory, a magnetic disk, and an optical disk.
  • the smart watch 200 includes a second processor 210, a second sensor module 220, a second communication module 230, and a second storage unit 240.
  • the smart watch 200 may include additional components, such as a signal processor, a display, and a user input, in addition to the above components.
  • the second processor 210 may include a central processing unit (CPU), a micro processing unit (MPU), application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), and programmable logic devices (PLDs). It is implemented as a control board that includes field programmable gate arrays (FPGAs), micro-controllers, and microprocessors.
  • the second processor 210 controls overall components of the smart watch device 200, for example, the second sensor module 220, the second communication module 230, and the second storage unit 240.
  • various types of information input and detected by the user terminal device 100 may be processed by software or hardware.
  • the second processor 210 may include an operating system (OS) such as, for example, Android version 5.0 (Lollipop).
  • OS operating system
  • the second processor 210 receives the second detection information that detects at least one of the information of the user's state and the surrounding environment in the second sensor module 220 to extract a feature, the behavior fingerprint from the extracted feature It includes an application (program) for generating a.
  • the second sensor module 220 includes a three-axis acceleration sensor 220-1, a microphone 220-2, a gyroscope 220-3, a heart-beat pulse sensor 220-4. , Geomagnetism Sensor, Gravity Sensor, Light Sensor, Digital Compass, Odor Sensor and Proximity Sensor. Of course, the second sensor module 220 may further include other sensors in addition to the above-described sensors.
  • the three-axis acceleration sensor 220-1 detects vertical movement of the device.
  • the 3-axis acceleration sensor 220-1 obtains a motion vector by detecting the number of steps (movement) or the moving direction of the user.
  • the microphone 220-2 measures a sound accompanying a user's action, for example, a sound of water in a shower, a speech of a language study, a conversation of chatter, and the like. This measured acoustic feature is used to estimate the position in user space.
  • the gyroscope 220-3 is an instrument used to measure or maintain a direction based on the conservation of angular momentum. Even if the frame holding the device is inclined according to the momentum of the rapidly rotating wheel, the posture of the fast rotating wheel remains constant regardless of the tilt of the device.
  • the heart rate sensor 220-4 extracts the heart rate by detecting a difference in which the infrared rays radiated toward the blood vessel of the wrist change slightly as the blood vessel pressure changes.
  • the geomagnetic sensor is a sensor that shows a bearing like a compass. Geomagnetic sensors can be used to provide the direction of a desired area or to implement augmented reality maps that show maps based on the current user's location.
  • the gravity sensor is a sensor that detects the direction of gravity, and is mounted on an electronic device to detect which direction the gravity acts and assists the user's convenience in accordance with the situation.
  • the smartwatch 200 having a gravity sensor function, when rotated horizontally, the photographic image is changed in the horizontal direction so that the user is easy to see.
  • An optical sensor is a sensor that senses movement or temperature using light.
  • the digital compass is a sensor that detects the direction.
  • the odor sensor is a sensor for detecting odors.
  • the odor sensor utilizes a change generated when an odor molecule adheres to a material.
  • the basic principle is to pattern and apply the signals generated when odor molecules stick to the sensor material.
  • the proximity sensor is a sensor that detects the presence or absence of an object approaching the detection surface of the switch without using a mechanical contact using the force of an electromagnetic field.
  • the second communication module 230 includes a Bluetooth communication module 230. Additionally, the second communication module 230 may be 2G, 3G, 4G, mobile communication such as Long Term Evolution (LTE), wireless broadband (Wibro), world interoperability for microwave access (Wimax), high speed downlink packet access (HSDPA), or the like.
  • the wireless Internet module may include a short range communication module such as a radio frequency identification (RFID), an infrared data association (IrDA), an ultra wideband (UWB), and a ZigBee.
  • RFID radio frequency identification
  • IrDA infrared data association
  • UWB ultra wideband
  • ZigBee ZigBee
  • the Bluetooth communication module 230 performs data communication with the user terminal 100.
  • the Bluetooth communication module 230 is also used to measure the distance between the user terminal 100 and the smart watch 200 using the Bluetooth communication signal strength. At this time, when it is within the range of the Bluetooth signal strength within a specific range, it is determined that the user terminal device 100 and the smart watch 200 exist in the same position. That is, the same position is a criterion for determining that the user has the mobile device 100 when assuming that the user always wears the smart watch 200.
  • the second storage unit 240 stores unlimited data.
  • the second storage unit 240 is accessed by the processor 210 and read, write, modify, delete, and update data by the processor 210.
  • the data stored in the second storage unit 240 may be, for example, using the raw sensed data detected by the second sensor module 220 and the raw sensed data by the second processor 210. Extracted features, second behavior fingerprint data generated from the extracted features, and the like.
  • the second storage unit 240 includes an operating system, various applications executable on the operating system, additional data, and the like.
  • the second storage unit 240 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.). Random Access Memory (RAM), Random Random Access Memory (SRAM), Read-Only Memory (ROM), Electrically Erasable Programmable Read-Only Memory (EEPROM), Programmable Read-Only Memory (PROM), It may include a storage medium of at least one type of magnetic disk, optical disk.
  • RAM Random Access Memory
  • SRAM Random Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • It may include a storage medium of at least one type of magnetic disk, optical disk.
  • the wireless router (Access Point) 300 is a low-power wireless device that serves as a base station in a wireless LAN (LAN), and serves as a bridge connecting wired and wireless. From the wired network point of view, the router 300 is attached to a router or a switch, and the router or switch is not aware of the wireless station, which depends entirely on the router 300. Therefore, the router 300 serves to extend the wired network to the wireless network.
  • LAN wireless LAN
  • the second sensor module 220 applied to the smart watch 200 will be described with only the 3-axis acceleration sensor 220-1 and the microphone 220-2, but all kinds of sensors can be applied.
  • the smart watch 200 which is a smartphone or wearable device, is always used to recognize a user's behavior.
  • the 3-axis acceleration sensor 220-1 is used to detect physical behaviors such as walking, corridor change, and upstairs, to detect the user's movement after falling, and to monitor the user's behavior level for a diet purpose using a mobile phone.
  • the three-axis acceleration sensor 220-1 is used to track user behavior such as walking steps, sleep amount, and calories burned.
  • the microphone 220-2 is used to monitor the user's behavior.
  • BodyScore uses sound sensors around the neck to analyze sounds to recognize eating, drinking and speaking behaviors.
  • the user terminal device 200 recognizing the behavior-based user location according to an embodiment of the present invention automatically learns and evaluates the location of the user without manual construction.
  • a mobile phone application was used to collect the daily behavior and correspondence locations of two users (A and B) for three weeks.
  • the smartwatch application periodically built the current behavior and location in the house.
  • the user's behavior has a great dependence on the space in which they are located. For example, actions such as “TV watching” and “sitting on the couch” typically occur in the living room. Similarly, eating and drinking meal-related actions take place at the dining table. 3 to 5 show a list of the space in the house, the location of the electronic device and the behavior in the home environment. As shown in the figures, while 10 of User A's 17 actions (59%) and 12 of User B's 17 actions (86%) rely only on a single room, most of the actions are one or more. It happens in the space inside a particular house. This means that one can infer people's position in the home environment by recognizing the user's specific behavior.
  • the 3-axis acceleration sensor 220 of the smart watch 200 recognizes the characteristics of physical behavior by measuring the acceleration force of the wrist. However, wearing the smart watch 200 only on one wrist is not enough to recognize the behavior of the other wrist is not enough to recognize the behavior. For example, wearing the smart watch 200 in the left hand and drinking a drink with the right hand. In addition, some behavior is not identified using only the measurement of the acceleration sensor 220-1. For example, watching TV, reading, and drinking at a table can exhibit very similar characteristics in accelerometer measurements because they are sedentary behavioral attributes. In order to solve this problem, the sound feature of the action or room extracted using the microphone 220-2 of the smart watch 200 was applied together with the movement feature of the acceleration sensor 220-2.
  • the automatic learning method is applied through the use of the smart watch 200 and the mobile phone 100.
  • a user location recognition system (1) through sensor-based behavior recognition that automatically extracts features of user behaviors and learns the correlation between space and behavior in everyday life.
  • FIG. 6 is a block diagram illustrating a functional structure of the user position recognition system 1 through sensor based behavior recognition.
  • the behavior fingerprint generator 400, the position acquisition unit 500, and the HMM based position recognition unit 600 are illustrated in FIG. Include.
  • the behavior fingerprint generation unit 400 preprocesses the raw sensor data to detect the movement of the user from the acceleration sensor input of the smartwatch 200. Then, the behavior fingerprint is extracted from various sensor data, and the extracted feature is transmitted to the mobile phone 100 or the server through the blue pitcher communication module 230.
  • the server is a computer connected through a network to recognize the user's location in each home environment of multiple users, provide appropriate services to the user, and control electronic devices involved in the action.
  • the server can be implemented as a PC, a desktop PC, a notebook PC, and the like, and can be built in each home.
  • the position acquisition unit 500 may be implemented as a mobile phone 100.
  • the mobile phone 100 periodically detects signal strength from nearby WiFi routers and obtains their location based on WiFi fingerprint technology. In addition, the mobile phone 100 calculates the distance using the paired smartwatch 200 to determine whether the user is in the same position.
  • the HMM-based location recognition unit 600 is based on a statistical Markov model (HID), for example, a Hidden Markov Model (HMM), and consists of two parts.
  • the first part is a learning step of an inference model when the mobile phone 100 exists at the same location as the user in the same space. Automatically build sufficient learning samples and update HMM-based inference models.
  • the second part determines the location of the user by using the behavior fingerprint obtained from the smart watch 200.
  • the behavior fingerprint generator 400 includes a preprocessor 410, a first feature extractor 420, a second feature extractor 430, and a clustering unit 440.
  • the preprocessor 410 detects the user's moving state to filter from the actions while the user is moving around (eg, cleaning). In addition, since the long movement of the user indicates the change of the position of the user, it predicts when the user position is updated based on the measurement of the moving distance.
  • the movement state takes three states: stop, move, and unknown (when the user does not wear the smartwatch). Here, the moving distance and the moving state are measured based on the number of steps detected.
  • the step count detection algorithm using the acceleration sensor 220-1 uses a known technique.
  • the number of steps is counted based on the peak detection of the acceleration sensor 220-1 in the smartwatch 200 used to mark the coordinate stepping point. Defining ⁇ Tmin and ⁇ Tmax as the minimum time and the maximum time between successive acceleration peaks, respectively, if more than two peaks are measured within ⁇ Tmin, only one peak is counted as one step, and the other peaks are false positive detection of the step. Discard to prevent.
  • ⁇ Tmin is set to 0.33 because a normal user walks less than 3 steps per second from home. If more than two steps are counted within [Delta] Tmax (e.g., 2 seconds), the moving state is determined as "moving", and if it is not detected during DELTA Tmax, it is determined as "stopping".
  • the smartwatch 200 when there is no change in the measurement during ⁇ Tmax (e.g., when the standard deviation of the measurement is 0.05g or less), the smartwatch 200 is unweared and the movement state is determined as "unknown". The action monitored by the smartwatch 200 begins when the movement state changes from "move” to "stop".
  • the feature extractors 420 and 430 extract behavior features of two types based on two types obtained from the smart watch 200 and motion information and sound information.
  • the movement feature represents the movement of the arm during the action
  • the sound feature represents the sound generated by the action as well as the ambient sound at the position.
  • the motion feature captures motion characteristics of posture and repetitive arm movement through measurements from the acceleration sensor 220-1.
  • a sliding window of about 5 s was used to monitor behavior and measurements were collected at rates above 50 Hz. The window overlaps 50% with the previous sliding window. Once the sliding window is filled with measurements, the following movement features are extracted.
  • Mean and standard deviation vector The three-dimensional mean and standard deviation vector are calculated from the acceleration signal in a window (5-s window containing 512 frames). As the N acceleration measurement sample, the mean and standard deviation vectors are represented by the following equations [1] and [2].
  • Tilt angle is defined as the angle between the positive z-axis and the gravity vector g.
  • the inclination angle is used for distinguishing among arbitrary postures, and is calculated by the following equation [3].
  • Energy To capture short time energy shifts, energy characteristics are calculated. Energy is the sum of the discrete Fast Fourier Transform (FFT) component size contributions of the signal. This sum is divided by the window length for normalization. The energy is calculated by the following equation [4].
  • FFT discrete Fast Fourier Transform
  • Xi is the FFT component in the sliding window.
  • Correlation vector The vector constituting the correlation between each pair of axes is expressed by the following equation [5].
  • PSD Power spectral density
  • Behavioral Score Calculates the behavioral level of the user by monitoring how often the arm was used over a period of time (eg, the last 10 minutes). The behavioral level indicates whether the user is in a stationary state of sitting or sleeping or in a dynamic state involving complex movement (cooking). Behavioral scores are a key feature for distinguishing sleep behavior from other behaviors as shown in FIG.
  • the action score (AS) is calculated by the following equation [6].
  • Sound recognition is performed using a microphone built into the smartwatch 200.
  • the sound of the action or inherent ambient sound in space eg, electronic device noise
  • the microphone 220-2 of the smartwatch 200 was used to record the sound when the user was at a standstill for three seconds every 180 seconds.
  • root mean square (RMS) and mel-frequency Cepstral coefficients (MFCCs) which are usually used for speech signal processing, were extracted as sound features.
  • MFCC mel-frequency Cepstral coefficients
  • “mel” is the basic unit of measurement based on human audible frequency.
  • MFCC is based on a linear cosine transform of the logarithmic scale power spectrum on a mel-frequency filter bank. Here a 25-mel filter bank was used and the first 12 coefficients were calculated for the sound characteristics.
  • the clustering unit 440 generates a behavior fingerprint based on the extracted motion and sound features using a clustering algorithm.
  • annotations are automatically generated on the learning data without user participation.
  • the extracted feature vectors are clustered to categorize sensory data according to human behavior.
  • the dimension of the vector is reduced by using linear discriminant analysis (LDA) dimension reduction.
  • LDA linear discriminant analysis
  • the K-means clustering algorithm categorizes feature vectors based on similarity without manual labeling.
  • the vectors are divided into an exclusive population of k, and the k seed vector is initially selected from the features.
  • the clustering result of the feature vectors is defined as a behavior fingerprint.
  • An important point of the K-means clustering algorithm is that the result depends on the K value known as a priori.
  • the K value determined by the home environment is determined empirically.
  • the location acquisition unit 500 is a location fingerprint generator 510 using a Wi-Fi-based positioning system (WPS) and a smart watch 200 and a mobile phone 100 using Bluetooth communication. It includes a distance measuring unit 520 for measuring the distance of.
  • WPS Wi-Fi-based positioning system
  • WiFi-based positioning systems are widely used because they provide the exact location of the mobile device (eg at the room level) without additional infrastructure. However, although it is possible to employ a WiFi-based positioning system in wearable devices such as the smartwatch 200, it is not appropriate because of limited battery capacity and small form. It is assumed that each user has a personal mobile phone 100 by default and uses WPS to get the user's location. If the user stays in a certain space of the home, the mobile phone 100 measures the RSS from the surrounding WiFi routers. Next, if S (f t , f a ) ⁇ , it is determined that it is located at place a at time t.
  • the similar function S ( ⁇ ) is based on the Tamimoto coefficient
  • f t is an RSS vector measured at time t by a mobile phone
  • f a is a WiFi fingerprint trained at place a
  • p is the given threshold.
  • the mobile phone 100 collects RSS vectors periodically (eg every 5 minutes) to obtain room information.
  • the distance measuring unit 520 uses the signal strength of the Bluetooth communication between the mobile phone 100 and the smart watch 200.
  • 9 is a diagram illustrating the signal strength and distance of Bluetooth communication in a house space.
  • the transmission range of the Bluetooth signal is 10-20 meters shorter than WiFi.
  • the ratio of Bluetooth signal and distance is higher than WiFi signal.
  • the HMM-based position recognition unit 600 includes two stages, a training stage and an evaluation stage.
  • the training phase the relationship between the behavior and the space in the house is trained when the user is in the same location as the mobile phone 100.
  • the user location is inferred by an evaluation step using behavior fingerprints.
  • a training process for linking the space in the house and the behavior fingerprint is required. While conventional machine learning and recognition systems passively build the type of behavior they did during training, in the embodiment of the present invention, passive construction is not necessary during training because it is focused on the user's location rather than the type of behavior.
  • the evaluation position obtained from the WPS is used to generate a training sample of the inference model.
  • the HMM based position recognition unit 600 applies a hidden Markov model (HMM) to model the user's movement in the home.
  • HMM is a general probabilistic model with hidden state x and observation y.
  • State x emits an observation with a conditional probability distribution known as emission probability ⁇ .
  • the movement between hidden states is governed by a set of probabilities called the probability of movement ⁇ .
  • 10 is a graphical representation illustrating a positioning method based on a behavior fingerprint.
  • the main goal of the HMM is to determine the hidden state sequence (x1, x2, ..., xt) corresponding to the observation sequence (y1, y2, ..., yt).
  • the present invention evaluates a set of room locations previously visited by the user with the sequence of observed behavioral fingerprints. To construct the HMM, both the movement and emission probability distributions are evaluated with training samples.
  • the probability of movement represents the probability of moving from state x i to state x j , which is expressed as ⁇ ij .
  • ⁇ ij a historically-observed movement is used through the aforementioned WPS.
  • the probability of moving ⁇ ij from room position r i to r j is calculated by the following equation [7].
  • T (i, j) is the total number of moves from x i to x j in the training sample, and N is the number of rooms.
  • Emission probability ⁇ ij for the given position r i and the corresponding behavior fingerprint af j is determined by the behavior fingerprint af j The probability observed from the user in room i .
  • the emission probability ⁇ ij is calculated by the following equation [8].
  • E (i, a k ) is the total number for emitting af k in state x i and M is the number of clusters of feature vectors.
  • the user Upon completion of the construction of the training set DB 620 by HMM training based on the above-described emission probability of the observation unit 610 and the movement probability of the state unit 620, the user is in the same position as the mobile phone 200.
  • the Viterbi demodulator 650 When detecting the user position is obtained by the Viterbi demodulator 650 in the evaluation step.
  • Viterbi decoding is used to evaluate the most likely hidden states in the HMM from the observed behavioral fingerprint.
  • Viterbi demodulation is a dynamic programming based algorithm for selecting the best state sequence that maximizes the probability of state sequence from a given observed sequence. Given a HMM model with state space X and initial probability ⁇ , the probability of the most probable state x k at time t is calculated by the ignition equation
  • ⁇ uk is the probability of movement from state x u to state x k
  • ⁇ kt is the emission probability ⁇ f t of the behavior fingerprint observed at time t at room position r k .
  • the smart watch 200 includes various sensors such as a 3-axis acceleration sensor 220-1, a microphone 220-2, a gyroscope 220-3, a camera, and a Bluetooth module 230.
  • the smartphone 100 periodically (eg, uses WiFi fingerprint technology) to infer the user's location while the smartwatch 200 continuously monitors through its various sensors to collect a behavioral fingerprint. Every 5 minutes).
  • four users were monitored for 3-5 weeks in the home environment (Home A, Home B) as shown in FIGS. 11 and 12.
  • a smart request message can be given to the user when the state changes from moving to stationary or when duty cycle time (eg 15 minutes) ends. They were to record their location on the watch and their current behavior.
  • FIG. 13 shows a state of tracking a user's actual behavior, location, movement characteristics and sound characteristics in a home.
  • the motion and sound features are visually represented by normalizing each component in the 0-1 range.
  • the user performs various actions while moving from room to room, and unique features of each action have been observed. Some behaviors, such as using a laptop, did not show clear differences from other behaviors in sound characteristics. If you are taking a shower, the movement feature is not useful because you are not wearing your smartwatch, while the sound feature helps you detect the sound of water. As a result, using both motion and sound features simultaneously is more effective than using a single feature.
  • 14 to 17 show the correlation coefficient results of four users A, B, C, and D. Higher values of the correlation coefficients indicate that behavior always occurs at the corresponding location. Home behavior is always associated with some space. However, the location corresponding to the behavior of user A or C is different from user B or D even if they live together. Also, some behaviors are not explicitly dependent on one location. For example, user A often uses a laptop in either room C or living room, while user B's use of PC / laptop is entirely dependent on room A. The housewife (users A and C) roams almost every room in the house, including the kitchen, living room, and even shared spaces such as other private rooms for cleaning, while the other users (B, C) always have their own living room and I only wander around a few rooms like the toilet. As a result, user positioning based on behavior monitoring should be trained and tested in a personal way.
  • the user position recognition system is first selected by using the HMM inference model constructed with the ground position information after selecting the parameter (input k of the clustering algorithm) of the user position recognition system 1 of the present invention.
  • the performance of (1) is evaluated.
  • Fig. 19 shows the accuracy of the motion feature and the sound feature alone or in combination and the prediction accuracy of the recall.
  • the accuracy of using only a single feature is 87% for the motion feature and 76% for the sound feature. However, when both motion and sound features are used together, accuracy and recall are more than 90%.
  • the precision and recall were all over 90% except for the toilet and the kitchen, and the precision of the toilet and the kitchen was 83.9% and 85.0%, respectively.
  • the behavior-based user location recognition system 1 of the present invention automatically labels the location of the behavior fingerprint using WiFi fingerprint technology without manual construction.
  • the user collected three RSS measurements in each room to build a wireless database, and then evaluated the RSS measurements collected during the experiment and the user's location.
  • 21 (a) shows the similarity of the normalized RSS vector collected in the home A.
  • FIG. In most cases, RSS measurements in one room are distinguished from measurements in another room.
  • 21 (b) shows the accuracy of the WiFi-based positioning system according to the room location. WiFi-based positioning systems are estimated at 91% in Home A and 88% in Home B.
  • FIG. 22 is a graph showing a relationship between training duration and prediction accuracy according to an individual. With training samples collected over 5 days, the user's location was accurately inferred. In particular, for users B and D, training samples collected for only two days fully learned their home behavior and correspondence locations with 80% accuracy or more at home. This result is because users B and D were students with very simple behavior and movement patterns in their rooms, as shown in FIGS. 15 and 17.
  • the support vector machine (SVM) method which is widely used for behavior recognition and audio classification.
  • SVM support vector machine
  • v t is the feature vector extracted from the smartwatch 200 at time t
  • r t is the labeling for the room location at time t.
  • the user position recognition system 1 uses two SVM-based classifiers for the motion and sound features because there are two kinds of feature vectors. Each separator independently classifies feature vectors and user location. However, feature vectors from complex sensors are generated with different duty cycles due to power consumption issues.
  • the location evaluation that maximizes the possibility of combining two classifiers is performed by the following equation [11].
  • C k and C a are the SVM classifiers for the motion and sound features, respectively.
  • FIG. 23 is a graph comparing the performance of the embodiment of the present invention and the SVM-based classification. As shown in FIG. 23, an embodiment of the present invention is superior to an SVM-based classification scheme regardless of which sensor is selected. In SVM-based classification, using a single motion feature is superior to using a single sound feature because sound features incorporate ambient noise or other sounds generated by external environmental factors.
  • Sensors other than acceleration sensors and microphones can be used to identify similar behavior, such as magnetic field sensors that detect directional features.
  • 24 is a graph showing the direction characteristic from the magnetic field sensor to distinguish the same behavior in different spaces. As shown in Figure 24, the action sitting on the toilet, sitting on the kitchen chair, sitting on the living room sofa is not easily distinguished from each other because of the similar movement characteristics from the acceleration sensor. In addition, some behaviors (sleeping user B and using laptops) occur in multiple spaces. In this case, by combining directional features with the magnetic field sensor, similar behavior at different locations can be easily identified.
  • the present invention may apply not only the magnetic field sensor described above but also a heart rate sensor, a gyroscope, a gravity sensor, an optical sensor, a digital compass, an odor sensor, a proximity sensor, or the like, and other types of sensors not mentioned may be used.
  • an embodiment of the present invention basically detects information on a user's state and surrounding environment of a smart watch 200, which is a wearable device, and uses location information using WiFi and Bluetooth in the smartphone 100 that is a mobile phone. It was described as obtaining.
  • the smartphone 100 acquires a second behavioral fingerprint by using sensors that detect information about the user's state and the surrounding environment in consideration of more sufficient battery capacity, size, and data processing capacity, thereby obtaining an HMM-based user location. The accuracy of the recognition can be improved.
  • the HMM-based user location recognition may be performed by the smartphone 100, or may be performed by the server after the smartphone 100 acquires only the location information and the behavioral feature information and transmits it to the server.
  • At least one of user state and surrounding environment information is detected using a sensor of the smart watch 200.
  • step S120 the behavioral feature is extracted based on the sensed information.
  • a behavior fingerprint is generated based on the extracted feature.
  • step S140 the smart phone 100 finds the location of the smart phone 100 using WiFi communication, and measures the distance between the smart watch 200 and the smart phone 100 using the Bluetooth communication. It is determined whether the phone 100 is in the same position.
  • step S150 if the user is in the same position as the smartphone 100, the position of the smartphone 100 using WiFi communication is determined as the user position.
  • the fingerprint corresponding to the feature acted by the user at the user position determined in operation S150 is stored in association with the user position.
  • This associated data can be used as a training database of location and behavior fingerprints.
  • the user location is recognized using the HMM based on the behavior fingerprint sent from the smart watch 200.
  • FIG. 26 is a flowchart illustrating a user location recognition method through sensor-based behavior recognition according to another embodiment of the present invention.
  • At least one of user state and surrounding environment information is sensed by using a sensor of the smart watch 200.
  • step S220 the behavioral feature is extracted based on the sensed information.
  • a behavior fingerprint is generated based on the extracted feature.
  • the second information including at least one of user state and surrounding environment information is sensed using a sensor of the smartphone 100.
  • step S250 a second behavioral feature is extracted based on the detected second information.
  • a second behavior fingerprint is generated based on the extracted feature.
  • the smartphone 100 determines the location of the smartphone 100 using WiFi communication, and measures the distance between the smartwatch 200 and the smartphone 100 using Bluetooth communication. It is determined whether the smartphone 100 is in the same position.
  • step S280 if the user is in the same position as the smartphone 100, the location of the smartphone 100 using the WiFi communication is determined as the user location.
  • the fingerprint corresponding to the feature acted by the user at the user position determined in operation S280 is stored in association with the user position.
  • the associated data may be used for user location recognition using a location and behavior fingerprint, that is, user location using HMM based on the behavior fingerprint.
  • the user location using the HMM is determined based on the first behavior fingerprint sent from the smart watch 200 and the second behavior fingerprint of the smartphone 100. Recognize.
  • Operations in accordance with an embodiment of the present invention may be implemented by a single or multiple processors.
  • program instructions for performing various computer-implemented operations may be recorded on a computer-readable medium.
  • the computer-determinable medium may include program instructions, data files, data structures, and the like, alone or in combination.
  • the program instructions may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those skilled in the art.
  • Examples of computer readable recording media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROMs or DVDs, magnetic-optical media such as floppy disks and ROMs.
  • Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like.
  • the user terminal of the present invention may be applied to a smart watch or a smart phone to detect a user's position in the user space and control an object.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Telephonic Communication Services (AREA)

Abstract

센서 기반 행동 인식을 이용하여 사용자위치를 인식하는 시스템이 개시된다. 사용자위치 인식시스템은 사용자의 상태 및 주변환경 중 적어도 하나에 대한 정보를 감지하는 센서모듈과, 감지정보를 기초로 행동정보를 추출하는 제1프로세서와, 추출된 행동정보를 전송하는 제1통신모듈을 구비한 모바일장치와, 제1통신모듈로부터 상기 행동정보를 수신하는 제2통신모듈과, 수신한 행동정보를 기초로 사용자 행동에 해당하는 사용자 공간에서의 사용자위치를 결정하는 제2프로세서를 구비하는 사용자단말장치를 포함한다. 사용자의 행동에 수반된 사용자 공간에서의 위치를 알아내어 사용자 행동에 수반되는 전자기기를 제어하거나 노약자나 어린이의 행동을 감시할 수 있는 서비스를 제공한다.

Description

센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법
본 발명은 사용자 공간에서의 사용자위치를 알아내는 사용자단말장치 및 방법에 관한 것이다.
정보 통신 기술의 발달 및 사물인터넷의 확산으로 웨어러블 기기에 대한 관심이 높아지고 있다. 웨어러블 기기란 사용자의 신체에 착용 가능한 컴퓨팅 장치로서, 다양한 센서를 내장하고 있다. 다양한 센서의 데이터를 컴퓨팅하여 웨어러블 기기를 통해 사용자가 어떠한 상황에 놓여있는지를 파악함으로써 사물인터넷 기반의 다양한 서비스를 제공할 수 있으므로, 웨어러블 기기를 사용자 상황 인지를 위해 어떻게 사용할 것인가에 대한 연구가 활발히 진행되고 있다. 최근 연구 목적이 아닌 상용 제품으로서 다양한 종류의 웨어러블 기기가 출시되고 있다.
사용자의 행동 정보나 위치 정보를 파악하기 위한 종래의 기술은 사용하는 센서에 따라 나눌 수 있으며, 사용하는 센서 또한 센서의 위치에 따라 두 가지로 나뉜다. 첫 번째 방식으로 센서를 공간에 설치하는 기반 시설에 의존하는 센서 사용 방법이다. 넓은 공간에 값싼 센서인 수동형 적외선 침입 감지 센서 혹은 초음파 센서를 설치하거나, 카메라로 녹화하여 데이터를 수집하기도 하며, 무선신호 송수신기를 사용한 단층 촬영을 한다. 이 방식에서는 센서가 직접 설치된 장소에 한에서만 사용자의 위치 파악이 가능하다. 두 번째 방식으로 센서가 장착된 기기를 사용자가 소지하는 방법이다. 이 방식에서는 사용자가 센서를 몸에 부착하거나 스마트폰을 몸에 소지, 혹은 웨어러블 기기를 착용하며, 센서가 사용자 근처에 있는 상황을 가정한다. 가속도나 회전각속도를 측정하는 관성 센서를 주로 사용하며, RFID 신호를 읽는 모듈이나 Wi-Fi 신호를 수집하는 네트워크 모듈 등을 사용하기도 한다. 가령 RFID 태그를 사용하거나 스마트폰의 W-Fi 모듈을 이용한다.
그러나 위에서 서술된 종래의 기술들은 다음과 같은 문제점을 갖는다. 첫째, 기반 시설에 센서를 설치하는 방식은 집안 곳곳에 필요한 센서들이 장착되어 있어야 하기 때문에 비용과 설치에 관련된 실용적인 문제가 있다. 사물인터넷이 보급되어 스마트홈이라는 개념이 도입되었지만, 아직 집안 구석구석 초음파 센서나 카메라를 설치할 수 있는 단계에는 이르지 못했으며, 가능하다고 가정을 하더라도 추가적인 비용이 발생할 소지가 있다. 둘째로, 스마트폰을 이용하는 방식은 현재 널리 이용되고 있으나, 사용자가 가정 내에 있을 때에는 사용에 제약이 있다. 가령 가정 내에서는 사용자가 스마트폰을 충전하거나 소지하고 있지 않아 사용자로부터 움직임 정보를 직접 획득하지 못할 수도 있다. 마지막으로 종래의 기술로 웨어러블 기기를 이용한 위치 파악 방법은 주기적인 Wi-Fi 신호 수집으로 인해 전력 소모가 심하다는 문제가 있다. 웨어러블 기기는 배터리 용량이 상대적으로 작기 때문에 Wi-Fi 신호를 수집하여 사용자의 위치를 파악하는데 적합하지 않다. 또한, 웨어러블 기기는 크기의 제한으로 하드웨어 및 소프트웨어적으로 충분한 능력을 발휘할 수 없다.
본 발명의 목적은 종래 기술의 문제점들을 해결하기 위해 웨어러블 기기에 내장된 센서 정보를 사용하여 사용자의 위치를 파악하는 사용자단말장치 및 방법을 제공하는 것이다.
본 발명의 다른 목적은 다수의 센서들을 설치하는 기반 시설 없이 가옥 내의 사용자위치를 인식할 수 있는 사용자단말장치 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 가옥 내에서 사용자가 스마트폰을 항상 소지하지 않더라도 사용자의 위치를 인식할 수 있는 사용자단말장치 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 스마트폰이 사용자의 근처에 있는지를 파악하고, 근처에 있을 경우 스마트폰의 위치 정보를 보조적인 수단으로서 사용하여 가옥 내 사용자위치를 인식할 수 있는 사용자단말장치 및 방법을 제공하는 것이다.
본 발명의 또 다른 목적은 저렴한 비용으로 가옥 내의 사용자위치 인식을 위한 학습 모델을 구축할 수 있는 사용자단말장치 및 방법을 제공하는 것이다.
상술한 본 발명의 해결과제를 달성하기 위한 센서 기반 행동 인식을 이용하여 사용자위치를 인식하는 사용자단말장치는, 사용자의 상태 및 주변환경 중 적어도 하나에 대한 정보를 감지하고 상기 감지정보를 기초로 행동정보를 추출하는 모바일장치로부터 상기 행동정보를 수신하는 통신모듈과; 상기 수신된 행동정보를 기초로 사용자 행동에 해당하는 사용자 공간에서의 사용자위치를 결정하는 프로세서를 포함하는 것을 특징으로 한다.
상기 모바일장치는 웨어러블기기 및 모바일폰 중 적어도 하나를 포함할 수 있다.
상기 사용자단말장치는 모바일폰, 노트북 PC, 태블릿 PC, PDA, 데스크탑PC 및 서버 중 적어도 하나를 포함할 수 있다.
상기 모바일장치는 가속도센서, 마이크로폰, 심박센서, 자이로스코프, 지자기센서, 중력센서, 광센서, 디지털나침반, 냄새센서 및 근접센서 중 적어도 하나로 구성된 제1센서모듈을 포함할 수 있다.
상기 사용자단말장치는 가속도센서, 마이크로폰, 자이로스코프, 지자기센서, 중력센서, 광센서, 디지털나침반, 냄새센서 및 근접센서 중 적어도 하나로 구성된 제2센서모듈을 포함할 수 있다.
상기 모바일장치는 상기 제1센서모듈에 의해 감지된 제1감지정보를 기초로 제1행동정보를 추출하고, 상기 프로세서는 상기 제2센서모듈에 의해 감지된 제2감지정보를 기초로 제2행동정보를 추출하고, 상기 제1행동정보와 상기 제2행동정보를 기초로 사용자위치를 결정할 수 있다.
상기 통신모듈은 블루투수 통신모듈을 포함하며, 상기 프로세서는 상기 모바일장치와의 블루투스 통신 신호세기를 기초로 상기 모바일장치와 상기 사용자단말장치의 거리를 측정할 수 있다.
상기 통신모듈은 와이파이 통신모듈을 포함하며, 상기 프로세서는 상기 모바일장치와 상기 사용자단말장치의 거리가 소정의 범위 내에 있을 때 사용자와 상기 사용자단말장치가 동일한 위치에 있다고 판단하고, 와이파이 기반 위치추적 시스템(WPS)을 통하여 획득한 사용자단말기의 위치를 사용자위치로 결정할 수 있다.
상기 행동정보는 상기 제1센서모듈로부터 획득한 로우(raw) 감지데이터를 기초로 생성한 행동 핑거프린트(activity fingerprint)를 포함할 수 있다.
상기 행동 핑거프린트는 로우(raw) 감지데이터로부터 추출된 특징을 기초로 군집화(clustering) 알고리즘에 의해 생성될 수 있다.
상기 프로세서는 상기 행동 핑거프린트(activity fingerprint)를 기초로 통계적 모델(Statistics Markov Model)을 이용하여 사용자위치를 결정할 수 있다.
상기 사용자단말장치는 상기 프로세서는 상기 사용자위치에 해당하는 행동 핑거프린트를 사용자위치와 연계시켜 저장하는 저장부를 더 포함할 수 있다.
상기 사용자단말장치는 상기 행동정보에 해당하는 사용자행동을 행동시간과 연계시킨 사용자 행동이력데이터를 저장하는 저장부를 더 포함할 수 있다.
상기 프로세서는 상기 사용자위치에 배치된 전자기기를 제어할 수 있다.
본 발명의 실시예에 따른 센서 기반 행동 인식을 이용하여 사용자위치를 인식하는 시스템은 사용자의 상태 및 주변환경 중 적어도 하나에 대한 정보를 감지하는 센서모듈과, 상기 감지정보를 기초로 행동정보를 추출하는 제1프로세서와, 상기 추출된 행동정보를 전송하는 제1통신모듈을 구비한 모바일장치와; 상기 제1통신모듈로부터 상기 행동정보를 수신하는 제2통신모듈과, 상기 수신한 행동정보를 기초로 사용자 행동에 해당하는 사용자 공간에서의 사용자위치를 결정하는 제2프로세서를 구비하는 사용자단말장치를 포함하는 것을 특징으로 한다.
본 발명의 다른 실시예에 따른 센서 기반 행동 인식을 이용하여 사용자위치를 인식하는 시스템은 사용자의 상태 및 주변환경 중 적어도 하나에 대한 정보를 감지하는 센서모듈과, 상기 감지정보를 기초로 행동정보를 추출하는 제1프로세서와, 상기 추출된 행동정보를 전송하는 제1통신모듈을 구비한 제1모바일장치와; 와이파이 통신과 블루투스 통신을 수행하는 제2통신모듈과, 상기 와이파이 통신을 통해 자신의 위치정보를 획득하고 상기 불루투수 통신을 통해 상기 제1모바일장치와의 거리정보를 획득하는 제2프로세서를 구비한 제2모바일장치와; 상기 제1통신모듈로부터 상기 행동정보를 수신하고 상기 제2통신모듈로부터 상기 위치정보와 상기 거리정보를 수신하는 제3통신모듈과, 상기 거리정보를 기초로 상기 제1모바일장치와 상기 제2모바일장치가 소정 거리 내에 있을 때에 상기 위치정보를 사용자위치로 결정하고, 상기 제1모바일장치와 상기 제2모바일장치가 소정 거리를 벗어났을 때 상기 수신한 행동정보를 기초로 사용자 행동에 해당하는 사용자 공간에서의 사용자위치를 결정하는 제3프로세서를 구비하는 사용자단말장치를 포함하는 것을 특징으로 하는 한다.
본 발명의 실시예에 따른 센서 기반 행동 인식을 이용한 사용자위치 인식방법은 모바일장치가 사용자의 상태 및 주변환경 중 적어도 하나에 대한 정보를 감지하는 단계와; 상기 감지정보를 기초로 행동정보를 추출하는 단계와; 상기 행동정보를 사용자단말장치로 전송하는 단계와; 상기 수신된 행동정보를 기초로 상기 행동정보에 해당하는 사용자 공간에서의 사용자위치를 결정하는 단계를 포함하는 것을 특징으로 한다.
상기 사용자위치 인식방법은 상기 모바일장치와 상기 사용자단말장치 사이의 블루투스 통신을 이용하여 사용자가 상기 사용자단말장치와 동일한 위치에 있는지를 판단하는 단계와; 사용자가 상기 사용자단말장치와 동일한 위치에 있을 경우 상기 사용자단말장치의 와이파이 통신을 이용하여 상기 사용자단말장치의 위치를 사용자 공간에서의 사용자위치로 결정하는 단계를 더 포함할 수 있다.
상기 사용자위치 인식방법은 상기 사용자단말장치가 사용자의 상태 및 사용자의 주변환경 중 적어도 하나에 대한 제2정보를 감지하는 단계와; 상기 사용자단말장치가 상기 제2정보를 기초로 제2행동정보를 추출하는 단계와; 상기 제1행동정보와 상기 제2행동정보를 기초로 사용자 행동에 해당하는 사용자 공간에서의 사용자위치를 결정하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 기록매체는 상기 행동정보를 기초로 상기 사용자행동에 해당하는 상기 사용자 공간에서의 상기 사용자위치를 결정하는 프로그램을 기록할 수 있다.
사물인터넷이 적용된 스마트홈 환경에서는 사용자의 위치 혹은 행동 정보를 사용자의 편리를 위한 서비스에 접목시킬 수 있다. 특히, 사용자의 행동 정보를 바탕으로 위치를 파악하기 때문에 사용자가 어느 방에서 어떠한 행동을 하는지에 대한 상황 인식을 수행할 수 있다. 사용자의 상황 인식을 통해 가정 내 사용자의 생활 습관을 분석할 수 있으며, 사용자에게 상황 별 맞춤형 서비스를 제공할 수 있게 된다.
스마트워치를 통해 사용자가 가정 내 언제, 어디서, 무엇을 했는지를 파악할 수 있다는 점은 사용자가 어떻게 지내는지 생활 패턴을 알 수 있다는 점과 직결된다. 본 발명에서 판단 가능한 행동은 TV 시청, 책 읽기, 잠자기, PC 사용 등 가정 내에서 수행하는 일반적인 활동과, 청소하기, 샤워, 요리, 식사, 설거지, 머리 말리기, 빨래 널기 등 가정 내에서 수행하는 위생 활동, 그리고 수다, 커피 만들기 및 마시기 등 타과의인 상호 작용을 포함하는 행동을 다루고 있다. 이와 같은 행동이 어느 방에서 일어나는지 파악한다는 점에서 사용자의 상황을 자세히 파악할 수 있다.
사용자로부터 각 행동이 언제 어디서 일어났는지 정보를 습득할 수 있으므로, 사용자의 생활 패턴을 분석할 수 있다. 가령 평소 몇 시에 일어나는지, 시간대별로 집에서 주로 하는 행동이 무엇인지 등 사용자가 아침에 눈을 떠서 밤에 잘 때까지의 생활 패턴을 파악할 수 있다. 따라서, 충분한 기간에 걸쳐 데이터가 수집된다면, 사용자가 다음에 어떤 행동을 할지 예측할 수 있을 것이다. 사용자의 행동 예측을 통해 필요한 서비스를 제공함으로써 사용자에게 편리함을 줄 수 있다.
사용자의 행동 예측을 통해 연속적인 서비스를 제공할 수 있다. 가령 스마트워치를 착용한 사용자를 아침이 되면 팔목의 진동을 통해 깨워주며, 사용자가 있는 방의 전등을 켜 줄 것이다. 늦잠을 자지 않도록 화장실에 갈 때까지 주기적으로 깨울 것이다. 사용자가 세면, 머리 말리기를 하는 동안, 사물 인터넷이 내장된 커피 포트기는 사용자를 위한 모닝 커피를 준비할 것이다. 씻고 아침 식사가 끝나면 TV를 자동으로 켜서 아침 뉴스를 보여줄 것이다.
본 발명은 노인이나 장애인, 치매 환자처럼 가정 내에서 일상생활동작(Activities of Daily Living)을 주기적으로 점검해야 하는 상황에 매우 적합하게 적용될 수 있다. 보호자 없이 독립하여 생활할 수 있는지 여부를 판단하는 분야에서는 식사, 샤워, 이동 등 어떤 행동을 하는가를 통해 자립성을 판단한다. 본 발명에서는 사용자가 어떤 행동을 어디서 하는지 파악할 수 있기 때문에, 기반 시설 및 영상 촬영 없이 원격 모니터링을 진행할 수 있다. 또한, 사용자에게서 수집하는 정보는 사생활을 침해하지 않으므로 종래의 기술보다 실용화하기 쉬운 장점이 있다. 예를 들어, 스마트워치에서는 영상 정보를 전혀 수집하지 않고, 소리 복원이 불가능한 방법으로 가공하여 특징을 분석하므로 사생활을 침해하지 않으며 동작한다.
도 1은 본 발명의 실시예에 따른 행동기반 위치인식 시스템의 시나리오를 나타내는 모식도,
도 2는 본 발명의 실시예에 따른 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치의 블록도,
도 3은 가옥 내 공간별 전자기기 관계를 나타낸 표,
도 4 및 5는 각각 사용자 별 공간과 행동 관계를 나타낸 표,
도 6은 본 발명의 실시예에 따른 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 과정을 나타내는 모식도,
도 7은 가정 내 행동에 따른 행동 스코어를 나타내는 도,
도 8은 본 발명의 실시예에 따른 행동 핑거프린트 생성과정을 나타내는 모식도,
도 9는 블루투스 통신 신호 세기와 거리의 관계를 나타내는 그래프,
도 10은 사용자위치 인식을 추정하는 HMM를 나타내는 모식도,
도 11은 가옥의 공간 및 전자기기 배치구조의 한 예를 나타내는 도,
도 12는 가옥의 공간 및 전자기기 배치구조의 다른 예를 나타내는 도,
도 13은 가옥에서의 일상 행동 추적을 나타내는 도,
도 14 내지 17은 사용자 별 행동과 공간의 관계를 나타내는 도,
도 18은 클러스터 k에 따른 예측 정확도를 나타내는 그래프,
도 19는 추출특징 종류에 따른 정확도를 나타내는 그래프,
도 20은 가옥의 공간별 예측 정확도를 나타내는 표,
도 21은 WiFi기반 위치결정 시스템에 따른 사용위치결정을 설명하기 위한 도,
도 22는 학습기간 별 정확도를 나타내는 그래프,
도 23은 본 발명의 실시예에 따른 추출 특징별 예측 정확도를 나타내는 그래프,
도 24는 다른 공간에 같은 행에 따른 차이를 나타내는 그래프,
도 25는 본 발명의 실시예에 따른 사용자위치 인식방법을 나타내는 순서도, 및
도 26은 본 발명의 다른 실시예에 따른 사용자위치 인식방법을 나타내는 순서도이다.
이하, 본 발명의 일 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나 이는 본 발명의 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시예의 다양한 변경 (modification), 균등물 (equivalent), 및/또는 대체물 (alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
본 명세서에서, “가진다,” “가질 수 있다,”“포함한다,” 또는 “포함할 수 있다.” 등의 표현은 해당 특징 (예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
본 명세서에서, “A 또는 B,”“A 또는/및 B 중 적어도 하나,”또는 “A 또는/및 B 중 하나 또는 그 이상”등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. 예를 들면, “A 또는 B,” “ A 및 B 중 적어도 하나,”또는 “ A 또는 B 중 적어도 하나”는, (1) 적어도 하나의 A를 포함, (2) 적어도 하나의 B를 포함, 또는 (3) 적어도 하나의 A 및 적어도 하나의 B 모두를 포함하는 경우를 모두 지칭할 수 있다.
본 명세서에서 “제 1,”“제 2,”“첫째,”또는“둘째,”등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 해당 구성요소들을 한정하지 않는다. 이러한 표현들은 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 수 있다. 예를 들면, 제1 사용자 기기와 제2 사용자 기기는, 순서 또는 중요도와 무관하게, 서로 다른 사용자 기기를 나타낼 수 있다. 예를 들면, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제 2 구성요소도 제1 구성요소로 바꾸어 명명될 수 있다.
어떤 구성요소 (예: 제1 구성요소)가 다른 구성요소 (예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어 ((operatively or communicatively) coupled with/to)" 있다거나 "접속되어 (connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소 (예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소 (예: 제1 구성요소)가 다른 구성요소 (예: 제2 구성요소)에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 어떤 구성요소와 다른 구성요소 사이에 다른 구성요소 (예: 제3 구성요소)가 존재하지 않은 것으로 이해될 수 있다.
본 명세서에서 사용된 표현 “~하도록 구성된 (또는 설정된)(configured to)”은 상황에 따라, 예를 들면, “~에 적합한 (suitable for),” “~하는 능력을 가지는 (having the capacity to),” “~하도록 설계된 (designed to),” “~하도록 변경된 (adapted to),” “~하도록 만들어진 (made to),”또는 “~를 할 수 있는 (capable of)”과 바꾸어 사용될 수 있다. 용어 “~하도록 구성 (또는 설정)된”은 하드웨어적으로 “특별히 설계된 (specifically designed to)”것만을 반드시 의미하지 않을 수 있다. 대신, 어떤 상황에서는, “~하도록 구성된 장치”라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 “~할 수 있는” 것을 의미할 수 있다. 예를 들면, 문구 “A, B, 및 C를 수행하도록 구성 (또는 설정)된 프로세서”는 해당 동작을 수행하기 위한 전용 프로세서 (예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서 (generic-purpose processor)(예: CPU 또는 application processor)를 의미할 수 있다.
본 명세서에서 사용된 용어들은 단지 특정 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 개시의 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 일반적으로 사용되는 사전에 정의된 용어들은 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미가 있는 것으로 해석될 수 있으며, 본 명세서에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 명세서에서 정의된 용어일지라도 본 개시의 실시 예들을 배제하도록 해석될 수 없다.
도 1은 본 발명의 실시예에 따른 행동기반 위치인식 시스템(1)의 시나리오를 나타내는 모식도이다.
도 1을 참조하면, 행동기반 위치인식 시스템(1)은 추가적인 인프라구축 없이 홈, 건물, 빌딩, 사무실 등 특정 공간 내의 환경에서 거주자 또는 사용자(이하 '사용자'로 칭한다)의 위치를 인식한다. 물론, 홈, 건물, 빌딩, 사무실 외의 지붕이 없는 공원 등에서도 행동 기반으로 사용자의 위치를 인식할 수 있다. 행동기반 위치인식 시스템(1)은 사용자단말장치(100) 및 모바일장치(200)를 포함한다. 사용자단말장치(100)는 모바일폰, 노트북 PC, 태블릿 PC, PDA, 데스크탑PC 및 서버 등으로 구현될 수 있다. 모바일장치(200)는 웨어러블장치로서 스마트워치, 웨어러블 밴드, 스마트안경, 헤드셋 등으로 구현될 수 있다. 본 발명의 실시예에서 사용자단말장치(100)는 널리 이용되는 모바일폰(100)을 적용하였고, 모바일장치(200)는 일상생활에서 사용자의 행동 및 이동을 모니터링하기 위해 범용 웨어러블(wearable) 장치로서 손목착용 스마트워치(200)를 적용하였다. 스마트폰(100) 및 손목착용 스마트워치(200)는 상업 시장에서 이용이 증가하고 있고 사용자에게 사용 및 착용에 어떤 곤란도 없다. 또한 모바일폰(100) 및 스마트워치(200)는 사용자가 몇몇 상황, 예를 들면 충전, 수면, 샤워 등을 제외하고는 항상 착용하는 것으로 가정하였다.
행동기반 위치인식 시스템(1)은 다음과 같은 방법으로 사용자를 추적한다. 스마트워치(200)는 사용자의 이동을 감시하고, 3축 가속도센서(230-1)를 이용하여 팔 움직임에 대한 행동 핑거프린트를 생성하고, 마이크로폰(230-2)을 이용하여 주변환경이나 행동 소리를 측정한다. 사용자의 행동에는 청소, TV시청, 수면, 샤워, 식사, PC이용, 요리, 설거지, 차마시기, 수다떨기, 세면, 화장실 볼일보기, 독서, 세탁물 걷기, 세탁물 정리, 머리말리기, 커피타기 등이 있다. 모바일폰(100)은 장치의 "방"위치를 인식하기 위해 WiFi 수신신호강도(RSS: Received Signal Strength)를 이용하여 주기적으로 WiFi 위치추적을 수행한다. 모바일폰(100)과 스마트워치(200) 사이의 거리측정 및 데이터 교환은 블루투스 통신을 통해 주기적으로 수행된다. 거리측정을 통해, 사용자가 자신의 모바일폰에 가까이 있다면 사용자의 현재 위치는 WiFi 위치결정시스템(WFPS: Wi-Fi positioning system)으로부터 모바일폰(200)의 인식된 위치로서 결정된다. 방 위치정보와 행동 핑거프린트는 공간과 행동 사이의 상관관계를 고려한 추론모델을 학습하기 위한 학습 샘플에 추가된다. 한편, 사용자가 모바일폰(100)으로부터 떨어져 있을 때, 행동기반 위치인식 시스템(1)은 스마트워치(200)에 의해 관찰된 행동에 높은 상관관계를 가진 가옥 내 공간을 찾는 추론모델로부터 사용자의 위치를 판단한다. 본 발명의 행동기반 위치인식 시스템(1)에서 특징추출 및 위치 추론은 모바일폰(100) 또는 스마트워치(200) 중 어느 한 곳에서 수행될 수 있다. 특징벡터는 스마트워치(200)에서 생성되어 모바일폰(100)으로 전송될 수 있다. 그러나 행동 핑거프린트를 기반으로 하는 학습 및 예측단계는 한정된 자원 및 웨어러블 기기의 한정된 컴퓨팅 능력에 기인하여 모바일폰(100)에서 수행되는 것이 바람직하다.
도 2는 본 발명의 실시예에 따른 행동기반 위치인식 시스템(1)을 나타내는 블록도로서, 사용자단말장치(100), 모바일장치(200) 및 무선공유기(Access Point)(300)를 포함한다.
사용자단말장치(100)는 제1프로세서(110), 제1센서모듈(120), 제1통신모듈(130) 및 제1저장부(140)를 포함한다. 사용자단말장치(100)는 상기 구성요소 외에 신호처리부, 디스플레이부, 사용자입력부 등 추가 구성요소들을 포함할 수 있다.
제1프로세서(110)는 중앙처리유닛(CPU), 마이크로 프로세싱 유닛(MPU), ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors) 등을 포함하는 컨트롤보드로 구현된다. 제1프로세서(110)는 사용자단말장치(100)의 각 구성요소들, 예를 들면 제1센서모듈(120), 제1통신모듈(130), 제1저장부(140) 등을 전반적으로 제어하고, 스마트워치(200) 또는 네트워크를 통한 외부장치, 예를 들면 서버에서 수신된, 입력된, 감지된 각종 정보를 소프트웨어적으로 또는 하드웨어적으로 처리할 수 있다. 제1프로세서(110)는 예를 들면 안드로이드 버전 5.0(롤리팝)과 같은 운영체제(OS)를 포함할 수 있다. 또한, 제1프로세서(110)는 모바일폰(200)에서 전송한 정보, 예를 들면 모바일폰(200)의 제1센서모듈(120)에서 사용자의 상태 및 주변환경에 대한 정보 중 적어도 하나를 감지한 제1감지정보를 수신하여 사용자 공간위치에서 사용자 위치를 인식하는 어플리케이션(프로그램)을 포함한다. 제1프로세서(110)는 수신한 제1감지정보에 해당하는 사용자 공간위치에서 사용자 위치, 예를 들면 TV를 시청하는 거실을 인식하고, 거실에 배치된 TV를 제어하거나 TV에 정보를 제공하여 TV가 사용자에게 적합한 서비스를 제공하게 할 수 있다.
제1센서모듈(120)은 3축 가속도센서(120-1), 마이크로폰(120-2), 자이로스코프(120-3)(gyroscope), 지자기센서(Geomagnetism Sensor), 중력센서(Gravity Sensor), 광센서, 디지털나침반, 냄새센서 및 근접센서 등을 포함한다. 물론 센서모듈(120)은 상술한 센서들 외에 다른 센서를 더 포함할 수 있다.
3축 가속도센서(120-1)는 장치의 상하 좌우 움직임을 감지한다. 3축 가속도센서(120-1)는 사용자의 걸음 수(이동량)나 이동방향의 감지를 통해 움직임벡터를 얻는다.
마이크로폰(120-2)은 사용자의 행동에 수반된 소리, 예를 들면 샤워 시의 물소리, 어학공부의 말소리, 수다떨기의 대화소리 등을 측정한다. 이 측정된 음향 특징은 사용자 공간에서의 위치를 추정하는 데에 이용된다.
자이로스코프(120-3)는 각 운동량 보존 법칙(conservation of angular momentum)에 근거해서 방향을 측정하거나 유지하는 데 쓰는 기구이다. 빠르게 회전하는 바퀴의 운동량에 따라 장치를 유지하고 있는 틀이 기울어져도 빠르게 회전하고 있는 바퀴의 자세는 장치의 기울어짐과는 상관없이 일정하게 유지된다. 자이로스코프는 기계적 자이로 (mechanical gyro), 광학 자이로 (optical gyro), 마이크로 자이로 (micro gyro)로 나눌 수 있다. 기계적 자이로는 회전하거나 진동하는 물체의 코리올리 효과를 이용하는 것으로 진동 자이로가 여기에 속한다. 광학자이로는 사냑(Sagnac) 효과를 이용한 것으로 RLG (Ring Laser Gyro), FOG (Fiber Optic Gyro)가 있다. 마이크로 자이로는 반도체 공정 기술을 이용하여 자이로를 수 mm 이하의 크기로 소형화한 것이며, 주로 진동자이로 원리를 쓴다.
지자기센서(120-4)는 나침반처럼 방위를 표시해 주는 센서이다. 지자기센서(120-4)는 원하는 지역의 방향을 제시해 주는 데 사용하거나 현재 사용자의 위치를 기준으로 지도를 보여주는 증강 현실 맵 구현에 사용된다.
중력센서는 중력 방향을 탐지하는 센서로서, 전자 기기 등에 탑재되어 중력이 어느 방향으로 작용하는지를 탐지하고, 그 상황에 맞추어 기기 사용자 편의를 돕는 센서이다. 예를 들어, 중력 센서 기능이 있는 모바일폰(100)의 경우 가로로 돌리면 사용자가 보기 편하도록 사진 이미지가 가로 방향으로 바뀐다. 모바일폰이나 MP3 등 주로 IT 가전에 적용되었으나 자동차용 운행 기록 장치(블랙박스)에도 탑재되어 차량 충돌 시 충돌 방향을 기록하기도 한다.
광센서는 빛을 이용하여 움직임이나 온도를 감지하는 센서이다.
디지털나침반은 방향을 탐지하는 센서이다.
냄새센서는 냄새를 탐지하는 센서로서, 냄새 분자가 물질에 달라붙을 때 발생하는 변화를 활용하는데 반도체 방식, 전도성 고분자 활용 방식, 수정 진동자 활용 방식, 생체 수용체 방식이 있다. 기본 원리는 냄새 분자가 센서 물질에 달라붙을 때 발생하는 신호를 패턴화해 적용하는 것이다.
근접센서는 스위치의 검출면에 접근하는 물체 혹은 근방에 존재하는 물체의 유무를 전자계의 힘을 이용하여 기계적 접촉없이 탐지하는 센서이다.
제1통신모듈(130)은 WiFI 통신모듈(130-1), 블루투스 통신모듈(130-2)을 포함한다. 추가적으로 제1통신모듈(130)은 2G, 3G, 4G, 롱텀에볼루션(LTE)와 같은 이동 통신, Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등의 무선인터넷 모듈, 및 RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등의 근거리 통신모듈을 포함할 수 있다.
WiFi 통신모듈(130-1)은 무선공유기(300)를 통해 무선인터넷을 수행한다. 본 발명에서는 무선공유기들(300)과 모바일장치(100) 사이의 위치정보를 이용하여 정확한 모바일장치(100)의 위치를 알아낼 수 있다.
블루투스 통신모듈(130-2)은 스마트워치(200)와의 데이터 통신을 수행한다. 블루투스 통신모듈(130-2)은 또한 블루투스 통신 신호세기를 이용하여 모바일장치(100)와 스마트워치(200) 사이의 거리를 측정한다. 이때, 특정 범위 내의 블루투스 신호 세기 범위 내에 있을 때, 모바일장치(100)와 스마트워치(200)는 동일한 위치에 존재하는 것으로 판단한다. 즉, 동일위치는 스마트워치(200)를 사용자가 항상 착용하는 것으로 가정할 때, 사용자가 모바일장치(100)를 지니고 있는 것으로 판단하는 기준이 된다.
제1저장부(140)는 한정되지 않은 데이터가 저장된다. 제1저장부(140)는 프로세서(110)에 의해 액세스 되며, 이들에 의한 데이터의 독취, 기록, 수정, 삭제, 갱신 등이 수행된다. 제1저장부(140)에 저장되는 데이터는, 예를 들면 사용자 제1센서모듈(120)에서 감지한 로우(Raw) 감지데이터, 제1프로세서(110)에 의해 로우(Raw) 감지데이터를 이용하여 추출한 특징, 상기 추출 특징으로부터 생성한 제1행동 핑거프린트 데이터, 제1통신모듈을 통해 스마트워치(200)에서 수신한 제2행동 핑거프린트 데이터, 제1행동 핑거프린트에 연관된 공간위치 데이터베이스, 제2행동 핑거프린트에 연관된 공간위치 데이터베이스, 위치 핑거프린트에 연관된 공간위치 데이터베이스, 위치 핑거프린트에 대응하는 행동 핑거프린트 데이터베이스, 사용자의 행동에 관련된 행동 핑거프린트-위치 핑거프린트-전자기기 사용 이력 데이터베이스 등을 포함한다. 물론, 제1저장부(140)는 운영체제, 운영체제 상에서 실행 가능한 다양한 애플리케이션, 영상데이터, 부가데이터 등을 포함한다.
제1저장부(140)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
스마트워치(200)는 제2프로세서(210), 제2센서모듈(220), 제2통신모듈(230) 및 제2저장부(240)를 포함한다. 스마트워치(200)는 상기 구성요소 외에 신호처리부, 디스플레이부, 사용자입력부 등 추가 구성요소들을 포함할 수 있다.
제2프로세서(210)는 중앙처리유닛(CPU), 마이크로 프로세싱 유닛(MPU), ASICs(application specific integrated circuits), DSPs(digital signal processors), DSPDs (digital signal processing devices), PLDs (programmable logic devices), FPGAs (field programmable gate arrays), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessors) 등을 포함하는 컨트롤보드로 구현된다. 제2프로세서(210)는 스마트워치장치(200)의 각 구성요소들, 예를 들면 제2센서모듈(220), 제2통신모듈(230), 제2저장부(240) 등을 전반적으로 제어하고, 사용자단말장치(100)에서 수신된, 입력된, 감지된 각종 정보를 소프트웨어적으로 또는 하드웨어적으로 처리할 수 있다. 제2프로세서(210)는 예를 들면 안드로이드 버전 5.0(롤리팝)과 같은 운영체제(OS)를 포함할 수 있다. 또한, 제2프로세서(210)는 제2센서모듈(220)에서 사용자의 상태 및 주변환경에 대한 정보 중 적어도 하나를 감지한 제2감지정보를 수신하여 특징을 추출하고, 추출한 특징으로부터 행동 핑거프린트를 생성하는 어플리케이션(프로그램)을 포함한다.
제2센서모듈(220)은 3축 가속도센서(220-1), 마이크로폰(220-2), 자이로스코프(220-3)(gyroscope), 심박센서(Heart-beat pulse sensor)(220-4), 지자기센서(Geomagnetism Sensor), 중력센서(Gravity Sensor), 광센서, 디지털나침반, 냄새센서 및 근접센서 등을 포함한다. 물론 제2센서모듈(220)은 상술한 센서들 외에 다른 센서를 더 포함할 수 있다.
3축 가속도센서(220-1)는 장치의 상하 좌우 움직임을 감지한다. 3축 가속도센서(220-1)는 사용자의 걸음 수(이동량)나 이동방향의 감지를 통해 움직임벡터를 얻는다.
마이크로폰(220-2)은 사용자의 행동에 수반된 소리, 예를 들면 샤워 시의 물소리, 어학공부의 말소리, 수다떨기의 대화소리 등을 측정한다. 이 측정된 음향 특징은 사용자 공간에서의 위치를 추정하는 데에 이용된다.
자이로스코프(220-3)는 각 운동량 보존 법칙(conservation of angular momentum)에 근거해서 방향을 측정하거나 유지하는 데 쓰는 기구이다. 빠르게 회전하는 바퀴의 운동량에 따라 장치를 유지하고 있는 틀이 기울어져도 빠르게 회전하고 있는 바퀴의 자세는 장치의 기울어짐과는 상관없이 일정하게 유지된다.
심박센서(220-4)는 팔목의 혈관을 향해 방사된 적외선이 혈관압력이 변화함에 따라 미세하게 변화하는 차이를 감지하여 심박을 추출한다.
지자기센서는 나침반처럼 방위를 표시해 주는 센서이다. 지자기센서는 원하는 지역의 방향을 제시해 주는 데 사용하거나 현재 사용자의 위치를 기준으로 지도를 보여주는 증강 현실 맵 구현에 사용된다.
중력센서는 중력 방향을 탐지하는 센서로서, 전자 기기 등에 탑재되어 중력이 어느 방향으로 작용하는지를 탐지하고, 그 상황에 맞추어 기기 사용자 편의를 돕는 센서이다. 예를 들어, 중력 센서 기능이 있는 스마트워치(200)의 경우 가로로 돌리면 사용자가 보기 편하도록 사진 이미지가 가로 방향으로 바뀐다.
광센서는 빛을 이용하여 움직임이나 온도를 감지하는 센서이다.
디지털나침반은 방향을 탐지하는 센서이다.
냄새센서는 냄새를 탐지하는 센서로서, 냄새 분자가 물질에 달라붙을 때 발생하는 변화를 활용하는데 반도체 방식, 전도성 고분자 활용 방식, 수정 진동자 활용 방식, 생체 수용체 방식이 있다. 기본 원리는 냄새 분자가 센서 물질에 달라붙을 때 발생하는 신호를 패턴화해 적용하는 것이다.
근접센서는 스위치의 검출면에 접근하는 물체 혹은 근방에 존재하는 물체의 유무를 전자계의 힘을 이용하여 기계적 접촉없이 탐지하는 센서이다.
제2통신모듈(230)은 블루투스 통신모듈(230)을 포함한다. 추가적으로 제2통신모듈(230)은 2G, 3G, 4G, 롱텀에볼루션(LTE)와 같은 이동 통신, Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등의 무선인터넷 모듈, 및 RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등의 근거리 통신모듈을 포함할 수 있다. 그러나 스마트워치(200)의 경우 크기의 제한이나 제2프로세서의 처리능력 제한에 따라 블루투스 통신 모듈(203)만을 적용하는 것으로 가정한다.
블루투스 통신모듈(230)은 사용자단말기(100)와의 데이터 통신을 수행한다. 블루투스 통신모듈(230)은 또한 블루투스 통신 신호세기를 이용하여 사용자단말기(100)와 스마트워치(200) 사이의 거리를 측정하는 데에 이용된다. 이때, 특정 범위 내의 블루투스 신호 세기 범위 내에 있을 때, 사용자단말장치(100)와 스마트워치(200)는 동일한 위치에 존재하는 것으로 판단한다. 즉, 동일한 위치는 스마트워치(200)를 사용자가 항상 착용하는 것으로 가정할 때, 사용자가 모바일장치(100)를 지니고 있는 것으로 판단하는 기준이다.
제2저장부(240)는 한정되지 않은 데이터가 저장된다. 제2저장부(240)는 프로세서(210)에 의해 액세스 되며, 이들에 의한 데이터의 독취, 기록, 수정, 삭제, 갱신 등이 수행된다. 제2저장부(240)에 저장되는 데이터는, 예를 들면 제2센서모듈(220)에서 감지한 로우(Raw) 감지데이터, 제2프로세서(210)에 의해 로우(Raw) 감지데이터를 이용하여 추출한 특징, 상기 추출 특징으로부터 생성한 제2행동 핑거프린트 데이터 등을 포함한다. 물론, 제2저장부(240)는 운영체제, 운영체제 상에서 실행 가능한 다양한 애플리케이션, 부가데이터 등을 포함한다.
제2저장부(240)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다
무선공유기(Access Point)(300)는 무선 랜(LAN)에서 기지국 역할을 하는 소출력 무선기기로서, 유선과 무선을 잇는 브릿지 역할을 하게 된다. 유선망 관점에서 공유기(300)는 라우터 또는 스위치 등에 붙게 되며 라우터나 스위치는 무선 스테이션을 의식하지 못하며 이는 전적으로 공유기(300)에 의존하게 된다. 따라서, 공유기(300)는 유선망을 무선망으로 확장시켜주는 역할을 한다.
이하 본 발명의 실시예에 따라 행동기반 사용자 위치 인식방법을 상세히 설명하면 다음과 같다. 스마트워치(200)에 적용된 제2센서모듈(220)은 3축 가속도센서(220-1) 및 마이크로폰(220-2)만으로 설명하지만 모든 종류의 센서들이 적용될 수 있다.
스마트폰 또는 웨어러블장치인 스마트워치(200)는 항상 사용자의 행동을 인식하기 위해 사용된다. 3축 가속도센서(220-1)는 걷기, 복도 전환, 윗층 오르기 등과 같은 물리적 행동을 검출, 낙하 후 사용자의 움직임 검출, 모바일폰을 사용하여 다이어트 목적을 위해 사용자 행동 레벨을 모니터하기 위해 사용된다. 3축 가속도센서(220-1)는 걷는 걸음 수, 수면량, 소모 칼로리와 같은 사용자 행동을 추적하는 데에 이용된다. 마이크로폰(220-2)은 사용자의 행동을 모니터하기 위해 사용된다. 바디스코어는 목 주변영역의 음향센서를 사용하여 음향을 분석함으로써 먹고, 마시고, 말하는 행동을 인식한다. 본 발명의 실시예에 따른 행동기반 사용자 위치를 인식하는 사용자단말장치(200)는 수동적 구축 없이 자동으로 사용자의 위치를 학습하고 평가한다. 행동과 위치(예를 들면 방) 사이의 관계를 분석하기 위해 모바일폰 어플리케이션을 이용하여 3주 동안 2 사용자(A 및 B)의 일상 행동 및 대응 위치를 수집하였다. 또한, 스마트워치 어플리케이션을 통하여 주기적으로 현재 행동 및 가옥 내 위치를 수동으로 구축하였다.
사용자의 행동은 그들이 위치된 공간에 매우 큰 의존성을 가진다. 예를 들면 "TV시청" 및 "소파에 앉기"와 같은 행동은 전형적으로 거실에서 일어난다. 마찬가지로, 먹고 마시는 식사관련 행동은 식당의 식탁에서 일어난다. 도 3 내지 도 5는 홈 환경에서 가옥 내 공간, 전자기기 위치 및 행동에 대한 리스트를 나타낸 것이다. 도면들에 나타낸 바와 같이, 사용자 A의 17개 행동들 중 10개(59%) 및 사용자 B의 17 행동들 중 12개(86%)가 단일의 방에만 의존하는데 반해, 대부분의 행동은 하나 이상의 특정 가옥 내 공간에서 일어난다. 이것은 사용자의 특정 행동을 인식함으로써 홈 환경에서 사람들의 위치를 추론할 있음을 의미한다.
그러나 몇몇 행동은 특정 가옥 내 공간에 의존하지 않는다. 예를 들면, 청소와 빨래걷기와 같은 행동들은 청소기와 세탁기와 같은 전자기기가 고정 위치에 있지 않기 때문에 다수의 공간에서 관찰된다. 또한, 몇 가지 행동 타입은 사용자가 다르거나 같은 타입의 다수 전자기기가 존재할 경우에 다른 가옥 내 공간에서 일어난다. 결과적으로, 공간과 행동 사이의 상관관계는 사용자, 행동 타입 및 홈 환경에 설치된 전자기기에 의존한다.
스마트워치(200)의 3축 가속도센서(220)는 손목의 가속력을 측정함으로써 물리적 행동의 특징을 인식한다. 그러나 하나의 손목에만 스마트워치(200)를 착용하는 것은 다른 손목의 행동을 인식할 수 없어 행동 인식이 충분하지 않다. 예를 들면 왼손에 스마트워치(200)를 착용하고 음료수를 오른손으로 마시는 경우를 들 수 있다. 또한, 어떤 행동은 가속도센서(220-1)의 측정만을 이용해서는 식별이 되지 않는다. 예를 들면, 테이블에서 TV시청, 독서 및 음료 마시기는 앉아서 하는 행동 속성이기 때문에 가속도센서의 측정에서 매우 유사한 특징을 나타낼 수 있다. 이러한 문제를 해결하기 위해 스마트워치(200)의 마이크로폰(220-2)을 사용하여 추출된 행동 또는 방의 소리 특징을 가속도센서(220-2)의 움직임 특징과 함께 적용하였다.
도 4 및 5에 나타낸 바와 같이, 가옥 공간에서의 행동 의존성은 개인에 따라 그리고 행동의 타입에 따라 변화한다. 또한, 사람들이 다른 물리적 특성(나이, 키, 몸무게) 및 습관을 갖기 때문에 같은 사람일지라도 다르게 행동한다. 그러므로 개인적 학습 매커니즘이 인간 행동을 분류하기 위해 요구된다.
행동인식을 통해 사용자 위치를 결정하기 위해서, 행동과 공간 사이의 상호관계가 학습되어야 한다. 또한, 이러한 학습과정은 사용자 의존에 따라 개인적인 방법으로 수행되어야 한다. 그러나 각 사용자의 현재 위치의 수동적 구축은 상당한 노력이 요구되기 때문에 사용자의 위치를 자동적으로 구축하는 학습방법이 필요하다. 따라서, 본 발명의 실시예에서는 스마트워치(200)와 모바일폰(100)의 사용을 통하여 자동학습방법을 적용하였다. 즉, 사용자의 행동들에 대한 특징을 자동적으로 추출하고 일상생활에서 공간과 행동 사이의 상관관계를 학습하는 센서기반 행동인식을 통한 사용자위치 인식시스템(1)을 개발하였다.
도 6은 센서기반 행동인식을 통한 사용자위치 인식시스템(1)의 기능적 구조를 나타내는 블록도로서, 행동 핑거프린트 생성부(400), 위치획득부(500) 및 HMM 기반 위치인식부(600)를 포함한다.
먼저, 행동 핑거프린트 생성부 (400)는 스마트워치(200)의 가속도 센서 입력으로부터 사용자의 이동을 검출하기 위해 로우(raw) 센서 데이터를 사전 처리한다. 이후 다양한 센서 데이터로부터 행동 핑거프린트를 추출한다, 추출된 특징은 불루투수 통신모듈(230)을 통해 모바일폰(100) 또는 서버로 전송한다. 여기서, 서버는 네트워크를 통해 연결되어 다수 사용자들의 각 홈 환경에서 사용자 위치를 인식하고 사용자에게 적절한 서비스를 제공하고 행동에 수반되는 전자기기들을 제어하기 위해 구축된 컴퓨터이다. 서버는 PC, 데스크 탑 PC, 노트북 PC 등으로 구현가능하며, 각 가정마다 구축될 수 있다.
위치획득부(500)는 모바일폰(100)으로 구현될 수 있다. 모바일폰(100)은 주기적으로 근처 WiFi 공유기들로부터 신호 세기를 감지하고, WiFi 핑거프린트 기술을 기초로 그들의 위치를 획득한다. 또한, 모바일폰(100)은 사용자가 같은 위치에 있는 여부를 판단하기 위해 페어링된 스마트워치(200)를 사용하여 거리를 계산한다.
HMM 기반 위치인식부(600)는 통계적 마코프 모델(statistics Markov Model), 예를 들면 히든 마코프 모델(HMM: Hidden Markov Model)을 기반으로 하며, 2파트로 이루어져 있다. 제1파트는 모바일폰(100)이 동일 공간에서 사용자와 같은 위치에 존재할 때의 추론 모델의 학습단계이다. 충분한 학습샘플로 자동적으로 구축하고 HMM기반 추론모델을 업데이트한다. 제2파트는 스마트워치(200)로부터 얻은 행동 핑거프린트를 이용하여 사용자의 위치를 판단한다.
이하, 센서기반 행동인식을 통한 사용자위치 인식방법에 대해 도 6 내지 24를 참조하여 상세히 설명한다.
도 6에 나타낸 바와 같이, 행동 핑거프린트 생성부(400)는 전처리부(410), 제1특징추출부(420), 제2특징추출부(430), 및 클러스터링부(440)를 포함한다.
행동인식에 의한 홈 환경에서의 사용자 위치인식은 인식된 행동이 관련 공간에서 수행되어야 하는 사전조건을 기초로 한다. 전처리부(410)는 사용자들이 주변을 이동(예를 들면 청소)하는 동안에 행동들로부터 필터링하기 위해 사용자의 이동상태를 검출한다. 또한, 사용자의 오랜 이동은 사용자의 위치변화를 나타내기 때문에 이동거리의 측정을 기초로 사용자 위치가 업데이트 될 때를 예측한다. 이동상태는 정지, 이동, 불명(사용자가 스마트워치를 착용하지 않았을 때)의 3가지 상태를 취한다. 여기서, 이동거리 및 이동상태는 걸음 수 검출을 기초로 측정한다. 가속도센서(220-1)를 이용한 걸음 수 검출 알고리즘은 이미 공지된 기술을 이용한다. 걸음 수는 좌표 스테핑(stepping)점을 마크하기 위해 사용되는 스마트워치(200)에서의 가속도센서(220-1)의 피크 검출을 기초로 카운트한다. ΔTmin 및 ΔTmax를 각각 연속 가속도 피크 사이에서의 최소시간과 최대시간이라 정의할 때, 2개 피크 이상이 ΔTmin 이내로 측정될 경우 단지 하나의 피크만을 한 걸음으로 계산하고, 다른 피크들은 걸음의 오류 포지티브 검출을 방지하기 위해 버린다. 정상적인 사용자가 홈에서 초당 3걸음 이하를 걷기 때문에 ΔTmin는 0.33으로 설정한다. 만일 2걸음 이상이 ΔTmax(예를 들면 2초) 이내로 카운트 될 경우 이동상태는 "이동"으로 판단하고, 그밖에 피크가 ΔTmax 동안에 검출되지 않으면 "정지"로 판단한다. 추가로, ΔTmax 동안에 측정에서의 변화가 없을 때(예를 들면 측정의 표준 편차가 0.05g 이하 일 때), 스마트워치(200)를 미착용이고 이동상태를 "불명"으로 판단한다. 스마트워치(200)로 모니터하는 행동은 이동상태가 "이동"에서 "정지"로 변화할 때 시작된다.
특징추출부(420, 430)는 스마트워치(200)로부터 얻은 2가지 타입, 움직임 정보와 소리정보를 기초로 한 2가지 타입으로 된 행동특징을 추출한다. 움직임특징은 행동 중의 팔 이동을 나타내며, 소리특징은 위치에서의 주변 소리는 물론 행동으로 발생된 소리를 나타낸다.
움직임특징은 가속도 센서(220-1)로부터의 측정을 통해 자세 및 반복적인 팔 움직임의 동작 특성을 캡쳐한다. 행동을 모니터하기 위해 약 5s의 슬라이딩 윈도우를 사용하였고, 측정은 50Hz 이상의 비율에서 수집된다. 윈도우는 이전 슬라이딩 윈도우와 50% 중첩된다. 일단 슬라이딩 윈도우가 측정으로 채워지면, 다음의 움직임 특징들이 추출된다.
(1) 평균 및 표준 편차벡터: 3차원 평균 및 표준 편차 벡터는 윈도우(512프레임을 포함하는 5-s 윈도우)에서 가속도 신호로부터 계산된다. N가속도 측정 샘플로서 평균 및 표준 편차 벡터는 다음의 식 [1] 및 식[2]로 나타내어진다.
Figure PCTKR2016007544-appb-M000001
Figure PCTKR2016007544-appb-M000002
(2) 기울기 각: 기울기 각은 포지티브 z-축과 중력 벡터 g 사이의 각도로 정의된다. 기울기 각은 임의의 자세 중에서 구별을 위해 사용되며, 다음의 식 [3]으로 계산된다.
Figure PCTKR2016007544-appb-M000003
(3) 에너지: 짧은 시간의 에너지 이동을 캡쳐하기 위해서는 에너지 특징이 계산된다. 에너지는 신호의 이산 고속 푸리에 변환(FFT: Fast Fourier Transform) 성분 크기 제공의 합이다. 이 합은 정규화를 위해 윈도우 길이로 나누어진다. 에너지는 다음의 식 [4]에 의해 계산된다.
Figure PCTKR2016007544-appb-M000004
Xi는 슬라이딩 윈도우 내의 FFT 성분이다.
(4) 상관벡터: 각 쌍의 축 사이의 상관관계를 구성하는 벡터는 다음과 같은 식 [5]로 표현된다.
Figure PCTKR2016007544-appb-M000005
(5) 주파수 대역의 파워 스펙트럼 밀도( PSD ): PSD는 주파수 대 Hz당 파워의 주파수-도메인 플롯이다. PSD 특징은 주파수 도메인에서의 반복 이동을 나타낸다. PSD는 주파수에 따라 4부분, 0-1, 1-2, 2-4 및 4-8Hz로 나누어진다.
(6) 행동 스코어(AS): 소정 기간(예를 들면 최근 10분) 동안에 얼마나 자주 팔을 사용했는지를 모니터링 함으로써 사용자의 행동 레벨을 계산한다. 행동 레벨은 사용자가 의자에 앉거나 잠을 자는 정지상태에 또는 복잡한 이동(요리)을 수반하는 다이내믹 상태에 있는지를 나타낸다. 행동 스코어는 도 7에 나타낸 바와 같이 다른 행동으로부터 수면행동을 구별하기 위한 중요(key) 특징이다. 행동스코어(AS)는 다음과 같은 식 [6]으로 계산된다.
Figure PCTKR2016007544-appb-M000006
스마트워치(200)에 내장된 마이크로폰을 이용하여 소리인식을 수행한다. 행동의 소리 또는 공간에서의 고유 주변환경 소리(예를 들면 전자기기 동작소음)는 홈 행동을 추론하기 위해 사용된다. 예를 들면, 물소리에 의해 누군가가 샤워를 하고 있음을 알릴 수 있다. 스마트워치(200)의 마이크로폰(220-2)을 사용하여 매 180초마다 3초 동안 사용자가 정지상태에 있을 때 소리를 기록하였다. 다음에, 보통 대화소리 신호처리에 사용되는 루트 평균 스퀘어(RMS: root mean square) 및 mel-주파수 켑스트럴 계수(MFCCs: mel-frequency Cepstral coefficients)가 소리특징으로 추출되었다. "mel"은 인간의 가청 주파수를 기초로 한 측정의 기본 단위이다. MFCC는 mel-주파수 필터 뱅크 상에서 로그 스케일 파워 스펙트럼의 선형 코싸인 변환을 기초로 한다. 여기서 25-mel 필터 뱅크를 사용하였고, 소리 특징을 위해 처음 12계수를 계산하였다.
클러스터링부(440)는 군집화(clustering) 알고리즘을 이용하여 상기 추출된 움직임 특징과 소리 특징을 기반으로 행동 핑거프린트를 생성한다. 여기서는, 사용자 참여없이 학습데이터 상에 주석(annotation)을 자동적으로 생성한다. 또한, 인간 행동에 따른 감지 데이터를 카테고리화하기 위해 추출된 특징 벡터들을 클러스터링한다. 먼저, 추출된 특징들이 높은 디멘션 벡터(움직임은 37 디멘션이고 소리는 12 디멘션)로 구성되기 때문에 선형 판별 분석(LDA: Linear Discriminant Analysis) 디메션 축소법을 이용하여 벡터의 디멘션을 축소시킨다. 군집화(clustering) 알고리즘으로서 K-평균 클러스터링 알고리즘은 수동 라벨링 없이 유사성을 기반으로 특징 벡터들을 카테고리화한다. K-평균 클러스터링 알고리즘에서, 벡터들은 k의 배타적 집단으로 나누어지며, k 시드(seed) 벡터는 초기에 특징들로부터 선택된다. 도 8에 나타낸 바와 같이 특징벡터들의 클러스터링 결과는 행동 핑거프린트로서 정의된다. K-평균 클러스터링 알고리즘의 중요한 점은 그 결과가 아 프리오리(a priori)라 알려진 K값에 의존한다는 점이다. 홈 환경에 따라 결정되는 K값은 경험적으로 판단된다.
위치획득부(500)는 WiFi 기반 위치결정 시스템(WPS: Wi-Fi-based positioning system)을 이용한 위치 핑거프린트 생성부(510)와 블루투스 통신을 이용한 스마트워치(200)와 모바일폰(100) 사이의 거리를 측정하는 거리측정부(520)를 포함한다.
WiFi 기반 위치결정 시스템은 추가적인 인프라구축 없이 모바일장치의 정확한 위치(예를 들면 룸 레벨에서)를 제공하기 때문에 널리 이용된다. 그러나 스마트워치(200)와 같은 웨어러블 장치들에도 WiFi 기반 위치결정 시스템을 채용하는 것은 가능하나 제한된 배터리용량과 작은 형태라는 점 때문에 적절하지는 않다. 각 사용자가 기본적으로 개인적인 모바일폰(100)을 갖고 있는 것으로 가정하고, 사용자의 위치를 얻기 위해 WPS를 사용한다. 만일 사용자가 홈의 어떤 공간에 머무를 경우에, 모바일폰(100)은 주변의 WiFi 공유기들로부터 RSS를 측정한다. 다음에, 만일 S(ft,fa)≤ρ일 경우 t시간에 장소 a에 위치하는 것으로 판단한다. 여기서, 유사함수 S(·) 는 타미모토 계수(Tanimoto coefficient)를 기초로 하며, ft는 모바일폰에 의해 시간 t에서 측정된 RSS벡터이고, fa는 장소a에서 훈련된 WiFi 핑거 프린트이고, ρ는 주어진 임계값이다.
모바일폰(100)은 방 정보를 얻기 위해 주기적으로(예를 들면 매 5분마다) RSS벡터들을 수집한다. 그러나 홈 환경에서, 모바일폰(100)이 항상 장치 소유자의 위치와 동일한 위치에 있다는 것을 보장하지 않는다. 사용자가 모바일폰(100)이 놓여 있는 공간과 다른 위치에 있는 경우를 필터링하기 위해, 거리측정부(520)는 모바일폰(100)과 스마트워치(200) 사이의 블루투스 통신의 신호세기를 이용한다. 도 9는 가옥 내 공간에서 블루투스 통신의 신호세기와 거리를 나타내는 도이다. 블루투스 신호의 전송 범위는 WiFi보다 짧은 10-20m이다. 따라서, 블루투스 신호와 거리의 비는 WiFi 신호보다 더 높다. 모바일폰(100)과 스마트워치(200) 사이의 거리가 6m 이내로 짧을 때 신호 세기는 1m 거리차로 급격히 감소하기 시작한다. 4m 보다 가까운 거리인 불루투수를 통한 데이터 교환이 -72dBm일 때 모바일폰(100)과 스마트워치(200)가 같은 공간에 있다고 판단한다.
HMM 기반 위치인식부(600)는 2개의 단계, 훈련단계와 평가단계를 포함한다. 훈련단계에서, 행동과 가옥 내 공간 사이의 관계는 사용자가 모바일폰(100)과 동일한 위치에 있을 때 훈련된다. 사용자가 모바일폰 없이 이동함에 따라 모바일폰(100)으로부터 멀어지면, 위치를 모바일폰(100)의 WPS로 직접 결정할 수 없기 때문에, 행동 핑거프린트들을 사용한 평가단계로 사용자 위치를 추론한다.
본 발명의 실시예에서는 가옥 내 공간과 행동 핑거프린트를 링크시키는 훈련과정이 필요하다. 종래의 기계학습과 인식 시스템에서는 그들이 훈련 중에 한 행동의 타입을 수동적으로 구축하였지만, 본 발명의 실시예에서는 행동의 타입이 아닌 사용자의 위치에 포커싱되어 있기 때문에 훈련 동안에 수동적인 구축은 필요없다. 사용자가 모바일폰(100)과 같은 위치에 있을 때 추론모델의 훈련 샘플을 생성하기 위해 WPS로부터 얻어진 평가위치를 이용한다.
HMM 기반 위치인식부(600)는 홈에서 사용자 이동을 모델링하기 위해 히든 마코프 모델(HMM)을 적용한다. HMM은 히든 상태 x와 관찰 y를 가진 생성확률모델(generative probabilistic model)이다. 상태 x는 방출확률α로 알려진 조건 확률 분포를 가진 관찰(observation)을 방출한다. 또한, 히든 상태들 사이의 이동은 이동확률β라 불리는 확률 집합에 의해 지배된다. 도 10은 행동 핑거프린트를 기초로 한 위치결정방법을 나타내는 그래픽 표현이다. HMM에서, 상태는 숨겨져 있고 관찰은 알려져 있기 때문에, HMM의 주요목표는 관찰 시컨스(y1, y2,…,yt)에 해당하는 히든 상태 시컨스(x1, x2,…, xt)를 결정하는 것이다. 본 발명에서는 관찰된 행동 핑거프린트의 시컨스로 사용자에 의해 이전에 방문된 방 위치 집합을 평가한다. HMM을 구축하기 위해서는 이동과 방출 확률분포가 모두 훈련 샘플들로 평가된다.
이동확률은 상태 xi에서 상태 xj로 이동할 확률을 나타내며, αij로 표현된다. αij를 평가하기 위해서는 전술한 WPS를 통하여 이력적 관찰 이동(historically-observed movement)을 이용한다. 방 위치 ri에서 rj로의 이동확률αij은 다음 식 [7]로 계산된다.
Figure PCTKR2016007544-appb-M000007
여기서, T(i,j)는 훈련 샘플에서 xi에서 xj로 이동 총수이고, N은 방의 수이다.
주어진 위치 ri와 대응 행동 핑거프린트afj에 대한 방출확률βij는 행동 핑거프린트 afj가 방ri 에 있는 사용자로부터 관찰되는 확률이다. 방출확률βij는 다음의 식 [8]로 계산된다.
Figure PCTKR2016007544-appb-M000008
여기서, E(i, ak)는 상태 xi에서의 afk를 방출하기 위한 총수이고, M은 특징 벡터들의 클러스터 수이다.
상술한 관찰부(610)의 방출확률과 상태부(620)의 이동확률을 기초로 한 HMM 훈련에 의한 훈련 세트 DB (620)의 구축을 완료하면, 사용자가 모바일폰(200)과 동일 위치에 있음을 감지하였을 때 사용자 위치가 평가단계에서 비터비 복조부(650)에 의해 얻어진다. 관찰된 행동 핑거프린트로부터 HMM에서 가장 가능성 있는 히든 상태들을 평가하기 위해 비터비 복조(Viterbi decoding)를 사용한다. 비터비 복조는 주어진 관찰 시컨스로부터 상태 시컨스의 가능성을 최대화하는 최선 상태 시컨스를 선택하기 위한 다이내믹 프로그래밍 기반 알고리즘이다. 상태공간 X와 초기확률 π를 가진 HMM모델이 주어지면, 시간 t에서 가장 가능성 있는 상태 xk 의 확률은 다음 식 [9]로 표현된 점화식에 의해 계산된다.
Figure PCTKR2016007544-appb-M000009
여기서, αuk는 상태 xu에서 상태 xk로의 이동확률이고, βkt는 방위치 rk에서 시간 t에서 관찰된 행동 핑거프린트의 방출확률αft 이다.
본 발명의 실시예에서는 안드로이드 스마트폰(100)과 S사 스마트워치(200)를 채용하여 다음과 같이 실험과 데이터 수집을 진행하였다. 스마트워치(200)는 3축 가속도센서(220-1), 마이크로폰(220-2), 자이로스코프(220-3), 카메라 및 블루투스 모듈(230)과 같은 다양한 센서를 포함한다. 스마트폰(100)은 스마트워치(200)가 행동 핑거프린트를 수집하기 위해 그의 다양한 센서들을 통해 계속적으로 모니터링하는 동안에, WiFi 핑거프린트 기술을 이용하여 사용자의 위치를 추론하기 위해 주기적으로(예를 들면 매 5분마다) WiFi 스캔을 수행한다. 실험하는 동안에 도 11 및 12에 나타낸 바와 같이 홈 환경(홈 A, 홈 B)에서 3∼5주 동안 4명의 사용자를 모니터링하였다. 정확한 평가를 위한 사용자의 지상 실측 위치를 수집하기 위해, 상태가 이동에서 정지로 변화될 때 또는 튜티 싸이클 시간(duty cycle time)(예를 들면 15분)이 종료될 때 리퀘스트 메시지를 사용자에게 주어서 스마트워치 상에서 그들의 위치와 현재행동에 대해 기록하도록 하였다.
도 13은 홈에서 사용자의 실제 행동과 위치 및 움직임 특징과 소리특징을 추적한 상태를 나타낸다. 움직임 특징과 소리 특징은 0-1 범위로 각 성분을 정규화함으로써 가시적으로 나타내었다. 도 13에 나타낸 바와 같이, 사용자는 방에서 방으로 이동하는 동안에 다양한 행동을 수행하며, 각 행동의 고유 특징이 관찰되었다. 랩탑을 사용하는 것과 같은 몇가지 행동은 소리 특징에서 다른 행동들과 명확한 차이를 보여주지 않았다. 샤워를 하는 경우에 움직임 특징은 스마트워치를 착용하지 않은 관계로 유용하지 않으며, 반면에 소리특징은 물소리를 감지할 수 있어 도움이 된다. 결과적으로 움직임 특징과 소리특징 모두를 동시에 사용하는 것은 단일의 특징을 사용하는 것보다 더 효과적이다.
행동과 공간 사이에 상호관계를 보여주기 위해, 행동과 위치 사이의 상관계수를 다음의 식 [10]으로 계산하였다.
Figure PCTKR2016007544-appb-M000010
도 14 내지 17은 4명의 사용자 A, B, C, D의 상관계수 결과를 나타낸 것이다. 상관계수의 높은 값은 행동이 대응위치에서 항상 일어나는 것을 나타낸다. 홈 행동은 항상 어떤 공간과 관계되어 있다. 그러나 사용자 A 또는 C의 행동에 대응하는 위치는 함께 살더라도 사용자 B 또는 D와 다르다. 또한, 몇몇 행동은 하나의 위치로 명확히 종속되지 않는다. 예를 들면, 사용자 A는 종종 방 C 또는 거실 중 어느 한 곳에서 랩탑을 사용하는데 반해, 사용자 B의 PC/랩탑 사용은 전체적으로 방 A에 종속되어 있다. 주부(사용자 A 및 C)는 부엌, 거실, 및 청소를 위해 심지어 다른 개인 방과 같은 공유 공간을 포함한 집의 거의 모든 방들 돌아다니는 반면에, 다른 사용자(B, C)는 항상 자신이 소유한 거실과 화장실과 같은 몇 개의 방만을 돌아다닌다. 결과적으로, 행동 모니터링을 기반으로 한 사용자 위치평가는 개인적인 방법으로 훈련되고 실험되어야 한다.
행동 핑거프린트의 효율성을 평가하기 위해, 먼저 본 발명의 사용자 위치 인식 시스템(1)의 파라메터(클러스터링 알고리즘의 입력 k)를 선택한 후 지상 실측 위치정보로 구축한 HMM추론 모델을 사용하여 사용자 위치 인식 시스템(1)의 성능을 평가한다.
먼저, 수동으로 구축한 데이터를 기초로 한 지상 실측 위치정보로 훈련된 제안 시스템의 성능을 평가한다. 정확한 평가를 위해 사용자에 의해 구축한 실제 위치와 행동 핑거프린트로 평가된 위치를 비교한다. 도 18은 행동 핑거프린트를 생성하기 위해 사용되는 클러스터의 수에 따른 영향을 나타낸다. 일반적으로, 클러스터의 수가 크면 미세하게 나누어진 행동 핑거프린트가 인간의 행동을 보다 잘 나타내기 때문에 위치 평가의 정확도가 증가한다. 그러나 클러스터의 수가 20보다 크면 정확도에서 큰 차이가 나지 않는다. 따라서, 25종류의 행동 핑거프린트는 홈에서 인간행동을 나타내는데 충분하기 때문에 클러스터 값 k의 수로 25로 결정하였다.
도 19는 움직임 특징과 소리특징 단독 또는 결합에 대한 정밀도와 리콜의 예측 정확도를 나타낸 것으로, 단지 단일 특징을 사용하는 것의 정밀도는 움직임 특징으로 87%, 소리특징으로 76%이다. 그러나 움직임 특징과 소리 특징 모두를 함께 사용하는 경우 정밀도와 리콜은 90% 이상이다.
도 20은 가옥 내 공간에 따른 본 발명 시스템(1)의 정확도를 나타낸 것이다. 도 20에 나타낸 바와 같이 정밀도와 리콜은 화장실과 부엌을 제외하고 모든 곳에서 90% 이상이고, 화장실과 부엌은 각각 정밀도가 83.9%와 85.0%이었다.
본 발명의 행동기반 사용자 위치 인식 시스템(1)은 수동적 구축없이 WiFi 핑거프린트 기술을 사용하여 행동 핑거프린트의 위치를 자동적으로 라벨링한다. 사용자는 무선 DB를 구축하기 위해 각 방에서 3개의 RSS 측정값을 수집한 후, 실험 동안에 수집된 RSS측정값과 사용자의 위치를 평가하였다. 도 21의 (a)는 홈A에서 수집한 정규화된 RSS 벡터의 유사성을 나타낸다. 대부분의 경우에, 하나의 방에서의 RSS측정값이 다른 방에서의 측정값과 구별된다. 도 21의 (b)는 방 위치에 따른 WiFi 기반 위치결정 시스템의 정확도를 나타낸다. WiFi 기반 위치결정 시스템은 홈 A에서 91%, 홈 B에서는 88%로 산출되었다.
추가적으로, 위치를 정확하게 예측하기 위한 훈련 샘플의 요구 시간과 양을 분석하기 위해 예측 위치에 관한 훈련기간의 영향을 평가하였다. 도 22는 개인에 따라 훈련기간과 예측 정확도의 관계를 나타낸 그래프이다. 5일 동안 수집한 훈련 샘플로, 사용자의 위치를 정확하게 추론하였다. 특히, 사용자 B와 D의 경우에, 단지 2일 동안 수집한 훈련 샘플만으로 홈에서 정확도 80% 이상으로 그들의 홈 행동 및 대응 위치를 충분히 학습하였다. 이러한 결과는 도 15 및 17에 나타낸 바와 같이 사용자 B와 D가 그들의 방에서 매우 간단한 행동과 이동 패턴을 갖는 학생이었기 때문이다.
WPS를 이용한 훈련샘플의 자동 구축의 본 발명의 사용자 위치인식 시스템(1)의 성능을 평가하기 위해 공지된 분류식 방법과 비교하였다. 비교 모델로서, 행동인식과 오디오 분류를 위해 널리 사용되고, 판별분류자인 서포트 벡터 머신(SVM: support vector machine)법을 사용하였다. SVM법을 사용하기 위해서 훈련샘플의 집합(V1, r1),…,(vt,rt)을 적용하였다. vt는 시간 t에서 스마트워치(200)로부터 추출된 특징 벡터이고, rt는 시간 t에서 방 위치에 대한 라벨링이다. 사용자 위치인식 시스템(1)은 2종류의 특징 벡터가 존재하기 때문에 움직임 특징과 소리 특징에 대한 2개의 SVM 기반 분류자를 사용하였다. 각 분리기는 독립적으로 특징 벡터들과 사용자 위치를 분류한다. 그러나 복합 센서로부터의 특징 벡터들은 파워 소모 이슈 때문에 다른 튜티 싸이클로 생성된다. 2개 분류자의 결합 가능성을 최대화한 위치 평가는 다음의 식 [11]에 의해 수행된다.
Figure PCTKR2016007544-appb-M000011
여기서, ri는 방 위치이고, Ck 및 Ca는 각각 움직임 특징과 소리 특징에 대한 SVM 분류자이다.
도 23은 본 발명의 실시예와 SVM기반 분류법의 성능을 비교한 그래프이다. 도 23에 나타낸 바와 같이, 본 발명의 실시예가 어떤 센서를 선택하든 SVM기반 분류방식 보다 우수하다. SVM기반 분류방식에서, 소리특징이 외부 환경요소로 인해 생성된 주변 소음이나 다른 소리가 혼입되기 때문에 단일 움직임 특징을 사용하는 것이 단일 소리 특징을 사용하는 것보다 우수하다.
유사한 행동을 식별하기 위해 가속도 센서와 마이크로폰 이외의 다른 센서 예를 들면 방향특징을 감지하는 자계센서를 이용할 수 있다. 도 24는 다른 공간에서 같은 행동을 구별하기 위한 자계센서로부터의 방향 특징을 나타낸 그래프이다. 도 24와 같이, 화장실에 앉아 있는 행동, 부엌 의자에 앉아 있는 행동, 거실 소파에 앉아 있는 행동은 가속도센서로부터는 유사한 움직임 특징을 갖기 때문에 서로 쉽게 구별되지 않는다. 또한, 몇몇의 행동(사용자 B의 수면과 랩탑사용)은 여러 공간에서 발생한다. 이러한 경우에, 자계 센서로 방향 특징을 결합함으로써 다른 위치에서의 유사한 행동을 쉽게 식별할 수 있다. 본 발명은 상술한 자계센서뿐만 아니라 심박센서, 자이로스코프, 중력센서, 광센서, 디지털나침반, 냄새센서 및 근접센서 등을 적용할 수도 있고, 언급되지 않은 다른 종류의 센서가 사용될 수 있다.
상술한 설명에서 본 발명의 실시예는 기본적으로 웨어러블 기기인 스마트워치(200)가 사용자 상태 및 주변환경에 대한 정보를 감지하고, 모바일폰인 스마트폰(100)에서 WiFi와 블루투스를 이용하여 위치정보를 획득하는 것으로 설명하였다. 추가적으로, 스마트폰(100)은 보다 충분한 배터리용량, 크기, 및 데이터 처리능력을 고려할 때 사용자 상태 및 주변환경에 대한 정보를 감지하는 센서들을 이용하여 제2의 행동 핑거프린트를 획득하여 HMM 기반 사용자 위치인식의 정확도를 향상시킬 수 있다.
HMM 기반 사용자 위치인식은 스마트폰(100)에서 수행할 수도 있고, 단지 스마트폰(100)이 위치정보와 행동특징 정보만을 취득하여 서버로 전송한 후 서버가 수행할 수도 있다.
이하 도 25를 참조하여 본 발명의 실시예에 따른 센서기반 행동인식을 통한 사용자 위치인식방법을 설명하면 다음과 같다.
단계 S110에서, 스마트워치(200)의 센서를 이용하여 사용자 상태 및 주변환경 정보 중 적어도 하나를 감지한다.
단계 S120에서, 상기 감지된 정보를 기초로 행동특징을 추출한다.
단계 S130에서, 상기 추출된 특징을 기초로 행동 핑거프린트를 생성한다.
단계 S140에서, 스마트폰(100)에서 WiFi 통신을 이용하여 스마트폰(100)의 위치 알아내고, 블루투스 통신을 이용하여 스마트워치(200)와 스마트폰(100) 사이의 거리를 측정하여 사용자가 스마트폰(100)과 같은 위치에 있는지를 판단한다.
단계 S150에서, 사용자가 스마트폰(100)과 같은 위치에 있으면, WiFi 통신을 이용한 스마트폰(100)의 위치를 사용자 위치로 판단한다.
단계 S160에서, 단계 S150에서 판단한 사용자위치에서 사용자가 행동한 특징에 해당하는 핑거프린트를 사용자위치와 연계시켜 저장한다. 이 연계된 데이터는 위치와 행동 핑거프린트의 훈련 DB로서 활용할 수 있다.
단계 170에서, 사용자가 스마트폰(100)과 같은 위치에 없으면, 스마트워치(200)에서 보내온 행동 핑거프린트를 기초로 HMM을 이용한 사용자 위치를 인식한다.
도 26은 본 발명의 다른 실시예에 따른 센서기반 행동인식을 통한 사용자 위치인식방법을 나타낸 순서도 이다.
단계 S210에서, 스마트워치(200)의 센서를 이용하여 사용자 상태 및 주변환경 정보 중 적어도 하나를 감지한다.
단계 S220에서, 상기 감지된 정보를 기초로 행동특징을 추출한다.
단계 S230에서, 상기 추출된 특징을 기초로 행동 핑거프린트를 생성한다.
단계 S240에서, 스마트폰(100)의 센서를 이용하여 사용자 상태 및 주변환경 정보 중 적어도 하나를 포함하는 제2정보를 감지한다.
단계 S250에서, 상기 감지된 제2정보를 기초로 제2행동특징을 추출한다.
단계 S260에서, 상기 추출된 특징을 기초로 제2행동 핑거프린트를 생성한다.
단계 S270에서, 스마트폰(100)에서 WiFi 통신을 이용하여 스마트폰(100)의 위치를 알아내고, 블루투스 통신을 이용하여 스마트워치(200)와 스마트폰(100) 사이의 거리를 측정하여 사용자가 스마트폰(100)과 같은 위치에 있는지를 판단한다.
단계 S280에서, 사용자가 스마트폰(100)과 같은 위치에 있으면, WiFi 통신을 이용한 스마트폰(100)의 위치를 사용자 위치로 판단한다.
단계 S290에서, 단계 S280에서 판단한 사용자위치에서 사용자가 행동한 특징에 해당하는 핑거프린트를 사용자위치와 연계시켜 저장한다. 이 연계된 데이터는 위치와 행동 핑거프린트를 이용한 사용자 위치인식, 즉 행동 핑거프린트를 기초로 HMM을 이용한 사용자 위치를 인식에 이용될 수 있다.
단계 300에서, 사용자가 스마트폰(100)과 같은 위치에 없으면, 스마트워치(200)에서 보내온 제1행동 핑거프린트 및 스마트폰(100)의 제2행동 핑거프린트를 기초로 HMM을 이용한 사용자 위치를 인식한다.
이상과 같이 본 발명은 한정된 예시적 실시예와 도면을 통해 설명되었으나, 본 발명은 상기의 예시적 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
본 발명의 실시예에 따른 동작들은 단일 또는 복수의 프로세서에 의해 그 동작이 구현될 수 있을 것이다. 이러한 경우 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령이 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판단 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM이나 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 본 발명에서 설명된 기지국 또는 릴레이의 전부 또는 일부가 컴퓨터 프로그램으로 구현된 경우 상기 컴퓨터 프로그램을 저장한 컴퓨터 판독 가능 기록 매체도 본 발명에 포함된다.
그러므로 본 발명의 범위는 설명된 예시적 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
본 발명의 사용자단말기는 스마트워치나 스마트폰에 적용되어 사용자공간 내의 사용자위치를 감지하여 사물을 제어할 수 있다.

Claims (15)

  1. 센서 기반 행동 인식을 이용하여 사용자위치를 인식하는 사용자단말장치에 있어서,
    사용자의 상태 및 주변환경 중 적어도 하나에 대한 정보를 감지하고 상기 감지정보를 기초로 행동정보를 추출하는 모바일장치로부터 상기 행동정보를 수신하는 통신모듈과;
    상기 수신된 행동정보를 기초로 사용자 행동에 해당하는 사용자 공간에서의 사용자위치를 결정하는 프로세서를 포함하는 것을 특징으로 하는 사용자단말장치.
  2. 제1항에 있어서,
    상기 모바일장치는 가속도센서, 마이크로폰, 심박센서, 자이로스코프, 지자기센서, 중력센서, 광센서, 디지털나침반, 냄새센서 및 근접센서 중 적어도 하나로 구성된 제1센서모듈을 포함하는 것을 특징으로 하는 사용자단말장치.
  3. 제2항에 있어서,
    상기 사용자단말장치는 가속도센서, 마이크로폰, 자이로스코프, 지자기센서, 중력센서, 광센서, 디지털나침반, 냄새센서 및 근접센서 중 적어도 하나로 구성된 제2센서모듈을 포함하는 것을 특징으로 하는 사용자단말장치.
  4. 제3항에 있어서,
    상기 모바일장치는 상기 제1센서모듈에 의해 감지된 제1감지정보를 기초로 제1행동정보를 추출하고,
    상기 프로세서는 상기 제2센서모듈에 의해 감지된 제2감지정보를 기초로 제2행동정보를 추출하고, 상기 제1행동정보와 상기 제2행동정보를 기초로 사용자위치를 결정하는 것을 특징으로 하는 사용자단말장치.
  5. 제1항에 있어서,
    상기 통신모듈은 블루투수 통신모듈을 포함하며,
    상기 프로세서는 상기 모바일장치와의 블루투스 통신 신호세기를 기초로 상기 모바일장치와 상기 사용자단말장치의 거리를 측정하는 것을 특징으로 하는 사용자단말장치.
  6. 제5항에 있어서,
    상기 통신모듈은 와이파이 통신모듈을 포함하며,
    상기 프로세서는 상기 모바일장치와 상기 사용자단말장치의 거리가 소정의 범위 내에 있을 때 사용자와 상기 사용자단말장치가 동일한 위치에 있다고 판단하고, 와이파이 기반 위치추적 시스템(WPS)을 통하여 획득한 사용자단말기의 위치를 사용자위치로 결정하는 것을 특징으로 하는 사용자단말장치.
  7. 제2항에 있어서,
    상기 행동정보는 상기 제1센서모듈로부터 획득한 로우(raw) 감지데이터를 기초로 생성한 행동 핑거프린트(activity fingerprint)를 포함하는 것을 특징으로 하는 사용자단말장치.
  8. 제7항에 있어서,
    상기 행동 핑거프린트는 로우(raw) 감지데이터로부터 추출된 특징을 기초로 군집화(clustering) 알고리즘에 의해 생성되는 것을 특징으로 하는 사용자단말장치.
  9. 제7항에 있어서,
    상기 프로세서는 상기 행동 핑거프린트(activity fingerprint)를 기초로 통계적 마코프 모델(Statistics Markov Model)을 이용하여 사용자위치를 결정하는 것을 특징으로 하는 사용자단말장치.
  10. 제6항에 있어서,
    상기 프로세서는 상기 사용자위치에 해당하는 행동 핑거프린트를 사용자위치와 연계시켜 학습모델로 저장하는 저장부를 더 포함하는 것을 특징으로 하는 사용자단말장치.
  11. 제9항에 있어서,
    상기 행동정보에 해당하는 사용자행동을 행동시간과 연계시킨 사용자 행동이력데이터를 저장하는 저장부를 더 포함하는 것을 특징으로 하는 사용자단말장치.
  12. 센서 기반 행동 인식을 이용하여 사용자위치를 인식하는 시스템에 있어서,
    사용자의 상태 및 주변환경 중 적어도 하나에 대한 정보를 감지하는 센서모듈과, 상기 감지정보를 기초로 행동정보를 추출하는 제1프로세서와, 상기 추출된 행동정보를 전송하는 제1통신모듈을 구비한 모바일장치와;
    상기 제1통신모듈로부터 상기 행동정보를 수신하는 제2통신모듈과, 상기 수신한 행동정보를 기초로 사용자 행동에 해당하는 사용자 공간에서의 사용자위치를 결정하는 제2프로세서를 구비하는 사용자단말장치를 포함하는 것을 특징으로 하는 시스템.
  13. 센서 기반 행동 인식을 이용하여 사용자위치를 인식하는 시스템에 있어서,
    사용자의 상태 및 주변환경 중 적어도 하나에 대한 정보를 감지하는 센서모듈과, 상기 감지정보를 기초로 행동정보를 추출하는 제1프로세서와, 상기 추출된 행동정보를 전송하는 제1통신모듈을 구비한 제1모바일장치와;
    와이파이 통신과 블루투스 통신을 수행하는 제2통신모듈과, 상기 와이파이 통신을 통해 자신의 위치정보를 획득하고 상기 불루투수 통신을 통해 상기 제1모바일장치와의 거리정보를 획득하는 제2프로세서를 구비한 제2모바일장치와;
    상기 제1통신모듈로부터 상기 행동정보를 수신하고 상기 제2통신모듈로부터 상기 위치정보와 상기 거리정보를 수신하는 제3통신모듈과, 상기 거리정보를 기초로 상기 제1모바일장치와 상기 제2모바일장치가 소정 거리 내에 있을 때에 상기 위치정보를 사용자위치로 결정하고, 상기 제1모바일장치와 상기 제2모바일장치가 소정 거리를 벗어났을 때 상기 수신한 행동정보를 기초로 사용자 행동에 해당하는 사용자 공간에서의 사용자위치를 결정하는 제3프로세서를 구비하는 사용자단말장치를 포함하는 것을 특징으로 하는 시스템.
  14. 센서 기반 행동 인식을 이용한 사용자위치 인식방법에 있어서,
    모바일장치가 사용자의 상태 및 주변환경 중 적어도 하나에 대한 정보를 감지하는 단계와;
    상기 감지정보를 기초로 행동정보를 추출하는 단계와;
    상기 행동정보를 사용자단말장치로 전송하는 단계와;
    상기 수신된 행동정보를 기초로 상기 행동정보에 해당하는 사용자 공간에서의 사용자위치를 결정하는 단계를 포함하는 것을 특징으로 하는 사용자위치 인식방법.
  15. 청구항 14항에 기재된 상기 행동정보를 기초로 상기 사용자행동에 해당하는 상기 사용자 공간에서의 상기 사용자위치를 결정하는 프로그램을 기록하고 있는 기록매체.
PCT/KR2016/007544 2015-09-02 2016-07-12 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법 WO2017039140A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US15/754,512 US10341981B2 (en) 2015-09-02 2016-07-12 User terminal device and method for recognizing user'S location using sensor-based behavior recognition

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020150124498A KR102382701B1 (ko) 2015-09-02 2015-09-02 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법
KR10-2015-0124498 2015-09-02

Publications (1)

Publication Number Publication Date
WO2017039140A1 true WO2017039140A1 (ko) 2017-03-09

Family

ID=58187903

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2016/007544 WO2017039140A1 (ko) 2015-09-02 2016-07-12 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법

Country Status (3)

Country Link
US (1) US10341981B2 (ko)
KR (1) KR102382701B1 (ko)
WO (1) WO2017039140A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101914922B1 (ko) 2017-04-10 2018-11-05 한국정보공학 주식회사 위치 추정 방법 및 장치
CN112513786A (zh) * 2018-08-02 2021-03-16 三星电子株式会社 电子装置及其控制方法
CN114037880A (zh) * 2020-07-20 2022-02-11 阿里巴巴集团控股有限公司 一种数据处理方法、装置、电子设备以及存储介质
US11321622B2 (en) * 2017-11-09 2022-05-03 Foundation Of Soongsil University Industry Cooperation Terminal device for generating user behavior data, method for generating user behavior data and recording medium

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10182416B2 (en) * 2016-05-17 2019-01-15 Lenovo Enterprise Solutions (Singapore) Pte. Ltd. Automatically modifying notifications based on distance from a paired wearable smart device
JP6903450B2 (ja) * 2017-02-23 2021-07-14 株式会社Ｎｔｔドコモ ユーザ端末およびセル選択方法
CN108375909A (zh) * 2017-12-19 2018-08-07 海尔优家智能科技（北京）有限公司 一种参数分析方法、装置、设备和计算机可读存储介质
CN110020576A (zh) * 2018-01-10 2019-07-16 中兴通讯股份有限公司 一种居家场景的识别方法、装置及计算机可读存储介质
WO2020094536A1 (en) * 2018-11-05 2020-05-14 Signify Holding B.V. Adapting a lighting control interface based on an analysis of conversational input
CN109615075B (zh) * 2018-12-14 2022-08-19 大连海事大学 一种基于多层聚类模型的居民日常行为识别方法
KR102624327B1 (ko) 2019-03-15 2024-01-15 삼성전자주식회사 IoT 기기의 위치 추론 방법, 이를 지원하는 서버 및 전자 장치
US11550276B1 (en) * 2019-04-24 2023-01-10 Object Video Labs, LLC Activity classification based on multi-sensor input
US20220248168A1 (en) * 2021-02-01 2022-08-04 Incognia Tecnologia da Informação Ltda. Systems and methods for using non-identifiable sensor information to validate user information
US20230273890A1 (en) * 2022-02-28 2023-08-31 Advanced Micro Devices, Inc. Host controller and bus-attached peripheral device power consumption reduction
WO2024090964A1 (ko) * 2022-10-24 2024-05-02 삼성전자주식회사 디스플레이 장치를 제어하는 전자 장치와 이의 동작 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120013842A (ko) * 2010-08-06 2012-02-15 삼성전자주식회사 휴대 단말을 이용한 사용자 행동 측정 장치 및 방법
KR20130048268A (ko) * 2010-08-30 2013-05-09 퀄컴 인코포레이티드 음성 기반 환경 인식
KR20130064129A (ko) * 2010-10-05 2013-06-17 퀄컴 인코포레이티드 환경 정보를 이용한 모바일 디바이스 위치 추정
WO2014209697A1 (en) * 2013-06-28 2014-12-31 Facebook, Inc. User activity tracking system and device
KR20150084756A (ko) * 2013-10-16 2015-07-22 주식회사 와이드벤티지 스마트폰 등에 구비된 센서들을 이용한 위치추적시스템

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6323807B1 (en) 2000-02-17 2001-11-27 Mitsubishi Electric Research Laboratories, Inc. Indoor navigation with wearable passive sensors
US20080008044A1 (en) 2006-07-07 2008-01-10 Patterson Research. Inc. Mobile acoustic event detection, recognition and location system
KR101165537B1 (ko) 2010-10-27 2012-07-16 삼성에스디에스 주식회사 사용자 장치 및 그의 사용자의 상황 인지 방법
KR101328328B1 (ko) 2011-12-28 2013-11-11 숭실대학교산학협력단 로그 데이터를 이용한 장소 추정 장치 및 그 방법
KR101382299B1 (ko) * 2012-05-02 2014-04-10 삼성에스디에스 주식회사 위치 측정 장치 및 방법
KR20150057803A (ko) * 2013-11-20 2015-05-28 한국전자통신연구원 멀티 센서 착용형 디바이스 기반의 인터페이스 시스템 및 그 방법
KR101625103B1 (ko) 2014-01-22 2016-06-07 (주) 엔피홀딩스 멀티터치 감지를 위한 터치스크린 장치 및 그의 구동방법
US10348585B2 (en) * 2015-08-07 2019-07-09 Drayson Technologies (Europe) Limited Power efficient control and operation of a data-sensing peripheral device based on location and mode of transport

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120013842A (ko) * 2010-08-06 2012-02-15 삼성전자주식회사 휴대 단말을 이용한 사용자 행동 측정 장치 및 방법
KR20130048268A (ko) * 2010-08-30 2013-05-09 퀄컴 인코포레이티드 음성 기반 환경 인식
KR20130064129A (ko) * 2010-10-05 2013-06-17 퀄컴 인코포레이티드 환경 정보를 이용한 모바일 디바이스 위치 추정
WO2014209697A1 (en) * 2013-06-28 2014-12-31 Facebook, Inc. User activity tracking system and device
KR20150084756A (ko) * 2013-10-16 2015-07-22 주식회사 와이드벤티지 스마트폰 등에 구비된 센서들을 이용한 위치추적시스템

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101914922B1 (ko) 2017-04-10 2018-11-05 한국정보공학 주식회사 위치 추정 방법 및 장치
US11321622B2 (en) * 2017-11-09 2022-05-03 Foundation Of Soongsil University Industry Cooperation Terminal device for generating user behavior data, method for generating user behavior data and recording medium
CN112513786A (zh) * 2018-08-02 2021-03-16 三星电子株式会社 电子装置及其控制方法
EP3803546A4 (en) * 2018-08-02 2021-08-11 Samsung Electronics Co., Ltd. ELECTRONIC DEVICE AND CONTROL PROCEDURE FOR IT
US11417338B2 (en) 2018-08-02 2022-08-16 Samsung Electronics Co., Ltd. Electronic apparatus and control method for controlling a device in an Internet of Things
CN112513786B (zh) * 2018-08-02 2024-03-22 三星电子株式会社 电子装置及其控制方法
CN114037880A (zh) * 2020-07-20 2022-02-11 阿里巴巴集团控股有限公司 一种数据处理方法、装置、电子设备以及存储介质

Also Published As

Publication number Publication date
US10341981B2 (en) 2019-07-02
KR20170027627A (ko) 2017-03-10
US20180249435A1 (en) 2018-08-30
KR102382701B1 (ko) 2022-04-06

Similar Documents

Publication Publication Date Title
WO2017039140A1 (ko) 센서 기반 행동 인식을 이용하여 사용자의 위치를 인식하는 사용자단말장치 및 방법
Bharti et al. HuMAn: Complex activity recognition with multi-modal multi-positional body sensing
Vallabh et al. Fall detection monitoring systems: a comprehensive review
US20170186446A1 (en) Mouth proximity detection
Zhang et al. A comprehensive study of smartphone-based indoor activity recognition via Xgboost
WO2020085796A1 (en) Electronic device and method for controlling electronic device thereof
BR102013014516A2 (pt) Sistema e método para determinar a localização de dispositivos de comunicação sem fio/pessoas para controlar/ajustar a operação de dispositivos com base na localização
US20180364787A1 (en) Information processing device, information processing method, and program
Xu et al. Attention-based gait recognition and walking direction estimation in wi-fi networks
Lee et al. Non-obstructive room-level locating system in home environments using activity fingerprints from smartwatch
Hung et al. Activity recognition with sensors on mobile devices
Yang et al. Efficient in-pocket detection with mobile phones
Jin et al. iGuard: A real-time anti-theft system for smartphones
WO2020226431A1 (ko) 카메라 모듈 및 무선통신 장치를 활용하여 이벤트 감지를 수행하는 웨어러블 기기
Mainetti et al. An IoT-aware system for elderly monitoring
Misaki et al. Non-contact in-home activity recognition system utilizing Doppler sensors
Dissanayake et al. Indolabel: Predicting indoor location class by discovering location-specific sensor data motifs
Minh et al. Evaluation of smartphone and smartwatch accelerometer data in activity classification
WO2020130633A1 (en) Location based operation method, electronic device and storage medium
Shaikh et al. Automatic life-logging: A novel approach to sense real-world activities by environmental sound cues and common sense
WO2018110996A1 (ko) 전자 장치 및 이를 이용한 알림 제공 방법
He et al. A wearable method for autonomous fall detection based on kalman filter and k-nn algorithm
Weng et al. Fall detection based on tilt angle and acceleration variations
EP4131266A1 (en) Information processing device, information processing method, and information processing program
Sie et al. The design of a smartphone-based fall detection system

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16842106

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 15754512

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16842106

Country of ref document: EP

Kind code of ref document: A1