WO2016148356A1 - 모바일 디바이스 및 그의 센서 제어 방법 - Google Patents

모바일 디바이스 및 그의 센서 제어 방법 Download PDF

Info

Publication number
WO2016148356A1
WO2016148356A1 PCT/KR2015/008637 KR2015008637W WO2016148356A1 WO 2016148356 A1 WO2016148356 A1 WO 2016148356A1 KR 2015008637 W KR2015008637 W KR 2015008637W WO 2016148356 A1 WO2016148356 A1 WO 2016148356A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
data
sensor data
task
mobile device
Prior art date
Application number
PCT/KR2015/008637
Other languages
English (en)
French (fr)
Inventor
황성재
Original Assignee
주식회사 퓨처플레이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 퓨처플레이 filed Critical 주식회사 퓨처플레이
Priority to CN201580001783.8A priority Critical patent/CN106164814A/zh
Priority to US14/862,164 priority patent/US20160265952A1/en
Priority to US14/937,897 priority patent/US9599492B2/en
Priority to KR1020160030525A priority patent/KR101763151B1/ko
Publication of WO2016148356A1 publication Critical patent/WO2016148356A1/ko
Priority to US15/436,863 priority patent/US20170164293A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0261—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level
    • H04W52/0274—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level by switching on or off the equipment or parts thereof
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01D—MEASURING NOT SPECIALLY ADAPTED FOR A SPECIFIC VARIABLE; ARRANGEMENTS FOR MEASURING TWO OR MORE VARIABLES NOT COVERED IN A SINGLE OTHER SUBCLASS; TARIFF METERING APPARATUS; MEASURING OR TESTING NOT OTHERWISE PROVIDED FOR
    • G01D21/00—Measuring or testing not otherwise provided for
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/04—Programme control other than numerical control, i.e. in sequence controllers or logic controllers
    • G05B19/10—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using selector switches
    • G05B19/106—Programme control other than numerical control, i.e. in sequence controllers or logic controllers using selector switches for selecting a programme, variable or parameter
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3296—Power saving characterised by the action undertaken by lowering the supply or operating voltage
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B7/00—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00
    • G08B7/06—Signalling systems according to more than one of groups G08B3/00 - G08B6/00; Personal calling systems according to more than one of groups G08B3/00 - G08B6/00 using electric transmission, e.g. involving audible and visible signalling through the use of sound and light sources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B17/00—Monitoring; Testing
    • H04B17/30—Monitoring; Testing of propagation channels
    • H04B17/309—Measuring or estimating channel quality parameters
    • H04B17/318—Received signal strength
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/30—Services specially adapted for particular environments, situations or purposes
    • H04W4/38—Services specially adapted for particular environments, situations or purposes for collecting sensor information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0261—Power saving arrangements in terminal devices managing power supply demand, e.g. depending on battery level
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/20—Pc systems
    • G05B2219/25—Pc structure of the system
    • G05B2219/25202—Internet, tcp-ip, web server : see under S05B219-40
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0225—Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal
    • H04W52/0245—Power saving arrangements in terminal devices using monitoring of external events, e.g. the presence of a signal according to signal strength
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W52/00—Power management, e.g. TPC [Transmission Power Control], power saving or power classes
    • H04W52/02—Power saving arrangements
    • H04W52/0209—Power saving arrangements in terminal devices
    • H04W52/0251—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity
    • H04W52/0254—Power saving arrangements in terminal devices using monitoring of local events, e.g. events related to user activity detecting a user operation or a tactile contact or a motion of the device
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00—Reducing energy consumption in communication networks
    • Y02D30/70—Reducing energy consumption in communication networks in wireless communication networks

Definitions

  • the present invention relates to a method for controlling a mobile device and a sensor of a mobile device, and in particular, a method for efficiently managing a battery by controlling sensor usage of both devices when an external device and sensor data connected to the sensor data of the mobile device are replaceable. It is about.
  • wearable devices such as smart glasses, smart watches, smart rings, smart necklaces, and smart bands are also commercialized.
  • IoT Internet of Things
  • the limited battery capacity of each electronic device is still not a breakthrough, battery management has become a more important issue, especially with the miniaturization and wear time of wearable devices.
  • the present invention intends to more efficiently manage battery consumption by controlling the use and the use cycle of the sensor when a plurality of communicable devices include the same sensor or perform different tasks using different sensors.
  • a sensor control method of a mobile device comprising: executing an application performing a task (execute); Acquiring first sensor data using a first sensor to perform the task; Receiving second sensor data obtained using a second sensor of at least one external device that is in communication; Comparing the first sensor data with the second sensor data; And if the first sensor data and the second sensor data are replaceable, controlling the operation of the first sensor and the second sensor according to battery conditions of the mobile device and the external device.
  • a sensor control method of a mobile device controlling the operation of the first sensor and the second sensor according to the battery state of the mobile device and the external device, the first sensor; Disabling and using the second sensor data of the second sensor.
  • a sensor control method of a mobile device may include periodically enabling the disabled first sensor to periodically compare the first sensor data and the second sensor data; And periodically controlling driving of the first sensor and the second sensor according to a result of periodically comparing the first sensor data and the second sensor data.
  • the sensor control method of a mobile device when receiving a first state change signal indicating that a state change affecting the second sensor data has occurred from the upper external device, the first sensor The method may further include enabling the first sensor data.
  • a sensor control method of a mobile device comprising: obtaining first task data using the first sensor data; Acquiring second task data using the second sensor data; Comparing the first task data with the second task data; And when the first task data and the second task data are replaceable, controlling the operation of the first sensor and the second sensor according to battery conditions of the mobile device and the external device.
  • Sensor control method of a mobile device when using the second sensor data to perform the task, the time difference (phase difference), phase difference (phase difference) of the second sensor data, Compensating for at least one of a frequency difference and an amplitude difference.
  • the battery state may affect the total battery capacity, remaining battery capacity, charging pattern, battery amount change situation, and battery of each of the mobile device and the external device.
  • the note may include information on at least one of at least one factor, a charging frequency, a charging pattern, and a charging situation.
  • the comparison of the pattern of the first sensor data and the pattern of the second sensor data may include at least one of a time difference, a phase difference, a frequency difference, and an amplitude difference. See.
  • a sensor control method of a mobile device may include receiving second sensor data when receiving a second state change signal indicating that the external device is capable of acquiring the second sensor data. The comparing of the first sensor data and the second sensor data may be performed.
  • a sensor control method of a mobile device may include at least one of a target device indicator, a task indicator, a sensor data indicator, a task data indicator, a sensor data indicator, and a task data window representing the mobile device and the external device.
  • the method may further include providing a user interface (UI).
  • UI user interface
  • the first state change signal is at least one of GPS information of the external device, signal strength information according to the short-range communication connection, command input information for the external device. It may further include.
  • the first sensor The data and the second sensor data may be determined to be replaceable.
  • a mobile device for performing communication with an external device; A first sensor for sensing a state and a change in state of the mobile device or the external environment; A memory unit for storing digital data; And a processing unit that controls the communication unit, the first sensor, and the memory unit, and executes an application to perform a task, wherein the mobile device comprises: the first sensor to perform the task; Obtain first sensor data, receive second sensor data obtained using a second sensor of at least one external device that is communicatively connected, compare the first sensor data and the second sensor data, When the first sensor data and the second sensor data are replaceable, operations of the first sensor and the second sensor may be controlled according to battery conditions of the mobile device and the external mobile device.
  • the mobile device may perform sensor control by disabling the first sensor and using the second sensor data of the second sensor.
  • the mobile device by periodically enabling the disabled first sensor to compare the first sensor data and the second sensor data periodically, the first sensor data and the The driving of the first sensor and the second sensor may be periodically controlled according to a result of periodically comparing second sensor data.
  • a sensor control method of a mobile device comprising: executing an application performing a task (execute); Obtaining first sensor data using the first sensor, and obtaining second task data based on the obtained first sensor data; Obtaining second task data based on second sensor data obtained using a second sensor of at least one external device that is in communication; Comparing the first task data with the second task data; If the first task data and the second task data are replaceable, the method may include controlling operations of the first sensor and the second sensor according to battery conditions of the mobile device and the external mobile device.
  • the mobile device according to the present invention can improve resource usage efficiency by preventing duplicate sensing.
  • the mobile device can prevent the task failure according to the sensor control by comparing the pattern of the sensor data to determine whether it can replace the current sensor data.
  • the mobile device can minimize the sensing gap due to a sudden state change by enabling the sensor periodically or by receiving the state change signal of the sensor. .
  • the mobile device not only compares sensor data, but also compares task data calculated from the sensor data to control sensing to apply sensing distribution to sensors of different types.
  • the mobile device according to the present invention can further finely adjust the resource usage by controlling the sensing by distributing the sensing by the sensor unit or the sensing unit by the device as well as by combining the sensors of different devices.
  • FIG. 1 illustrates a sensing control system according to an embodiment of the present invention.
  • FIG. 2 is a diagram illustrating a sensor usage control method of mobile devices according to an embodiment of the present invention.
  • FIG. 3 is a diagram illustrating a sensor usage control method of mobile devices according to another exemplary embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a sensor use control method according to another exemplary embodiment of the present invention.
  • FIG. 5 is a flowchart illustrating a sensor control method according to an embodiment of the present invention.
  • FIG. 6 shows a sensor control method according to an embodiment of the present invention.
  • FIG. 7 illustrates a sensor control method of a mobile device according to an embodiment of the present invention.
  • FIG. 8 illustrates a method of comparing sensor data according to an embodiment of the present invention.
  • FIG 9 illustrates a method of comparing sensor data according to an embodiment of the present invention.
  • FIG. 10 illustrates a method of comparing and compensating sensor data according to an exemplary embodiment of the present invention.
  • FIG. 11 illustrates a sensor control method of a mobile device according to another embodiment of the present invention.
  • FIG. 12 illustrates a mobile device according to an embodiment of the invention.
  • FIG. 13 illustrates a GUI illustrating sensor / sensing of devices, in accordance with an embodiment of the present invention.
  • FIG. 14 is a flowchart illustrating GUIs of an application for performing a redundant sensing control method according to an exemplary embodiment of the present invention.
  • FIG. 15 illustrates a GUI of an application for performing the redundant sensing control method according to another embodiment of the present invention.
  • FIG. 16 illustrates a redundant sensing resolution situation according to an embodiment of the present invention.
  • the mobile device is any movable electronic device, and is used to mean not only electronic devices such as notebooks, tablet PCs, smart phones, tablets, smart tumblers, but also various wearable devices worn by a user.
  • the wearable device refers to various electronic devices that can be worn by a user, such as smart glasses, smart watches, smart rings, and smart bracelets.
  • the mobile device is described as an example in the present invention, the operation of the present invention is not necessarily limited to the mobile device, and various electronic devices capable of performing embodiments of the present invention may be included in the scope of the present invention.
  • FIG. 1 illustrates a sensing control system according to an embodiment of the present invention.
  • the sensing control system includes a mobile device 1010, various electronic devices 1020 in communication with the mobile device, and a network 1030 that is a communication medium between the mobile device 1010 and external electronic devices 1020. Include.
  • the mobile device 1010 includes at least one sensor and a processing unit, and communicates with various external electronic devices 1020 that are connected in communication to control sensing. Controlling the sensing of the mobile device may be performed by an application, in which case the application may be described as being performed by the processor as the application is stored in memory and driven by the processor.
  • a processor may be referred to as a computing unit or a control unit.
  • the mobile device 1010 determines the type of sensors included in the mobile device 1020 and the external device 1030 or the identity of the data sensed by the sensors to determine whether the mobile device 1020 and the external devices 1030 are located. You can also determine the percentage of sensing.
  • the external electronic devices 1020 may include various electronic devices that are equipped with a sensor and that can communicate with the mobile device 1010 via the network 1030.
  • external electronic devices 1020 may include a smart watch, tablet PC, air conditioner, glasses, smart ring, belt, pedometer, as shown in FIG. ), A smart desk, and the like.
  • the external electronic devices 1020 may include at least one sensor, and may be controlled to perform sensing with the mobile device 1020 according to the type of sensor or the sameness of sensor data.
  • the network 1030 represents various communication networks capable of transmitting and receiving electronic data by wire or wirelessly.
  • the network 1030 may include the Internet, a local area network (LAN), a wireless local area network (WLAN), a wide area network (WAN), wireless fidelity (Wi-Fi), 3G, 4G, and long term evolution (LTE). ),
  • LAN local area network
  • WLAN wireless local area network
  • WAN wide area network
  • Wi-Fi wireless fidelity
  • 3G, 4G 3G
  • LTE long term evolution
  • a communication system using various communication protocols such as Bluetooth, NFC, Zigbee, or a combination thereof is not limited to the above-described embodiments.
  • the mobile device is connected to the external device through a network.
  • the device 1010 that controls the use of the sensor according to a battery state or the like among the plurality of mobile devices may be referred to as a control device.
  • the control device may correspond to devices that provide sensor data using a sensor, or may correspond to a separate device that is networked with these devices and controls the devices.
  • FIG. 2 is a diagram illustrating a sensor usage control method of mobile devices according to an embodiment of the present invention.
  • a user may carry or mount devices A to D, and these devices may correspond to a portable device such as a smart phone or various wearable devices.
  • device A is a smart phone
  • device B is a smart watch
  • device C is a smart band
  • device D is a smart necklace, but the present invention is not limited to this type of device.
  • each of the devices may include the same sensor. That is, the devices A to D may all include a speed measurement sensor. In this case, each device may use its respective speed measurement sensor when performing a specific task of measuring speed. However, in this case, the sensor is used redundantly and the redundant data is collected, so the system corresponding to the set of devices wastes resources. Therefore, in this case, the control device of the system can control the use of the sensor according to a specific criterion, and in the present invention, the use of the sensor is controlled in particular with reference to the battery status of the devices.
  • each device may be in a different battery state.
  • device A may have a battery capacity of 1000
  • device B may have a battery capacity of 300
  • device C may have a battery capacity of 500
  • device D may have a battery capacity of 200.
  • Battery capacity is shown as an example of a relative value.
  • the control device can control only the device with the largest battery capacity (Device A) to use the sensor. In this manner, the present invention can maximize the usage time of each device while a plurality of devices overlap the sensor usage to minimize resource waste.
  • FIG. 3 is a diagram illustrating a sensor usage control method of mobile devices according to another exemplary embodiment of the present invention.
  • a user may carry or mount device A and device B, and these devices may correspond to a portable device such as a smart phone or various wearable devices.
  • device A is a smartphone and device B is a smart watch as an example.
  • each device may have a different battery melt.
  • the battery capacity of device A may be 10, and the battery capacity of device B may be 100.
  • Battery capacity is shown as an example of a relative value. In this case, the frequency of use of the sensors of the two devices can be controlled according to the battery capacity.
  • 3 (b) is an embodiment illustrating a method of controlling a frequency of using a global position system (GPS) sensor when performing a location tracking task using two devices.
  • GPS global position system
  • the control device may control the GPS measurement period as two times / minute for the device A and 100 times / minute for the device B according to the difference in battery capacity.
  • FIG. 3 an embodiment of increasing a frequency of using a sensor of a device having a large battery capacity is illustrated.
  • the control device may control the sensor use in consideration of various battery states as well as a comparison of battery capacities.
  • FIG. 4 is a diagram illustrating a sensor use control method according to another exemplary embodiment of the present invention.
  • each of devices 1 (ID1) to 4 (ID4) includes an illuminance sensor, and the illuminance may be measured in cd (candela) units at T1 and T2 times, respectively.
  • cd candela
  • illuminance measured by device 1 is 30 cd at T1 and 12 cd at T2
  • illuminance measured by device 2 is 120 cd at T1 and 200 cd at T2
  • device 3 The illuminance measured by ID3 is 130 cd at T1 and 210 cd at T2
  • the illuminance measured by device 4 is 10 cd at T1 and 50 cd at T2.
  • the control device should control only the sensors among the devices that can perform the task even if the sensor is controlled.
  • devices having similar sensor data are devices 2 and 3.
  • the control device can thus control the use of the illumination sensor of device 2 and device 3.
  • the power of device 1 corresponds to 500
  • the power of device 2 corresponds to 1000
  • the power of device 3 corresponds to 200
  • the power of device 4 corresponds to 300, respectively.
  • the control device may increase the sensing frequency of the device (device 2) with the highest amount of power or remaining power and reduce the sensing frequency of other devices. Power consumption efficiency can be optimized.
  • the sensing frequency of the device having the highest power or remaining power is increased among the two devices and sensing of another device. By lowering the frequency, the system's sensor usage and power consumption efficiency can be optimized.
  • the illumination intensity specific gravity may be controlled according to the positional characteristic. If the devices are located within a certain distance by using the position sensor, it is possible to minimize the waste of resources by adjusting the sensing frequency between the devices.
  • FIG. 5 is a flowchart illustrating a sensor control method according to an embodiment of the present invention.
  • FIG. 5 illustrates a sensor control method of increasing resource use efficiency by controlling a device in which a control device communicates with devices connected to the control device.
  • the control device starts sensing (S5010).
  • the control device can start sensing to collect sensor data to perform a particular task.
  • the sensor data refers to data collected using at least one sensor, and may correspond to data transmitted from the sensor to the processor or data processed by the sensor signal received from the processor.
  • the sensor data may be data received from one or more sensors.
  • the control device recognizes the identity with the other device (S5020), and if there is an identity, it may determine whether or not the sensing device and the sensing frequency (S5030).
  • the control device can recognize the identity with the external device through various criteria.
  • An embodiment for recognizing identity is as follows.
  • An embodiment of determining whether the sensing and the sensing frequency is as follows.
  • Sensing with the device that can perform the task best for example, when the sensing value is high in accuracy, when the change in the sensing value is large, or when it is close to the whole group).
  • control device may perform a task by combining sensor data (sensor information) acquired through the sensors of the plurality of devices (S5040).
  • FIG. 6 shows a sensor control method according to an embodiment of the present invention.
  • control device 6 illustrates a method of controlling sensor use of a control device and an external device
  • the control device may correspond to device A and the external device may correspond to device B.
  • FIG. 6 when the control device controls the plurality of devices, the device A and the device B may correspond to the controlled device.
  • device A is dedicated to sensing and device B does not sense.
  • the battery A of the device A is 10 and the battery B of the device B is 100, when the task is performed in this manner, the device A is soon depleted of the battery and is turned off, which is not favorable to the user. Accordingly, the control device can control the sensing of the device A and the device B as described with reference to FIG. 5.
  • the control device when the sensor data of the device A and the device B are identical, that is, when the sensor data of both devices are interchangeable, the control device reduces the sensing period of the device A and decreases the sensing period of the device B. You can increase it. And the control device can receive the sensor data from the device B. The reception of such sensor data may be streamed in real time according to a task or may receive data for a specific section at once. Through such sensor control, the task A can be stably performed using the sensing data of the device B while increasing the operation time of the device A.
  • the control device may disable the sensor of device A, enable the sensor of device B, and use only the sensor of device B completely.
  • the sensor of the device B may be used, but the sensor of the device A may be periodically enabled to periodically monitor whether the sensor data of both devices can be replaced.
  • the sensing distribution of the device A and the device B may be set differently according to the battery state.
  • the sameness recognition between the above-described devices may be performed by comparing sensor data of each device.
  • certain devices may be connected in communication and transmit and receive device identification information.
  • the control device may use the identification information to recognize certain preset devices as devices capable of replacing sensor data.
  • the control device may cover more devices and more various situations by comparing sensor data of each device to determine the feasibility of the sensor data.
  • it may be determined whether to control the sensor by comparing the task data obtained using the sensor data as well as the sensor data.
  • FIG. 7 illustrates a sensor control method of a mobile device according to an embodiment of the present invention.
  • FIG. 7 shows a more detailed embodiment that adds / supplements the embodiment of FIG. 5.
  • an application refers to various programs and electronic data executed in a mobile device to perform a specific task.
  • the application can drive the sensors needed to perform the task to collect sensor data.
  • the application can also receive and process data from a running sensor.
  • the mobile device may execute an application that performs a task (S7010).
  • the application can be executed by the user or started by a specific trigger event.
  • the task may describe the collection and display of exercise or calories burned information as an example.
  • the mobile device may acquire first sensor data using the first sensor used to perform the task (S7020).
  • the mobile device may acquire sensor data using at least one sensor for performing the task.
  • the sensor data may represent data received from one sensor or a collection of data received from a plurality of sensors. Accordingly, the first sensor refers to at least one sensor required for performing a task, and the first sensor data also refers to data measured using at least one sensor.
  • the mobile device may receive second sensor data from an external device (S7030).
  • the mobile device may be in communication connection / pairing with at least one external device.
  • the mobile device may receive second sensor data acquired by the external device that is communicatively connected using the second sensor.
  • the second sensor may also represent at least one sensor, and the second sensor data may also represent data measured using at least one sensor.
  • the mobile device may receive second sensor data from the external device when it is in communication connection / pairing with the external device or when the corresponding application is executed.
  • the mobile device may receive second sensor data to determine whether to sense overlapping.
  • the state change signal may indicate a state change that enables an external device to provide second sensor data.
  • the state change signal may indicate a state change of a device related to redundant sensing.
  • the state change signal may be transmitted or received when the device recognizes that the user is worn, or may be transmitted or received when a related data value suddenly changes during the execution of a specific task. For example, if the device recognizes that the device is worn by the user through sensing, or that the user has taken off the device, or suddenly the illumination value becomes zero or decreases during a light sensing task (such as when a wearable device is in a pocket). For example, if the sensor value suddenly becomes zero while the gait is measured to measure calories, a state change signal may be transmitted and received.
  • the mobile device may compare the first sensor data and the second sensor data to determine whether the first sensor data and the second sensor data are replaceable (S7040).
  • the mobile device does not simply determine the compatibility between the devices or whether the sensor is the same, but determines the replaceability of current sensor data. A method of determining the replaceability of the sensor data will be described later.
  • the mobile device may determine that the pattern of the first sensor data and the second sensor data in the specific time interval is interchangeable when the pattern of the first sensor data and the second sensor data match or are similar to the preset range. Whether or not replaceable may be expressed in the present invention as redundant sensing. That is, the mobile device may determine whether the mobile device and the external device are sensing overlapping (S7040). As described above, when the pattern of the first sensor data and the pattern of the second sensor data are similar within a predetermined threshold range at predetermined time intervals, the first sensor data and the second sensor data may be determined to be replaceable.
  • the mobile device controls the operation of the first sensor and the second sensor based on battery conditions of the mobile device and the external device (S7050).
  • the mobile device may control the operation of the sensors in consideration of various battery conditions.
  • the operation state may change frequently. For example, in order to measure gait, the sensor of a smart watch and a smartphone with a large amount of battery remaining is used, but the user may position the smartphone at a fixed place at some point. In this case, the sensor used should be changed to a sensor of the smartwatch to measure gait.
  • the mobile device may periodically enable the device disabled when the sensor is controlled to perform sensor data comparison.
  • the operation of the first sensor and the second sensor may be periodically controlled based on the periodic sensor data comparison. Therefore, the mobile device may perform a task in response to the state change of the mobile device and the external device. In other words, the mobile device can periodically compare sensor data and periodically determine whether it can be replaced to minimize sensing gaps or task failures due to sudden state changes.
  • Receiving the above-described second sensor data (S7030) and determining whether to replace the first sensor data and the second sensor data (S7040) may be referred to as synchronization of the mobile device and the external device.
  • the mobile device may perform the above-described steps S7030 and S7040.
  • FIG. 8 illustrates a method of comparing sensor data according to an embodiment of the present invention.
  • the control device may compare the pattern of the sensor data for a predetermined time interval to determine the replacement possibility.
  • the control device should use the sensor data of the first device capable of performing the task.
  • the control device may perform a task using first data acquired by operating the first sensor of the first device in a time interval of t1 to t2.
  • the pattern of the first sensor data and the second sensor data match. Criteria for matching data patterns may be preset and determined based on a specific threshold range.
  • the first sensor data and the second sensor data are replaceable, and the control device may control the sensor operation of the two devices based on the battery condition. In other words, when a plurality of sensor data patterns match for a predetermined time period or more, the control device may control sensing of these devices to acquire and use sensor data.
  • control device may prioritize the device having a larger battery remaining to obtain sensor data by giving priority to the battery remaining. If the battery level falls within the threshold range or is the same, sensor data may be acquired by first operating a device having a low battery consumption.
  • control device may disable sensing of the first device or the second device, or disable the application itself or the task execution for the task execution.
  • an event that starts the duplicate sensing occurs.
  • Such an event may correspond to wearing or powering on an additional mobile device.
  • Such an event may be recognized by the state change signal described above.
  • a wearable device that is nearby may be worn by the user at a time t2, and the control device having received the state change signal may again perform the determination of whether or not the redundant sensing of FIG. 7 is performed and start sensor control.
  • FIG 9 illustrates a method of comparing sensor data according to an embodiment of the present invention.
  • control device may compare the pattern of the sensor data for a predetermined time interval to determine the replacement possibility.
  • the control device can perform the above-described sensor operation control.
  • the pattern of the first sensor data and the second sensor data does not match in the time interval of t4 to t5.
  • the control device must coordinate sensor control.
  • the first sensor data should be used since the second sensor data is no longer available.
  • the control device compares the plurality of sensor data periodically even in the period t3 to t4, and can adjust the sensor control as soon as a mismatch of the sensor data is found. This sensor data comparison may also be initiated by a trigger signal.
  • a wearable device it is possible to detect whether a user wears it.
  • a smart watch may detect whether a user wears the watch through a sensor on the back of the watch or a buckle.
  • a sudden state change can be detected during task execution. For example, a situation may occur in which a motion / movement is not suddenly sensed while measuring sensor data using a motion / movement sensor.
  • the device in which the state change occurs may transmit a trigger signal informing the control device.
  • a trigger signal that indicates that a state change that affects sensor control has occurred may be referred to as a state change signal.
  • the device transmitting the sensor data using the motion sensor may transmit a state change signal when the motion data suddenly changes.
  • the wearable device may transmit the state change signal.
  • the state change signal is a signal indicating the occurrence of a state change affecting the sensor data being transmitted, and may be transmitted only when the device transmits the sensor data under sensor control.
  • the second device may transmit a state change signal to the control device at the time t4 occurs.
  • the control device may adjust the sensor control by comparing the first sensor data with the second sensor data.
  • the control device may first change the sensor control to use the first sensor data and then perform the above-described steps, such as comparing the sensor data, in order to eliminate the sensing gap caused by performing the task. It may be. That is, when the control device receives the state change signal of the second device, the control device may enable the first sensor of the first device and immediately use the first sensor data. When the control device receives a state change signal, especially when performing sensor control to prevent duplicate sensing, the control device collects sensor data by enabling all the sensors of the available device once, and then determines whether the above-described redundant sensing is performed. You can also do it again.
  • FIG. 10 illustrates a method of comparing and compensating sensor data according to an exemplary embodiment of the present invention.
  • the control device compares the plurality of sensor data, and if there is replaceable sensor data, the control device can control the sensor usage based on the battery condition. However, when comparing or replacing sensor data, sensor data or a change pattern may need to be compensated.
  • the first device may be a wearable device worn on a user's left wrist and the second device may be a mobile device in a right pants pocket.
  • a time delay of t_d may occur in the sensor data of the first device and the second device in motion sensing according to the walking of the user.
  • t_d may be 200 ms. This is based on the time difference between the user's wrist movement and the gait movement, and it should be determined that the patterns of the first sensor data and the second sensor data are not the same but replaceable when measuring the gait of the user.
  • the control device compensates the time delay to compare the sensor data, and may compensate and use the time delay even when the sensor data is replaced. For example, when the first sensor data is used as a reference, the timing may be synchronized with the first sensor data by removing a time difference between t_d intervals in the second sensor data.
  • the first device may be a wearable device worn on a user's left wrist and the second device may be a mobile device in a user's bag.
  • the movement of the user is detected in both devices, but the magnitude of the movement detected by the second device may be smaller than that of the first device.
  • the second sensor data may be substituted for the first sensor data.
  • control device may compensate the amplitude to compare sensor data, and use the compensating amplitude even when the sensor data is replaced. For example, when based on the first sensor data, the second sensor data may be multiplied by a1 / a2.
  • the device may calculate calorie data using heart rate measurement data.
  • the device is a sensor data measured using an electrocardiogram (ECG) sensor, electroencephalogram (EEG) sensor, photoPlethysmoGraphy (PPG) sensor, coral saturation (SPO2) sensor, blood pressure sensor, pulse sensor, etc. Calorie data can be generated.
  • ECG electrocardiogram
  • EEG electroencephalogram
  • PPG photoPlethysmoGraphy
  • SPO2 coral saturation
  • the device may calculate calorie data using a motion sensor.
  • the device may generate calorie data from sensor data measured using acceleration sensors, geomagnetic sensors, GPS sensors, and the like.
  • the device may calculate calorie data from the image data.
  • the device may generate calorie data from sensor data obtained using a camera such as a smartphone, smart glasses or a smart watch.
  • the camera may be classified as an image sensor, and the sensor data obtained through the camera may be image data.
  • the sensor control of the present invention may be performed by comparing task data calculated from the sensor data without comparing the sensor data.
  • Task data represents task related data calculated from sensor data when a specific task is performed through the corresponding application.
  • the task data may be calorie data such as calorie value and a change in calorie value.
  • FIG. 11 illustrates a sensor control method of a mobile device according to another embodiment of the present invention.
  • FIG. 11 is an embodiment extending the embodiment of FIG. 7, and descriptions of the same steps will not be repeated. In the case of FIG. 11, steps S11020 to S11040 may be performed differently from FIG. 7.
  • FIG. 11 illustrates an embodiment in which sensor control is performed based on task data obtained from sensor data, in addition to performing sensor control based on sensor data.
  • the mobile device may process the first sensor data to obtain first task data (S11020). For example, to perform a task of providing a calorie change amount, the mobile device obtains motion sensor data (first sensor data) using a motion sensor (first sensor), and the motion sensor data (first sensor data). The calorie data (first task data) can be obtained by processing.
  • the mobile device may obtain second task data from the second sensor data of the external device (S11030).
  • the external device as a smart watch, may acquire electrocardiogram data (second sender data) using an electrocardiogram sensor (second sensor).
  • the mobile device may receive electrocardiogram data from an external device, and process the received electrocardiogram data to calculate calorie data.
  • the mobile device may receive calorie data calculated from an external device. The calorie data thus obtained may correspond to the second task.
  • the mobile device may compare the first task data and the second task data to determine whether the first task data and the second task data can be replaced (S11040). Whether the mobile device can replace the first task data and the second task data may be determined similarly to the method of comparing / determining the first sensor data and the second sensor data described above.
  • the mobile device may determine that a pattern or a pattern change in a specific section of the first task data and the second task data are interchangeable with each other if they match or are similar within a preset range. As described above, when the pattern of the first task data and the pattern of the second task data are similar within a predetermined threshold range at predetermined time intervals, the first task data and the second task data may be determined to be replaceable.
  • the mobile device may control operations of the first sensor and the second sensor based on battery conditions of the mobile device and the external device (S11050).
  • the sensor control method of the mobile device is as described in other parts of the specification.
  • both the ECG sensor of the smart watch and the PPG sensor of the smart phone may acquire heart rate measurement data, and the gyro sensor / acceleration sensor of the smart watch and the gyro sensor / acceleration sensor of the smart phone both measure movement. Data can be obtained.
  • the control device may compare the first calorie data kcal (ECG_1) obtained from the ECG sensor data ECG_1 of the smart watch with the second calorie data kcal (Gyro_2) obtained from the gyro sensor data Gyro_2 of the smart phone. (Compare [kcal (ECG_1), kcal (Gyro_2)]).
  • ECG_1 ECG sensor data
  • Gyro_2 gyro sensor data Gyro_2 of the smart phone.
  • the control device may use the smartphone's gyro sensor to obtain calorie data (Execute [kcal). (Gyro_2)]).
  • kcal (PPG_1) kcal (Accel_2 + Gyro_2)
  • PPG_1 kcal (Accel_2 + Gyro_2)
  • the control device may select a sensor to be used to provide calorie information in consideration of the battery condition.
  • calorie data may be obtained by enabling the PPG sensor of the smart watch during a time interval for providing calorie information (Execute [kcal (PPG_1)]).
  • the controlling device can generate task data using homogeneous sensors of the controlled devices. For example, the control device calculates calorie data using the heart rate sensor data ECG_1 of the first device and the optical blood flow sensor data PPG_2_ of the second device, and calculates the calorie data from the gyro sensor data Gyro_1 of the first device. The calorie data can be calculated using the acceleration data Accel_2 of the two devices, and they can be compared.
  • the control device may generate calorie data using the ECG sensor of the first device and the acceleration sensor of the second device (Execute [kcal (ECG1, Accel2)]). That is, the smart watch can acquire heart rate measurement data through an ECG sensor in contact with the skin, distribute the use of the sensor to obtain motion measurement data on the smartphone, and generate calorie data using the acquired heart rate data and movement data.
  • the calorie data is generated by the control device, which may be configured to be a smart watch or a smartphone depending on the battery condition and even distribute processing resources.
  • control device may control to obtain sensor data using the ECG sensor of the first device and the gyro sensor of the first device.
  • ECG sensor of the first device For example, when a smartphone is carried in a bag, PPG sensor data of the smartphone is not obtained, and an acceleration sensor value may acquire a similar pattern, but may be less efficient in terms of signal strength / accuracy.
  • the use of the smartphone's sensor can be disabled and tasks can be performed using the smart watch's ECG sensor and gyro sensor.
  • FIG. 12 illustrates a mobile device according to an embodiment of the invention.
  • the mobile device of FIG. 12 represents a control device, and various portable devices and wearable devices may correspond thereto.
  • the mobile device includes a display unit 12010, a communication unit 12020, a processing unit 12030, a sensor unit 12040, and a memory unit 1250.
  • the display unit provides various kinds of graphical user interfaces (GUIs).
  • GUIs graphical user interfaces
  • the display unit may correspond to a display screen and may be provided together with other sensor units. In some embodiments, the display unit may be omitted.
  • the communication unit 12020 may connect to various communication networks to perform communication with external devices.
  • the communication unit may transmit sensor data or task data to an external device or receive sensor data or task data from the external device.
  • the sensor unit 12040 may include at least one sensor and provide sensor data to the processing unit.
  • the sensor unit 12040 includes an acceleration sensor, a linear acceleration sensor, a gyroscope, a gravity sensor, a motion vector such as a rotation vector sensor, a step counter sensor, a step detector sensor, an orientation sensor and a proximity sensor, a magnetic field sensor, a geomagnetic sensor and the like.
  • At least one of the same position sensor or an environmental sensor such as a temperature sensor, an optical sensor, a pressure sensor, and a humidity sensor.
  • Motion sensors, position sensors, and environmental sensors can be classified into different types of sensors.
  • sensor unit 12040 is illustrated as one block in FIG. 12, a plurality of sensor units 12040 may be provided according to the types, positions, and numbers of the sensors as described above.
  • the memory unit 1250 is a volatile / nonvolatile memory device and may store various digital data.
  • the memory unit 1250 may store data for performing an application, and may also store sensor data and task data.
  • the processing unit 1230 may read / execute various digital data stored in the memory unit 1250.
  • the processing unit 12030 may control at least one unit of the display unit 12010, the communication unit 12020, the processing unit 12030, the sensor unit 12040, and the memory unit 1250.
  • output units may be additionally included in the display unit.
  • the display unit may be one embodiment of an output unit.
  • the output unit may include a visual feedback output unit, an audio feedback output unit, and a tactile feedback output unit.
  • the visual feedback output unit may correspond to the display unit 12010.
  • the processing unit 1230 may communicate with an external device, compare sensor data or task data, and control sensor use when there is a possibility of replacement. Processing unit 1230 may control other units to perform the method of the present invention described above.
  • GUI user interface of an application that performs a sensor control method according to the present invention
  • information and feedback provided through the GUI may be provided as voice feedback or tactile feedback.
  • FIG. 13 illustrates a GUI showing sensor / sensing states of devices, in accordance with an embodiment of the present invention.
  • a first device corresponds to a smartphone
  • a second device corresponds to a smart watch
  • a GUI indicates types and states of sensors included / driven by each device.
  • the type of sensor largely includes a motion sensor, a position sensor, and an environment sensor.
  • the motion sensor includes an accelerometer, a linear accelerometer, a gyroscope, a gravity sensor, a rotation vector, a rotation vector, a main motion sensor, a step counter. (Step counter) and Step Dector (Position Sensor), and Position Sensor (Game Rotation), Geomagnetic Sensor (Geomagnetic), Magnetic Field Sensor (MagneticField), Orientation Sensor, Proximity
  • the sensor may include a sensor, and the environmental sensor may include a temperature sensor AMbient, a light sensor, a pressure sensor, a humidity sensor, a temperature sensor, and a temperature sensor.
  • the current smartphone is driving an accelerometer, a linear accelerometer, a gyroscope, a gravity sensor, a rotation vector sensor among motion senses, a game rotation sensor, a magnetic field sensor, a direction sensor among the position sensors, and environmental sensors.
  • the temperature sensor is in operation.
  • accelerometers, gyroscopes, gravity sensors, rotation vector sensors, game rotation sensors, and light sensors are operating. Thus, these six sensor data can occur in an alternative redundant sensing situation.
  • the mobile device can provide information about interlocked devices and sensors used by the devices as shown in FIG. 13.
  • the mobile device may provide the sensing state information of the device to the UI as shown in FIG. 13.
  • a UI may indicate whether the associated devices, the sensors included in the devices, and whether the sensors operate.
  • the UI may also indicate whether or not the redundant sensing depending on the operation of the sensors. However, the fact that the same / similar sensors are operated at the same time does not necessarily mean redundant sensing, and information on the redundant sensing related to such a task may be provided through the following additional UI.
  • FIG. 14 is a flowchart illustrating GUIs of an application for performing a redundant sensing control method according to an exemplary embodiment of the present invention.
  • the GUI of FIG. 14 is an embodiment when the task to be performed is step counting.
  • the GUI of FIG. 14 shows controlled devices (smartphone and smart watch), state of the controlled devices, and sensor data / task data capable of performing redundant sensing.
  • FIG. 14 (a) illustrates a GUI provided when starting redundant sensing control.
  • the GUI indicates that the smartphone and smart watch are executing both step counters.
  • the GUI may indicate whether the tasks capable of sensor control are executed on the controlled devices and the types of tasks as shown in FIG. 14.
  • the GUI shows the synchronization of the smartphone and the smart watch.
  • synchronization may refer to an operation of receiving sensor data or task data of controlled devices. If synchronized, the controlled devices may be displayed with visual effects. In FIG. 14B, the synchronized controlled devices are highlighted in the same color, and a circular arrow indicating synchronization is provided. However, the synchronization may include an operation of determining a controlled device to manually perform a sensor by determining whether or not redundant sensing is performed according to an embodiment.
  • the GUI shows sensor usage and sensor data / task data according to sensing control.
  • the GUI indicates that the smartphone performs sensing by adding a visual effect to the left smartphone.
  • the GUI also indicates that the smartphone provides an arrow and 294 sensor data or task data.
  • the data 294 is step counter data and may correspond to sensor data or task data according to an embodiment.
  • At least one of the smartwatch and the smart phone can visually display the shape of the smartwatch and the smart phone on the screen together with the redundant sensing status, battery status, task type, task performing device, and flow of sensor / task data. have.
  • control device may selectively / combinate visual, auditory, and tactile feedback for information that needs to be notified to the user, and may guide the use of the device to wear or possess in connection with the alarm information such as battery level. It may be. At this time, the synchronization and task performing device may be blocked by user input.
  • the GUI of FIG. 14 (d) is the same as the GUI of FIG. 14 (b), and is illustrated again to show a time series order. As described above, when the control device detects a specific event through a predetermined time interval or state change signal, the control device may again determine whether to sense the overlap. The GUI for performing synchronization again by detecting an event periodically or as shown in FIG. 14 (d).
  • FIG. 14E illustrates a GUI showing sensor usage and sensor data / task data according to sensing control as shown in FIG. 14C.
  • the control device does not perform control according to the redundant sensing.
  • the control device may change the sensing device into a smart watch capable of performing a task only regardless of battery status, task execution efficiency, or the like.
  • the sensing device may be determined by a user input or may further provide a UI for determining the sensing device.
  • FIG. 15 illustrates a GUI of an application for performing the redundant sensing control method according to another embodiment of the present invention.
  • FIG. 15A illustrates a GUI before performing sensor control for redundant sensing after synchronization
  • FIG. 15B illustrates a GUI after performing sensor control for redundant sensing.
  • the GUI includes a target device indicator 15010, a task indicator 15020, a task data indicator 15030, and a task data window 15040.
  • the task data window 15040 may visually represent the accumulation / change of task data and data acquired by the controlled devices using the sensor.
  • the GUI shows the device 15050 that performs sensing in the target device indicator 15010.
  • the sensing performing device may be represented in various ways.
  • the task data window 15060 indicates that only one task data is collected after the redundant sensing control is performed.
  • the user interface may be provided in various ways in at least one of the control device and the controlled devices.
  • the user interface may provide at least one of a shape of devices, a redundant sensing state between the devices, a battery state, a task type, a device (optional sensing information) to perform a task, and a flow of transmission of sensor data / task data.
  • the user interface may selectively / combine notification information necessary for the user in relation to a posture / holding method for preventing redundant sensing and a device selection for selective sensing through visual, auditory, and tactile feedback.
  • a UI may be provided for blocking or inputting the blocked devices for the same task.
  • FIG. 16 illustrates a redundant sensing resolution situation according to an embodiment of the present invention.
  • the above figure shows selective sensing performed according to overlapping sensing between the wearable device 1602 (smartwatch) or the mobile device 1620 (smartphone) and the smart car 1630.
  • the task of overlapping the smart car with the device worn or possessed by the user may be performed. For example: 1) location information from GPS sensors, 2) vehicle interior and HMD image sensor (camera) information, and 3) biometric information (authentication, healthcare tasks) of smartwatches (or HMDs) related to user authentication or healthcare tasks. Related) and biometric information sensed by the handle may be overlapped to perform the task of the same or similar application.
  • the performance sensor of the device worn or possessed may be disabled or stopped and performed in the smart car. Thereafter, the sensor data of the smart car may be stored and transmitted to the wearable or possession device 16010 or 16020 when the vehicle is stopped, the smart car is turned off, or an event of getting off the vehicle occurs.
  • the redundant sensing task may be set to be automatically assigned to the smart car.
  • the battery management information of the smart car may be exchanged together with or included with the battery information.
  • the control device when redundant sensing related to the execution of the same task is detected, the control device does not switch the redundant sensing to the selective sensing mode in consideration of the battery free state and the task execution efficiency (accuracy, result in a short time). In this case, it may be controlled to maintain the redundant sensing state. At this time, the status information according to the selection and selection of the redundant sensing, the battery consumption, the task execution result according to the redundant sensing, etc. may be provided through the display UI.
  • GPS information, signal strength according to the short-range communication connection distance, and command input can also be a criterion for overlapping sensing based on a single / combination result.
  • at least one of the GPS information of the external device, the signal strength information according to the short-range communication connection, and the command input information for the external device may be included in the above state change signal.
  • an application of a redundant sensing task in one device may not be executed or may not exist in the device.
  • the control device may provide a visual, audio, and tactile guide to the UI to automatically execute the application, to induce the execution, or to download the application.
  • Such a UI may be needed to pass the task to another device depending on the battery state.
  • the present invention is used in the field of providing a series of broadcast signals.

Abstract

본 발명의 실시예에 따른 모바일 디바이스는, 외부 디바이스와 통신을 수행하는 통신 유닛; 모바일 디바이스 또는 외부 환경의 상태 및 상태 변화를 센싱하는 제 1 센서; 디지털 데이터를 저장하는 메모리 유닛; 및 상기 통신 유닛, 상기 제 1 센서 및 상기 메모리 유닛을 제어하며, 애플리케이션을 실행하여 태스크를 수행하는 프로세싱 유닛을 포함하고, 센서 데이터들을 비교하여 센서들의 동작을 제어한다.

Description

모바일 디바이스 및 그의 센서 제어 방법
본 발명은 모바일 디바이스 및 모바일 디바이스의 센서 제어 방법으로서, 특히 모바일 디바이스의 센서 데이터와 통신 연결된 외부 디바이스와 센서 데이터가 대체가능한 경우 양 기기의 센서 사용을 제어함으로써 배터리를 효율적으로 관리할 수 있는 방법에 대한 것이다.
랩탑, 스마트폰, 스마트패드 등과 같은 소형 모바일 디바이스들의 상용화에 이어, 스마트 안경, 스마트 워치, 스마트 링, 스마트 목걸이, 스마트 밴드 등과 같은 웨어러블 디바이스들 또한 상용화되고 있다. 그리고 소형화된 센서 및 통신 칩이 보급되어 다양한 디바이스가 데이터를 수집, 통신하는 IoT(Internet of Things) 시대가 도래하게 되었다. 그러나 각 전자 디바이스들의 제한된 배터리의 용량은 여전히 획기적인 발전은 없는 상태이며, 특히 웨어러블 디바이스들의 소형화 및 착용 시간의 증가에 따라 배터리 관리는 더욱 중요한 이슈가 되었다.
다양한 디바이스들에 센서 및 통신 칩이 보급됨에 따라서, 중복하여 센싱된 데이터의 양 또한 증가하게 되었다. 다만, 이러한 중복 센싱은 리소스의 낭비로, 특히 복수의 디바이스가 동일한 태스크를 수행하기 위해 각각의 배터리를 소모하는 것을 방지할 필요가 있다.
따라서 본 발명은 통신 가능한 여러 디바이스들이 동일한 센서를 포함하거나, 다른 센서를 사용하여 동일한 태스크를 수행할 수 있는 경우, 센서의 사용 및 사용 주기를 제어함으로써 배터리 소모를 더욱 효율적으로 관리하고자 한다.
상술한 기술적 과제를 해결하기 위하여, 본 발명의 실시예에 따른 모바일 디바이스의 센서 제어 방법은, 태스크를 수행(perform)하는 애플리케이션을 실행(execute)하는 단계; 상기 태스크를 수행하기 위해 제 1 센서를 사용하여 제 1 센서 데이터를 획득하는 단계; 통신 연결된 적어도 하나의 외부 디바이스의 제 2 센서를 사용하여 획득된 제 2 센서 데이터를 수신하는 단계; 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터를 비교하는 단계; 및 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터가 대체가능한 경우, 상기 모바일 디바이스 및 외부 디바이스의 배터리 상태에 따라서 상기 제 1 센서 및 상기 제 2 센서의 동작을 제어하는 단계를 포함한다.
본 발명의 실시예에 따른 모바일 디바이스의 센서 제어 방법에 있어서, 상기 모바일 디바이스 및 상기 외부 디바이스의 배터리 상태에 따라서 상기 제 1 센서 및 상기 제 2 센서의 동작을 제어하는 단계는, 상기 제 1 센서를 디스에이블하고 상기 제 2 센서의 상기 제 2 센서 데이터를 사용하는 단계를 더 포함할 수 있다. 본 발명의 실시예에 따른 모바일 디바이스의 센서 제어 방법은, 상기 디스에이블된 제 1 센서를 주기적으로 인에이블하여 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터를 주기적으로 비교하는 단계; 및 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터를 주기적으로 비교한 결과에 따라서 상기 제 1 센서 및 상기 제 2 센서의 구동을 주기적으로 제어하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 모바일 디바이스의 센서 제어 방법은, 상기 제 2 센서 데이터에 영향을 주는 상태 변경이 발생하였음을 나타내는 제 1 상태 변경 신호를 상지 외부 디바이스로부터 수신한 경우, 상기 제 1 센서를 인에이블하여 상기 제 1 센서 데이터를 사용하는 단계를 더 포함할 수 있다.
또한, 본 발명의 실시예에 따른 모바일 디바이스의 센서 제어 방법은, 상기 제 1 센서 데이터를 사용하여 제 1 태스크 데이터를 획득하는 단계; 상기 제 2 센서 데이터를 사용하여 제 2 태스크 데이터를 획득하는 단계; 상기 제 1 태스크 데이터 및 상기 제 2 태스크 데이터를 비교하는 단계; 및 상기 제 1 태스크 데이터 및 상기 제 2 태스크 데이터가 대체가능한 경우, 상기 모바일 디바이스 및 외부 디바이스의 배터리 상태에 따라서 상기 제 1 센서 및 상기 제 2 센서의 동작을 제어하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 모바일 디바이스의 센서 제어 방법은, 상기 태스크의 수행에 상기 제 2 센서 데이터를 사용하는 경우, 상기 제 2 센서 데이터의 시간 차이(time difference), 위상 차이(phase difference), 주파수 차이(frequency difference) 및 크기 차이(amplitude difference) 중 적어도 하나를 보상하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 모바일 디바이스의 센서 제어 방법에 있어서, 상기 배터리 상태는, 상기 모바일 디바이스 및 상기 외부 디바이스 각각의 총 배터리 용량, 잔존 배터리 용량, 충전 패턴, 배터리 양 변화 상황, 배터리에 영향을 주는 적어도 하나의 팩터들, 충전 빈도, 충전 패턴, 충전 상황 중 적어도 하나에 대한 정보를 포함할 수 있다. 또한, 상기 제 1 센서 데이터의 패턴 및 상기 제 2 센서 데이터의 패턴의 비교는 시간 차이(time difference), 위상 차이(phase difference), 주파수 차이(frequency difference) 및 크기 차이(amplitude difference) 중 적어도 하나를 참조할 수 있다.
본 발명의 실시예에 따른 모바일 디바이스의 센서 제어 방법에 있어서, 상기 모바일 디바이스 및 상기 외부 디바이스의 배터리 상태에 따라서 상기 제 1 센서 및 상기 제 2 센서의 동작을 제어하는 단계는, 상기 제 2 센서를 디스에이블하고 상기 제 1 센서의 상기 제 1 센서 데이터를 사용하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 모바일 디바이스의 센서 제어 방법은, 상기 외부 디바이스가 상기 제 2 센서 데이터를 획득할 수 있는 상태임을 나타내는 제 2 상태 변경 신호를 수신한 경우, 상기 제 2 센서 데이터를 수신하여 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터를 비교하는 단계를 수행할 수 있다.
본 발명의 실시예에 따른 모바일 디바이스의 센서 제어 방법은, 상기 모바일 디바이스 및 상기 외부 디바이스를 나타내는 대상 디바이스 인디케이터, 태스크 인디케이터, 센서 데이터 인디케이터, 태스크 데이터 인디케이터, 센서 데이터 인디케이터 및 태스크 데이터 윈도우 중 적어도 하나를 제공하는 UI(User Interface)를 제공하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따른 모바일 디바이스의 센서 제어 방법에 있어서, 상기 제 1 상태 변경 신호는 상기 외부 디바이스의 GPS 정보, 근거리 통신 연결에 따른 신호 세기 정보, 외부 디바이스에 대한 명령 입력 정보 중 적어도 하나를 더 포함할 수 있다.
본 발명의 실시예에 따른 모바일 디바이스의 센서 제어 방법에 있어서, 소정의 시간 간격에서 상기 제 1 센서 데이터의 패턴 및 상기 제 2 센서 데이터의 패턴이 기설정된 스레스홀드 범위 안으로 유사한 경우 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터는 대체가능한 것으로 결정될 수 있다.
본 발명의 실시예에 따른 모바일 디바이스는, 외부 디바이스와 통신을 수행하는 통신 유닛; 모바일 디바이스 또는 외부 환경의 상태 및 상태 변화를 센싱하는 제 1 센서; 디지털 데이터를 저장하는 메모리 유닛; 및 상기 통신 유닛, 상기 제 1 센서 및 상기 메모리 유닛을 제어하며, 애플리케이션을 실행하여 태스크를 수행하는 프로세싱 유닛을 포함하는 모바일 기기에 있어서, 상기 모바일 기기는, 상기 태스크를 수행하기 위해 상기 제 1 센서를 사용하여 제 1 센서 데이터를 획득하고, 통신 연결된 적어도 하나의 외부 디바이스의 제 2 센서를 사용하여 획득된 제 2 센서 데이터를 수신하고, 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터를 비교하고, 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터가 대체가능한 경우, 상기 모바일 디바이스 및 외부 모바일 디바이스의 배터리 상태에 따라서 상기 제 1 센서 및 상기 제 2 센서의 동작을 제어할 수 있다.
본 발명의 실시예에 따른 모바일 디바이스는, 상기 제 1 센서를 디스에이블하고 상기 제 2 센서의 상기 제 2 센서 데이터를 사용함으로써 센서 제어를 수행할 수 있다. 또한, 본 발명의 실시예에 따른 모바일 디바이스는, 상기 디스에이블된 제 1 센서를 주기적으로 인에이블하여 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터를 주기적으로 비교하고, 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터를 주기적으로 비교한 결과에 따라서 상기 제 1 센서 및 상기 제 2 센서의 구동을 주기적으로 제어할 수도 있다.
상술한 기술적 과제를 해결하기 위하여, 본 발명의 실시예에 따른 모바일 디바이스의 센서 제어 방법은, 태스크를 수행(perform)하는 애플리케이션을 실행(execute)하는 단계; 제 1 센서를 사용하여 제 1 센서 데이터를 획득하고, 획득된 제 1 센서 데이터에 기초하여 제 2 태스크 데이터를 획득하는 단계; 통신 연결된 적어도 하나의 외부 디바이스의 제 2 센서를 사용하여 획득된 제 2 센서 데이터에 기초하여 제 2 태스크 데이터를 획득하는 단계; 상기 제 1 태스크 데이터 및 상기 제 2 태스크 데이터를 비교하는 단계; 상기 제 1 태스크 데이터 및 상기 제 2 태스크 데이터가 대체가능한 경우, 상기 모바일 디바이스 및 외부 모바일 디바이스의 배터리 상태에 따라서 상기 제 1 센서 및 상기 제 2 센서의 동작을 제어하는 단계를 포함할 수도 있다.
본 발명에 따른 모바일 기기는 중복된 센싱을 방지함으로써 자원 사용 효율을 향상시킬 수 있다.
또한, 본 발명에 따른 모바일 기기는 현재 센서 데이터를 대체할 수 있는 지를 판단하기 위해 센서 데이터의 패턴을 비교함으로써, 센서 제어에 따른 태스크 실패를 방지할 수 있다.
또한, 본 발명에 따른 모바일 기기는 센서를 디스에이블한 경우에도 해당 센서를 주기적으로 인에이블하거나, 센서의 상태 변경 신호를 수신하면 인에이블하는 방식으로 갑작스런 상태 변경에 따른 센싱 공백을 최소화할 수 있다.
또한, 본 발명에 따른 모바일 기기는 센서 데이터를 비교할 뿐 아니라 센서 데이터로부터 산출된 태스크 데이터를 비교하여 센싱을 제어함으로써 종류가 다른 센서들의 경우에도 센싱 분배를 적용할 수 있다.
또한, 본 발명에 따른 모바일 기기는 센서 단위로 센싱을 분배하거나 기기 단위로 센싱을 분배할 뿐 아니라 상이한 기기의 센서들을 조합하는 방식으로 센싱을 제어함으로써 자원 사용을 효율을 더욱 세밀하게 조정할 수 있다.
이하에서 본 발명의 추가적인 효과들을 실시예와 관련하여 더욱 상세히 설명하도록 한다.
본 발명에 대해 더욱 이해하기 위해 포함되며 본 출원에 포함되고 그 일부를 구성하는 첨부된 도면은 본 발명의 원리를 설명하는 상세한 설명과 함께 본 발명의 실시예를 나타낸다.
도 1 은 본 발명의 실시예에 따른 센싱 제어 시스템을 나타낸다.
도 2는 본 발명의 일 실시예에 따른 모바일 디바이스들의 센서 사용 제어 방법을 나타낸 도면이다.
도 3은 본 발명의 다른 일 실시예에 따른 모바일 디바이스들의 센서 사용 제어 방법을 나타낸 도면이다.
도 4는 본 발명의 다른 일 실시예에 따른 센서 사용 제어 방법을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 센서 제어 방법을 나타낸 순서도이다.
도 6은 본 발명의 일 실시예에 따른 센서 제어 방법을 나타낸다.
도 7은 본 발명의 실시예에 따른 모바일 기기의 센서 제어 방법을 나타낸다.
도 8은 본 발명의 실시예에 따른 센서 데이터들의 비교 방법을 나타낸다.
도 9는 본 발명의 실시예에 따른 센서 데이터들의 비교 방법을 나타낸다.
도 10은 본 발명의 실시예에 따른 센서 데이터의 비교 및 보상 방법을 나타낸다.
도 11은 본 발명의 다른 일 실시예에 따른 모바일 디바이스의 센서 제어 방법을 나타낸다.
도 12는 본 발명의 실시예에 따른 모바일 디바이스를 나타낸다.
도 13은 본 발명의 일 실시예에 따른, 디바이스들의 센서/센싱을 나타내는 GUI를 나타낸다.
도 14는 본 발명의 실시예에 따른 중복 센싱 제어 방법을 수행하는 애플리케이션의 GUI들의 진행을 나타낸다.
도 15는 본 발명의 다른 실시예에 따른 중복 센싱 제어 방법을 수행하는 애플리케이션의 GUI를 나타낸다.
도 16은 본 발명의 일 실시예에 따른 중복 센싱 해결 상황을 나타낸다.
본 발명의 바람직한 실시예에 대해 구체적으로 설명하며, 그 예는 첨부된 도면에 나타낸다. 첨부된 도면을 참조한 아래의 상세한 설명은 본 발명의 실시예에 따라 구현될 수 있는 실시예만을 나타내기보다는 본 발명의 바람직한 실시예를 설명하기 위한 것이다. 다음의 상세한 설명은 본 발명에 대한 이해를 제공하기 위해 세부 사항을 포함한다.
본 발명에서 사용되는 대부분의 용어는 해당 분야에서 널리 사용되는 일반적인 것들에서 선택되지만, 일부 용어는 출원인에 의해 임의로 선택되며 그 의미는 필요에 따라 다음 설명에서 자세히 서술한다. 따라서 본 발명은 용어의 단순한 명칭이나 의미가 아닌 용어의 의도된 의미에 근거하여 이해되어야 한다.
본 발명에서 모바일 디바이스는 이동 가능한 임의의 전자디바이스로서, 노트북, 태플릿 PC, 스마트폰, 패블릿, 스마트 텀블러 등의 전자디바이스들뿐만 아니라 사용자가 착용하는 다양한 웨어러블 디바이스를 포함하는 의미로 사용된다. 웨어러블 디바이스는 스마트 안경, 스마트 워치, 스마트 링, 스마트 팔찌 등 사용자가 착용할 수 있는 다양한 전자 디바이스를 의미한다. 본 발명에서 모바일 디바이스를 예로서 설명하지만, 본 발명의 동작이 반드시 모바일 디바이스로 한정되는 것은 아니며, 본 발명의 실시예를 수행할 수 있는 다양한 전자 디바이스가 본 발명의 범위에 포함될 수 있다.
도 1 은 본 발명의 실시예에 따른 센싱 제어 시스템을 나타낸다.
도 1에서, 센싱 제어 시스템은 모바일 디바이스(1010), 모바일 디바이스와 통신하는 다양한 전자 디바이스들(1020) 및 모바일 디바이스(1010)와 외부 전자 디바이스들(1020)간의 통신 매체가 되는 네트워크(1030)를 포함한다.
모바일 디바이스(1010)는 적어도 하나의 센서 및 프로세싱 유닛을 포함하며, 통신 연결된 다양한 외부 전자 디바이스들(1020)과 통신하여 센싱을 제어할 수 있다. 모바일 디바이스의 센싱을 제어는 애플리케이션에 의해 수행될 수 있으며, 이러한 경우 애플리케이션은 메모리에 저장되고 프로세서에 의해 구동되므로 프로세서에 의해 수행되는 것으로 설명할 수 있다. 프로세서는 계산 유닛 또는 제어 유닛으로 지칭할 수도 있다. 모바일 디바이스(1010)는 모바일 디바이스(1020)와 외부 디바이스(1030)들이 포함하는 센서들의 종류 또는 센서들에 의해 센싱된 데이터의 동일성 등을 판단하여 모바일 디바이스(1020)와 외부 디바이스들(1030)의 센싱 비중을 결정할 수도 있다.
외부 전자 디바이스들(1020)은 센서를 구비하며 네트워크(1030)를 통해 모바일 디바이스(1010)와 통신할 수 있는 다양한 전자 디바이스들을 포함할 수 있다. 예를 들면, 외부 전자 디바이스들(1020)은 도 1에서 도시한 바와 같이 스마트 워치, 태플릿(Tablet) PC, 에어 컨디셔너(Air Conditioner), 안경(glasses), 스마트 반지, 벨트, 계보기(pedometer), 스마트 책상(desk) 등을 포함할 수 있다. 이러한 외부 전자 디바이스들(1020)은 적어도 하나의 센서를 포함하며, 센서의 종류 또는 센서 데이터의 동일성 등에 따라서 모바일 디바이스(1020)와 센싱을 함께 수행하도록 제어될 수 있다.
네트워크(1030)는 유선 또는 무선으로 전자 데이터를 송신 및 수신할 수 있는 다양한 통신 네트워크를 나타낸다. 예를 들면, 네트워크(1030)는 인터넷, LAN(Local Area Network), WLAN(Wireless Local Area Network), WAN(Wide Area Network), Wi-Fi(Wireless Fidelity), 3G, 4G, LTE(Long Term Evolution), 블루투스, NFC, Zigbee 등 다양한 통신 프로토콜을 사용하는 통신 시스템 또는 이들의 조합을 나타내며, 상술한 실시예들로 제한되지는 않는다.
이하에서는 모바일 디바이스가 외부 디바이스와 네트워크를 통해 통신 연결된 것을 가정하고 설명하도록 한다. 이하에서, 복수의 모바일 디바이스들 중 배터리 상태 등에 따라서 센서의 사용을 제어하는 디바이스(1010)를 제어 디바이스라고 지칭할 수 있다. 제어 디바이스는 센서를 사용하여 센서 데이터를 제공하는 디바이스들에 해당되거나, 이러한 디바이스들과 네트워크 연결되며 디바이스들을 제어하는 별도의 디바이스에 해당될 수도 있다.
도 2는 본 발명의 일 실시예에 따른 모바일 디바이스들의 센서 사용 제어 방법을 나타낸 도면이다.
도 2에서와 같이, 사용자는 디바이스 A~ 디바이스 D를 소지하거나 장착할 수 있으며, 이러한 디바이스들은 스마트 폰과 같은 포터블 디바이스 또는 다양한 웨어러블 디바이스에 해당할 수 있다. 도 2에서, 디바이스 A는 스마트폰, 디바이스 B는 스마트 워치, 디바이스 C는 스마트 밴드, 디바이스 D는 스마트 목걸이를 예로써 도시하였으나 본 발명이 이러한 디바이스의 종류에 제한되는 것은 아니다.
도 2(a)에서와 같이, 각각의 디바이스들이 동일한 센서를 포함할 수 있다. 즉, 디바이스 A~D가 모두 속도 측정 센서를 포함할 수 있다. 이러한 경우, 속도를 측정하는 특정 태스크를 수행할 때 각 디바이스들이 각각의 속도 측정 센서를 사용할 수 있다. 그러나 이런 경우 센서를 중복하여 사용하며, 중복 데이터를 수집하는 것이므로 이 기기들의 집합에 해당하는 시스템은 리소스를 낭비하는 것이다. 따라서 이러한 경우 시스템의 제어 디바이스는 특정 기준에 따라서 센서의 사용을 제어할 수 있으며, 본 발명에서는 특히 디바이스들의 배터리 상태를 참고하여 센서의 사용을 제어하도록 한다.
도 2(b)에서와 같이, 각각의 디바이스들은 다른 배터리 상태에 있을 수 있다. 도 2(b)에서, 디바이스 A는 배터리 용량이 1000이고, 디바이스 B는 배터리 용량이 300이고, 디바이스 C는 배터리 용량이 500이고, 디바이스 D는 배터리 용량이 200일 수 있다. 배터리 용량은 상대적인 값을 실시예로서 나타낸 것이다. 이러한 경우 제어 디바이스는 배터리 용량이 제일 큰 디바이스(디바이스 A)만 센서를 사용하도록 제어할 수 있다. 이러한 방식으로 본 발명은 복수의 디바이스들이 센서 사용을 중복하여 리소스 낭비를 최소화하면서, 각 디바이스들의 사용 시간을 최대화할 수 있다.
도 3은 본 발명의 다른 일 실시예에 따른 모바일 디바이스들의 센서 사용 제어 방법을 나타낸 도면이다.
도 3에서와 같이 사용자는 디바이스 A 및 디바이스 B를 소지하거나 장착할 수 있으며, 이러한 디바이스들은 스마트 폰과 같은 포터블 디바이스 또는 다양한 웨어러블 디바이스에 해당할 수 있다. 도 3에서, 디바이스 A는 스마트폰, 디바이스 B는 스마트 워치를 예로써 도시하였다.
도 3(a)에서와 같이, 각각의 디바이스들은 상이한 배터리 용랑을 가질 수 있다. 예를 들면, 디바이스 A의 배터리 용량은 10이고, 디바이스 B의 배터리 용량은 100이 될 수 있다. 배터리 용량은 상대적인 값을 실시예로서 나타낸 것이다. 이러한 경우, 배터리 용량에 따라서 두 디바이스의 센서 사용 빈도를 제어할 수 있다.
도 3(b)는 두 디바이스를 사용하여 위치 추척 태스크를 수행하는 경우 GPS(Global Position System) 센서 사용 빈도를 제어하는 방법을 나타낸 실시예이다. 도 3(b)에서와 같이 제어 디바이스는 배터리 용량의 차이에 따라 GPS 측정 주기를 디바이스 A는 2회/분으로, 디바이스 B는 100회/분으로 제어할 수 있다. 도 3에서는 배터리 용량이 큰 디바이스의 센서 사용 빈도를 높이는 실시예를 도시하였으나, 제어 디바이스는 단순히 배터리 용량의 비교 뿐 아니라 다양한 배터리의 상태를 고려하여 센서 사용을 제어할 수 있다.
도 4는 본 발명의 다른 일 실시예에 따른 센서 사용 제어 방법을 나타낸 도면이다.
도 4에서는 조도 센서를 포함하는 디바이스들의 센싱 제어 방법을 나타낸다. 먼저 도 4(a)에서와 같이 각각 디바이스 1(ID1)~디바이스 4(ID4)는 각각 조도 센서를 포함하며, 각각 T1 시간 및 T2 시간에서 조도를 cd(candela) 단위로 측정할 수 있다. 도 4(a)에서 도시한 바와 같이 디바이스 1(ID1)이 측정한 조도는 T1에서 30cd 및 T2에서 12cd이고, 디바이스 2(ID2)가 측정한 조도는 T1에서 120cd 및 T2에서 200cd이고, 디바이스 3(ID3)이 측정한 조도는 T1에서 130cd 및 T2에서 210cd이며, 디바이스 4(ID4)가 측정한 조도는 T1에서 10cd 및 T2에서 50cd이다.
도 4(a)에서와 같이, 센서의 종류가 동일한 것만으로 센서의 사용 여부 또는 사용 빈도를 제어할 수는 없다. 제어 디바이스는 센서를 제어하여도 태스크를 수행할 수 있는 기기들 간의 센서들만을 제어하여야 한다. 도 4(a)의 경우 디바이스들 중 유사한 센서 데이터를 갖는 디바이스들은 디바이스 2와 디바이스 3이다. 따라서 제어 디바이스는 디바이스 2와 디바이스 3의 조도 센서 사용을 제어할 수 있다.
도 4(b)는 디바이스 1(ID1)~디바이스 4(ID4)의 전력량들을 나타낸다. 도 4(b)에서, 디바이스 1의 전력량은 500, 디바이스 2의 전력량은 1000, 디바이스 3의 전력량은 200, 디바이스 4의 전력량은 300에 각각 해당한다. 실시예로서, 디바이스 1~디바이스 4의 센서 데이터가 유사한 경우, 제어 디바이스는 전력량 또는 잔존 전력량이 가장 높은 디바이스(디바이스 2)의 센싱 빈도를 높이고 다른 디바이스들의 센싱 빈도를 낮추는 방식으로 시스템의 센서 사용 및 전력 소모 효율을 최적화할 수 있다. 다른 실시예로서, 도 4(a)에서와 같이 디바이스 2 및 디바이스 3 만이 센싱 결과를 대체할 수 있는 경우, 두 디바이스들 중 전력랑 또는 잔존 전력량이 가장 높은 디바이스의 센싱 빈도를 높이고 다른 디바이스의 센싱 빈도를 낮추는 방식으로 시스템의 센서 사용 및 전력 소모 효율을 최적화할 수 있다.
다른 실시예로서, 위치적 특성에 따라서 조도 센싱 비중을 제어할 수도 있다. 위치 센서를 사용하여 디바이스들이 특정 거리 내에 위치하는 경우에는 해당 기기들 간의 센싱 빈도를 조절하여 자원 낭비를 최소화할 수도 있다.
도 5는 본 발명의 일 실시예에 따른 센서 제어 방법을 나타낸 순서도이다.
도 5는 제어 디바이스가 통신 연결된 기기들과 제어 디바이스 자신의 센서들을 제어함으로써 자원 사용 효율을 높이는 센서 제어 방법을 나타낸다.
제어 디바이스는 센싱을 시작한다(S5010). 제어 디바이스는 특정 태스크를 수행하기 위해 센싱을 시작하여 센서 데이터를 수집할 수 있다. 본 명세서에서 센서 데이터란 적어도 하나의 센서를 사용하여 수집한 데이터를 의미하며, 센서에서 프로세서로 전송하는 데이터 또는 프로세서에서 수신한 센서 신호를 처리한 데이터에 해당할 수 있다. 센서 데이터는 하나 또는 복수의 센서로부터 수신한 데이터가 될 수도 있다.
제어 디바이스는 타 디바이스와의 동일성을 인식하고(S5020), 동일성이 있으면 센싱 여부 및 센싱 빈도를 결정할 수 있다(S5030). 제어 디바이스는 다양한 기준을 통해 외부 디바이스와의 동일성을 인식할 수 있다. 동일성을 인식하는 실시예는 다음과 같다.
1) 제어 디바이스와 외부 디바이스가 기설정된 거리 내에 위치한 경우
2) 제어 디바이스의 센서 데이터와 외부 디바이스의 센서 데이터가 기설정된 시간동안 유사한 값/패턴을 갖는 경우
3) 외부 디바이스가 제어 디바이스와 동일한 센서 또는 동종의 센서를 포함하는 경우
4) 외부 디바이스와 제어 디바이스가 동일한 디바이스로 설정된 경우
센싱 여부 및 센싱 빈도를 결정하는 실시예는 다음과 같다.
1) 가장 태스크를 잘 수행할 수 있는 디바이스(예를 들면, 센싱값의 정밀도가 높은 경우, 센싱값의 변화가 큰 경우, 전체 평군에 가까운 경우 등)로 센싱을 수행
2) 남은 배터리 용량에 따라서 센싱 빈도를 결정(예를 들면, 배터리 용량이 작을수록 빈도를 줄임)
3) 과거 배터리 충전 빈도에 따라 결정
4) 디바이스들의 위치에 의해 결정
5) 사용자 설정에 의해 결정하거나 상술한 기준들을 조합하여 고려함
마지막으로 제어 디바이스는 복수의 디바이스들의 센서들을 통해 획득한 센서 데이터(센서 정보)를 조합하여 태스크를 수행할 수 있다(S5040).
도 6은 본 발명의 일 실시예에 따른 센서 제어 방법을 나타낸다.
도 6은 제어 디바이스와 외부 디바이스의 센서 사용 제어 방법을 나타내며, 제어 디바이스가 디바이스 A에 해당하고, 외부 디바이스가 디바이스 B에 해당할 수 있다. 다만 상술한 바와 같이 제어 디바이스가 복수의 디바이스를 제어하는 경우 디바이스 A 및 디바이스 B가 피제어 디바이스에 해당할 수도 있다.
도 6(a)에서, 디바이스 A가 센싱을 전담하고, 디바이스 B는 센싱을 하지 않는다. 다만, 디바이스 A의 배터리 잔량은 10이고 디바이스 B의 배터리 잔량은 100이므로, 이러한 방식으로 태스크를 수행할 경우 디바이스 A는 곧 배터리가 고갈되어 꺼질 수 밖에 없고, 이러한 상황은 사용자에게 우호적이지 않다. 따라서 제어 디바이스는 도 5에서 설명한 바와 같이 디바이스 A와 디바이스 B의 센싱을 제어할 수 있다.
도 6(b)에서와 같이, 디바이스 A의 센서 데이터와 디바이스 B가 동일성이 있는 경우 즉 양 디바이스들의 센서 데이터가 상호 대체가능한 경우, 제어 디바이스는 디바이스 A의 센싱 구간을 줄이고 디바이스 B의 센싱 구간을 늘릴 수 있다. 그리고 제어 디바이스는 디바이스 B로부터 센서 데이터를 수신할 수 있다. 이러한 센서 데이터의 수신은 태스크에 따라 실시간으로 스트리밍되거나 특정 구간에 대한 데이터를 한 번에 수신할 수도 있다. 이러한 센서 제어를 통해 디바이스 A의 동작 시간을 증가시키면서도 디바이스 B의 센싱 데이터를 사용하여 태스크를 안정적으로 수행할 수 있는 것이다.
제어 디바이스는 디바이스 A의 센서를 디스에이블시키고, 디바이스 B의 센서를 인에이블시켜, 완전히 디바이스 B의 센서만을 사용할 수도 있다. 또한, 디바이스 B의 센서를 사용하되, 디바이스 A의 센서를 주기적으로 인에이블시켜 주기적으로 양 디바이스들의 센서 데이터의 대체가능 여부를 모니터링할 수도 있다. 디바이스 A와 디바이스 B의 센싱 분배는 배터리 상태에 따라서 다르게 설정될 수 있다.
상술한 디바이스들 간의 동일성 인식은 각 디바이스들의 센서 데이터를 비교함으로써 수행될 수도 있다. 예를 들면, 특정 디바이스들이 통신연결되며 디바이스 식별 정보를 송수신할 수 있다. 제어 디바이스는 식별 정보를 사용하여 기설정된 특정 디바이스들을 센서 데이터를 대체할 수 있는 디바이스들로 인식할 수도 있다. 그러나 제어 디바이스는 각 디바이스들의 센서 데이터를 비교하여 센서 데이터의 대체가능성을 판단함으로써, 더욱 많은 디바이스들과 더욱 다양한 상황들을 커버할 수도 있다. 또한, 센서 데이터 뿐 아니라 센서 데이터를 사용하여 획득한 태스크 데이터를 비교함으로써 센서 제어 여부를 결정할 수도 있다. 이하에서 이러한 방법들에 대하여 더욱 상세히 설명하도록 한다.
도 7은 본 발명의 실시예에 따른 모바일 기기의 센서 제어 방법을 나타낸다.
도 7은 도 5의 실시예를 추가/보충하는 더욱 상세한 실시예를 나타낸다.
모바일 디바이스의 특정 기능은 애플리케이션에 의해 실행될 수 있다. 본 명세서에서 애플리케이션이란 특정 태스크를 수행하기 위하여 모바일 기기에서 실행되는 다양한 프로그램, 전자 데이터를 나타낸다. 애플리케이션이 실행되면, 애플리케이션은 태스크를 수행하는데 필요한 센서를 구동하여 센서 데이터를 수집할 수 있다. 다만 애플리케이션은 구동중인 센서의 데이터를 수신하여 처리할 수도 있다.
먼저 모바일 디바이스는 태스크를 수행하는 애플리케이션을 실행할 수 있다(S7010). 애플리케이션은 사용자에 의해 실행되거나 특정 트리거 이벤트에 의해 시작될 수 있다. 실시예로서, 태스크는 운동량 또는 소모 칼로리 정보의 수집 및 디스플레이를 예로서 설명할 수 있다.
모바일 디바이스는 태스크 수행에 사용되는 제 1 센서를 사용하여 제 1 센서 데이터를 획득할 수 있다(S7020). 모바일 디바이스는 태스크 수행을 위해 적어도 하나의 센서를 사용하여 센서 데이터를 획득할 수 있다. 센서 데이터는 센서 하나로부터 수신한 데이터 또는 복수의 센서로부터 수신한 데이터의 집합을 나타낼 수 있다. 따라서 제 1 센서는 태스크 수행에 필요한 적어도 하나의 센서를 지칭하며, 제 1 센서 데이터 또한 적어도 하나의 센서를 사용하여 측정한 데이터를 지칭하는 것이다.
모바일 디바이스는 외부 디바이스로부터 제 2 센서 데이터를 수신할 수 있다(S7030). 모바일 디바이스는 적어도 하나의 외부 디바이스와 통신 연결/페어링될 수 있다. 모바일 기기는 통신 연결된 외부 디바이스가 제 2 센서를 사용하여 획득한 제 2 센서 데이터를 수신할 수 있다. 제 2 센서 또한 적어도 하나의 센서를 나타낼 수 있으며, 제 2 센서 데이터 또한 적어도 하나의 센서를 사용하여 측정한 데이터를 나타낼 수 있다. 모바일 디바이스는 외부 디바이스와 통신 연결/페어링될 때 또는 해당 애플리케이션이 실행될 때 외부 디바이스로부터 제 2 센서 데이터를 수신할 수 있다. 또한, 모바일 디바이스는 외부 디바이스로부터 상태 변경 신호를 수신한 경우 제 2 센서 데이터를 수신하여 중복 센싱 여부를 결정할 수도 있다. 상태 변경 신호는 외부 디바이스가 제 2 센서 데이터를 제공할 수 있게 되는 상태 변경을 나타낼 수 있다.
본 발명에서 상태 변경 신호는 중복 센싱과 관련한 디바이스의 상태 변경을 나타낼 수 있다. 상태 변경 신호는 디바이스가 사용자에 착용되었음을 인식한 경우 송수신되거나, 특정 태스크 수행 도중 관련 데이터 값이 갑자기 변경된 경우 등에 송수신될 수 있다. 예를 들면 디바이스가 센싱을 통해 사용자에게 착용됨을 인식하거나 사용자가 디바이스를 벗었음을 인식한 경우, 또는 조도 센싱 태스크 중 갑자기 조도 값이 0이 되거나 작아진 경우(웨어러블 기기가 주머니에 들어간 경우 등), 칼로리 측정을 위해 걸음걸이 측정 중 갑자기 운동 관련 센서값이 0이 된 경우 등에 상태 변경 신호가 송수신될 수 있다.
모바일 디바이스는 제 1 센서 데이터 및 제 2 센서 데이터를 비교하여, 제 1 센서 데이터 및 제 2 센서 데이터가 대체가능한지 여부를 결정할 수 있다(S7040). 본 발명에서 모바일 디바이스는 단순히 기기 간의 호환성 또는 센서의 동일 여부를 결정하는 것이 아니라, 현재 센서 데이터들의 대체가능성을 결정한다. 센서 데이터의 대체가능성을 결정하는 방법에 대해서는 후술하도록 한다. 모바일 디바이스는 특정 시간 구간에서 제 1 센서 데이터 및 제 2 센서 데이터의 패턴이 기설정된 범위로 일치 또는 유사한 경우 상호 대체가능한 것으로 결정할 수 있다. 대체가능 여부는 본 명세서에서 중복 센싱 여부로 표현할 수도 있다. 즉 모바일 디바이스는 모바일 디바이스와 외부 디바이스가 중복 센싱중인지 여부를 결정할 수도 있다(S7040). 상술한 바와 같이, 소정의 시간 간격에서 제 1 센서 데이터의 패턴 및 제 2 센서 데이터의 패턴이 기설정된 스레스홀드 범위 안으로 유사한 경우 제 1 센서 데이터 및 제 2 센서 데이터는 대체가능한 것으로 결정될 수 있다.
모바일 디바이스는 제 1 센서 데이터 및 제 2 센서 데이터가 대체 가능한 경우, 모바일 디바이스 및 외부 디바이스의 배터리 상태에 기초하여 제 1 센서 및 제 2 센서의 동작을 제어한다(S7050). 모바일 디바이스는 도 2 내지 도 6에서 설명한 바와 같이 다양한 배터리 상태를 고려하여 센서들의 동작을 제어할 수 있다. 다만, 모바일 기기들의 경우 동작 상태가 자주 변할 수 있다. 예를 들면 걸음걸이를 측정하기 위해 스마트워치와 스마트폰 중 남은 배터리 양이 많은 스마트폰의 센서를 사용하였으나, 사용자가 어느 시점에서 스마트폰을 고정된 장소에 위치시킬 수 있다. 이러한 경우에는 걸음걸이 측정을 위해 사용 센서를 스마트워치의 센서로 변경하여야 한다.
이를 위하여 모바일 디바이스는 센서 제어 시 디스에이블시킨 디바이스를 주기적으로 인에이블하여 센서 데이터 비교를 수행할 수 있다. 그리고 주기적인 센서 데이터 비교에 기초하여 제 1 센서 및 제 2 센서의 동작을 주기적으로 제어할 수 있다. 따라서 모바일 디바이스는 모바일 디바이스 및 외부 디바이스의 상태 변경에 대응하여 태스크를 수행할 수 있다. 다시 말하면 모바일 디바이스는 센서 데이터를 주기적으로 비교하고 대체 가능 여부를 주기적으로 결정함으로써 갑작스런 상태 변경에 따른 센싱 공백 또는 태스크 실패를 최소화할 수 있다.
상술한 제 2 센서 데이터의 수신(S7030) 및 제 1 센서 데이터와 제 2 센서 데이터의 대체 가능 여부 결정 단계(S7040)는 모바일 디바이스와 외부 디바이스의 동기화로 지칭할 수도 있다. 실행된 애플리케이션에서 동기화 UI를 제공하고, 사용자에 의해 동기화 실행이 입력되면 모바일 디바이스는 상술한 단계들(S7030, S7040)을 수행할 수 있다.
이하에서는 제 1 센서 데이터 및 제 2 센서 데이터의 대체가능성을 결정하는 방법에 대하여 더 상세히 설명하도록 한다.
도 8은 본 발명의 실시예에 따른 센서 데이터들의 비교 방법을 나타낸다.
도 8은 제 1 디바이스의 센서 데이터와 제 2 디바이스의 센서 데이터를 나타내며, 제어 디바이스는 일정 시간 구간에 대한 센서 데이터들의 패턴을 비교하여 대체 가능성을 결정할 수 있다.
도 8에서, t1~t2의 시간 구간에서는 제 1 디바이스의 제 1 센서 데이터와 제 2 디바이스의 제 2 센서 데이터의 패턴이 일치하지 않는다. 따라서 이러한 경우에는 제 1 센서 데이터와 제 2 센서 데이터가 대체가능하지 않으므로, 제어 디바이스는 태스크를 수행할 수 있는 제 1 디바이스의 센서 데이터를 사용하여야 한다. 도 8에서, 제어 디바이스는 t1~t2의 시간 구간에서는 제 1 디바이스의 제 1 센서를 동작시켜 획득한 제 1 데이터를 사용하여 태스크를 수행할 수 있다.
t2~t3의 시간 구간에서는 제 1 센서 데이터와 제 2 센서 데이터의 패턴이 일치한다. 데이터 패턴의 일치에 대한 기준은 기설정되어 특정 스레스홀드 범위를 기준으로 결정될 수 있다. 이러한 경우 제 1 센서 데이터 및 제 2 센서 데이터는 대체가능한 것으로, 제어 디바이스는 배터리 상태에 기초하여 두 기기의 센서 동작을 제어할 수 있다. 다시 말하면, 일정 시간 구간 이상 복수의 센서 데이터 패턴이 일치하는 경우, 제어 디바이스는 이러한 디바이스들의 센싱을 제어하여 센서 데이터를 획득 및 사용할 수 있다.
실시예로서 제어 디바이스는 배터리 잔량을 우선시하여 배터리 잔량이 더 큰 디바이스를 우선적으로 동작시켜 센서 데이터를 획득할 수 있다. 그리고 배터리 잔량이 스레스홀드 범위 내로 떨어지거나 동일하면 배터리 소모 속도가 늦은 디바이스를 우선적으로 동작시켜 센서 데이터를 획득할 수 있다.
실시예로서, 제어 디바이스는 제 1 디바이스 또는 제 2 디바이스의 센싱을 디스에이블하거나, 태스크 수행을 위한 애플리케이션 자체 또는 태스크 수행을 디스에이블할 수도 있다.
t2 시점에 중복 센싱이 시작되는 이벤트가 발생한다. 이러한 이벤트는 추가 모바일 디바이스의 착용 또는 전원 온 등에 해당할 수 있다. 이러한 이벤트는 상술한 상태 변경 신호에 의해 인식될 수 있다. 도 8의 경우 근처에 있던 웨어러블 기기가 t2 시점에 사용자에게 착용될 수 있으며, 이러한 상태 변경 신호를 수신한 제어 디바이스가 다시 도 7의 중복 센싱 여부 판단을 수행하고, 센서 제어를 시작할 수 있다.
도 9는 본 발명의 실시예에 따른 센서 데이터들의 비교 방법을 나타낸다.
도 9는 제 1 디바이스의 센서 데이터와 제 2 디바이스의 센서 데이터를 나타내며, 제어 디바이스는 일정 시간 구간에 대한 센서 데이터들의 패턴을 비교하여 대체 가능성을 결정할 수 있다.
도 9에서, t3~t4의 시간 구간에서는 제 1 디바이스의 제 1 센서 데이터와 제 2 디바이스의 제 2 센서 데이터의 패턴이 일치한다. 따라서 이러한 경우에는 제 1 센서 데이터와 제 2 센서 데이터가 대체가능하므로, 제어 디바이스는 상술한 센서 동작 제어를 수행할 수 있다.
t4~t5의 시간 구간에서는 제 1 센서 데이터와 제 2 센서 데이터의 패턴이 일치하지 않는다. 따라서 제어 디바이스는 센서 제어를 조정하여야 한다. 예를 들면, 더이상 제 2 센서 데이터를 사용할 수 없으므로 제 1 센서 데이터를 사용해야 한다.
이러한 센서 데이터의 불일치를 적절한 시점에 디텍팅하지 못하면 오히려 센서 제어로 인해 태스크 수행에 문제를 야기할 수 있다. 따라서 제어 디바이스는 t3~t4 구간에서도 주기적으로 복수의 센서 데이터를 비교하며, 센서 데이터의 불일치 시점이 발견되는 대로 센서 제어를 조정할 수 있다. 또한, 이러한 센서 데이터 비교는 트리거 신호에 의해 개시될 수도 있다.
웨이러블 기기의 경우 사용자의 착용 여부를 감지할 수 있다. 예를 들면, 스마트 워치의 경우 시계 후면 또는 버클부의 센서를 통해 사용자의 착용 여부를 감지할 수 있다. 모바일 기기의 경우에도 태스크 수행 중 급격한 상태 변화를 감지할 수 있다. 예를 들면 모션/무브먼트 센서를 사용한 센서 데이터 측정 중에 갑자기 모션/무브먼트가 센싱되지 않는 상황이 발생할 수 있다. 이러한 상태 변경이 발생하는 경우 상태 변경이 발생한 디바이스가 제어 디바이스로 이를 알려주는 트리거 신호를 전송할 수도 있다. 센서 제어에 영향을 주는 상태 변경이 일어났음을 알려주는 트리거 신호를 상태 변경 신호라고 지칭할 수도 있다.
실시예로서, 모션 센서를 사용하여 센서 데이터를 전송중인 디바이스는 모션 데이터가 갑자기 변화하는 경우 상태 변경 신호를 전송할 수 있다. 웨어러블 기기의 경우 사용자의 기기 탈착/벗음을 감지하는 경우 이를 상태 변경 신호로 전송할 수도 있다. 상태 변경 신호는 전송 중인 센서 데이터에 영향을 주는 상태 변경의 발생을 나타내는 신호로서, 디바이스가 센서 제어 하에서 센서 데이터를 전송하는 경우에만 전송할 수도 있다.
도 9에서도, t4의 이벤트 발생 시점에 제 2 디바이스가 제어 디바이스로 상태 변경 신호를 전송할 수 있다. 이러한 경우 제어 디바이스는 제 1 센서 데이터와 제 2 센서 데이터를 비교하여 센서 제어를 조정할 수 있다.
다른 실시예로서, 상태 변경 신호를 수신하면 태스크 수행에 따른 센싱 공백을 없애기 위해 제어 디바이스는 제 1 센서 데이터를 사용하도록 센서 제어를 먼저 변경하고, 후속으로 상술한 센서 데이터 비교 등의 단계들을 수행할 수도 있다. 즉 제어 디바이스는 제 2 디바이스의 상태 변경 신호를 수신하면 제 1 디바이스의 제 1 센서를 인에이블하여 바로 제 1 센서 데이터를 사용할 수도 있다. 제어 디바이스는 특히 중복 센싱 방지를 위한 센서 제어를 수행하는 경우 상태 변경 신호를 수신하면 가용한 디바이스의 센서들을 일단 모두 인에이블하여 센서 데이터를 수집하고, 그 후 상술한 중복 센싱 여부를 판단하는 동작을 다시 수행할 수도 있다.
도 10은 본 발명의 실시예에 따른 센서 데이터의 비교 및 보상 방법을 나타낸다.
제어 디바이스가 복수의 센서 데이터를 비교하고, 그 중 대체가능한 센서 데이터들이 있으면 제어 디바이스는 배터리 상태에 기초하여 센서 사용을 제어할 수 있다. 다만, 센서 데이터를 비교하거나 대체하는 경우 센서 데이터 또는 변화 패턴이 보상되어야 할 수도 있다.
도 10(a)는 센서 데이터들 간에 시간 딜레이가 있는 경우를 나타낸다. 예를 들면 제 1 디바이스는 사용자의 왼쪽 손목에 착용된 웨어러블 디바이스이고 제 2 디바이스는 우측 바지 주머니에 들어있는 모바일 기기가 될 수 있다. 이러한 경우 사용자의 걸음걸이에 따른 모션 센싱에 있어 제 1 디바이스 및 제 2 디바이스의 센서 데이터에는 t_d 만큼의 시간 딜레이가 발생할 수 있다. 실시예로서 t_d는 200ms가 될 수 있다. 이는 사용자의 팔목 운동과 걸음걸이 운동의 시간차에 기반한 것으로 사용자의 걸음걸이 측정시 제 1 센서 데이터와 제 2 센서 데이터의 패턴이 동일하지는 않지만 대체가능한 것으로 결정되어야 한다.
도 10(a)와 같은 경우 제어 디바이스는 시간 딜레이를 보상하여 센서 데이터들을 비교하고, 센서 데이터를 대체하여 사용하는 경우에도 시간 딜레이를 보상하여 사용할 수 있다. 예를 들면 제 1 센서 데이터를 기준으로 하는 경우 제 2 센서 데이터에 t_d 만틈의 시간차를 제거하여 타이밍을 제 1 센서 데이터에 동기화할 수 있다.
도 10(b)는 센서 데이터들 간에 진폭 차이가 있는 경우를 나타낸다. 예를 들면 제 1 디바이스는 사용자의 왼쪽 손목에 착용된 웨어러블 디바이스이고 제 2 디바이스는 사용자의 가방속에 들어있는 모바일 기기가 될 수 있다. 이러한 경우 사용자의 움직임은 양 디바이스들에서 모두 감지되나, 제 2 디바이스에서 감지하는 움직임의 크기가 제 1 디바이스에 비해서 작을 수 있다. 그러나 태스크가 센서 데이터의 진폭 및 진폭에 대한 민감도에 크게 의존하지 않는 태스크라면 제 2 센서 데이터로 제 1 센서 데이터를 대체할 수 있다.
도 10(b)와 같은 경우 제어 디바이스는 진폭을 보상하여 센서 데이터들을 비교하고, 센서 데이터를 대체하여 사용하는 경우에도 진폭을 보상하여 사용할 수 있다. 예를 들면, 제 1 센서 데이터를 기준으로 하는 경우 제 2 센서 데이터에 a1/a2를 곱하여 사용할 수도 있다.
상술한 실시예들에서는 센서 데이터를 대체하는 방법에 대하여 설명하였다. 그러나 태스크를 수행하는 사용하는 센서가 꼭 동일하거나 동종이야만 하는 것은 아니다. 실시예로서, 애플리케이션이 수행하는 태스크가 특정 기간의 활동에 따른 소모 칼로리 양을 제공하는 태스크인 경우, 소모 칼로리 양은 다양한 센서를 사용하여 측정/산출될 수 있다.
일 실시예로서, 디바이스는 심박수 측정 데이터를 사용하여 칼로리 데이터를 산출할 수 있다. 다시 말하면, 디바이스는 심전도(ECG; electrocardiogram) 센서, 뇌전도(EEG; electroencephalogram) 센서, 광혈류량(PPG; PhotoPlethysmoGraphy) 센서, 산호포화도(SPO2) 센서, 혈압 센서, 맥박 센서 등을 사용하여 측정한 센서 데이터로부터 칼로리 데이터를 생성할 수 있다.
다른 일 실시예로서, 디바이스는 모션 센서를 사용하여 칼로리 데이터를 산출할 수 있다. 디바이스는 가속도 센서, 지자기 센서, GPS 센서 등을 사용하여 측정한 센서 데이터로부터 칼로리 데이터를 생성할 수 있다.
다른 실시예로서, 디바이스는 이미지 데이터로부터 칼로리 데이터를 산출할 수도 있다. 디바이스는 스마트폰, 스마트 안경 또는 스마트 워치등의 카메라를 사용하여 획득한 센서 데이터로부터 칼로리 데이터를 생성할 수 있다. 카메라는 이미지 센서로 분류될 수 있으며, 카메라를 통해 획득한 센서 데이터는 이미지 데이터가 될 수 있다.
이와 같이 이종의 센서 데이터를 사용하여도 태스크를 수행할 수 있는 경우에는 센서 데이터를 비교하지 않고 센서 데이터로부터 산출된 태스크 데이터를 비교하여 본 발명의 센서 제어를 수행할 수도 있다. 태스크 데이터는 해당 애플리케이션을 통해 특정 태스크를 수행하는 경우, 센서 데이터로부터 산출된 태스크 관련 데이터를 나타낸다. 상술한 실시예에서 태스크 데이터는 칼로리 값 및 칼로리 값의 변화와 같은 소모 칼로리 데이터가 될 수 있다. 이하에서는 태스크 데이터를 사용하여 센서 제어를 수행하는 방법에 대해 더욱 상세히 설명하도록 한다.
도 11은 본 발명의 다른 일 실시예에 따른 모바일 디바이스의 센서 제어 방법을 나타낸다.
도 11은 도 7의 실시예를 확장하는 실시예로서, 동일한 단계에 대한 설명은 중복하지 않는다. 도 11의 경우 단계들(S11020~S11040)이 도 7과 다르게 수행될 수 있다. 도 11은 센서 데이터에 기초하여 센서 제어를 수행함에 추가로, 센서 데이터로부터 획득한 태스크 데이터를 기초로 센서 제어를 수행하는 실시예를 나타낸다.
모바일 디바이스는 제 1 센서 데이터를 프로세싱하여 제 1 태스크 데이터를 획득할 수 있다(S11020). 예를 들면, 칼로리 변화량을 제공하는 태스크를 수행하기 위해 모바일 디바이스는 모션 센서(제 1 센서)를 사용하여 모션 센서 데이터(제 1 센서 데이터)를 획득하고, 이 모션 센서 데이터(제 1 센서 데이터)를 프로세싱함으로써 칼로리 데이터(제 1 태스크 데이터)를 획득할 수 있다.
모바일 디바이스는 외부 디바이스의 제 2 센서 데이터로부터 제 2 태스크 데이터를 획득할 수 있다(S11030). 예를 들면 외부 디바이스는 스마트 워치로서, 심전도 센서(제 2 센서)를 사용하여 심전도 데이터(제 2 센더 데이터)를 획득할 수 있다. 모바일 디바이스는 외부 디바이스로부터 심전도 데이터를 수신하고, 수신한 심전도 데이터를 프로세싱하여 칼로리 데이터를 산출할 수 있다. 또는, 모바일 디바이스는 외부 디바이스로부터 산출된 칼로리 데이터를 수신할 수 있다. 이렇게 획득된 칼로리 데이터가 제 2 태스크에 해당할 수 있다.
그리고 모바일 디바이스는 제 1 태스크 데이터 및 제 2 태스크 데이터를 비교하여, 제 1 태스크 데이터 및 제 2 태스크 데이터의 대체가능 여부를 결정할 수 있다(S11040). 모바일 디바이스가 제 1 태스크 데이터 및 제 2 태스트 데이터의 대체가능 여부는 상술한 제 1 센서 데이터 및 제 2 센서 데이터를 비교/결정하는 방법과 유사하게 결정할 수 있다. 모바일 디바이스는 제 1 태스크 데이터 및 제 2 태스크 데이터의 특정 구간에서의 패턴 또는 패턴 변화 등이 기설정된 범위 내에서 일치하거나 유사하면 서로 대체가능한 것으로 결정할 수 있다. 상술한 바와 같이, 소정의 시간 간격에서 제 1 태스크 데이터의 패턴 및 제 2 태스크 데이터의 패턴이 기설정된 스레스홀드 범위 안으로 유사한 경우 제 1 태스크 데이터 및 제 2 태스크 데이터는 대체가능한 것으로 결정될 수 있다.
모바일 디바이스는 제 1 태스크 데이터 및 제 2 태스크 데이터가 대체 가능한 경우, 모바일 디바이스 및 외부 디바이스의 배터리 상태에 기초하여 제 1 센서 및 제 2 센서의 동작을 제어할 수 있다(S11050). 모바일 디바이스의 센서 제어 방법은 명세서의 다른 부분에서 설명한 바와 같다.
이하에서는 제 1 태스크 데이터 및 제 2 태스크 데이터의 대체가능성을 결정하고 센서 사용을 제어하는 방법에 대하여 추가로 설명하도록 한다. 이하에서는 태스크 데이터의 비교 및 센서 제어를 커맨드로써 나타내어 설명하도록 한다. 또한 이하의 실시예들에서 스마트 워치의 ECG 센서 및 스마트폰의 PPG 센서는 모두 심박수 측정 데이터를 획득할 수 있고, 스마트 워치의 자이로 센서/가속도 센서 및 스마트폰의 자이로 센서/가속도 센서는 모두 움직임 측정 데이터를 획득할 수 있다.
1) 단일 센서를 사용하여 태스크를 수행하는 경우
Compare[kcal(ECG_1),kcal(Gyro_2)]
kcal(ECG_1)=kcal(Gyro_2)
Execute[kcal(Gyro_2)]
제어 디바이스는 스마트 워치의 심전도 센서 데이터(ECG_1)으로부터 획득된 제 1 칼로리 데이터(kcal(ECG_1))와 스마트폰의 자이로 센서 데이터(Gyro_2)로부터 획득된 제 2 칼로리 데이터(kcal(Gyro_2))를 비교할 수 있다(Compare[kcal(ECG_1),kcal(Gyro_2)]). 제어 디바이스가 양 칼로리 데이터를 비교하여 기설정 범위 내에서 유사 패턴 또는 유사 수치를 감지한 경우(kcal(ECG_1)=kcal(Gyro_2)), 이는 제 1 칼로리 데이터와 제 2 칼로리 데이터가 대체 가능한 경우로서 제어 디바이스는 배터리 상태를 고려하여 칼로리 정보 제공에 사용할 센서를 선택할 수 있다. 예를 들면 칼로리 정보를 제공하는 시간 구간동안 스마트워치의 ECG 센서를 활성화하면 배터리 소모가 상대적으로 더 큰 경우, 제어 디바이스는 스마트폰의 자이로 센서를 사용하여 칼로리 데이터를 획득할 수 있다(Execute[kcal(Gyro_2)]).
2) 단일 센서 또는 복수의 센서를 사용하여 태스크를 수행하는 겨우
Compare[kcal(PPG_1), kcal(Accel_2 + Gyro_2)]
kcal(PPG_1) = kcal(Accel_2 + Gyro_2)
Execute[kcal(PPG_1)]
제어 디바이스는 스마트 워치의 광혈류량 센서 데이터(PPG_1)으로부터 획득된 제 1 칼로리 데이터(kcal(PPG_1))와 스마트폰의 가속도 센서 데이터(Accel_2) 및 자이로 센서 데이터(Gyro_2)로부터 획득된 제 2 칼로리 데이터(kcal(Accel_2 + Gyro_2)])를 비교할 수 있다(Compare[kcal(PPG_1), kcal(Accel_2 + Gyro_2)]). 제어 디바이스가 양 칼로리 데이터를 비교하여 기설정 범위 내에서 유사 패턴 또는 유사 수치를 감지한 경우(kcal(PPG_1) = kcal(Accel_2 + Gyro_2)), 이는 제 1 칼로리 데이터와 제 2 칼로리 데이터가 대체 가능한 경우로서 제어 디바이스는 배터리 상태를 고려하여 칼로리 정보 제공에 사용할 센서를 선택할 수 있다. 예를 들면 칼로리 정보를 제공하는 시간 구간 동안 스마트 워치의 PPG 센서를 인에이블하여 칼로리 데이터를 획득할 수 있다(Execute[kcal(PPG_1)]).
이하에서는 복수의 센서들을 활용하여 태스크 데이터를 획득하고, 센서 제어시에도 복수의 센서들을 조합하여 사용하는 방법에 대해 설명하도록 한다.
3) 복수의 센서를 사용하여 태스크를 수행하는 경우
Compare[kcal(ECG_1, PPG_2),kcal(Gyro_1, Accel_2)]
Execute[kcal(ECG1, Accel2)] or Execute[kcal(ECG1, Gyro1)]
제어 디바이스는 피제어 디바이스들의 동종 센서들을 사용하여 태스크 데이터를 생성할 수 있다. 예를 들면, 제어 디바이스는 제 1 디바이스의 심박수 센서 데이터(ECG_1)와 제 2 디바이스의 광혈류량 센서 데이터(PPG_2_를 사용하여 칼로리 데이터를 산출하고, 제 1 디바이스의 자이로 센서 데이터(Gyro_1)와 제 2 디바이스의 가속도 데이터(Accel_2)를 사용하여 칼로리 데이터를 산출하여, 이들을 비교할 수 있다.
비교 결과 센서의 사용을 제어하는 경우에도, 상술한 바와 같이 디바이스에 포함된 센서 단위로 제어를 할 뿐만 아니라 이종의 센서들을 조합하여 사용할 수도 있다. 예를 들면 제어 디바이스는 제 1 디바이스의 ECG 센서와 제 2 디바이스의 가속도 센서를 사용하여 칼로리 데이터를 생성할 수 있다(Execute[kcal(ECG1, Accel2)]). 즉 스마트워치에서 피부에 접촉된 ECG 센서를 통해 심박수 측정 데이터를 획득하고, 스마트폰에서 움직임 측정 데이터를 획득하도록 센서 사용을 분배하고, 획득된 심박수 데이터 및 움직임 데이터를 사용하여 칼로리 데이터를 생성할 수 있다. 칼로리 데이터는 제어 디바이스가 생성하게 되는데, 제어 디바이스는 배터리 상태에 따라 스마트 워치 또는 스마트폰이 되도록 설정하여 프로세싱 자원까지 분배할 수도 있다.
또는, 제어 디바이스는 제 1 디바이스의 ECG 센서와 제 1 디바이스의 자이로 센서를 사용하여 센서 데이터를 획득하도록 제어할 수도 있다. 예를 들어 스마트폰이 가방에 소지된 경우 스마트폰의 PPG 센서 데이터는 획득되지 않고, 가속도 센서 값은 유사한 패턴을 획득할 수 있으나 신호의 세기/정확도 면에서 효율이 떨어질 수 있다. 이러한 경우에는 스마트폰의 센서 사용은 디스에이블하고 스마트 워치의 ECG 센서와 자이로 센서를 사용하여 태스크를 수행할 수도 있다.
도 12는 본 발명의 실시예에 따른 모바일 디바이스를 나타낸다.
도 12의 모바일 디바이스는 제어 디바이스를 나타내며, 다양한 포터블 디바이스 및 웨어러블 디바이스가 이에 해당할 수 있다.
모바일 디바이스는 디스플레이 유닛(12010), 통신 유닛(12020), 프로세싱 유닛(12030), 센서 유닛(12040) 및 메모리 유닛(12050)을 포함한다.
디스플레이 유닛은 다양한 종류의 GUI(graphical user interface)를 제공한다. 디스플레이 유닛은 디스플레이 스크린에 해당할 수도 있으며, 다른 센서 유닛과 함께 구비될 수 있다. 실시예에 따라서 디스플레이 유닛은 생략될 수도 있다.
통신 유닛(12020)은 다양한 통신 네트워크로 접속하여 외부 디바이스들과 통신을 수행할 수 있다. 본 발명에서 통신 유닛은 외부 디바이스로 센서 데이터 또는 태스크 데이터를 전송하거나, 외부 디바이스로부터 센서 데이터 또는 태스크 데이터를 수신할 수 있다.
센서 유닛(12040)은 적어도 하나의 센서를 포함하며 센서 데이터를 프로세싱 유닛에 제공할 수 있다. 센서 유닛(12040)은 가속도 센서, 선형 가속도 센서, 자이로스코프, 중력 센서, 회전 벡터 센서, 스텝 카운터 센서, 스텝 디텍터 센서와 같은 모션 센서, 오리엔테이션 센서 및 근접(proximity) 센서, 자기장 센서, 지자기 센서와 같은 포지션 센서 또는 온도 센서, 광 센서, 압력 센서, 습도 센서와 같은 환경 센서 중 적어도 하나를 포함할 수 있다. 모션 센서, 위치 센서, 환경 센서는 각각 다른 종류의 센서로 분류할 수 있다.
센서 유닛(12040)은 도 12에서는 하나의 블록으로 도시하였으나 상술한 바와 같은 센서들의 종류, 위치, 숫자에 따라 복수로 구비될 수도 있는 것이다.
메모리 유닛(12050)은 휘발성/비휘발성 메모리 장치로서 다양한 디지털 데이터를 저장할 수 있다. 메모리 유닛(12050)은 애플리케이션을 수행하기 위한 데이터를 저장하며, 센서 데이터 및 태스크 데이터를 저장할 수도 있다.
프로세싱 유닛(12030)은 메모리 유닛(12050)에 저장된 다양한 디지털 데이터를 판독/실행할 수 있다. 또한, 프로세싱 유닛(12030)은 디스플레이 유닛(12010), 통신 유닛(12020), 프로세싱 유닛(12030), 센서 유닛(12040) 및 메모리 유닛(12050) 중 적어도 하나의 유닛을 제어할 수 있다.
도 12에서는 도시하지 않았지만, 디스플레이 유닛에 추가로 출력 유닛들이 포함될 수 있다. 디스플레이 유닛은 출력 유닛의 하나의 실시예가 될 수 있다. 출력 유닛은 비쥬얼 피드백 출력 유닛, 오디오 피드백 출력 유닛, 택타일(tactile) 피드백 출력 유닛을 포함할 수 있다. 비쥬얼 피드백 출력 유닛은 디스플레이 유닛(12010)에 해당할 수 있다.
본 발명에 따른 프로세싱 유닛(12030)은 외부 디바이스와 통신하며, 센서 데이터들 또는 태스크 데이터들을 비교하고, 대체 가능성이 있는 경우 센서 사용을 제어하는 역할을 수행할 수 있다. 프로세싱 유닛(12030)은 다른 유닛들을 제어하여 상술한 본 발명의 방법을 수행할 수 있다.
이하에서는 본 발명에 따른 센서 제어 방법을 수행하는 애플리케이션의 사용자 인터페이스에 대하여 설명하도록 한다. 이하에서 사용자 인터페이스는 GUI를 예로써 설명하나, GUI를 통해 제공되는 정보 및 피드백은 음성 피드백, 택타일 피드백으로도 제공될 수 있다.
도 13은 본 발명의 일 실시예에 따른, 디바이스들의 센서/센싱 상태를 나타내는 GUI를 나타낸다.
도 13에서, 제 1 디바이스는 스마트폰(Phone)에, 제 2 디바이스는 스마트 워치(Watch)에 해당하며, GUI는 각 기기가 포함/구동하는 센서들의 종류와 상태를 나타낸다. 센서의 종류는 상술한 바와 같이 크게 모션 센서(Motion Sensor), 위치 센서(Position Sensor) 및 환경 센서(Environment Sensor)를 포함한다.
도 13의 실시예에서 모션 센서는 가속도계(Acceerometer), 선형 가속도계(LinearAccelerometer), 자이로스코프(Gyroscope), 중력 센서(Gravity), 회전 벡터 센서(Rotation Vector), 주 모션 센서(Significant Motion), 스텝 카운터(Step counter), 스텝 디텍터(Step Dector)를 포함하며, 위치 센서(Position Sensor)는 게임 회전 센서(Game Rotation), 지오마그네틱 센서(Geomagnetic), 자기장 센서(MagneticField), 방향 센서(Orientation), 근접 센서(Proximity)를 포함하고, 환경 센서는 온도 센서(AMbientTemp), 광 센서(Light), 압력 센서(Pressure), 습도 센서(Humidity), 온도 센서(Temperature)를 포함할 수 있다.
도 13에서, 현재 스마트폰은 모션 센스들 중 가속도계, 선형 가속도계, 자이로스코프, 중력 센서, 회전 벡터 센서가 구동 중이고, 위치 센서들 중 게임 회전 센서, 자기장 센서, 방향 센서가 동작 중이며, 환경 센서들 중에서는 온도 센서가 구동 중이다. 스마트 워치의 경우 가속도계, 자이로스코프, 중력 센서, 회전 벡터 센서, 게임 회전 센서, 및 광 센서가 동작하고 있다. 따라서 이 6개의 센서 데이터들이 대체가능한 중복 센싱 상황에 발생할 수 있다. 실시예로서, 모바일 기기는 연동된 디바이스들 및 디바이스들이 사용하는 센서들에 대한 정보를 도 13과 같이 제공할 수 있다.
모바일 기기는 도 13와 같이 디바이스의 센싱 상태 정보를 UI로 제공할 수 있다. 이러한 UI는 연동된 기기들, 기기들에 포함된 센서들 및 센서들의 동작 여부를 나타낼 수 있다. 이러한 UI는 센서들의 동작 여부에 따라서 중복 센싱 여부 또한 나타낼 수 있다. 다만, 동일/유사 센서가 동시에 동작하고 있음이 반드시 중복 센싱을 의미하는 것은 아니며, 이러한 태스크와 관련한 중복 센싱에 대한 정보는 이하의 추가적인 UI를 통해 제공될 수 있다.
도 14는 본 발명의 실시예에 따른 중복 센싱 제어 방법을 수행하는 애플리케이션의 GUI들의 진행을 나타낸다.
도 14의 GUI는 수행하는 태스크가 스텝 카운팅인 경우의 실시예이다. 도 14의 GUI는 중복 센싱을 수행할 수 있는 피제어 디바이스들(스마트폰 및 스마트워치), 피제어 디바이스들의 상태 및 센서 데이터/태스크 데이터를 나타낸다.
도 14(a)는 중복 센싱 제어를 시작할 때 제공되는 GUI를 나타낸다. 도 14(a)에서, GUI는 스마트폰 및 스마트 워치가 스텝 카운터(step counter)를 둘 다 실행하고 있음을 나타낸다. GUI는 피제어 디바이스들 상단에 센서 제어가 가능한 태스크들의 실행 여부 및 태스크의 종류를 도 14에서와 같이 나타낼 수 있다.
도 14(b)에서, GUI는 스마트폰 및 스마트 워치의 동기화를 나타낸다. 도 14(b)에서 동기화는 피제어 디바이스들의 센서 데이터 또는 태스크 데이터를 수신하는 동작을 나타낼 수 있다. 동기화가 된 경우 피제어 디바이스들은 시각 효과를 동반하여 디스플레이될 수 있다. 도 14(b)에서는 동기화가 된 피제어 디바이스들을 같은 색으로 강조하여 나타내며, 동기화를 알려주는 원형태의 화살표를 제공한다. 다만, 동기화는 실시예에 따라서 중복 센싱 여부를 결정하여 센서를 수동할 피제어 디바이스를 결정하는 동작까지 포함할 수도 있다.
도 14(c)에서, GUI는 센싱 제어에 따른 센서 사용 및 센서 데이터/태스크 데이터를 나타낸다. 도 14(c)에서, GUI는 좌측 스마트폰에 시각 효과를 추가함으로써 스마트폰이 센싱을 수행함을 나타낸다. 또한 GUI는 화살표와 294라는 센서 데이터 또는 태스크 데이터를 스마트폰이 제공함을 나타낸다. 여기에서 294라는 데이터는 스텝 카운터 데이터로서, 실시예에 따라서 센서 데이터 또는 태스크 데이터에 해당할 수 있다. GUI는 스마트워치 및 스마트폰 중 적어도 하나에는 화면상에 스마트워치 및 스마트폰의 형상과 함께 중복 센싱 상태, 배터리 상태, 태스크 종류, 태스크 수행 디바이스, 센서/태스크 데이터의 흐름 등을 시각적으로 표시할 수 있다. 또한 제어 디바이스는 사용자에게 알림이 필요한 정보에 대해 시각, 청각 및 촉각 피드백을 선택적/조합하여 제공할 수 있으며, 배터리 잔량과 같은 상기 알람 정보와 관련하여 디바이스의 착용 또는 소지에 대한 사용 유도를 가이드 할 수도 있다. 이 때 동기화 및 태스크 수행 기기를 사용자 입력에 의해 차단할 수도 있다.
도 14(d)의 GUI는 도 14(b)와 GUI와 같으며, 시계열적인 순서를 나타내기 위해 다시 도시한 GUI이다. 상술한 바와 같이 제어 디바이스는 일정 시간 간격 또는 상태 변경 신호를 통해 특정 이벤트를 감지한 경우 중복 센싱 여부를 다시 결정할 수 있다. 이렇게 주기적으로 또는 이벤트를 감지하여 다시 동기화를 수행하는 GUI를 도 14(d)와 같이 나타내었다.
도 14(e)는 도 14(c)와 같이 센싱 제어에 따른 센서 사용 및 센서 데이터/태스크 데이터를 나타내는 GUI를 도시한다. 동기화 수행 결과 스마트 워치의 센싱은 감지되나 스마트폰의 센싱 결과는 감지되지 않는 경우, 제어 디바이스는 중복 센싱에 따른 제어를 수행하지 않는다. 제어 디바이스는 배터리 상태, 태스크 수행 효율 등과 상관없이 유일하게 태스크를 수행할 수 있는 스마트워치로 센싱 디바이스를 변경할 수 있다. 다만, 이러한 센싱 디바이스는 사용자 입력에 의해 결정될 수도 있으며, 센싱 디바이스를 결정할 수 있는 UI를 추가로 제공할 수도 있다.
도 15는 본 발명의 다른 실시예에 따른 중복 센싱 제어 방법을 수행하는 애플리케이션의 GUI를 나타낸다.
도 15(a)는 동기화 후 중복 센싱에 대한 센서 제어를 수행하기 전의 GUI를, 도 15(b)는 중복 센싱에 대한 센서 제어 수행 후의 GUI를 각각 나타낸다.
도 15(a)에서와 같이, GUI는 대상 디바이스 인디케이터(15010), 태스크 인디케이터(15020), 태스크 데이터 인디케이터(15030) 및 태스크 데이터 윈도우(15040)를 포함한다. 태스크 데이터 윈도우(15040)는 피제어 디바이스들이 센서를 사용하여 획득한 태스크 데이터 및 데이터의 누적/변화를 비주얼하게 나타낼 수 있다.
중복 센싱 제어가 수행된 경우, 도 15(b)와 같이 GUI는 대상 디바이스 인디케이터(15010)에서 센싱을 수행하는 디바이스(15050)를 나타낸다. 센싱 수행 디바이스는 다양한 방식으로 나타내어질 수 있다. 그리고 태스크 데이터 윈도우(15060)는 중복 센싱 제어 수행 이후에는 하나의 태스크 데이터 만을 수집하고 있음을 나타낸다.
본 발명의 실시예에 따른 사용자 인터페이스는 제어 디바이스 및 피제어 디바이스들 중 적어도 하나의 디바이스에서 다양한 방식으로 제공될 수 있다. 사용자 인터페이스는 디바이스들의 형상과 디바이스들 간의 중복 센싱 상태, 배터리 상태, 태스크 종류, 태스크를 수행할 디바이스(선택적 센싱 정보), 센서 데이터/태스크 데이터의 전송흐름 중 적어도 하나를 제공할 수 있다. 또한, 사용자 인터페이스는 중복센싱을 방지하는 자세/소지방법 및 선택적 센싱을 위한 디바이스 선택 등과 관련하여 사용자에게 필요한 알림 정보를 시각, 청각 및 촉각 피드백을 통해 선택적/조합하여 제공할 수 있다. 동일한 태스크에 대하여 중복 센싱되는 디바이스들을 차단하거나 이러한 차단을 입력할 수 있는 UI가 제공될 수도 있다.
도 16은 본 발명의 일 실시예에 따른 중복 센싱 해결 상황을 나타낸다.
상기 그림은 웨어러블 디바이스(16010; 스마트워치) 또는 모바일 디바이스(16020; 스마트폰) 및 스마트카(16030) 사이의 중복센싱에 따른 선택적 센싱 수행을 나타낸다.
사용자가 착용하거나 소지하고 있는 디바이스에 스마트카와 중복센싱되는 태스크가 수행될 수 있다. 예를 들어 1) GPS 센서를 통한 위치 정보, 2) 차량 내부 및 HMD 이미지 센서(카메라) 정보, 3) 사용자 인증 또는 헬스케어 태스크와 관련한 스마트워치(또는 HMD)의 생체정보(인증, 헬스케어 태스크 관련)와 핸들에서 감지되는 생체정보 등이 동일 또는 유사한 어플리케이션의 태스크를 수행하기 위해 중복센싱 될 수 있다.
이러한 경우 스마트카가 배터리 조건의 우위를 가지므로 기본설정으로서, 착용 또는 소지하고 있는 디바이스의 태스크의 수행 센서를 디스에이블 또는 정지시키고 스마트카에서 수행하도록 할 수 있다. 이후 스마트카의 센서 데이터는 저장해뒀다가 차량이 정지하거나 스마트카 시동이 꺼지거나, 차량에서 내리는 이벤트가 발생할 때 착용 또는 소지 디바이스(16010 또는 16020)에 전달할 수 있다.
실시예로서, 착용 또는 소지 디바이스(16010 또는 16020)가 스마트카를 통해 무선충전 중인 경우 중복센싱 태스크를 스마트카에 자동 할당되도록 설정할 수도 있다. 배터리 정보 교환 시, 스마트카의 배터리 매니지먼트 정보도 배터리 정보와 함께 또는 포함되어 교환될 수 있다.
다른 실시예로서, 동일한 태스크의 수행과 관련된 중복센싱이 감지될 경우,제어 디바이스는 배터리 여유 상태 및 태스크 수행 효율(정확도, 빠른 시간 내에 결과 도출)을 고려하여 중복센싱을 선택적 센싱 모드로 전환하지 않고, 그대로 중복센싱 상태를 유지하도록 제어할 수도 있다. 이 때 중복센싱 유지 선택 및 선택에 따른 상황정보, 이에 따른 배터리 소모량, 중복센싱에 따른 태스크 수행결과 등은 디스플레이 UI를 통해 제공될 수도 있다.
중복센싱 여부를 판단하는데 있어서, 동일 태스크에 대한 센서의 중복 데이터 외에 GPS 정보, 근거리 통신 연결 거리에 따른 신호세기, 웨어러블 디바이스의 착용상태에서 외부 디지털 디바이스에 대한 명령입력(터치, 공간제스처, 음성입력, 뇌파 입력 등)정보도 단일/조합 결과에 따라 중복센싱 판단기준이 될 수 있다. 다시 말하면 이러한 외부 디바이스의 GPS 정보, 근거리 통신 연결에 따른 신호 세기 정보, 외부 디바이스에 대한 명령 입력 정보 중 적어도 하나는 상술한 상태 변경 신호에 포함될 수도 있다.
두 디바이스 사이에 중복센싱이 가능한 센서 정보 교환 후, 어느 한 디바이스에 중복센싱 가능한 태스크의 어플리케이션이 실행되지 않거나, 디바이스 내에 존재하지 않을 수 있다. 이러한 경우 제어 디바이스는 어플리케이션을 자동실행 하거나, 실행하도록 유도하거나, 어플리케이션을 다운받도록 UI적으로 시각, 청각, 촉각 가이드를 제공할 수 있다. 이러한 UI는 배터리 상태에 따라 다른 디바이스에 해당 task를 넘겨주기 위해서 필요할 수 있다.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 이해된다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.
본 명세서에서 장치 및 방법 발명이 모두 언급되고, 장치 및 방법 발명 모두의 설명은 서로 보완하여 적용될 수 있다.
다양한 실시예가 본 발명을 실시하기 위한 최선의 형태에서 설명되었다.
본 발명은 일련의 방송 신호 제공 분야에서 이용된다.
본 발명의 사상이나 범위를 벗어나지 않고 본 발명에서 다양한 변경 및 변형이 가능함은 당업자에게 자명하다. 따라서, 본 발명은 첨부된 청구항 및 그 동등 범위 내에서 제공되는 본 발명의 변경 및 변형을 포함하는 것으로 의도된다.

Claims (20)

  1. 모바일 디바이스의 센서 제어 방법에 있어서,
    태스크를 수행(perform)하는 애플리케이션을 실행(execute)하는 단계;
    상기 태스크를 수행하기 위해 제 1 센서를 사용하여 제 1 센서 데이터를 획득하는 단계;
    통신 연결된 적어도 하나의 외부 디바이스의 제 2 센서를 사용하여 획득된 제 2 센서 데이터를 수신하는 단계;
    상기 제 1 센서 데이터 및 상기 제 2 센서 데이터를 비교하는 단계; 및
    상기 제 1 센서 데이터 및 상기 제 2 센서 데이터가 대체가능한 경우, 상기 모바일 디바이스 및 외부 디바이스의 배터리 상태에 따라서 상기 제 1 센서 및 상기 제 2 센서의 동작을 제어하는 단계를 포함하는, 모바일 디바이스의 센서 제어 방법.
  2. 제 1 항에 있어서,
    상기 모바일 디바이스 및 상기 외부 디바이스의 배터리 상태에 따라서 상기 제 1 센서 및 상기 제 2 센서의 동작을 제어하는 단계는,
    상기 제 1 센서를 디스에이블하고 상기 제 2 센서의 상기 제 2 센서 데이터를 사용하는 단계를 더 포함하는, 모바일 디바이스의 센서 제어 방법.
  3. 제 2 항에 있어서,
    상기 디스에이블된 제 1 센서를 주기적으로 인에이블하여 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터를 주기적으로 비교하는 단계; 및
    상기 제 1 센서 데이터 및 상기 제 2 센서 데이터를 주기적으로 비교한 결과에 따라서 상기 제 1 센서 및 상기 제 2 센서의 구동을 주기적으로 제어하는 단계를 더 포함하는, 모바일 디바이스의 센서 제어 방법.
  4. 제 2 항에 있어서,
    상기 제 2 센서 데이터에 영향을 주는 상태 변경이 발생하였음을 나타내는 제 1 상태 변경 신호를 상지 외부 디바이스로부터 수신한 경우, 상기 제 1 센서를 인에이블하여 상기 제 1 센서 데이터를 사용하는 단계를 더 포함하는, 모바일 디바이스의 센서 제어 방법.
  5. 제 1 항에 있어서,
    상기 제 1 센서 데이터를 사용하여 제 1 태스크 데이터를 획득하는 단계;
    상기 제 2 센서 데이터를 사용하여 제 2 태스크 데이터를 획득하는 단계;
    상기 제 1 태스크 데이터 및 상기 제 2 태스크 데이터를 비교하는 단계; 및
    상기 제 1 태스크 데이터 및 상기 제 2 태스크 데이터가 대체가능한 경우, 상기 모바일 디바이스 및 외부 디바이스의 배터리 상태에 따라서 상기 제 1 센서 및 상기 제 2 센서의 동작을 제어하는 단계를 더 포함하는, 모바일 디바이스의 센서 제어 방법.
  6. 제 2 항에 있어서,
    상기 태스크의 수행에 상기 제 2 센서 데이터를 사용하는 경우, 상기 제 2 센서 데이터의 시간 차이(time difference), 위상 차이(phase difference), 주파수 차이(frequency difference) 및 크기 차이(amplitude difference) 중 적어도 하나를 보상하는 단계를 더 포함하는, 모바일 디바이스의 센서 제어 방법.
  7. 제 1 항에 있어서,
    상기 배터리 상태는, 상기 모바일 디바이스 및 상기 외부 디바이스 각각의 총 배터리 용량, 잔존 배터리 용량, 충전 패턴, 배터리 양 변화 상황, 배터리에 영향을 주는 적어도 하나의 팩터들, 충전 빈도, 충전 패턴, 충전 상황 중 적어도 하나에 대한 정보를 포함하는, 모바일 디바이스의 센서 제어 방법.
  8. 제 6 항에 있어서,
    상기 제 1 센서 데이터의 패턴 및 상기 제 2 센서 데이터의 패턴의 비교는 시간 차이(time difference), 위상 차이(phase difference), 주파수 차이(frequency difference) 및 크기 차이(amplitude difference) 중 적어도 하나를 참조하는, 모바일 디바이스의 센서 제어 방법.
  9. 제 1 항에 있어서,
    상기 모바일 디바이스 및 상기 외부 디바이스의 배터리 상태에 따라서 상기 제 1 센서 및 상기 제 2 센서의 동작을 제어하는 단계는,
    상기 제 2 센서를 디스에이블하고 상기 제 1 센서의 상기 제 1 센서 데이터를 사용하는 단계를 더 포함하는, 모바일 디바이스의 센서 제어 방법.
  10. 제 1 항에 있어서,
    상기 외부 디바이스가 상기 제 2 센서 데이터를 획득할 수 있는 상태임을 나타내는 제 2 상태 변경 신호를 수신한 경우, 상기 제 2 센서 데이터를 수신하여 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터를 비교하는 단계를 수행하는, 모바일 디바이스의 센서 제어 방법.
  11. 제 1 항에 있어서,
    상기 모바일 디바이스 및 상기 외부 디바이스를 나타내는 대상 디바이스 인디케이터, 태스크 인디케이터, 센서 데이터 인디케이터, 태스크 데이터 인디케이터, 센서 데이터 인디케이터 및 태스크 데이터 윈도우 중 적어도 하나를 제공하는 UI(User Interface)를 제공하는 단계를 더 포함하는, 모바일 디바이스의 센서 제어 방법.
  12. 제 4 항에 있어서,
    상기 제 1 상태 변경 신호는 상기 외부 디바이스의 GPS 정보, 근거리 통신 연결에 따른 신호 세기 정보, 외부 디바이스에 대한 명령 입력 정보 중 적어도 하나를 더 포함하는, 모바일 디바이스의 센서 제어 방법.
  13. 제 1 항에 있어서,
    소정의 시간 간격에서 상기 제 1 센서 데이터의 패턴 및 상기 제 2 센서 데이터의 패턴이 기설정된 스레스홀드 범위 안으로 유사한 경우 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터는 대체가능한 것으로 결정되는, 모바일 디바이스의 센서 제어 방법.
  14. 외부 디바이스와 통신을 수행하는 통신 유닛;
    모바일 디바이스 또는 외부 환경의 상태 및 상태 변화를 센싱하는 제 1 센서;
    디지털 데이터를 저장하는 메모리 유닛; 및
    상기 통신 유닛, 상기 제 1 센서 및 상기 메모리 유닛을 제어하며, 애플리케이션을 실행하여 태스크를 수행하는 프로세싱 유닛을 포함하는 모바일 기기에 있어서,
    상기 모바일 기기는,
    상기 태스크를 수행하기 위해 상기 제 1 센서를 사용하여 제 1 센서 데이터를 획득하고,
    통신 연결된 적어도 하나의 외부 디바이스의 제 2 센서를 사용하여 획득된 제 2 센서 데이터를 수신하고,
    상기 제 1 센서 데이터 및 상기 제 2 센서 데이터를 비교하고,
    상기 제 1 센서 데이터 및 상기 제 2 센서 데이터가 대체가능한 경우, 상기 모바일 디바이스 및 외부 모바일 디바이스의 배터리 상태에 따라서 상기 제 1 센서 및 상기 제 2 센서의 동작을 제어하는, 모바일 디바이스.
  15. 제 14 항에 있어서,
    상기 제 1 센서를 디스에이블하고 상기 제 2 센서의 상기 제 2 센서 데이터를 사용함으로써 센서 제어를 수행하는, 모바일 디바이스.
  16. 제 15 항에 있어서,
    상기 디스에이블된 제 1 센서를 주기적으로 인에이블하여 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터를 주기적으로 비교하고, 상기 제 1 센서 데이터 및 상기 제 2 센서 데이터를 주기적으로 비교한 결과에 따라서 상기 제 1 센서 및 상기 제 2 센서의 구동을 주기적으로 제어하는, 모바일 디바이스.
  17. 제 15 항에 있어서,
    상기 외부 디바이스로부터 상기 제 2 센서 데이터에 영향을 주는 상태 변경이 발생하였음을 나타내는 상태 변경 신호를 수신한 경우, 상기 제 1 센서를 인에이블하여 상기 제 1 센서 데이터를 사용하는, 모바일 디바이스.
  18. 제 14 항에 있어서,
    상기 제 1 센서 데이터를 사용하여 제 1 태스크 데이터를 획득하고,
    상기 제 2 센서 데이터를 사용하여 제 2 태스크 데이터를 획득하고,
    상기 제 1 태스크 데이터 및 상기 제 2 태스크 데이터를 비교하고,
    상기 제 1 태스크 데이터 및 상기 제 2 태스크 데이터가 대체가능한 경우, 상기 모바일 디바이스 및 외부 디바이스의 배터리 상태에 따라서 상기 제 1 센서 및 상기 제 2 센서의 동작을 제어하는, 모바일 디바이스.
  19. 모바일 디바이스의 센서 제어 방법에 있어서,
    태스크를 수행(perform)하는 애플리케이션을 실행(execute)하는 단계;
    제 1 센서를 사용하여 제 1 센서 데이터를 획득하고, 획득된 제 1 센서 데이터에 기초하여 제 2 태스크 데이터를 획득하는 단계;
    통신 연결된 적어도 하나의 외부 디바이스의 제 2 센서를 사용하여 획득된 제 2 센서 데이터에 기초하여 제 2 태스크 데이터를 획득하는 단계;
    상기 제 1 태스크 데이터 및 상기 제 2 태스크 데이터를 비교하는 단계;
    상기 제 1 태스크 데이터 및 상기 제 2 태스크 데이터가 대체가능한 경우, 상기 모바일 디바이스 및 외부 모바일 디바이스의 배터리 상태에 따라서 상기 제 1 센서 및 상기 제 2 센서의 동작을 제어하는 단계를 포함하는, 모바일 디바이스의 센서 제어 방법.
  20. 제 19 항에 있어서,
    상기 제 1 센서 및 상기 제 2 센서의 동작을 제어하는 단계는,
    상기 제 1 센서를 디스에이블하고 상기 제 2 센서의 상기 제 2 센서 데이터를 사용함으로써 센서 제어를 수행하는 단계를 포함하는, 모바일 디바이스의 센서 제어 방법.
PCT/KR2015/008637 2015-03-13 2015-08-19 모바일 디바이스 및 그의 센서 제어 방법 WO2016148356A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201580001783.8A CN106164814A (zh) 2015-03-13 2015-08-19 用于由移动设备控制传感器的移动设备和方法
US14/862,164 US20160265952A1 (en) 2015-03-13 2015-09-23 Mobile device and method for controlling sensor by the mobile device
US14/937,897 US9599492B2 (en) 2015-03-13 2015-11-11 Mobile device and method for controlling sensor by the mobile device
KR1020160030525A KR101763151B1 (ko) 2015-03-13 2016-03-14 모바일 디바이스 및 그의 센서 제어 방법
US15/436,863 US20170164293A1 (en) 2015-03-13 2017-02-20 Mobile device and method for controlling sensor by the mobile device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20150035305 2015-03-13
KR10-2015-0035305 2015-03-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/862,164 Continuation US20160265952A1 (en) 2015-03-13 2015-09-23 Mobile device and method for controlling sensor by the mobile device

Publications (1)

Publication Number Publication Date
WO2016148356A1 true WO2016148356A1 (ko) 2016-09-22

Family

ID=56919733

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/008637 WO2016148356A1 (ko) 2015-03-13 2015-08-19 모바일 디바이스 및 그의 센서 제어 방법

Country Status (4)

Country Link
US (3) US20160265952A1 (ko)
KR (1) KR101763151B1 (ko)
CN (1) CN106164814A (ko)
WO (1) WO2016148356A1 (ko)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170064349A (ko) * 2015-12-01 2017-06-09 삼성전자주식회사 전자 장치 및 전자 장치의 센싱 주기 제어 방법
US10156841B2 (en) 2015-12-31 2018-12-18 General Electric Company Identity management and device enrollment in a cloud service
US9929763B1 (en) * 2016-03-28 2018-03-27 Amazon Technologies, Inc. Proximity sensor arrangement for wireless devices
US11026579B2 (en) * 2016-04-22 2021-06-08 Nokia Technologies Oy Controlling derivation of a biometric characteristic of a subject
KR102626633B1 (ko) * 2016-11-17 2024-01-18 엘지전자 주식회사 단말기 및 그 제어 방법
US10223169B2 (en) * 2016-12-28 2019-03-05 Intel Corporation Technologies for adaptive collaborative optimization of internet-of-things systems
US10924376B2 (en) * 2016-12-30 2021-02-16 Google Llc Selective sensor polling
CN106972959A (zh) * 2017-03-15 2017-07-21 千寻位置网络有限公司 一种传感器算法的在线服务化方法及系统
JP6901702B2 (ja) * 2017-06-20 2021-07-14 カシオ計算機株式会社 情報処理装置、情報処理方法、プログラム、及び情報処理システム
KR102422139B1 (ko) * 2017-11-03 2022-07-18 현대자동차주식회사 차량과 연동하는 사물인터넷 기기를 제어하는 방법 및 장치
WO2019092720A1 (en) * 2017-11-09 2019-05-16 Bo & Bo Ltd. System, device and method for external movement sensor communication
US10884885B2 (en) 2017-11-29 2021-01-05 International Business Machines Corporation Proactively predicting failure in data collection devices and failing over to alternate data collection devices
CN108399085B (zh) * 2018-02-12 2020-01-14 Oppo广东移动通信有限公司 电子装置、应用管理方法及相关产品
DE102018209833B4 (de) * 2018-06-19 2022-03-24 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung für die Steuerung eines sicherheitsrelevanten Vorganges, sowie Fahrzeug
US10895915B2 (en) * 2019-01-01 2021-01-19 Logan Amstutz Systems, devices, and/or methods for reporting
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
KR102560403B1 (ko) * 2022-12-27 2023-07-26 신혜리 웨어러블 기기를 이용한 모바일 ｒｐｇ 게임 서비스 제공 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100082983A1 (en) * 2008-09-30 2010-04-01 Shah Rahul C Secure device association
KR20120008376A (ko) * 2010-07-16 2012-01-30 엘지전자 주식회사 네트워크 시스템
KR20130038756A (ko) * 2011-10-10 2013-04-18 엘지전자 주식회사 통신 시스템
US8669864B1 (en) * 2009-02-16 2014-03-11 Handhold Adaptive, LLC Methods for remote assistance of disabled persons
JP2014117551A (ja) * 2012-12-19 2014-06-30 Casio Comput Co Ltd センサデータ抽出システム、センサデータ抽出方法およびセンサデータ抽出プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2514142B1 (en) 2009-12-17 2015-10-14 LG Electronics Inc. Network system and method of controlling network system
US8751194B2 (en) * 2010-09-30 2014-06-10 Fitbit, Inc. Power consumption management of display in portable device based on prediction of user input
US11064910B2 (en) * 2010-12-08 2021-07-20 Activbody, Inc. Physical activity monitoring system
KR101920001B1 (ko) * 2012-04-03 2018-11-19 삼성전자주식회사 상황 인식 장치 및 상황 인식 방법
US20160021617A1 (en) * 2014-07-16 2016-01-21 Mediatek Inc. Remote sensor data sharing for electronic device and associated method

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100082983A1 (en) * 2008-09-30 2010-04-01 Shah Rahul C Secure device association
US8669864B1 (en) * 2009-02-16 2014-03-11 Handhold Adaptive, LLC Methods for remote assistance of disabled persons
KR20120008376A (ko) * 2010-07-16 2012-01-30 엘지전자 주식회사 네트워크 시스템
KR20130038756A (ko) * 2011-10-10 2013-04-18 엘지전자 주식회사 통신 시스템
JP2014117551A (ja) * 2012-12-19 2014-06-30 Casio Comput Co Ltd センサデータ抽出システム、センサデータ抽出方法およびセンサデータ抽出プログラム

Also Published As

Publication number Publication date
US9599492B2 (en) 2017-03-21
US20160269999A1 (en) 2016-09-15
US20160265952A1 (en) 2016-09-15
CN106164814A (zh) 2016-11-23
KR20160110272A (ko) 2016-09-21
KR101763151B1 (ko) 2017-08-01
US20170164293A1 (en) 2017-06-08

Similar Documents

Publication Publication Date Title
WO2016148356A1 (ko) 모바일 디바이스 및 그의 센서 제어 방법
WO2019107885A1 (en) Electronic device operating in associated state with external audio device based on biometric information and method therefor
WO2016122271A1 (en) Wearable device
WO2015037792A1 (ko) 전자기기
WO2016182250A1 (en) Wearable device and method of providing information by using the wearable device
WO2017131384A1 (en) Electronic device and control method thereof
WO2018139816A1 (en) Electronic device and operating method thereof
WO2018074799A1 (ko) 공작 기계의 상태를 감시하는 전자 장치 및 그의 제어 방법
WO2016105166A1 (en) Device and method of controlling wearable device
WO2018208093A1 (ko) 햅틱 피드백을 제공하는 방법 및 이를 수행하는 전자 장치
WO2018124809A1 (ko) 착용형 단말기 및 그 동작 방법
WO2018026144A1 (en) Method for transmitting power and electronic device supporting the same
EP3238012A1 (en) Device and method of controlling wearable device
WO2019039825A1 (ko) 도전성 외관 부재를 가지는 전자 장치 및 이에 관한 누설 전류 검출 방법
WO2020171457A1 (en) Electronic device including meditation application
WO2020171518A1 (en) Electronic device for adaptive power management
WO2015152614A1 (en) Method of reconnecting master device and slave device
WO2018097683A1 (ko) 전자 장치, 외부 전자 장치 및 전자 장치와 외부 전자 장치를 연결하기 위한 방법
WO2017094962A1 (ko) 스마트 와치 및 이의 제어방법
WO2017119642A1 (ko) 스마트 신발 및 그 데이터 처리 방법
WO2021080171A1 (ko) 관성 센서를 이용한 착용 감지 방법 및 장치
WO2020101435A1 (en) Method for sensing external shock and electronic device therefor
WO2018097514A1 (en) Mobile device for providing exercise contents and wearable device connected therewith
WO2016148474A1 (ko) 모바일 디바이스 및 알림 출력 방법
WO2020032525A1 (en) Electronic device for displaying information regarding stylus pen and method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15885658

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15885658

Country of ref document: EP

Kind code of ref document: A1