WO2016056687A1 - 디지털 디바이스 및 그 제어 방법 - Google Patents

디지털 디바이스 및 그 제어 방법 Download PDF

Info

Publication number
WO2016056687A1
WO2016056687A1 PCT/KR2014/009465 KR2014009465W WO2016056687A1 WO 2016056687 A1 WO2016056687 A1 WO 2016056687A1 KR 2014009465 W KR2014009465 W KR 2014009465W WO 2016056687 A1 WO2016056687 A1 WO 2016056687A1
Authority
WO
WIPO (PCT)
Prior art keywords
digital device
attributes
sensed
external device
external
Prior art date
Application number
PCT/KR2014/009465
Other languages
English (en)
French (fr)
Inventor
박시화
이주환
천시내
이도영
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to US15/517,946 priority Critical patent/US10802780B2/en
Priority to KR1020177004788A priority patent/KR102410215B1/ko
Priority to PCT/KR2014/009465 priority patent/WO2016056687A1/ko
Publication of WO2016056687A1 publication Critical patent/WO2016056687A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03547—Touch pads, in which fingers can move on a surface
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W84/00—Network topologies
    • H04W84/18—Self-organising networks, e.g. ad-hoc networks or sensor networks

Definitions

  • the present invention relates to a digital device and a control method thereof.
  • the device may provide a function for managing a user's to-do and schedule.
  • the device including the schedule application may provide a notification to the user based on a schedule directly input by the user.
  • the user device may provide a notification for the particular device.
  • This reminder of a task may be classified as a location-based service.
  • This location-based service has the advantage of being very simple to implement.
  • location-based notifications do not fully account for the attributes of a particular device and the behavior of the user.
  • the above-described notification may not be provided outside the designated location. Therefore, there is a need for a method that can notify a user of a timely task while minimizing user inconvenience.
  • IoT Internet of Things
  • the present specification is to provide a digital device and a control method for providing a notification based on context information of an external device and a user.
  • a digital device that provides improved intelligent notification by matching attribute information of an external device with context information of a user is provided.
  • a digital device includes a communication unit for communicating with one or more external devices, a context sensing unit for sensing context information of the digital device, and a processor for controlling the communication unit and the context sensing unit.
  • the processor receives one or more first attributes of the external device sensed by the external device, generates one or more second attributes based on the sensed context information, and the one or more first attributes and the one or more second attributes. By matching them, it is possible to generate a recommended activity for the external device.
  • the digital device includes an image sensing unit, a context sensing unit for sensing context information of the digital device, an image sensing unit, and a processor for controlling the context sensing unit.
  • Senses an external object from an image sensed by the image sensing unit generates one or more first attributes associated with the sensed external object based on the sensed image, and based on the sensed context information, one or more second attributes And one or more first attributes and one or more second attributes to generate a recommended activity for the external object.
  • the digital device may provide a recommendation activity to a user.
  • the digital device may recommend an activity that is more related to the user's environment by generating a recommendation activity based on context information of the user.
  • FIG. 1 is a block diagram of a digital device according to one embodiment.
  • FIG. 2 illustrates embodiments of a digital device.
  • FIG 3 illustrates communication between a digital device and an external device according to an embodiment.
  • FIG. 4 illustrates a notification associated with an external device of a digital device according to an embodiment.
  • FIG. 5 illustrates a communication range between a digital device and an external device according to an embodiment.
  • FIG. 6 illustrates an interface of a digital device according to one embodiment.
  • FIG. 7 illustrates external object recognition of a digital device according to an embodiment.
  • FIG. 8 illustrates a notification associated with an external object of a digital device according to an embodiment.
  • FIG. 9 illustrates a control method of a digital device according to an exemplary embodiment.
  • FIG. 10 illustrates a control method of a digital device according to another embodiment.
  • FIG. 1 is a block diagram of a digital device according to one embodiment.
  • the digital device 100 includes a communication unit 130 for communicating with one or more external devices, a context sensing unit 120 for sensing context information of the digital device 100, and a communication unit 130. And a processor 110 that controls the context sensing unit 120.
  • the communication unit 130 may receive information from one or more external devices.
  • the information received from the external device may include attribute information associated with the external device.
  • the external device may transmit, to the digital device 100, predetermined information (eg, the name of the external device and the type of the external device) indicating the property of the external device as the property information.
  • the external device may include sensors for sensing a current state of the external device, and may transmit information of the external device sensed by the sensor to the digital device 100 as attribute information.
  • the communication unit 130 may perform communication and transmit / receive data through a wired or wireless network using various protocols with an external device.
  • the communication unit 130 may include a wireless LAN (WLAN), an IEEE 802.11-based wireless LAN communication, a wireless broadband (WBRO), a world interoperability for micorwave access (Wimax), and an HSDPA (high-definition) for connection with a wireless network.
  • WLAN wireless LAN
  • WBRO wireless broadband
  • Wimax wireless wide area network
  • HSDPA high-definition
  • the communication unit 130 may access the Internet through a wired / wireless network.
  • the external device may transmit the attribute information to the communication unit 130 using the above-described wired / wireless network standard.
  • the external device may transmit attribute information to the communication unit 130 via the Internet.
  • the context sensing unit 120 may sense context information of the digital device 100.
  • the context sensing unit includes an image sensor, an acceleration sensor, a gyro sensor, a geomagnetic sensor, a GPS sensor, a pressure sensor, an altitude sensor, a proximity sensor, an audio sensor, or a sensor for measuring the environment of the digital device 100. You may.
  • the processor 110 may control the context sensing unit 120 and the communication unit 130. In addition, the processor 110 may control other components included in the digital device 100 to be described later. The processor 110 may execute various applications by processing data of the digital device 100. The processor 110 may control the content executed in the digital device 100 and the digital device 100 based on the command.
  • the digital device 100 may further include components not shown in FIG. 1.
  • the digital device 100 may include a memory, a power source, a housing, a display unit (eg, a touch sensitive display unit), an audio receiving unit, an audio output unit, a positioning unit, or an image sensing unit. It may further include.
  • the image sensing unit may sense the image using visible light, infrared light, ultraviolet light, magnetic field, and / or sound waves.
  • the above-described configuration may be selectively combined according to the manufacturer's selection or the shape of the digital device 100.
  • the above-described components may be connected to each other via a bus, and may be controlled by the processor 110.
  • the configuration diagram of the digital device 100 illustrated in FIG. 1 is a block diagram according to an exemplary embodiment, in which the block diagrams which are separately displayed logically distinguish hardware units. Therefore, the above-described configuration units of the digital device 100 may be implemented as one chip or a plurality of chips according to the design of the device.
  • the digital device 100 of the present specification may be controlled based on various inputs.
  • the digital device 100 may include a physical button and may receive an input from the physical button.
  • the digital device 100 may include a voice receiving unit, perform voice recognition based on the received voice, and may be controlled based on the voice recognition.
  • the digital device 100 may perform speech recognition in units of syllables, words, or sentences, or may perform a function by combining recognized syllables, words, or sentences.
  • the digital device 100 may perform image analysis using the image sensing unit, or may be controlled based on the analyzed image.
  • the digital device 100 may include a touch sensing unit and may be controlled based on a touch input to the touch sensing unit.
  • the digital device 100 may be controlled based on a combination of the above-described inputs.
  • FIG. 2 illustrates embodiments of a digital device.
  • the digital device 100 of the present specification may have various forms.
  • the digital device 100 may be a portable device or a wearable device.
  • the digital device 100 is not limited to the examples of the digital device 100 of FIG. 2 described later.
  • the digital device 100 may be a table clock. Any type of device capable of providing an alarm to a user may be included in the digital device 100 herein.
  • the digital device 100 may have a form of a mobile phone, as shown in FIG. 2A.
  • the digital device 100 may have a form of a head mounted display (HMD), as shown in FIG.
  • the digital device 100 may be a helmet-type HMD, as shown in FIG.
  • the digital device 100 may be a lens type (eg, a smart lens), as shown in FIG. 2D.
  • the digital device 100 may be a smart watch.
  • FIG 3 illustrates communication between a digital device and an external device according to an embodiment.
  • the digital device 100 has the form of an HMD.
  • the external device 201 is a flower pot.
  • external device 201 communicates with digital device 100.
  • the external device 201 may include a sensor.
  • the external device 201 may include a sensor for measuring the amount of moisture.
  • the external device 201 may transmit attribute information to the digital device 100.
  • the attribute information may include the name, type, current state, and / or various information associated with the external device of the external device 201.
  • the external device 201 may transmit attribute information in response to a request of the digital device 100.
  • the external device 201 may periodically transmit the attribute information to the digital device 100.
  • the external device 201 may transmit the attribute information to the digital device 100 when a predetermined condition of the external device 201 is satisfied.
  • the external device 201 may transmit the attribute information when the distance between the external device 201 and the digital device 100 is less than a predetermined distance.
  • the digital device 100 may receive attribute information of the external device 201.
  • the digital device 100 may receive the attribute information periodically or at a predetermined time.
  • the digital device 100 may request the external device 201 to transmit attribute information.
  • the digital device 100 may receive the attribute information based on a preset condition of the external device 201 and / or based on a distance between the digital device 100 and the external device.
  • the communication method of the attribute information between the digital device 100 and the external device 201 described above may be selectively combined.
  • the digital device 100 may receive the attribute information periodically or aperiodically.
  • the digital device 100 may determine the position of the digital device 100 using the positioning unit.
  • the location of the external device 201 may be determined based on the attribute information of the external device 201.
  • the digital device 100 may determine the distance between the external device 201 and the digital device 100 based on the response time from the external device 201 and the strength of the response signal. Also, if the distance between the digital device 100 and the external device 201 is less than a predetermined distance, the digital device 100 may receive attribute information of the external device 201.
  • the external device 201 of FIG. 3 may include a moisture sensor.
  • the external device 201 may transmit the attribute information to the digital device 100 when the measured moisture amount is less than or equal to the preset moisture amount.
  • the external device 201 may record a date on which the moisture amount is increased.
  • the external device 201 may record the date when water is introduced into the potted plant (the external device 201) based on the moisture content.
  • the external device 201 may determine how much time has elapsed from the date the water is introduced. Accordingly, the external device 201 may transmit the attribute information to the digital device 100 when the elapsed date exceeds a predetermined period.
  • the name of the external device 201 may be “flower pot”. Attribute information of the external device may include a name and a “water content”. Accordingly, the digital device 100 may determine that the potted plant (external device 201) needs water based on the received attribute information (for example, the net amount).
  • the digital device 100 may generate attributes associated with the external device 201 based on at least one of a name of the external device 201, a type of the external device 201, and state information of the external device 201. For example, the digital device 100 may use the received attribute information itself as an attribute of the external device 201. However, the digital device 100 may generate secondary attribute information based on the received attribute information of the external device 201. For example, the attribute information may be referred to as state information. In this case, the digital device 100 may receive state information from the external device 201. For example, the state information received from the external device 201 may include a name and a water content of the external device 201. In addition, the digital device 100 may generate attribute information of the external device 201 based on the received state information.
  • the digital device 100 may generate attribute information associated with the external device 201 "water” and "need” based on the amount of moisture received. That is, the digital device 100 may not only use the received attribute information itself but also generate extended attribute information based on the received attribute information.
  • the above state information and attribute information may be treated as the same, and the state information is used for distinguishing from the secondary attribute information.
  • both attribute information or secondary attribute information derived from attribute information can be used as attribute information associated with the external device 201.
  • the digital device 100 may sense the context information of the digital device 100 using the context sensing unit.
  • the digital device 100 may sense context information based on at least one of a frequency, an amplitude, and a tone of the sound sensed by the sound sensor of the context sensing unit.
  • the digital device 100 may sense context information based on one or more objects of an image sensed by the image sensor of the context sensing unit.
  • the digital device 100 may sense the context information based on the humidity sensed by the humidity sensor of the context sensing unit.
  • the digital device 100 may sense the context information based on the speed and / or acceleration sensed by the speedometer and / or the accelerometer of the context sensing unit.
  • the digital device 100 may sense context information based on at least one of an angular velocity and an orientation sensed by the gyro sensor of the context sensing unit.
  • the digital device 100 may sense that the digital device 100 is in a bathroom based on the sensed humidity. Also, for example, the digital device 100 may sense that the digital device 100 is in the subway based on the sensed sound. Also, for example, the digital device 100 may sense that the digital device 100 is moving based on the sensed speed.
  • the context information may optionally be combined. For example, the digital device 100 may sense that the digital device 100 is in a moving subway based on the sensed sound and speed.
  • the digital device 100 may sense context information using an image sensor. For example, the digital device 100 may identify the faucet and cup from the sensed image. Also, the digital device 100 may identify water from the sensed image. The digital device 100 may identify one or more objects from the sensed image. The digital device 100 may sense context information based on the identified object. For example, the digital device 100 of FIG. 3 identifies "water” and "cup” as objects, and senses context information "pour water” or "pour water” based on the identified object. You may.
  • the digital device 100 may generate attribute information associated with the digital device 100 based on the sensed context information. For example, in the case of FIG. 3, the digital device 100 may generate attribute information of “water” and “supply” from context information of “pour water” or “pour water”.
  • attribute information associated with the external device 201 is referred to as a first attribute
  • attribute information associated with context information of the digital device 100 is referred to as a second attribute.
  • the digital device 100 may match a first attribute associated with the external device 201 and a second attribute associated with the digital device 100.
  • the first attribute in FIG. 3 may be "water” and "need”.
  • the second attribute may also be "water” and "supply”.
  • Matching of the first attribute and the second attribute may be performed based on identity, similarity and / or association.
  • the digital device 100 may match a first attribute of “water” and a second attribute based on the sameness.
  • the digital device 100 may match the first attribute of "needed” with the second attribute of "supply” based on the association.
  • the digital device 100 may perform at least one of a match search, a similar search, and a semantic search on the first properties by using the second property as a keyword to match the first property and the second property. have.
  • the first attribute of the external device 201 is "water” and "sufficient"
  • the second attribute and the first attribute may not match each other.
  • the first attribute of the external device 201 may be “water” and “need”, and the second attribute of the digital device 100 may be “water” and “supply”.
  • the recommendation activity may be provided to the user by matching "need” and “supply” for "water” of the digital device 100.
  • the recommended activity may be a "supply” of "water” for the external device 201.
  • the digital device 100 may provide a recommendation activity. However, even if a part of the first attribute and a part of the second attribute match, the digital device 100 may not provide the recommendation activity. For example, in FIG. 3, if the first attribute is "water” and "sufficient”, and the second attribute is "water” and “supply”, the attributes of "water” match, but “sufficient” and “supply” In a broad sense, they are contrary. Therefore, the digital device 100 may not generate the recommended activity for the external device 201.
  • the digital device 100 may generate a recommended activity having a property similar to the current job based on the current job of the user of the digital device 100. For example, if the user drinks water, the digital device 100 may generate a recommended activity, such as watering the pot.
  • the digital device 100 may use a database embedded in the digital device to match the first attribute and the second attribute. However, the digital device 100 may use an external database to match the first attribute and the second attribute. For example, the digital device 100 may quantify the association of the first attribute with the second attribute based on the frequency of the attributes in the external database.
  • the digital device 100 may receive the first property of each of the plurality of external devices from the plurality of external devices. have.
  • the digital device 100 may receive a first property of each of the plurality of external devices and generate a database associated with the first property.
  • the digital device 100 may generate a recommendation activity associated with the matched external device by generating a second property of the digital device and matching the generated second property with first properties in a pre-generated database.
  • various methods such as searching may be used in matching the first attribute and the second attribute. It is possible to create an improved intelligent recommendation activity based on matching various first and second attributes.
  • the reception of the first attribute, the generation of the second attribute, and the matching of the first attribute and the second attribute may be performed simultaneously or at a time.
  • the digital device 100 may generate a second attribute to match the first attribute.
  • the digital device 100 may match the first attribute and the second attribute.
  • the operation of the digital device 100 described above with reference to FIG. 3 may be selectively combined with the operation of the digital device 100 described below with reference to FIGS. 4 to 10.
  • FIG. 4 illustrates a notification associated with an external device of a digital device according to an embodiment.
  • the digital device 100-1 or 100-2 may provide a notification based on the recommended activity.
  • the notification may include at least one of visual feedback, auditory feedback, and tactile feedback.
  • the digital device 100-1 provides a notification including visual feedback “Please water the pot”.
  • the digital device 100-1 may display the phrase “Please water the flower pot” on the display unit of the digital device 100-1.
  • the digital device 100-1 may output the phrase “Please water the flower pot” through the audio output unit. With this notification, the digital device 100-1 may provide vibration.
  • the user wears two digital devices 100-1 and 100-2.
  • the digital devices 100-1 and 100-2 may sense context information of the digital devices 100-1 and 100-2 by themselves.
  • the digital device 100-1 may sense the context information of the digital device 100-1 together with the other digital device 100-2.
  • the digital device 100-1 and the digital device 100-2 may be coupled to each other.
  • the digital device 100-1 may sense the context information using the visual information.
  • the digital device 100-2 may sense context information by using the auditory information.
  • the digital device 100-1 may sense context information from another digital device 100-2, and combine the received context information with the context information sensed by the digital device 100-1.
  • the digital device 100-1 may generate a second attribute based on the combined context information.
  • the notification of the digital device 100-1 may be linked with a schedule application of the digital device 100-1.
  • the new device 100 may automatically generate a new schedule on the schedule application based on the recommended activity.
  • the digital device 100-1 may provide a notification based on a new schedule on the schedule application.
  • the combination of the notification provided by the digital devices 100-1 and 100-2 and the context information of the digital devices 100-1 and 100-2 described above with reference to FIG. 4 may be described in detail with reference to FIG. 3. 3 and 100) may optionally be combined.
  • FIG. 5 illustrates a communication range between a digital device and an external device according to an embodiment.
  • the digital device 100 may provide a notification to the external device 201.
  • the digital device 100 may determine the position of the digital device 100 using the positioning unit. In addition, the location of the external device 201 may be determined based on the attribute information of the external device 201. The digital device 100 may determine the distance between the digital device 100 and the external device 201 based on the positions of the digital device 100 and the external device 201. Also, the digital device 100 may determine the distance between the external device 201 and the digital device 100 based on the response time from the external device 201 and the strength of the response signal.
  • the digital device 100 provides a notification only when the digital device 100 and the external device 201 are less than a preset distance.
  • the predetermined distance may be set to cover all sizes of the house.
  • the digital device 100 and the external device 201 are both in the house.
  • the digital device 100 may provide a recommendation activity associated with the external device 201.
  • the digital device 100 may not provide the recommended activity associated with the external device 201.
  • Providing the notification of the digital device 100 described above with reference to FIG. 5 may be optionally combined with operations of the digital device described above with reference to FIGS. 3 and 4.
  • FIG. 6 illustrates an interface of a digital device according to one embodiment.
  • the digital device 100 may include a touch-sensitive display unit that displays at least one image.
  • the digital device 100 may provide a user interface for controlling the notification on the touch-sensitive display unit.
  • the user interface may include at least one of a period of a notification, a frequency of the notification, and an end of the notification.
  • the digital device 100 provides an interface on the display unit that includes a notification of “Please water the flower” and whether the notification is repeated and whether the notification is terminated. The user may choose to repeat the notification and end the notification by touching the interface.
  • the digital device 100 provides an interface for determining whether to repeat with a notification of “watering the pot” on the display unit. The user may determine the period at which the notification will be provided again by determining the repetition period.
  • the interface of FIG. 6B may be a subsequent interface provided corresponding to the touch input for “repeating setting” of FIG. 6A.
  • FIG. 6 illustrates an example of an interface of the digital device 100, and the interface of the digital device of the present disclosure is not limited to the interface of FIG. 6.
  • the interface of FIG. 6 may be optionally combined with the notification of the digital device described above with reference to FIGS. 4 and 5.
  • FIG. 7 illustrates external object recognition of a digital device according to an embodiment.
  • the digital device can receive attribute information from an external device.
  • the external device is capable of communicating with at least the digital device.
  • the external object 211 described below with reference to FIGS. 7 and 8 may not communicate with the digital device 100. Therefore, the digital device 100 may not receive attribute information from the external object 211.
  • the digital device 100 of FIG. 7 directly generates attribute information of the external object 211. That is, instead of the digital device of FIG. 3 generating attribute information from the external device, the digital device 100 of FIG. 7 generates attribute information of the external object 211.
  • sensing of context information, generating property information associated with the digital device 100, and generating a recommended activity are the same as described above with reference to FIG. 3.
  • a method of generating property information of the external object 211 will be described. do.
  • the digital device 100 of FIG. 7 includes an image sensing unit.
  • the image sensing unit senses an image outside the digital device 100.
  • the image sensing unit may be part of the context sensing unit.
  • the digital device 100 may sense at least one external object from an image sensed by the image sensing unit.
  • the attribute information associated with the sensed external object 211 may be generated based on the sensed image.
  • the digital device 100 may sense the shirt as the external object 211 using the image sensing unit. For example, a shirt may be identified based on color and shape. In addition, the digital device 100 may generate an attribute for the sensed external object 211.
  • the digital device 100 may generate attribute information of “clothes” for the shirt 211 based on the type of the shirt 211.
  • the digital device 100 may generate the state of the identified shirt 211 as attribute information.
  • the digital device 100 may generate attribute information of the shirt 211 as "dirty” or “clean” based on the image (eg, stain) of the identified shirt 211.
  • the digital device 100 may update the identified external object 211 attribute information. For example, the number of times of wearing and the number of days of wearing of the shirt 201 may be recorded as attribute information. That is, the attribute information of the external object 201 may be updated several times over time. For example, when the user of the digital device 100 looks in the mirror, the digital device 100 may identify the user's clothes. The digital device 100 may record the period in which the same clothes are worn and the date of wear as attribute information of the external object 211. The digital device 100 may update the attribute information of the external object 211 based on the identified image and the time at which the image was identified.
  • the digital device 100 may update the attribute information of the external object 211 based on a predetermined criterion. For example, when it is determined that the shirt 211 is worn three or more times or one week has passed since the wearing, the digital device 100 may update the attribute information of the shirt 211 from "clean" to "dirty". It may be. That is, the digital device 100 may update the attribute information based on the updated attribute information of the external object 211 as well as the state and / or type of the sensed external object 211.
  • Attribute information for the external object 211 may be treated as a kind of flag. That is, if a certain condition is satisfied, a flag for the external object 211 may be generated. For example, if the "clothing" is the external object 211, a flag for the external object 211 may be activated when a predetermined condition (for example, three or more times or one week after wearing) is satisfied.
  • a predetermined condition for example, three or more times or one week after wearing
  • the digital device 100 may sense context information and generate attribute information associated with the digital device 100 based on the sensed context information.
  • the digital device 100 may match the attribute information associated with the external device 211 or the updated attribute information with the attribute information associated with the digital device 100.
  • the sensing of the external object described above with reference to FIG. 7 may be selectively combined with the operation of the digital device described above with reference to FIGS. 3 to 6.
  • FIG. 8 illustrates a notification associated with an external object of a digital device according to an embodiment.
  • the notification associated with the external object of FIG. 8 is basically the same as the notification associated with the external device described above with reference to FIGS. 3 to 6.
  • the digital device 100 may identify “clothes” and “washing machines”.
  • the digital device 100 may sense context information such as “washing clothes” from the “clothes” and the "washing machine.”
  • the digital device 100 may generate attribute information associated with the digital device 100, such as "clothes” and “clothes,” from the context information of "washing clothes.”
  • the digital device 100 may match "clothes” and “clothes” with “clothes” and “dirts”, which are attribute information associated with an external object. Accordingly, the digital device 100 may provide for washing the shirt as a recommended activity when the user is going to do the laundry. In addition, the digital device 100 may provide a notification, "Wash your shirt together," based on the recommended activity. In addition, the digital device 100 may provide an image of the identified external object with the notification.
  • the operation of the digital device 100 described above with reference to FIG. 8 may be selectively combined with the operation of the digital device described above with reference to FIGS. 3 to 7.
  • FIG. 9 illustrates a control method of a digital device according to an exemplary embodiment.
  • the digital device receives 901 one or more first attributes of the external device sensed by the external device. As described above with reference to FIG. 3, the first attributes may be received from an external device based on a period or a condition. Also, the digital device may sense 902 context information of the digital device. The context information may be sensed by the context sensing unit as described above with reference to FIG. 1. The digital device may generate 903 one or more second attributes based on the sensed context information. Generation of the second attribute is as described above with reference to FIG. 3. In addition, the digital device may generate 904 a recommendation activity for the external device by matching the one or more first attributes with the one or more second attributes. In addition, the digital device may provide a notification based on the recommended activity, as described above with reference to FIG. 4.
  • the method of controlling the digital device of FIG. 9 may be selectively combined with the operations of the digital device described above with reference to FIGS. 3 to 6 and 8.
  • the digital device performing the control method of the digital device of FIG. 9 may also perform the control method of the digital device of FIG. 10 to be described later.
  • FIG. 10 illustrates a control method of a digital device according to another embodiment.
  • the digital device senses the external object 1001 using the image sensing unit. Also, the digital device may generate 1002 one or more first attributes associated with the sensed external object based on the sensed image. The sensing of the external object and the generation of the first attributes are as described above with reference to FIGS. 3 and 7.
  • the digital device may sense 1003 of context information of the digital device.
  • the digital device may generate 1004 one or more second attributes based on the sensed context information.
  • the digital device may generate the context information and the second attribute described above with reference to FIGS. 3 and 8.
  • the digital device may generate 1005 a recommendation activity for the external object by matching the one or more first attributes with the one or more second attributes.
  • the digital device may provide a notification based on the generated recommendation object.
  • the control method of the digital device of FIG. 10 may be selectively combined with the operations of the digital device described above with reference to FIGS. 3 to 8.
  • operations of the digital device described above with reference to FIGS. 1 to 10 are not limited to the above-described embodiment.
  • recommending that a user wash different clothes together when washing clothes, or recommending watering a pot when the user drinks water is provided as an example.
  • the digital devices herein are designed to analyze user behavior in more depth beyond conventional location-based recommendation activities.
  • the digital devices herein can provide for the determination of recommended activities related to the behavior of the user.
  • the digital device and its control method according to the present disclosure are not limited to the configuration and method of the above-described embodiments, but various modifications may be made by selectively combining all or some of the embodiments.
  • the digital device of the present specification and its control method can be implemented as software in a processor-readable recording medium included in the digital device.
  • the processor-readable recording medium includes all kinds of recording devices that store data that can be read by the processor. Examples of the processor-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like, and the processor-readable recording medium is distributed in a networked computer system. In a distributed fashion, processor-readable code can be stored and executed.
  • the present invention has industrial applicability that can be used in terminal devices and that can be repeated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

본 명세서의 일 실시예에 따른 디지털 디바이스는 외부 디바이스로부터 속성 정보를 수신하고, 디지털 디바이스의 컨텍스트 정보에 기초하여 디지털 디바이스의 속성 정보를 생성할 수 있다. 또한, 디지털 디바이스는 생성된 디지털 디바이스의 속성 정보와 외부 디바이스의 속성 정보를 매칭함으로써 적어도 하나의 추천 액티비티를 제공할 수 있다.

Description

디지털 디바이스 및 그 제어 방법
본 발명은 디지털 디바이스 및 그 제어 방법에 대한 것이다.
휴대용 디바이스가 널리 보급됨에 따라, 디바이스는 유저의 편의를 위한 다양한 기능들을 제공하고 있다. 예를 들어, 디바이스는 유저의 할일과 일정을 관리하는 기능을 제공할 수 있다. 일정 어플리케이션을 포함하는 디바이스는 유저가 직접 입력한 일정에 기초하여 유저에게 알림을 제공할 수 있다. 그러나, 많은 일들에 대하여 유저가 직접 일정을 입력하기는 매우 어렵다.
유비쿼터스(ubiquitous) 환경의 구축과 함께, 개선된 할일 관리 방법이 제시되고 있다. 예를 들어, 특정 디바이스와 인접한 위치 내에 유저 디바이스가 존재하면, 유저 디바이스는 특정 디바이스에 대한 알림을 제공할 수도 있다. 이러한 할일의 알림은 위치기반 서비스로서 분류될 수 있다. 이러한 위치기반 서비스는 매우 단순하게 구현이 가능하다는 장점이 있다. 그러나, 위치에 기반한 알림은, 특정 디바이스의 속성 및 유저의 행동이 충분히 고려되지 않는다. 또한, 지정된 위치를 벗어나면 상술한 알림을 제공할 수 없다. 따라서, 유저의 불편을 최소화하면서도 유저에게 할일을 적절한 때에 알릴 수 있는 방법이 요구된다.
또한, 사물 인터넷(IoT: Internet of Things)의 발달과 함께, 다양한 디바이스와의 커뮤니케이션이 가능하게 되었다. 따라서, 사물 인터넷 기술을 이용한 지능형 서비스가 요구된다.
본 명세서는, 외부 디바이스 및 유저의 컨텍스트(context) 정보에 기초하여 알림(notification)을 제공하는 디지털 디바이스 및 그 제어 방법을 제공하고자 한다. 특히, 외부 디바이스의 속성 정보와 유저의 컨텍스트 정보를 매칭함으로써 보다 개선된 지능형 알림을 제공하는 디지털 디바이스를 제시하고자 한다.
본 명세서의 일 실시예에 따른 디지털 디바이스는, 하나 이상의 외부 디바이스와 커뮤니케이션하는 커뮤니케이션 유닛, 디지털 디바이스의 컨텍스트(context) 정보를 센싱하는 컨텍스트 센싱 유닛 및 커뮤니케이션 유닛과 컨텍스트 센싱 유닛을 제어하는 프로세서를 포함하고, 프로세서는, 외부 디바이스에 의하여 센싱된 외부 디바이스의 하나 이상의 제1 속성들을 수신하고, 센싱된 컨텍스트 정보에 기초하여 하나 이상의 제2 속성들을 생성하며, 하나 이상의 제1 속성들과 하나 이상의 제2 속성들을 매칭함으로써 외부 디바이스에 대한 추천 액티비티(activity)를 생성할 수 있다.
또한, 본 명세서의 일 실시예에 따른 디지털 디바이스는, 이미지 센싱 유닛, 디지털 디바이스의 컨텍스트(context) 정보를 센싱하는 컨텍스트 센싱 유닛 및 이미지 센싱 유닛 및 상기 컨텍스트 센싱 유닛을 제어하는 프로세서를 포함하고, 프로세서는, 이미지 센싱 유닛에 의하여 센싱된 이미지로부터 외부 오브젝트를 센싱하고, 센싱된 이미지에 기초하여 센싱된 외부 오브젝트에 연관된 하나 이상의 제1 속성들을 생성하고, 센싱된 컨텍스트 정보에 기초하여 하나 이상의 제2 속성들을 생성하며, 하나 이상의 제1 속성들과 하나 이상의 제2 속성들을 매칭함으로써 외부 오브젝트에 대한 추천 액티비티를 생성할 수 있다.
본 명세서에 따른 디지털 디바이스는 유저에게 추천 액티비티를 제공할 수 있다.
또한, 본 명세서에 따른 디지털 디바이스는 유저의 컨텍스트 정보에 기초하여 추천 액티비티를 생성함으로써 유저의 환경과 보다 연관성있는 액티비티를 추천할 수 있다.
도 1은 일 실시예에 따른 디지털 디바이스의 구성도이다.
도 2는 디지털 디바이스의 실시예들을 도시한다.
도 3은 일 실시예에 따른 디지털 디바이스와 외부 디바이스 사이의 커뮤니케이션을 도시한다.
도 4는 일 실시예에 따른 디지털 디바이스의 외부 디바이스와 연관된 알림을 도시한다.
도 5는 일 실시예 따른 디지털 디바이스와 외부 디바이스 사이의 커뮤니케이션 범위를 도시한다.
도 6은 일 실시예에 따른 디지털 디바이스의 인터페이스를 도시한다.
도 7은 일 실시예에 따른 디지털 디바이스의 외부 오브젝트 인식을 도시한다.
도 8은 일 실시예에 따른 디지털 디바이스의 외부 오브젝트에 연관된 알림을 도시한다.
도 9는 일 실시예에 따른 디지털 디바이스의 제어 방법을 도시한다.
도 10은 다른 실시예에 따른 디지털 디바이스의 제어 방법을 도시한다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명한다. 그러나, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 일 실시예에 따른 디지털 디바이스의 구성도이다.
본 명세서의 일 실시예에 따른 디지털 디바이스(100)는 하나 이상의 외부 디바이스와 커뮤니케이션하는 커뮤니케이션 유닛(130), 디지털 디바이스(100)의 컨텍스트 정보를 센싱하는 컨텍스트 센싱 유닛(120) 및 커뮤니케이션 유닛(130) 및 컨텍스트 센싱 유닛(120)을 제어하는 프로세서(110)를 포함할 수 있다.
커뮤니케이션 유닛(130)은 하나 이상의 외부 디바이스로부터 정보를 수신할 수 있다. 외부 디바이스로부터 수신된 정보는 외부 디바이스에 연관된 속성 정보를 포함할 수 있다. 외부 디바이스는 외부 디바이스의 속성을 표시하는 기설정된 정보(예를 들어, 외부 디바이스의 명칭 및 외부 디바이스의 유형)를 속성 정보로써 디지털 디바이스(100)에 송신할 수 있다. 또한, 외부 디바이스는 외부 디바이스의 현재 상태를 센싱하기 위한 센세들을 포함할 수 있고, 센서에 의하여 센싱된 외부 디바이스의 정보를 속성 정보로써 디지털 디바이스(100)에 송신할 수 있다. 커뮤니케이션 유닛(130)은 외부 디바이스와 다양한 프로토콜을 사용하여 유선 또는 무선 네트워크를 통하여 통신을 수행하고 데이터를 송신/수신할 수 있다. 예를 들어, 커뮤니케이션 유닛(130)은 무선 네트워크와의 접속을 위해, WLAN(Wireless LAN), IEEE 802.11 기반의 무선랜 통신, Wibro(Wireless Broadband), Wimax(World Interoperability for Micorwave Access), HSDPA(High Speed Downlink Packet Access), 블루투스, 근접장 통신(NFC: Near Field Communication) 규격 등을 이용할 수 있다. 또한, 커뮤니케이션 유닛(130)은 유/무선 네트워크를 통하여 인터넷에 접속할 수 있다. 또한, 외부 디바이스는 상술한 유/무선 네트워크 규격을 이용하여 커뮤니케이션 유닛(130)에 속성 정보를 송신할 수도 있다. 아울러, 외부 디바이스는 인터넷을 통하여 커뮤니케이션 유닛(130)에 속성 정보를 송신할 수도 있다.
컨텍스트 센싱 유닛(120)은 디지털 디바이스(100)의 컨텍스트 정보를 센싱할 수 있다. 예를 들어, 컨텍스트 센싱 유닛은 이미지 센서, 가속도 센서, 자이로 센서, 지자기 센서, GPS 센서, 압력 센서, 고도 센서, 근접 센서, 오디오 센서 또는 디지털 디바이스(100)의 주변 환경을 측정하기 위한 센서를 포함할 수도 있다.
프로세서(110)는 컨텍스트 센싱 유닛(120) 및 커뮤니케이션 유닛(130)을 제어할 수 있다. 또한, 프로세서(110)는 후술하는 디지털 디바이스(100)에 포함된 다른 구성들을 제어할 수도 있다. 프로세서(110)는 디지털 디바이스(100)의 데이터를 프로세싱하여 다양한 어플리케이션을 실행할 수 있다. 프로세서(110)는 명령에 기초하여 디지털 디바이스(100) 및 디지털 디바이스(100)에서 실행되는 컨텐츠를 제어할 수 있다.
또한, 디지털 디바이스(100)는 도 1에 미도시된 구성들을 더 포함할 수도 있다. 예를 들어, 디지털 디바이스(100)는, 메모리, 전력원, 하우징(housing), 디스플레이 유닛(예를 들어, 터치 센시티브 디스플레이 유닛), 오디오 수신 유닛, 오디오 출력 유닛, 위치 결정 유닛 또는 이미지 센싱 유닛을 더 포함할 수도 있다. 이미지 센싱 유닛은 가시 광선, 적외선, 자외선, 자기장 및/또는 음파를 이용하여 이미지를 센싱할 수도 있다.
또한, 상술한 구성들은 제조사의 선택 또는 디지털 디바이스(100)의 형태에 따라서 선택적으로 조합될 수 있다. 상술한 구성들은 버스를 통하여 서로 연결될 수 있으며, 프로세서(110)에 의하여 제어될 수 있다.
한편, 도 1에 도시된 디지털 디바이스(100)의 구성도는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록도들은 하드웨어적인 구성 유닛들을 논리적으로 구별하여 도시한 것이다. 따라서, 상술한 디지털 디바이스(100)의 구성 유닛들은 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 구현될 수도 있다.
한편, 본 명세서의 디지털 디바이스(100)는 다양한 입력에 기초하여 제어될 수도 있다. 예를 들어, 디지털 디바이스(100)는 물리적 버튼을 포함할 수 있으며, 물리적 버튼으로부터 입력을 수신할 수도 있다. 또한, 디지털 디바이스(100)는 음성 수신 유닛을 포함할 수 있으며, 수신된 음성에 기초하여 음성 인식을 수행하고, 음성 인식에 기초하여 제어될 수도 있다. 구체적으로, 디지털 디바이스(100)는 음절, 단어 또는 문장 단위의 음성 인식을 수행할 수도 있으며, 인식된 음절, 단어 또는 문장을 조합하여 기능을 수행할 수도 있다. 또한, 디지털 디바이스(100)는 이미지 센싱 유닛을 이용하여 이미지 분석을 수행할 수 있으며, 분석된 이미지에 기초하여 제어될 수도 있다. 또한, 디지털 디바이스(100)는 터치 센싱 유닛을 포함하며, 터치 센싱 유닛에 입력된 터치에 기초하여 제어될 수도 있다. 아울러, 디지털 디바이스(100)는 상술한 입력들의 조합에 기초하여 제어될 수도 있다.
도 2는 디지털 디바이스의 실시예들을 도시한다.
본 명세서의 디지털 디바이스(100)는 다양한 형태를 가질 수 있다. 예를 들어, 디지털 디바이스(100)는 포터블 디바이스 또는 웨어러블(wearable) 디바이스일 수도 있다. 그러나, 디지털 디바이스(100)는 후술하는 도 2의 디지털 디바이스(100)의 예시들에 한정되지 않는다. 예를 들어, 디지털 디바이스(100)는 탁상 시계일 수도 있다. 유저에게 알람을 제공할 수 있는 모든 유형의 디바이스가 본 명세서의 디지털 디바이스(100)에 포함될 수 있다.
예를 들어, 디지털 디바이스(100)는, 도 2의 (a)에 도시된 바와 같이, 모바일 폰의 형태를 가질 수도 있다. 또한, 디지털 디바이스(100)는, 도 2의 (b)에 도시된 바와 같이, HMD(Head Mounted Display)의 형태를 가질 수도 있다. 또한, 디지털 디바이스(100)는 도 2의 (c)에 도시된 바와 같이, 헬멧형의 HMD일 수도 있다. 또한, 디지털 디바이스(100)는 도 2의 (d)에 도시된 바와 같이, 렌즈형(예를 들어, 스마트 렌즈)일 수도 있다. 또한, 디지털 디바이스(100)는 도 2의 (e)에 도시된 바와 같이, 스마트 워치(smart watch)일 수도 있다.
이하에서는, 디지털 디바이스(100)에서 수행되는 동작을 도 3 내지 도 10을 참조하여 설명한다. 도 1 및 도 2와 관련하여 상술한 디지털 디바이스(100)의 구성이 후술하는 디지털 디바이스(100)의 동작에 이용될 수 있다. 또한, 이하에서 디지털 디바이스(100)의 동작과 프로세서(110)의 동작은 동일시되어 설명될 수도 있다.
도 3은 일 실시예에 따른 디지털 디바이스와 외부 디바이스 사이의 커뮤니케이션을 도시한다.
도 3에서, 디지털 디바이스(100)는 HMD의 형태를 갖는다. 또한, 외부 디바이스(201)는 화분이다. 도 3의 실시예에서, 외부 디바이스(201)는 디지털 디바이스(100) 커뮤니케이션한다. 또한, 외부 디바이스(201)는 센서를 포함할 수 있다. 예를 들어, 외부 디바이스(201)는 수분량을 측정하는 센서를 포함할 수도 있다.
외부 디바이스(201)는 속성 정보를 디지털 디바이스(100)에 송신할 수 있다. 속성 정보는 외부 디바이스(201)의 명칭, 유형, 현재 상태 및/또는 외부 디바이스에 연관된 다양한 정보를 포함할 수 있다. 외부 디바이스(201)는 디지털 디바이스(100)의 요청에 응답하여 속성 정보를 송신할 수도 있다. 또한, 외부 디바이스(201)는 속성 정보를 주기적으로 디지털 디바이스(100)에 송신할 수도 있다. 또한, 외부 디바이스(201)는 외부 디바이스(201)의 기설정된 조건이 만족되면 속성 정보를 디지털 디바이스(100)에 송신할 수도 있다. 아울러, 외부 디바이스(201)는 외부 디바이스(201)와 디지털 디바이스(100) 사이의 거리가 기설정된 거리 미만일 때, 속성 정보를 송신할 수도 있다.
상술한 바와 같이, 디지털 디바이스(100)는 외부 디바이스(201)의 속성 정보를 수신할 수 있다. 디지털 디바이스(100)는 주기적으로 또는 기설정된 임의의 시각에 속성 정보를 수신할 수 있다. 아울러, 디지털 디바이스(100)는 속성 정보의 송신을 외부 디바이스(201)에 요청할 수 있다. 또한, 디지털 디바이스(100)는 외부 디바이스(201)의 기설정된 조건에 기초하여 및/또는 디지털 디바이스(100)와 외부 디바이스 사이의 거리에 기초하여 속성 정보를 수신할 수 있다. 또한, 상술한 디지털 디바이스(100)와 외부 디바이스(201) 사이의 속성 정보의 커뮤니케이션 방식은 선택적으로 조합될 수 있다.
상술한 바와 같이, 디지털 디바이스(100)는 속성 정보를 주기적으로 또는 비주기적으로 수신할 수 있다. 또한, 디지털 디바이스(100)는 위치결정 유닛을 이용하여 디지털 디바이스(100)의 위치를 결정할 수 있다. 또한, 외부 디바이스(201)의 속성 정보에 기초하여 외부 디바이스(201)의 위치를 결정할 수도 있다. 또한, 디지털 디바이스(100)는 외부 디바이스(201)로부터의 응답 시간, 응답 신호의 강도에 기초하여 외부 디바이스(201)와 디지털 디바이스(100) 사이의 거리를 결정할 수도 있다. 또한, 디지털 디바이스(100)는 디지털 디바이스(100)와 외부 디바이스(201)의 거리가 기설정된 거리 미만이면 외부 디바이스(201)의 속성 정보를 수신할 수도 있다.
예를 들어, 도 3의 외부 디바이스(201)는 수분 센서를 포함할 수도 있다. 이 경우, 외부 디바이스(201)는 측정된 수분량이 기설정된 수분량 이하이면 속성 정보를 디지털 디바이스(100)에 송신할 수도 있다. 또한, 외부 디바이스(201)는 수분량이 증가된 날짜를 기록할 수도 있다. 이 경우, 외부 디바이스(201)는 수분량에 기초하여 화분(외부 디바이스(201))에 물이 유입된 날짜를 기록할 수도 있다. 또한, 외부 디바이스(201)는 물이 유입된 날짜로부터 얼마나 경과되었는지를 판단할 수도 있다. 따라서, 외부 디바이스(201)는 경과된 날짜가 일정 기간을 초과하면 속성 정보를 디지털 디바이스(100)에 송신할 수 있다.
예를 들어, 도 3에서 외부 디바이스(201)의 명칭은 "화분"일 수도 있다. 외부 디바이스의 속성 정보는 명칭과 "수분량"을 포함할 수도 있다. 따라서, 디지털 디바이스(100)는 수신된 속성 정보(예를 들어, 순분량)에 기초하여 화분(외부 디바이스(201))에 물이 필요함을 판단할 수도 있다.
디지털 디바이스(100)는 외부 디바이스(201)의 명칭, 외부 디바이스(201)의 유형 및 외부 디바이스(201)의 상태 정보 중 적어도 하나에 기초하여 외부 디바이스(201)에 연관된 속성들을 생성할 수도 있다. 예를 들어, 디지털 디바이스(100)는 수신된 속성 정보 자체를 외부 디바이스(201)의 속성으로서 이용할 수도 있다. 그러나, 디지털 디바이스(100)는 수신된 외부 디바이스(201)의 속성 정보에 기초하여 2차적인 속성 정보를 생성할 수도 있다. 예를 들어, 속성 정보는 상태 정보로 지칭될 수도 있다. 이 경우, 디지털 디바이스(100)는 외부 디바이스(201)로부터 상태 정보를 수신할 수 있다. 예를 들어, 외부 디바이스(201)로부터 수신된 상태 정보는 외부 디바이스(201)의 명칭과 수분량을 포함할 수도 있다. 또한, 디지털 디바이스(100)는 수신된 상태 정보에 기초하여 외부 디바이스(201)의 속성 정보를 생성할 수 있다. 예를 들어, 디지털 디바이스(100)는 수신된 수분량에 기초하여 "물"과 "필요"라는 외부 디바이스(201)에 연관된 속성 정보를 생성할 수도 있다. 즉, 디지털 디바이스(100)는 수신된 속성 정보 자체를 이용할 수 있을 뿐만 아니라, 수신된 속성 정보에 기초하여 확장된 속성 정보를 생성할 수도 있다. 상술한 상태 정보와 속성 정보는 동일한 것으로 취급될 수 있으며, 상태 정보는 2차적인 속성 정보와의 구분을 위하여 이용된 것이다. 따라서, 통상의 기술자는 속성 정보 또는 속성 정보로부터 파생된 2차적인 속성 정보 모두가 외부 디바이스(201)와 연관된 속성 정보로써 이용될 수 있음을 이해할 수 있을 것이다.
또한, 디지털 디바이스(100)는 컨텍스트 센싱 유닛을 이용하여 디지털 디바이스(100)의 컨텍스트 정보를 센싱할 수 있다. 디지털 디바이스(100)는 컨텍스트 센싱 유닛의 소리 센서에 의하여 센싱된 소리의 주파수, 진폭 및 음색 중 적어도 하나에 기초하여 컨텍스트 정보를 센싱할 수도 있다. 또한, 디지털 디바이스(100)는 컨텍스트 센싱 유닛의 이미지 센서에 의하여 센싱된 이미지의 하나 이상의 오브젝트에 기초하여 컨텍스트 정보를 센싱할 수 있다. 또한, 디지털 디바이스(100)는 컨텍스트 센싱 유닛의 습도 센서에 의하여 센싱된 습도에 기초하여 컨텍스트 정보를 센싱할 수 있다. 또한, 디지털 디바이스(100)는 컨텍스트 센싱 유닛의 속도계 및/또는 가속도계에 의하여 센싱된 속도 및/또는 가속도에 기초하여 컨텍스트 정보를 센싱할 수도 있다. 또한, 디지털 디바이스(100)는 컨텍스트 센싱 유닛의 자이로 센서에 의하여 센싱된 각속도 및 오리엔테이션 중 적어도 하나에 기초하여 컨텍스트 정보를 센싱할 수 있다.
예를 들어, 디지털 디바이스(100)는 센싱된 습도에 기초하여 디지털 디바이스(100)가 목욕탕에 있음을 센싱할 수도 있다. 또한, 예를 들어, 디지털 디바이스(100)는 센싱된 소리에 기초하여 디지털 디바이스(100)가 지하철 내에 있음을 센싱할 수도 있다. 또한, 예를 들어, 디지털 디바이스(100)는 센싱된 속도에 기초하여 디지털 디바이스(100)가 이동 중임을 센싱할 수도 있다. 컨텍스트 정보는 선택적으로 조합될 수 있다. 예를 들어, 디지털 디바이스(100)는 센싱된 소리와 속도에 기초하여 디지털 디바이스(100)가 이동중인 지하철 내에 있음을 센싱할 수도 있다.
예를 들어, 디지털 디바이스(100)는 이미지 센서를 이용하여 컨텍스트 정보를 센싱할 수 있다. 예를 들어, 디지털 디바이스(100)는 센싱된 이미지로부터 수도꼭지와 컵을 식별할 수도 있다. 또한, 디지털 디바이스(100)는 센싱된 이미지로부터 물을 식별할 수도 있다. 디지털 디바이스(100)는 센싱된 이미지로부터 하나 이상의 오브젝트를 식별할 수도 있다. 디지털 디바이스(100)는 식별된 오브젝트에 기초하여 컨텍스트 정보를 센싱할 수 있다. 예를 들어, 도 3의 디지털 디바이스(100)는 "물" 및 "컵"을 오브젝트로써 식별하고, 식별된 오브젝트에 기초하여 "물을 따른다" 또는 "물을 컵에 따른다"라는 컨텍스트 정보를 센싱할 수도 있다.
또한, 디지털 디바이스(100)는 센싱된 컨텍스트 정보에 기초하여 디지털 디바이스(100)와 연관된 속성 정보를 생성할 수 있다. 예를 들어, 도 3과 같은 경우, 디지털 디바이스(100)는 "물을 따른다" 또는 "물을 컵에 따른다"라는 컨텍스트 정보로부터 "물"과 "공급"이라는 속성 정보를 생성할 수도 있다.
이하에서는, 설명의 편의를 위하여, 외부 디바이스(201)에 연관된 속성 정보를 제1 속성으로, 디지털 디바이스(100)의 컨텍스트 정보에 연관된 속성 정보를 제2 속성으로 칭한다. 디지털 디바이스(100)는 외부 디바이스(201)와 연관된 제1 속성과 디지털 디바이스(100)와 연관된 제2 속성을 매칭할 수 있다. 예를 들어, 도 3에서의 제1 속성은 "물"과 "필요"일 수도 있다. 또한, 제2 속성은 "물"과 "공급"일 수도 있다.
제1 속성과 제2 속성의 매칭은 동일성, 유사성 및/또는 연관성에 기초하여 수행될 수 있다. 예를 들어, 도 3의 경우, 디지털 디바이스(100)는 "물"이라는 제1 속성과 제2 속성을 동일성에 기초하여 매칭할 수 있다. 또한, 디지털 디바이스(100)는 "필요"라는 제1 속성과 "공급"이라는 제2 속성을 연관성에 기초하여 매칭할 수 있다. 나아가, 디지털 디바이스(100)는 제1 속성과 제2 속성을 매칭하기 위하여, 제2 속성을 키워드로 이용하여 제1 속성들에 대하여 일치 검색, 유사 검색 및 의미론적 검색 중 적어도 하나를 수행할 수도 있다. 반대로, 외부 디바이스(201)의 제1 속성이 "물"과 "충분"인 경우, 제2 속성과 제1 속성을 서로 매칭되지 않을 수도 있다.
예를 들어, 도 3에서 외부 디바이스(201)의 제1 속성은 "물" 과 "필요"이고, 디지털 디바이스(100)의 제2 속성은 "물"과 "공급"일 수도 있다. 이 경우, 디지털 디바이스(100)의 "물"에 대한 "필요"와 "공급"을 매칭함으로써, 유저에게 추천 액티비티를 제공할 수 있다. 예를 들어, 추천 액티비티는 외부 디바이스(201)에 대한 "물"의 "공급"일 수도 있다.
또 다른 예시로써, 제1 속성의 일부와 제2 속성의 일부가 매칭되면 디지털 디바이스(100)는 추천 액티비티를 제공할 수도 있다. 그러나, 제1 속성의 일부와 제2 속성의 일부가 매칭된다고 하더라도 디지털 디바이스(100)는 추천 액티비티를 제공하지 않을 수도 있다. 예를 들어, 도 3에서 제1 속성이 "물"과 "충분"이고, 제2 속성이 "물"과 "공급"이라면, "물"의 속성은 일치하나, "충분"과 "공급"은 넓은 의미에서 상반되는 것이다. 따라서, 디지털 디바이스(100)는 외부 디바이스(201)에 대한 추천 액티비티를 생성하지 않을 수도 있다.
따라서, 디지털 디바이스(100)는 디지털 디바이스(100)의 유저의 현재 작업에 기초하여 현재 작업과 유사한 속성의 추천 액티비티를 생성할 수 있다. 예를 들어, 유저가 물을 마신다면, 디지털 디바이스(100)는 화분에 물을 주는 것과 같은 추천 액티비티를 생성할 수 있다.
디지털 디바이스(100)는 제1 속성과 제2 속성을 매칭하기 위하여 디지털 디바이스에 내장된 데이터 베이스를 이용할 수도 있다. 그러나, 디지털 디바이스(100)는 제1 속성과 제2 속성을 매칭하기 위하여 외부 데이터베이스를 이용할 수도 있다. 예를 들어, 디지털 디바이스(100)는 외부 데이터베이스 내의 속성들의 빈도에 기초하여 제1 속성과 제2 속성의 연관성을 수치화할 수도 있다.
한편, 도 3에는 하나의 외부 디바이스(201)로부터 제1 속성을 수신하는 것으로 도시되어 있으나, 디지털 디바이스(100)는 복수의 외부 디바이스들로부터 복수의 외부 디바이스들 각각의 제1 속성을 수신할 수도 있다. 예를 들어, 디지털 디바이스(100)는 복수의 외부 디바이스들 각각의 제1 속성을 수신하고, 제1 속성에 연관된 데이터베이스를 생성할 수도 있다. 또한, 디지털 디바이스(100)는 디지털 디바이스의 제2 속성을 생성하고, 생성된 제2 속성을 기 생성된 데이터베이스 내의 제1 속성들과 매칭함으로써 매칭된 외부 디바이스에 연관된 추천 액티비티를 생성할 수도 있다. 제1 속성과 제2 속성의 매칭에 있어서 검색과 같은 다양한 방법들이 이용될 수 있음은 상술한 바와 같다. 다양한 제1 속성과 제2 속성의 매칭에 기초하여 보다 개선된 지능형 추천 액티비티의 생성이 가능하다.
또한, 제1 속성의 수신, 제2 속성의 생성 및 제1 속성과 제2 속성의 매칭은 동시에 또는 이시에 수행될 수 있다. 예를 들어, 외부 디바이스(201)로부터 제1 속성을 수신하면, 디지털 디바이스(100)는 제2 속성을 생성하여 제1 속성과 매칭할 수도 있다. 그러나, 외부 디바이스(201)로부터 제1 속성을 수신한 때로부터 일정 시간 후에, 디지털 디바이스(100)는 제1 속성과 제2 속성을 매칭할 수도 있다.
도 3과 관련하여 상술한 디지털 디바이스(100)의 동작은 도 4 내지 도 10과 관련하여 후술하는 디지털 디바이스(100)의 동작과 선택적으로 조합될 수 있다.
도 4는 일 실시예에 따른 디지털 디바이스의 외부 디바이스와 연관된 알림을 도시한다.
디지털 디바이스(100-1 또는 100-2)는 추천 액티비티에 기초하여 알림(notification)을 제공할 수 있다. 또한, 알림은 시각적 피드백, 청각적 피드백 및 촉각적 피드백 중 적어도 하나를 포함할 수 있다.
도 4에서, 디지털 디바이스(100-1)는 "화분에 물을 주세요"라는 시각적 피드백을 포함하는 알림을 제공한다. 예를 들어, 디지털 디바이스(100-1)는 디지털 디바이스(100-1)의 디스플레이 유닛 상에 "화분에 물을 주세요"라는 문구를 디스플레이할 수도 있다. 또한, 디지털 디바이스(100-1)는 "화분에 물을 주세요"라는 문구를 음성 출력 유닛을 통하여 출력할 수도 있다. 이러한 알림과 함께, 디지털 디바이스(100-1)는 진동을 제공할 수도 있다.
도 4에서, 유저는 2 개의 디지털 디바이스(100-1, 100-2)를 착용하고 있다. 도 1 및 3과 관련하여 상술한 바와 같이, 디지털 디바이스(100-1, 100-2)는 그 자체로서 디지털 디바이스(100-1, 100-2)의 컨텍스트 정보를 센싱할 수도 있다. 그러나, 디지털 디바이스(100-1)는 다른 디지털 디바이스(100-2)와 함께 디지털 디바이스(100-1)의 컨텍스트 정보를 센싱할 수도 있다. 예를 들어, 디지털 디바이스(100-1)와 디지털 디바이스(100-2)는 서로 커플링될 수도 있다. 이 경우, 디지털 디바이스(100-1)는 시각적 정보를 이용하여 컨텍스트 정보를 센싱할 수도 있다. 또한, 디지털 디바이스(100-2)는 청각적 정보를 이용하여 컨텍스트 정보를 센싱할 수도 있다. 디지털 디바이스(100-1)는 다른 디지털 디바이스(100-2)로부터 컨텍스트 정보를 센싱하고, 수신된 컨텍스트 정보와 디지털 디바이스(100-1)에 의하여 센싱된 컨텍스트 정보를 조합할 수도 있다. 또한, 디지털 디바이스(100-1)는 조합된 컨텍스트 정보에 기초하여 제2 속성을 생성할 수도 있다.
한편, 디지털 디바이스(100-1)의 알림은 디지털 디바이스(100-1)의 스케쥴 어플리케이션과 연동될 수도 있다. 예를 들어, 디지털 디바이스(100-1) 추천 액티비티에 기초하여 스케쥴 어플리케이션 상의 새로운 스케쥴을 자동적으로 생성할 수도 있다. 또한, 디지털 디바이스(100-1)는 스케쥴 어플리케이션 상의 새로운 스케쥴에 기초하여 알림을 제공할 수도 있다.
도 4와 관련하여 상술한 디지털 디바이스(100-1 및 100-2)의 알림 제공과 디지털 디바이스(100-1 및 100-2)의 컨텍스트 정보의 조합은 도 3과 관련하여 상술한 디지털 디바이스(도 3의 100)의 동작과 선택적으로 조합될 수 있다.
도 5는 일 실시예 따른 디지털 디바이스와 외부 디바이스 사이의 커뮤니케이션 범위를 도시한다.
예를 들어, 외부 디바이스(201)가 집에 있고, 디지털 디바이스(100)는 집 밖에 있는 상황을 가정한다. 이 경우, 집 밖에 있는 디지털 디바이스(100)를 통하여 외부 디바이스(201)에 대한 알림을 제공하는 것은 유저에게 불편을 초래할 수 있다. 따라서, 디지털 디바이스(100)와 외부 디바이스(201)가 일정 거리내에 있을 때에만, 디지털 디바이스(100)는 외부 디바이스(201)에 대한 알림을 제공할 수도 있다.
또한, 디지털 디바이스(100)는 위치결정 유닛을 이용하여 디지털 디바이스(100)의 위치를 결정할 수 있다. 또한, 외부 디바이스(201)의 속성 정보에 기초하여 외부 디바이스(201)의 위치를 결정할 수도 있다. 디지털 디바이스(100)는 디지털 디바이스(100)와 외부 디바이스(201)의 위치에 기초하여 디지털 디바이스(100)와 외부 디바이스(201) 사이의 거리를 결정할 수도 있다. 또한, 디지털 디바이스(100)는 외부 디바이스(201)로부터의 응답 시간, 응답 신호의 강도에 기초하여 외부 디바이스(201)와 디지털 디바이스(100) 사이의 거리를 결정할 수도 있다.
도 5에서, 디지털 디바이스(100)는, 디지털 디바이스(100)와 외부 디바이스(201)가 기설정된 거리 미만인 경우에만 알림을 제공한다. 예를 들어, 기설정된 거리는 집의 크기를 모두 포괄할 수 있도록 설정될 수도 있다. 도 5 에서, 디지털 디바이스(100)와 외부 디바이스(201)는 모두 집 안에 있다. 이 경우, 디지털 디바이스(100)의 유저가 외부 디바이스(201)의 속성과 연관된 행동을 하면, 디지털 디바이스(100)는 외부 디바이스(201)에 연관된 추천 액티비티를 제공할 수도 있다. 반면, 디지털 디바이스(100)의 유저가 집 밖에 있는 경우, 디지털 디바이스(100)는 외부 디바이스(201)에 연관된 추천 액티비티를 제공하지 않을 수도 있다.
도 5와 관련하여 상술한 디지털 디바이스(100)의 알림 제공은 도 3 및 도 4와 관련하여 상술한 디지털 디바이스의 동작과 선택적으로 조합될 수도 있다.
도 6은 일 실시예에 따른 디지털 디바이스의 인터페이스를 도시한다.
도 1과 관련하여 상술한 바와 같이, 디지털 디바이스(100)는 적어도 하나의 이미지를 디스플레이하는 터치-센시티브(sensitive) 디스플레이 유닛을 포함할 수도 있다. 또한, 도 3 내지 도 5와 관련하여 상술한 추천 액티비티에 기초한 알림이 제공되면, 디지털 디바이스(100)는 터치-센시티브 디스플레이 유닛 상에 알림을 제어하는 유저 인터페이스를 제공할 수 있다. 또한, 유저 인터페이스는 알림의 주기, 알림의 빈도 및 알림의 종료 중 적어도 하나를 포함할 수 있다.
예를 들어, 도 6의 (a)에서, 디지털 디바이스(100)는 디스플레이 유닛 상에 "화분에 물을 주세요"라는 알림과 함께 알림의 반복 여부와 알림의 종료 여부를 포함하는 인터페이스를 제공한다. 유저는 인터페이스를 터치함으로써 알림의 반복과 알림의 종료를 선택할 수도 있다. 또한, 도 6의 (b)에서, 디지털 디바이스(100)는 디스플레이 유닛 상에 "화분에 물주기"라는 알림과 함께 반복 여부를 결정하는 인터페이스를 제공한다. 유저는 반복 주기를 결정함으로써 알림이 다시 제공될 주기를 결정할 수도 있다. 또한, 도 6의 (b)의 인터페이스는 도 6의 (a)의 "반복 설정"에 대한 터치 입력에 대응하여 제공되는 후속된 인터페이스일 수도 있다.
도 6은 디지털 디바이스(100)의 인터페이스의 일 예시를 도시한 것으로서, 본 명세서의 디지털 디바이스의 인터페이스는 도 6의 인터페이스에 한정되는 것은 아니다.
또한, 도 6의 인터페이스는 도 4 및 도 5와 관련하여 상술한 디지털 디바이스의 알림과 선택적으로 조합될 수 있다.
도 7은 일 실시예에 따른 디지털 디바이스의 외부 오브젝트 인식을 도시한다.
도 3 내지 도 5와 관련하여, 디지털 디바이스는 외부 디바이스로부터 속성 정보를 수신할 수 있음이 설명되었다. 도 3 내지 도 5에서, 외부 디바이스는 적어도 디지털 디바이스와 커뮤니케이션 가능하다. 도 7 및 도 8과 관련하여 후술하는 외부 오브젝트(211)는 디지털 디바이스(100)와 커뮤니케이션이 불가능하다. 따라서, 디지털 디바이스(100)는 외부 오브젝트(211)로부터 속성 정보를 수신할 수 없다.
따라서, 도 7의 디지털 디바이스(100)는 외부 오브젝트(211)의 속성 정보를 직접 생성한다. 즉, 도 3의 디지털 디바이스가 외부 디바이스로부터 속성 정보를 생성하는 대신, 도 7의 디지털 디바이스(100)는 외부 오브젝트(211)의 속성 정보를 생성한다. 다만, 컨텍스트 정보의 센싱, 디지털 디바이스(100)와 연관된 속성 정보 생성 및 추천 액티비티 생성은 도 3과 관련하여 상술한 바와 동일한 바, 이하에서는 외부 오브젝트(211)의 속성 정보를 생성하는 방법에 관하여 설명한다.
도 7의 디지털 디바이스(100)는 이미지 센싱 유닛을 포함한다. 이미지 센싱 유닛은 디지털 디바이스(100) 외부의 이미지를 센싱한다. 또한, 논리적으로 구분되었으나, 이미지 센싱 유닛은 컨텍스트 센싱 유닛의 일부일 수도 있다. 디지털 디바이스(100)는 이미지 센싱 유닛에 의하여 센싱된 이미지로부터 적어도 하나의 외부 오브젝트를 센싱할 수 있다. 또한, 센싱된 이미지에 기초하여 센싱된 외부 오브젝트(211)에 연관된 속성 정보를 생성할 수 있다.
예를 들어, 디지털 디바이스(100)는 이미지 센싱 유닛을 이용하여 셔츠를 외부 오브젝트(211)로서 센싱할 수도 있다. 예를 들어, 셔츠는 색과 형태에 기초하여 식별될 수도 있다. 또한, 디지털 디바이스(100)는 센싱된 외부 오브젝트(211)에 대한 속성을 생성할 수 있다.
예를 들어, 디지털 디바이스(100)는 셔츠(211)의 유형에 기초하여 셔츠(211)에 대하여 "옷"이라는 속성 정보를 생성할 수 있다.
또한, 디지털 디바이스(100)는 식별된 셔츠(211)의 상태를 속성 정보로서 기록할 수 생성할 수 있다. 예를 들어, 디지털 디바이스(100)는 식별된 셔츠(211)의 이미지(예를 들어, 얼룩)에 기초하여 셔츠(211)의 속성 정보를 "더러움" 또는 "깨끗함"으로 생성할 수 있다.
또한, 디지털 디바이스(100)는 식별된 외부 오브젝트(211) 속성 정보를 업데이트할 수도 있다. 예를 들어, 속성 정보로서 셔츠(201)의 착용 횟수와 착용 일수가 기록될 수 있다. 즉, 외부 오브젝트(201)의 속성 정보는 시간에 걸쳐 여러차례 업데이트될 수 있다. 예를 들어, 디지털 디바이스(100)의 유저가 거울을 볼 때, 디지털 디바이스(100)는 유저의 옷을 식별할 수 있다. 디지털 디바이스(100)는 동일한 옷이 착용된 기간 및 착용된 날짜를 외부 오브젝트(211)의 속성 정보로서 기록할 수도 있다. 디지털 디바이스(100)는 식별된 이미지와 이미지가 식별된 시간에 기초하여 외부 오브젝트(211)의 속성 정보를 업데이트할 수 있다.
또한, 디지털 디바이스(100)는 기설정된 기준에 기초하여 외부 오브젝트(211)의 속성 정보를 업데이트할 수도 있다. 예를 들어, 셔츠(211)가 3회 이상 착용되었거나, 착용후 일주일이 경과된 것으로 판단된 경우, 디지털 디바이스(100)는 셔츠(211)의 속성 정보를 "깨끗함"에서 "더러움"으로 업데이트할 수도 있다. 즉, 디지털 디바이스(100)는 센싱된 외부 오브젝트(211)의 상태 및/또는 유형 뿐만 아니라, 외부 오브젝트(211)의 업데이트된 속성 정보에 기초하여 속성 정보를 업데이트할 수도 있다.
외부 오브젝트(211)에 대한 속성 정보는 일종의 플래그(flag)로써 취급될 수도 있다. 즉, 일정한 조건이 만족되면 외부 오브젝트(211)에 대한 플래그가 생성될 수 있다. 예를 들어, "옷"이 외부 오브젝트(211)라면, 기설정된 조건(예를 들어, 3회 이상 착용 또는 착용 후 일주일 경과)이 만족되면 외부 오브젝트(211)에 대한 플래그가 작동될 수 있다.
또한, 도 3과 관련하여 상술한 바와 같이, 디지털 디바이스(100)는 컨텍스트 정보를 센싱하고, 센싱된 컨텍스트 정보에 기초하여 디지털 디바이스(100)에 연관된 속성 정보를 생성할 수 있다. 디지털 디바이스(100)는 외부 오브젝트(211)에 연관된 속성 정보 또는 업데이트된 속성 정보를 디지털 디바이스(100)에 연관된 속성 정보를 매칭할 수 있다.
도 7과 관련하여 상술한 외부 오브젝트의 센싱은 도 3 내지 도 6과 관련하여 상술한 디지털 디바이스의 동작과 선택적으로 조합될 수 있다.
도 8은 일 실시예에 따른 디지털 디바이스의 외부 오브젝트에 연관된 알림을 도시한다.
도 8의 외부 오브젝트에 연관된 알림은 도 3 내지 도 6과 관련하여 상술한 외부 디바이스에 연관된 알림과 기본적으로 동일하다. 도 8에서 디지털 디바이스(100)는 "옷"과 "세탁기"를 식별할 수 있다. 또한, 디지털 디바이스(100)는 "옷"과 "세탁기"로부터 "옷을 빨래하기"라는 컨텍스트 정보를 센싱할 수 있다. 예를 들어, 디지털 디바이스(100)는 "옷을 빨래하기"라는 컨텍스트 정보로부터 "옷"과 "빨래"라는 디지털 디바이스(100)에 연관된 속성 정보를 생성할 수도 있다.
또한, 디지털 디바이스(100)는 "옷"과 "빨래"를 외부 오브젝트에 연관된 속성 정보인 "옷"과 "더러움"와 매칭할 수도 있다. 따라서, 디지털 디바이스(100)는 유저가 빨래를 하려고 할 때에, 셔츠를 세탁하기를 추천 액티비티로서 제공할 수도 있다. 또한, 디지털 디바이스(100)는 추천 액티비티에 기초하여 "셔츠를 함께 빨래하세요"라는 알림을 제공할 수도 있다. 또한, 디지털 디바이스(100)는 식별된 외부 오브젝트의 이미지를 알림과 함께 제공할 수도 있다.
도 8과 관련하여 상술한 디지털 디바이스(100)의 동작은 도 3 내지 도 7과 관련하여 상술한 디지털 디바이스의 동작과 선택적으로 조합될 수 있다.
도 9는 일 실시예에 따른 디지털 디바이스의 제어 방법을 도시한다.
디지털 디바이스는 외부 디바이스에 의하여 센싱된 외부 디바이스의 하나 이상의 제1 속성들을 수신(901)한다. 외부 디바이스로부터 주기 또는 조건에 기초하여 제1 속성들을 수신할 수 있음은 도 3과 관련하여 상술한 바와 같다. 또한, 디지털 디바이스는 디지털 디바이스의 컨텍스트 정보를 센싱(902)할 수 있다. 컨텍스트 정보가 컨텍스트 센싱 유닛에 의하여 센싱될 수 있음은 도 1과 관련하여 상술한 바와 같다. 디지털 디바이스는 센싱된 컨텍스트 정보에 기초하여 하나 이상의 제2 속성들을 생성(903)할 수 있다. 제2 속성의 생성은 도 3과 관련하여 상술한 바와 같다. 또한, 디지털 디바이스는 하나 이상의 제1 속성들과 하나 이상의 제2 속성들을 매칭함으로써 외부 디바이스에 대한 추천 액티비티를 생성(904)할 수 있다. 또한, 디지털 디바이스는 도 4와 관련하여 상술한 바와 같이, 추천 액티비티에 기초하여 알림을 제공할 수 있다. 도 9의 디지털 디바이스의 제어 방법은 도 3 내지 도 6 및 도 8과 관련하여 상술한 디지털 디바이스의 동작들과 선택적으로 조합될 수 있다. 아울러, 도 9의 디지털 디바이스의 제어 방법을 수행하는 디지털 디바이스는 후술하는 도 10의 디지털 디바이스의 제어 방법 또한 수행할 수도 있다.
도 10은 다른 실시예에 따른 디지털 디바이스의 제어 방법을 도시한다.
디지털 디바이스는 이미지 센싱 유닛을 이용하여 외부 오브젝트를 센싱(1001)한다. 또한, 디지털 디바이스는 센싱된 이미지에 기초하여 센싱된 외부 오브젝트에 연관된 하나 이상의 제1 속성들을 생성(1002)할 수 있다. 외부 오브젝트의 센싱 및 제1 속성들의 생성은 도 3 및 도 7과 관련하여 상술한 바와 같다. 디지털 디바이스는 디지털 디바이스의 컨텍스트 정보를 센싱(1003)할 수 있다. 또한, 디지털 디바이스는 센싱된 컨텍스트 정보에 기초하여 하나 이상의 제2 속성들을 생성(1004)할 수 있다. 디지털 디바이스는 도 3 및 도 8 관련하여 상술한 컨텍스트 정보 및 제2 속성의 생성을 수행할 수 있다. 또한, 디지털 디바이스는 하나 이상의 제1 속성들과 하나 이상의 제2 속성들을 매칭함으로써 외부 오브젝트에 대한 추천 액티비티를 생성(1005)할 수 있다. 또한, 디지털 디바이스는 생성된 추천 오브젝트에 기초하여 알림을 제공할 수 있다. 도 10의 디지털 디바이스의 제어 방법은 도 3 내지 도 8과 관련하여 상술한 디지털 디바이스의 동작들과 선택적으로 조합될 수 있다.
한편, 도 1 내지 도 10과 관련하여 상술한 디지털 디바이스의 동작들은 상술한 실시예에 한정되는 것은 아니다. 예를 들어, 유저가 빨래를 할 때 다른 옷을 함께 빨래할 것을 추천하는 것이나, 유저가 물을 마실때 화분에 물을 줄 것을 추천하는 것은 예시로서 제시된 것이다. 본 명세서의 디지털 디바이스는 종래의 위치 기반 추천 액티비티를 넘어서 보다 심층적으로 유저의 행동을 분석하기 위하여 고안되었다. 본 명세서의 디지털 디바이스는 유저의 행동에 연관되고 지능화된 추천 액티비티의 결정을 제공할 수 있다.
본 명세서에 따른 디지털 디바이스 및 그 제어 방법은 상술한 실시 예들의 구성과 방법으로 한정되어 적용되는 것이 아니라, 각 실시 예들의 전부 또는 일부가 선택적으로 조합되어 다양한 변형이 이루어질 수 있다.
한편, 본 명세서의 디지털 디바이스 및 그 제어 방법은 디지털 디바이스에 구비된 프로세서가 읽을 수 있는 기록 매체에 소프트웨어로서 구현되는 것이 가능하다. 프로세서가 읽을 수 있는 기록매체는 프로세서에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 프로세서가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한, 프로세서가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 프로세서가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
또한, 이상에서는 본 명세서의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 명세서는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 명세서의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.
-
본 발명은 단말 장치에서 사용 가능하고 반복 가능성이 있는 산업상 이용가능성이 있다.

Claims (20)

  1. 디지털 디바이스로서,
    하나 이상의 외부 디바이스와 커뮤니케이션하는 커뮤니케이션 유닛;
    상기 디지털 디바이스의 컨텍스트(context) 정보를 센싱하는 컨텍스트 센싱 유닛; 및
    상기 커뮤니케이션 유닛 및 상기 컨텍스트 센싱 유닛을 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    외부 디바이스에 의하여 센싱된 상기 외부 디바이스의 하나 이상의 제1 속성들을 수신하고,
    상기 센싱된 컨텍스트 정보에 기초하여 하나 이상의 제2 속성들을 생성하며,
    상기 하나 이상의 제1 속성들과 상기 하나 이상의 제2 속성들을 매칭함으로써 상기 외부 디바이스에 대한 추천 액티비티(activity)를 생성하는, 디지털 디바이스.
  2. 제 1 항에 있어서,
    상기 프로세서는,
    상기 외부 디바이스에 의하여 센싱된 상기 외부 디바이스의 상태 정보를 수신하고,
    상기 수신된 상태 정보에 기초하여 상기 하나 이상의 제1 속성들을 생성하는, 디지털 디바이스.
  3. 제 1 항에 있어서,
    상기 프로세서는,
    상기 외부 디바이스의 명칭, 상기 외부 디바이스의 유형 및 상기 상태 정보 중 적어도 하나에 기초하여 상기 하나 이상의 제1 속성들을 생성하는, 디지털 디바이스.
  4. 제 1 항에 있어서,
    상기 프로세서는 상기 생성된 추천 액티비티에 기초하여 알림(notification)을 제공하고,
    상기 알림은 시각적 피드백, 청각적 피드백 및 촉각적 피드백 중 적어도 하나를 포함하는, 디지털 디바이스.
  5. 제 4 항에 있어서,
    위치 결정 유닛을 더 포함하고,
    상기 프로세서는,
    상기 디지털 디바이스와 상기 외부 디바이스의 거리가 기설정된 거리 미만이면 상기 알림을 제공하는, 디지털 디바이스.
  6. 제 4 항에 있어서,
    적어도 하나의 이미지를 디스플레이하는 터치-센시티브 디스플레이 유닛을 더 포함하고,
    상기 프로세서는,
    상기 알림이 제공되면, 상기 터치-센시티브 디스플레이 유닛 상에 상기 알림을 제어하는 유저 인터페이스를 제공하는, 디지털 디바이스.
  7. 제 6 항에 있어서,
    상기 알림의 상기 제어는 상기 알림의 주기, 상기 알림의 빈도 및 상기 알림의 종료 중 적어도 하나를 포함하는, 디지털 디바이스.
  8. 제 1 항에 있어서,
    상기 프로세서는,
    상기 외부 디바이스의 상기 하나 이상의 제1 속성들을 주기적으로 수신하는, 디지털 디바이스.
  9. 제 1 항에 있어서,
    상기 하나 이상의 제1 속성들은 상기 외부 디바이스의 기설정된 조건을 만족하면 상기 외부 디바이스로부터 수신되는, 디지털 디바이스.
  10. 제 1 항에 있어서,
    상기 컨텍스트 센싱 유닛은 소리 센서, 이미지 센서, 습도 센서, 속도계, 가속도계 및 자이로 센서 중 적어도 하나를 포함하는, 디지털 디바이스.
  11. 제 10 항에 있어서,
    상기 프로세서는,
    상기 소리 센서에 의하여 센싱된 소리의 주파수, 진폭 및 음색 중 적어도 하나;
    상기 이미지 센서에 의하여 센싱된 이미지의 하나 이상의 오브젝트;
    상기 습도 센서에 의하여 센싱된 습도;
    상기 속도계에 의하여 센싱된 속도;
    상기 가속도계에 의하여 센싱된 가속도; 및
    상기 자이로 센서에 의하여 센싱된 각속도 및 오리엔테이션 중 적어도 하나;
    중 적어도 하나에 기초하여 상기 컨텍스트 정보를 센싱하는, 디지털 디바이스.
  12. 제 1 항에 있어서,
    상기 프로세서는,
    복수의 외부 디바이스들 각각으로부터 상기 복수의 외부 디바이스 각각에 연관된 하나 이상의 제1 속성들을 수신하는, 디지털 디바이스.
  13. 제 12 항에 있어서,
    상기 프로세서는,
    상기 추천 액티비티를 생성하기 위하여, 상기 제2 속성들을 키워드로 이용하여 상기 제1 속성들에 대하여 일치 검색, 유사 검색 및 의미론적 검색 중 적어도 하나를 수행함으로써 상기 하나 이상의 제1 속성들과 상기 하나 이상의 제2 속성들을 매칭하는, 디지털 디바이스.
  14. 제 1 항에 있어서,
    상기 커뮤니케이션 유닛은, WLAN(Wireless Local Area Network), 인터넷, 무선 주파수, NFC(Near Field Communication) 및 블루투스 중 적어도 하나를 이용하여 상기 외부 디바이스와 커뮤니케이션하는, 디지털 디바이스.
  15. 디지털 디바이스로서,
    이미지 센싱 유닛;
    상기 디지털 디바이스의 컨텍스트(context) 정보를 센싱하는 컨텍스트 센싱 유닛; 및
    상기 이미지 센싱 유닛 및 상기 컨텍스트 센싱 유닛을 제어하는 프로세서를 포함하고,
    상기 프로세서는,
    상기 이미지 센싱 유닛에 의하여 센싱된 이미지로부터 외부 오브젝트를 센싱하고,
    상기 센싱된 이미지에 기초하여 상기 센싱된 외부 오브젝트에 연관된 하나 이상의 제1 속성들을 생성하고,
    상기 센싱된 컨텍스트 정보에 기초하여 하나 이상의 제2 속성들을 생성하며,
    상기 하나 이상의 제1 속성들과 상기 하나 이상의 제2 속성들을 매칭함으로써 상기 외부 오브젝트에 대한 추천 액티비티를 생성하는, 디지털 디바이스.
  16. 제 15 항에 있어서,
    상기 프로세서는,
    상기 하나 이상의 제1 속성들의 적어도 하나와 상기 하나 이상의 제2 속성들의 적어도 하나가 매칭되면, 상기 추천 액티비티를 생성하는, 디지털 디바이스.
  17. 디지털 디바이스의 제어 방법으로서,
    외부 디바이스에 의하여 센싱된 상기 외부 디바이스의 하나 이상의 제1 속성들을 수신하는 단계;
    상기 디지털 디바이스의 컨텍스트(context) 정보를 센싱하는 단계;
    상기 센싱된 컨텍스트 정보에 기초하여 하나 이상의 제2 속성들을 생성하는 단계; 및
    상기 하나 이상의 제1 속성들과 상기 하나 이상의 제2 속성들을 매칭함으로써 상기 외부 디바이스에 대한 추천 액티비티를 생성하는 단계를 포함하는, 디지털 디바이스의 제어 방법.
  18. 제 17 항에 있어서,
    상기 외부 디바이스에 의하여 센싱된 상기 외부 디바이스의 상태 정보를 수신하는 단계; 및
    상기 수신된 상태 정보에 기초하여 상기 하나 이상의 제1 속성들을 생성하는 단계를 더 포함하는, 디지털 디바이스의 제어 방법.
  19. 제 17 항에 있어서,
    상기 생성된 추천 액티비티에 기초하여 알림(notification)을 제공하는 단계를 더 포함하고,
    상기 알림은 시각적, 청각적 및 촉각적 피드백 중 적어도 하나를 포함하는, 디지털 디바이스의 제어 방법.
  20. 디지털 디바이스의 제어 방법으로서,
    이미지 센싱 유닛을 이용하여 외부 오브젝트를 센싱하는 단계;
    상기 센싱된 이미지에 기초하여 상기 센싱된 외부 오브젝트에 연관된 하나 이상의 제1 속성들을 생성하는 단계;
    상기 디지털 디바이스의 컨텍스트(context) 정보를 센싱하는 단계;
    상기 센싱된 컨텍스트 정보에 기초하여 하나 이상의 제2 속성들을 생성하는 단계; 및
    상기 하나 이상의 제1 속성들과 상기 하나 이상의 제2 속성들을 매칭함으로써 상기 외부 오브젝트에 대한 추천 액티비티를 생성하는 단계를 포함하는, 디지털 디바이스의 제어 방법.
PCT/KR2014/009465 2014-10-08 2014-10-08 디지털 디바이스 및 그 제어 방법 WO2016056687A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/517,946 US10802780B2 (en) 2014-10-08 2014-10-08 Digital device and method for controlling same
KR1020177004788A KR102410215B1 (ko) 2014-10-08 2014-10-08 디지털 디바이스 및 그 제어 방법
PCT/KR2014/009465 WO2016056687A1 (ko) 2014-10-08 2014-10-08 디지털 디바이스 및 그 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/KR2014/009465 WO2016056687A1 (ko) 2014-10-08 2014-10-08 디지털 디바이스 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2016056687A1 true WO2016056687A1 (ko) 2016-04-14

Family

ID=55653289

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2014/009465 WO2016056687A1 (ko) 2014-10-08 2014-10-08 디지털 디바이스 및 그 제어 방법

Country Status (3)

Country Link
US (1) US10802780B2 (ko)
KR (1) KR102410215B1 (ko)
WO (1) WO2016056687A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102306542B1 (ko) * 2018-06-05 2021-09-29 삼성전자주식회사 정보 처리 방법 및 디바이스

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012022021A1 (en) * 2010-08-16 2012-02-23 Nokia Corporation Method and apparatus for executing device actions based on context awareness
US20130159234A1 (en) * 2011-12-19 2013-06-20 Bo Xing Context activity tracking for recommending activities through mobile electronic terminals
US20140087711A1 (en) * 2012-09-27 2014-03-27 Aegis Mobility, Inc. Mobile device context incorporating near field communications
US20140128021A1 (en) * 2012-10-26 2014-05-08 Lookout, Inc. System and method for using context models to control operation of a mobile communications device
US20140244710A1 (en) * 2013-02-25 2014-08-28 Qualcomm Incorporated Context aware actions among heterogeneous internet of things (iot) devices

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8467876B2 (en) * 2003-10-15 2013-06-18 Rmx, Llc Breathing disorder detection and therapy delivery device and method
KR101722687B1 (ko) * 2010-08-10 2017-04-04 삼성전자주식회사 객체간 또는 객체와 유저간에 정보 제공 방법, 그 방법을 수행할 수 있는 유저 디바이스, 및 저장 매체
KR101900319B1 (ko) * 2012-02-07 2018-09-19 삼성전자 주식회사 서비스 연동 수행 방법과 이를 위한 시스템
KR20130091983A (ko) * 2012-02-09 2013-08-20 주식회사 휴디콤 사물통신망과 인터넷전화망 연동 시스템
KR101943986B1 (ko) * 2012-03-21 2019-01-31 삼성전자주식회사 애플리케이션 또는 컨텐트를 추천하는 이동 통신 단말 및 추천 방법
KR101935042B1 (ko) * 2012-09-28 2019-01-03 엘지전자 주식회사 단말기 및 단말기의 이용방법
KR101670808B1 (ko) * 2013-09-03 2016-10-31 삼성전자주식회사 알림을 제공하는 방법 및 그 전자 장치
DE112015002326B4 (de) * 2014-09-02 2021-09-23 Apple Inc. Monitor für physische Aktivität und Training

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012022021A1 (en) * 2010-08-16 2012-02-23 Nokia Corporation Method and apparatus for executing device actions based on context awareness
US20130159234A1 (en) * 2011-12-19 2013-06-20 Bo Xing Context activity tracking for recommending activities through mobile electronic terminals
US20140087711A1 (en) * 2012-09-27 2014-03-27 Aegis Mobility, Inc. Mobile device context incorporating near field communications
US20140128021A1 (en) * 2012-10-26 2014-05-08 Lookout, Inc. System and method for using context models to control operation of a mobile communications device
US20140244710A1 (en) * 2013-02-25 2014-08-28 Qualcomm Incorporated Context aware actions among heterogeneous internet of things (iot) devices

Also Published As

Publication number Publication date
KR20170066316A (ko) 2017-06-14
US20170315766A1 (en) 2017-11-02
US10802780B2 (en) 2020-10-13
KR102410215B1 (ko) 2022-06-17

Similar Documents

Publication Publication Date Title
US10462277B2 (en) Method and device for providing function of mobile terminal
WO2014181918A1 (en) Smart watch and method for controlling the same
WO2017039191A1 (ko) 무선 충전용 크래들 및 그것에 적용되는 전자 장치
WO2017209528A1 (en) Electronic apparatus and operating method thereof
WO2014175505A1 (en) Smart watch and control method for the same
WO2016204428A1 (ko) 전자 장치 및 이의 제어 방법
WO2015167160A1 (en) Command displaying method and command displaying device
WO2015034295A1 (en) Method and apparatus for configuring and recommending device action using user context
WO2015068927A1 (en) Hearing device and external device based on life pattern
WO2016017855A1 (en) Wearable device and method of controlling therefor
WO2015111798A1 (en) Portable device, smart watch, and method of controlling therefor
WO2015126208A1 (en) Method and system for remote control of electronic device
WO2011059224A2 (en) Method for providing position information using time period
EP3042280A1 (en) Method and apparatus for configuring and recommending device action using user context
WO2015152628A1 (en) Input device, method, and system for electronic device
KR20140074152A (ko) Ｂｌｅ 디바이스 제어 방법 및 이를 위한 휴대 단말
WO2016039532A1 (en) Method of controlling display of electronic device and electronic device thereof
WO2016080561A1 (ko) 디지털 디바이스 및 그 제어 방법
CN106254624B (zh) 终端、网络系统及其控制方法
EP3069220A1 (en) Method and apparatus for providing application information
WO2016056687A1 (ko) 디지털 디바이스 및 그 제어 방법
KR20140072771A (ko) 정보 제공 방법 및 이를 위한 휴대 단말
WO2013118971A1 (en) Method and system for completing schedule information, and computer-readable recording medium having recorded thereon program for executing the method
CN109407915B (zh) 一种排列对象的方法及终端
WO2016080565A1 (ko) 웨어러블 디바이스 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14903573

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20177004788

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15517946

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14903573

Country of ref document: EP

Kind code of ref document: A1