WO2020159111A1 - 엣지 컴퓨팅 환경에서 데이터를 전처리하는 전자 장치 및 그 제어 방법 - Google Patents

엣지 컴퓨팅 환경에서 데이터를 전처리하는 전자 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2020159111A1
WO2020159111A1 PCT/KR2020/000622 KR2020000622W WO2020159111A1 WO 2020159111 A1 WO2020159111 A1 WO 2020159111A1 KR 2020000622 W KR2020000622 W KR 2020000622W WO 2020159111 A1 WO2020159111 A1 WO 2020159111A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
received
ontology
server
electronic device
Prior art date
Application number
PCT/KR2020/000622
Other languages
English (en)
French (fr)
Inventor
이재훈
이윤수
황태호
강지영
곽세진
이현석
정미래
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2020159111A1 publication Critical patent/WO2020159111A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri

Definitions

  • the present disclosure relates to an electronic device that preprocesses data in an edge computing environment. More specifically, it relates to an electronic device that integrates and organizes data based on an ontology at an edge stage and transmits it to a central server.
  • each local server or electronic device connected to the cloud server directly processes/analyzes at least some data or provides some or all of the services by itself Means
  • Each local server or electronic device connected to the cloud server can collect a large amount of heterogeneous data from various data sources as an edge step.
  • the central server 10 receives data from various electronic devices 20, 30, 40, and 50 at the edge stage, and processes it to process the electronic devices 20, 30, 40, 50 Can be controlled.
  • the present disclosure provides an electronic device that performs preprocessing of data using an ontology in an edge computing environment and then transmits the preprocessed data to a server.
  • the present disclosure directly integrates/standardizes various heterogeneous data using an ontology, while grasping the meaning and analyzing the situation, thereby reducing the amount of data processed in the server and through a system including a server and an electronic device. It provides an electronic device that improves the quality of services provided and improves communication quality with a server.
  • the received data is pre-processed in a form required for a function provided by the server based on the ontology, and the pre-processed data is transmitted through the communication unit.
  • It includes a processor that transmits to the server.
  • the processor may use the ontology to identify the meaning of the received data and preprocess the received data in a form required for a function provided by the server based on the meaning of the identified data. have.
  • the processor may convert data received from a plurality of data sources into the same standard format using the ontology.
  • the processor classifies data received from a plurality of data sources according to characteristics of the data using the ontology and determines a situation related to a user of the electronic device based on the classified data, and the situation is When the set conditions are satisfied, the classified data may be transmitted to the server.
  • the processor classifies data received from a plurality of data sources according to characteristics of the data using the ontology and determines a situation related to a user of the electronic device based on the classified data, and the situation is When the set conditions are met, information on the determined situation may be transmitted to the server.
  • the processor determines whether abnormal data is present among the received data using the ontology, and if the abnormal data exists, acquires the abnormal data from the received data, and the acquired abnormal data It may be transmitted to the server.
  • the processor determines whether the external device is abnormal through data received from a plurality of data sources including an external device, by using the ontology, and when the external device has an abnormality, from the plurality of data sources
  • the received data can be transmitted to the server.
  • the processor by using the ontology, determines the situation corresponding to each of the data received from a plurality of data sources, and identifies a situation that satisfies a predetermined condition among the determined conditions, the plurality of data Among the data received from the source, data corresponding to the identified situation may be transmitted to the server.
  • a control method of an electronic device that pre-processes data received from a data source and transmits it to a server in an edge computing environment, when data is received from a data source, is based on pre-stored ontology. And pre-processing the received data in a form required for a function provided by the server, and transmitting the pre-processed data to the server.
  • the pre-processing step uses the ontology to identify the meaning of the received data, and based on the meaning of the identified data, the received data in a form required for the function provided by the server It can be pretreated.
  • data received from a plurality of data sources may be converted into the same standard format using the ontology.
  • the pre-processing may classify data received from a plurality of data sources according to characteristics of the data using the ontology, determine a situation related to a user of the electronic device based on the classified data, and transmit the In the step of, when the situation satisfies a predetermined condition, the classified data may be transmitted to the server.
  • the pre-processing may classify data received from a plurality of data sources according to characteristics of the data using the ontology, determine a situation related to a user of the electronic device based on the classified data, and transmit the In the step of, if the situation satisfies a preset condition, information on the determined situation may be transmitted to the server.
  • the pre-processing may include determining whether abnormal data exists among the received data using the ontology, and when the abnormal data exists, obtaining the abnormal data from the received data. Including, the step of transmitting, may transmit the acquired abnormal data to the server.
  • the transmitting step includes: In this case, data received from the plurality of data sources may be transmitted to the server.
  • the pre-processing step using the ontology, determining a situation corresponding to each of the data received from a plurality of data sources, identifying a situation that satisfies a preset condition among the determined situations Including, the step of transmitting may transmit data corresponding to the identified situation among data received from the plurality of data sources to the server.
  • the computer-readable medium is executed by a processor of an electronic device that pre-processes data received from a data source in an edge computing environment and transmits it to a server, thereby causing the electronic device to receive data from the data source. Is received, pre-processing the received data in a form required for a function provided by the server based on pre-stored ontology (Ontology), and transmitting the pre-processed data to the server. It stores computer instructions to perform.
  • the electronic device has an effect of integrating/arranging various data sources based on the ontology and transmitting the result to the server, thereby reducing the amount of data processed by the server and improving communication quality with the server.
  • the electronic device according to the present disclosure has an effect of improving the quality of service provided through a system including a server and an electronic device.
  • the electronic device is for efficiently/optimizing the role of the edge step in the edge computing environment.
  • the electronic device preprocesses data in a form required for functions provided by the server. can do.
  • FIG. 1 is a view showing an example for schematically describing an edge computing environment
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device according to an embodiment of the present disclosure
  • 3 is a diagram for explaining an example in which the electronic device pre-processes data received from various data sources
  • 4 is a diagram for explaining an example of using an ontology in preprocessing data by an electronic device
  • 5 is a view for explaining an example of determining a situation related to a user of an electronic device by analyzing data
  • FIG. 6 is a view for explaining an example of selectively transmitting data corresponding to a situation that satisfies a predetermined condition to the server
  • FIG. 8 is a block diagram illustrating a detailed configuration of an electronic device according to various embodiments of the present disclosure.
  • FIG. 9 is a flowchart illustrating a control method of an electronic device according to an embodiment of the present disclosure.
  • FIG. 10 is a flowchart illustrating an example for describing a method of controlling an electronic device according to the present disclosure in more detail.
  • ordinal numbers such as “first” and “second”, may be used to distinguish between components. This ordinal number is used to distinguish the same or similar components from each other, and the meaning of the term should not be interpreted due to the ordinal number.
  • the components combined with the ordinal number should not be limited in the order of use or arrangement by the number. If necessary, each ordinal number may be used interchangeably.
  • modules such as “module”, “unit”, and “part” are terms used to refer to a component that performs at least one function or operation, and the component is hardware or software. It can be implemented or can be implemented as a combination of hardware and software. In addition, a plurality of "modules”, “units”, “parts”, etc. are integrated with at least one module or chip, except that each needs to be implemented with individual specific hardware. Can be implemented as
  • a part when a part is connected to another part, this includes not only a direct connection, but also an indirect connection through another medium.
  • the meaning that a part includes a certain component means that other components may be further included instead of excluding other components unless otherwise specified.
  • FIG. 2 is a block diagram illustrating a configuration of an electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 pre-processes data received from a data source in an edge computing environment such as a smart phone, desktop PC, notebook PC, tablet PC, wearable device, TV, smart TV, set-top box, kiosk, local server, etc. It is possible to correspond to various electronic devices that can be transmitted.
  • a data source such as a smart phone, desktop PC, notebook PC, tablet PC, wearable device, TV, smart TV, set-top box, kiosk, local server, etc. It is possible to correspond to various electronic devices that can be transmitted.
  • the electronic device 100 may include a communication unit 110, a processor 120, and a storage 130.
  • the communication unit 110 is configured to perform communication with at least one external device (not shown) in a wireless or wired manner. To this end, at least a part of the communication unit 110 may be configured as circuitry.
  • the communication unit 110 When performing data communication with an external device through a wireless communication method, the communication unit 110 includes a WIFI DIRECT communication module, a Bluetooth module, an infrared data association (IrDA) module, and Near Field Communication (NFC). ) Module, Zigbee module, cellular communication module, 3G (3rd generation) mobile communication module, 4G (4th generation) mobile communication module, 4th generation LTE (Long Term Evolution) communication module.
  • the communication unit 110 may be connected to a coaxial cable, an optical fiber cable, or the like to transmit and receive various data by performing a local area network (LAN) communication.
  • LAN local area network
  • the electronic device 100 may exchange various data with a server (not shown).
  • the processor 120 may control the overall operation of the electronic device 100.
  • the processor 120 includes a random access memory (RAM) (not shown), a read only memory (ROM) (not shown), a central processing unit (CPU) (not shown), and a graphics processing unit (GPU) (Not shown), a system bus (not shown), and the like, and may perform operations or data processing related to control of other components included in the electronic device 100.
  • RAM random access memory
  • ROM read only memory
  • CPU central processing unit
  • GPU graphics processing unit
  • system bus not shown
  • the processor 120 executes one or more instructions stored in the storage 130 to control one or more components included in the electronic device 100, control one or more components as a hardware circuit or chip, or software and One or more components can be controlled as a combination of hardware.
  • the storage 130 is an operating system (OS) for controlling the overall operation of the components of the electronic device 100 and a configuration for storing commands or data related to the components of the electronic device 100.
  • OS operating system
  • the storage 130 may include non-volatile memory (ex: hard disk, solid state drive (SSD), flash memory), volatile memory, and the like.
  • non-volatile memory ex: hard disk, solid state drive (SSD), flash memory
  • volatile memory volatile memory
  • Ontology may be stored in the storage 130.
  • Ontology is a model in which the meaning of various data and various conditions corresponding to the meaning are expressed in a form that can be processed in the electronic device 100.
  • the electronic device 100 semantically understands the received/inputted data and receives/entered based on the understood meaning Data can be preprocessed. Such an operation may be understood as using semantic rules included in the ontology.
  • the ontology stored in the storage 130 may be changed/updated through information received through the communication unit 110, an input/output port (not shown), or a user input unit (not shown), and at least some of the contents of the ontology are electronic It may be a result of machine learning performed in the device 100 or in an external device (not shown).
  • the electronic device 100 grasps the meaning of specific data using an ontology
  • the electronic device 100 is not limited to a simple process of matching the data with the specific meaning.
  • the electronic device 100 may grasp the meaning of each data as a result of applying relationships between various received data and conditions of each data to the ontology.
  • the electronic device 100 may identify whether the identified meaning matches one or more pre-stored conditions. If it matches, the corresponding data may be processed in a predefined manner in the ontology. Meanwhile, one or more pre-stored conditions themselves may be included in the ontology.
  • 3 is a diagram for describing an example in which the electronic device 100 preprocesses data received from various data sources.
  • the electronic device 100 of the edge computing environment receives data through various sensors provided therein (1), or a communication unit 110 or an input/output port (not shown) from various sensor devices implemented separately. Data) (2), or receive data from various external devices capable of communication through the communication unit 110 or an input/output port (not shown) (3).
  • the various sensors and sensor devices described above include various sensors such as a camera sensor, a microphone sensor, a geomagnetic sensor, an acceleration sensor, a gyro sensor, a Global Positioning System (GPS) sensor, a touch sensor, a proximity sensor, a motion sensor, and a fingerprint sensor. It can contain.
  • external devices may be various, such as a smart phone, a server, a TV, and a PC.
  • the electronic device 100 preprocesses the received data in a form required for a function provided by the server 200 and then preprocesses the data. It can be transmitted to (200).
  • the server 200 controls the electronic device 100 or another external device (not shown) using the result of analyzing the received preprocessed data, or the electronic device 100 or another external device (not shown) ), data corresponding to the analysis result can be transmitted.
  • the form required for the function provided by the server 200 may be a form corresponding to a communication method/standard between the electronic device 100 and the server 200. Also, it may be at least one of data types that can be processed by the server 200.
  • the form required for the function provided by the server 200 is that a system including the server 200 and the electronic device 100 provides at least one service using data received by the electronic device 100. , May be at least one of data types processed by the server 200.
  • a form required for the function provided by the server 200 may be a form in which at least a part of data processing is performed except for data processing that can be performed only on the server 200 rather than the electronic device 100.
  • data processing including data processing that cannot be performed by the server 200 may be performed.
  • FIG. 4 is a view for explaining an example in which the electronic device 100 uses an ontology in preprocessing data as the embodiment of FIG. 3 is more specific in terms of the operation of the electronic device 100.
  • the processor 120 When the data is received from the data source, the processor 120 pre-processes the received data in a form required for a function provided by the server 200 based on the ontology, and the pre-processed data through the communication unit 11 It can be transmitted to (200).
  • the processor 120 may use the ontology to identify the meaning of the received data and preprocess the received data in a form required for the function provided by the server 200 based on the meaning of the identified data. .
  • the ontology stored in the storage 130 may include a standardized ontology 410, a data ontology 420, and a sensor ontology 430.
  • the processor 120 may convert the data into a specific standard format using the standardized ontology 410.
  • the standardized ontology 410 is an ontology including rules for grasping the meaning of the received data and converting the format of the received data into a format that matches the semantic meaning among the preset standard formats.
  • the processor 120 may convert data received from a plurality of data sources into the same standard format using a standardized ontology. For example, when the unit of the temperature data received from different temperature sensors is the temperature data in the units of'absolute temperature' and'Fahrenheit', respectively, the processor 120 indicates that the data received using the standardized ontology means temperature. It is possible to grasp a point and convert all of the received temperature data according to a unit of'Celsius', which is a format of temperature data among preset standard formats.
  • This embodiment using the standardized ontology 410 may be applied even when data is received from devices of a plurality of companies handling different types of data.
  • oneM2M ontology among the standardization function ontology used in the past may be used to standardize all data in different formats to the same format.
  • the processor 120 may organize data using the data ontology 420.
  • the data ontology 420 is an ontology including rules for grasping the meaning of the received data and organizing the data based on the identified meaning.
  • the processor 120 may use the data ontology 420 to determine the meaning of the received data, and then delete at least some of the data corresponding to the overlapping meaning.
  • data of an undesired form or undesired content may be deleted for a function provided by the server 200.
  • the service provided through the electronic device 100 and the server 200 is a service that measures obesity according to height and weight and provides the result, the measurement target has no direct relationship with obesity among the received data. Data on eyesight, etc. may be deleted.
  • the processor 120 applies the meaning of the received data to the data ontology 420, and the function provided by the server 200 It is also possible to generate data of the content required for.
  • the server 200 provides a function of identifying a recommended exercise corresponding to the measured obesity. Assuming that it is performed, the electronic device 100 may directly calculate the obesity using data about the height and weight of the person to be measured, and then transmit the result of the calculation to the server 200.
  • the processor 120 may synchronize data received from a plurality of data sources with the same sampling period using the data ontology 420.
  • the processor 120 may use the sensor ontology 430 to transmit the electronic device 100, a user of the electronic device 100, or received data. You can judge the situation related to the data source.
  • the processor 120 determines various situations will be described with reference to FIGS. 5 to 7.
  • the sensor ontology 430 is an ontology including rules for identifying characteristics of each data source corresponding to the received data and using the identified characteristics to grasp the meaning of the received data.
  • the sensor ontology 430 may include rules for determining various situations using the meaning of the received data.
  • the processor 120 uses the sensor ontology 430 to classify data received from a plurality of data sources according to the characteristics of the data, grasp the meaning of the classified data, and use the identified meaning to the electronic device 100 It can determine the situation related to the user.
  • the processor 120 may transmit the classified data and/or information about the determined situation to the server 200 through the communication unit 110 when the determined situation meets a preset condition.
  • audio signals sensed through one or more microphone sensors installed in the venue 510 may include various sounds. If, assuming that the electronic device 100 is a main computer for adjusting the sound in the venue 510, an audio signal detected through one or more microphone sensors in the venue 510 may be received by the electronic device 100. . In addition, data about an audio signal (music to be performed) output through the speaker in the venue 510 may also be stored/updated in real time in the electronic device 100 or stored in advance.
  • the processor 120 using the sensor ontology 430, the audio signal corresponding to the audio signal output through the speaker among the audio signals received through the microphone sensor is'main volume', the audio output through the speaker
  • the audio signal that does not correspond to the signal is'noise' and thus its meaning/characteristics can be determined.
  • the processor 120 may determine a situation related to the sound volume of the'main volume' and the'noise' in consideration of the decibel ratings of the'main volume' and the'noise'. As a result of the determination, if the'main volume' is smaller than the preset first volume, but the'noise' is larger than the preset second volume, the processor 120 may transmit the'main volume' and the'noise' through the communication unit 110. It is possible to transmit data about the volume or information such as'high ambient noise is small and main volume is small' to the server 200.
  • the server 200 may transmit a control command to further increase the main volume to the electronic device 100 or the speaker device in at least one venue 510.
  • various sounds may be included in an audio signal detected through a microphone sensor installed inside a specific vehicle running on the road 520. If, assuming that the electronic device 100 is an ECU (Electronic Control Unit) system connected to a speaker and a microphone sensor in the corresponding vehicle, the audio signal detected through the microphone sensor in the corresponding vehicle may be received by the electronic device 100 have. In addition, data about an audio signal (reproduced music or radio broadcast) output through the speaker in the vehicle may also be stored/updated or stored in advance in the electronic device 100 in real time.
  • ECU Electronic Control Unit
  • the processor 120 compares a plurality of pre-stored audio signals with the received horn sound using the sensor ontology 430 as a'horn sound'. It can be confirmed that has occurred. Then, if the volume of the music or radio broadcast output through the in-vehicle speaker is greater than a preset volume, the processor 120 may determine that the'user is in a situation in which it is difficult to detect a danger'.
  • the processor 120 may transmit the data of the volume of the'horn sound' and the'music or radio broadcast' or the information'that the driver has low sensitivity to external sound' to the server 200.
  • the server 200 may transmit a command to stop outputting an audio signal of a speaker in a vehicle or to reduce the volume of an output audio signal to the electronic device 100.
  • the processor 120 uses the sensor ontology 430 to determine situations corresponding to each of data received from a plurality of data sources, to identify situations that meet predetermined conditions among the determined conditions, and to detect a plurality of data. Among the data received from the source, data corresponding to the identified situation may be transmitted to the server 200.
  • FIG. 6 is a diagram for explaining an example of selectively transmitting data corresponding to a situation that satisfies a preset condition to the server 200.
  • FIG. 6 shows the received data after the electronic device 100, which is a local server of the camera system, receives data for an image from a plurality of cameras 600-1, 2, 3, 4, 5, ... It is assumed that the case is pre-processed and transmitted to the server 200.
  • the electronic device 100 corresponds to an image captured through each camera through image data received from each of a plurality of cameras 600-1, 2, 3, 4, 5, ... You can judge the situation.
  • the photographed image may correspond to various situations, for example, when one or more people are photographed, when a suspicious person is photographed, when a puppy/cat is photographed, when a criminal's face is photographed, ,
  • the processor 120 may determine this situation through the sensor ontology 430.
  • the processor 120 photographs a person with suspicious behavior among a plurality of cameras 600-1, 2, 3, 4, 5, ... At least part of the image data of one camera may be transmitted to the server 200. Alternatively, the processor 120 may transmit information on the location of the camera that photographed the person with suspicious behavior and information on the time at which the suspicious person was photographed to the server 200.
  • the processor determines whether abnormal data is present among the received data using the sensor ontology 430, and if abnormal data is present, acquires abnormal data from the received data, and obtains the abnormal data from the server ( 200).
  • the electronic device 100 may receive data on the internal temperature of the refrigerator from a specific refrigerator, and the processor 120 may transmit abnormal data corresponding to the internal temperature outside the normal range among the received data to the server 200 Can transmit. Then, the server 200 may analyze the state of the corresponding refrigerator using the received data.
  • the processor 120 determines whether an external device is abnormal through data received from a plurality of data sources including an external device using the sensor ontology 430 and, if the external device is abnormal, the plurality of data Data received from the source may be transmitted to the server.
  • FIG. 7 is a diagram for explaining an example of selectively transmitting abnormal data to the server 200.
  • FIG. 7 illustrates that the electronic device 100 can receive data from various data sources such as an air conditioner 700-1, a refrigerator 700-2, a microwave oven 700-3, and a camera device 700-4. It is assumed that this corresponds to the local server of the management system in the building.
  • various data sources such as an air conditioner 700-1, a refrigerator 700-2, a microwave oven 700-3, and a camera device 700-4. It is assumed that this corresponds to the local server of the management system in the building.
  • the processor 120 applies the data received from the refrigerator 700-2 and the data received from the camera device 700-4 to the sensor ontology 430 to determine whether the refrigerator 700-2 is abnormal. I can judge. In this case, according to the rules of the sensor ontology 430, data received from the air conditioner 700-1 and the microwave oven 700-3 may not be used to determine whether the refrigerator 700-2 is abnormal. .
  • the processor 120 may perform a camera device (depending on the sensor ontology 430). It is possible to determine whether the door of the refrigerator 700-2 is open through the image data received from 700-4). If, when the door of the refrigerator 700-2 is not open, when the data about the internal temperature of the refrigerator 700-2 corresponds to a temperature higher than the normal range, the processor 120 displays the refrigerator 700-2. It can be identified that there is an abnormality.
  • the processor 120 may receive information indicating that there is an abnormality in the refrigerator 700-2 through the communication unit 110 or data about the internal temperature received from the refrigerator 700-2, the central server of the management system in the building. It can be transmitted to (200).
  • the central server 200 analyzes the state of the refrigerator using the data on the internal temperature of the refrigerator 700-2, and analyzes the analysis result of the after service (AS) center and/or the refrigerator 700-2. It can be sent to the manager's mobile phone (not shown).
  • AS after service
  • each embodiment using the standardized ontology 410, the data ontology 420, and the sensor ontology 430 may be selectively, independently and/or sequentially performed according to received data.
  • FIG. 8 is a block diagram illustrating a detailed configuration of an electronic device 100 according to various embodiments of the present disclosure.
  • the electronic device 100 includes an input/output port 140, a user input unit 150, a display 160, and an audio output unit 170 in addition to the communication unit 110, the processor 120, and the storage 130 It may further include at least one of.
  • the electronic device 100 may receive signals/data from one or more external devices (not shown) that are data sources.
  • the input/output port 140 may be implemented as a wired port such as an HDMI port, a display port, an RGB port, a digital visual interface (DVI) port, a thunderbolt, and a component port.
  • a wired port such as an HDMI port, a display port, an RGB port, a digital visual interface (DVI) port, a thunderbolt, and a component port.
  • the input/output port 140 may be implemented as an HDMI port or a Thunderbolt to transmit image and audio signals together, but the first port for transmitting image signals and the second port for transmitting audio signals are implemented separately. It may be
  • the input/output port 140 may include an interface module such as USB, and is physically connected to an external terminal device such as a PC through this interface module to transmit/receive voice or image data or firmware data to perform firmware upgrade. You can also send and receive.
  • an interface module such as USB
  • the user input unit 150 is a configuration for the electronic device 100 to receive a user input including a command or information from the user.
  • the user input unit 150 may also be a data source.
  • the processor 120 receives the user input 150 even though temperature data corresponding to an average of 22°C from the first temperature sensor and 15°C (the temperature felt relatively cold) is received from the second temperature sensor.
  • the processor 120 uses the sensor ontology 430 to locate the first temperature sensor in the living room or room, and the second temperature sensor in the bathroom or It can also be identified as being located on the veranda.
  • the processor 120 may determine that the temperature data received from the first temperature sensor refers to the temperature of the living room or room and the temperature data received from the second temperature sensor refers to the temperature of the bathroom or veranda.
  • the user input unit 150 may also include one or more buttons, a keyboard, a mouse (not shown above), and the like.
  • the user input unit 150 may include a touch panel (not shown) or a separate touch pad (not shown) implemented with the display 160.
  • the user input unit 150 may include one or more cameras (not shown), while acquiring images captured through the cameras (not shown). At this time, the processor 120 may recognize the user's motion from the image acquired by the user input unit 150.
  • the user input unit 150 may include a microphone (not shown) for receiving a user command by voice.
  • the display 160 is a component for displaying one or more images under the control of the processor 120.
  • the display 160 may be implemented with a liquid crystal display (LCD), a plasma display panel (PDP), organic light emitting diodes (OLED), transparent OLED (TOLED), or the like.
  • LCD liquid crystal display
  • PDP plasma display panel
  • OLED organic light emitting diodes
  • TOLED transparent OLED
  • a driving circuit not shown
  • a backlight unit (not shown) that can be implemented in a form such as a-si TFT, low temperature poly silicon (LTPS) TFT, or organic TFT (OTFT) in the display 150 And not shown).
  • the display 160 may be implemented in the form of a touch screen including a touch panel capable of detecting a user's touch manipulation, and in this case, it may be regarded as being included in the user input unit 150.
  • the audio output unit 170 is a component for outputting an audio signal under the control of the processor 120.
  • the audio output unit 170 may include a speaker (not shown) and/or a headphone/earphone output terminal (not shown).
  • FIG. 9 is a flowchart illustrating a method of controlling an electronic device according to an embodiment of the present disclosure.
  • the control method may pre-process the received data in a form required for a function provided by a server based on pre-stored data ontology (S910). ).
  • the data ontology may be used to identify the meaning of the received data, and to preprocess the received data in a form required for a function provided by the server based on the meaning of the identified data.
  • data received from a plurality of data sources may be converted into the same standard format using a data ontology.
  • the pre-processed data may be transmitted to the server (S920).
  • control method uses data ontology to classify data received from a plurality of data sources according to the characteristics of the data, and determines a situation related to the user of the electronic device based on the classified data, and determines When the situation is satisfied with the preset condition, the classified data and/or information on the determined situation may be transmitted to the server.
  • the data ontology is used to determine whether an external device is abnormal through data received from a plurality of data sources including an external device, and when there is an abnormality in the external device, data received from the plurality of data sources is serverd. You can also send to
  • the data ontology is used to determine situations corresponding to each of data received from a plurality of data sources, to identify situations that meet predetermined conditions among the determined conditions, and among data received from a plurality of data sources Data corresponding to the identified situation may be transmitted to the server.
  • FIG. 10 is a flowchart illustrating an example for describing a method of controlling an electronic device according to the present disclosure in more detail.
  • each standard data may be obtained by converting each received data into a standard format based on an ontology (S1020 ). At this time, a standardized ontology can be used.
  • the integrated data may be analyzed and the situation may be determined (S1040).
  • the situation of the electronic device, the situation of the data source, and the situation of the user of the electronic device may be determined using the sensor ontology.
  • information on the determined situation may be transmitted to the server (S1050).
  • control method of the above-described electronic device may be implemented through the electronic device 100 illustrated and described through FIGS. 2 and 8. Alternatively, it may be implemented through a system including the electronic device 100 and one or more external devices (not shown).
  • embodiments described in the present disclosure include application specific integrated circuits (ASICs), digital signal processors (DSPs), digital signal processing devices (DSPDs), programmable logic devices (PLDs), field programmable gate arrays (FPGAs) ), a processor, a controller, micro-controllers, a microprocessor, or an electrical unit for performing other functions.
  • ASICs application specific integrated circuits
  • DSPs digital signal processors
  • DSPDs digital signal processing devices
  • PLDs programmable logic devices
  • FPGAs field programmable gate arrays
  • embodiments described herein may be implemented by the processor 120 itself. According to the software implementation, embodiments such as procedures and functions described herein may be implemented as separate software modules. Each of the above-mentioned software modules may perform one or more functions and operations described herein.
  • computer instructions for performing a processing operation in the electronic device 100 according to various embodiments of the present disclosure described above may be stored in a non-transitory computer-readable medium.
  • a non-transitory computer-readable medium may be stored in a non-transitory computer-readable medium.
  • the specific device described above performs a processing operation of the electronic device 100 according to various embodiments described above.
  • the non-transitory readable medium means a medium that stores data semi-permanently and that can be read by a device, rather than a medium that stores data for a short time, such as registers, caches, and storage.
  • a non-transitory readable medium such as a CD, DVD, hard disk, Blu-ray disk, USB, storage card, ROM, and the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Telephonic Communication Services (AREA)

Abstract

전자 장치가 개시된다. 본 전자 장치는, 회로(circuitry)를 포함하는 통신부, 온톨로지(Ontology)가 저장된 스토리지, 통신부를 통해 데이터 소스로부터 데이터가 수신되면, 온톨로지에 기초하여 서버가 제공하는 기능을 위해 요구되는 형태로 수신된 데이터를 전처리하고, 전처리된 데이터를 통신부를 통해 서버로 전송하는 프로세서를 포함한다.

Description

엣지 컴퓨팅 환경에서 데이터를 전처리하는 전자 장치 및 그 제어 방법
본 개시는 엣지 컴퓨팅 환경에서 데이터를 전처리하는 전자 장치에 관한 것이다. 보다 상세하게는, 엣지 단에서 온톨로지 기반으로 데이터를 통합 및 정리하여 중앙 서버로 전송하는 전자 장치에 관한 것이다.
엣지 컴퓨팅은, 데이터 처리가 클라우드 서버 등에서 중앙 집중적으로 수행되는 형태가 아니라, 클라우드 서버와 연결된 각각의 로컬 서버 또는 전자 장치가 적어도 일부 데이터를 직접 처리/분석하거나 서비스의 일부 또는 전체를 스스로 제공하는 경우를 의미한다.
클라우드 서버와 연결된 각각의 로컬 서버 또는 전자 장치는 엣지 단계로서 다양한 데이터 소스로부터 방대한 양의 Heterogeneous 데이터를 수집할 수 있다.
따라서, 이러한 엣지 단계에서 데이터의 효율적인 전처리/통합은 클라우드 서버와의 효율적인 통신 및 서비스 제공 품질과 밀접한 관련이 있다.
도 1은 엣지 컴퓨팅 환경을 대략적으로 설명하기 위한 예를 나타내는 도면이다. 도 1을 참조하면, 중앙의 서버(10)는 엣지 단의 다양한 전자 장치들(20, 30, 40, 50)로부터 데이터를 수신하고, 이를 처리하여 전자 장치들(20, 30, 40, 50)을 제어할 수 있다.
다만, 전자 장치들(20, 30, 40, 50) 각각에 수신되는 데이터의 형태가 다양하고 그 양이 방대하기 때문에, 중앙에서 모든 데이터를 서버(10)가 처리하는 경우 통신 품질이 저하되거나 서버(10)의 부하가 너무 커진다는 단점이 있다.
따라서, 전자 장치들(20, 30, 40, 50) 각각이, 서버로 데이터를 전송하기 전에, 서버(10)가 처리하기에 가장 효율적인 형태로 데이터를 정리하여 서버(10)로 전송할 필요가 있다.
본 개시는, 엣지 컴퓨팅 환경에서 온톨로지를 이용한 데이터 전처리를 수행한 뒤, 전처리된 데이터를 서버로 전송하는 전자 장치를 제공한다.
구체적으로 본 개시는, 온톨로지를 이용하여 다양한 Heterogeneous 데이터를 직접 통합/표준화하는 한편 그 의미를 파악하여 상황을 분석함으로써, 서버에서 처리되는 데이터의 양을 줄이고, 서버 및 전자 장치를 포함하는 시스템을 통해 제공되는 서비스의 품질을 향상시키며, 서버와의 통신 품질을 향상시키는 전자 장치를 제공한다.
상술한 과제를 해결하기 위하여 본 개시의 일 실시 예에 따라 엣지 컴퓨팅 환경에서 데이터 소스로부터 수신된 데이터를 전처리하여 서버로 전송하는 전자 장치는, 회로(circuitry)를 포함하는 통신부, 온톨로지(Ontology)가 저장된 스토리지, 상기 통신부를 통해 데이터 소스로부터 데이터가 수신되면, 상기 온톨로지에 기초하여 상기 서버가 제공하는 기능을 위해 요구되는 형태로 상기 수신된 데이터를 전처리하고, 상기 전처리된 데이터를 상기 통신부를 통해 상기 서버로 전송하는 프로세서를 포함한다.
이때, 상기 프로세서는, 상기 온톨로지를 이용하여, 상기 수신된 데이터의 의미를 식별하고 상기 식별된 데이터의 의미에 기초하여 상기 서버가 제공하는 기능을 위해 요구되는 형태로 상기 수신된 데이터를 전처리할 수 있다.
상기 프로세서는, 복수의 데이터 소스로부터 수신된 데이터를 상기 온톨로지를 이용하여 동일한 표준 형식로 변환할 수 있다.
상기 프로세서는, 상기 온톨로지를 이용하여, 복수의 데이터 소스로부터 수신된 데이터를 상기 데이터의 특성에 따라 분류하고 상기 분류된 데이터에 기초하여 상기 전자 장치의 사용자와 관련된 상황을 판단하며, 상기 상황이 기설정된 조건에 부합되는 경우, 상기 분류된 데이터를 상기 서버로 전송할 수 있다.
상기 프로세서는, 상기 온톨로지를 이용하여, 복수의 데이터 소스로부터 수신된 데이터를 상기 데이터의 특성에 따라 분류하고 상기 분류된 데이터에 기초하여 상기 전자 장치의 사용자와 관련된 상황을 판단하며, 상기 상황이 기설정된 조건에 부합되는 경우, 상기 판단된 상황에 대한 정보를 상기 서버로 전송할 수 있다.
상기 프로세서는, 상기 온톨로지를 이용하여, 상기 수신된 데이터 중에서 이상(abnormal) 데이터가 존재하는지 판단하고, 상기 이상 데이터가 존재하는 경우 상기 수신된 데이터 중에서 상기 이상 데이터를 획득하고, 상기 획득된 이상 데이터를 상기 서버로 전송할 수도 있다.
상기 프로세서는, 상기 온톨로지를 이용하여, 외부 장치를 포함하는 복수의 데이터 소스로부터 수신된 데이터를 통해 상기 외부 장치의 이상 여부를 판단하고, 상기 외부 장치에 이상이 있는 경우, 상기 복수의 데이터 소스로부터 수신된 데이터를 상기 서버로 전송할 수 있다.
또한, 상기 프로세서는, 상기 온톨로지를 이용하여, 복수의 데이터 소스로부터 수신된 데이터 각각에 대응되는 상황들을 판단하고, 상기 판단된 상황들 중 기설정된 조건에 부합되는 상황을 식별하며, 상기 복수의 데이터 소스로부터 수신된 데이터 중 상기 식별된 상황에 대응되는 데이터를 상기 서버로 전송할 수도 있다.
본 개시의 일 실시 예에 따른, 엣지 컴퓨팅 환경에서 데이터 소스로부터 수신된 데이터를 전처리하여 서버로 전송하는 전자 장치의 제어 방법은, 데이터 소스로부터 데이터가 수신되면, 기저장된 온톨로지(Ontology)에 기초하여 상기 서버가 제공하는 기능을 위해 요구되는 형태로 상기 수신된 데이터를 전처리하는 단계, 상기 전처리된 데이터를 상기 서버로 전송하는 단계를 포함한다.
이때, 상기 전처리하는 단계는, 상기 온톨로지를 이용하여, 상기 수신된 데이터의 의미를 식별하고, 상기 식별된 데이터의 의미에 기초하여 상기 서버가 제공하는 기능을 위해 요구되는 형태로 상기 수신된 데이터를 전처리할 수 있다.
상기 전처리하는 단계는, 복수의 데이터 소스로부터 수신된 데이터를 상기 온톨로지를 이용하여 동일한 표준 형식으로 변환할 수도 있다.
상기 전처리하는 단계는, 상기 온톨로지를 이용하여, 복수의 데이터 소스로부터 수신된 데이터를 상기 데이터의 특성에 따라 분류하고 상기 분류된 데이터에 기초하여 상기 전자 장치의 사용자와 관련된 상황을 판단하며, 상기 전송하는 단계는, 상기 상황이 기설정된 조건에 부합되는 경우, 상기 분류된 데이터를 상기 서버로 전송할 수 있다.
상기 전처리하는 단계는, 상기 온톨로지를 이용하여, 복수의 데이터 소스로부터 수신된 데이터를 상기 데이터의 특성에 따라 분류하고 상기 분류된 데이터에 기초하여 상기 전자 장치의 사용자와 관련된 상황을 판단하며, 상기 전송하는 단계는, 상기 상황이 기설정된 조건에 부합되는 경우, 상기 판단된 상황에 대한 정보를 상기 서버로 전송할 수도 있다.
상기 전처리하는 단계는, 상기 온톨로지를 이용하여, 상기 수신된 데이터 중에서 이상(abnormal) 데이터가 존재하는지 판단하는 단계, 상기 이상 데이터가 존재하는 경우, 상기 수신된 데이터 중에서 상기 이상 데이터를 획득하는 단계를 포함하고, 상기 전송하는 단계는, 상기 획득된 이상 데이터를 상기 서버로 전송할 수 있다.
상기 전처리하는 단계는, 상기 온톨로지를 이용하여, 외부 장치를 포함하는 복수의 데이터 소스로부터 수신된 데이터를 통해 상기 외부 장치의 이상 여부를 판단하고, 상기 전송하는 단계는, 상기 외부 장치에 이상이 있는 경우, 상기 복수의 데이터 소스로부터 수신된 데이터를 상기 서버로 전송할 수도 있다.
또한, 상기 전처리하는 단계는, 상기 온톨로지를 이용하여, 복수의 데이터 소스로부터 수신된 데이터 각각에 대응되는 상황들을 판단하는 단계, 상기 판단된 상황들 중 기설정된 조건에 부합되는 상황을 식별하는 단계를 포함하고, 상기 전송하는 단계는 상기 복수의 데이터 소스로부터 수신된 데이터 중 상기 식별된 상황에 대응되는 데이터를 상기 서버로 전송할 수 있다.
본 개시의 일 실시 예에 따른 컴퓨터 판독 가능 매체에는, 엣지 컴퓨팅 환경에서 데이터 소스로부터 수신된 데이터를 전처리하여 서버로 전송하는 전자 장치의 프로세서에 의해 실행되어, 상기 전자 장치로 하여금, 데이터 소스로부터 데이터가 수신되면, 기저장된 온톨로지(Ontology)에 기초하여 상기 서버가 제공하는 기능을 위해 요구되는 형태로 상기 수신된 데이터를 전처리하는 단계, 상기 전처리된 데이터를 상기 서버로 전송하는 단계를 포함하는, 동작을 수행하도록 하는 컴퓨터 명령어가 저장되어 있다.
본 개시에 따른 전자 장치는, 온톨로지를 기반으로 하여 다양한 데이터 소스를 통합/정리하여 서버로 전송한 결과, 서버에서 처리되는 데이터의 양을 줄이고, 서버와의 통신 품질을 향상시킨다는 효과가 있다.
또한, 본 개시에 따른 전자 장치는, 서버 및 전자 장치를 포함하는 시스템을 통해 제공되는 서비스의 품질을 향상시킬 수 있다는 효과도 있다.
이렇듯, 본 개시에 따른 전자 장치는, 엣지 컴퓨팅 환경에 있어 엣지 단계의 역할을 효율화/최적화하기 위한 것으로, 온톨로지를 사용한 결과, 본 전자 장치는 서버가 제공하는 기능을 위해 요구되는 형태로 데이터를 전처리할 수 있다.
도 1은 엣지 컴퓨팅 환경을 대략적으로 설명하기 위한 예를 나타내는 도면,
도 2는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 설명하기 위한 블록도,
도 3은 전자 장치가 다양한 데이터 소스로부터 수신된 데이터를 전처리하는 예를 설명하기 위한 도면,
도 4는 전자 장치가 데이터를 전처리함에 있어 온톨로지를 이용하는 예를 설명하기 위한 도면,
도 5는 데이터를 분석하여 전자 장치의 사용자와 관련된 상황을 판단하는 일 예를 설명하기 위한 도면,
도 6은 기설정된 조건에 부합되는 상황에 대응되는 데이터를 선택적으로 서버로 전송하는 일 예를 설명하기 위한 도면,
도 7은 이상 데이터를 선택적으로 서버로 전송하는 일 예를 설명하기 위한 도면,
도 8은 본 개시의 다양한 실시 예에 따른 전자 장치의 상세한 구성을 설명하기 위한 블록도,
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도, 그리고
도 10은 본 개시에 따른 전자 장치의 제어 방법을 보다 구체적으로 설명하기 위한 일 예를 나타내는 순서도이다.
본 개시에 대하여 구체적으로 설명하기에 앞서, 본 명세서 및 도면의 기재 방법에 대하여 설명한다.
먼저, 본 명세서 및 청구범위에서 사용되는 용어는 본 개시의 다양한 실시 예들에서의 기능을 고려하여 일반적인 용어들을 선택하였다. 하지만, 이러한 용어들은 당해 기술 분야에 종사하는 기술자의 의도나 법률적 또는 기술적 해석 및 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 일부 용어는 출원인이 임의로 선정한 용어도 있다. 이러한 용어에 대해서는 본 명세서에서 정의된 의미로 해석될 수 있으며, 구체적인 용어 정의가 없으면 본 명세서의 전반적인 내용 및 당해 기술 분야의 통상적인 기술 상식을 토대로 해석될 수도 있다.
또한, 본 명세서에 첨부된 각 도면에 기재된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다. 설명 및 이해의 편의를 위해서 서로 다른 실시 예들에서도 동일한 참조번호 또는 부호를 사용하여 설명한다. 즉, 복수의 도면에서 동일한 참조 번호를 가지는 구성요소를 모두 도시되어 있다고 하더라도, 복수의 도면들이 하나의 실시 예를 의미하는 것은 아니다.
또한, 본 명세서 및 청구범위에서는 구성요소들 간의 구별을 위하여 "제1", "제2" 등과 같이 서수를 포함하는 용어가 사용될 수 있다. 이러한 서수는 동일 또는 유사한 구성요소들을 서로 구별하기 위하여 사용하는 것이며 이러한 서수 사용으로 인하여 용어의 의미가 한정 해석되어서는 안 된다. 일 예로, 이러한 서수와 결합된 구성요소는 그 숫자에 의해 사용 순서나 배치 순서 등이 제한되어서는 안 된다. 필요에 따라서는, 각 서수들은 서로 교체되어 사용될 수도 있다.
본 명세서에서 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시의 실시 예에서 "모듈", "유닛", "부(part)" 등과 같은 용어는 적어도 하나의 기능이나 동작을 수행하는 구성요소를 지칭하기 위한 용어이며, 이러한 구성요소는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈", "유닛", "부(part)" 등은 각각이 개별적인 특정한 하드웨어로 구현될 필요가 있는 경우를 제외하고는, 적어도 하나의 모듈이나 칩으로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
또한, 본 개시의 실시 예에서, 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적인 연결뿐 아니라, 다른 매체를 통한 간접적인 연결의 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 포함한다는 의미는, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 2는 본 개시의 일 실시 예에 따른 전자 장치(100)의 구성을 설명하기 위한 블록도이다.
전자 장치(100)는 스마트폰, 데스크탑 PC, 노트북 PC, 태블릿 PC, 웨어러블 디바이스, TV, 스마트 TV, 셋탑박스, 키오스크, 로컬 서버 등 엣지 컴퓨팅 환경에서 데이터 소스로부터 수신된 데이터를 전처리하여 서버(도시되지 않음)로 전송할 수 있는 다양한 전자 기기에 해당할 수 있다.
도 2를 참조하면, 전자 장치(100)는 통신부(110), 프로세서(120) 및 스토리지(130)를 포함할 수 있다.
통신부(110)는 적어도 하나의 외부 장치(도시되지 않음)와 무선 혹은 유선으로 통신을 수행하기 위한 구성이다. 이를 위해 통신부(110)의 적어도 일부는 회로(circuitry)로 구성될 수 있다.
무선 통신 방식으로 외부 장치와 데이터 통신을 수행할 경우, 통신부(110)는 와이파이 다이렉트(WIFI DIRECT) 통신 모듈, 블루투스(bluetooth)모듈, 적외선 통신(IrDA, infrared data association)모듈, NFC(Near Field Communication)모듈, 지그비(Zigbee) 모듈, 셀룰러 통신모듈, 3G(3세대) 이동통신 모듈, 4G(4세대) 이동통신 모듈, 4세대 LTE(Long Term Evolution) 통신 모듈 중 적어도 하나를 포함할 수 있다.
유선 통신 방식으로 외부 장치와 데이터 통신을 수행할 경우, 통신부(110)는 동축 케이블, 광섬유 케이블 등과 연결되어 LAN(Local Area Network) 통신을 수행함으로써 다양한 데이터를 송수신할 수도 있다.
통신부(110)를 통해, 전자 장치(100)는 서버(도시되지 않음)와 다양한 데이터를 주고받을 수 있다.
프로세서(120)는 전자 장치(100)의 전반적인 동작을 제어할 수 있다.
이를 위해, 프로세서(120)는 RAM(Random Access Memory)(도시되지 않음), ROM(Read Only Memory)(도시되지 않음), CPU(central processing unit)(도시되지 않음), GPU(Graphic processing unit)(도시되지 않음) 및 시스템 버스(도시되지 않음) 등을 포함할 수 있으며, 전자 장치(100)에 포함된 다른 구성요소들의 제어에 관한 연산이나 데이터 처리를 실행할 수 있다.
프로세서(120)는 스토리지(130)에 저장된 하나 이상의 명령어를 실행시켜 전자 장치(100)에 포함된 하나 이상의 구성요소들을 제어하거나, 하드웨어적인 회로 내지는 칩으로서 하나 이상의 구성요소들을 제어하거나, 또는 소프트웨어 및 하드웨어의 결합으로서 하나 이상의 구성요소들을 제어할 수 있다.
스토리지(130)는 전자 장치(100)의 구성요소들의 전반적인 동작을 제어하기 위한 운영체제(OS: Operating System) 및 전자 장치(100)의 구성요소와 관련된 명령 또는 데이터를 저장하기 위한 구성이다.
이를 위해, 스토리지(130)는 비휘발성 메모리(ex: 하드 디스크, SSD(Solid state drive), 플래시 메모리), 휘발성 메모리 등을 포함할 수 있다.
스토리지(130)에는 온톨로지(Ontology)가 저장될 수 있다. 온톨로지는, 다양한 데이터의 의미 및 해당 의미에 대응되는 다양한 조건이 전자 장치(100)에서 처리될 수 있는 형태로 표현된 모델이다.
전자 장치(100)는 전자 장치(100)에 수신/입력된 데이터를 온톨로지를 통해 하나 이상의 개념과 매칭시킨 결과, 수신/입력된 데이터를 의미론적으로 이해하고, 이해된 의미를 토대로 수신/입력된 데이터를 전처리할 수 있다. 이러한 동작은, 온톨로지에 포함된 의미론적(Semantic) 규칙을 이용하는 것으로 이해될 수도 있다.
스토리지(130)에 저장된 온톨로지는 통신부(110), 입출력 포트(도시되지 않음) 또는 사용자 입력부(도시되지 않음)를 통해 수신된 정보를 통해 변경/업데이트될 수 있으며, 온톨로지의 내용 중 적어도 일부는 전자 장치(100) 내 또는 외부 장치(도시되지 않음)에서 수행된 기계 학습의 결과일 수 있다.
전자 장치(100)가 온톨로지를 이용하여 특정 데이터의 의미를 파악하는 경우, 해당 데이터를 특정 의미와 매칭시키는 단순한 과정을 거치는 경우로만 제한되는 것은 아니다. 예를 들어, 복수의 데이터 소스로부터 다양한 데이터가 수신되는 경우, 전자 장치(100)는 수신된 다양한 데이터 간의 관계 및 각 데이터의 조건을 온톨로지에 적용시킨 결과, 각 데이터의 의미를 파악할 수도 있다.
전자 장치(100)는 데이터의 의미를 파악한 뒤, 파악된 의미가 기저장된 하나 이상의 조건과 매칭되는지 식별할 수 있다. 만약, 매칭되는 경우 해당 데이터를 온톨로지에 기정의된 방식으로 처리할 수도 있다. 한편, 기저장된 하나 이상의 조건 자체가 온톨로지에 포함될 수도 있다.
상술한 온톨로지를 이용하는 다양한 실시 예들은, 도 4 내지 도 7을 통해 보다 구체적으로 후술한다.
도 3은 전자 장치(100)가 다양한 데이터 소스로부터 수신된 데이터를 전처리하는 예를 설명하기 위한 도면이다.
도 3을 참조하면, 엣지 컴퓨팅 환경의 전자 장치(100)는 자체적으로 구비한 다양한 센서들을 통해 데이터를 수신하거나(①), 별도로 구현된 다양한 센서 장치들로부터 통신부(110) 또는 입출력 포트(도시되지 않음)를 통해 데이터를 수신하거나(②), 또는 통신부(110) 또는 입출력 포트(도시되지 않음)를 통해 통신 가능한 다양한 외부 장치들로부터 데이터를 수신할 수 있다(③).
이때, 상술한 다양한 센서들 및 센서 장치들은, 카메라 센서, 마이크 센서, 지자기 센서, 가속도 센서, 자이로 센서, GPS(Globla Positioning System) 센서, 터치 센서, 근접 센서, 모션 센서, 지문 센서 등 다양한 센서를 포함할 수 있다. 또한, 외부 장치들은 스마트폰, 서버, TV, PC 등 다양할 수 있다.
도 3을 참조하면, 이렇듯 다양한 데이터 소스들로부터 데이터가 수신되면, 전자 장치(100)는 수신된 데이터를 서버(200)가 제공하는 기능을 위해 요구되는 형태로 전처리한 뒤, 전처리된 데이터를 서버(200)로 전송할 수 있다.
그리고, 서버(200)는 수신된 전처리된 데이터를 분석한 결과를 이용하여 전자 장치(100) 또는 다른 외부 장치(도시되지 않음)를 제어하거나 또는 전자 장치(100) 또는 다른 외부 장치(도시되지 않음)에 분석 결과에 대응되는 데이터를 전송할 수 있다.
서버(200)가 제공하는 기능을 위해 요구되는 형태는, 전자 장치(100) 및 서버(200) 간의 통신 방식/규격에 대응되는 형태일 수 있다. 또한, 서버(200)에서 처리될 수 있는 데이터 형태 중 적어도 하나일 수 있다.
서버(200)가 제공하는 기능을 위해 요구되는 형태는, 서버(200) 및 전자 장치(100)를 포함하는 시스템이 전자 장치(100)에 수신된 데이터를 이용하여 적어도 하나의 서비스를 제공함에 있어, 서버(200)에서 처리하는 데이터 형태 중 적어도 하나일 수 있다.
또한, 서버(200)가 제공하는 기능을 위해 요구되는 형태는, 전자 장치(100)가 아닌 서버(200)에서만 수행될 수 있는 데이터 처리를 제외한 데이터 처리 중 적어도 일부가 수행된 형태일 수도 있다. 또는, 서버(200)에서 수행될 수 없는 데이터 처리를 포함하는 데이터 처리가 수행된 형태일 수도 있다.
도 4는, 도 3을 전자 장치(100)의 동작 면에서 보다 구체화한 것으로, 전자 장치(100)가 데이터를 전처리함에 있어 온톨로지를 이용하는 예를 설명하기 위한 도면이다.
프로세서(120)는 데이터 소스로부터 데이터가 수신되면, 온톨로지에 기초하여, 수신된 데이터를 서버(200)가 제공하는 기능을 위해 요구되는 형태로 전처리하고, 전처리된 데이터를 통신부(11)를 통해 서버(200)로 전송할 수 있다.
이때, 프로세서(120)는 온톨로지를 이용하여, 수신된 데이터의 의미를 식별하고 식별된 데이터의 의미에 기초하여 서버(200)가 제공하는 기능을 위해 요구되는 형태로 수신된 데이터를 전처리할 수 있다.
도 4를 참조하면, 스토리지(130)에 저장된 온톨로지는, 표준화 온톨로지(410), 데이터 온톨로지(420), 센서 온톨로지(430) 등을 포함할 수 있다.
도 4를 참조하면, 하나 이상의 데이터 소스로부터 데이터(raw data)가 수신되면, 프로세서(120)는 표준화 온톨로지(410)를 이용하여 데이터를 특정한 표준 형식으로 변환할 수 있다.
표준화 온톨로지(410)는, 수신된 데이터의 의미를 파악하고, 수신된 데이터의 형식을 기설정된 표준 형식 중 파악된 의미에 맞는 형식으로 변환하기 위한 규칙을 포함하는 온톨로지이다.
일 예로, 프로세서(120)는 표준화 온톨로지를 이용하여 복수의 데이터 소스로부터 수신된 데이터를 동일한 표준 형식로 변환할 수 있다. 예를 들어, 서로 다른 온도 센서로부터 수신된 온도 데이터의 단위가 각각 '절대온도' 및 '화씨' 단위의 온도 데이터인 경우, 프로세서(120)는 표준화 온톨로지를 이용하여 수신된 데이터가 온도를 의미한다는 점을 파악하고, 기설정된 표준 형식 중 온도 데이터의 형식인 '섭씨' 단위에 맞게 수신된 온도 데이터를 모두 변환할 수 있다.
표준화 온톨로지(410)를 이용하는 이러한 실시 예는, 서로 다른 형식의 데이터를 취급하는 복수의 회사의 기기로부터 데이터가 수신되는 경우에도 적용될 수 있다. 이때, 일 예로, 기존에 이용되고 있는 표준화 기능 온톨로지 중 oneM2M ontology 등을 이용하여, 서로 다른 형식의 데이터들을 모두 동일한 형식으로 표준화할 수도 있다.
도 4를 참조하면, 하나 이상의 데이터 소스로부터 데이터(raw data)가 수신되면, 프로세서(120)는 데이터 온톨로지(420)를 이용하여 데이터를 정리할 수 있다.
데이터 온톨로지(420)는, 수신된 데이터의 의미를 파악하고, 파악된 의미를 토대로 데이터를 정리하기 위한 규칙을 포함하는 온톨로지이다.
프로세서(120)는 데이터 온톨로지(420)를 이용하여, 수신된 데이터의 의미를 파악한 뒤 중복되는 의미에 해당하는 데이터 중 적어도 일부를 삭제할 수 있다. 또한, 서버(200)가 제공하는 기능을 위해 요구되지 않는 형태 또는 요구되지 않는 내용의 데이터를 삭제할 수도 있다.
예를 들어, 전자 장치(100) 및 서버(200)를 통해 제공되는 서비스가 키와 몸무게에 따라 비만도를 측정하여 그 결과를 제공하는 서비스인 경우, 수신된 데이터 중 비만도와 직접적 관계가 없는 측정 대상자의 시력에 대한 데이터 등은 삭제될 수 있다.
수신된 데이터가 서버(200)가 제공하는 기능을 위해 요구되는 내용을 포함하지 않는 경우, 프로세서(120)는 수신된 데이터의 의미를 데이터 온톨로지(420)에 적용하여 서버(200)가 제공하는 기능을 위해 요구되는 내용의 데이터를 생성할 수도 있다.
예를 들어, 전자 장치(100) 및 서버(200)를 통해 제공되는 서비스가 비만도에 따른 권장 운동을 추천하는 서비스인 경우, 서버(200)는 측정된 비만도에 대응되는 권장 운동을 식별하는 기능을 수행한다고 가정하면, 전자 장치(100)는 측정 대상자의 키에 대한 데이터 및 몸무게에 대한 데이터를 이용하여 직접 비만도를 산출한 뒤, 산출 결과를 서버(200)로 전송할 수도 있다.
또한, 프로세서(120)는 데이터 온톨로지(420)를 이용하여 복수의 데이터 소스로부터 수신된 데이터를 동일한 샘플링 주기로 동기화할 수도 있다.
도 4를 참조하면, 하나 이상의 데이터 소스로부터 데이터(raw data)가 수신되면, 프로세서(120)는 센서 온톨로지(430)를 이용하여 전자 장치(100), 전자 장치(100)의 사용자 또는 수신된 데이터의 데이터 소스와 관련된 상황을 판단할 수 있다. 이하 도 5 내지 도 7을 통해, 프로세서(120)가 다양한 상황을 판단하는 예들을 설명한다.
센서 온톨로지(430)는 수신된 데이터에 대응되는 데이터 소스 각각의 특성을 식별하고 식별된 특성을 이용하여 수신된 데이터의 의미를 파악하기 위한 규칙을 포함하는 온톨로지이다. 아울러, 센서 온톨로지(430)는, 수신된 데이터의 의미를 이용하여 다양한 상황을 판단하기 위한 규칙을 포함할 수도 있다.
프로세서(120)는 센서 온톨로지(430)를 이용하여, 복수의 데이터 소스로부터 수신된 데이터를 데이터의 특성에 따라 분류하고 분류된 데이터의 의미를 파악하며, 파악된 의미를 이용하여 전자 장치(100)의 사용자와 관련된 상황을 판단할 수 있다.
이때, 프로세서(120)는 판단된 상황이 기설정된 조건에 부합되는 경우, 분류된 데이터 및/또는 판단된 상황에 대한 정보를 통신부(110)를 통해 서버(200)로 전송할 수 있다.
예로, 도 5를 참조하면, 공연장(510)에 설치된 하나 이상의 마이크 센서를 통해 감지되는 오디오 신호에는 다양한 소리가 포함될 수 있다. 만약, 전자 장치(100)가 공연장(510) 내의 음향을 조정하기 위한 메인 컴퓨터라고 가정하면, 공연장(510) 내 하나 이상의 마이크 센서를 통해 감지되는 오디오 신호는 전자 장치(100)로 수신될 수 있다. 또한, 공연장(510) 내 스피커를 통해 출력되는 오디오 신호(공연되는 음악)에 대한 데이터 역시 전자 장치(100)에 실시간으로 저장/업데이트되거나 또는 미리 저장되어 있을 수 있다.
이때, 프로세서(120)는, 센서 온톨로지(430)를 이용하여, 마이크 센서를 통해 수신되는 오디오 신호 중 스피커를 통해 출력되는 오디오 신호에 대응되는 오디오 신호는 '메인 볼륨', 스피커를 통해 출력되는 오디오 신호에 대응되지 않는 오디오 신호는 '노이즈'인 것으로 그 의미/특성을 판단할 수 있다.
이 경우, 프로세서(120)는, '메인 볼륨' 및 '노이즈'의 데시벨 등급 등을 고려하여 '메인 볼륨' 및 '노이즈'의 소리 크기와 관련된 상황을 판단할 수 있다. 판단 결과, 만약 '메인 볼륨'은 기설정된 제1 볼륨보다 작으나 '노이즈'는 기설정된 제2 볼륨보다 큰 경우라면, 프로세서(120)는 통신부(110)를 통해 '메인 볼륨' 및 '노이즈'의 볼륨에 대한 데이터 또는 '주변 Noise가 크고 메인 볼륨이 작다'라는 정보를 서버(200)로 전송할 수 있다.
그 결과, 서버(200)는 메인 볼륨을 더 올리라는 제어 명령을 전자 장치(100) 또는 적어도 하나의 공연장(510) 내 스피커 장치에 전송할 수 있다.
다른 예로, 도 5를 참조하면, 도로(520)를 달리고 있는 특정 차량의 내부에 설치된 마이크 센서를 통해 감지되는 오디오 신호에는 다양한 소리가 포함될 수 있다. 만약, 전자 장치(100)가 해당 차량 내부의 스피커 및 마이크 센서와 연결된 ECU(Electronic Control Unit) 시스템이라고 가정하면, 해당 차량 내 마이크 센서를 통해 감지되는 오디오 신호는 전자 장치(100)로 수신될 수 있다. 또한, 해당 차량 내 스피커를 통해 출력되는 오디오 신호(재생되는 음악 또는 라디오 방송)에 대한 데이터 역시 전자 장치(100)에 실시간으로 저장/업데이트되거나 또는 미리 저장되어 있을 수 있다.
이 경우, 외부로부터 발생된 경적 소리가 마이크 센서를 통해 수신되는 경우, 프로세서(120)는 센서 온톨로지(430)를 이용하여 기저장된 복수의 오디오 신호를 수신된 경적 소리와 비교한 결과 '경적 소리'가 발생했음을 확인할 수 있다. 그리고, 만약 차량 내 스피커를 통해 출력되는 음악 또는 라디오 방송의 볼륨이 기설정된 볼륨보다 큰 경우, 프로세서(120)는 '사용자가 위험을 감지하기 어려운 상황'임을 판단할 수 있다.
이때, 프로세서(120)는 '경적 소리' 및 '음악 또는 라디오 방송'의 볼륨에 대한 데이터 또는 '운전자의 외부 소리에 대한 민감도가 낮다는' 정보를 서버(200)로 전송할 수 있다.
그 결과, 서버(200)는 '차량 내 스피커의 오디오 신호 출력을 중지하거나 또는 출력되는 오디오 신호의 볼륨을 줄이라는' 명령을 전자 장치(100)로 전송할 수 있다.
프로세서(120)는 센서 온톨로지(430)를 이용하여, 복수의 데이터 소스로부터 수신된 데이터 각각에 대응되는 상황들을 판단하고, 판단된 상황들 중 기설정된 조건에 부합되는 상황을 식별하며, 복수의 데이터 소스로부터 수신된 데이터 중 식별된 상황에 대응되는 데이터를 서버(200)로 전송할 수 있다.
관련하여, 도 6은 기설정된 조건에 부합되는 상황에 대응되는 데이터를 선택적으로 서버(200)로 전송하는 일 예를 설명하기 위한 도면이다. 도 6은, 카메라 시스템의 로컬 서버인 전자 장치(100)가 복수의 카메라들(600-1, 2, 3, 4, 5, ...)로부터 영상에 대한 데이터를 수신한 뒤, 수신된 데이터를 전처리하여 서버(200)로 전송하는 경우를 가정한 것이다.
도 6을 참조하면, 전자 장치(100)는 복수의 카메라들(600-1, 2, 3, 4, 5, ...) 각각으로부터 수신되는 영상 데이터를 통해 각 카메라를 통해 촬영된 영상에 대응되는 상황을 판단할 수 있다. 촬영된 영상은, 예를 들어, 한 명 이상의 사람이 촬영된 경우, 거동이 수상한 사람이 촬영된 경우, 강아지/고양이가 촬영된 경우, 범죄자의 얼굴이 촬영된 경우 등 다양한 상황에 대응될 수 있고, 프로세서(120)는 센서 온톨로지(430)를 통해 이러한 상황을 판단할 수 있다.
이때, 만약 카메라 시스템의 목적이 거동이 수상한 사람들을 감시하는 것이라면, 프로세서(120)는 복수의 카메라들(600-1, 2, 3, 4, 5, ...) 중 거동이 수상한 사람을 촬영한 카메라의 영상 데이터 중 적어도 일부를 서버(200)로 전송할 수 있다. 또는, 프로세서(120)는, 거동이 수상한 사람을 촬영한 카메라의 위치에 대한 정보 및 거동이 수상한 사람이 촬영된 시간에 대한 정보를 서버(200)로 전송할 수도 있다.
프로세서는, 센서 온톨로지(430)를 이용하여, 수신된 데이터 중에서 이상(abnormal) 데이터가 존재하는지 판단하고, 이상 데이터가 존재하는 경우 수신된 데이터 중에서 이상 데이터를 획득하고, 획득된 이상 데이터를 서버(200)로 전송할 수 있다.
예로, 전자 장치(100)는 특정 냉장고로부터 냉장고의 내부 온도에 대한 데이터를 수신할 수 있고, 프로세서(120)는 수신된 데이터 중 정상 범위를 벗어나는 내부 온도에 대응되는 이상 데이터를 서버(200)로 전송할 수 있다. 그리고, 서버(200)는 수신된 데이터를 이용하여 해당 냉장고의 상태를 분석할 수 있다.
프로세서(120)는, 센서 온톨로지(430)를 이용하여, 외부 장치를 포함하는 복수의 데이터 소스로부터 수신된 데이터를 통해 외부 장치의 이상 여부를 판단하고, 외부 장치에 이상이 있는 경우, 복수의 데이터 소스로부터 수신된 데이터를 서버로 전송할 수도 있다.
관련하여, 도 7은 이상 데이터를 선택적으로 서버(200)로 전송하는 일 예를 설명하기 위한 도면이다.
도 7은, 전자 장치(100)가 에어컨(700-1), 냉장고(700-2), 전자레인지(700-3), 카메라 장치(700-4) 등 다양한 데이터 소스로부터 데이터를 수신할 수 있는 건물 내 관리 시스템의 로컬 서버에 해당하는 경우를 상정한다.
만약, 냉장고(700-2)로부터 냉장고(700-2)의 내부 온도에 대한 데이터가 수신되고, 카메라 장치(700-4)로부터 냉장고(700-2)가 위치한 장소를 촬영한 영상에 대한 데이터가 수신되는 경우, 프로세서(120)는 냉장고(700-2)로부터 수신되는 데이터 및 카메라 장치(700-4)로부터 수신되는 데이터를 센서 온톨로지(430)에 적용하여 냉장고(700-2)의 이상 여부를 판단할 수 있다. 이 경우, 센서 온톨로지(430)의 규칙에 의해, 에어컨(700-1) 및 전자레인지(700-3)로부터 수신되는 데이터는 냉장고(700-2)의 이상 여부를 판단하는 데에는 사용되지 않을 수 있다.
이때, 만약 냉장고(700-2)로부터 수신되는 냉장고(700-2)의 내부 온도에 대한 데이터가 정상 범위보다 높은 온도에 대응되는 경우, 프로세서(120)는 센서 온톨로지(430)에 따라 카메라 장치(700-4)로부터 수신되는 영상 데이터를 통해 냉장고(700-2)의 문이 열려 있는지 여부를 판단할 수 있다. 만약, 냉장고(700-2)의 문이 열려있지 않은 상태에서 냉장고(700-2)의 내부 온도에 대한 데이터가 정상 범위보다 높은 온도에 대응되는 경우, 프로세서(120)는 냉장고(700-2)에 이상이 있음을 식별할 수 있다.
이 경우, 프로세서(120)는 통신부(110)를 통해 냉장고(700-2)에 이상이 있음을 알리는 정보 또는 냉장고(700-2)로부터 수신된 내부 온도에 대한 데이터를 건물 내 관리 시스템의 중앙 서버(200)로 전송할 수 있다.
그 결과, 중앙 서버(200)는 냉장고(700-2)의 내부 온도에 대한 데이터를 이용하여 냉장고의 상태를 분석하고, 분석 결과를 AS(After Service) 센터 및/또는 냉장고(700-2)의 관리자의 휴대폰(도시되지 않음)에 전송할 수 있다.
한편, 표준화 온톨로지(410), 데이터 온톨로지(420), 센서 온톨로지(430)를 이용하는 각 실시 예는 수신되는 데이터에 따라 선택적으로, 독립적으로 및/또는 순차적으로 수행될 수 있다. 표준화 온톨로지(410), 데이터 온톨로지(420) 및 센서 온톨로지(430) 중 어떤 온톨로지를 어떤 순서로 이용할지에 대한 규칙 역시 수신되는 데이터에 따라 기설정된 것으로 온톨로지 자체에 포함된 규칙일 수 있다.
도 8은 본 개시의 다양한 실시 예에 따른 전자 장치(100)의 상세한 구성을 설명하기 위한 블록도이다.
도 8을 참조하면, 전자 장치(100)는 통신부(110), 프로세서(120), 스토리지(130) 외에도 입출력 포트(140), 사용자 입력부(150), 디스플레이(160) 및 오디오 출력부(170) 중 적어도 하나를 더 포함할 수도 있다.
입출력 포트(140)를 통해, 전자 장치(100)는 데이터 소스인 하나 이상의 외부 장치(도시되지 않음)로부터 신호/데이터를 수신할 수 있다.
이를 위해, 입출력 포트(140)는 HDMI 포트, 디스플레이 포트, RGB 포트, DVI(Digital Visual Interface) 포트, 썬더볼트 및 컴포넌트 포트 등 유선 포트로 구현될 수 있다.
입출력 포트(140)는 HDMI 포트나 썬더볼트 등으로 구현되어 이미지 및 음성 신호를 함께 전송하도록 구현될 수도 있지만, 이미지 신호를 전송하는 제1 포트 및 음성 신호를 전송하는 제2 포트가 각각 별도로 구현된 것일 수도 있다.
입출력 포트(140)는 USB와 같은 인터페이스 모듈을 포함할 수 있으며, 이 같은 인터페이스 모듈을 통해 PC와 같은 외부 단말 장치와 물리적으로 연결되어 음성 또는 이미지 데이터를 송수신하거나 혹은 펌웨어 업그레이드를 수행하기 위한 펌웨어 데이터를 송수신할 수도 있다.
사용자 입력부(150)는 전자 장치(100)가 사용자로부터 명령 또는 정보를 포함하는 사용자 입력을 수신하기 위한 구성이다.
사용자 입력부(150) 역시 데이터 소스가 될 수 있다. 예를 들어, 프로세서(120)는 제1 온도 센서로부터는 평균 22℃, 제2 온도 센서로부터는 평균 15℃(상대적으로 춥다고 느껴지는 온도)에 해당하는 온도 데이터가 수신됨에도, 사용자 입력부(150)를 통해서는 '온도 이상 없음'에 해당하는 사용자 피드백이 계속해서 입력되는 경우, 프로세서(120)는 센서 온톨로지(430)를 이용하여 제1 온도 센서는 거실 또는 방에 위치하고, 제2 온도 센서는 화장실 또는 베란다에 위치하는 것으로 식별할 수도 있다. 그 결과, 프로세서(120)는, 제1 온도 센서로부터 수신되는 온도 데이터는 거실 또는 방의 온도이고 제2 온도 센서로부터 수신되는 온도 데이터는 화장실 또는 베란데의 온도를 의미하는 것으로 판단할 수도 있다.
사용자 입력부(150)는 하나 이상의 버튼, 키보드, 마우스(이상 도시되지 않음) 등을 포함할 수도 있다. 사용자 입력부(150)는 디스플레이(160)와 함께 구현된 터치 패널(도시되지 않음) 또는 별도의 터치 패드(도시되지 않음)를 포함할 수 있다.
사용자 입력부(150)는 하나 이상의 카메라(도시되지 않음)를 포함하는 한편, 카메라(도시되지 않음)를 통해 촬영된 이미지를 획득할 수 있다. 이때, 프로세서(120)는 사용자 입력부(150)에서 획득된 이미지로부터 사용자의 모션을 인식할 수 있다.
사용자 입력부(150)는 사용자 명령을 음성으로 입력받기 위한 마이크(도시되지 않음)를 포함할 수도 있다.
디스플레이(160)는 프로세서(120)의 제어에 따라 하나 이상의 이미지를 표시하기 위한 구성이다. 이를 위해, 디스플레이(160)는 LCD(Liquid Crystal Display), PDP(Plasma Display Panel), OLED(Organic Light Emitting Diodes), TOLED(Transparent OLED) 등으로 구현될 수 있다. LCD로 구성되는 경우, 디스플레이(150) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로(도시되지 않음), 백라이트 유닛(도시되지 않음) 등도 함께 포함될 수 있다.
한편, 디스플레이(160)는 사용자의 터치 조작을 감지할 수 있는 터치 패널이 포함된 터치스크린 형태로 구현될 수도 있으며, 이 경우 사용자 입력부(150)에 포함되는 것으로 볼 수 있다.
오디오 출력부(170)는 프로세서(120)의 제어에 따라 오디오 신호를 출력하기 위한 구성이다. 오디오 출력부(170)는 스피커(도시되지 않음) 및/또는 헤드폰/이어폰 출력 단자(도시되지 않음)를 포함할 수 있다.
이하 도 9 및 도 10을 통해서는, 본 개시에 따라 엣지 컴퓨팅 환경에서 데이터 소스로부터 수신된 데이터를 전처리하여 서버로 전송하는 전자 장치의 제어 방법을 설명한다.
도 9는 본 개시의 일 실시 예에 따른 전자 장치의 제어 방법을 설명하기 위한 순서도이다.
도 9를 참조하면, 본 제어 방법은, 데이터 소스로부터 데이터가 수신되면, 수신된 데이터를 기저장된 데이터 온톨로지(Ontology)에 기초하여 서버가 제공하는 기능을 위해 요구되는 형태로 전처리할 수 있다(S910).
이때, 데이터 온톨로지를 이용하여, 수신된 데이터의 의미를 식별하고, 식별된 데이터의 의미에 기초하여 서버가 제공하는 기능을 위해 요구되는 형태로 수신된 데이터를 전처리할 수 있다.
또한, 복수의 데이터 소스로부터 수신된 데이터를 데이터 온톨로지를 이용하여 동일한 표준 형식로 변환할 수도 있다.
그리고, 전처리된 데이터를 서버로 전송할 수 있다(S920).
보다 구체적인 실시 예로, 본 제어 방법은, 데이터 온톨로지를 이용하여, 복수의 데이터 소스로부터 수신된 데이터를 데이터의 특성에 따라 분류하고 분류된 데이터에 기초하여 전자 장치의 사용자와 관련된 상황을 판단하고, 판단된 상황이 기설정된 조건에 부합되는 경우, 분류된 데이터 및/또는 판단된 상황에 대한 정보를 서버로 전송할 수도 있다.
또한, 데이터 온톨로지를 이용하여, 수신된 데이터 중에서 이상(abnormal) 데이터가 존재하는지 판단하고, 이상 데이터가 존재하는 경우, 수신된 데이터 중에서 이상 데이터를 획득하여, 획득된 이상 데이터를 서버로 전송할 수도 있다.
또한, 데이터 온톨로지를 이용하여, 외부 장치를 포함하는 복수의 데이터 소스로부터 수신된 데이터를 통해 외부 장치의 이상 여부를 판단하고, 외부 장치에 이상이 있는 경우, 복수의 데이터 소스로부터 수신된 데이터를 서버로 전송할 수도 있다.
또한, 데이터 온톨로지를 이용하여, 복수의 데이터 소스로부터 수신된 데이터 각각에 대응되는 상황들을 판단하고, 판단된 상황들 중 기설정된 조건에 부합되는 상황을 식별하며, 복수의 데이터 소스로부터 수신된 데이터 중 식별된 상황에 대응되는 데이터를 서버로 전송할 수도 있다.
도 10은 본 개시에 따른 전자 장치의 제어 방법을 보다 구체적으로 설명하기 위한 일 예를 나타내는 순서도이다.
도 10을 참조하면, 복수의 데이터 소스 각각으로부터 데이터가 수신되면(S1010), 수신된 각각의 데이터를 온톨로지에 기초하여 표준 형식으로 변환하여 각각의 표준 데이터를 획득할 수 있다(S1020). 이때, 표준화 온톨로지를 이용할 수 있다.
그리고, 획득된 각각의 표준 데이터를 온톨로지에 기초하여 결합하는 한편 노이즈를 제거하여 통합 데이터를 획득할 수 있다(S1030). 이 경우, 데이터 온톨로지를 이용할 수 있다.
그리고, 온톨로지에 기초하여 통합 데이터를 분석한 뒤 상황을 판단할 수 있다(S1040). 이 경우, 센서 온톨로지를 이용하여 전자 장치의 상황, 데이터 소스의 상황, 전자 장치의 사용자의 상황 중 적어도 하나를 판단할 수 있다.
그리고, 판단된 상황에 대한 정보를 서버로 전송할 수 있다(S1050).
한편, 도 10을 통해서는 표준화 온톨로지(S1020)-데이터 온톨로지(S1030)-센서 온톨로지(S1040)의 순서로 데이터를 재처리하였으나, 위의 세 단계 중 어느 하나 또는 둘만 수행될 수도 있으며, 그 순서가 도 10과 다를 수도 있다. 또한, 도 10에서는 위의 세 단계가 순차적으로 수행되었으나, 별도의 순서 없이 독립적으로 수행될 수도 있다.
한편, 상술한 전자 장치의 제어 방법은, 도 2 및 도 8을 통해 도시 및 설명한 전자 장치(100)를 통해 구현될 수 있다. 또는, 전자 장치(100) 및 하나 이상의 외부 장치(도시되지 않음)를 포함하는 시스템을 통해 구현될 수도 있다.
한편, 이상에서 설명된 다양한 실시 예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합된 것을 이용하여 컴퓨터 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다.
하드웨어적인 구현에 의하면, 본 개시에서 설명되는 실시 예들은 ASICs(Application Specific Integrated Circuits), DSPs(digital signal processors), DSPDs(digital signal processing devices), PLDs(Programmable logic devices), FPGAs(field programmable gate arrays), 프로세서(processor), 제어기(controller), 마이크로 컨트롤러(micro-controllers), 마이크로 프로세서(microprocessor), 기타 기능 수행을 위한 전기적인 유닛(unit) 중 적어도 하나를 이용하여 구현될 수 있다.
일부의 경우에 본 명세서에서 설명되는 실시 예들이 프로세서(120) 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면 본 명세서에서 설명되는 절차 및 기능과 같은 실시 예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 상술한 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 작동을 수행할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 전자 장치(100)에서의 처리동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시 예에 따른 전자 장치(100)의 처리 동작을 상술한 특정 기기가 수행하도록 한다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 스토리지 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 스토리지카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해돼서는 안 될 것이다.

Claims (15)

  1. 엣지 컴퓨팅 환경에서, 데이터 소스로부터 수신된 데이터를 전처리하여 서버로 전송하는 전자 장치에 있어서,
    회로(circuitry)를 포함하는 통신부;
    온톨로지(Ontology)가 저장된 스토리지; 및
    상기 통신부를 통해 데이터 소스로부터 데이터가 수신되면, 상기 온톨로지에 기초하여 상기 서버가 제공하는 기능을 위해 요구되는 형태로 상기 수신된 데이터를 전처리하고, 상기 전처리된 데이터를 상기 통신부를 통해 상기 서버로 전송하는 프로세서;를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는,
    상기 온톨로지를 이용하여, 상기 수신된 데이터의 의미를 식별하고 상기 식별된 데이터의 의미에 기초하여 상기 서버가 제공하는 기능을 위해 요구되는 형태로 상기 수신된 데이터를 전처리하는, 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    복수의 데이터 소스로부터 수신된 데이터를 상기 온톨로지를 이용하여 동일한 표준 형식로 변환하는, 전자 장치.
  4. 제1항에 있어서,
    상기 프로세서는,
    상기 온톨로지를 이용하여, 복수의 데이터 소스로부터 수신된 데이터를 상기 데이터의 특성에 따라 분류하고 상기 분류된 데이터에 기초하여 상기 전자 장치의 사용자와 관련된 상황을 판단하며, 상기 상황이 기설정된 조건에 부합되는 경우, 상기 분류된 데이터를 상기 서버로 전송하는, 전자 장치.
  5. 제1항에 있어서,
    상기 프로세서는,
    상기 온톨로지를 이용하여, 복수의 데이터 소스로부터 수신된 데이터를 상기 데이터의 특성에 따라 분류하고 상기 분류된 데이터에 기초하여 상기 전자 장치의 사용자와 관련된 상황을 판단하며, 상기 상황이 기설정된 조건에 부합되는 경우, 상기 판단된 상황에 대한 정보를 상기 서버로 전송하는, 전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는,
    상기 온톨로지를 이용하여, 상기 수신된 데이터 중에서 이상(abnormal) 데이터가 존재하는지 판단하고, 상기 이상 데이터가 존재하는 경우 상기 수신된 데이터 중에서 상기 이상 데이터를 획득하고, 상기 획득된 이상 데이터를 상기 서버로 전송하는, 전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    상기 온톨로지를 이용하여, 외부 장치를 포함하는 복수의 데이터 소스로부터 수신된 데이터를 통해 상기 외부 장치의 이상 여부를 판단하고, 상기 외부 장치에 이상이 있는 경우, 상기 복수의 데이터 소스로부터 수신된 데이터를 상기 서버로 전송하는, 전자 장치.
  8. 제1항에 있어서,
    상기 프로세서는,
    상기 온톨로지를 이용하여, 복수의 데이터 소스로부터 수신된 데이터 각각에 대응되는 상황들을 판단하고, 상기 판단된 상황들 중 기설정된 조건에 부합되는 상황을 식별하며, 상기 복수의 데이터 소스로부터 수신된 데이터 중 상기 식별된 상황에 대응되는 데이터를 상기 서버로 전송하는, 전자 장치.
  9. 엣지 컴퓨팅 환경에서, 데이터 소스로부터 수신된 데이터를 전처리하여 서버로 전송하는 전자 장치의 제어 방법에 있어서,
    데이터 소스로부터 데이터가 수신되면, 기저장된 온톨로지(Ontology)에 기초하여 상기 서버가 제공하는 기능을 위해 요구되는 형태로 상기 수신된 데이터를 전처리하는 단계; 및
    상기 전처리된 데이터를 상기 서버로 전송하는 단계;를 포함하는, 제어 방법.
  10. 제9항에 있어서,
    상기 전처리하는 단계는,
    상기 온톨로지를 이용하여, 상기 수신된 데이터의 의미를 식별하고, 상기 식별된 데이터의 의미에 기초하여 상기 서버가 제공하는 기능을 위해 요구되는 형태로 상기 수신된 데이터를 전처리하는, 제어 방법.
  11. 제9항에 있어서,
    상기 전처리하는 단계는,
    복수의 데이터 소스로부터 수신된 데이터를 상기 온톨로지를 이용하여 동일한 표준 형식로 변환하는, 제어 방법.
  12. 제9항에 있어서,
    상기 전처리하는 단계는,
    상기 온톨로지를 이용하여, 복수의 데이터 소스로부터 수신된 데이터를 상기 데이터의 특성에 따라 분류하고 상기 분류된 데이터에 기초하여 상기 전자 장치의 사용자와 관련된 상황을 판단하며,
    상기 전송하는 단계는,
    상기 상황이 기설정된 조건에 부합되는 경우, 상기 분류된 데이터를 상기 서버로 전송하는, 제어 방법.
  13. 제9항에 있어서,
    상기 전처리하는 단계는,
    상기 온톨로지를 이용하여, 복수의 데이터 소스로부터 수신된 데이터를 상기 데이터의 특성에 따라 분류하고 상기 분류된 데이터에 기초하여 상기 전자 장치의 사용자와 관련된 상황을 판단하며,
    상기 전송하는 단계는,
    상기 상황이 기설정된 조건에 부합되는 경우, 상기 판단된 상황에 대한 정보를 상기 서버로 전송하는, 제어 방법.
  14. 제9항에 있어서,
    상기 전처리하는 단계는,
    상기 온톨로지를 이용하여, 상기 수신된 데이터 중에서 이상(abnormal) 데이터가 존재하는지 판단하는 단계; 및
    상기 이상 데이터가 존재하는 경우, 상기 수신된 데이터 중에서 상기 이상 데이터를 획득하는 단계;를 포함하고,
    상기 전송하는 단계는,
    상기 획득된 이상 데이터를 상기 서버로 전송하는, 제어 방법.
  15. 제9항에 있어서,
    상기 전처리하는 단계는,
    상기 온톨로지를 이용하여, 외부 장치를 포함하는 복수의 데이터 소스로부터 수신된 데이터를 통해 상기 외부 장치의 이상 여부를 판단하고,
    상기 전송하는 단계는,
    상기 외부 장치에 이상이 있는 경우, 상기 복수의 데이터 소스로부터 수신된 데이터를 상기 서버로 전송하는, 제어 방법.
PCT/KR2020/000622 2019-02-01 2020-01-13 엣지 컴퓨팅 환경에서 데이터를 전처리하는 전자 장치 및 그 제어 방법 WO2020159111A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190013609A KR20200101539A (ko) 2019-02-01 2019-02-01 엣지 컴퓨팅 환경에서 데이터를 전처리하는 전자 장치 및 그 제어 방법.
KR10-2019-0013609 2019-02-01

Publications (1)

Publication Number Publication Date
WO2020159111A1 true WO2020159111A1 (ko) 2020-08-06

Family

ID=71840206

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/000622 WO2020159111A1 (ko) 2019-02-01 2020-01-13 엣지 컴퓨팅 환경에서 데이터를 전처리하는 전자 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR20200101539A (ko)
WO (1) WO2020159111A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102591748B1 (ko) * 2020-11-20 2023-10-20 주식회사 피씨엔 엣지 클라우드 기반의 물류 네트워크 관제 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150363693A1 (en) * 2014-06-16 2015-12-17 Coldlight Solutions, Llc Architecture and methodology for performing real-time autonomous analytics over multiple actual and virtual devices
KR20170014184A (ko) * 2015-07-29 2017-02-08 조선대학교산학협력단 향토산업과 연관된 환경정보 데이터를 수집 및 분석하기 위한 시스템 및 그 방법
US20180367873A1 (en) * 2016-04-05 2018-12-20 Tyco Fire & Security Gmbh Sensor Based System And Method For Premises Safety And Operational Profiling Based On Drift Analysis

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150363693A1 (en) * 2014-06-16 2015-12-17 Coldlight Solutions, Llc Architecture and methodology for performing real-time autonomous analytics over multiple actual and virtual devices
KR20170014184A (ko) * 2015-07-29 2017-02-08 조선대학교산학협력단 향토산업과 연관된 환경정보 데이터를 수집 및 분석하기 위한 시스템 및 그 방법
US20180367873A1 (en) * 2016-04-05 2018-12-20 Tyco Fire & Security Gmbh Sensor Based System And Method For Premises Safety And Operational Profiling Based On Drift Analysis

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ACHOURI MOUNIR, ALTI ADEL, DERDOUR MAKHLOUF, LABORIE SÉBASTIEN, ROOSE PHILIPPE: "Smart Fog computing for efficient situations management in smart health environments", JOURNAL OF ICT, vol. 17, no. 4, 1 October 2018 (2018-10-01), pages 537 - 567, XP055726039 *
KRISTINA SAHLMANN ET AL.: "Ontology-based Virtual IoT Devices for Edge Computing", IOT ' 18, 18 October 2018 (2018-10-18), Santa Barbara, CA , USA ., pages 1 - 7, XP058419006 *

Also Published As

Publication number Publication date
KR20200101539A (ko) 2020-08-28

Similar Documents

Publication Publication Date Title
WO2014157806A1 (en) Display device and control method thereof
WO2019088793A1 (ko) 전자 장치 및 이를 이용한 화면 공유 방법
WO2015111790A1 (en) Smart watch, display device and method of controlling therefor
WO2016085157A1 (en) Method and electronic device for voice recognition
WO2015133847A1 (en) Method and apparatus for detecting user input in an electronic device
WO2015005537A1 (en) Mobile device, head mounted display and method of controlling therefor
WO2015012441A1 (en) Digital device and control method thereof
EP3011551A1 (en) Foldable display device and method of controlling therefor
WO2020197012A1 (en) Display apparatus and control method thereof
WO2018093160A2 (ko) 디스플레이장치, 시스템 및 기록매체
WO2015093902A1 (ko) 스마트 홈 시스템의 피 제어 장치 검색 및 제어 방법과 장치
WO2020159111A1 (ko) 엣지 컴퓨팅 환경에서 데이터를 전처리하는 전자 장치 및 그 제어 방법
WO2017069502A1 (ko) 디스플레이 장치, 그의 통합 리모컨 설정 방법 및 시스템
WO2022060023A1 (ko) 전자 장치 및 그 제어 방법
WO2019035617A1 (en) DISPLAY APPARATUS AND METHOD FOR PROVIDING CONTENT THEREFOR
WO2013180354A1 (en) Method and home device for outputting response to user input
WO2021256760A1 (ko) 이동 가능한 전자장치 및 그 제어방법
WO2021006667A1 (en) Electronic apparatus, method of controlling the same, server, and recording medium
WO2020159032A1 (ko) 복수의 어플리케이션에 카메라에서 획득한 이미지를 제공하는 전자 장치 및 그의 동작 방법
WO2019103518A1 (ko) 전자 장치 및 그 제어 방법
WO2021172747A1 (ko) 전자 장치 및 그 제어 방법
WO2023033350A1 (ko) 전자 장치 및 그 동작 방법
WO2022231252A1 (ko) 비디오 스트림 감지 방법 및 이를 지원하는 전자 장치
WO2021125721A1 (en) Electronic apparatus and control method thereof
WO2022124640A1 (ko) 전자장치 및 그 제어방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20747622

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20747622

Country of ref document: EP

Kind code of ref document: A1