WO2024085402A1 - 장치 인증 위한 전자 장치 및 그 동작 방법 - Google Patents

장치 인증 위한 전자 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2024085402A1
WO2024085402A1 PCT/KR2023/012299 KR2023012299W WO2024085402A1 WO 2024085402 A1 WO2024085402 A1 WO 2024085402A1 KR 2023012299 W KR2023012299 W KR 2023012299W WO 2024085402 A1 WO2024085402 A1 WO 2024085402A1
Authority
WO
WIPO (PCT)
Prior art keywords
iot device
electronic device
iot
processor
authentication
Prior art date
Application number
PCT/KR2023/012299
Other languages
English (en)
French (fr)
Inventor
정경호
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024085402A1 publication Critical patent/WO2024085402A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/31—User authentication
    • G06F21/34—User authentication involving the use of external additional devices, e.g. dongles or smart cards
    • G06F21/35—User authentication involving the use of external additional devices, e.g. dongles or smart cards communicating wirelessly
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/30—Authentication, i.e. establishing the identity or authorisation of security principals
    • G06F21/44—Program or device authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16Y—INFORMATION AND COMMUNICATION TECHNOLOGY SPECIALLY ADAPTED FOR THE INTERNET OF THINGS [IoT]
    • G16Y20/00—Information sensed or collected by the things
    • G16Y20/20—Information sensed or collected by the things relating to the thing itself
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication

Definitions

  • Embodiments disclosed in this document relate to an electronic device for device authentication and a method of operating the same.
  • IoT devices equipped with IoT functions e.g. TVs, refrigerators, vacuum cleaners, washing machines, smartphones, laptops, etc.
  • IoT devices can be registered in the IoT server in conjunction with the user device.
  • authentication may be performed using AR (augmented reality) technology or a QR (quick response) code, and physical manipulation of the IoT device (e.g. button), etc. may be used.
  • UWB ultra-wideband refers to a short-range wireless technology that allows distance measurement with an accuracy of several centimeters (cm) using pulses about 2 nano seconds long based on a bandwidth of 500 MHz or more.
  • UWB can transmit and receive data at low power over a wide frequency band, causing little interference with other wireless communication technologies, so it can be used in parallel with other wireless technologies such as NFC (near field communication), Bluetooth, and WiFi. It can be used.
  • NFC near field communication
  • Bluetooth Bluetooth
  • WiFi WiFi
  • AR augmented reality
  • QR quick response
  • the user In order to recognize the QR code, the user must go close to the IoT device. The need to photograph a QR code can hinder the user experience.
  • the method of manipulating the physical buttons present in the IoT device requires direct manipulation of a specific button on the IoT device and may cause inconvenience to the user in that it needs to be operated at a short distance from the IoT device.
  • Embodiments disclosed in this document provide an electronic device and a method of operating the same for authenticating an IoT device from a distance.
  • An electronic device may include a camera module for photographing a surrounding space where at least one IoT device is located.
  • An electronic device according to an embodiment may include a first communication module that supports ultra-wideband (UWB) communication.
  • An electronic device may include a second communication module that supports Bluetooth communication.
  • the electronic device may include at least one processor electrically connected to the camera module, the first communication module, and the second communication module.
  • At least one processor may form a first wireless communication link with an IoT device using the first communication module.
  • At least one processor according to an embodiment may receive first authentication information from the IoT device using the first communication module.
  • At least one processor may identify a first user input instructing to perform authentication of the IoT device. At least one processor according to an embodiment may determine whether the directions of the IoT device and the electronic device match using the camera module and the second communication module. At least one processor according to an embodiment may transmit an authentication request to the IoT device using the second communication module when the directions of the IoT device and the electronic device match. At least one processor according to an embodiment may receive second authentication information of the IoT device using the second communication module. When identifying that the second authentication information corresponds to the first authentication information, at least one processor according to an embodiment may determine that the IoT device matches the electronic device.
  • At least one processor may acquire an image of the surrounding space through the camera module. At least one processor according to an embodiment may identify the location of the first object corresponding to the IoT device in the image. At least one processor according to an embodiment may identify the location of the IoT device through the second communication module. When the at least one processor according to an embodiment identifies that the location of the first object corresponding to the IoT device in the image corresponds to the location of the IoT device obtained through the second communication module, the IoT It may be determined that the orientation of the device and the electronic device match.
  • At least one processor may determine whether another IoT device corresponding to the IoT device exists within the camera field of view. When at least one processor according to an embodiment determines that the other IoT device does not exist, the at least one processor may transmit the authentication request to the IoT device.
  • At least one processor may identify a second object corresponding to the other IoT device in the image. At least one processor according to one embodiment may determine whether the first object and the second object are the same. When at least one processor according to an embodiment determines that the first object and the second object are not the same, at least one processor may transmit an authentication request to the IoT device.
  • At least one processor may obtain depth information of the surrounding space through the camera. At least one processor according to an embodiment may identify the IoT device based on the depth information. At least one processor according to an embodiment may transmit the authentication request to the IoT device.
  • At least one processor may display a user interface related to device authentication. At least one processor according to an embodiment may receive the first user input through the user interface. At least one processor according to an embodiment, in response to determining that the directions of the IoT device and the electronic device match using the camera module and the second communication module, transmits an authentication request to the IoT device. A second user input indicating an input may be received. At least one processor according to an embodiment may transmit an authentication request to the IoT device in response to receiving the second user input.
  • the electronic device may further include memory.
  • At least one processor may store information about the IoT device received from the IoT device in the memory in response to determining that the IoT device matches the electronic device.
  • At least one processor may transmit information about the IoT device to an IoT server in response to determining that the IoT device matches the electronic device.
  • the authentication request may include identification information of the electronic device.
  • At least one processor may form a second wireless communication link with the IoT device using the second communication module in response to determining that the directions of the electronic device and the IoT device match.
  • a method of operating an electronic device may include forming a first wireless communication link with an IoT device using Bluetooth technology.
  • a method of operating an electronic device according to an embodiment may include receiving first authentication information from the IoT device.
  • a method of operating an electronic device according to an embodiment may include identifying a first user input instructing to perform authentication of the IoT device.
  • a method of operating an electronic device may include determining whether the directions of the IoT device and the electronic device match using a camera module and ultra wideband (UWB) communication technology.
  • UWB ultra wideband
  • a method of operating an electronic device may include transmitting an authentication request to the IoT device using the UWB communication technology when the directions of the IoT device and the electronic device match.
  • a method of operating an electronic device may include receiving second authentication information of the IoT device using the UWB communication technology.
  • a method of operating an electronic device according to an embodiment may include determining that the IoT device matches the electronic device when identifying that the second authentication information corresponds to the first authentication information.
  • a method of operating an electronic device may include acquiring an image of the surrounding space through the camera module.
  • a method of operating an electronic device may include identifying the location of a first object corresponding to the IoT device in the image.
  • a method of operating an electronic device may include identifying the location of the IoT device using the UWB communication technology.
  • a method of operating an electronic device includes, when identifying that the location of the first object corresponding to the IoT device in the image corresponds to the location of the IoT device obtained through the second communication module, It may include determining that the directions of the IoT device and the electronic device match.
  • a method of operating an electronic device may include determining whether another IoT device corresponding to the IoT device exists within the camera field of view.
  • a method of operating an electronic device may include transmitting the authentication request to the IoT device when determining that the other IoT device does not exist.
  • a method of operating an electronic device may include, when determining that the other IoT device exists, identifying a second object corresponding to the other IoT device in the image.
  • a method of operating an electronic device may include determining whether the first object and the second object are the same.
  • a method of operating an electronic device may include transmitting an authentication request to the IoT device when it is determined that the first object and the second object are not the same.
  • a method of operating an electronic device may include obtaining depth information of the surrounding space through the camera when it is determined that the first object and the second object are the same.
  • a method of operating an electronic device may include identifying the IoT device based on the depth information.
  • a method of operating an electronic device may include transmitting the authentication request to the IoT device.
  • a method of operating an electronic device may include displaying a user interface related to device authentication.
  • a method of operating an electronic device may include receiving the first user input through the user interface.
  • a method of operating an electronic device includes transmitting an authentication request to the IoT device in response to determining that the directions of the IoT device and the electronic device match using the camera module and the UWB communication technology. It may include an operation of receiving a second user input that indicates.
  • a method of operating an electronic device according to an embodiment may include transmitting an authentication request to the IoT device in response to receiving the second user input.
  • a method of operating an electronic device may include storing information about the IoT device received from the IoT device in a memory in response to determining that the IoT device matches the electronic device. .
  • a method of operating an electronic device may include transmitting information about the IoT device to an IoT server in response to determining that the IoT device matches the electronic device.
  • the authentication request may include identification information of the electronic device.
  • a method of operating an electronic device includes forming a second wireless communication link with the IoT device using the UWB communication technology in response to determining that the directions of the electronic device and the IoT device match. It can be included.
  • the user of the IoT device simplifies the operation procedures of the IoT device or user device that need to be performed to authenticate the IoT device, thereby providing the effect of improving user experience.
  • Figure 1 shows an example of an IoT environment according to an embodiment.
  • Figure 2 shows the block configuration of an IoT device according to an embodiment.
  • Figure 3 shows a block configuration of a user device according to one embodiment.
  • Figure 4 shows a signaling flow for registration of an IoT device according to an embodiment.
  • Figure 5 shows an operation flow of a user device according to an embodiment.
  • Figure 6 shows an example of a user interface for authentication of an IoT device according to an embodiment.
  • Figure 7 shows an example of a user interface for authentication of an IoT device according to an embodiment.
  • a or B “at least one of A and B”, “at least one of A or B”, “A, B or C”, “at least one of A, B and C”, and “A Each of phrases such as “at least one of , B, or C” may include any one of the items listed together in the corresponding phrase, or any possible combination thereof.
  • One (e.g. first) component is said to be “coupled” or “connected” to another (e.g. second) component, with or without the terms “functionally” or “communicatively”.
  • one component can be connected to another component directly (e.g. wired), wirelessly, or through a third component.
  • Figure 1 shows an example of an IoT environment according to an embodiment.
  • IoT devices 10 may be connected to each other or to the user device 2 and the server 3 through a network (NET).
  • NET network
  • the IoT device 10 may include various types of home appliances.
  • the IoT device 10 includes a refrigerator 11, a dishwasher 12, an electric range 13, an electric oven 14, an air conditioner 15, a clothes care machine 16, and a washing machine 17.
  • the above-mentioned home appliances are only examples, and even if they are not the above-mentioned home appliances, any device that is connected to another home appliance, user device, or server through a network and can perform the operation described later is an IoT device (IoT device) according to an embodiment. 10).
  • the server 3 includes a communication module capable of communicating with the IoT device 10 and the user device 2, and at least a communication module capable of processing data received from the IoT device 10 or the user device 2. It may include one processor and at least one memory that can store a program for processing data or processed data. This server 3 may be implemented with various computing devices such as a workstation, cloud, data drive, and data station.
  • the user device 2 includes a communication module capable of communicating with the IoT device 10 and the server 3, a user interface that receives user input or outputs information to the user, and an operation of the user device 2. It may include at least one processor that controls and at least one memory in which a program for controlling the operation of the user device 2 is stored.
  • the user device 2 may be carried by the user or placed in the user's home or office, and may be a personal computer, terminal, portable telephone, or smart phone. It may include a phone, a handheld device, a wearable device, etc.
  • a program for controlling the IoT device 10, that is, an application may be stored in the memory of the user device 2 according to one embodiment.
  • the user device 2 may be sold with these applications installed, or may be sold without them installed. In the latter case, the user can download and install the application from an external server that provides the application.
  • a user can control the IoT device 10 using an application installed on the user device 2.
  • a user can create an account managed on the server 3, and the user's account can be identified by an ID and password set by the user.
  • the IoT device 10 can be registered to the user's account according to a set procedure. For example, when registering a home appliance 10, identification information such as a serial number or MAC address assigned to each home appliance 10 may be used.
  • the application installed on the user device 2 is executed and logged in to the user account, the user can perform desired control on the IoT device 10 using the user device 2.
  • the network may include both wired networks and wireless networks.
  • a wired network includes a cable network or a telephone network, and a wireless network may include any network that transmits and receives signals through radio waves. Wired networks and wireless networks can be connected to each other.
  • the network may include a wide area network (WAN) such as the Internet and a local area network (LAN) formed around an access point (AP).
  • WAN wide area network
  • LAN local area network
  • AP access point
  • an access point may connect a local area network (LAN) to which the IoT device 10 and the user device 2 are connected to a wide area network (WAN) to which the server 2 is connected.
  • IoT device 10 or user device 2 may be connected to server 3 via a wide area network (WAN).
  • LAN local area network
  • WAN wide area network
  • an access repeater connects an IoT device ( 10) and can communicate with the user device 2 and connect to a wide area network (WAN) using wired communication.
  • AP access repeater
  • the IoT device 10 may transmit information about its operation or status to the server 3 through a network (NET). Transmission of this information may occur when a request is received from the server 3, may occur when a specific event occurs in the IoT device 10, or may occur periodically or in real time.
  • the server 3 updates the stored information and reports the operation and status of the IoT device 10 to the user device 2 through the network (NET). Updated information can be transmitted.
  • the IoT device 10 may obtain various information from the server 3 and provide the obtained information to the user.
  • the IoT device 10 may obtain information such as weather, news, recipes, and laundry instructions from the server 3 and output the obtained information through a user interface.
  • the IoT device 10 may operate according to control commands received from the server 3. To this end, the IoT device 10 can obtain the user's prior approval to operate according to the control command of the server 3 without user input. Additionally, the IoT device 10 may provide information about the operation or status of the IoT device 10 to the server 3 according to the user's prior approval.
  • the user device 2 may provide information about the user (eg, the user's location, the user's health status, etc.) to the server 3 according to the user's prior approval.
  • information about the user eg, the user's location, the user's health status, etc.
  • the server 3 uses technology such as artificial intelligence to process information about the operation or state of the IoT device 10 and information about the user of the user device 2, and based on the processing results.
  • a control command can be transmitted to the IoT device 10.
  • FIG. 2 shows the block configuration of an IoT device according to an embodiment.
  • the IoT device of FIG. 2 may include an electronic device corresponding to the IoT device 10 of FIG. 1 .
  • the IoT device 200 may include a processor 210, a memory 220, a display 240, and a communication unit 250.
  • the IoT device 200 may further include an image input unit (not shown).
  • the IoT device 200 may include additional components in addition to the illustrated components, or may omit at least one of the illustrated components.
  • the memory 220 is a storage medium used by the IoT device 200 and can store data such as at least one command 221 or setting information corresponding to at least one program.
  • the program may include an operating system (OS) program and various application programs.
  • OS operating system
  • the memory 220 is a flash memory type, hard disk type, multimedia card micro type, card type memory (e.g., SD or memory, etc.), random access memory (RAM), static random access memory (SRAM), read only memory (ROM), electrically erasable programmable ROM (EEPROM), programmable ROM (PROM), magnetic memory, magnetic disk, It may include at least one type of storage medium, such as an optical disk.
  • RAM random access memory
  • SRAM static random access memory
  • ROM read only memory
  • EEPROM electrically erasable programmable ROM
  • PROM programmable ROM
  • magnetic memory magnetic disk
  • It may include at least one type of storage medium, such as an optical disk.
  • the video input unit may receive video and video information through a tuner (not shown), an input/output unit (not shown), or a communication unit 250.
  • the video input unit may include at least one of the tuner and the input/output unit.
  • the tuner tunes only the frequency of the broadcast channel desired to be received by the IoT device 200 among many radio wave components through amplification, mixing, resonance, etc. of broadcast signals received through wired or wireless channels. You can choose.
  • the broadcast signal may include video, audio, and additional data (eg, Electronic Program Guide (EPG)).
  • EPG Electronic Program Guide
  • the tuner can receive real-time broadcasting channels (or real-time viewing video) from various broadcasting sources such as terrestrial broadcasting, cable broadcasting, satellite broadcasting, and Internet broadcasting.
  • the tuner may be implemented integrally with the IoT device 200 or may be implemented as a separate tuner electrically connected to the IoT device 200.
  • the input/output unit includes an HDMI (High Definition Multimedia Interface) input port, a component input jack, and a PC input port that can receive images and video information from external devices of the IoT device 200 under the control of the processor 210. and a USB input jack. It is obvious to those skilled in the art that the input/output unit may be added, deleted, and/or changed depending on the performance and structure of the IoT device 200.
  • the display 240 may perform functions to output information in the form of numbers, characters, images, and/or graphics.
  • the display 240 may include at least one hardware module for output.
  • the at least one hardware module may include, for example, a liquid crystal display (LCD), a light emitting diode (LED), a light emitting polymer display (LPD), an organic light emitting diode (OLED), and an active matrix organic light emitting diode (AMOLED). ), or FLED (Flexible LED).
  • the display 240 may display a screen corresponding to data received from the processor 210.
  • the display 240 may be referred to as an ‘output unit’, a ‘display unit’, or other terms having equivalent technical meaning.
  • the communication unit 250 may provide a wired or wireless communication interface that enables communication with an external device.
  • the communication unit 250 may include at least one of a wired Ethernet, a wireless LAN communication unit, and a short-range communication unit.
  • the wireless LAN communication unit may include Wi-Fi and support the wireless LAN standard (IEEE802.11x) of the Institute of Electrical and Electronics Engineers (IEEE).
  • the wireless LAN communication unit can be wirelessly connected to an AP (Access Point) under the control of the processor 210.
  • the short-range communication unit can perform wireless short-range communication with an external device under the control of the processor 210.
  • Short-range communication may include Bluetooth, Bluetooth Low Energy, Infrared Data Association (IrDA), Ultra WideBand (UWB), and Near Field Communication (NFC).
  • the external device may include a server device that provides video, etc., and a mobile terminal (eg, phone, tablet, etc.).
  • the communication unit 250 may include a communication module for providing Bluetooth communication and a communication module for providing UWB communication.
  • the processor 210 performs operations related to control and/or communication of at least one other component of the IoT device 200 by executing at least one instruction 221 stored in the memory 220. Data processing can be performed.
  • the processor 210 includes a central processing unit (CPU), a graphics processing unit (GPU), a micro controller unit (MCU), a sensor hub, a supplementary processor, a communication processor, an application processor, It may include at least one of an Application Specific Integrated Circuit (ASIC) or a Field Programmable Gate Arrays (FPGA), and may have multiple cores.
  • CPU central processing unit
  • GPU graphics processing unit
  • MCU micro controller unit
  • sensor hub a sensor hub
  • a supplementary processor a communication processor
  • ASIC Application Specific Integrated Circuit
  • FPGA Field Programmable Gate Arrays
  • FIG. 3 illustrates a block configuration of an electronic device 301 in a network environment 300, according to various embodiments.
  • the electronic device 301 communicates with the electronic device 302 through a first network 398 (e.g., a short-range wireless communication network) or a second network 399. It is possible to communicate with at least one of the electronic device 304 or the server 308 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 301 may communicate with the electronic device 304 through the server 308.
  • a first network 398 e.g., a short-range wireless communication network
  • a second network 399 e.g., a second network 399. It is possible to communicate with at least one of the electronic device 304 or the server 308 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 301 may communicate with the electronic device 304 through the server 308.
  • the electronic device 301 includes a processor 320, a memory 330, an input module 350, an audio output module 355, a display module 360, an audio module 370, and a sensor module ( 376), interface 377, connection terminal 378, haptic module 379, camera module 380, power management module 388, battery 389, communication module 390, subscriber identification module 396 , or may include an antenna module 397.
  • at least one of these components eg, the connection terminal 378) may be omitted, or one or more other components may be added to the electronic device 301.
  • some of these components e.g., sensor module 376, camera module 380, or antenna module 397) are integrated into one component (e.g., display module 360). It can be.
  • the processor 320 for example, executes software (e.g., program 340) to operate at least one other component (e.g., hardware or software component) of the electronic device 301 connected to the processor 320. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 320 stores commands or data received from another component (e.g., sensor module 376 or communication module 390) in volatile memory 332. The commands or data stored in the volatile memory 332 can be processed, and the resulting data can be stored in the non-volatile memory 334.
  • software e.g., program 340
  • the processor 320 stores commands or data received from another component (e.g., sensor module 376 or communication module 390) in volatile memory 332.
  • the commands or data stored in the volatile memory 332 can be processed, and the resulting data can be stored in the non-volatile memory 334.
  • the processor 320 may include a main processor 321 (e.g., a central processing unit or an application processor) or an auxiliary processor 323 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 321 e.g., a central processing unit or an application processor
  • auxiliary processor 323 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 301 includes a main processor 321 and a auxiliary processor 323, the auxiliary processor 323 may be set to use less power than the main processor 321 or be specialized for a designated function. You can.
  • the auxiliary processor 323 may be implemented separately from the main processor 321 or as part of it.
  • the auxiliary processor 323 may, for example, act on behalf of the main processor 321 while the main processor 321 is in an inactive (e.g., sleep) state, or while the main processor 321 is in an active (e.g., application execution) state. ), together with the main processor 321, at least one of the components of the electronic device 301 (e.g., the display module 360, the sensor module 376, or the communication module 390) At least some of the functions or states related to can be controlled.
  • coprocessor 323 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 380 or communication module 390). there is.
  • the auxiliary processor 323 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. This learning may be performed, for example, in the electronic device 301 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 308). Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 330 may store various data used by at least one component (eg, the processor 320 or the sensor module 376) of the electronic device 301. Data may include, for example, input data or output data for software (e.g., program 340) and instructions related thereto.
  • Memory 330 may include volatile memory 332 or non-volatile memory 334.
  • the program 340 may be stored as software in the memory 330 and may include, for example, an operating system 342, middleware 344, or application 346.
  • the input module 350 may receive commands or data to be used in a component of the electronic device 301 (e.g., the processor 320) from outside the electronic device 301 (e.g., a user).
  • the input module 350 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 355 may output sound signals to the outside of the electronic device 301.
  • the sound output module 355 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 360 can visually provide information to the outside of the electronic device 301 (eg, a user).
  • the display module 360 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 360 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 370 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 370 acquires sound through the input module 350, the sound output module 355, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 301). Sound may be output through an electronic device 302 (e.g., speaker or headphone).
  • an electronic device 302 e.g., speaker or headphone
  • the sensor module 376 detects the operating state (e.g., power or temperature) of the electronic device 301 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 376 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 377 may support one or more designated protocols that can be used to connect the electronic device 301 directly or wirelessly with an external electronic device (e.g., the electronic device 302).
  • the interface 377 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 378 may include a connector through which the electronic device 301 can be physically connected to an external electronic device (eg, the electronic device 302).
  • the connection terminal 378 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 379 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 379 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 380 can capture still images and moving images.
  • the camera module 380 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 388 can manage power supplied to the electronic device 301.
  • the power management module 388 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 389 may supply power to at least one component of the electronic device 301.
  • the battery 389 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 390 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 301 and an external electronic device (e.g., electronic device 302, electronic device 304, or server 308). It can support establishment and communication through established communication channels. Communication module 390 operates independently of processor 320 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 320 e.g., an application processor
  • the communication module 390 is a wireless communication module 392 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 394 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 392 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 394 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 398 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 399 (e.g., legacy It may communicate with an external electronic device 304 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 392 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 396 within a communication network such as the first network 398 or the second network 399.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 392 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 392 may support high frequency bands (e.g., mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 392 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive MIMO (multiple-input and multiple-output), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 392 may support various requirements specified in the electronic device 301, an external electronic device (e.g., electronic device 304), or a network system (e.g., second network 399).
  • the wireless communication module 392 supports peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 397 may transmit or receive signals or power to or from the outside (e.g., an external electronic device).
  • the antenna module 397 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 397 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 398 or the second network 399 is, for example, connected to the plurality of antennas by the communication module 390. can be selected. Signals or power may be transmitted or received between the communication module 390 and an external electronic device through the at least one selected antenna.
  • antenna module 397 may form a mmWave antenna module.
  • a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a first side e.g., bottom side
  • a designated high frequency band e.g., mmWave band
  • a plurality of antennas e.g., array antennas
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 301 and the external electronic device 304 through the server 308 connected to the second network 399.
  • Each of the external electronic devices 302 or 304 may be of the same or different type as the electronic device 301.
  • all or part of the operations performed in the electronic device 301 may be executed in one or more of the external electronic devices 302, 304, or 308.
  • the electronic device 301 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 301.
  • the electronic device 301 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 301 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 304 may include an Internet of Things (IoT) device.
  • Server 308 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 304 or server 308 may be included in the second network 399.
  • the electronic device 301 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • FIG. 4 shows a signaling flow for registration of an IoT device according to an embodiment.
  • the IoT device 401 in FIG. 4 may represent the IoT device 10 in FIG. 1 and the IoT device 200 in FIG. 2 .
  • the electronic device 402 of FIG. 4 may represent the user device 2 of FIG. 1 and the electronic device 300 of FIG. 3 .
  • the IoT device 401 and the electronic device 402 may form a wireless communication link.
  • the electronic device 402 may form a wireless communication link with the IoT device 401 using short-range wireless communication technology (e.g., Bluetooth Low Energy (BLE)).
  • IoT device 401 may generate an advertising signal.
  • the electronic device 402 may perform an operation of scanning Bluetooth electronic devices adjacent to the electronic device 402.
  • the electronic device 402 can identify the advertising signal generated from the IoT device 401 through a scan operation.
  • the electronic device 402 may identify the IoT device 401 based on identifying the advertising signal and transmit a connection request to the IoT device 401.
  • the IoT device 401 may transmit a connection response to the electronic device 402.
  • the electronic device 402 may form a wireless communication link.
  • the IoT device 401 sends identification information (e.g., medium access control (MAC) address) of the IoT device 401 to the electronic device 402 through the wireless communication link created in operation 410. , serial number, etc.) can be transmitted.
  • identification information e.g., medium access control (MAC) address
  • MAC medium access control
  • the IoT device 401 may transmit identification information of the IoT device 401 to the electronic device 402 in response to receiving a user's input for device registration.
  • the electronic device 402 may receive a user input that initiates a device authentication procedure.
  • a specific application may be installed on the user's terminal.
  • the electronic device 402 may receive user input through a user interface displayed when executing this specific application.
  • a user input that initiates a device authentication procedure may be identified through a user interface for device authentication displayed on the electronic device 402.
  • User input may include various types of user input, such as touch input, tap, and double tap.
  • the electronic device 402 can photograph the IoT device using a camera module and check whether the directions of the IoT device and the electronic device match using UWB technology.
  • the electronic device 402 may use a camera to acquire an image of at least one IoT device located adjacent to the electronic device 402.
  • At least one IoT device may include IoT device 402.
  • An image does not mean only one static image captured in one frame, but may refer to an image displayed on a screen being captured through a camera.
  • the electronic device 402 may identify location information of the IoT device 401 using ultra wideband (UWB). For example, the electronic device 402 may use UWB to identify the location of at least one IoT device included in an image acquired through a camera. The electronic device 402 can identify the location of the IoT device 401 using UWB.
  • UWB ultra wideband
  • the electronic device 402 may determine whether the direction of the IoT device 401 identified through UWB technology matches the direction of the IoT device captured through a camera.
  • the electronic device 402 when the direction of the IoT device 401 identified through UWB technology matches the direction of the IoT device captured through the camera, in operation 418, the electronic device 402 is connected to the IoT device 401. You can send a request for information.
  • the electronic device 402 selects the IoT device 401 among at least one IoT device. It is possible to determine whether another corresponding IoT device exists.
  • Other IoT devices corresponding to the IoT device 401 may mean the same type of IoT device (e.g., if the IoT device 401 is an air purifier, an air purifier).
  • the electronic device 402 when there is no other IoT device corresponding to the IoT device 401 among the at least one IoT device, the electronic device 402 sends a device information request to the IoT device 401. Can be sent.
  • the electronic device 402 determines the IoT device 401 based on the captured image. You can decide whether or not it can be identified. For example, when the electronic device 402 determines that the image of the IoT device 401 corresponds to the image of another IoT device (e.g., when it determines that they are the same product), the degree of consistency of appearance identified through AI, etc. is determined in advance. (more than a certain ratio)), it may be determined that the IoT device 401 and other IoT devices cannot be identified.
  • the electronic device 402 determines that the image of the IoT device 401 and the image of another IoT device do not correspond (e.g., different products, both air purifiers, the type of product is the same, but the subcategory ( If the size, shape, etc.) are different, it may be determined that the IoT device 401 and other IoT devices can be identified.
  • the image of the IoT device 401 and the image of another IoT device do not correspond (e.g., different products, both air purifiers, the type of product is the same, but the subcategory ( If the size, shape, etc.) are different, it may be determined that the IoT device 401 and other IoT devices can be identified.
  • the electronic device 402 may transmit a device information request to the IoT device 401.
  • the electronic device 402 may identify the IoT device 401 using depth information acquired through a camera or depth sensor. For example, the electronic device 402 identifies the IoT device that the electronic device 402 is photographing by identifying the structure of the space visible within the angle of view captured by the camera based on depth information acquired through the depth sensor. can do. In this way, by identifying the structure of the surrounding space of the electronic device 402 through a depth sensor, etc., filtering can be performed on IoT devices other than the IoT device 401.
  • the device information request may include information indicating that the directions of the electronic device 402 and the IoT device 401 match.
  • the device information request may include device information of the electronic device 402.
  • the IoT device 401 may include information about the serial number, MAC address, etc. of the electronic device 402 needed to authenticate the electronic device 402.
  • the IoT device 401 may transmit identification information of the IoT device 401 to the electronic device 402 through UWB rather than a wireless communication link.
  • IoT device 401 may include a UWB sensor.
  • the IoT device 401 may transmit authentication information of the IoT device 401 to the electronic device 402 using a UWB sensor.
  • the device information request may include information regarding the relative locations of the electronic device 402 and the IoT device 401.
  • the electronic device 402 connects the IoT device 401 based on the information about the IoT device 401 received through UWB and the information about the IoT device 401 received through a wireless communication link in operation 412. ) can be authenticated. For example, if the information about the IoT device 401 received through the wireless communication link matches the information about the IoT device 401 received through UWB, the electronic device 402 registers the IoT device 401. It can be determined that it is a target IoT device. Afterwards, the electronic device 402 may store information about the IoT device 401 in memory. For example, if the information about the IoT device 401 received through the wireless communication link does not match the information about the IoT device 401 received through UWB, the electronic device 402 It may be determined that it is not an IoT device subject to registration.
  • Figure 5 shows the operation flow of an electronic device according to an embodiment.
  • the electronic device in FIG. 5 may be a device corresponding to the user device 2 in FIG. 1, the electronic device 300 in FIG. 3, and the electronic device 402 in FIG. 4.
  • the electronic device may form a wireless communication link with the IoT device using the first communication module.
  • an electronic device may form a wireless communication link with an IoT device using Bluetooth technology.
  • the electronic device can scan the Bluetooth connection signal received from the IoT device and transmit a Bluetooth connection request to the IoT device.
  • a wireless communication link may be established.
  • the electronic device may receive first authentication information from the IoT device using the first communication module.
  • the electronic device may receive first authentication information from the IoT device through a wireless communication link formed using the first communication module.
  • the first authentication information may mean identification information of an IoT device received through a wireless communication link.
  • the identification information of the IoT device may include information about the product number, serial number, and MAC address of the IoT device.
  • the electronic device may identify a first user input instructing to perform authentication of the IoT device.
  • authentication of an IoT device may refer to an authentication procedure performed by a user of an electronic device to control the IoT device through an electronic device.
  • the electronic device can transmit information about the IoT device to the IoT server and store the information about the IoT device in the memory of the electronic device. Accordingly, in the case of an IoT device that has completed authentication, the user of the electronic device can remotely control it through the electronic device.
  • the first user input may be identified through a user interface displayed on the electronic device when the user interface related to device authentication is executed.
  • the user interface may include information about the current electronic device and other registered IoT devices, information about IoT devices that can be registered, etc.
  • the electronic device may determine whether the directions of the IoT device and the electronic device match using a camera module and a second communication module.
  • the user of the electronic device can take pictures of the surrounding space of the electronic device by utilizing the camera function that is activated when receiving the first user input.
  • Other IoT devices including IoT devices that wish to perform authentication, may be located in the space surrounding the electronic device.
  • the electronic device may acquire an image of the surrounding space where at least one IoT device is located.
  • At least one IoT device may include an IoT device.
  • the electronic device may identify the location of the IoT device based on the UWB communication technology of the second communication module.
  • the electronic device may determine whether an IoT device is located within the camera field of view.
  • the electronic device may identify the location of an object corresponding to the IoT device in an image acquired using a camera. In one embodiment, the electronic device can identify the IoT device located at the center of the field of view.
  • the electronic device may determine whether the location of the IoT device obtained using UWB matches the location of the object identified through the camera. In one embodiment, the electronic device may determine whether the direction in which the IoT device located at the center of the field of view is located corresponds to the location of the IoT device obtained using UWB.
  • the electronic device may perform operation 550 when the electronic device determines that the directions of the electronic device and the IoT device match.
  • operation 550 is not immediately performed, and the electronic device determines that another IoT device corresponding to the IoT device is located within the field of view of the camera. You can decide whether to do it or not.
  • Another IoT device corresponding to an IoT device may refer to the same type of device as the IoT device. For example, if an IoT device is an air purifier, another IoT device may also be an air purifier.
  • UWB signals transmitted and received using the second communication module they can penetrate walls, so that IoT devices in houses other than the home of the user of the electronic device are sensed, or IoT devices in other rooms in the same direction are located within the field of view. Therefore, in order to filter this case, the electronic device can determine whether a device of the same type as the IoT device exists within the camera field of view.
  • the electronic device may perform operation 550. there is.
  • the electronic device when the electronic device determines that the directions of the IoT device and the electronic device match and that another IoT device corresponding to the IoT device is located within the field of view of the camera, the electronic device You can determine whether IoT devices can be identified.
  • the electronic device can identify images of the IoT device and other IoT devices through a camera, and determine whether the appearance of the IoT device and other IoT devices is the same. If the electronic device determines that the images of the IoT device and another IoT device are the same, it may determine that the IoT device cannot be identified. If the electronic device determines that the images of the IoT device and the other IoT device are different, the IoT device may be determined to be identifiable. You can decide that there is.
  • the electronic device may perform operation 550.
  • the electronic device determines that the directions of the IoT device and the electronic device match, that another IoT device corresponding to the IoT device is located within the field of view of the camera, and determines that the IoT device cannot be identified, the electronic device Can identify IoT devices based on depth information acquired through a depth sensor, etc.
  • the electronic device can identify exactly which IoT device the electronic device is photographing by identifying the structure of the surrounding space within the camera's field of view based on 3D depth information.
  • operation 550 may be performed.
  • the electronic device may transmit an authentication request to the IoT device using the second communication module.
  • the authentication request may include identifying information of the electronic device (e.g., product number, product identifier, MAC address, etc.).
  • the authentication request may include information indicating that the directions of the electronic device and the IoT device match.
  • the electronic device may receive second authentication information from the IoT device using the second communication module.
  • the second authentication information may include identification information of the IoT device.
  • the electronic device may determine whether the second authentication information corresponds to the first authentication information.
  • the electronic device may determine that the IoT device matches the electronic device in operation 580.
  • the electronic device may store information about the IoT device (e.g., first authentication information, second authentication information) in memory.
  • information about the IoT device e.g., first authentication information, second authentication information
  • the electronic device when the electronic device determines that an IoT device matches the electronic device, the electronic device may transmit information about the IoT device to the IoT server.
  • the electronic device may perform operation 540 again.
  • Figure 6 shows an example of a user interface for authentication of an IoT device according to an embodiment.
  • Figure 7 shows an example of a user interface that has completed authentication of an IoT device according to an embodiment.
  • the electronic devices described in FIGS. 6 and 7 may correspond to the user device 2 in FIG. 1 , the electronic device 300 in FIG. 3 , and the electronic device 402 in FIG. 4 .
  • the user interface 600 may refer to a user interface displayed when executing an application for device authentication installed on an electronic device.
  • the user interface 600 may refer to a user interface displayed on the electronic device in operation 416 of FIG. 4 and operation 540 of FIG. 5 .
  • the user interface 600 may include IoT devices 603, 605, and 607 connected to an electronic device and objects 604, 606, and 608 indicating the IoT devices.
  • the user interface 600 may include a refrigerator 603 connected to an electronic device and an object 604 indicating the refrigerator.
  • the user interface 600 may include a TV 605 connected to an electronic device and an object 606 indicating the TV.
  • the user interface 600 may include an air conditioner 607 connected to an electronic device and an object 608 indicating the air conditioner 607.
  • the user interface 600 may display the surrounding space being photographed through the camera of the electronic device.
  • the user interface 600 may display the IoT device 612 to be registered.
  • an air purifier for which device authentication is desired may be displayed on a screen captured by a camera.
  • the user interface 600 may include a first object 606 representing information instructing to photograph an IoT device to be authenticated.
  • a second object (604, 606, 608) indicating an IoT device
  • information about the connected IoT device (603, 605, 607) is searched or connection settings are changed ( A screen (not shown) for canceling, updating, etc. may be displayed.
  • the user interface 700 may be displayed.
  • the user interface 700 may include an object 720 that displays information about the recognized IoT device. For example, if it is determined that the directions of the air purifier 612 and the electronic device match, the electronic device may display information about the recognized IoT device 612 (eg, Air Purifier).
  • the recognized IoT device 612 eg, Air Purifier
  • the user interface 700 may include an object 622 for receiving user input for sending an authentication request to an IoT device with matching direction.
  • the electronic device may transmit an authentication request to the IoT device 612.
  • Electronic devices may be of various types. Electronic devices may include, for example, display devices, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances. Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of this document are one or more instructions stored in a storage medium (e.g., built-in memory 336 or external memory 338) that can be read by a machine (e.g., electronic device 301). It may be implemented as software (e.g., program 340) including these.
  • a processor e.g., processor 320 of a device (e.g., electronic device 301) may call at least one command among one or more commands stored from a storage medium and execute it. This allows the device to be operated to perform at least one function according to the at least one instruction called.
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves). This term refers to cases where data is stored semi-permanently in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Security & Cryptography (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Telephone Function (AREA)

Abstract

전자 장치가 개시된다. 본 개시의 일 실시 예에 따른 전자 장치는, 적어도 하나의 IoT 장치가 위치하는 주변 공간을 촬영하기 위한 카메라 모듈, UWB(ultra-wideband) 통신을 지원하는 제1 통신 모듈, 블루투스(bluetooth) 통신을 지원하는 제2 통신 모듈, 적어도 하나의 프로세서를 포함하고, 적어도 하나의 프로세서는, 제1 통신 모듈을 사용하여 IoT 장치와 제1 무선 통신 링크를 형성 및 제1 인증 정보를 수신하고, IoT 장치의 인증을 수행할 것을 지시하는 제1 사용자 입력을 식별하고, IoT 장치와 전자 장치의 방향이 일치하는지 여부를 결정하고, IoT 장치와 전자 장치의 방향이 일치하는 경우, 제2 통신 모듈을 사용하여 IoT 장치로 인증 요청을 송신 및 IoT 장치의 제2 인증 정보를 수신하고, 제2 인증 정보가 제1 인증 정보에 상응함을 식별하는 경우, IoT 장치가 전자 장치에 매칭된다고 결정할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

장치 인증 위한 전자 장치 및 그 동작 방법
본 문서에서 개시되는 실시 예들은, 장치 인증을 위한 전자 장치 및 그 동작 방법에 관한 것이다.
IoT 기술의 발달과 함께 IoT 기능을 탑재하고 있는 IoT 장치들(예: TV, 냉장고, 청소기, 세탁기, 스마트폰, 노트북 등)이 일반 가정에 많이 보급되고 있다. IoT 장치들을 사용자 장치를 통하여 원격으로 제어하기 위하여 IoT 장치들을 IoT 서버에 사용자 장치와 연동하여 등록할 수 있다. 이와 관련하여, 사용자 장치와 연동하고자 하는 IoT 장치를 인증하기 위하여, AR(augmented reality) 기술을 이용하거나 QR(quick response) 코드를 통하여 인증을 수행할 수도 있으며, IoT 장치의 물리적인 조작(예: 버튼) 등의 방식이 사용될 수 있다.
UWB(ultra-wideband)는 500MHz 이상의 대역폭을 기반으로 약 2 나노 초(nano second) 길이의 펄스(pulse)를 이용해 수 센티미터(cm) 정확도로 거리를 측정할 수 있게 하는 근거리 무선 기술을 말한다. UWB는 넓은 주파수 대역에 걸쳐 낮은 전력으로 데이터를 송수신할 수 있어, 다른 무선 통신 기술에 간섭을 거의 일으키지 않아 NFC(near field communication), 블루투스(Bluetooth), 와이파이(WiFi)와 같은 다른 무선 기술과 병행하여 사용될 수 있다. UWB 기술을 활용하여 IoT 장치의 정확한 실내 위치 및 위치 지정과 같은 새로운 서비스를 가능하게 할 수 있다.
IoT 장치를 인증하기 위한 방식으로 활용되고 있는 방식들 중, AR(augmented reality) 기술은 기기에 대한 대략적인 정보를 파악할 수 있으나 기기의 식별 정보 등을 획득하기 어려울 수 있다. QR(quick response) 코드를 통하여 인증을 수행하는 방식의 경우, 원거리에서 인증이 가능하기는 하나 IoT 장치에서 QR 코드의 위치를 찾아야 한다는 점, QR 코드를 인식하기 위하여 사용자가 IoT 장치의 근거리까지 가서 QR 코드를 촬영해야 한다는 점이 사용자 경험을 저해할 수 있다. 또한, IoT 장치에 존재하는 물리적인 버튼을 조작하는 방식의 경우 IoT 장치의 특정 버튼에 대한 직접적인 조작이 필요하며 IoT 장치의 근거리에서 조작할 필요가 있다는 점에서 사용자에게 불편을 가져올 수 있다.
본 문서에 개시되는 실시 예들은 원거리에서 IoT 장치의 인증을 수행하기 위한 전자 장치 및 그 동작 방법을 제공한다.
또한, 카메라와 UWB(ultra wideband) 기술을 함께 활용하여 IoT 장치의 정확한 인증을 수행하기 위한 장치 및 그 동작 방법을 제공한다.
본 개시의 일 실시 예에 따른 전자 장치는, 적어도 하나의 IoT 장치가 위치하는 주변 공간을 촬영하기 위한 카메라 모듈을 포함할 수 있다. 일 실시 예에 따른 전자 장치는, UWB(ultra-wideband) 통신을 지원하는 제1 통신 모듈을 포함할 수 있다. 일 실시 예에 따른 전자 장치는, 블루투스(bluetooth) 통신을 지원하는 제2 통신 모듈을 포함할 수 있다. 일 실시 예에 따른 전자 장치는, 상기 카메라 모듈, 상기 제1 통신 모듈 및 상기 제2 통신 모듈과 전기적으로 연결되는 적어도 하나의 프로세서를 포함할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 제1 통신 모듈을 사용하여 IoT 장치와 제1 무선 통신 링크를 형성할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 제1 통신 모듈을 사용하여 상기 IoT 장치로부터 제1 인증 정보를 수신할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 IoT 장치의 인증을 수행할 것을 지시하는 제1 사용자 입력을 식별할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 카메라 모듈 및 상기 제2 통신 모듈을 사용하여 상기 IoT 장치와 상기 전자 장치의 방향이 일치하는지 여부를 결정할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 IoT 장치와 상기 전자 장치의 방향이 일치하는 경우, 상기 제2 통신 모듈을 사용하여 상기 IoT 장치로 인증 요청을 송신할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 제2 통신 모듈을 사용하여 상기 IoT 장치의 제2 인증 정보를 수신할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 제2 인증 정보가 상기 제1 인증 정보에 상응함을 식별하는 경우, 상기 IoT 장치가 상기 전자 장치에 매칭된다고 결정할 수 있다.
일 실시 예에 따른 적어도 하나의 프로세서는, 상기 카메라 모듈을 통하여 상기 주변 공간의 이미지를 획득할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 이미지에서 상기 IoT 장치에 상응하는 제1 객체의 위치를 식별할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 제2 통신 모듈을 통하여 상기 IoT 장치의 위치를 식별할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 이미지에서 상기 IoT 장치에 상응하는 제1 객체의 위치 및 상기 제2 통신 모듈을 통하여 획득되는 상기 IoT 장치의 위치가 상응함을 식별하는 경우, 상기 IoT 장치와 상기 전자 장치의 방향이 일치한다고 결정할 수 있다.
일 실시 예에 따른 적어도 하나의 프로세서는, 상기 카메라 화각 내에 상기 IoT 장치에 상응하는 다른 IoT 장치가 존재하는지 여부를 결정할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 다른 IoT 장치가 존재하지 않는다고 결정하는 경우, 상기 IoT 장치로 상기 인증 요청을 송신할 수 있다.
일 실시 예에 따른 적어도 하나의 프로세서는, 상기 다른 IoT 장치가 존재한다고 결정하는 경우, 상기 이미지에서 상기 다른 IoT 장치에 상응하는 제2 객체를 식별할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 제1 객체와 상기 제2 객체가 동일한지 여부를 결정할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 제1 객체와 상기 제2 객체가 동일하지 않다고 판단하는 경우, 상기 IoT 장치로 인증 요청을 송신할 수 있다.
일 실시 예에 따른 적어도 하나의 프로세서는, 상기 제1 객체와 상기 제2 객체가 동일하다고 판단하는 경우, 상기 카메라를 통하여 상기 주변 공간의 뎁스 정보를 획득할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 뎁스 정보에 기반하여 상기 IoT 장치를 식별할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 IoT 장치로 상기 인증 요청을 송신할 수 있다.
일 실시 예에 따른 적어도 하나의 프로세서는, 장치 인증에 관한 사용자 인터페이스를 표시할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 사용자 인터페이스를 통하여 상기 제1 사용자 입력을 수신할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 카메라 모듈 및 상기 제2 통신 모듈을 사용하여 상기 IoT 장치와 상기 전자 장치의 방향이 일치한다고 결정함에 응답하여, 상기 IoT 장치로 인증 요청을 송신할 것을 지시하는 제2 사용자 입력을 수신할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 제2 사용자 입력을 수신함에 응답하여 상기 IoT 장치로 인증 요청을 송신할 수 있다.
일 실시 예에 따른 전자 장치는, 메모리를 더 포함할 수 있다. 일 실시 예에 따른 적어도 하나의 프로세서는, 상기 IoT 장치가 상기 전자 장치에 매칭된다고 결정함에 응답하여, 상기 IoT 장치로부터 수신한 상기 IoT 장치에 관한 정보를 상기 메모리에 저장할 수 있다.
일 실시 예에 따른 적어도 하나의 프로세서는, 상기 IoT 장치가 상기 전자 장치에 매칭된다고 결정함에 응답하여, 상기 IoT 장치에 관한 정보를 IoT 서버로 송신할 수 있다.
일 실시 예에서, 상기 인증 요청은 상기 전자 장치의 식별 정보를 포함할 수 있다.
일 실시 예에 따른 적어도 하나의 프로세서는, 상기 전자 장치와 상기 IoT 장치의 방향이 일치한다고 결정함에 응답하여, 상기 제2 통신 모듈을 사용하여 상기 IoT 장치와 제2 무선 통신 링크를 형성할 수 있다.
본 개시의 일 실시 예에 따른 전자 장치의 동작 방법은, 블루투스 기술을 사용하여 IoT 장치와 제1 무선 통신 링크를 형성하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 IoT 장치로부터 제1 인증 정보를 수신하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 IoT 장치의 인증을 수행할 것을 지시하는 제1 사용자 입력을 식별하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 카메라 모듈 및 UWB(ultra wideband) 통신 기술을 사용하여 상기 IoT 장치와 상기 전자 장치의 방향이 일치하는지 여부를 결정하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 IoT 장치와 상기 전자 장치의 방향이 일치하는 경우, 상기 UWB 통신 기술을 사용하여 상기 IoT 장치로 인증 요청을 송신하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 UWB 통신 기술을 사용하여 상기 IoT 장치의 제2 인증 정보를 수신하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 제2 인증 정보가 상기 제1 인증 정보에 상응함을 식별하는 경우, 상기 IoT 장치가 상기 전자 장치에 매칭된다고 결정하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 카메라 모듈을 통하여 상기 주변 공간의 이미지를 획득하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 이미지에서 상기 IoT 장치에 상응하는 제1 객체의 위치를 식별하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 UWB 통신 기술을 사용하여 상기 IoT 장치의 위치를 식별하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 이미지에서 상기 IoT 장치에 상응하는 제1 객체의 위치 및 상기 제2 통신 모듈을 통하여 획득되는 상기 IoT 장치의 위치가 상응함을 식별하는 경우, 상기 IoT 장치와 상기 전자 장치의 방향이 일치한다고 결정하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 카메라 화각 내에 상기 IoT 장치에 상응하는 다른 IoT 장치가 존재하는지 여부를 결정하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 다른 IoT 장치가 존재하지 않는다고 결정하는 경우, 상기 IoT 장치로 상기 인증 요청을 송신하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 다른 IoT 장치가 존재한다고 결정하는 경우, 상기 이미지에서 상기 다른 IoT 장치에 상응하는 제2 객체를 식별하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 제1 객체와 상기 제2 객체가 동일한지 여부를 결정하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 제1 객체와 상기 제2 객체가 동일하지 않다고 판단하는 경우, 상기 IoT 장치로 인증 요청을 송신하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 제1 객체와 상기 제2 객체가 동일하다고 판단하는 경우, 상기 카메라를 통하여 상기 주변 공간의 뎁스 정보를 획득하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 뎁스 정보에 기반하여 상기 IoT 장치를 식별하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 IoT 장치로 상기 인증 요청을 송신하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 장치 인증에 관한 사용자 인터페이스를 표시하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 사용자 인터페이스를 통하여 상기 제1 사용자 입력을 수신하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 카메라 모듈 및 상기 UWB 통신 기술을 사용하여 상기 IoT 장치와 상기 전자 장치의 방향이 일치한다고 결정함에 응답하여, 상기 IoT 장치로 인증 요청을 송신할 것을 지시하는 제2 사용자 입력을 수신하는 동작을 포함할 수 있다. 일 실시 예에 따른 전자 장치의 동작 방법은, 상기 제2 사용자 입력을 수신함에 응답하여 상기 IoT 장치로 인증 요청을 송신하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 IoT 장치가 상기 전자 장치에 매칭된다고 결정함에 응답하여, 상기 IoT 장치로부터 수신한 상기 IoT 장치에 관한 정보를 메모리에 저장하는 동작을 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 IoT 장치가 상기 전자 장치에 매칭된다고 결정함에 응답하여, 상기 IoT 장치에 관한 정보를 IoT 서버로 송신하는 동작을 포함할 수 있다.
일 실시 예에서, 상기 인증 요청은 상기 전자 장치의 식별 정보를 포함할 수 있다.
일 실시 예에 따른 전자 장치의 동작 방법은, 상기 전자 장치와 상기 IoT 장치의 방향이 일치한다고 결정함에 응답하여, 상기 UWB 통신 기술을 사용하여 상기 IoT 장치와 제2 무선 통신 링크를 형성하는 동작을 포함할 수 있다.
본 문서에 개시되는 예들에 따르면, IoT 장치의 사용자가 IoT 장치의 인증을 위하여 수행할 필요가 있는 IoT 장치 또는 사용자 장치의 조작 절차를 간소화하여, 사용자 경험을 향상시킬 수 있는 효과를 제공한다.
또한, IoT 장치와 원거리에서도 IoT 장치에 대한 인증을 수행할 수 있도록 하여, 보다 편리하게 IoT 장치와 사용자 장치의 연동을 가능하게 할 수 있는 효과를 제공한다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 일 실시 예에 따른 IoT 환경의 예를 도시한다.
도 2는 일 실시 예에 따른 IoT 장치의 블록 구성을 도시한다.
도 3은 일 실시 예에 따른 사용자 장치의 블록 구성을 도시한다.
도 4는 일 실시 예에 따른 IoT 장치의 등록을 위한 시그널링 흐름을 도시한다.
도 5는 일 실시 예에 따른 사용자 장치의 동작 흐름을 도시한다.
도 6은 일 실시 예에 따른 IoT 장치의 인증을 위한 사용자 인터페이스의 예를 도시한다.
도 7은 일 실시 예에 따른 IoT 장치의 인증을 위한 사용자 인터페이스의 예를 도시한다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다.
도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 아이템 한 개 또는 복수 개를 포함할 수 있다.
본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다.
"제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다.
어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 어떤 구성요소가 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
“포함하다” 또는 “가지다”등의 용어는 본 문서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는다.
어떤 구성요소가 다른 구성요소와 “연결”, “결합”, “지지” 또는 “접촉”되어 있다고 할 때, 이는 구성요소들이 직접적으로 연결, 결합, 지지 또는 접촉되는 경우 뿐 아니라, 제3 구성요소를 통하여 간접적으로 연결, 결합, 지지 또는 접촉되는 경우를 포함한다.
어떤 구성요소가 다른 구성요소 “상에” 위치하고 있다고 할 때, 이는 어떤 구성요소가 다른 구성요소에 접해 있는 경우 뿐 아니라 두 구성요소 사이에 또 다른 구성요소가 존재하는 경우도 포함한다.
“및/또는”이라는 용어는 복수의 관련된 기재된 구성요소들의 조합 또는 복수의 관련된 기재된 구성요소들 중의 어느 구성요소를 포함한다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예에 대해 설명한다.
도 1는 일 실시 예에 따른 IoT 환경의 예를 도시한다.
일 실시 예에 따른 IoT 장치(10)는 네트워크(NET)를 통하여 서로 연결되거나, 사용자 장치(2) 및 서버(3)와 연결될 수 있다.
일 실시 예에 따른 IoT 장치(10)는 다양한 종류의 가전제품들을 포함할 수 있다. 예를 들어, IoT 장치(10)는 냉장고(11), 식기세척기(12), 전기레인지(13), 전기오븐(14), 공기조화기(15), 의류 관리기(16), 세탁기(17), 건조기(18), 마이크로파 오븐(19), 청소 로봇, 진공 청소기 등의 가전 제품 중 적어도 한 종류의 가전 제품을 포함할 수 있다. 앞서 언급된 가전 제품들은 예시에 불과하며, 앞서 언급된 가전 제품들이 아니더라도 네트워크를 통해 다른 가전 기기, 사용자 장치 또는 서버와 연결되어 후술하는 동작을 수행할 수 있는 기기이면 일 실시 예에 따른 IoT 장치(10)에 포함될 수 있다.
일 실시 예에 따른 서버(3)는 IoT 장치(10) 및 사용자 장치(2)와 통신할 수 있는 통신 모듈, IoT 장치(10) 또는 사용자 장치(2)로부터 수신된 데이터를 처리할 수 있는 적어도 하나의 프로세서 및 데이터를 처리하기 위한 프로그램 또는 처리된 데이터를 저장할 수 있는 적어도 하나의 메모리를 포함할 수 있다. 이러한 서버(3)는 워크스테이션(workstation), 클라우드(cloud), 데이터 드라이브(data drive), 데이터 스테이션(data station) 등 다양한 컴퓨팅 디바이스로 구현될 수 있다.
일 실시 예에 따른 사용자 장치(2)는 IoT 장치(10) 및 서버(3)와 통신할 수 있는 통신 모듈, 사용자 입력을 수신하거나 사용자에게 정보를 출력하는 사용자 인터페이스, 사용자 장치(2)의 동작을 제어하는 적어도 하나의 프로세서 및 사용자 장치(2)의 동작을 제어하기 위한 프로그램이 저장된 적어도 하나의 메모리를 포함할 수 있다.
일 실시 예에 따른 사용자 장치(2)는 사용자에 의하여 휴대되거나, 사용자의 가정 또는 사무실 등에 배치될 수 있으며, 퍼스널 컴퓨터(personal computer), 단말기(terminal), 휴대폰(portable telephone), 스마트 폰(smart phone), 휴대 장치(handheld device), 착용 장치(wearable device) 등을 포함할 수 있다.
일 실시 예에 따른 사용자 장치(2)의 메모리에는 IoT 장치(10)를 제어하기 위한 프로그램, 즉 어플리케이션이 저장될 수 있다. 사용자 장치(2)는 이러한 어플리케이션이 설치된 상태로 판매될 수도 있으며, 설치되지 않은 상태로 판매될 수도 있다. 후자의 경우, 사용자가 어플리케이션을 제공하는 외부 서버로부터 어플리케이션을 다운로드 받아 설치할 수 있다.
일 실시 예에서, 사용자는 사용자 장치(2)에 설치된 어플리케이션을 이용하여 IoT 장치(10)를 제어할 수 있다. 예를 들어 사용자는 서버(3)에서 관리되는 계정을 생성할 수 있고, 사용자의 계정은 사용자에 의해 설정된 아이디와 비밀번호에 의해 식별될 수 있다. IoT 장치(10)는 정해진 절차에 따라 사용자의 계정에 등록될 수 있다. 일 예로 가전기기(10)의 등록 시에 각각의 가전기기(10)에 할당된 시리얼 넘버 또는 맥 주소(MAC address)와 같은 식별 정보가 사용될 수 있다. 사용자 장치(2)에 설치된 어플리케이션이 실행되고 사용자 계정에 로그인되면, 사용자는 사용자 장치(2)를 이용하여 IoT 장치(10)에 대해 원하는 제어를 수행할 수 있다.
일 실시 예에서, 네트워크(NET)는 유선 네트워크와 무선 네트워크를 모두 포함할 수 있다. 유선 네트워크는 케이블 네트워크 또는 전화 네트워크 등을 포함하며, 무선 네트워크는 전파를 통하여 신호를 송수신하는 모든 네트워크를 포함할 수 있다. 유선 네트워크와 무선 네트워크는 서로 연결될 수 있다.
일 실시 예에서, 네트워크(NET)는 인터넷 등의 광역 네트워크(wide area network, WAN)와 접속 중계기(Access Point, AP)를 중심으로 형성된 지역 네트워크(local area network, LAN)를 포함할 수 있다.
일 실시 예에서, 접속 중계기(AP)는 IoT 장치(10) 및 사용자 장치(2)가 연결된 지역 네트워크(LAN)를 서버(2)가 연결된 광역 네트워크(WAN)에 연결시킬 수 있다. IoT 장치(10) 또는 사용자 장치(2)는 광역 네트워크(WAN)를 통해 서버(3)에 연결될 수 있다.
일 실시 예에서, 접속 중계기(AP)는 와이파이(Wi-Fi™IEEE 802.11), 블루투스(Bluetooth™IEEE 802.15.1), 지그비(Zigbee, IEEE 802.15.4) 등의 무선 통신을 이용하여 IoT 장치(10) 및 사용자 장치(2)와 통신하고 유선 통신을 이용하여 광역 네트워크(WAN)에 접속할 수 있다.
일 실시 예에서, IoT 장치(10)는 네트워크(NET)를 통하여 자신의 동작 또는 상태에 관한 정보를 서버(3)에 전송할 수 있다. 이러한 정보의 전송은 서버(3)로부터 요청이 수신될 때 이루어질 수도 있고, IoT 장치(10)에 특정 이벤트가 발생했을 때 이루어질 수도 있으며, 주기적으로 또는 실시간으로 이루어질 수도 있다. 서버(3)는 IoT 장치(10)로부터 동작 또는 상태에 관한 정보가 수신되면 저장되어 있던 정보를 갱신하고, 네트워크(NET)를 통하여 사용자 장치(2)에 IoT 장치(10)의 동작 및 상태에 관한 갱신된 정보를 전송할 수 있다.
일 실시 예에서, IoT 장치(10)는 서버(3)로부터 다양한 정보를 획득하고, 획득된 정보를 사용자에게 제공할 수 있다. 예를 들어, IoT 장치(10)는 서버(3)로부터 날씨, 뉴스, 조리법, 세탁법 등의 정보를 획득하고, 사용자 인터페이스를 통해 획득된 정보를 출력할 수 있다.
일 실시 예에서, IoT 장치(10)는 서버(3)로부터 수신되는 제어 명령에 따라 동작할 수 있다. 이를 위해, IoT 장치(10)는 사용자 입력 없이 서버(3)의 제어 명령에 따라 동작하기 위한 사용자의 사전 승인을 획득할 수 있다. 또한, IoT 장치(10)는 사용자의 사전 승인에 따라 IoT 장치(10)의 동작 또는 상태에 관한 정보를 서버(3)에 제공할 수 있다.
일 실시 예에서, 사용자 장치(2)는 사용자의 사전 승인에 따라 사용자에 관한 정보(예를 들어, 사용자의 위치, 사용자의 건강 상태 등)를 서버(3)에 제공할 수 있다.
일 실시 예에서, 서버(3)는 인공 지능 등의 기술을 이용하여 IoT 장치(10)의 동작 또는 상태에 관한 정보와 사용자 장치(2)의 사용자에 관한 정보를 처리하고, 처리 결과에 기초하여 IoT 장치(10)에 제어 명령을 전송할 수 있다.
도 2는 일 실시 예에 따른 IoT 장치의 블록 구성을 도시한다. 도 2의 IoT 장치는 도 1의 IoT 장치(10)에 상응하는 전자 장치를 포함할 수 있다.
일 실시 예에 따르면, IoT 장치(200)는 프로세서(210), 메모리(220), 디스플레이(240) 및 통신부(250)를 포함할 수 있다. IoT 장치(200)는 영상 입력부(미도시)를 더 포함할 수 있다. IoT 장치(200)는 도시된 구성요소 외에 추가적인 구성요소를 포함하거나, 도시된 구성요소 중 적어도 하나를 생략할 수 있다.
일 실시 예에 따르면, 메모리(220)는 IoT 장치(200)가 사용하는 저장 매체로서, 적어도 하나의 프로그램에 대응하는 적어도 하나의 명령어(221) 또는 설정 정보 등과 같은 데이터를 저장할 수 있다. 상기 프로그램은 운영체제(OS: Operating System) 프로그램 및 다양한 응용 프로그램을 포함할 수 있다.
일 실시 예에서, 메모리(220)는 플래시 메모리 타입(flash memory type), 하드 디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(random access memory, RAM), SRAM(static random access memory), 롬(read only memory, ROM), EEPROM(electrically erasable programmable ROM), PROM(programmable ROM), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장 매체를 포함할 수 있다.
일 실시 예에 따르면, 영상 입력부(미도시)는 튜너(미도시), 입출력부(미도시) 또는 통신부(250)를 통해 영상 및 영상 정보를 입력 받을 수 있다. 영상 입력부는 상기 튜너 및 상기 입출력부 중 적어도 하나를 포함할 수 있다. 상기 튜너는 유무선으로 수신되는 방송 신호를 증폭(amplification), 혼합(mixing), 공진(resonance) 등을 통하여 많은 전파 성분 중에서 IoT 장치(200)에서 수신하고자 하는 방송 채널의 주파수만을 튜닝(tuning)시켜 선택할 수 있다. 상기 방송 신호는 비디오, 오디오 및 부가 데이터(예를 들어, EPG(Electronic Program Guide))를 포함할 수 있다. 상기 튜너는 지상파 방송, 케이블 방송, 위성 방송, 인터넷 방송 등과 같이 다양한 방송 소스로부터 실시간 방송 채널(또는, 실시간 시청 영상)을 수신할 수 있다. 상기 튜너는 IoT 장치(200)와 일체형으로 구현되거나 IoT 장치(200)와 전기적으로 연결되는 별도 튜너로 구현될 수 있다. 상기 입출력부는 프로세서(210)의 제어에 의해 IoT 장치(200)의 외부 장치로부터 영상 및 영상 정보를 수신할 수 있는, HDMI(High Definition Multimedia Interface) 입력 포트, 컴포넌트 입력 잭(Jack), PC 입력 포트 및 USB 입력 잭 중 적어도 하나를 포함할 수 있다. IoT 장치(200)의 성능 및 구조에 따라 상기 입출력부가 추가, 삭제 및/또는 변경될 수 있다는 것은 당업자에게 자명하다.
일 실시 예에 따르면, 디스플레이(240)는 숫자, 문자, 이미지, 및/또는 그래픽의 형태로 정보를 출력하기 위한 기능들을 수행할 수 있다. 디스플레이(240)는 출력을 위한 적어도 하나의 하드웨어 모듈을 포함할 수 있다. 상기 적어도 하나의 하드웨어 모듈은, 예를 들어, LCD(Liquid Crystal Display), LED(Light Emitting Diode), LPD(Light emitting Polymer Display), OLED(Organic Light Emitting Diode), AMOLED(Active Matrix Organic Light Emitting Diode), 또는 FLED(Flexible LED) 중 적어도 하나를 포함할 수 있다. 디스플레이(240)는 프로세서(210)로부터 수신되는 데이터에 대응하는 화면을 표시할 수 있다. 디스플레이(240)는 '출력부', '표시부' 또는 이와 동등한 기술적 의미를 가지는 다른 용어로 지칭될 수 있다.
일 실시 예에 따르면, 통신부(250)는 외부 장치와의 통신을 가능하게 하는 유무선 통신 인터페이스를 제공할 수 있다. 통신부(250)는 유선 이더넷(Ethernet), 무선랜 통신부 및 근거리 통신부 중 적어도 하나를 포함할 수 있다. 상기 무선랜 통신부는 예를 들어 와이파이(Wi-Fi)를 포함할 수 있고, 미국 전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원할 수 있다. 상기 무선랜 통신부는 프로세서(210)의 제어에 의해 무선으로 AP(Access Point)와 연결될 수 있다. 상기 근거리 통신부는 프로세서(210)의 제어에 의해 외부 장치와 무선으로 근거리 통신을 할 수 있다. 근거리 통신은 블루투스(Bluetooth), 블루투스 저 에너지(Bluetooth Low Energy), 적외선 통신(IrDA: Infrared Data Association), UWB(Ultra WideBand) 및 NFC(Near Field Communication) 등을 포함할 수 있다. 상기 외부 장치는 영상 등을 제공하는 서버 장치 및 모바일 단말(예: 폰, 태블릿 등)을 포함할 수 있다. 통신부(250)는 블루투스 통신을 제공하기 위한 통신 모듈 및 UWB 통신을 제공하기 위한 통신 모듈을 포함할 수 있다.
일 실시 예에 따르면, 프로세서(210)는 메모리(220)에 저장된 적어도 하나의 명령어(221)를 실행함으로써, IoT 장치(200)의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다. 프로세서(210)는 중앙처리장치(CPU), 그래픽처리장치(GPU), MCU(Micro Controller Unit), 센서 허브, 보조 프로세서(Supplementary Processor), 통신 프로세서(Communication Processor), 애플리케이션 프로세서(Application Processor), ASIC(Application Specific Integrated Circuit), 또는 FPGA(Field Programmable Gate Arrays) 중 적어도 하나를 포함할 수 있으며, 복수의 코어를 가질 수 있다.
도 3은, 다양한 실시예들에 따른, 네트워크 환경(300) 내의 전자 장치(301)의 블록 구성을 도시한다.
도 3을 참조하면, 네트워크 환경(300)에서 전자 장치(301)는 제 1 네트워크(398)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(302)와 통신하거나, 또는 제 2 네트워크(399)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(304) 또는 서버(308) 중 적어도 하나와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(301)는 서버(308)를 통하여 전자 장치(304)와 통신할 수 있다. 일 실시 예에 따르면, 전자 장치(301)는 프로세서(320), 메모리(330), 입력 모듈(350), 음향 출력 모듈(355), 디스플레이 모듈(360), 오디오 모듈(370), 센서 모듈(376), 인터페이스(377), 연결 단자(378), 햅틱 모듈(379), 카메라 모듈(380), 전력 관리 모듈(388), 배터리(389), 통신 모듈(390), 가입자 식별 모듈(396), 또는 안테나 모듈(397)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(301)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(378))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(376), 카메라 모듈(380), 또는 안테나 모듈(397))은 하나의 구성요소(예: 디스플레이 모듈(360))로 통합될 수 있다.
프로세서(320)는, 예를 들면, 소프트웨어(예: 프로그램(340))를 실행하여 프로세서(320)에 연결된 전자 장치(301)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시 예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(320)는 다른 구성요소(예: 센서 모듈(376) 또는 통신 모듈(390))로부터 수신된 명령 또는 데이터를 휘발성 메모리(332)에 저장하고, 휘발성 메모리(332)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(334)에 저장할 수 있다. 일 실시 예에 따르면, 프로세서(320)는 메인 프로세서(321)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(323)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(301)가 메인 프로세서(321) 및 보조 프로세서(323)를 포함하는 경우, 보조 프로세서(323)는 메인 프로세서(321)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(323)는 메인 프로세서(321)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(323)는, 예를 들면, 메인 프로세서(321)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(321)를 대신하여, 또는 메인 프로세서(321)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(321)와 함께, 전자 장치(301)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(360), 센서 모듈(376), 또는 통신 모듈(390))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시 예에 따르면, 보조 프로세서(323)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(380) 또는 통신 모듈(390))의 일부로서 구현될 수 있다. 일 실시 예에 따르면, 보조 프로세서(323)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(301) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(308))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(330)는, 전자 장치(301)의 적어도 하나의 구성요소(예: 프로세서(320) 또는 센서 모듈(376))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(340)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(330)는, 휘발성 메모리(332) 또는 비휘발성 메모리(334)를 포함할 수 있다.
프로그램(340)은 메모리(330)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(342), 미들 웨어(344) 또는 어플리케이션(346)을 포함할 수 있다.
입력 모듈(350)은, 전자 장치(301)의 구성요소(예: 프로세서(320))에 사용될 명령 또는 데이터를 전자 장치(301)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(350)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(355)은 음향 신호를 전자 장치(301)의 외부로 출력할 수 있다. 음향 출력 모듈(355)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시 예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(360)은 전자 장치(301)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(360)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시 예에 따르면, 디스플레이 모듈(360)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(370)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시 예에 따르면, 오디오 모듈(370)은, 입력 모듈(350)을 통해 소리를 획득하거나, 음향 출력 모듈(355), 또는 전자 장치(301)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(302))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(376)은 전자 장치(301)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시 예에 따르면, 센서 모듈(376)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(377)는 전자 장치(301)가 외부 전자 장치(예: 전자 장치(302))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시 예에 따르면, 인터페이스(377)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(378)는, 그를 통해서 전자 장치(301)가 외부 전자 장치(예: 전자 장치(302))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시 예에 따르면, 연결 단자(378)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(379)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시 예에 따르면, 햅틱 모듈(379)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(380)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시 예에 따르면, 카메라 모듈(380)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(388)은 전자 장치(301)에 공급되는 전력을 관리할 수 있다. 일 실시 예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(389)는 전자 장치(301)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시 예에 따르면, 배터리(389)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(390)은 전자 장치(301)와 외부 전자 장치(예: 전자 장치(302), 전자 장치(304), 또는 서버(308)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(390)은 프로세서(320)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 통신 모듈(390)은 무선 통신 모듈(392)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(394)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(398)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(399)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(304)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(392)은 가입자 식별 모듈(396)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(398) 또는 제 2 네트워크(399)와 같은 통신 네트워크 내에서 전자 장치(301)를 확인 또는 인증할 수 있다.
무선 통신 모듈(392)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(392)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(392)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(392)은 전자 장치(301), 외부 전자 장치(예: 전자 장치(304)) 또는 네트워크 시스템(예: 제 2 네트워크(399))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시 예에 따르면, 무선 통신 모듈(392)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(397)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시 예에 따르면, 안테나 모듈(397)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시 예에 따르면, 안테나 모듈(397)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(398) 또는 제 2 네트워크(399)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(390)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(390)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(397)의 일부로 형성될 수 있다. 다양한 실시예에 따르면, 안테나 모듈(397)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시 예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시 예에 따르면, 명령 또는 데이터는 제 2 네트워크(399)에 연결된 서버(308)를 통해서 전자 장치(301)와 외부의 전자 장치(304)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(302, 또는 304) 각각은 전자 장치(301)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시 예에 따르면, 전자 장치(301)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(302, 304, 또는 308) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(301)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(301)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(301)로 전달할 수 있다. 전자 장치(301)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(301)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(304)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(308)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시 예에 따르면, 외부의 전자 장치(304) 또는 서버(308)는 제 2 네트워크(399) 내에 포함될 수 있다. 전자 장치(301)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 4는 일 실시 예에 따른 IoT 장치의 등록을 위한 시그널링 흐름을 도시한다. 도 4의 IoT 장치(401)는 도 1의 IoT 장치(10), 도 2의 IoT 장치(200)를 나타낼 수 있다. 도 4의 전자 장치(402)는 도 1의 사용자 장치(2), 도 3의 전자 장치(300)를 나타낼 수 있다.
일 실시 예에 따르면, 동작 410에서, IoT 장치(401) 및 전자 장치(402)는 무선 통신 링크를 형성할 수 있다.
일 실시 예에서, 전자 장치(402)는 근거리 무선 통신 기술(예: BLE(Bluetooth Low Energy))을 이용하여 IoT 장치(401)와 무선 통신 링크를 형성할 수 있다. IoT 장치(401)는 애드버타이징 신호를 발생시킬 수 있다. 전자 장치(402)는 전자 장치(402)에 인접한 블루투스 전자 장치들을 스캔하는 동작을 수행할 수 있다. 전자 장치(402)는 스캔 동작을 통해 IoT 장치(401)로부터 발생된 애드버타이징 신호를 식별할 수 있다. 전자 장치(402)는 애드버타이징 신호를 식별함에 기초하여 IoT 장치(401)를 식별할 수 있고, IoT 장치(401)로 연결 요청을 송신할 수 있다. IoT 장치(401)는 전자 장치(402)로부터 연결 요청을 수신한 후, 전자 장치(402)로 연결 응답을 송신할 수 있다. 전자 장치(402)는 IoT 장치(401)로부터 연결 응답을 수신한 후, 무선 통신 링크를 형성할 수 있다.
일 실시 예에 따르면, 동작 412에서, IoT 장치(401)는 동작 410에서 생성된 무선 통신 링크를 통하여 전자 장치(402)로 IoT 장치(401)의 식별 정보(예: MAC(medium access control) 주소, 제품 번호(serial number) 등)를 송신할 수 있다.
일 실시 예에서, IoT 장치(401)는 기기 등록을 위한 사용자의 입력을 수신함에 응답하여 전자 장치(402)로 IoT 장치(401)의 식별 정보를 송신할 수 있다.
일 실시 예에 따르면 동작 414에서, 전자 장치(402)는 장치 인증을 위한 절차를 개시하는 사용자 입력을 수신할 수 있다. IoT 장치가 사용자의 단말에 연동되기 위하여, 사용자의 단말에 설치되는 특정 애플리케이션이 설치될 수 있다. 전자 장치(402)는 이러한 특정 애플리케이션을 실행하는 경우에 표시되는 사용자 인터페이스를 통하여 사용자 입력을 수신할 수 있다.
일 실시 예에서, 장치 인증을 위한 절차를 개시하는 사용자 입력은 전자 장치(402)에 표시되는 장치 인증을 위한 사용자 인터페이스를 통하여 식별될 수 있다. 사용자 입력은 터치 입력, 탭, 더블 탭 등 다양한 형태의 사용자 입력을 포함할 수 있다.
일 실시 예에 따르면 동작 416에서, 전자 장치(402)는 카메라 모듈을 사용하여 IoT 장치를 촬영할 수 있고, UWB 기술을 사용하여 IoT 장치와 전자 장치의 방향이 일치하는지 여부를 확인할 수 있다.
일 실시 예에서, 전자 장치(402)는 카메라를 사용하여 전자 장치(402)에 인접하여 위치하는 적어도 하나의 IoT 장치의 이미지를 획득할 수 있다. 적어도 하나의 IoT 장치는 IoT 장치(402)를 포함할 수 있다. 이미지는 하나의 프레임에서 촬영되는 하나의 정적 이미지만을 의미하는 것은 아니며, 카메라를 통하여 촬영되고 있는 화면에 표현되는 이미지를 의미할 수 있다.
일 실시 예에서, 전자 장치(402)는 UWB(ultra wideband)을 사용하여 IoT 장치(401)의 위치 정보를 식별할 수 있다. 예를 들어, 전자 장치(402)는 UWB를 사용하여 카메라를 통하여 획득되는 이미지에 포함되는 적어도 하나의 IoT 장치의 위치를 식별할 수 있다. 전자 장치(402)는 UWB를 사용하여 IoT 장치(401)의 위치를 식별할 수 있다.
일 실시 예에서, 전자 장치(402)는 UWB 기술을 통하여 식별되는 IoT 장치(401)의 방향과 카메라를 통하여 촬영되는 IoT 장치의 방향이 일치하는지 여부를 결정할 수 있다.
일 실시 예에서, UWB 기술을 통하여 식별되는 IoT 장치(401)의 방향과 카메라를 통하여 촬영되는 IoT 장치의 방향이 일치하는 경우, 동작 418에서, 전자 장치(402)는 IoT 장치(401)로 장치 정보 요청을 송신할 수 있다.
일 실시 예에서, UWB 기술을 통하여 식별되는 IoT 장치(401)의 방향과 카메라를 통하여 촬영되는 IoT 장치의 방향이 일치하는 경우, 전자 장치(402)는 적어도 하나의 IoT 장치 중 IoT 장치(401)에 상응하는 다른 IoT 장치가 존재하는지 여부를 결정할 수 있다. IoT 장치(401)에 상응하는 다른 IoT 장치는 동일한 종류의 IoT 장치(예: 만약 IoT 장치(401)가 공기 청정기인 경우, 공기 청정기)를 의미할 수 있다.
일 실시 예에서, 전자 장치(402)는 적어도 하나의 IoT 장치 중 IoT 장치(401)에 상응하는 다른 IoT 장치가 존재하지 않는 경우, 전자 장치(402)는 IoT 장치(401)로 장치 정보 요청을 송신할 수 있다.
일 실시 예에서, 전자 장치(402)는 적어도 하나의 IoT 장치 중 IoT 장치(401)에 상응하는 다른 IoT 장치가 존재하는 경우, 전자 장치(402)는 촬영되는 이미지에 기반하여 IoT 장치(401)를 식별할 수 있는지 여부를 결정할 수 있다. 예를 들어, 전자 장치(402)는 IoT 장치(401)의 이미지와 다른 IoT 장치의 이미지가 상응한다고 결정하는 경우(예: 동일한 제품이라고 판단하는 경우(AI 등을 통하여 식별되는 외형의 일치도가 미리 정해진 비율 이상)), IoT 장치(401)와 다른 IoT 장치를 식별할 수 없다고 판단할 수 있다. 예를 들어, 전자 장치(402)는 IoT 장치(401)의 이미지와 다른 IoT 장치의 이미지가 상응하지 않는다고 결정하는 경우(예: 다른 제품, 모두 공기 청정기로 제품의 종류는 동일하지만, 하위 카테고리(크기, 모양 등)가 다른 경우) IoT 장치(401)와 다른 IoT 장치를 식별할 수 있다고 판단할 수 있다.
일 실시 예에서, 전자 장치(402)는 IoT 장치(401)를 식별할 수 있는 경우, IoT 장치(401)로 장치 정보 요청을 송신할 수 있다.
일 실시 예에서, 전자 장치(402)는 IoT 장치(401)를 식별할 수 없는 경우, 카메라 또는 뎁스 센서를 통하여 획득되는 뎁스 정보를 활용하여 IoT 장치(401)를 식별할 수 있다. 예를 들어, 전자 장치(402)는 뎁스 센서를 통하여 획득되는 뎁스 정보에 기반하여, 카메라를 통하여 촬영되는 화각 내에 보이는 공간의 구조를 파악하여, 전자 장치(402)가 촬영하고 있는 IoT 장치를 식별할 수 있다. 이와 같이 뎁스 센서 등을 통하여 전자 장치(402)의 주변 공간의 구조를 파악하여, IoT 장치(401)가 아닌 다른 IoT 장치에 대한 필터링을 수행할 수 있다.
일 실시 예에서, 장치 정보 요청은 전자 장치(402)와 IoT 장치(401)의 방향성이 일치함을 지시하는 정보를 포함할 수 있다.
일 실시 예에서, 장치 정보 요청은 전자 장치(402)의 장치 정보를 포함할 수 있다. 예를 들어, IoT 장치(401)가 전자 장치(402)를 인증하기 위하여 필요한 전자 장치(402)의 시리얼 번호, MAC 주소 등에 관한 정보를 포함할 수 있다.
일 실시 예에 따르면, 동작 420에서, IoT 장치(401)는 전자 장치(402)로 무선 통신 링크가 아닌 UWB를 통하여 IoT 장치(401)의 식별 정보를 송신할 수 있다.
일 실시 예에서, IoT 장치(401)는 UWB 센서를 포함할 수 있다. IoT 장치(401)는 UWB 센서를 사용하여 전자 장치(402)로 IoT 장치(401)의 인증 정보를 송신할 수 있다.
일 실시 예에서, 장치 정보 요청은 전자 장치(402)와 IoT 장치(401)의 상대적인 위치에 관한 정보를 포함할 수 있다.
일 실시 예에서, 전자 장치(402)는 UWB를 통하여 수신한 IoT 장치(401)에 관한 정보 및 동작 412에서 무선 통신 링크를 통하여 수신한 IoT 장치(401)에 관한 정보에 기반하여 IoT 장치(401)에 대한 인증을 수행할 수 있다. 예를 들어, 전자 장치(402)는 무선 통신 링크를 통하여 수신한 IoT 장치(401)에 관한 정보가 UWB를 통하여 수신한 IoT 장치(401)의 정보가 일치하는 경우, IoT 장치(401)가 등록 대상이 되는 IoT 장치라고 결정할 수 있다. 그 후, 전자 장치(402)는 IoT 장치(401)에 관한 정보를 메모리에 저장할 수 있다. 예를 들어, 전자 장치(402)는 무선 통신 링크를 통하여 수신한 IoT 장치(401)에 관한 정보가 UWB를 통하여 수신한 IoT 장치(401)의 정보가 일치하지 않는 경우, IoT 장치(401)가 등록 대상이 되는 IoT 장치가 아니라고 결정할 수 있다.
도 5는 일 실시 예에 따른 전자 장치의 동작 흐름을 도시한다. 도 5의 전자 장치는 도 1의 사용자 장치(2), 도 3의 전자 장치(300), 도 4의 전자 장치(402)에 상응하는 장치일 수 있다.
일 실시 예에 따르면 동작 510에서, 전자 장치는 제1 통신 모듈을 사용하여 IoT 장치와 무선 통신 링크를 형성할 수 있다.
일 실시 예에서, 전자 장치는 블루투스 기술을 사용하여 IoT 장치와 무선 통신 링크를 형성할 수 있다. 전자 장치는 IoT 장치로부터 수신되는 블루투스 연결 신호를 스캐닝하여, IoT 장치로 블루투스 연결 요청을 송신할 수 있다. 전자 장치가 IoT 장치로부터 블루투스 연결 응답을 수신하는 경우, 무선 통신 링크가 형성될 수 있다.
일 실시 예에 따르면 동작 520에서, 전자 장치는 제1 통신 모듈을 사용하여 IoT 장치로부터 제1 인증 정보를 수신할 수 있다.
일 실시 예에서, 전자 장치는 제1 통신 모듈을 사용하여 형성된 무선 통신 링크를 통하여 IoT 장치로부터 제1 인증 정보를 수신할 수 있다.
일 실시 예에서, 제1 인증 정보는 무선 통신 링크를 통하여 수신되는 IoT 장치의 식별 정보를 의미할 수 있다. 예를 들어, IoT 장치의 식별 정보는 IoT 장치의 제품 번호, 시리얼 번호, MAC 주소에 관한 정보를 포함할 수 있다.
일 실시 예에 따르면 동작 530에서, 전자 장치는 IoT 장치의 인증을 수행할 것을 지시하는 제1 사용자 입력을 식별할 수 있다.
일 실시 예에서, IoT 장치의 인증은 전자 장치의 사용자가 전자 장치를 통해 IoT 장치를 제어하기 위하여 수행하는 인증 절차를 의미할 수 있다. IoT 장치의 인증이 완료되는 경우 전자 장치는 IoT 장치에 관한 정보를 IoT 서버로 송신할 수 있고, IoT 장치에 관한 정보를 전자 장치의 메모리에 저장할 수 있다. 이에 따라, 인증이 완료된 IoT 장치의 경우 전자 장치의 사용자가 전자 장치를 통하여 원격으로 제어할 수 있다.
일 실시 예에서, 제1 사용자 입력은 장치 인증에 관한 사용자 인터페이스가 실행되는 경우에 전자 장치에 표시되는 사용자 인터페이스를 통하여 식별될 수 있다. 사용자 인터페이스는 현재 전자 장치와 등록된 다른 IoT 장치에 관한 정보 및 등록할 수 있는 IoT 장치에 관한 정보 등을 포함할 수 있다.
일 실시 예에 따르면 동작 540에서, 전자 장치는 카메라 모듈 및 제2 통신 모듈을 사용하여 IoT 장치와 전자 장치의 방향이 일치하는지 여부를 결정할 수 있다. 전자 장치의 사용자는 제1 사용자 입력을 수신하는 경우에 활성화되는 카메라 기능을 활용하여, 전자 장치의 주변 공간을 촬영할 수 있다. 전자 장치의 주변 공간에는 인증을 수행하려는 IoT 장치를 포함하여 다른 IoT 장치들이 위치할 수 있다.
일 실시 예에서, 전자 장치는 적어도 하나의 IoT 장치가 위치하는 주변 공간에 관한 이미지를 획득할 수 있다. 적어도 하나의 IoT 장치는 IoT 장치를 포함할 수 있다.
일 실시 예에서, 전자 장치는 제2 통신 모듈의 UWB 통신 기술에 기반하여 IoT 장치의 위치를 식별할 수 있다.
일 실시 예에서, 전자 장치는 카메라 화각 내에 IoT 장치가 위치하는지 여부를 결정할 수 있다.
일 실시 예에서, 전자 장치는 카메라를 사용하여 획득한 이미지에서, IoT 장치에 상응하는 객체의 위치를 식별할 수 있다. 일 실시 예에서, 전자 장치는 화각의 중심에 위치하는 IoT 장치를 식별할 수 있다.
일 실시 예에서, 전자 장치는 UWB를 사용하여 획득한 IoT 장치의 위치와 카메라를 통하여 식별되는 객체의 위치가 일치하는지 여부를 판단할 수 있다. 일 실시 예에서, 전자 장치는 화각의 중심에 위치하는 IoT 장치가 위치하는 방향이, UWB를 사용하여 획득한 IoT 장치의 위치에 상응하는지 여부를 판단할 수 있다.
일 실시 예에서, 전자 장치가 전자 장치와 IoT 장치의 방향이 일치한다고 판단하는 경우, 전자 장치는 동작 550을 수행할 수 있다.
일 실시 예에서, 동작 540에서 전자 장치가 IoT 장치와 전자 장치의 방향이 일치한다고 결정하는 경우에도 바로 동작 550을 수행하지 않고, 전자 장치는 카메라의 화각 내에 IoT 장치에 상응하는 다른 IoT 장치가 위치하는지 여부를 결정할 수 있다. IoT 장치에 상응하는 다른 IoT 장치(이하, 다른 IoT 장치로 지칭)는 IoT 장치와 동일한 종류의 기기를 의미할 수 있다. 예를 들어, IoT 장치가 공기 청정기인 경우, 다른 IoT 장치 또한 공기 청정기를 의미할 수 있다. 제2 통신 모듈을 사용하여 송신 및 수신되는 UWB 신호의 경우, 벽을 투과할 수 있어 전자 장치의 사용자의 집이 아닌 다른 집의 IoT 장치가 센싱되거나, 동일한 방향에 다른 방의 IoT 장치가 화각 내에 위치할 수 있으므로, 이러한 경우를 필터링 하기 위하여, 전자 장치는 카메라 화각 내에 IoT 장치와 동일한 종류의 기기가 존재하는지 여부를 판단할 수 있다.
일 실시 예에서, 전자 장치가 IoT 장치와 전자 장치의 방향이 일치한다고 결정하고, 카메라의 화각 내에 IoT 장치에 상응하는 다른 IoT 장치가 위치하지 않는다고 결정하는 경우, 전자 장치는 동작 550을 수행할 수 있다.
일 실시 예에서, 전자 장치가 IoT 장치와 전자 장치의 방향이 일치하고, 카메라의 화각 내에 IoT 장치에 상응하는 다른 IoT 장치가 위치한다고 결정하는 경우, 전자 장치는 카메라를 통하여 획득되는 이미지에 기반하여 IoT 장치를 식별할 수 있는지 여부를 결정할 수 있다. 전자 장치는 카메라를 통하여 IoT 장치 및 다른 IoT 장치의 이미지를 식별할 수 있고, IoT 장치 및 다른 IoT 장치의 외형이 동일한지 여부를 판단할 수 있다. 전자 장치가 IoT 장치 및 다른 IoT 장치의 이미지가 동일하다고 판단하는 경우, IoT 장치를 식별할 수 없다고 결정할 수 있고, IoT 장치 및 다른 IoT 장치의 이미지가 상이하다고 판단하는 경우, IoT 장치를 식별할 수 있다고 결정할 수 있다.
일 실시 예에서, 전자 장치가 IoT 장치와 전자 장치의 방향이 일치하고, 카메라의 화각 내에 IoT 장치에 상응하는 다른 IoT 장치가 위치한다고 결정하고, IoT 장치를 식별할 수 있다고 판단하는 경우, 전자 장치는 동작 550을 수행할 수 있다.
일 실시 예에서, 전자 장치가 IoT 장치와 전자 장치의 방향이 일치하고, 카메라의 화각 내에 IoT 장치에 상응하는 다른 IoT 장치가 위치한다고 결정하고, IoT 장치를 식별할 수 없다고 판단하는 경우, 전자 장치는 뎁스 센서 등을 통하여 획득되는 뎁스 정보에 기반하여 IoT 장치를 식별할 수 있다. 전자 장치는 3차원 뎁스 정보에 기반하여 카메라의 화각 내의 주변 공간의 구조를 파악하여 전자 장치가 정확히 어떠한 IoT 장치를 촬영하고 있는지를 식별할 수 있다. 전자 장치가 IoT 장치를 식별하는 경우, 동작 550을 수행할 수 있다.
일 실시 예에 따르면 동작 550에서, 전자 장치는 제2 통신 모듈을 사용하여 IoT 장치로 인증 요청을 송신할 수 있다.
일 실시 예에서, 인증 요청은 전자 장치의 식별 정보(예: 제품 번호, 제품 식별자, MAC 주소 등)를 포함할 수 있다.
일 실시 예에서, 인증 요청은 전자 장치와 IoT 장치의 방향이 일치함을 지시하는 정보를 포함할 수 있다.
일 실시 예에 따르면 동작 560에서, 전자 장치는 제2 통신 모듈을 사용하여 IoT 장치로부터 제2 인증 정보를 수신할 수 있다.
일 실시 예에서, 제2 인증 정보는 IoT 장치의 식별 정보를 포함할 수 있다.
일 실시 예에 따르면 동작 570에서, 전자 장치는 제2 인증 정보가 제1 인증 정보에 상응하는지 여부를 결정할 수 있다.
일 실시 예에서, 제2 인증 정보가 제1 인증 정보에 상응한다고 결정하는 경우, 전자 장치는 동작 580에서, IoT 장치가 전자 장치에 매칭된다고 결정할 수 있다.
일 실시 예에서, 전자 장치가 IoT 장치가 전자 장치에 매칭된다고 결정하는 경우, 전자 장치는 IoT 장치에 관한 정보(예: 제1 인증 정보, 제2 인증 정보)를 메모리에 저장할 수 있다.
일 실시 예에서, 전자 장치가 IoT 장치가 전자 장치에 매칭된다고 결정하는 경우, 전자 장치는 IoT 장치에 관한 정보를 IoT 서버로 송신할 수 있다.
일 실시 예에서, 제2 인증 정보가 제1 인증 정보에 상응하지 않는다고 결정하는 경우, 전자 장치는 동작 540을 다시 수행할 수 있다.
도 6는 일 실시 예에 따른 IoT 장치의 인증을 위한 사용자 인터페이스의 예를 도시한다. 도 7는 일 실시 예에 따른 IoT 장치의 인증을 완료한 사용자 인터페이스의 예를 도시한다. 도 6 및 도 7에 설명되는 전자 장치는 도 1의 사용자 장치(2), 도 3의 전자 장치(300), 도 4의 전자 장치(402)에 상응하는 장치일 수 있다.
일 실시 예에 따르면, 사용자 인터페이스(600)는 전자 장치에 설치되는 장치 인증을 위한 애플리케이션을 실행하는 경우에 표시되는 사용자 인터페이스를 의미할 수 있다.
일 실시 예에서, 사용자 인터페이스(600)는 도 4의 동작 416, 도 5의 동작 540에서 전자 장치에 표시되는 사용자 인터페이스를 의미할 수 있다.
일 실시 예에 따르면, 사용자 인터페이스(600)는 전자 장치에 연결되는 IoT 장치(603, 605, 607) 및 IoT 장치를 지시하는 객체(604, 606, 608)를 포함할 수 있다. 예를 들어, 사용자 인터페이스(600)는 전자 장치에 연결되는 냉장고(603) 및 냉장고를 지시하는 객체(604)를 포함할 수 있다. 예를 들어, 사용자 인터페이스(600)는 전자 장치에 연결되는 TV(605) 및 TV를 지시하는 객체(606)를 포함할 수 있다. 예를 들어, 사용자 인터페이스(600)는 전자 장치에 연결되는 에어컨(607) 및 에어컨(607)을 지시하는 객체(608)를 포함할 수 있다.
일 실시 예에 따르면, 사용자 인터페이스(600)는 전자 장치의 카메라를 통해 촬영되고 있는 주변 공간을 표시할 수 있다.
일 실시 예에 따르면, 사용자 인터페이스(600)는 등록하고자 하는 IoT 장치(612)를 표시할 수 있다. 예를 들어, 카메라를 통하여 촬영되는 화면에 장치 인증을 수행하고자 하는 공기 청정기가 표시될 수 있다.
일 실시 예에 따르면, 사용자 인터페이스(600)는 인증하려는 IoT 장치를 촬영할 것을 지시하는 정보를 나타내는 제1 객체(606)를 포함할 수 있다.
일 실시 예에서, IoT 장치를 지시하는 제2 객체(604, 606, 608)를 통하여 사용자 입력을 수신하는 경우, 연결된 IoT 장치(603, 605, 607)에 관한 정보를 조회하거나 연결 설정을 변경(예: 해제, 갱신)하기 위한 화면(미도시)이 표시될 수 있다.
일 실시 예에서, 사용자 인터페이스(600)를 표시하는 동안 전자 장치가 IoT 장치와 전자 장치의 방향이 일치한다고 판단하는 경우, 사용자 인터페이스(700)이 표시될 수 있다.
일 실시 예에 따르면, 사용자 인터페이스(700)는 인식된 IoT 장치에 관한 정보를 표시하는 객체(720)를 포함할 수 있다. 예를 들어, 공기 청정기(612)와 전자 장치의 방향이 일치한다고 결정되는 경우, 전자 장치는 인식된 IoT 장치(612)에 관한 정보(예: Air Purifier)를 표시할 수 있다.
일 실시 예에서, 사용자 인터페이스(700)는 방향성이 일치하는 IoT 장치로 인증 요청을 송신하기 위한 사용자 입력을 수신하기 위한 객체(622)를 포함할 수 있다. 객체(622)를 통하여 사용자 입력을 수신하는 경우, 전자 장치는 IoT 장치(612)로 인증 요청을 송신할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 디스플레이 장치, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(301)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(336) 또는 외장 메모리(338))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(340))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(301))의 프로세서(예: 프로세서(320))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    적어도 하나의 IoT 장치가 위치하는 주변 공간을 촬영하기 위한 카메라 모듈;
    UWB(ultra-wideband) 통신을 지원하는 제1 통신 모듈;
    블루투스(bluetooth) 통신을 지원하는 제2 통신 모듈;
    상기 카메라 모듈, 상기 제1 통신 모듈 및 상기 제2 통신 모듈과 전기적으로 연결되는 적어도 하나의 프로세서를 포함하고,
    상기 적어도 하나의 프로세서는:
    상기 제1 통신 모듈을 사용하여 IoT 장치와 제1 무선 통신 링크를 형성하고,
    상기 제1 통신 모듈을 사용하여 상기 IoT 장치로부터 제1 인증 정보를 수신하고,
    상기 IoT 장치의 인증을 수행할 것을 지시하는 제1 사용자 입력을 식별하고,
    상기 카메라 모듈 및 상기 제2 통신 모듈을 사용하여 상기 IoT 장치와 상기 전자 장치의 방향이 일치하는지 여부를 결정하고,
    상기 IoT 장치와 상기 전자 장치의 방향이 일치하는 경우, 상기 제2 통신 모듈을 사용하여 상기 IoT 장치로 인증 요청을 송신하고,
    상기 제2 통신 모듈을 사용하여 상기 IoT 장치의 제2 인증 정보를 수신하고,
    상기 제2 인증 정보가 상기 제1 인증 정보에 상응함을 식별하는 경우, 상기 IoT 장치가 상기 전자 장치에 매칭된다고 결정하는, 장치.
  2. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 카메라 모듈을 통하여 상기 주변 공간의 이미지를 획득하고,
    상기 이미지에서 상기 IoT 장치에 상응하는 제1 객체의 위치를 식별하고,
    상기 제2 통신 모듈을 통하여 상기 IoT 장치의 위치를 식별하고,
    상기 이미지에서 상기 IoT 장치에 상응하는 제1 객체의 위치 및 상기 제2 통신 모듈을 통하여 획득되는 상기 IoT 장치의 위치가 상응함을 식별하는 경우, 상기 IoT 장치와 상기 전자 장치의 방향이 일치한다고 결정하는, 장치.
  3. 청구항 2에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 카메라의 화각 내에 상기 IoT 장치에 상응하는 다른 IoT 장치가 존재하는지 여부를 결정하고,
    상기 다른 IoT 장치가 존재하지 않는다고 결정하는 경우, 상기 IoT 장치로 상기 인증 요청을 송신하는, 장치.
  4. 청구항 3에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 다른 IoT 장치가 존재한다고 결정하는 경우, 상기 이미지에서 상기 다른 IoT 장치에 상응하는 제2 객체를 식별하고,
    상기 제1 객체와 상기 제2 객체가 동일한지 여부를 결정하고,
    상기 제1 객체와 상기 제2 객체가 동일하지 않다고 판단하는 경우, 상기 IoT 장치로 인증 요청을 송신하는, 장치.
  5. 청구항 4에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 제1 객체와 상기 제2 객체가 동일하다고 판단하는 경우, 상기 카메라를 통하여 상기 주변 공간의 뎁스 정보를 획득하고,
    상기 뎁스 정보에 기반하여 상기 IoT 장치를 식별하고,
    상기 IoT 장치로 상기 인증 요청을 송신하는, 장치.
  6. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는:
    장치 인증에 관한 사용자 인터페이스를 표시하고,
    상기 사용자 인터페이스를 통하여 상기 제1 사용자 입력을 수신하고,
    상기 카메라 모듈 및 상기 제2 통신 모듈을 사용하여 상기 IoT 장치와 상기 전자 장치의 방향이 일치한다고 결정함에 응답하여, 상기 IoT 장치로 인증 요청을 송신할 것을 지시하는 제2 사용자 입력을 수신하고,
    상기 제2 사용자 입력을 수신함에 응답하여 상기 IoT 장치로 인증 요청을 송신하는, 장치.
  7. 청구항 2에 있어서,
    메모리를 더 포함하고,
    상기 적어도 하나의 프로세서는:
    상기 IoT 장치가 상기 전자 장치에 매칭된다고 결정함에 응답하여, 상기 IoT 장치로부터 수신한 상기 IoT 장치에 관한 정보를 상기 메모리에 저장하는, 장치.
  8. 청구항 2에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 IoT 장치가 상기 전자 장치에 매칭된다고 결정함에 응답하여, 상기 IoT 장치에 관한 정보를 IoT 서버로 송신하는, 장치.
  9. 청구항 1에 있어서,
    상기 인증 요청은 상기 전자 장치의 식별 정보를 포함하는, 장치.
  10. 청구항 1에 있어서,
    상기 적어도 하나의 프로세서는:
    상기 전자 장치와 상기 IoT 장치의 방향이 일치한다고 결정함에 응답하여, 상기 제2 통신 모듈을 사용하여 상기 IoT 장치와 제2 무선 통신 링크를 형성하는, 장치.
  11. 전자 장치의 동작 방법에 있어서,
    블루투스 기술을 사용하여 IoT 장치와 제1 무선 통신 링크를 형성하는 동작,
    상기 IoT 장치로부터 제1 인증 정보를 수신하는 동작,
    상기 IoT 장치의 인증을 수행할 것을 지시하는 제1 사용자 입력을 식별하는 동작,
    카메라 모듈 및 UWB(ultra wideband) 통신 기술을 사용하여 상기 IoT 장치와 상기 전자 장치의 방향이 일치하는지 여부를 결정하는 동작,
    상기 IoT 장치와 상기 전자 장치의 방향이 일치하는 경우, 상기 UWB 통신 기술을 사용하여 상기 IoT 장치로 인증 요청을 송신하는 동작,
    상기 UWB 통신 기술을 사용하여 상기 IoT 장치의 제2 인증 정보를 수신하는 동작,
    상기 제2 인증 정보가 상기 제1 인증 정보에 상응함을 식별하는 경우, 상기 IoT 장치가 상기 전자 장치에 매칭된다고 결정하는 동작을 포함하는, 방법.
  12. 청구항 11에 있어서,
    상기 카메라 모듈을 통하여 주변 공간의 이미지를 획득하는 동작,
    상기 이미지에서 상기 IoT 장치에 상응하는 제1 객체의 위치를 식별하는 동작,
    상기 UWB 통신 기술을 사용하여 상기 IoT 장치의 위치를 식별하는 동작,
    상기 이미지에서 상기 IoT 장치에 상응하는 제1 객체의 위치 및 상기 UWB 통신 기술을 통하여 획득되는 상기 IoT 장치의 위치가 상응함을 식별하는 경우, 상기 IoT 장치와 상기 전자 장치의 방향이 일치한다고 결정하는 동작을 포함하는, 방법.
  13. 청구항 12에 있어서,
    상기 카메라 모듈의 화각 내에 상기 IoT 장치에 상응하는 다른 IoT 장치가 존재하는지 여부를 결정하는 동작,
    상기 다른 IoT 장치가 존재하지 않는다고 결정하는 경우, 상기 IoT 장치로 상기 인증 요청을 송신하는 동작을 포함하는, 방법.
  14. 청구항 13에 있어서,
    상기 다른 IoT 장치가 존재한다고 결정하는 경우, 상기 이미지에서 상기 다른 IoT 장치에 상응하는 제2 객체를 식별하는 동작,
    상기 제1 객체와 상기 제2 객체가 동일한지 여부를 결정하는 동작,
    상기 제1 객체와 상기 제2 객체가 동일하지 않다고 판단하는 경우, 상기 IoT 장치로 인증 요청을 송신하는 동작을 포함하는, 방법.
  15. 청구항 14에 있어서,
    상기 제1 객체와 상기 제2 객체가 동일하다고 판단하는 경우, 상기 카메라를 통하여 상기 주변 공간의 뎁스 정보를 획득하는 동작,
    상기 뎁스 정보에 기반하여 상기 IoT 장치를 식별하는 동작,
    상기 IoT 장치로 상기 인증 요청을 송신하는 동작을 포함하는, 방법.
PCT/KR2023/012299 2022-10-19 2023-08-18 장치 인증 위한 전자 장치 및 그 동작 방법 WO2024085402A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220134795A KR20240054610A (ko) 2022-10-19 2022-10-19 장치 인증 위한 전자 장치 및 그 동작 방법
KR10-2022-0134795 2022-10-19

Publications (1)

Publication Number Publication Date
WO2024085402A1 true WO2024085402A1 (ko) 2024-04-25

Family

ID=90737755

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/012299 WO2024085402A1 (ko) 2022-10-19 2023-08-18 장치 인증 위한 전자 장치 및 그 동작 방법

Country Status (2)

Country Link
KR (1) KR20240054610A (ko)
WO (1) WO2024085402A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110116913A (ko) * 2010-04-20 2011-10-26 엘지전자 주식회사 서비스 인증 장치 및 그 방법
KR20110125724A (ko) * 2010-05-14 2011-11-22 엘지전자 주식회사 전자 기기 및 전자 기기의 컨텐츠 공유 방법
KR20150018663A (ko) * 2013-08-07 2015-02-24 한성대학교 산학협력단 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템 및 방법
KR20220052115A (ko) * 2020-10-20 2022-04-27 삼성전자주식회사 디스플레이 장치, 전자 장치 및 그 동작 방법
KR20220090716A (ko) * 2020-12-23 2022-06-30 삼성전자주식회사 전자 장치 및 전자 장치에서 외부 장치들을 공간별로 그룹핑 하는 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110116913A (ko) * 2010-04-20 2011-10-26 엘지전자 주식회사 서비스 인증 장치 및 그 방법
KR20110125724A (ko) * 2010-05-14 2011-11-22 엘지전자 주식회사 전자 기기 및 전자 기기의 컨텐츠 공유 방법
KR20150018663A (ko) * 2013-08-07 2015-02-24 한성대학교 산학협력단 영상데이터 처리를 통한 물체 및 위치 인식으로 사용자 맞춤형 생활서비스를 제공하는 시스템 및 방법
KR20220052115A (ko) * 2020-10-20 2022-04-27 삼성전자주식회사 디스플레이 장치, 전자 장치 및 그 동작 방법
KR20220090716A (ko) * 2020-12-23 2022-06-30 삼성전자주식회사 전자 장치 및 전자 장치에서 외부 장치들을 공간별로 그룹핑 하는 방법

Also Published As

Publication number Publication date
KR20240054610A (ko) 2024-04-26

Similar Documents

Publication Publication Date Title
WO2020231098A1 (en) Apparatus and method for preventing interference with wireless communication
WO2022139164A1 (ko) 전자 장치 및 전자 장치에서 외부 장치들을 공간별로 그룹핑 하는 방법
WO2024085402A1 (ko) 장치 인증 위한 전자 장치 및 그 동작 방법
WO2019143072A1 (ko) 안테나의 위상을 스윕하기 위한 전자 장치
WO2022145768A1 (ko) 액세서리 장치와 무선 통신을 수행하는 전자 장치 및 그 운용 방법
WO2022169085A1 (ko) 전자 장치 및 전자 장치에서 촬영 구도 유지 방법
WO2022114596A1 (ko) 액세서리 장치의 전력 소모를 제어하는 전자 장치 및 그 운용 방법
WO2022030860A1 (ko) Iot 환경에서 타겟 전자 장치를 제어하기 위한 전자 장치 및 그에 관한 방법
WO2024085356A1 (ko) 장치 변경을 위한 전자 장치 및 그 동작 방법
WO2023075103A1 (ko) 외부 전자 장치를 제어하는 전자 장치 및 이의 동작 방법
WO2024111976A1 (ko) 전자 장치 및 가상 iot 환경을 제공하는 방법
WO2024076008A1 (ko) 파일을 공유하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2023054897A1 (ko) 영상 통화를 수행하는 전자 장치 및 방법
WO2023249231A1 (ko) 카메라를 포함하는 전자 장치 및 그 동작 방법
WO2024085728A1 (ko) 전자 장치 및 전자 장치에서 외부 전자 장치의 데이터를 업로드하는 방법
WO2022098004A1 (ko) 통신 연결을 통하여 데이터를 전송하는 전자 장치와 이의 동작 방법
WO2024043492A1 (ko) 사물 인터넷 장치를 관리하는 전자 장치 및 그 동작 방법
WO2023075337A1 (ko) 외부 전자 장치와 통신하는 전자 장치 및 그 동작 방법
WO2024076142A1 (ko) 전자 장치 및 전자 장치에서 외부 전자 장치의 클라우드 연결을 제어하는 방법
WO2024034784A1 (ko) 다른 전자 장치의 어드버타이징 프로세스와 동기화된 어드버타이징 프로세스를 수행하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2022154364A1 (ko) 전자 장치의 무선 연결을 관리하는 방법 및 그 장치
WO2022211260A1 (ko) Plmn 검색을 위한 전자 장치 및 그의 동작 방법
WO2024101552A1 (ko) 사용자에게 민감한 내용이 외부 디스플레이 장치를 통해 다른 사람에게 노출되지 않게 하는 휴대 전자 장치
WO2024101950A1 (ko) 가상 오브젝트를 표시하는 전자 장치 및 이의 제어 방법
WO2024075998A1 (ko) 다른 전자 장치의 등록을 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체