WO2024071725A1 - 디스플레이 장치 및 그 동작 방법 - Google Patents

디스플레이 장치 및 그 동작 방법 Download PDF

Info

Publication number
WO2024071725A1
WO2024071725A1 PCT/KR2023/013446 KR2023013446W WO2024071725A1 WO 2024071725 A1 WO2024071725 A1 WO 2024071725A1 KR 2023013446 W KR2023013446 W KR 2023013446W WO 2024071725 A1 WO2024071725 A1 WO 2024071725A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
display device
connection
wireless communication
automatic connection
Prior art date
Application number
PCT/KR2023/013446
Other languages
English (en)
French (fr)
Inventor
김민지
윤석언
김덕남
김상민
우종하
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020230017571A external-priority patent/KR20240044304A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024071725A1 publication Critical patent/WO2024071725A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/02—Arrangements for optimising operational condition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W24/00—Supervisory, monitoring or testing arrangements
    • H04W24/08—Testing, supervising or monitoring using real traffic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/80—Services using short range communication, e.g. near-field communication [NFC], radio-frequency identification [RFID] or low energy communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/14—Direct-mode setup
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W76/00—Connection management
    • H04W76/10—Connection setup
    • H04W76/19—Connection re-establishment

Definitions

  • Various embodiments relate to a display device and a method of operating the same, and more specifically, to a display device that connects to an electronic device using wireless communication and a method of operating the same.
  • Bluetooth is an industry standard for personal short-range wireless communication for digital communication devices.
  • Bluetooth which defines a short-distance data communication method between electronic devices using short-wave UHF radio waves of 2.4 to 2.485 GHz included in the ISM band, includes mice and keyboards used in personal computers, mobile phones, smartphones, tablets, It is used in speakers, etc. to exchange digital information such as text information and voice information at a relatively low speed through wireless communication.
  • Bluetooth is used to exchange simple information using radio waves between information devices located at a distance of several to tens of meters.
  • Bluetooth Low Energy is a type of Wireless Personal Area Network (WPAN) technology, and began supporting the Low Energy (LE) protocol starting with Bluetooth 4.0. While the existing Bluetooth (BR/EDR + HS) technology focuses on data rate, BLE focuses on reducing power consumption and is suitable for specific applications such as healthcare, fitness, and security systems. ) has emerged as a suitable technology.
  • the time required for automatic connection is set differently depending on the strength of the wireless communication signal of the electronic device, thereby adaptively and automatically connecting to the situation of the electronic device.
  • the object is to provide a display device and operation method that allows control of connection operations.
  • a display device may include a display, a communication interface, a memory that stores one or more instructions, and a processor that executes the one or more instructions stored in the memory.
  • at least one processor may detect the strength of a wireless communication signal received from the electronic device as it receives a wireless communication connection request from the electronic device by executing one or more instructions.
  • at least one processor executes one or more instructions, thereby providing a plurality of connection modes in which an automatic connection time indicating a predetermined time elapsed to automatically connect to the electronic device varies depending on the strength of a wireless communication signal. Among them, one connection mode corresponding to the strength of the wireless communication signal received from the electronic device can be identified.
  • At least one processor may control the display to display a message guiding the automatic connection time corresponding to the identified connection mode by executing one or more instructions.
  • at least one processor determines whether to perform an automatic connection operation to the electronic device according to whether a user responds to the displayed message by executing one or more instructions, and performs the automatic connection operation according to the determination. It can be configured to perform.
  • a method of operating a display device may include detecting the strength of a wireless communication signal received from the electronic device as a wireless communication connection request is received from the electronic device.
  • a method of operating a display device includes, among a plurality of connection modes in which an automatic connection time indicating a predetermined time elapsed to automatically connect to the electronic device varies depending on the strength of a wireless communication signal, the electronic device It may include an operation of identifying one connection mode corresponding to the strength of the wireless communication signal received from.
  • a method of operating a display device may include displaying a message guiding the automatic connection time corresponding to the identified connection mode.
  • a method of operating a display device includes determining whether to perform an automatic connection operation to the electronic device depending on whether a user responds to the displayed message and performing the automatic connection operation according to the decision. can do.
  • the method of operating a display device includes: An operation of detecting the strength of a wireless communication signal received from the electronic device upon receiving a communication connection request, an automatic connection time indicating a predetermined time elapsed to automatically connect to the electronic device according to the strength of the wireless communication signal Among a plurality of different connection modes, identifying one connection mode corresponding to the strength of the wireless communication signal received from the electronic device, displaying a message guiding the automatic connection time corresponding to the identified connection mode. It may include an operation of determining whether to perform an automatic connection operation to the electronic device depending on whether a user responds to the displayed message, and performing the automatic connection operation according to the decision.
  • a display device, method, and non-transitory computer-readable storage medium are configured to perform an automatic connection operation by setting the time that must elapse for automatic connection differently depending on the strength of a wireless communication signal of an electronic device. By doing so, the automatic connection operation can be processed more precisely.
  • FIG. 1 is a reference diagram for explaining operations of a server device and a display device according to various embodiments.
  • FIG. 1 is a reference diagram for explaining the operation of a display device and an electronic device according to various embodiments.
  • Figure 2 shows an example of a system including a display device, an electronic device, and a server device, according to an embodiment.
  • Figure 3 is an example of a block diagram of a display device according to an embodiment.
  • Figure 4 shows an example of a flowchart of a method of operating a display device according to an embodiment.
  • FIG. 5 is a flowchart illustrating an example of a pairing operation between a display device and an electronic device according to an embodiment.
  • FIG. 6 illustrates an example of a flowchart of an operation for reconnecting after loss of connection with an electronic device that has performed a bonding process, according to an embodiment.
  • Figure 7 shows an example of a flowchart of a method of operating a display device according to an embodiment.
  • FIG. 8 shows an example of a learning model mapped to one or more electronic devices with a pairing history on the display device 100, according to an embodiment.
  • Figure 9 shows an example of a connection mode table according to an embodiment.
  • Figure 10 shows an example of a message informing automatic connection time according to an embodiment.
  • FIG. 11 is a flowchart illustrating an operation of storing a learning model for an electronic device paired with a display device, according to an embodiment.
  • Figure 12 is a flowchart illustrating an example of an operation for updating a learning model according to an embodiment.
  • Figure 13 shows an example of building a home environment in a virtual reality world according to an embodiment.
  • Figure 14 shows an example of a table for determining the automatic connection time in consideration of influence factors including the distance and environment between BLE devices, according to an embodiment.
  • the term “user” refers to a person who controls the functions or operations of a computing device or electronic device using a control device, and may include a viewer, an administrator, or an installer.
  • FIG. 1 is a reference diagram for explaining the operation of a display device and an electronic device according to various embodiments.
  • the Bluetooth connection is disconnected and the display device 100 may receive a Bluetooth reconnection request from the electronic device 200 again.
  • the display device 100 may perform an operation to confirm the user's intention for Bluetooth reconnection according to various methods. For example, when a reconnection request is received from the electronic device 200, the display device 100 displays a pop-up window asking for the user's intention, proceeds with the connection when the user presses the connect button (accept the connection), and clicks the close button (do not accept). If you press it, the connection may not proceed. Additionally, even if the pop-up disappears due to a timeout without input from the user, the connection may not proceed.
  • the personal portable device In the experience of reconnecting wireless earphones with a personal portable device such as a smartphone, if the wireless earphone's previous connection history was a personal portable device, the personal portable device is a personalized device and is not used by multiple users. Therefore, a reconnection operation can be performed automatically without pop-up on a personal mobile device.
  • a display device such as a TV
  • a pop-up window asking for the user's intention can be displayed in case of reconnection.
  • usability may be reduced because they must lift the TV controller device and press the button displayed on the TV.
  • the automatic connection time can be varied according to the Bluetooth signal strength.
  • the display device 100 may detect the strength of a Bluetooth wireless signal from the electronic device 200 and determine an automatic connection time corresponding to the strength of the detected Bluetooth wireless signal.
  • the display device 100 prepares a plurality of connection modes corresponding to a plurality of automatic connection times, calculates the target probability by inputting the strength value of the Bluetooth wireless signal received from the electronic device 200 into a previously learned model, and , it is possible to identify which connection mode among the plurality of connection modes the calculated target probability corresponds to. And the display device 100 can obtain the automatic connection time corresponding to the identified connection mode.
  • the display device 100 upon reconnection between the display device 100 and the electronic device 200, the user is informed of an automatic connection time that varies depending on the Bluetooth signal strength, and when the automatic connection time elapses, the display device 100 automatically connects to the electronic device. You can reconnect at 200. For example, referring to FIG. 1, when the display device 100 receives a connection request from the electronic device 200, the display device 100 identifies an automatic connection time corresponding to the strength of the Bluetooth wireless signal received from the electronic device 200, and sets the identified automatic connection time. A pop-up window 10 providing guidance can be printed.
  • Pop-up window 10 may include item 11 of ⁇ Automatically connect within 5 seconds> and item 12 of ⁇ Cancel> along with a message notifying that the wireless earphones have been recognized. If no input is received from the user regarding the pop-up window 10, the display device 100 may automatically connect to the electronic device 200 after 5 seconds of automatic connection time. When an input for selecting the ⁇ Cancel> item 12 is received from the user in response to the pop-up window 10, the display device 100 may not proceed with the connection operation with the electronic device 200.
  • parameters for determining automatic connection time can be adjusted to suit the context of an actual user environment.
  • the display device 100 may update a pre-trained model that takes the strength value of the Bluetooth wireless signal received from the electronic device 200 as input and outputs the target probability to suit the context of the actual user environment.
  • the display device 100 may receive and store a pre-trained model from the server, and transmit automatic connection result data according to the strength value of the Bluetooth wireless signal received from the electronic device 200 to the server, allowing the server to learn in advance. You can update the model and receive the updated pre-trained model from the server.
  • the automatic connection result which indicates whether Bluetooth automatic connection was performed or not according to the strength of the Bluetooth wireless signal from the electronic device 200, that is, the user's distance, is reflected back in the pre-learned model to adjust the parameters to improve the user's usage environment. It provides the optimal connection method for your needs and enhances convenience of use.
  • Figure 2 shows an example of a system including a display device, an electronic device, and a server device, according to an embodiment.
  • the system may include a display device 100, an electronic device 200, and a server device 300 connected through a communication network.
  • the display device 100 is a device that can display images or data according to a user's request, and may include a communication unit 110, a display 120, a memory 130, and a processor 140.
  • the communication unit 110 may include one or more modules that enable wireless communication between the display device 100 and a wireless communication system or between the display device 100 and a network where other devices are located.
  • the communication unit 110 may include one or more communication circuits.
  • the communication unit 110 may perform communication with the electronic device 200 according to short-range communication technology.
  • Short-range communication technology may include, for example, Bluetooth communication, Wi-Fi communication, infrared communication, etc.
  • the communication unit 110 may communicate with the server device 300 according to the Internet protocol.
  • the display 120 can output images or data processed by the display device 100.
  • the memory 130 can store programs for processing and control of the processor 140 and can store data input to or output from the display device 100. Additionally, the memory 130 can store data necessary for the operation of the display device 100.
  • Memory 130 is a flash memory type, hard disk type, multimedia card micro type, card type memory (e.g. SD or XD memory, etc.), RAM , Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk, optical disk. It may include at least one type of storage medium.
  • the processor 140 controls the overall operation of the display device 100.
  • the processor 140 may perform the functions of the display device 100 described in the present disclosure by executing one or more instructions stored in the memory 130.
  • Processor 140 may consist of one or more processors.
  • the processor 140 may store one or more instructions in an internally provided memory and execute one or more instructions stored in an internally provided memory to control operations of the display device to be performed. That is, the processor 140 may perform a predetermined operation by executing at least one instruction or program stored in the internal memory or memory 130 provided inside the processor 140.
  • the processor 140 may perform the operation of the display device 100 disclosed in this disclosure by executing one or more instructions stored in the memory 130.
  • the processor 140 may detect the strength of a wireless communication signal received from the electronic device as it receives a wireless communication connection request from the electronic device by executing one or more instructions.
  • the processor 140 executes one or more instructions, among a plurality of connection modes in which the automatic connection time, which represents a predetermined time elapsed to automatically connect to the electronic device, varies depending on the strength of the wireless communication signal, One connection mode corresponding to the strength of the wireless communication signal received from the electronic device can be identified.
  • the processor 140 may control the display to display a message guiding the automatic connection time corresponding to the identified connection mode by executing one or more instructions.
  • the processor 140 may process whether to perform an automatic connection operation to the electronic device depending on whether a user responds to the displayed message by executing one or more instructions.
  • the processor 140 may be configured to detect the signal strength of the wireless communication signal based on the RSSI signal strength of the wireless communication signal by executing one or more instructions.
  • the automatic connection time may become shorter, and as the strength of the wireless communication signal becomes weaker, the automatic connection time may become longer.
  • the processor 140 may be configured to perform an automatic connection operation to the electronic device based on the elapse of the automatic connection time when a user response is not received in response to the displayed message by executing one or more instructions. You can.
  • the processor 140 may be configured to not perform an automatic connection operation to the electronic device upon receiving a user response selecting cancellation in response to the displayed message by executing one or more instructions.
  • the processor 140 may be configured to identify the one connection mode corresponding to the strength of the detected wireless communication signal using a pre-trained model by executing one or more instructions.
  • the processor 140 calculates a target probability corresponding to the strength of the detected wireless communication signal using the pre-learned model by executing one or more instructions, and selects the calculated target probability among the plurality of connection modes. It may be configured to identify the connection mode to which the target probability belongs as the one connection mode.
  • the processor 140 may be configured to update the pre-trained model using a result of whether an automatic connection operation to the electronic device is performed by executing one or more instructions.
  • the processor 140 adjusts the target probability according to a result of whether the automatic connection agreement is performed by executing one or more instructions, transmits the adjusted target probability to the server, and based on the adjusted target probability It may be configured to update the pre-trained model by receiving the re-trained pre-trained model from the server.
  • the display device 100 may be any type of device that performs a function including a processor and memory.
  • the display device 100 may be a fixed or portable device.
  • the display device 100 may represent a device that has a display and can display image content, video content, game content, graphic content, etc.
  • the display device 100 can output or display images or content received from the server device 300.
  • the display device 100 may include, for example, televisions such as network TVs, smart TVs, Internet TVs, web TVs, IPTVs, computers such as desktops, laptops, tablets, smartphones, cellular phones, game players, music players, video players, medical devices, etc. It may include various types of electronic devices that can receive and output content, such as various smart devices such as equipment, home appliances, etc.
  • the display device 100 may be referred to as a display device in that it receives and displays content, and may also be referred to as a content receiving device, sink device, electronic device, computing device, etc.
  • the block diagram of the display device 100 shown in FIG. 2 is a block diagram for one embodiment.
  • Each component of the block diagram may be integrated, added, or omitted depending on the specifications of the display device 100 that is actually implemented. For example, as needed, two or more components may be combined into one component, or one component may be subdivided into two or more components.
  • the functions performed by each block are for explaining the embodiments, and the specific operations or devices do not limit the scope of the present invention.
  • the electronic device 200 will now be described.
  • the electronic device 200 may include a communication unit 210, a user input unit 220, a memory 230, and a processor 240. However, the electronic device 200 may be implemented with more components than those shown, and is not limited to the above-described examples.
  • the communication unit 210 may include one or more modules that enable wireless communication between the electronic device 200 and a wireless communication system or between the electronic device 200 and a network where other devices are located.
  • the communication unit 210 may include one or more communication circuits.
  • the communication unit 210 may perform communication with the display device 100 according to short-range communication technology.
  • Short-range communication technology may include, for example, Bluetooth communication, Wi-Fi communication, infrared communication, etc.
  • the communication unit 210 may communicate with the server device 300 according to the Internet protocol.
  • the user input unit 220 may be any type of interface means capable of receiving user input.
  • the user input unit 220 is arranged in a portion of the electronic device 200 and includes an operation button capable of receiving a user's input, a touch-sensitive display configured to detect a touch input, and a microphone capable of receiving a user's voice speech input. It may include etc.
  • the memory 230 can store programs for processing and control of the processor 240, and can store data input to or output from the electronic device 200.
  • Memory 230 is a flash memory type, hard disk type, multimedia card micro type, card type memory (e.g. SD or XD memory, etc.), RAM , Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk, optical disk. It may include at least one type of storage medium.
  • the processor 240 controls the overall operation of the electronic device 200.
  • the processor 240 may perform the functions of the electronic device 200 described in this disclosure by executing one or more instructions stored in the memory 230.
  • the processor 240 may store one or more instructions in an internally provided memory and execute one or more instructions stored in an internally provided memory to control the above-described operations to be performed. That is, the processor 240 may perform a predetermined operation by executing at least one instruction or program stored in the internal memory or memory 230 provided inside the processor 240.
  • the processor 240 may perform a communication connection with the display device 100 using short-range wireless communication technology by executing one or more instructions stored in the memory 230.
  • Short-range wireless communication technology may include Bluetooth communication technology or Wi-Fi Direct technology.
  • the processor 240 may operate to perform a predetermined function in association with the Bluetooth-paired display device 100 by executing one or more instructions stored in the memory 230.
  • the processor 240 may receive an audio signal output from the paired display device 100 and control the audio signal to be output.
  • the processor 240 can receive video and audio signals output from the paired display device 100 and control them to be output through the smartphone.
  • the electronic device 200 may be any type of device that performs a Bluetooth communication function, including a processor and memory.
  • the electronic device 200 may include various electronic devices such as smartphones, wireless earphones, smart watches, etc.
  • the block diagram of the electronic device 200 shown in FIG. 2 is a block diagram for one embodiment.
  • Each component of the block diagram may be integrated, added, or omitted depending on the specifications of the electronic device 200 that is actually implemented. For example, as needed, two or more components may be combined into one component, or one component may be subdivided into two or more components.
  • the functions performed by each block are for explaining the embodiments, and the specific operations or devices do not limit the scope of the present invention.
  • the server device 300 will now be described.
  • the server device 300 may include a communication unit 310, a memory 320, and a processor 330. However, the server device 300 may be implemented with more components than those shown, and is not limited to the above-described examples. For example, the server device 300 may be equipped with a separate image processing unit for image processing of application images executed on the server device 300.
  • the communication unit 310 may include one or more modules that enable wireless communication between the server device 300 and a wireless communication system or between the server device 300 and a network where other devices are located.
  • the communication unit 310 may include one or more communication circuits. According to one embodiment, the communication unit 310 may communicate with the display device 100 according to the Internet protocol. According to one embodiment, the communication unit 310 may communicate with the controller 200 according to the Internet protocol.
  • the memory 320 can store programs for processing and control of the processor 330 and can store data input to or output from the server device 300.
  • Memory 320 is a flash memory type, hard disk type, multimedia card micro type, card type memory (e.g. SD or XD memory, etc.), RAM , Random Access Memory) SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk, optical disk. It may include at least one type of storage medium.
  • the processor 330 controls the overall operation of the server device 300.
  • the processor 330 may perform the functions of the server device 300 described in the present disclosure by executing one or more instructions stored in the memory 320.
  • the processor 330 may store one or more instructions in an internally provided memory and execute one or more instructions stored in an internally provided memory to control the above-described operations to be performed. That is, the processor 330 may perform a predetermined operation by executing at least one instruction or program stored in the internal memory or memory 320 provided inside the processor 330.
  • the processor 330 may be configured to learn a predetermined learning model that outputs a target probability using the strength of a Bluetooth wireless signal as an input by executing one or more instructions stored in the memory 320.
  • This predetermined learning model represents a model learned in advance using a binomial logistic regression model, taking into account that the viewing distance from the display device is within a certain distance.
  • the target probability can be understood as a measure indicating the possibility that the display device will perform a Bluetooth connection with the electronic device in response to the strength of the Bluetooth wireless signal of the electronic device received as input.
  • the processor 330 executes one or more instructions stored in the memory 320, thereby receiving information about the electronic device 200 paired with the display device 100 according to a request from the display device 100 and mapping a learning model suitable for the electronic device 200. It can be stored in database 1100.
  • the database 1100 may map and store corresponding learning models based on product characteristics or model characteristics of each electronic device in response to the unique identification information (UID) of the electronic devices.
  • UID unique identification information
  • the processor 330 may transmit a learning model learned for the electronic device 200 to the display device 200 at the request of the display device 100 by executing one or more instructions stored in the memory 320.
  • the processor 330 executes one or more instructions stored in the memory 320, receives a result of whether or not the automatic connection is performed on the electronic device 200 from the display device 100, and uses the received result of whether or not the automatic connection is performed to connect the electronic device 200.
  • the learned learning model may be updated, and the updated learning model may be transmitted to the display device 100.
  • the block diagram of the server device 300 shown in FIG. 2 is a block diagram for one embodiment.
  • Each component of the block diagram may be integrated, added, or omitted depending on the specifications of the server device 300 that is actually implemented. For example, as needed, two or more components may be combined into one component, or one component may be subdivided into two or more components.
  • the functions performed by each block are for explaining the embodiments, and the specific operations or devices do not limit the scope of the present invention.
  • Figure 3 is an example of a block diagram of a display device according to an embodiment.
  • the display device 100 may include an image processing unit 150, an audio processing unit 160, an audio output unit 170, a receiving unit 180, and a sensing unit 190, in addition to a communication unit 110, a display 120, a memory 130, and a processor 140.
  • the communication unit 110 may include one or more modules that enable wireless communication between the display device 100 and a wireless communication system or between the display device 100 and a network where other electronic devices are located.
  • the communication unit 110 may include one or more communication circuits.
  • the communication unit 110 may include a mobile communication module 111, a wireless Internet module 112, and a short-range communication module 113.
  • the mobile communication module 111 transmits and receives wireless signals with at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data based on voice call signals, video call signals, or text/multimedia message transmission and reception.
  • the wireless Internet module 112 refers to a module for wireless Internet access and may be built into or external to the device.
  • Wireless Internet technologies include Wireless LAN (WLAN) (WiFi), Wireless Broadband (Wibro), World Interoperability for Microwave Access (Wimax), and High Speed Downlink Packet Access (HSDPA).
  • Wi-Fi Wireless LAN
  • Wibro Wireless Broadband
  • Wimax World Interoperability for Microwave Access
  • HSDPA High Speed Downlink Packet Access
  • the short-range communication module 113 refers to a module for short-range communication.
  • Short-distance communication technologies include Bluetooth, Bluetooth Low Energy (BLE), Radio Frequency Identification (RFID), infrared data association (IrDA), Ultra Wideband (UWB), and ZigBee.
  • the short-range communication module 113 may include a Bluetooth communication module 114.
  • the Bluetooth communication module 114 may include a BLE module 115 and a Bluetooth module 116.
  • BLE module 115 supports BLE communication method.
  • the BLE communication method may follow the Bluetooth 4.0 standard specifications.
  • the BLE communication method operates in the ISM (Industrial Scientific Medical) frequency band and uses 40 RF channels with a channel spacing of 2 MHz.
  • BLE's RF channels are divided into 3 advertising channels and 37 data channels.
  • Packets in the BLE communication method include a preamble (size 1 octet), access address (size 4 octets), Packet Data Unit (PDU) (size 2 to 39 octets), and CRC (size 2 to 39 octets). It consists of 3 octets).
  • the PDU of the advertizing packet may have a header of 16 bits in size and a payload of a variable size.
  • the payload of the advertising packet has an advertiser address field of 6 octets in size and a data field of 0 to 31 octets in size.
  • the advertiser's address field may include the advertiser's public device address or a random device address specified through the header of the PDU.
  • the public device address may be according to the universal LAN MAC address of the IEEE 802 standard.
  • the public device address includes a company_assigned field in 24 least significant bits (LSB) and a company_id field in 24 most significant bits (MSB).
  • the random device address includes a hash field in 24 LSB and a random field in 24 MSB.
  • the value of the address field of the advertiser included in the payload can be used as an identifier of the electronic device that is the advertiser.
  • the BLE module 115 may receive an advertising packet from the electronic device 200 that includes an identifier of the electronic device 200 and information indicating the start of a communication service, which is broadcast according to the BLE communication method.
  • Detailed data of the first advertising packet may include transmission power information.
  • the detailed data of the advertising packet may include an AD Type field indicating that the data is about the transmission power level and an AD Data field indicating the value of the transmission power level.
  • RSSI Receiveived Signal Strength Indicator
  • the path loss from the electronic device 200 to the display device 100 can be calculated.
  • the Bluetooth Classic module 116 can support the Bluetooth Classic communication method.
  • the Bluetooth Classic module 116 can form a communication link using the Bluetooth Classic communication method by transmitting a message requesting a communication connection from the display device 100 to the electronic device using the Bluetooth communication method. Additionally, the processor 140 may control the Bluetooth Classic module 116 to be deactivated until a message requesting a communication connection using the Bluetooth Classic communication method is transmitted through the Bluetooth Classic module 116. The processor 140 can control the Bluetooth Classic module 116 to be activated in order to transmit a message requesting a communication connection in the Bluetooth Classic communication method to an electronic device for which a negotiation procedure has been completed using the BLE communication method.
  • the Bluetooth communication module 114 may include at least one antenna, an RF circuit, a modem, etc., and may be composed of hardware or software.
  • the display 120 can display the video signal received from the server device 300 on the screen.
  • the memory 130 can store programs related to the operation of the display device 100 and various data generated during the operation of the display device 100.
  • Memory 130 can store at least one instruction. Additionally, the memory 130 may store at least one instruction executed by the processor 140. Additionally, the memory 130 may store at least one program executed by the processor 140. Additionally, the memory 130 may store an application for providing a certain service.
  • the memory 130 includes a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (e.g., SD or XD memory, etc.), RAM (Random Access Memory), SRAM (Static Random Access Memory), ROM (Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic It may include at least one type of storage medium among disks and optical disks.
  • a flash memory type e.g., a hard disk type
  • a multimedia card micro type e.g., SD or XD memory, etc.
  • RAM Random Access Memory
  • SRAM Static Random Access Memory
  • ROM Read-Only Memory
  • EEPROM Electrically Erasable Programmable Read-Only Memory
  • PROM Programmable Read-Only Memory
  • magnetic memory magnetic It may include at least one type of storage medium among disks and optical disks.
  • the processor 140 controls the overall operation of the display device 100.
  • the processor 140 may perform the functions of the display device 100 described in the present disclosure by executing one or more instructions stored in the memory 130.
  • the processor 140 may store one or more instructions in an internally provided memory and execute one or more instructions stored in an internally provided memory to control operations of the display device to be performed. That is, the processor 140 may perform a predetermined operation by executing at least one instruction or program stored in the internal memory or memory 130 provided inside the processor 140.
  • the processor 140 may perform at least one instruction and control the intended operation to be performed.
  • at least one instruction may be stored in the internal memory included in the processor 140 or in the memory 130 included in the display device 100 separately from the processor 140.
  • the processor 140 may perform at least one instruction to control at least one component included in the display device 100 so that the intended operation is performed. Therefore, even if the case in which the processor 140 performs certain operations is explained as an example, it may mean that the processor 140 controls at least one component included in the display device 100 so that the processor 140 performs certain operations.
  • processor 140 is described and shown as an example of being formed as a single processor, it may also be formed as including a plurality of processors.
  • the processor 140 stores signals or data input from outside the display device 100, RAM used as a storage area corresponding to various tasks performed in the display device 100, a control program for controlling the display device 100, It may include an application for providing a predetermined function or service, and/or a ROM in which a plurality of instructions are stored, and at least one processor.
  • the processor 140 may include a graphics processor (Graphic Processing Unit, not shown) for graphics processing corresponding to video.
  • Processor 140 may be implemented as a System On Chip (SoC) that integrates a core (not shown) and a GPU (not shown). Additionally, the processor 140 may include multiple cores or more than a single core.
  • the processor 140 may include a dual core, triple core, quad core, hexa core, octa core, deca core, dodeca core, hexa decimal core, etc.
  • the image processing unit 150 may process the image signal received from the receiving unit 110 or the communication unit 120 and output the image signal to the display 130 under the control of the processor 140.
  • the audio processing unit 160 may convert the audio signal received from the receiving unit 110 or the communication unit 120 into an analog audio signal and output it to the audio output unit 180 under the control of the processor 140.
  • the audio output unit 170 may output audio (eg, voice, sound) input through the communication unit 110 or the receiver 180. Additionally, the audio output unit 170 can output audio stored in the memory 130 under the control of the processor 140.
  • the audio output unit 170 may include at least one or a combination of a speaker, a headphone output terminal, and a Sony/Philips Digital Interface (S/PDIF) output terminal.
  • S/PDIF Sony/Philips Digital Interface
  • the receiver 180 receives video (e.g., video, etc.), audio (e.g., voice, music, etc.), and additional information (e.g., EPG, etc.) from the outside of the display device 100 under the control of the processor 140. can do.
  • the receiving unit 180 includes one of an HDMI port (High-Definition Multimedia Interface port, 181, a component jack, 182), a PC port, 183, and a USB port, 184, or one or more
  • the receiver 180 may further include DisplayPort (DP), Thunderbolt, and MHL (Mobile High-Definition Link).
  • DP DisplayPort
  • Thunderbolt Thunderbolt
  • MHL Mobile High-Definition Link
  • the detection unit 190 detects the user's voice, the user's image, or the user's interaction, and may include a microphone 191, a camera unit 192, and a light reception unit 193.
  • Microphone 191 receives the user's uttered voice. Microphone 191 can convert the received voice into an electrical signal and output it to the processor 140.
  • the user voice may include, for example, a voice corresponding to a menu or function of the display device 100.
  • the camera unit 192 may receive images (eg, consecutive frames) corresponding to the user's motion, including gestures, within the camera recognition range.
  • the processor 140 can use the received motion recognition result to select a menu displayed on the display device 100 or perform control corresponding to the motion recognition result.
  • the optical receiver 193 receives optical signals (including control signals) received from an external control device.
  • the light receiver 193 may receive an optical signal corresponding to a user input (eg, touch, press, touch gesture, voice, or motion) from the control device.
  • a control signal may be extracted from the received optical signal under the control of the processor 140.
  • the processor 140 controls the overall operation of the display device 100 and signal flow between internal components (not shown) of the display device 100, and performs the function of processing data. When there is a user input or a preset and stored condition is satisfied, the processor 140 can execute an operating system (OS) and various applications stored in the memory 130.
  • OS operating system
  • the processor may include a graphics processor (Graphic Processing Unit, not shown) for graphics processing corresponding to the video.
  • the graphics processing unit uses an arithmetic unit (not shown) and a rendering unit (not shown) to create a screen containing various objects such as icons, images, and text.
  • the calculation unit uses user interaction detected through a detection unit (not shown) to calculate attribute values such as coordinates, shape, size, color, etc. for each object to be displayed according to the layout of the screen.
  • the rendering unit generates screens with various layouts including objects based on the attribute values calculated by the calculation unit.
  • the memory 130 can store programs related to the operation of the display device 100 and various data generated during the operation of the display device 100.
  • Figure 4 shows an example of a flowchart of a method of operating a display device according to an embodiment.
  • the display device 100 may detect the strength of a wireless communication signal of the electronic device as it receives a wireless communication connection request from the electronic device 200.
  • the display device 100 may detect the strength of the Bluetooth communication signal of the electronic device 200 as it receives a Bluetooth communication connection request from the electronic device 200.
  • the display device 100 may obtain information about the strength of the Bluetooth communication signal from the Bluetooth communication signal.
  • the display device 100 may detect the strength of the BLE signal from the BLE signal of the electronic device 200 as it receives a wireless communication connection request using the BLE communication method from the electronic device 200.
  • the display device 100 may select one of a plurality of connection modes in which the automatic connection time, which represents a predetermined time elapsed to automatically connect to the electronic device, varies depending on the strength of the wireless communication signal.
  • the display device 100 may store information about a plurality of connection modes.
  • Each of the plurality of connection modes represents a connection mode with a different automatic connection time depending on the strength of the wireless communication signal.
  • Auto-connect time may refer to a predetermined amount of time that elapses to automatically connect to an electronic device.
  • the plurality of connection modes may include three connection modes, and the automatic connection time may be set to 3 seconds in response to the first connection mode, which means that the display device 100 starts the automatic connection operation after 3 seconds. It can indicate the mode.
  • the automatic connection time may be set to 5 seconds, which may indicate a mode in which the display device 100 starts an automatic connection operation when 5 seconds have elapsed.
  • the automatic connection time may be set to 10 seconds, which may indicate a mode in which the display device 100 starts an automatic connection operation after 10 seconds.
  • the automatic connection time is set to be shorter and the automatic connection operation begins after a relatively short elapsed time.
  • the automatic connection time is set longer and the automatic connection operation begins after a relatively short elapsed time. It can be set to start automatic connection operation after a period of time.
  • the number of connection modes may be determined in various ways, and the automatic connection time may also be determined in various ways.
  • the display device 100 may identify one connection mode corresponding to the strength of a wireless communication signal of the electronic device 200 among a plurality of connection modes.
  • the display device 100 may obtain a target probability corresponding to the strength of the wireless communication signal of the electronic device 200 using a pre-trained model that takes the strength of the wireless communication signal as input and outputs the target probability.
  • the display device 100 may identify one connection mode by determining which connection mode the obtained target probability belongs to among the plurality of connection modes.
  • the display device 100 may display a message guiding the automatic connection time corresponding to the identified connection mode.
  • the display device 100 may obtain an automatic connection time corresponding to the identified connection mode based on the strength of the wireless communication signal of the electronic device 200 and display a message guiding the obtained automatic connection time.
  • the message may include a guidance indicating that a wireless communication connection operation will automatically begin on the electronic device 200 when the automatic connection time elapses, and a cancellation item that can cancel the connection operation.
  • the display device 100 may process whether to perform an automatic connection operation to the electronic device 200 depending on whether the user responds to the displayed message.
  • the display device 100 may start an automatic connection operation to the electronic device 200 after the automatic connection time has elapsed.
  • the display device 100 when the display device 100 receives a user input for selecting a cancel item from the user in response to the displayed message, the display device 100 may not proceed with the communication connection operation to the electronic device 200.
  • a reconnection operation is easily performed based on the previous pairing information. This is to provide connection operation more adaptively to the usage environment.
  • FIG. 5 is a flowchart illustrating an example of a pairing operation between a display device and an electronic device according to an embodiment.
  • the electronic device 200 may transmit a pairing request by broadcasting a BLE advertising packet.
  • the display device 100 may transmit a pairing response to the electronic device 200.
  • the electronic device 200 may transmit a confirmation along with a temporary encryption key to the display device 100.
  • the display device 100 may transmit a response along with the long term encryption key (LTK) of the display device 100 and the ID verification key (IRK) to the electronic device 200.
  • LTK long term encryption key
  • ITK ID verification key
  • the electronic device 200 may store the long term encryption key (LTK) and ID verification key (IRK) of the display device 100 received from the display device 100.
  • LTK long term encryption key
  • ITK ID verification key
  • the electronic device 200 may transmit a response to the display device 100 along with the long term encryption key (LTK) and the ID verification key (IRK) of the electronic device 200.
  • LTK long term encryption key
  • ITK ID verification key
  • the display device 100 may store the long term encryption key (LTK) and ID verification key (IRK) of the electronic device 200.
  • LTK long term encryption key
  • ITK ID verification key
  • This key exchange and storage between BLE devices is called bonding.
  • This bonding process establishes a secure Bluetooth Low Energy connection and provides continuous encryption through long-term encryption key (LTK) exchange.
  • BLE devices can also exchange ID verification keys (IRK).
  • IRK can be used in conjunction with a random private address to authenticate a connection when the random address changes periodically or when a BLE device comes back within range. This allows known devices to remain connected to each other through random address changes, but prevents untrusted devices from tracking devices through static addresses. Therefore, it can be used to authenticate devices when setting up Bluetooth low energy privacy and resuming a BLE connection through the exchange and storage of ID verification keys (IRKs).
  • FIG. 6 illustrates an example of a flowchart of an operation for reconnecting after loss of connection with an electronic device that has performed a bonding process, according to an embodiment.
  • the electronic device 200 may transmit a pairing request by broadcasting a BLE advertising packet.
  • BLE advertising packets may include a random private address (RPA) of the electronic device.
  • RPA random private address
  • the display device 100 may resolve a random private address using the stored IRK of the electronic device 200.
  • the advertiser address in the BLE advertising packet is a 6-byte (48-bit) field the same length as the device MAC address.
  • devices using RPA can transmit a 22-bit random number (prand) and a 24-bit hash value along with two fixed bits.
  • the recipient of the BLE Advertising packet i.e. display device 100, uses the RPA to verify the identity of a known device with a known encryption function at 128 bits IRK and 24 bits PRAND (using 2 fixed bits) padded to the 128 bits IRK. You can run . If the result of the encryption function matches the 24-bit hash value extracted from the address field of the advertising packet, the address can be verified and the identity of the device confirmed. The two devices can then continue to communicate in a secure and private manner.
  • the display device 100 may obtain unique identification information (UID) of the electronic device through this RPA resolve operation.
  • UID unique identification information
  • the display device 100 identifies a connection mode in response to the wireless communication signal strength of the electronic device 200 according to embodiments disclosed in the present disclosure and sets an automatic connection time corresponding to the identified connection mode according to the connection mode.
  • a guiding message can be printed. The specific operation of operation 640 will be described in detail below.
  • the display device 100 may determine whether a user input for selecting connection cancellation has been received. According to one embodiment, the display device 100 may determine whether a user input for selecting connection cancellation has been received before the automatic connection time determined according to the connection mode identified in response to the wireless communication signal strength of the electronic device 200 elapses.
  • operation 660 may be performed.
  • the display device 100 may transmit a connection request to the electronic device 200. At this time, the display device 100 may automatically transmit a connection request to the electronic device 200 when the automatic connection time determined in response to the wireless communication signal strength of the electronic device 200 has elapsed.
  • the electronic device 200 may resolve the RPA of the display device 100 using the IRK of the display device 100.
  • the electronic device 200 may transmit a connection confirmation to the display device 100. Through this operation, a safe connection can be reestablished between the display device 100 and the electronic device 200.
  • operation 690 may be performed.
  • the display device 100 may stop the connection operation to the electronic device 200 without further proceeding.
  • Figure 7 shows an example of a flowchart of a method of operating a display device according to an embodiment. Operations 720 to 760 shown in FIG. 7 may correspond to operation 640 shown in FIG. 6 .
  • the display device 100 may obtain unique identification information of the electronic device.
  • the display device 100 when the display device 100 discovers the BLE advertising packet of the electronic device 200, it may check whether there is a previous bonding and connection history through the BLE MAC address of the electronic device 200 and then resolve to the BT MAC address. . And the display device can find the unique identification information (Unique ID (UID)) of the electronic device through this BT MAC address.
  • UID Unique ID
  • the display device 100 may acquire a learning model corresponding to unique identification information of the electronic device.
  • the display device 100 may store a learning model mapped to one or more electronic devices that have a pairing history with the display device 100.
  • FIG. 8 shows an example of a learning model mapped to one or more electronic devices with a pairing history on the display device 100, according to an embodiment.
  • the display device 100 may include a learning model database 800 mapped to electronic devices that have a pairing history with the display device.
  • the learning model database 800 has a first learning model mapped to a wireless earphone with unique identification information #1, a second learning model mapped to a smart watch with unique identification information #2, and unique identification information A third learning model may be mapped corresponding to the smartphone with #3.
  • the learning model uses a binomial logistic regression model to represent a model learned in advance considering that the viewing distance from the display device is generally a predetermined distance (for example, 4m). .
  • the result of the dependent variable means that there are two categories, such as (success and failure).
  • the two categories are represented by 0 and 1, respectively.
  • the sum of the probabilities of being classified into a category is 1.
  • the logistic function p can be defined as follows, which can represent the probability that the dependent variable belongs to the category of 1, given a specific independent variable x.
  • the probability p defined by the above learning model can represent the probability that P belongs to the category of 1 given x1, x2, and x3.
  • ⁇ 0 is a constant
  • ⁇ 1 is a coefficient multiplied by x1 representing the RSSI value
  • ⁇ 2 is a coefficient multiplied by x2 representing the average of a predetermined number of RSSI values
  • ⁇ 3 is x3 representing the standard deviation of a predetermined number of RSSI values. It represents the coefficient of .
  • the display device 100 can calculate the target probability p by inputting the RSSI value, the average of the RSSI values, and the standard deviation of the RSSI into the logistic function p.
  • the target probability p can be understood as the probability that the user intends to connect because the connection request from the electronic device that currently sent the Bluetooth communication signal is in the same space as the display device. Therefore, if the resulting target probability shows a large value, this is interpreted as a high probability that the user has a connection intention, so the automatic connection time is shortened as much as possible. If the resulting target probability shows a small value, this means that the user has a connection intention. It is interpreted that the probability of having a is low, so the automatic connection time can be set as long as possible.
  • Bluetooth communication performance may vary depending on the product characteristics of each electronic device, such as whether it is a wireless earphone or a smart watch, and even for the same product, Bluetooth communication performance may vary depending on the model, that is, various models or manufacturers of wireless earphones. Accordingly, the display device 100 may prepare a learning model corresponding to each of one or more electronic devices with which the display device 100 has a pairing history.
  • the learning model corresponding to each electronic device indicates that the values of the parameter sets ⁇ 0, ⁇ 1, ⁇ 2, ⁇ 3 ⁇ used in the logistic function p are different.
  • the first learning model using the first parameter set ⁇ 0, ⁇ 1, ⁇ 2, ⁇ 3 ⁇ ⁇ -2.9259, -0.0177, -0.0302,-0.0147 ⁇
  • the display device 100 inputs the RSSI of the BLE advertising packet of the electronic device into the learning model to calculate the target probability.
  • the advertising packet (beacon message) that a BLE device periodically transmits in advertising mode includes a Received Signal Strength Indication (RSSI), and RSSI is used in the received wireless signal. Indicates the power measurement value present. RSSI is mainly expressed as a negative dBm value, and the closer it is to 0 dBm, the stronger the signal. Therefore, in BLE, the closer the distance between the transmitter that transmits the advertising packet and the receiver that receives the advertising packet, the larger the RSSI value, and the farther the distance between the transmitter and the receiver, the smaller the RSSI value. Based on these characteristics, RSSI can be used as an indicator of the distance between the transmitter and receiver.
  • RSSI Received Signal Strength Indication
  • n is the path loss index and has a value of 2 to 4 depending on the surrounding environment (whether there are walls or obstacles, etc.). If there are no obstacles around, the path loss index is 2, and can be 3 or 4 depending on the presence and number of obstacles.
  • d is the distance
  • ⁇ is TX power and represents the basic RSSI value measured from the receiver at a specific distance.
  • the display device 100 may collect a predetermined number (e.g., 40 or more) of RSSI values by measuring from the BLE advertising packet of the electronic device received for a predetermined time (e.g., 4 seconds). You can. From the collected RSSI, you can use quartiles to remove outliers and calculate the average and standard deviation.
  • a predetermined number e.g. 40 or more
  • Q1-(1.5*IQR) is defined as the lower bound
  • Q3+(1.5*IQR) is defined as the upper bound
  • the values in the range below the lower bound and above the upper bound are judged as outliers, and the remaining RSSI values excluding these are determined as outliers.
  • the mean and standard deviation can be obtained from .
  • Q3 3rd quartile
  • IQR interquartile range
  • the average, standard deviation, and RSSI values calculated in this way can be input into a learning model corresponding to the unique identification information of the electronic device, and the target probability can be calculated. do.
  • the target probability can be understood as the probability that the connection request from the current electronic device is intended to be connected by a user in the same space as the display device.
  • the display device 100 may determine an automatic connection time corresponding to the calculated target probability and output a message guiding the determined automatic connection time.
  • the display device 100 may determine the automatic connection time in response to the calculated target probability. For example, the display device 100 may determine the automatic connection time so that the larger the calculated target probability value, the shorter the automatic connection time, and the smaller the calculated target probability value, the longer the automatic connection time.
  • the display device 100 may store a connection mode table to determine an automatic connection time in response to the calculated target probability.
  • Figure 9 shows an example of a connection mode table according to an embodiment.
  • connection mode table 900 may include a plurality of connection modes.
  • the connection mode table 900 includes four connection modes, of which three connection modes represent automatic connection mode and one connection mode represents manual connection mode.
  • the automatic connection mode may refer to a mode that automatically starts a connection operation after a certain period of time has elapsed.
  • Manual connection mode may indicate a mode that does not provide automatic connection and initiates connection behavior only when user input is received.
  • the first connection mode is when the calculated target probability is 0.8 or more, and the automatic connection time, that is, the connection waiting time, indicates an immediate connection. For example, if the target probability calculated by the display device 100 is 0.8 or more, the display device 100 identifies the first connection mode in response to the target probability and immediately starts a connection operation according to the automatic connection time corresponding to the first connection mode. You can.
  • the second connection mode is when the calculated target probability is 0.6 or more and the connection waiting time is 5 seconds. For example, if the target probability calculated by the display device 100 is 0.6 or more (of course, it is less than 0.8), the display device 100 identifies the second connection mode in response to the target probability and connects the device according to the automatic connection time corresponding to the second connection mode. You can start connecting immediately after 5 seconds.
  • the third connection mode is when the calculated target probability is 0.4 or more and the connection waiting time is 10 seconds. For example, if the target probability calculated by the display device 100 is 0.4 or more (of course, it is less than 0.6), the display device 100 identifies the third connection mode in response to the target probability and connects the device according to the automatic connection time corresponding to the third connection mode. After 10 seconds, you can start connecting.
  • the fourth connection mode is when the calculated target probability is less than 0.4 and the connection waiting time is not determined. For example, if the target probability calculated by the display device 100 is less than 0.4, the display device 100 identifies the fourth connection mode in response to the target probability, does not proceed with automatic connection according to the fourth connection mode, and when a user input is received. A connection operation can only be initiated.
  • connection mode shown in FIG. 9 is shown as an example, and it will be well understood by those skilled in the art that the number of connection modes or the automatic connection time set in each connection mode can be determined in various ways.
  • the display device 100 which has determined the automatic connection time in this way, may output a message guiding the automatic connection time corresponding to the calculated target probability.
  • Figure 10 shows an example of a message informing automatic connection time according to an embodiment.
  • the display device 100 may automatically output a message informing that the electronic device connection operation begins when the determined automatic connection time elapses. For example, if the automatic connection time is determined to be 5 seconds, the display device 100 outputs a message indicating that the automatic connection will proceed after 5 seconds, and if the automatic connection time is determined to be 10 seconds, the display device 100 outputs a message indicating that the automatic connection will proceed for 10 seconds. can do. For example, when the automatic connection time is set to 0 as in the first connection mode, the display device 100 can immediately automatically connect to the electronic device without outputting a message. For example, when the manual connection mode is determined, such as the fourth connection mode, the display device 100 may output a pop-up window including a button for receiving a user input instructing a connection operation.
  • the display device 100 may output a pop-up window 10 informing of the automatic connection time.
  • pop-up window 10 may include item 11 of ⁇ Automatically connect within 5 seconds> and item 12 of ⁇ Cancel> along with a message indicating that the wireless earphones have been recognized as one of the electronic devices.
  • the display device 100 may stop the connection operation to the electronic device without having to wait for the automatic connection time to elapse. If no user input is received, the display device 100 may wait for the automatic connection time to elapse and then proceed with the automatic connection operation when the automatic connection time elapses.
  • the display device 100 when receiving a user input for selecting item 11 of ⁇ automatically connect within 5 seconds>, the display device 100 will be able to immediately proceed with the automatic connection operation without having to wait for the automatic connection time of 5 seconds to elapse.
  • the display device 100 outputs a pop-up window with the ⁇ Cancel> item 12 selected, so that if the user wishes to cancel the automatic connection, the user can use the remote control without having to move between separate items using the remote control.
  • FIG. 11 is a flowchart illustrating an operation of storing a learning model for an electronic device paired with a display device, according to an embodiment.
  • the display device 100 may obtain unique identification information of the electronic device according to Bluetooth pairing with the electronic device.
  • the display device 100 may transmit information about an electronic device with a pairing history, that is, information about the electronic device including unique identification information of the electronic device, to the server device 300 and request creation of a learning model.
  • the server device 30 may obtain a learning model suitable for the electronic device based on information about the electronic device received from the display device 100.
  • the learning model may vary depending on the product characteristics or model type of the electronic device, and the server device 300 may obtain an appropriate learning model based on information about the electronic device.
  • the server device 300 may store a learning model in the learning model database 1100 in response to the unique identification information of the electronic device.
  • the server device 300 may transmit a learning model corresponding to the unique identification information of the electronic device to the display device 100.
  • the server device 300 may store a learning model corresponding to the unique identification information of the electronic device in the database 800.
  • FIG. 11 it is shown that when creating a learning model for the first paired electronic device, it is performed on the server device. However, it is not limited to this.
  • the display device 100 may store one or more learning model information when the display device 100 is shipped, and the display device 100 may learn one suitable learning model among the learning models stored in the display device 100 for an electronic device with a pairing history. You will be able to select a model. Additionally, the display device 100 may register a learning model corresponding to the unique identification information of the electronic device in the server device 300 for future updates.
  • Figure 12 is a flowchart illustrating an example of an operation for updating a learning model according to an embodiment.
  • the display device 100 may receive a wireless communication connection request from an electronic device.
  • the display device 100 may adjust the target probability determined according to the strength of the wireless communication signal from the electronic device according to the result of the actual automatic connection status, as described with reference to FIGS. 4 to 10.
  • the display device 100 outputs a pop-up window according to the automatic connection time determined by the display device 100, and then the actual user agrees to the automatic connection time and determines whether the automatic connection proceeded as is after the determined automatic connection time (in accordance with the user's intention).
  • the results of automatic connection such as whether the connection was canceled without automatic connection (which may be interpreted as not meeting the user's intention), can be reflected in the parameter update of the learning model.
  • the display device 100 may adjust the target probability to 0.
  • the display device 100 can adjust the target probability to 1.
  • the display device 100 may transmit the adjusted target probability to the server device 300.
  • the display device 100 sends the target probability adjusted according to the presence or absence of automatic connection (1 for connected, 0 for canceled), RSSI observations and statistics calculated to determine the automatic connection time, and electronic device unique identification information to the server for model retraining. It can be transmitted to device 300.
  • the server device 300 may extract a learning model corresponding to the unique identification information of the electronic device.
  • the server device 300 may update the learning model using the adjusted target probability received from the display device 100. Updating a learning model may mean adjusting the parameters that make up the learning model.
  • the server device 300 may transmit the updated learning model, that is, the updated parameters, to the display device 100.
  • the display device 100 may store the updated learning model in the database 800.
  • the automatic connection time is determined based on the wireless signal strength information of the BLE signal transmitted by the BLE transmitter. This is because it is difficult to accurately measure the distance between the BLE transmitter and BLE receiver in the real world, and also difficult to accurately predict the automatic connection intention between the BLE transmitter and BLE receiver based on distance information alone due to the presence of various obstacles. There is an aspect that uses wireless signal strength.
  • Digital twin is a technology that creates a twin of an object in reality on a computer and predicts the outcome in advance by simulating situations that may occur in reality with a computer.
  • Digital twin is attracting attention as a technology that can solve not only manufacturing but also various industrial and social problems. And basically, it is a combination of data and information that represents the structure, context, and operation of various physical systems, and can be said to be an interface that can understand past and present operating states and predict the future.
  • the automatic connection time can be determined by considering influencing factors such as distance, obstacles, and walls between the BLE transmitter and BLE receiver. For example, if an avatar wearing a Bluetooth earset is near a TV, the automatic connection time can be determined by considering influencing factors such as the distance between the Bluetooth earset and the TV, obstacles, and walls.
  • Figure 13 shows an example of building a home environment in a virtual reality world according to an embodiment.
  • the home environment 1300 implemented in the virtual reality world may include a plurality of bedrooms, living rooms, kitchens, bathrooms, etc., and the automatic connection time may vary depending on where the avatar is based on the location where the TV is installed. It may vary. Additionally, not only does distance affect the automatic connection time, but the automatic connection time may vary depending on what walls or obstacles there are between the TV and the avatar.
  • Figure 14 shows an example of a table for determining the automatic connection time in consideration of influence factors including the distance and environment between BLE devices, according to an embodiment.
  • table 1410 for determining automatic connection time in the case of a straight distance without obstacles/walls includes four connection modes, of which three connection modes represent automatic connection mode and one connection mode represents manual connection mode. Indicates the connection mode.
  • the automatic connection mode may refer to a mode that automatically starts a connection operation after a certain period of time has elapsed.
  • Manual connection mode may indicate a mode that does not provide automatic connection and initiates connection behavior only when user input is received.
  • the distance between the BLE transmitter and BLE receiver is within 4.5m, and the connection waiting time indicates an immediate connection. For example, if the distance calculated by the display device 100 is within 4.5 m, the display device 100 may identify the first connection mode and immediately start a connection operation according to the automatic connection time corresponding to the first connection mode.
  • the distance between the BLE transmitter and BLE receiver is 4.5-9 m, and the connection waiting time is 5 seconds.
  • the display device 100 identifies the second connection mode and starts the connection operation immediately after 5 seconds according to the automatic connection time corresponding to the second connection mode. You can.
  • the third connection mode is when the distance between the BLE transmitter and BLE receiver is 9-15 m, and the connection waiting time is 10 seconds. For example, if the distance calculated by the display device 100 is 9-15 m, the display device 100 may identify the third connection mode and start a connection operation after 10 seconds according to the automatic connection time corresponding to the third connection mode. there is.
  • the fourth connection mode is when the distance between the BLE transmitter and BLE receiver is 15 m or more, and the connection waiting time is not determined. For example, if the distance calculated by the display device 100 is 15 m or more, the display device 100 identifies the fourth connection mode, does not automatically connect according to the fourth connection mode, and can start the connection operation only when a user input is received. .
  • Table 1420 for determining the automatic connection time when a large obstacle exists or is located around a corner includes four connection modes, of which three connection modes represent an automatic connection mode and one connection mode represents a manual connection mode. .
  • the automatic connection time can be determined by reflecting the distance weight of 1.5.
  • Table 1430 for determining automatic connection time when located beyond a door/wall without an open space includes four connection modes, of which three connection modes represent automatic connection mode and one connection mode represents manual connection mode. .
  • the automatic connection time can be determined by reflecting the distance weight 3.
  • Computer-readable media can be any available media that can be accessed by a computer and includes both volatile and non-volatile media, removable and non-removable media. Additionally, computer-readable media may include computer storage media. Computer storage media includes both volatile and non-volatile, removable and non-removable media implemented in any method or technology for storage of information such as computer-readable instructions, data structures, program modules or other data.
  • the disclosed embodiments may be implemented as S/W programs including instructions stored in computer-readable storage media.
  • a computer is a device capable of calling instructions stored from a storage medium and performing operations according to the disclosed embodiments according to the called instructions, and may include an electronic device according to the disclosed embodiments.
  • Computer-readable storage media may be provided in the form of non-transitory storage media.
  • ‘non-transitory’ only means that the storage medium does not contain signals and is tangible, and does not distinguish whether the data is stored semi-permanently or temporarily in the storage medium.
  • control method according to the disclosed embodiments may be included and provided in a computer program product.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • a computer program product may include a S/W program and a computer-readable storage medium in which the S/W program is stored.
  • a computer program product may include a product in the form of a S/W program (e.g., a downloadable app) distributed electronically by the device manufacturer or through an electronic marketplace (e.g., Google Play Store, App Store).
  • an electronic marketplace e.g., Google Play Store, App Store.
  • at least part of the S/W program may be stored in a storage medium or temporarily created.
  • the storage medium may be a manufacturer's server, an electronic market server, or a relay server's storage medium that temporarily stores the SW program.
  • a computer program product in a system comprised of a server and a device, may include a storage medium of a server or a storage medium of a device.
  • the computer program product may include a storage medium of the third device.
  • the computer program product may include a S/W program itself that is transmitted from a server to a device or a third device, or from a third device to the device.
  • one of the server, the device, and the third apparatus may execute the computer program product to perform the method according to the disclosed embodiments.
  • two or more of a server, a device, and a third apparatus may execute the computer program product and perform the methods according to the disclosed embodiments in a distributed manner.
  • a server eg, a cloud server or an artificial intelligence server, etc.
  • a server may execute a computer program product stored on the server and control a device connected to the server to perform the method according to the disclosed embodiments.
  • a third device may execute a computer program product to control a device communicatively connected to the third device to perform the method according to the disclosed embodiment.
  • the third device may download the computer program product from the server and execute the downloaded computer program product.
  • the third device may perform the methods according to the disclosed embodiments by executing the computer program product provided in a preloaded state.
  • a “unit” may be a hardware component such as a processor or circuit, and/or a software component executed by the hardware component such as a processor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Telephone Function (AREA)

Abstract

실시예들에 따라, 디스플레이 장치 및 그 동작 방법이 개시된다. 개시된 디스플레이 장치는 전자 장치로부터 무선 통신 연결 요청을 수신함에 따라 상기 전자 장치로부터 수신되는 무선 통신 신호의 세기를 검출하고, 무선 통신 신호의 세기에 따라 상기 전자 장치에 자동으로 연결되기 위해 경과되는 미리 정해진 시간을 나타내는 자동 연결 시간이 달라지는 복수개의 연결 모드들 중에서, 상기 전자 장치로부터 수신되는 상기 무선 통신 신호의 세기에 대응하는 하나의 연결 모드를 식별하고, 상기 식별된 연결 모드에 대응하는 자동 연결 시간을 안내하는 메시지를 표시하도록 상기 디스플레이를 제어하고, 상기 표시된 메시지에 대응하는 사용자 응답 여부에 따라 상기 전자 장치로의 자동 연결 동작의 수행 여부를 결정하고, 결정에 따라 자동 연결 동작을 수행하도록 구성된다.

Description

디스플레이 장치 및 그 동작 방법
다양한 실시예들은 디스플레이 장치 및 그 동작 방법에 관한 것으로, 보다 구체적으로는, 무선 통신을 이용하여 전자 장치와 연결하는 디스플레이 장치 및 그 동작 방법에 관한 것이다.
블루투스(Bluetooth)는 디지털 통신 기기를 위한 개인 근거리 무선 통신 산업 표준이다. ISM 대역에 포함되는 2.4~2.485GHz의 단파 UHF 전파를 이용하여 전자 장비 간의 짧은 거리의 데이터 통신 방식을 규정하는 블루투스는, 개인용 컴퓨터에 이용되는 마우스, 키보드를 비롯해, 휴대전화 및 스마트폰, 태블릿, 스피커 등에서 문자 정보 및 음성 정보를 비교적 낮은 속도로 디지털 정보를 무선 통신을 통해 주고 받는 용도로 사용되고 있다. 블루투스는 수 미터에서 수십 미터 정도의 거리를 둔 정보기기 사이에, 전파를 이용해서 간단한 정보를 교환하는데 사용된다.
저전력 블루투스(Bluetooth Low Energy, BLE)는 개인용 무선 네트워크 (Wireless Personal Area Network, WPAN) 기술의 일종으로, Bluetooth 4.0부터 저전력 (Low Energy,LE) 프로토콜을 지원하기 시작했다. 기존의 블루투스 (BR/EDR + HS) 기술이 데이터 전송 속도 (data rate)에 초점을 맞추고 있는 반면, BLE는 전력 소모를 줄이는 것에 초점을 맞추며 헬스케어, 피트니스, 보안 시스템 등의 특정 응용분야 (application)에 적합한 기술로 대두되었다.
본 개시의 일 실시예에 따라, 디스플레이 장치에 전자 장치를 자동 연결 하고자 할 때 전자 장치의 무선 통신 신호의 세기에 따라 자동 연결에 요구되는 시간을 다르게 설정함으로써 전자 장치의 상황에 맞게 적응적으로 자동 연결 동작의 제어를 할 수 있도록 하는 디스플레이 장치 및 동작 방법을 제공하고자 한다.
본 개시에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
일 실시예에 따라 디스플레이 장치는 디스플레이, 통신 인터페이스, 하나 이상의 인스트럭션을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 프로세서를 포함할 수 있다. 일 실시예에 따라 적어도 하나의 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 전자 장치로부터 무선 통신 연결 요청을 수신함에 따라 상기 전자 장치로부터 수신되는 무선 통신 신호의 세기를 검출할 수 있다. 일 실시예에 따라 적어도 하나의 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 무선 통신 신호의 세기에 따라 상기 전자 장치에 자동으로 연결되기 위해 경과되는 미리 정해진 시간을 나타내는 자동 연결 시간이 달라지는 복수개의 연결 모드들 중에서, 상기 전자 장치로부터 수신되는 상기 무선 통신 신호의 세기에 대응하는 하나의 연결 모드를 식별할 수 있다. 일 실시예에 따라 적어도 하나의 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 상기 식별된 연결 모드에 대응하는 자동 연결 시간을 안내하는 메시지를 표시하도록 상기 디스플레이를 제어할 수 있다. 일 실시예에 따라 적어도 하나의 프로세서는 하나 이상의 인스트럭션을 실행함으로써, 상기 표시된 메시지에 대응하는 사용자 응답 여부에 따라 상기 전자 장치로의 자동 연결 동작의 수행 여부를 결정하고, 결정에 따라 상기 자동 연결 동작을 수행하도록 구성될 수 있다.
일 실시예에 따라 디스플레이 장치의 동작 방법은, 전자 장치로부터 무선 통신 연결 요청을 수신함에 따라 상기 전자 장치로부터 수신되는 무선 통신 신호의 세기를 검출하는 동작을 포함할 수 있다. 일 실시예에 따라 디스플레이 장치의 동작 방법은, 무선 통신 신호의 세기에 따라 상기 전자 장치에 자동으로 연결되기 위해 경과되는 미리 정해진 시간을 나타내는 자동 연결 시간이 달라지는 복수개의 연결 모드들 중에서, 상기 전자 장치로부터 수신되는 상기 무선 통신 신호의 세기에 대응하는 하나의 연결 모드를 식별하는 동작을 포함할 수 있다. 일 실시예에 따라 디스플레이 장치의 동작 방법은, 상기 식별된 연결 모드에 대응하는 자동 연결 시간을 안내하는 메시지를 표시하는 동작을 포함할 수 있다. 일 실시예에 따라 디스플레이 장치의 동작 방법은, 상기 표시된 메시지에 대응하는 사용자 응답 여부에 따라 상기 전자 장치로의 자동 연결 동작의 수행 여부를 결정하고 결정에 따라 상기 자동 연결 동작을 수행하는 동작을 포함할 수 있다.
일 실시예에 따라 디스플레이 장치의 동작 방법의 구현을 위해 디스플레이 장치의 프로세서에 의해 실행되는 하나 이상의 프로그램이 기록된 비일시적 컴퓨터 판독 가능 기록 매체에 있어서, 상기 디스플레이 장치의 동작 방법은, 전자 장치로부터 무선 통신 연결 요청을 수신함에 따라 상기 전자 장치로부터 수신되는 무선 통신 신호의 세기를 검출하는 동작, 무선 통신 신호의 세기에 따라 상기 전자 장치에 자동으로 연결되기 위해 경과되는 미리 정해진 시간을 나타내는 자동 연결 시간이 달라지는 복수개의 연결 모드들 중에서, 상기 전자 장치로부터 수신되는 상기 무선 통신 신호의 세기에 대응하는 하나의 연결 모드를 식별하는 동작, 상기 식별된 연결 모드에 대응하는 자동 연결 시간을 안내하는 메시지를 표시하는 동작, 및 상기 표시된 메시지에 대응하는 사용자 응답 여부에 따라 상기 전자 장치로의 자동 연결 동작의 수행 여부를 결정하고 결정에 따라 상기 자동 연결 동작을 수행하는 동작을 포함할 수 있다.
일 실시예에 따른 디스플레이 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체에 따르면, 전자 장치의 무선 통신 신호의 세기에 따라 자동 연결을 위해 경과되어야 하는 시간을 다르게 설정하여 자동 연결 동작을 수행하도록 구성함으로써, 보다 정교하게 자동 연결 동작을 처리할 수 있다.
본 개시서에 개시된 실시예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 발명은, 다음의 자세한 설명과 그에 수반되는 도면들의 결합으로 쉽게 이해될 수 있으며, 참조 번호(reference numerals)들은 구조적 구성요소(structural elements)를 의미한다.
도 1은 다양한 실시예들에 따라 서버 장치와 디스플레이 장치의 동작을 설명하기 위한 참고도이다.
도 1은 다양한 실시예들에 따라 디스플레이 장치와 전자 장치의 동작을 설명하기 위한 참고도이다.
도 2는 일 실시예에 따라 디스플레이 장치, 전자 장치, 서버 장치를 포함하는 시스템의 일 예를 나타낸다.
도 3은 일 실시예에 따라 디스플레이 장치의 블록도의 일 예이다.
도 4는 일 실시예에 따라 디스플레이 장치의 동작 방법의 흐름도의 일 예를 나타낸다.
도 5는 일 실시예에 따라 디스플레이 장치와 전자 장치의 페어링 동작의 일 예를 나타내는 흐름도이다.
도 6은 일 실시예에 따라 본딩 프로세스를 수행한 전자 장치와의 연결이 끊어진 후 다시 재연결하는 동작의 흐름도의 일 예를 나타낸다.
도 7은 일 실시예에 따라 디스플레 장치의 동작 방법의 흐름도의 일 예를 나타낸다.
도 8은 일 실시예에 따라 디스플레이 장치 100에 페어링 이력이 있는 하나 이상의 전자 장치들에 대해 매핑된 학습 모델의 예를 나타낸다.
도 9는 일 실시예에 따른 연결 모드 테이블의 일 예를 나타낸다.
도 10은 일 실시예에 따라 자동 연결 시간을 안내하는 메시지의 일 예를 나타낸다.
도 11은 일 실시예에 따라 디스플레이 장치에 페어링된 전자 장치에 대해서 학습 모델을 저장하는 동작을 나타내는 흐름도이다.
도 12는 일 실시예에 따라 학습 모델을 업데이트하기 위한 동작의 일 예를 나타내는 흐름도이다.
도 13을 일 실시예에 따라 가상 현실 세계에서 홈 환경을 구축한 예를 나타낸다.
도 14는 일 실시예에 따라 BLE 기기들 사이의 거리 및 환경을 포함하는 영향인자를 고려하여 자동 연결 시간을 결정하기 위한 테이블의 예를 나타낸다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예들에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서의 실시예에서 "사용자"라는 용어는 제어 장치를 이용하여 컴퓨팅 장치 또는 전자 장치의 기능 또는 동작을 제어하는 사람을 의미하며, 시청자, 관리자 또는 설치 기사를 포함할 수 있다.
도 1은 다양한 실시예들에 따라 디스플레이 장치와 전자 장치의 동작을 설명하기 위한 참고도이다.
도 1을 참조하면, TV와 같은 디스플레이 장치 100와 무선 이어폰과 같은 전자 장치 200의 블루투스 페어링 완료 후에 블루투스 연결이 끊겼다가 다시 디스플레이 장치 100는 전자 장치 200로부터 블루투스 재연결 요청을 수신할 수 있다. 이와 같은 상황에서 디스플레이 장치 100는 다양한 방법에 따라 블루투스 재연결에 대한 사용자의 의사를 확인하기 위한 동작을 수행할 수 있다. 예를 들어, 디스플레이 장치 100는 전자 장치 200로부터 재연결 요청이 들어오면 사용자 의사를 묻는 팝업 창을 띄우고 사용자가 커넥트 버튼(연결을 수락)을 누르면 연결을 진행하고, 클로우즈 버튼(수락하지 않음)을 누르면 연결을 진행하지 않을 수 있다. 또한, 사용자로부터의 입력 없이 타임아웃(timeout)에 의해 팝업이 사라진 경우에도 연결을 진행하지 않을 수 있다.
스마트폰과 같은 개인 휴대 장치와 무선 이어폰의 재연결 경험에 있어 무선 이어폰의 이전 연결 이력이 개인 휴대 장치인 경우, 개인 휴대 장치는 개인화 기기로서 개인 휴대 장치는 복수의 사용자들에 의해 사용되는 것이 아니므로, 개인 휴대 장치에서는 팝업을 띄우지 않고 자동으로 재연결 동작을 진행할 수 있다. TV와 같은 디스플레이 장치의 경우 개인화 기기가 아닌, 복수의 사용자들에 의해 이용될 수 있는 홈 디바이스이기 때문에 재연결의 경우에 사용자 의사를 묻는 팝업 창을 띄울 수 있다. 이때 무선 이어폰을 연결하고자 하는 사용자의 경우 TV 콘트롤러 기기를 들어 TV에 표시된 버튼을 눌러야 하기 때문에 사용성이 떨어질 수 있다.
따라서, 개시된 실시예들에 따라 디스플레이 장치 100와 전자 장치 200 간의 재연결시에 블루투스 신호 세기에 따라서 자동 연결 시간을 가변화할 수 있다. 예를 들어, 디스플레이 장치 100는 전자 장치 200로부터의 블루투스 무선 신호의 세기를 검출하고, 검출된 블루투스 무선 신호의 세기에 대응하는 자동 연결 시간을 결정할 수 있다. 예를 들어, 디스플레이 장치 100는 복수의 자동 연결 시간에 각각 대응되는 복수의 연결 모드를 마련하고, 전자 장치 200로부터 수신된 블루투스 무선 신호의 세기 값을 미리 학습된 모델에 입력함으로써 타겟 확률을 계산하고, 계산된 타겟 확률이 복수의 연결 모드 중 어느 연결 모드에 대응하는지를 식별할 수 있다. 그리고 디스플레이 장치 100는 식별된 연결 모드에 대응하는 자동 연결 시간을 획득할 수 있다.
또한 개시된 실시예들에 따라 디스플레이 장치 100와 전자 장치 200 간의 재연결시에 블루투스 신호 세기에 따라서 가변화된 자동 연결 시간을 사용자에게 안내하고, 자동 연결 시간이 경과하면 자동으로 디스플레이 장치 100가 전자 장치 200에 재연결할 수 있다. 예를 들어 도 1을 참조하면, 디스플레이 장치 100는 전자 장치 200로부터의 연결 요청을 수신하면 전자 장치 200로부터 수신되는 블루투스 무선 신호의 세기에 대응하는 자동 연결 시간을 식별하고, 식별된 자동 연결 시간을 안내하는 팝업창 10을 출력할 수 있다. 팝업창 10은 무선 이어폰이 인식되었음을 알리는 메시지와 함께 <5초 이내 자동 연결> 이라는 아이템 11 및 <취소> 아이템 12를 포함할 수 있다. 이러한 팝업창 10에 대해서 사용자로부터 아무런 입력을 수신하지 않은 경우 디스플레이 장치 100는 자동 연결 시간 5초 경과 후 자동으로 전자 장치 200와 연결하는 동작을 수행할 수 있다. 이러한 팝업창 10에 대해서 사용자로부터 <취소> 아이템 12를 선택하는 입력을 수신한 경우 디스플레이 장치 100는 전자 장치 200와의 연결 동작을 진행하지 않을 수 있다.
또한 개시된 실시예들에 따라 실 사용자 환경에서의 컨텍스트에 맞게 자동 연결 시간 결정을 위한 파라미터들을 조정할 수 있다. 예를 들어, 디스플레이 장치 100는 전자 장치 200로부터 수신된 블루투스 무선 신호의 세기 값을 입력으로 하고 타겟 확률을 출력하는 미리 학습된 모델을 실 사용자 환경에서의 컨텍스트에 맞게 업데이트할 수 있다. 예를 들어, 디스플레이 장치 100는 미리 학습된 모델을 서버로부터 수신하여 저장할 수 있으며, 전자 장치 200로부터 수신된 블루투스 무선 신호의 세기 값에 따른 자동 연결 유무 결과 데이터를 서버로 전송함으로써 서버로 하여금 미리 학습된 모델을 업데이트하게 하고, 업데이트된 미리 학습된 모델을 서버로부터 수신할 수 있다. 이와 같이 전자 장치 200로부터의 블루투스 무선 신호의 세기 즉 사용자의 거리에 따라서 블루투스 자동 연결을 수행했는지 수행하지 않았는지를 나타내는 자동 연결 결과를 다시 미리 학습된 모델에 반영시켜 파라미터들을 조정함으로써 보다 사용자의 사용 환경에 맞는 최적의 연결 방법을 제공하고 사용 편의성을 강화할 수 있다.
도 2는 일 실시예에 따라 디스플레이 장치, 전자 장치, 서버 장치를 포함하는 시스템의 일 예를 나타낸다.
도 2를 참조하면, 시스템은 통신 네트워크로 연결된 디스플레이 장치 100, 전자 장치 200, 서버 장치 300를 포함할 수 있다.
디스플레이 장치 100는 사용자의 요청에 따라서 이미지나 데이터를 표시할 수 있는 장치로서, 통신부 110, 디스플레이 120, 메모리 130, 프로세서 140를 포함할 수 있다.
통신부 110는 디스플레이 장치 100과 무선 통신 시스템 사이 또는 디스플레이 장치 100과 다른 장치가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 통신부 110는 하나 이상의 통신 회로를 포함할 수 있다. 일 실시예에 따라 통신부 110는 전자 장치 200와 근거리 통신 기술에 따라 통신을 수행할 수 있다. 근거리 통신 기술은, 예를 들어, 블루투스 통신, 와이파이 통신, 적외선 통신 등을 포함할 수 있다. 일 실시예에 따라 통신부 110는 서버 장치 300와 인터넷 프로토콜에 따라 통신을 수행할 수 있다.
디스플레이 120는 디스플레이 장치 100에서 처리된 이미지나 데이터를 출력할 수 있다.
메모리 130는, 프로세서 140의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 디스플레이 장치 100로 입력되거나 디스플레이 장치 100로부터 출력되는 데이터를 저장할 수 있다. 또한, 메모리 130는 디스플레이 장치 100의 동작에 필요한 데이터들을 저장할 수 있다.
메모리 130는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 140는 디스플레이 장치 100의 전반적인 동작을 제어한다. 예를 들어, 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 기재된 디스플레이 장치 100의 기능을 수행할 수 있다. 프로세서 140는 하나 이상의 프로세서로 구성될 수 있다.
본 개시의 실시예에서, 프로세서 140는 내부적으로 구비되는 메모리에 하나 이상의 인스트럭션을 저장하고, 내부적으로 구비되는 메모리에 저장된 하나 이상의 인스트럭션을 실행하여 디스플레이 장치의 동작들이 수행되도록 제어할 수 있다. 즉, 프로세서 140는 프로세서 140의 내부에 구비되는 내부 메모리 또는 메모리 130에 저장된 적어도 하나의 인스트럭션 또는 프로그램을 실행하여 소정 동작을 수행할 수 있다.
일 실시예에 따라 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 개시된 디스플레이 장치 100의 동작을 수행할 수 있다.
일 실시예에 따라 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 전자 장치로부터 무선 통신 연결 요청을 수신함에 따라 상기 전자 장치로부터 수신되는 무선 통신 신호의 세기를 검출할 수 있다.
일 실시예에 따라 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 무선 통신 신호의 세기에 따라 상기 전자 장치에 자동으로 연결되기 위해 경과되는 미리 정해진 시간을 나타내는 자동 연결 시간이 달라지는 복수개의 연결 모드들 중에서, 상기 전자 장치로부터 수신되는 상기 무선 통신 신호의 세기에 대응하는 하나의 연결 모드를 식별할 수 있다.
일 실시예에 따라 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 식별된 연결 모드에 대응하는 자동 연결 시간을 안내하는 메시지를 표시하도록 상기 디스플레이를 제어할 수 있다.
일 실시예에 따라 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 표시된 메시지에 대응하는 사용자 응답 여부에 따라 상기 전자 장치로의 자동 연결 동작의 수행 여부를 처리할 수 있다.
일 실시예에 따라 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 무선 통신 신호의 RSSI 신호 세기에 기반하여 상기 무선 통신 신호의 신호 세기를 검출하도록 구성될 수 있다.
상기 복수의 연결 모드에서, 상기 무선 통신 신호의 세기가 커질수록 상기 자동 연결 시간이 짧아지고, 상기 무선 통신 신호의 세기가 약해질수록 상기 자동 연결 시간이 길어질 수 있다.
일 실시예에 따라 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 표시된 메시지에 대응하여 사용자 응답을 수신하지 않음에 따라 상기 자동 연결 시간 경과에 기반하여 상기 전자 장치로의 자동 연결 동작을 수행하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 표시된 메시지에 대응하여 취소를 선택하는 사용자 응답을 수신함에 따라 상기 전자 장치로의 자동 연결 동작을 수행하지 않도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 미리 학습된 모델을 이용하여 상기 검출된 무선 통신 신호의 세기에 대응하는 상기 하나의 연결 모드를 식별하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 미리 학습된 모델을 이용하여 상기 검출된 무선 통신 신호의 세기에 대응하는 타겟 확률을 계산하고, 상기 복수의 연결 모드들 중 상기 계산된 타겟 확률이 속하는 연결 모드를 상기 하나의 연결 모드로 식별하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 전자 장치로의 자동 연결 동작의 수행 여부 결과를 이용하여 상기 미리 학습된 모델을 업데이트하도록 구성될 수 있다.
일 실시예에 따라 프로세서 140는 하나 이상의 인스트럭션을 실행함으로써, 상기 자동 연결 동의 수행 여부 결과에 따라 상기 타겟 확률을 조정하고, 상기 조정된 타겟 확률을 서버로 전송하고, 상기 조정된 타겟 확률에 기반하여 재학습된 상기 미리 학습된 모델을 상기 서버로부터 수신함으로써 상기 미리 학습된 모델을 업데이트하도록 구성될 수 있다.
디스플레이 장치 100는 프로세서와 메모리를 포함하여 기능을 수행하는 어떠한 형태의 장치도 될 수 있다. 디스플레이 장치 100는 고정형 또는 휴대형 장치가 될 수 있다. 예를 들어, 디스플레이 장치 100는, 디스플레이 장치 100는 디스플레이를 구비하여 영상 컨텐츠, 비디오 컨텐츠, 게임 컨텐츠, 그래픽 컨텐츠 등을 표시할 수 있는 장치를 나타낼 수 있다. 디스플레이 장치 100는 서버 장치 300로부터 수신되는 영상이나 컨텐츠를 출력 또는 표시할 수 있다. 디스플레이 장치 100는 예를 들어, 네트워크 TV, 스마트 TV, 인터넷 TV, 웹 TV, IPTV와 같은 텔레비전, 데스크탑, 랩탑, 태블릿과 같은 컴퓨터, 스마트폰, 셀룰러폰, 게임 플레이어, 음악 플레이어, 비디오 플레이어, 의료 장비, 가전 제품 등 과 같은 다양한 스마트 기기 등과 같이 컨텐츠를 수신하여 출력할 수 있는 다양한 형태의 전자 장치를 포함할 수 있다. 디스플레이 장치 100는 컨텐츠를 수신하여 표시하는 측면이라는 점에서 디스플레이 장치로 언급될 수 있는 것이고, 그 외에도 컨텐츠 수신 장치, 싱크 장치, 전자 장치, 컴퓨팅 장치 등으로 언급될 수도 있다.
도 2에 도시된 디스플레이 장치 100의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 디스플레이 장치 100의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 예를 들어, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분화되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
이제 전자 장치 200를 설명한다.
전자 장치 200는 통신부 210, 사용자 입력부 220, 메모리 230, 프로세서 240을 포함할 수 있다. 그러나, 전자 장치 200는, 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있으며, 전술한 예에 한정되지 않는다.
통신부 210는 전자 장치 200과 무선 통신 시스템 사이 또는 전자 장치 200과 다른 장치가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 통신부 210는 하나 이상의 통신 회로를 포함할 수 있다. 일 실시예에 따라 통신부 210는 디스플레이 장치 100와 근거리 통신 기술에 따라 통신을 수행할 수 있다. 근거리 통신 기술은, 예를 들어, 블루투스 통신, 와이파이 통신, 적외선 통신 등을 포함할 수 있다. 일 실시예에 따라 통신부 210는 서버 장치 300와 인터넷 프로토콜에 따라 통신을 수행할 수 있다.
사용자 입력부 220는 사용자 입력을 수신할 수 있는 어떠한 형태의 인터페이스 수단이 될 수 있다. 예를 들어, 사용자 입력부 220는 전자 장치 200의 일부에 배열되어 사용자의 입력을 수신할 수 있는 조작 버튼, 터치 입력을 감지할 수 있도록 구성된 터치 센서티브 디스플레이, 사용자의 음성 발화 입력을 수신할 수 있는 마이크로폰 등을 포함할 수 있다.
메모리 230는, 프로세서 240의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 전자 장치 200으로 입력되거나 전자 장치 200로부터 출력되는 데이터를 저장할 수 있다.
메모리 230는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 240는 전자 장치 200의 전반적인 동작을 제어한다. 예를 들어, 프로세서 240는, 메모리 230에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 기재된 전자 장치 200의 기능을 수행할 수 있다.
본 개시의 실시예에서, 프로세서 240는 내부적으로 구비되는 메모리에 하나 이상의 인스트럭션을 저장하고, 내부적으로 구비되는 메모리에 저장된 하나 이상의 인스트럭션을 실행하여 전술한 동작들이 수행되도록 제어할 수 있다. 즉, 프로세서 240는 프로세서 240의 내부에 구비되는 내부 메모리 또는 메모리 230에 저장된 적어도 하나의 인스트럭션 또는 프로그램을 실행하여 소정 동작을 수행할 수 있다.
일 실시예에 따라 프로세서 240는, 메모리 230에 저장된 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 장치 100와 근거리 무선 통신 기술을 이용하여 통신 연결을 수행할 수 있다. 근거리 무선 통신 기술은 블루투스 통신 기술 또는 와이파이 다이렉트 기술 등을 포함할 수 있다.
일 실시예에 따라 프로세서 240는, 메모리 230에 저장된 하나 이상의 인스트럭션을 실행함으로써, 블루투스 페어링된 디스플레이 장치 100와 연관하여 소정의 기능을 수행하도록 동작할 수 있다.
예를 들어, 전자 장치 200가 무선 이어폰 인 경우, 프로세서 240는 페어링된 디스플레이 장치 100로부터 출력되는 오디오 신호를 수신하여 오디오 출력되도록 제어할 수 있다.
예를 들어, 전자 장치 200가 스마트폰 인 경우, 프로세서 240는 페어링된 디스플레이 장치 100로부터 출력되는 비디오 오디오 신호를 수신하여 스마트폰을 통해 출력되도록 제어할 수 있다.
전자 장치 200는 프로세서와 메모리를 포함하여 블루투스 통신 기능을 수행하는 어떠한 형태의 장치도 될 수 있다. 전자 장치 200는 스마트폰, 무선 이어폰, 스마트 와치, 등 다양한 전자 장치를 포함할 수 있다.
한편, 도 2에 도시된 전자 장치 200의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 전자 장치 200의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 예를 들어, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분화되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
이제 서버 장치 300를 설명한다.
서버 장치 300는 통신부 310, 메모리 320, 프로세서 330을 포함할 수 있다. 그러나, 서버 장치 300는, 도시된 구성요소보다 많은 구성요소에 의해 구현될 수 있으며, 전술한 예에 한정되지 않는다. 예를 들어 서버 장치 300는 서버 장치 300에서 실행된 어플리케이션 이미지의 영상 처리를 위한 별도의 영상 처리부를 구비할 수 있다.
통신부 310는 서버 장치 300과 무선 통신 시스템 사이 또는 서버 장치 300과 다른 장치가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 통신부 310는 하나 이상의 통신 회로를 포함할 수 있다. 일 실시예에 따라 통신부 310는 디스플레이 장치 100와 인터넷 프로토콜에 따라 통신을 수행할 수 있다. 일 실시예에 따라 통신부 310는 콘트롤러 200와 인터넷 프로토콜에 따라 통신을 수행할 수 있다.
메모리 320는, 프로세서 330의 처리 및 제어를 위한 프로그램을 저장할 수 있고, 서버 장치 300으로 입력되거나 서버 장치 300로부터 출력되는 데이터를 저장할 수 있다.
메모리 320는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 330는 서버 장치 300의 전반적인 동작을 제어한다. 예를 들어, 프로세서 330는, 메모리 320에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 기재된 서버 장치 300의 기능을 수행할 수 있다.
본 개시의 실시예에서, 프로세서 330는 내부적으로 구비되는 메모리에 하나 이상의 인스트럭션을 저장하고, 내부적으로 구비되는 메모리에 저장된 하나 이상의 인스트럭션을 실행하여 전술한 동작들이 수행되도록 제어할 수 있다. 즉, 프로세서 330는 프로세서 330의 내부에 구비되는 내부 메모리 또는 메모리 320에 저장된 적어도 하나의 인스트럭션 또는 프로그램을 실행하여 소정 동작을 수행할 수 있다.
일 실시예에 따라 프로세서 330는, 메모리 320에 저장된 하나 이상의 인스트럭션을 실행함으로써, 블루투스 무선 신호의 세기를 입력으로 하여 타겟 확률을 출력하는 미리 정해진 학습 모델을 학습하도록 구성될 수 있다. 이러한 미리 정해진 학습 모델은 이항 로지스틱 회귀모형을 이용하여 디스플레이 장치로부터의 가시거리가 특정 거리 이내 인 것을 감안해 미리 학습된 모델을 나타낸다. 타겟 확률은 입력으로 수신된 전자 장치의 블루투스 무선 신호의 세기에 대응하여 디스플레이 장치가 해당 전자 장치와 블루투스 연결을 수행할 가능성을 나타내는 척도로 이해될 수 있다.
일 실시예에 따라 프로세서 330는 메모리 320에 저장된 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 장치 100의 요청에 따라 디스플레이 장치 100에 페어링된 전자 장치 200에 대한 정보를 수신하고 전자 장치 200에 적합한 학습 모델을 매핑하여 데이터베이스 1100에 저장할 수 있다. 데이터베이스 1100는 전자 장치들의 고유 식별 정보 (UID)에 대응하여 각 전자 장치의 제품 특성이나 모델 특성에 기반하여 대응되는 학습 모델이 매핑되어 저장될 수 있다.
일 실시예에 따라 프로세서 330는 메모리 320에 저장된 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 장치 100의 요청에 따라 전자 장치 200에 대해서 학습된 학습 모델을 디스플레이 장치 200로 전송할 수 있다.
일 실시예에 따라 프로세서 330는 메모리 320에 저장된 하나 이상의 인스트럭션을 실행함으로써, 디스플레이 장치 100로부터 전자 장치 200에 대해서 수행된 자동 연결 유무 결과를 수신하고, 수신된 자동 연결 유무 결과를 이용하여 전자 장치 200에 대해서 학습된 학습 모델을 업데이트하고, 업데이트된 학습 모델을 디스플레이 장치 100로 전송할 수 있다.
도 2에 도시된 서버 장치 300의 블록도는 일 실시예를 위한 블록도이다. 블록도의 각 구성요소는 실제 구현되는 서버 장치 300의 사양에 따라 통합, 추가, 또는 생략될 수 있다. 예를 들어, 필요에 따라 2 이상의 구성요소가 하나의 구성요소로 합쳐지거나, 혹은 하나의 구성요소가 2 이상의 구성요소로 세분화되어 구성될 수 있다. 또한, 각 블록에서 수행하는 기능은 실시예들을 설명하기 위한 것이며, 그 구체적인 동작이나 장치는 본 발명의 권리범위를 제한하지 아니한다.
도 3은 일 실시예에 따라 디스플레이 장치의 블록도의 일 예이다.
도 3을 참조하면, 디스플레이 장치 100는 통신부 110, 디스플레이 120, 메모리 130, 프로세서 140 외에, 영상 처리부 150, 오디오 처리부 160, 오디오 출력부 170, 수신부 180, 감지부 190를 포함할 수 있다.
통신부 110는 디스플레이 장치 100과 무선 통신 시스템 사이 또는 디스플레이 장치 100과 다른 전자 장치가 위치한 네트워크 사이의 무선 통신을 가능하게 하는 하나 이상의 모듈을 포함할 수 있다. 통신부 110는 하나 이상의 통신 회로를 포함할 수 있다. 예를 들어, 통신부 110는 이동통신 모듈 111, 무선 인터넷 모듈 112 및 근거리 통신 모듈 113을 포함할 수 있다.
이동통신 모듈 111는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 상기 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
무선 인터넷 모듈 112은 무선 인터넷 접속을 위한 모듈을 말하는 것으로, 디바이스에 내장되거나 외장될 수 있다. 무선 인터넷 기술로는 WLAN(Wireless LAN)(WiFi), Wibro(Wireless broadband), Wimax(World Interoperability for Microwave Access), HSDPA(High Speed Downlink Packet Access) 등이 이용될 수 있다. 상기 무선 인터넷 모듈 112을 통해서 상기 디바이스는 다른 디바이스와 와이 파이(Wi-Fi) P2P(Peer to Peer)연결을 할 수 있다.
근거리 통신 모듈 113은 근거리 통신을 위한 모듈을 말한다. 근거리 통신 기술로 블루투스(Bluetooth), BLE(Bluetooth Low Energy), RFID(Radio Frequency Identification), 적외선 통신(IrDA, infrared Data Association), UWB(Ultra Wideband), ZigBee 등이 이용될 수 있다.
개시된 실시예에 따라 근거리 통신 모듈 113은 블루투스 통신 모듈 114를 포함할 수 있다. 블루투스 통신 모듈 114는 BLE 모듈 115 및 블루투스 모듈 116을 포함할 수 있다.
BLE 모듈 115는 BLE 통신 방식을 지원한다. BLE 통신 방식은 블루투스 4.0 표준 스펙을 따르는 것일 수 있다. BLE 통신 방식은 ISM(Industrial Scientific Medical) 주파수 대역에서 동작하며, 2 MHz의 채널 간격을 가진 40개의 RF 채널들을 이용한다. BLE의 RF 채널들은 3개의 애드버타이징 채널과 37개의 데이터 채널로 나뉜다.
BLE 통신 방식의 패킷은 프리앰블(사이즈 1 octet), 액세스 주소(Access Address)(사이즈 4 octets), 패킷 데 이터 유닛(Packet Data Unit, 이하 'PDU')(사이즈 2 to 39 octets) 및 CRC(사이즈 3 octets)로 구성된다. 애드 버타이징 패킷의 PDU는 16비트(bit) 사이즈의 헤더(Header)와 가변 가능한 사이즈의 페이로드(Payload)를 가질 수 있다. 애드버타이징 패킷의 페이로드는 6 옥텟 사이즈의 애드버타이저(advertiser)의 주 소(address) 필드와 0 ~ 31 옥텟 사이즈의 데이터 필드를 갖는다. 애드버타이저의 주소 필드에는 PDU의 헤더를 통해 지정된 애드버타이저의 공공의(public) 디바이스 주소 또는 랜덤 디바이스 주소가 포함될 수 있다. 공공의 디바이스 주소는 IEEE 802 표준의 유니버셜 LAN MAC 주소에 따른 것일 수 있다. 공공의 디바이스 주소에는 24 LSB(Least significant bits)에 company_assigned 필드가 포함되고, 24 MSB(Most significant bits)에 company_id 필드가 포함된다. 랜덤 디바이스 주소에는 24 LSB에 해쉬(hash) 필드가 포함되고, 24 MSB에 랜덤 필드가 포함된다. 본 발명의 일 면에 따라, 페이로드에 포함된 애드버타이저의 주소 필드의 값이 애드버타이저인 전자 장치의 식별자로 사용될 수 있다.
BLE 모듈 115는 전자 장치 200로부터 BLE 통신 방식에 따라 브로드캐스트되는 전자 장치 200의 식별자 및 통신 서비스의 시작을 나타내는 정보를 포함하는 어드버타이징 패킷을 수신할 수 있다.
제1 애드버타이징 패킷의 세부 데이터에는, 전송 파워 정보가 포함될 수 있다. 예를 들어, 애드버타이징 패킷의 세부 데이터에는 데이터가 전송 파워 레벨에 대한 것임을 나타내는 AD Type 필드와 전송 파워 레벨의 값을 표시하는 AD Data 필드가 포함될 수 있다. 애드버타이징 패킷에 대한 RSSI(Received Signal Strength Indicator)와 전송 파워 정보를 이용하여, 전자 장치 200로부터 디스플레이 장치 100 까지의 경로 감쇄(path loss)를 산출할 수 있다
블루투스 클래식 모듈 116는 블루투스 클래식 통신 방식을 지원할 수 있다.
블루투스 클래식 모듈 116는 디스플레이 장치 100가 전자 장치로 통신 연결을 요청하는 메시지를 블루투스 통신 방식으로 전송함으로써 블루투스 클래식 통신 방식의 통신 링크를 형성할 수 있다. 또한, 프로세서 140는 블루투스 클래식 모듈 116을 통해 블루투스 클래식 통신 방식의 통신 연결을 요청하는 메시지를 전송하기 전까지 블루투스 클래식 모듈 116이 비활성화되도록 제어할 수 있다. 프로세서 140는 BLE 통신 방식을 이용하여 협상 절차가 완료된 전자 장치로 블루투스 클래식 통신 방식의 통신 연결을 요청하는 메시지를 전송하기 위해 블루투스 클래식 모듈 116이 활성화되도록 제어할 수 있다.
블루투스 통신 모듈 114은 적어도 하나의 안테나, RF 회로, 모뎀 등을 포함할 수 있으며 하드웨어 또는 소프트웨어로 구성될 수 있다.
디스플레이 120는 서버 장치 300로부터 수신된 영상 신호를 화면에 표시할 수 있다.
메모리 130는 디스플레이 장치 100의 동작에 관련된 프로그램, 디스플레이 장치 100의 동작 중에 발생하는 각종 데이터를 저장할 수 있다.
메모리 130는 적어도 하나의 인스트럭션을 저장할 수 있다. 또한, 메모리 130는 프로세서 140가 실행하는 적어도 하나의 인스트럭션을 저장하고 있을 수 있다. 또한, 메모리 130는 프로세서 140가 실행하는 적어도 하나의 프로그램을 저장하고 있을 수 있다. 또한, 메모리 130는 소정 서비스를 제공하기 위한 어플리케이션을 저장하고 있을 수 있다.
구체적으로, 메모리 130는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
프로세서 140는 디스플레이 장치 100의 전반적인 동작을 제어한다. 예를 들어, 프로세서 140는, 메모리 130에 저장된 하나 이상의 인스트럭션을 실행함으로써, 본 개시서에 기재된 디스플레이 장치 100의 기능을 수행할 수 있다.
본 개시의 실시예에서, 프로세서 140는 내부적으로 구비되는 메모리에 하나 이상의 인스트럭션을 저장하고, 내부적으로 구비되는 메모리에 저장된 하나 이상의 인스트럭션을 실행하여 디스플레이 장치의 동작들이 수행되도록 제어할 수 있다. 즉, 프로세서 140는 프로세서 140의 내부에 구비되는 내부 메모리 또는 메모리 130에 저장된 적어도 하나의 인스트럭션 또는 프로그램을 실행하여 소정 동작을 수행할 수 있다.
예를 들어, 프로세서 140는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 제어할 수 있다. 여기서, 적어도 하나의 인스트럭션은 프로세서 140 내에 포함되는 내부 메모리 또는 프로세서 140와 별도로 디스플레이 장치 100 내에 포함되는 메모리 130에 저장되어 있을 수 있다.
프로세서 140는 는 적어도 하나의 인스트럭션을 수행하여, 의도하는 동작이 수행되도록 디스플레이 장치 100 내부에 포함하는 적어도 하나의 구성들을 제어할 수 있다. 따라서, 프로세서 140가 소정 동작들을 수행하는 경우를 예로 들어 설명하더라도, 프로세서 140가 소정 동작들이 수행되도록 디스플레이 장치 100 내부에 포함하는 적어도 하나의 구성들을 제어하는 것을 의미할 수 있을 것이다.
또한, 프로세서 140는 하나의 프로세서로 형성되는 경우를 예로 들어 설명 및 도시하였으나, 복수개의 프로세서들이 포함되는 형태로 형성될 수도 있다.
예를 들어, 프로세서 140는 디스플레이 장치 100의 외부에서부터 입력되는 신호 또는 데이터를 저장하거나, 디스플레이 장치 100에서 수행되는 다양한 작업에 대응되는 저장 영역으로 사용되는 RAM, 디스플레이 장치 100의 제어를 위한 제어 프로그램, 소정 기능 또는 서비스를 제공하기 위한 어플리케이션, 및/또는 복수개의 인스트럭션이 저장된 ROM 및 적어도 하나의 프로세서 (Processor)를 포함할 수 있다. 프로세서 140는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 프로세서 140는 코어(core, 미도시)와 GPU(미도시)를 통합한 SoC(System On Chip)로 구현될 수 있다. 또한, 프로세서 140는 싱글 코어 이상의 멀티 코어를 포함할 수 있다. 예를 들어, 프로세서 140는 듀얼 코어, 트리플 코어, 쿼드 코어, 헥사 코어, 옥타 코어, 데카 코어, 도데카 코어, 헥사 데시멀 코어 등을 포함할 수 있다.
영상 처리부 150는 프로세서 140의 제어에 따라, 수신부 110 또는 통신부 120로부터 수신되는 영상신호를 처리하여 디스플레이 130로 출력할 수 있다.
오디오 처리부 160는 프로세서 140의 제어에 따라, 수신부 110 또는 통신부 120로부터 수신되는 오디오 신호를 아날로그 오디오 신호로 변환하여 오디오 출력부 180로 출력할 수 있다.
오디오 출력부 170는 통신부110 또는 수신부 180를 통해 입력되는 오디오(예를 들어, 음성, 사운드)를 출력할 수 있다. 또한, 오디오 출력부170는 프로세서 140의 제어에 의해 메모리 130에 저장된 오디오를 출력할 수 있다. 오디오 출력부170는 스피커, 헤드폰 출력 단자 또는 S/PDIF(Sony/Philips Digital Interface: 출력 단자 중 적어도 하나 또는 그 조합을 포함할 수 있다.
수신부 180는 프로세서 140의 제어에 의해 디스플레이 장치 100의 외부에서부터 비디오(예를 들어, 동영상 등), 오디오(예를 들어, 음성, 음악 등) 및 부가 정보(예를 들어, EPG 등) 등을 수신할 수 있다. 수신부 180는 HDMI 포트(High-Definition Multimedia Interface port, 181, 컴포넌트 잭(component jack, 182), PC 포트(PC port, 183), 및 USB 포트(USB port, 184) 중 하나를 포함하거나, 하나 이상의 조합을 포함할 수 있다. 수신부 180는 HDMI 포트 이외에도 디스플레이 포트 (DisplayPort; DP), 썬더볼트 (Thunderbolt), MHL (Mobile High-Definition Link)를 더 포함할 수 있다.
감지부 190는 사용자의 음성, 사용자의 영상 또는 사용자의 인터랙션을 감지하며, 마이 크191, 카메라부192 및 광 수신 부193를 포함할 수 있다.
마이크 191는 사용자의 발화(utterance)된 음성을 수신한다. 마이크191는 수신된 음성을 전기 신호로 변환하여 프로세서 140로 출력할 수 있다. 사용자 음성은 예를 들어, 디스플레이 장치 100의 메뉴 또는 기능에 대응되는 음성을 포함할 수 있다.
카메라부 192는 카메라 인식 범위에서 제스처를 포함하는 사용자의 모션에 대응되는 영상(예를 들어, 연속되는 프레임)을 수신할 수 있다. 프로세서 140는 수신된 모션의 인식 결과를 이용하여 디스플레이 장치 100에 표시되는 메뉴를 선택하거나 모션 인식 결과에 대응되는 제어를 할 수 있다.
광 수신부 193는 외부의 제어 장치에서부터 수신되는 광 신호(제어 신호를 포함)를 수신한다. 광 수신부193는 제어 장치로부터 사용자 입력(예를 들어, 터치, 눌림, 터치 제스처, 음성, 또는 모션)에 대응되는 광 신호를 수신할 수 있다. 수신된 광 신호로부터 프로세서 140의 제어에 의해 제어 신호가 추출될 수 있다.
프로세서 140는 디스플레이 장치 100의 전반적인 동작 및 디스플레이 장치 100의 내부 구성요소들(미도시)사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 프로세서 140는 사용자의 입력이 있거나 기 설정되어 저장된 조건을 만족하는 경우, 프로세서 140는 메모리 130에 저장된 OS(Operation System) 및 다양한 애플리케이션을 실행할 수 있다.
프로세서(미도시)는 비디오에 대응되는 그래픽 처리를 위한 그래픽 프로세서(Graphic Processing Unit, 미도시)를 포함할 수 있다. 그래픽 처리부(미도시)는 연산부(미도시) 및 렌더링부(미도시)를 이용하여 아이콘, 이미지, 텍스트 등과 같은 다양한 객체를 포함하는 화면을 생성한다. 연산부는 감지부(미도시)를 통해 감지된 사용자 인터랙션을 이용하여 화면의 레이아웃에 따라 각 객체들이 표시될 좌표값, 형태, 크기, 컬러 등과 같은 속성값을 연산한다. 렌더링부는 연산부에서 연산한 속성값에 기초하여 객체를 포함하는 다양한 레이아웃의 화면을 생성한다.
메모리 130는 디스플레이 장치 100의 동작에 관련된 프로그램, 디스플레이 장치 100의 동작 중에 발생하는 각종 데이터를 저장할 수 있다.
도 4는 일 실시예에 따라 디스플레이 장치의 동작 방법의 흐름도의 일 예를 나타낸다.
도 4를 참조하면, 동작 410에서, 디스플레이 장치 100는 전자 장치 200로부터 무선 통신 연결 요청을 수신함에 따라 전자 장치의 무선 통신 신호의 세기를 검출할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 전자 장치 200로부터 블루투스 통신 연결 요청을 수신함에 따라 전자 장치 200의 블루투스 통신 신호의 세기를 검출할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 블루투스 통신 신호로부터 블루투스 통신 신호의 세기에 대한 정보를 획득할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 전자 장치 200로부터 BLE 통신 방식을 이용한 무선 통신 연결 요청을 수신함에 따라 전자 장치 200의 BLE 신호로부터 BLE 신호의 세기를 검출할 수 있다.
동작 420에서, 디스플레이 장치 100는 무선 통신 신호의 세기에 따라 전자 장치에 자동으로 연결하기 위해 경과되는 미리 정해진 시간을 나타내는 자동 연결 시간이 달라지는 복수개의 연결 모드들 중 하나의 연결 모드를 선택할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 복수개의 연결 모드에 대한 정보를 저장할 수 있다. 복수개의 연결 모드의 각각은 무선 통신 신호의 세기에 따라 자동 연결 시간이 서로 다른 연결 모드를 나타낸다. 자동 연결 시간은, 전자 장치에 자동으로 연결하기 위해 경과되는 미리 정해진 시간을 나타낼 수 있다. 예를 들어 복수개의 연결 모드는 세개의 연결 모드를 포함할 수 있으며, 제1 연결 모드에 대응하여 자동 연결 시간은 3초로 설정될 수 있고, 이는 3초가 경과하면 디스플레이 장치 100가 자동 연결 동작을 시작하는 모드를 나타낼 수 있다. 제2연결 모드에 대응하여 자동 연결 시간은 5초로 설정될 수 있고, 이는 5초가 경과하면 디스플레이 장치 100가 자동 연결 동작을 시작하는 모드를 나타낼 수 있다. 제3연결 모드에 대응하여 자동 연결 시간은 10초로 설정될 수 있고, 이는 10초가 경과하면 디스플레이 장치 100가 자동 연결 동작을 시작하는 모드를 나타낼 수 있다. 전자 장치의 무선 통신 신호의 세기가 클수록 자동 연결 시간을 짧게 설정하여 상대적으로 짧은 경과 시간 후에 자동 연결 동작을 시작하고, 전자 장치의 무선 통신 신호의 세기가 약할수록 자동 연결 시간을 길게 설정하여 긴 경과 시간 후에 자동 연결 동작을 시작하도록 설정될 수 있다. 연결 모드의 개수는 다양하게 결정될 수 있으며, 자동 연결 시간도 다양하게 결정될 수 있을 것이다.
일 실시예에 따라 디스플레이 장치 100는 복수개의 연결 모드 중에서, 전자 장치 200의 무선 통신 신호의 세기에 대응하는 하나의 연결 모드를 식별할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 무선 통신 신호의 세기를 입력으로 하여 타겟 확률을 출력하는 미리 학습된 모델을 이용하여, 전자 장치 200의 무선 통신 신호의 세기에 대응하는 타겟 확률을 얻을 수 있다. 디스플레이 장치 100는 얻어진 타겟 확률이 복수개의 연결 모드 중 어느 연결 모드에 속하는지를 판단함으로써 하나의 연결 모드를 식별할 수 있다.
동작 430에서, 디스플레이 장치 100는 식별된 연결 모드에 대응하는 자동 연결 시간을 안내하는 메시지를 표시할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 전자 장치 200의 무선 통신 신호의 세기에 기반하여 식별된 연결 모드에 대응하는 자동 연결 시간을 획득하고, 획득된 자동 연결 시간을 안내하는 메시지를 표시할 수 있다. 메시지는 예를 들어 자동 연결 시간이 경과하면 자동으로 전자 장치 200에 무선 통신 연결 동작이 시작됨을 나타내는 안내와 함께, 연결 동작을 취소할 수 있는 취소 아이템을 포함할 수 있다.
동작 440에서, 디스플레이 장치 100는 표시된 메시지에 대응하는 사용자 응답 여부에 따라 전자 장치 200로의 자동 연결 동작의 수행 여부를 처리할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 표시된 메시지에 대응하여 아무런 사용자 입력이 수신되지 않은 경우에, 자동 연결 시간 경과 후에 전자 장치 200로의 자동 연결 동작을 시작할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 표시된 메시지에 대응하여 사용자로부터 취소 아이템을 선택하는 사용자 입력을 수신한 경우 디스플레이 장치 100는 전자 장치 200로의 통신 연결 동작을 진행하지 않을 수 있다.
이하에서는 도 5 내지 도 14를 참조하여 다양한 실시예들에 따른 동작을 구체적으로 설명한다.
본 개시서에 개시된 실시예들에는 이미 한번 블루투스 통신 페어링이 수행된 디스플레이 장치와 전자 장치 사이에서, 이후 디스플레이 장치에 전자 장치가 다시 연결하려고 하는 경우 이전의 페어링 정보에 기반하여 간편하게 재연결 동작을 수행할 때 보다 사용 환경에 적응적으로 연결 동작을 제공하기 위한 것이다.
도 5는 일 실시예에 따라 디스플레이 장치와 전자 장치의 페어링 동작의 일 예를 나타내는 흐름도이다.
동작 510에서, 전자 장치 200는 BLE 어드버타이징 패킷을 브로드캐스트함으로써 페어링 요청을 전송할 수 있다.
동작 520에서, 디스플레이 장치 100는 페어링 응답을 전자 장치 200로 전송할 수 있다.
동작 530에서, 전자 장치 200난 임시 암호화 키와 함께 컨펌을 디스플레이 장치 100로 전송할 수 있다.
동작 540에서, 디스플레이 장치 100는 디스플레이 장치 100의 롱텀 암호화 키 (long term encryption key (LTK)), ID 확인 키 (IRK)와 함께 응답을 전자 장치 200로 전송할 수 있다.
동작 550에서, 전자 장치 200는 디스플레이 장치 100로부터 수신한 디스플레이 장치 100의 롱텀 암호화 키 (long term encryption key (LTK))와 ID 확인 키 (IRK)를 저장할 수 있다.
동작 560에서, 전자 장치 200는 전자 장치 200의 롱텀 암호화 키 (long term encryption key (LTK)), ID 확인 키 (IRK)와 함께 응답을 디스플레이 장치 100로 전송할 수 있다.
동작 570에서, 디스플레이 장치 100는 전자 장치 200의 롱텀 암호화 키 (long term encryption key (LTK)) 및 ID 확인 키 (IRK)를 저장할 수 있다.
이와 같이 BLE 장치 간의 키 교환 및 저장을 본딩이라고 하는데, 이러한 본딩 프로세스를 통해 안전한 Bluetooth Low Energy 연결을 설정하고, 롱텀 암호화 키 (LTK) 교환을 통해 지속적인 암호화를 제공할 수 있다. LTK 외에도 BLE 장치는 ID 확인 키(IRK)도 교환할 수 있다. IRK는 임의 주소가 주기적으로 변경되거나 BLE 장치가 범위 내로 돌아올 때 연결을 인증하기 위해 임의 개인 주소와 함께 사용될 수 있다. 이렇게 하면 알려진 장치가 무작위 주소 변경을 통해 서로 연결된 상태를 유지할 수 있지만 신뢰할 수 없는 장치가 고정 주소를 통해 장치를 추적하는 것을 방지할 수 있다. 따라서, ID 확인 키(IRK)의 교환 및 저장을 통해 Bluetooth 저에너지 프라이버시 설정 및 BLE 연결 재개 시 장치를 인증하는 데 사용될 수 있다.
도 6은 일 실시예에 따라 본딩 프로세스를 수행한 전자 장치와의 연결이 끊어진 후 다시 재연결하는 동작의 흐름도의 일 예를 나타낸다.
도 6을 참조하면, 동작 610에서, 전자 장치 200는 BLE 어드버타이징 패킷을 브로드캐스트함으로써 페어링 요청을 전송할 수 있다. 이러한 BLE 어드버타이징 패킷은 전자 장치의 랜덤 사설 주소 (Random Private Address(RPA))를 포함할 수 있다.
동작 620에서, 디스플레이 장치 100는 저장되어 있던 전자 장치 200의 IRK를 이용하여 랜덤 사설 주소를 리졸브할 수 있다.
BLE 어드버타이징 패킷의 어드버타이저 주소는 장치 MAC 주소와 동일한 길이인 6바이트(48비트) 필드이다. 정적 MAC 주소를 전송하는 대신 RPA를 사용하는 장치는 2개의 고정 비트와 함께 22비트 난수(prand) 및 24비트 해시 값을 전송할 수 있다. 알려진 장치의 ID를 확인하기 위해 RPA를 사용하는 BLE 어드버타이징 패킷의 수신자 즉, 디스플레이 장치 100는 128비트 IRK 및 128비트 IRK에 패딩된 24비트 PRAND(2개의 고정 비트 사용)에서 알려진 암호화 기능을 실행할 수 있다. 암호화 기능의 결과가 어드버타이징 패킷의 주소 필드에서 추출한 24비트 해시 값과 일치하면 주소가 확인되고 장치의 신원이 확인될 수 있다. 그런 다음 두 장치는 안전한 비공개 방식으로 계속 통신할 수 있게 된다.
동작 630에서, 디스플레이 장치 100는 이러한 RPA 리졸브 동작을 통해서 전자 장치의 고유 식별 정보 (UID)를 획득할 수 있다.
동작 640에서, 디스플레이 장치 100는 본 개시서에 개시된 실시예들에 따라 전자 장치 200의 무선 통신 신호 세기에 대응하여 연결 모드를 식별하고 연결 모드에 따라, 식별된 연결 모드에 대응하는 자동 연결 시간을 안내하는 메시지를 출력할 수 있다. 동작 640의 구체적인 동작에 대해서는 이하에서 자세히 설명하기로 한다.
동작 650에서, 디스플레이 장치 100는 연결 취소를 선택하는 사용자 입력을 수신 했는지를 판단할 수 있다. 일 실시예에 따라 디스플레이 장치 100는 전자 장치 200의 무선 통신 신호 세기에 대응하여 식별된 연결 모드에 따라 결정된 자동 연결 시간이 경과되기 전에 연결 취소를 선택하는 사용자 입력을 수신 했는지를 판단할 수 있다.
동작 640에서의 판단 결과 연결 취소를 선택하는 사용자 입력을 수신하지 않은 경우, 동작 660으로 진행할 수 있다.
동작 660에서, 디스플레이 장치 100는 전자 장치 200로 연결 요청을 전송할 수 있다. 이때 디스플레이 장치 100는 전자 장치 200의 무선 통신 신호 세기에 대응하여 결정된 자동 연결 시간을 경과하면 자동으로 전자 장치 200로 연결 요청을 전송할 수 있다.
동작 670에서, 전자 장치 200는 디스플레이 장치 100의 IRK를 이용하여 디스플레이 장치 100의 RPA를 리졸브할 수 있다.
동작 680에서, 전자 장치 200는 디스플레이 장치 100로 연결 컨펌을 전송할 수 있다. 이와 같은 동작에 의해 디스플레이 장치 100와 전자 장치 200간에 안전한 연결이 재설정될 수 있다.
동작 640에서의 판단 결과 연결 취소를 선택하는 사용자 입력을 수신한 경우, 동작 690으로 진행할 수 있다.
동작 690에서, 디스플레이 장치 100는 디스플레이 장치 100는 전자 장치 200로의 연결 동작을 더 이상 진행하지 않고 연결 동작을 중단할 수 있다.
도 7은 일 실시예에 따라 디스플레 장치의 동작 방법의 흐름도의 일 예를 나타낸다. 도 7에 도시된 동작 720 내지 760은 도 6에 도시된 동작 640에 대응될 수 있다.
동작 710에서, 디스플레이 장치 100는 전자 장치의 고유 식별 정보를 획득할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 전자 장치 200의 BLE 어드버타이징 패킷을 발견하면 전자 장치 200의 BLE MAC 주소를 통해 이전에 본딩 및 연결 이력이 있는지 확인한 후 BT MAC 주소로 리졸브할 수 있다. 그리고 디스플레이 장치는 이러한 BT MAC 주소를 통해 전자 장치의 고유 식별 정보 (Unique ID (UID))를 찾을 수 있다.
동작 720에서, 디스플레이 장치 100는 전자 장치의 고유 식별 정보에 대응하는 학습 모델을 획득할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 디스플레이 장치 100에 페어링 이력이 있는 하나 이상의 전자 장치들에 대해서 매핑된 학습 모델을 저장할 수 있다.
도 8은 일 실시예에 따라 디스플레이 장치 100에 페어링 이력이 있는 하나 이상의 전자 장치들에 대해 매핑된 학습 모델의 예를 나타낸다.
도 8을 참조하면, 디스플레이 장치 100는 디스플레이 장치에 페어링 이력이 있는 전자 장치들에 대해 매핑된 학습 모델 데이터베이스 800을 포함할 수 있다.
학습 모델 데이터베이스 800은 고유 식별 정보 #1을 가진 무선 이어폰에 대응하여 제1학습 모델이 매핑되어 있고, 고유 식별 정보 #2를 가진 스마트 와치에 대응하여 제2학습 모델이 매핑되어 있고, 고유 식별 정보 #3을 가진 스마트폰에 대응하여 제3학습 모델이 매핑되어 있을 수 있다.
각 전자 장치에 대응하여 공통적으로 학습 모델은 이항 로지스틱 회귀 모형 (binomial logistic regression model)을 이용하여 디스플레이 장치로부터 가시거리가 대체로 미리 정해진 거리 (예를 들어 4m) 인 것을 감안하여 미리 학습된 모델을 나타낸다.
이항형 로지스틱 회귀(binomial logistic regression)의 경우 종속 변수의 결과가 (성공, 실패) 와 같이 2개의 카테고리가 존재하는 것을 의미하며 이항형 로지스틱의 회귀 분석에서 2개의 카테고리는 0과 1로 나타내어지고 각각의 카테고리로 분류될 확률의 합은 1이 된다.
이항 로지스틱 회귀에서 로지스틱 함수 p는 다음과 같이 정의될 수 있으며, 이는 특정 독립 변수 x가 주어졌을 때, 종속 변수가 1의 카테고리에 속할 확률을 나타낼 수 있다.
Figure PCTKR2023013446-appb-img-000001
즉, 위 학습 모델에 의해 정의되는 확률 p는 x1, x2, x3가 주어졌을 때 P 가 1의 카테고리에 속할 확률을 나타낼 수 있다. 여기서, β0는 상수, β1은 RSSI 값을 나타내는 x1에 곱해지는 계수, β2는 미리 정해진 개수의 RSSI값의 평균을 나타내는 x2에 곱해지는 계수, β3는 미리 정해진 개수의 RSSI값의 표준편차를 나타내는 x3의 계수를 나타낸다.
다시 말하면, 디스플레이 장치 100는 로지스틱 함수 p에 RSSI 값, RSSI 값의 평균, RSSI의 표준편차를 입력하여 타겟 확률 p를 계산할 수 있다. 타겟 확률 p는 현재 블루투스 통신 신호를 보낸 전자 장치로부터의 연결 요청이 디스플레이 장치와 동일한 공간에 있어서 사용자가 연결 의도를 갖고 있을 확률로 이해될 수 있다. 따라서 결과로 나온 타겟 확률이 큰 값을 나타낸다면 이는 사용자가 연결 의도를 갖고 있을 확률이 높은 것으로 해석하여 자동 연결 시간을 가능한 짧게 하고, 결과로 나온 타겟 확률이 작은 값을 나타낸다면 이는 사용자가 연결 의도를 갖고 있을 확률이 낮은 것으로 해석하여 자동 연결 시간을 가능한 길게 설정할 수 있다.
각 전자 장치의 제품 특성 즉, 무선 이어폰인지 또는 스마트 와치 인지 등에 따라 블루투스 통신 성능이 다를 수 있고 또한 동일한 제품이더라도 모델별로, 즉 무선 이어폰의 다양한 모델이나 제조자에 따라서 블루투스 통신 성능이 다를 수 있다. 따라서, 디스플레이 장치 100는 디스플레이 장치 100에 페어링 이력이 있는 하나 이상의 전자 장치들 각각에 대응하는 학습 모델을 마련할 수 있다. 여기서 각 전자 장치에 대응하는 학습 모델이라는 것은 로지스틱 함수 p에 이용되는 파라미터 셋 {β0, β1, β2, β3} 의 값이 서로 다른 것을 나타낸다. 예를 들어 고유 식별 정보 #1을 가진 무선 이어폰에 대응해서는 제1파라미터 셋 {β0, β1, β2, β3} = {-2.9259, -0.0177, -0.0302,-0.0147}을 이용한 제1학습모델이, 고유 식별 정보 #2을 가진 스마트 와치에 대응해서는 제2파라미터 셋 {β0, β1, β2, β3}= {-2.8394, -0.0155, -0.0490, -0.0235}을 이용한 제2학습모델이, 고유 식별 정보 #3을 가진 스마트 폰에 대응해서는 제3파라미터 셋 {β0, β1, β2, β3} = {-2.8394, -0.0155, -0.0490, -0.0235}을 이용한 제3학습 모델을 획득할 수 있다.
다시 도 7로 돌아가서, 동작 730에서, 디스플레이 장치 100는 전자 장치의 BLE 어드버타이징 패킷의 RSSI를 학습 모델에 입력하여 타겟 확률을 계산할 수 있다.
BLE 기기가 어드버타이징 모드(Advertise Mode)에서 주기적으로 송신하는 어드버타이징 패킷 (비콘 메시지)는 수신 신호 강도 지표 (Received Signal Strength Indication:RSSI) 를 포함하며, RSSI는 수신된 무선 신호에 존재하는 전력 측정 값을 나타낸다. RSSI는 주로 음의 dBm 값으로 표시되며 0dBm에 가까울수록 신호가 강함을 나타낸다. 따라서 BLE에서 어드버타이징 패킷을 송신하는 송신기와 어드버타이징 패킷을 수신하는 수신기의 거리가 가까울 수록 RSSI값이 커지고, 송신기와 수신기의 거리가 멀수록 RSSI값은 작아진다. 이러한 특성에 기반하여 RSSI는 송신기와 수신기의 사이의 거리를 나타내는 지표로 사용될 수 있다.
RSSI=10nlog10(d)+α
n은 경로 손실 지수로 주변 환경(벽 또는 장애물의 여부 등)에 따라 2~4의 값을 가진다. 주변에 아무런 장애물도 없다면 경로 손실 지수는 2이며, 장애물의 여부와 개수에 따라 3 또는 4가 될 수 있다. d는 거리이고, α는 TX power로 특정 거리에서 수신기로부터 측정된 기본 RSSI 값을 나타낸다.
예를 들어, 디스플레이 장치 100는 미리 정해진 시간 (예를 들어 4초) 동안 수신된 전자 장치의 BLE 어드버타이징 패킷으로부터 측정하여 미리 정해진 개수 (예를 들어 40개 이상)의 RSSI 값들을 수집할 수 있다. 수집한 RSSI로부터 사분위수를 이용해 이상치(Outlier)를 제거하고, 평균과 표준편차를 계산할 수 있다. (Tukey Fences 방식) Q1-(1.5*IQR) 을 lower bound로, Q3+(1.5*IQR) 을 upper bound로 정의하고, lower bound미만, upper bound 초과 범위의 값을 이상치로 판단해 이를 제외한 나머지 RSSI값들로부터 평균과 표준편차를 구할 수 있다. (Q1: 1분위수, Q3: 3분위수, IQR: 사분위 범위)
이와 같이 계산한 평균, 표준편차, RSSI 값들을, 전자 장치 고유 식별 정보에 대응하는 학습모델에 입력으로 넣고, 타겟 확률을 계산할 수 있다. 한다. 여기서 타겟 확률은 현재 전자 장치로부터의 연결 요청이 디스플레이 장치와 동일 공간에 있는 사용자가 연결 의도를 갖고 있을 확률로 이해될 수 있다.
동작 740에서, 디스플레이 장치 100는 계산된 타겟 확률에 대응하는 자동 연결 시간을 결정하고 결정된 자동 연결 시간을 안내하는 메시지를 출력할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 계산된 타겟 확률에 대응하여 자동 연결 시간을 결정할 수 있다. 예를 들어 디스플레이 장치 100는 계산된 타겟 확률 값이 클수록 자동 연결 시간이 짧아지고, 계산된 타겟 확률 값이 작을수록 자동 연결 시간이 길어지도록 자동 연결 시간을 결정할 수 있다.
일 실시예에 따라 디스플레이 장치 100는 계산된 타겟 확률에 대응하여 자동 연결 시간을 결정하기 위해 연결 모드 테이블을 저장할 수 있다.
도 9는 일 실시예에 따른 연결 모드 테이블의 일 예를 나타낸다.
도 9를 참조하면, 연결 모드 테이블 900은 복수의 연결 모드를 포함할 수 있다. 예를 들어 연결 모드 테이블 900는 4개의 연결 모드를 포함하며 그중 3개의 연결 모드는 자동 연결 모드를 나타내고 1개의 연결 모드는 수동 연결 모드를 나타낸다. 자동 연결 모드는 일정 시간 경과 후 자동으로 연결 동작을 시작하는 모드를 나타낼 수 있다. 수동 연결 모드는 자동 연결을 제공하지 않으며 사용자 입력을 수신한 경우에만 연결 동작을 시작하는 모드를 나타낼 수 있다.
제1연결 모드는 계산된 타겟 확률이 0.8 이상인 경우이며 자동 연결 시간 즉 연결 대기 시간은 바로 연결을 나타낸다. 예를 들어 디스플레이 장치 100가 계산한 타겟 확률이 0.8 이상 인 경우 디스플레이 장치 100는 타겟 확률에 대응하여 제1연결 모드를 식별하고 제1연결 모드에 대응하는 자동 연결 시간에 따라 바로 연결하는 동작을 시작할 수 있다.
제2연결 모드는 계산된 타겟 확률이 0.6 이상인 경우이며 연결 대기 시간은 5초를 나타낸다. 예를 들어 디스플레이 장치 100가 계산한 타겟 확률이 0.6 이상 인 경우 (물론 0.8 미만이고) 디스플레이 장치 100는 타겟 확률에 대응하여 제2연결 모드를 식별하고 제2연결 모드에 대응하는 자동 연결 시간에 따라 5초 경과 후 바로 연결하는 동작을 시작할 수 있다.
제3연결 모드는 계산된 타겟 확률이 0.4 이상인 경우이며 연결 대기 시간은 10초를 나타낸다. 예를 들어 디스플레이 장치 100가 계산한 타겟 확률이 0.4 이상 인 경우 (물론 0.6 미만이고) 디스플레이 장치 100는 타겟 확률에 대응하여 제3연결 모드를 식별하고 제3연결 모드에 대응하는 자동 연결 시간에 따라 10초 경과 후 연결하는 동작을 시작할 수 있다.
제4연결 모드는 계산된 타겟 확률이 0.4 미만 인 경우이며 연결 대기 시간은 정해지지 않는다. 예를 들어 디스플레이 장치 100가 계산한 타겟 확률이 0.4 미만 인 경우 디스플레이 장치 100는 타겟 확률에 대응하여 제4연결 모드를 식별하고 제4연결 모드에 따라 자동 연결을 진행하지 않으며 사용자 입력이 수신된 경우에만 연결 동작을 시작할 수 있다.
도 9에 도시된 연결 모드의 타입은 일 예로서 나타낸 것이고 연결 모드의 개수나 각 연결 모드에서 설정되는 자동 연결 시간은 다양하게 결정될 수 있음은 당업자들에 의해 잘 이해될 것이다.
이와 같이 자동 연결 시간을 결정한 디스플레이 장치 100는 계산된 타겟 확률에 대응하는 자동 연결 시간을 안내하는 메시지를 출력할 수 있다.
도 10은 일 실시예에 따라 자동 연결 시간을 안내하는 메시지의 일 예를 나타낸다.
일 실시예에 따라 디스플레이 장치 100는 결정된 자동 연결 시간이 경과되면 자동으로 전자 장치 연결 동작이 시작됨을 안내하는 메시지를 출력할 수 있다. 예를 들어 자동 연결 시간이 5초로 결정되면 디스플레이 장치 100는 5초 후 자동 연결 진행됨을 알리는 메시지를 출력하고, 자동 연결 시간이 10초로 결정되면 디스플레이 장치 100는 10초 자동 연결 진행됨을 알리는 메시지를 출력할 수 있다. 예를 들어 제1연결 모드와 같이 자동 연결 시간이 0 으로 설정된 경우, 디스플레이 장치 100는 메시지 출력 없이 바로 전자 장치로의 자동 연결을 진행할 수 있다. 예를 들어 제4연결 모드와 같이 수동 연결 모드가 결정된 경우, 디스플레이 장치 100는 연결 동작을 지시하는 사용자 입력을 수신하기 위한 버튼을 포함하는 팝업창을 출력할 수 있다.
도 10을 참조하면, 디스플레이 장치 100는 자동 연결 시간을 안내하는 팝업창 10을 출력할 수 있다. 팝업창 10은 예를 들어 전자 장치의 하나로서 무선 이어폰이 인식되었음을 나타내는 메시지와 함께 <5초 이내 자동 연결> 이라는 아이템 11과 <취소> 아이템 12를 포함할 수 있다. 디스플레이 장치 100는 <취소> 아이템 12를 선택하는 사용자 입력을 수신한 경우 자동 연결 시간이 경과되기를 기다릴 필요도 없이 전자 장치로의 연결 동작을 중단할 수 있다. 디스플레이 장치 100는 아무런 사용자 입력을 수신하지 않은 경우에 자동 연결 시간이 경과되기를 기다렸다가 자동 연결 시간이 경과되면 바도 자동 연결 동작을 진행할 수 있다.
일 실시예에 따라 <5초 이내 자동 연결> 아이템 11을 선택하는 사용자 입력을 수신한 경우 디스플레이 장치 100는 자동 연결 시간인 5초가 경과되기를 기다릴 필요 없이 바로 자동 연결 동작을 진행할 수 있을 것이다.
일 실시예에 따라 디스플레이 장치 100는 <취소> 아이템 12이 선택된 상태로 팝업창을 출력함으로써 사용자가 만약 자동 연결 취소를 희망하는 경우에 리모콘을 이용하여 별도의 아이템들 간 이동 조작을 할 필요 없이 리모콘을 이용하여 바로 확인 버튼을 누르기만 함으로써 <취소> 아이템 12이 실행되도록 구성할 수 있다.
도 11은 일 실시예에 따라 디스플레이 장치에 페어링된 전자 장치에 대해서 학습 모델을 저장하는 동작을 나타내는 흐름도이다.
도 11을 참조하면, 동작 1110에서, 디스플레이 장치 100는 전자 장치와의 블루투스 페어링에 따라 전자 장치 고유 식별 정보를 획득할 수 있다.
동작 1120에서, 디스플레이 장치 100는 페어링 이력이 있는 전자 장치에 관한 정보 즉 전자 장치 고유 식별 정보를 포함하는 전자 장치에 관한 정보를 서버 장치 300로 전송하여 학습 모델 생성을 요청할 수 있다.
동작 1130에서, 서버 장치 30는 디스플레이 장치 100로부터 수신한 전자 장치에 관한 정보에 기반하여 해당 전자 장치에 적합한 학습 모델을 획득할 수 있다. 전자 장치의 제품 특성이나 모델 타입에 따라 학습 모델을 달라질 수 있으며 서버 장치 300는 전자 장치에 관한 정보에 기반하여 적합한 학습 모델을 획득할 수 있다.
동작 1140에서 서버 장치 300는 전자 장치 고유 식별 정보에 대응하여 학습 모델을 학습모델 데이터베이스 1100에 저장할 수 있다.
동작 1150에서, 서버 장치 300는 전자 장치 고유 식별 정보에 대응하는 학습 모델을 디스플레이 장치 100로 전송할 수 있다.
동작 1160에서, 서버 장치 300는 전자 장치 고유 식별 정보에 대응하는 학습 모델을 데이터베이스 800에 저장할 수 있다.
도 11에서는 처음 페어링된 전자 장치에 대해서 학습 모델을 생성할 때 서버 장치에서 수행되는 것으로 도시되었다. 그러나 이에 한정되지 않는다.
일 실시예에 따라 디스플레이 장치 100에는 디스플레이 장치 100의 출하 시에 하나 이상의 학습 모델 정보를 저장할 수 있고 디스플레이 장치 100는 페어링 이력이 있는 전자 장치에 대해서 디스플레이 장치 100에 저장된 학습 모델들중 적합한 하나의 학습 모델을 선택할 수 있을 것이다. 그리고 디스플레이 장치 100는 추후 업데이트를 위해 전자 장치 고유 식별 정보에 대응하는 학습 모델을 서버 장치 300에 등록해 둘 수 있다.
도 12는 일 실시예에 따라 학습 모델을 업데이트하기 위한 동작의 일 예를 나타내는 흐름도이다.
도 12를 참조하면, 동작 1210에서 디스플레이 장치 100는 전자 장치로부터의 무선 통신 연결 요청을 수신할 수 있다.
동작 1220에서, 디스플레이 장치 100는 도 4 내지 도 10을 참조하여 설명한 바와 같이 전자 장치로부터의 무선 통신 신호의 세기에 따라 결정된 타겟 확률을 실제 자동 연결 유무를 진행한 결과에 따라서 조정할 수 있다. 즉, 디스플레이 장치 100는 디스플레이 장치 100가 결정한 자동 연결 시간에 따라 팝업창을 출력하고 나서 실제 사용자가 그러한 자동 연결 시간에 동의하여 결정된 자동 연결 시간 경과후에 그대로 자동 연결이 진행되었는지 (사용자의 의도를 맞춘 것으로 해석될 수 있음) 아니면 자동 연결 되지 않고 연결이 취소되었는지 (사용자의 의도를 맞추지 못한 것으로 해석될 수 있음) 와 같은 자동 연결 유무 결과를 학습 모델의 파라미터 업데이트에 반영할 수 있다.
예를 들어, 디스플레이 장치 100가 결정한 자동 연결 시간을 안내하는 팝업창에 따라서 사용자가 사용자의 의도에 따른 요청이 아니라면 사용자는 취소 아이템을 선택하여 연결을 취소할 것이다. 이 경우에는 디스플레이 장치 100가 결정한 자동 연결 시간이 사용자의 의도에 의한 것이 아니라고 판단할 수 있으므로 디스플레이 장치 100는 타겟 확률을 0으로 조정할 수 있다.
예를 들어, 디스플레이 장치 100가 결정한 자동 연결 시간을 안내하는 팝업창에 따라서 실제로도 해당 결정된 자동 연결 시간 경과 후에 자동 연결이 발생한 경우에는 디스플레이 장치 100가 결정한 자동 연결 시간이 사용자의 의도에 의한 것이라고 판단할 수 있으므로 디스플레이 장치 100는 타겟 확률을 1으로 조정할 수 있다.
동작 1230에서, 디스플레이 장치 100는 조정된 타겟 확률을 서버 장치 300로 전송할 수 있다. 디스플레이 장치 100는 자동 연결 유무에 따라 조정된 타겟 확률 (연결된 경우 1, 취소인 경우 0), 자동 연결 시간을 결정하기 위해 계산한 RSSI 관측치 및 통계량과 전자 장치 고유 식별 정보를 모델 재학습을 위해 서버 장치 300로 전송할 수 있다.
동작 1240에서, 서버 장치 300는 전자 장치 고유 식별 정보에 대응하는 학습 모델을 추출할 수 있다.
동작 1250에서, 서버 장치 300는 디스플레이 장치 100로부터 수신된 조정된 타겟 확률을 이용하여 학습 모델을 업데이트할 수 있다. 학습 모델의 업데이트는 학습 모델을 구성하는 파라미터들을 조정하는 것을 의미할 수 있다.
동작 1260에서, 서버 장치 300는 업데이트된 학습 모델 즉 업데이트된 파라미터들을 디스플레이 장치 100로 전송할 수 있다.
동작 1270에서 디스플레이 장치 100는 업데이트된 학습 모델을 데이터베이스 800에 저장할 수 있다.
이상 설명된 실시예들에서는 BLE 송신기가 전송하는 BLE 신호의 무선 신호 세기 정보에 기반하여 자동 연결 시간을 결정하는 것을 설명되었다. 이는 실세계에서는 BLE 송신기와 BLE 수신기 사이의 거리를 정확히 측정하기 어렵고 또한 여러가지 장애물의 존재로 인해 거리 정보 만에 의해 BLE 송신기와 BLE 수신기 사이의 자동 연결 의도를 정확하게 예측하기 어려우므로 실세계에서 측정할 수 있는 무선 신호 세기를 이용한 측면이 있다.
반면, 가상 현실이나 디지털 트윈과 같은 가상 세계에서는 BLE 송신기와 BLE 수신기 사이의 거리 라든지 BLE 송신기와 BLE 수신기가 존재하는 환경에서의 다양한 조건들, 즉 장애물이 있다든지 벽이 있다든지에 관한 정보를 인지할 수 있다. 디지털 트윈(digital twin)은 컴퓨터에 현실 속 사물의 쌍둥이를 만들고, 현실에서 발생할 수 있는 상황을 컴퓨터로 시뮬레이션함으로써 결과를 미리 예측하는 기술이다. 디지털 트윈은 제조업뿐 아니라 다양한 산업·사회 문제를 해결할 수 있는 기술로 주목 받는다. 그리고 기본적으로는 다양한 물리적 시스템의 구조, 맥락, 작동을 나타내는 데이터와 정보의 조합으로, 과거와 현재의 운용 상태를 이해하고 미래를 예측할 수 있는 인터페이스라고 할 수 있다.
따라서, 이와 같은 메타버스 가상 현실이나 디지털 트윈과 같은 가상 세계에서, BLE 송신기와 BLE 수신기 사이의 거리, 장애물, 벽 등의 영향 인자를 고려하여 자동 연결 시간을 결정할 수 있을 것이다. 예를 들어, 블루투스 이어셋을 착용한 아바타가 TV 주변에 있는 경우 블루투스 이어셋과 TV 사이의 거리, 장애물, 벽 등의 영향 인자를 고려하여 자동 연결 시간을 결정할 수 있을 것이다.
도 13을 일 실시예에 따라 가상 현실 세계에서 홈 환경을 구축한 예를 나타낸다.
도 13을 참조하면, 가상 현실 세계에서 구현된 홈 환경 1300은 복수개의 침실, 거실, 주방, 화장실 등을 포함할 수 있으며, TV 가 설치된 위치 기준으로 아바타가 어느 위치에 있는지에 따라 자동 연결 시간이 달라질 수 있다. 또한 단순히 거리만 영향을 주는 것이 아니라 TV와 아바타 사이에 어떤 벽이나 어떤 장애물이 있는지에 따라서 자동 연결 시간은 달라질 수 있다.
도 14는 일 실시예에 따라 BLE 기기들 사이의 거리 및 환경을 포함하는 영향인자를 고려하여 자동 연결 시간을 결정하기 위한 테이블의 예를 나타낸다.
도 14를 참조하면, 장애물/벽이 없는 직선 거리 인 경우 자동 연결 시간을 결정하기 위한 테이블 1410은 4개의 연결 모드를 포함하고, 그중 3개의 연결 모드는 자동 연결 모드를 나타내고 1개의 연결 모드는 수동 연결 모드를 나타낸다. 자동 연결 모드는 일정 시간 경과후 자동으로 연결 동작을 시작하는 모드를 나타낼 수 있다. 수동 연결 모드는 자동 연결을 제공하지 않으며 사용자 입력을 수신한 경우에만 연결 동작을 시작하는 모드를 나타낼 수 있다.
제1연결 모드는 BLE 송신기와 BLE 수신기 사이의 거리가 4.5m 이내로 연결 대기 시간은 바로 연결을 나타낸다. 예를 들어 디스플레이 장치 100가 계산한 거리가 4.5m 이내 인 경우 디스플레이 장치 100는 제1연결 모드를 식별하고 제1연결 모드에 대응하는 자동 연결 시간에 따라 바로 연결하는 동작을 시작할 수 있다.
제2연결 모드는 BLE 송신기와 BLE 수신기 사이의 거리가 4.5-9 m 로 연결 대기 시간은 5초를 나타낸다. 예를 들어 디스플레이 장치 100가 계산한 거리가 4.5-9 m 인 경우 디스플레이 장치 100는 제2연결 모드를 식별하고 제2연결 모드에 대응하는 자동 연결 시간에 따라 5초 경과 후 바로 연결하는 동작을 시작할 수 있다.
제3연결 모드는 BLE 송신기와 BLE 수신기 사이의 거리가 9-15 m 경우이며 연결 대기 시간은 10초를 나타낸다. 예를 들어 디스플레이 장치 100가 계산한 거리가 9-15 m 인 경우 디스플레이 장치 100는 제3연결 모드를 식별하고 제3연결 모드에 대응하는 자동 연결 시간에 따라 10초 경과 후 연결하는 동작을 시작할 수 있다.
제4연결 모드는 BLE 송신기와 BLE 수신기 사이의 거리가 15 m 이상인 경우이며 연결 대기 시간은 정해지지 않는다. 예를 들어 디스플레이 장치 100가 계산한 거리가 15m 이상인 경우 디스플레이 장치 100는 제4연결 모드를 식별하고 제4연결 모드에 따라 자동 연결을 진행하지 않으며 사용자 입력이 수신된 경우에만 연결 동작을 시작할 수 있다.
큰 장애물이 존재하거나 코너를 끼고 위치하는 경우 자동 연결 시간을 결정하기 위한 테이블 1420은 4개의 연결 모드를 포함하고, 그중 3개의 연결 모드는 자동 연결 모드를 나타내고 1개의 연결 모드는 수동 연결 모드를 나타낸다. 이러한 경우에는 거리 가중치 1.5를 반영하여 자동 연결 시간을 결정할 수 있다.
뚫린 공간 없이 문/벽을 넘어서 위치하는 경우 자동 연결 시간을 결정하기 위한 테이블 1430은 4개의 연결 모드를 포함하고, 그중 3개의 연결 모드는 자동 연결 모드를 나타내고 1개의 연결 모드는 수동 연결 모드를 나타낸다. 이러한 경우에는 거리 가중치 3을 반영하여 자동 연결 시간을 결정할 수 있다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
개시된 실시예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다.
컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시예에 따른 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치를 포함할 수 있다.
컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서,‘비일시적’은 저장 매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 개시된 실시예들에 따른 제어 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.
컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 디바이스의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.
컴퓨터 프로그램 제품은, 서버 및 디바이스로 구성되는 시스템에서, 서버의 저장매체 또는 디바이스의 저장매체를 포함할 수 있다. 또는, 서버 또는 디바이스와 통신 연결되는 제 3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제 3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 디바이스 또는 제 3 장치로 전송되거나, 제 3 장치로부터 디바이스로 전송되는 S/W 프로그램 자체를 포함할 수 있다.
이 경우, 서버, 디바이스 및 제 3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수 있다. 또는, 서버, 디바이스 및 제 3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 분산하여 실시할 수 있다.
예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 디바이스가 개시된 실시예들에 따른 방법을 수행하도록 제어할 수 있다.
또 다른 예로, 제 3 장치가 컴퓨터 프로그램 제품을 실행하여, 제 3 장치와 통신 연결된 디바이스가 개시된 실시예에 따른 방법을 수행하도록 제어할 수 있다. 제 3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제 3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드 된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제 3 장치는 프리로드 된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시예들에 따른 방법을 수행할 수도 있다.
또한, 본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 개시의 설명은 예시를 위한 것이며, 본 개시가 속하는 기술분야의 통상의 지식을 가진 자는 본 개시의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 개시의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 디스플레이 장치 100에 있어서,
    디스플레이,
    통신 인터페이스 110,
    하나 이상의 인스트럭션을 저장하는 메모리 130, 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션을 실행하는 적어도 하나의 프로세서 140를 포함하고,
    상기 적어도 하나의 프로세서 140는 상기 하나 이상의 인스트럭션을 실행함으로써,
    전자 장치 200로부터 무선 통신 연결 요청을 수신함에 따라 상기 전자 장치로부터 수신되는 무선 통신 신호의 세기를 검출하고,
    무선 통신 신호의 세기에 따라 상기 전자 장치에 자동으로 연결되기 위해 경과되는 미리 정해진 시간을 나타내는 자동 연결 시간이 달라지는 복수개의 연결 모드들 중에서, 상기 전자 장치로부터 수신되는 상기 무선 통신 신호의 세기에 대응하는 하나의 연결 모드를 식별하고,
    상기 식별된 연결 모드에 대응하는 자동 연결 시간을 안내하는 메시지를 표시하도록 상기 디스플레이를 제어하고,
    상기 표시된 메시지에 대응하는 사용자 응답 여부에 따라 상기 전자 장치로의 자동 연결 동작의 수행 여부를 결정하고, 결정에 따라 자동 연결 동작을 수행하도록 구성되는, 디스플레이 장치.
  2. 제1항에 있어서,
    상기 적어도 하나의 프로세서 140는,
    상기 무선 통신 신호의 RSSI 신호 세기에 기반하여 상기 무선 통신 신호의 신호 세기를 검출하도록 구성되는, 디스플레이 장치.
  3. 제1항 또는 제2항에 있어서,
    상기 복수의 연결 모드의 각 연결 모드는, 상기 무선 통신 신호의 세기가 커질수록 상기 자동 연결 시간이 짧아지고, 상기 무선 통신 신호의 세기가 약해질수록 상기 자동 연결 시간이 길어지도록 설정되는, 디스플레이 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서 140는,
    상기 표시된 메시지에 대응하여 사용자 응답을 수신하지 않음에 따라 상기 자동 연결 시간 경과에 기반하여 상기 전자 장치로의 자동 연결 동작을 수행하도록 구성되는, 디스플레이 장치.
  5. 제1항 내지 제3항중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서 140는,
    상기 표시된 메시지에 대응하여 취소를 선택하는 사용자 응답을 수신함에 따라 상기 전자 장치로의 자동 연결 동작을 수행하지 않도록 구성되는, 디스플레이 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서는
    미리 학습된 모델을 이용하여 상기 복수의 연결 모드들 중에서 상기 검출된 무선 통신 신호의 세기에 대응하는 상기 하나의 연결 모드를 식별하도록 구성되는, 디스플레이 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 미리 학습된 모델을 이용하여 상기 검출된 무선 통신 신호의 세기에 대응하는 타겟 확률을 계산하고, 상기 복수의 연결 모드들 중 상기 계산된 타겟 확률에 대응하는 연결 모드를 상기 하나의 연결 모드로 식별하도록 구성되는, 디스플레이 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 전자 장치로의 자동 연결 동작의 수행 여부 결과를 이용하여 상기 미리 학습된 모델을 업데이트하도록 구성되는, 디스플레이 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 자동 연결 동의 수행 여부 결과에 따라 상기 타겟 확률을 조정하고, 상기 조정된 타겟 확률을 서버로 전송하고,
    상기 조정된 타겟 확률에 기반하여 재학습된 상기 미리 학습된 모델을 상기 서버로부터 수신함으로써 상기 미리 학습된 모델을 업데이트하도록 구성되는, 디스플레이 장치.
  10. 디스플레이 장치 100의 동작 방법에 있어서,
    전자 장치로부터 무선 통신 연결 요청을 수신함에 따라 상기 전자 장치로부터 수신되는 무선 통신 신호의 세기를 검출하는 동작,
    무선 통신 신호의 세기에 따라 상기 전자 장치에 자동으로 연결되기 위해 경과되는 미리 정해진 시간을 나타내는 자동 연결 시간이 달라지는 복수개의 연결 모드들 중에서, 상기 전자 장치로부터 수신되는 상기 무선 통신 신호의 세기에 대응하는 하나의 연결 모드를 식별하는 동작,
    상기 식별된 연결 모드에 대응하는 자동 연결 시간을 안내하는 메시지를 표시하는 동작, 및
    상기 표시된 메시지에 대응하는 사용자 응답 여부에 따라 상기 전자 장치로의 자동 연결 동작의 수행 여부를 결정하고, 결정에 따라 상기 자동 연결 동작을 수행하는 동작을 포함하는, 방법.
  11. 제10항에 있어서,
    상기 무선 통신 신호의 RSSI 신호 세기에 기반하여 상기 무선 통신 신호의 신호 세기를 검출하도록 구성되는, 방법.
  12. 제10항 또는 제11항에 있어서,
    상기 복수의 연결 모드의 각 연결 모드는, 상기 무선 통신 신호의 세기가 커질수록 상기 자동 연결 시간이 짧아지고, 상기 무선 통신 신호의 세기가 약해질수록 상기 자동 연결 시간이 길어지도록 설정되는, 방법.
  13. 제10항 내지 제12항 중 어느 한 항에 있어서,
    상기 표시된 메시지에 대응하여 사용자 응답을 수신하지 않음에 따라 상기 자동 연결 시간 경과에 기반하여 상기 전자 장치로의 자동 연결 동작을 수행하는 동작을 더 포함하는, 방법.
  14. 제10항 내지 제12항중 어느 한 항에 있어서,
    상기 표시된 메시지에 대응하여 취소를 선택하는 사용자 응답을 수신함에 따라 상기 전자 장치로의 자동 연결 동작을 중단하는 동작을 더 포함하는, 방법.
  15. 디스플레이 장치의 동작 방법의 구현을 위해 디스플레이 장치의 프로세서에 의해 실행되는 하나 이상의 프로그램이 기록된 비일시적 컴퓨터 판독가능 기록 매체에 있어서, 상기 디스플레이 장치의 동작 방법은,
    전자 장치로부터 무선 통신 연결 요청을 수신함에 따라 상기 전자 장치로부터 수신되는 무선 통신 신호의 세기를 검출하는 동작,
    무선 통신 신호의 세기에 따라 상기 전자 장치에 자동으로 연결되기 위해 경과되는 미리 정해진 시간을 나타내는 자동 연결 시간이 달라지는 복수개의 연결 모드들 중에서, 상기 전자 장치로부터 수신되는 상기 무선 통신 신호의 세기에 대응하는 하나의 연결 모드를 식별하는 동작,
    상기 식별된 연결 모드에 대응하는 자동 연결 시간을 안내하는 메시지를 표시하는 동작, 및
    상기 표시된 메시지에 대응하는 사용자 응답 여부에 따라 상기 전자 장치로의 자동 연결 동작의 수행 여부를 결정하고 결정에 따라 상기 자동 연결 동작을 수행하는 동작을 포함하는, 비일시적 컴퓨터 판독가능 기록 매체.
PCT/KR2023/013446 2022-09-28 2023-09-07 디스플레이 장치 및 그 동작 방법 WO2024071725A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220123780 2022-09-28
KR10-2022-0123780 2022-09-28
KR10-2023-0017571 2023-02-09
KR1020230017571A KR20240044304A (ko) 2022-09-28 2023-02-09 디스플레이 장치 및 그 동작 방법

Publications (1)

Publication Number Publication Date
WO2024071725A1 true WO2024071725A1 (ko) 2024-04-04

Family

ID=90478434

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/013446 WO2024071725A1 (ko) 2022-09-28 2023-09-07 디스플레이 장치 및 그 동작 방법

Country Status (1)

Country Link
WO (1) WO2024071725A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090010494U (ko) * 2008-04-11 2009-10-15 임성빈 무선신호를 이용한 연결시간 측정장치
WO2012134099A2 (ko) * 2011-03-29 2012-10-04 엘지전자 주식회사 무선 통신 시스템에서 단말의 데이터 송수신 방법 및 이를 위한 장치
KR20180046153A (ko) * 2016-10-27 2018-05-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
CN109803248A (zh) * 2019-01-24 2019-05-24 深圳尚一互联技术有限公司 一种基于ble4.0的智能手环快速自动化测试方法
US20210181325A1 (en) * 2017-11-13 2021-06-17 Samsung Electronics Co., Ltd. Method for measuring distance between multiple electronic devices, and electronic device therefor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090010494U (ko) * 2008-04-11 2009-10-15 임성빈 무선신호를 이용한 연결시간 측정장치
WO2012134099A2 (ko) * 2011-03-29 2012-10-04 엘지전자 주식회사 무선 통신 시스템에서 단말의 데이터 송수신 방법 및 이를 위한 장치
KR20180046153A (ko) * 2016-10-27 2018-05-08 삼성전자주식회사 디스플레이장치 및 그 제어방법
US20210181325A1 (en) * 2017-11-13 2021-06-17 Samsung Electronics Co., Ltd. Method for measuring distance between multiple electronic devices, and electronic device therefor
CN109803248A (zh) * 2019-01-24 2019-05-24 深圳尚一互联技术有限公司 一种基于ble4.0的智能手环快速自动化测试方法

Similar Documents

Publication Publication Date Title
WO2018131977A1 (en) Method and device for obtaining real time status and controlling of transmitting devices
WO2017171204A1 (ko) 단말장치 및 그 제어방법
WO2012091185A1 (en) Display device and method of providing feedback for gestures thereof
WO2015009122A1 (en) Method and device for communication
WO2020080776A1 (en) Electronic device supporting link sharing and method therefor
WO2013027908A1 (en) Mobile terminal, image display device mounted on vehicle and data processing method using the same
WO2019059427A1 (en) DISPLAY DEVICE AND CONTROL TERMINAL
WO2014021654A1 (en) System for and method of transmitting communication information
WO2014104658A1 (en) Method and system for executing an application
WO2020242075A1 (en) Electronic device, method, and computer readable medium for providing screen sharing service through external electronic device
WO2020032443A1 (en) Electronic device supporting personalized device connection and method thereof
WO2020122638A1 (en) Mobile device and electronic device for wireless communication, and operation methods thereof
WO2016122240A1 (en) Electronic apparatus and method of setting network of audio device
WO2017069434A1 (en) Display apparatus and method for controlling display apparatus
WO2021118225A1 (en) Display device and operating method thereof
WO2017090931A1 (ko) 이벤트 관리 서비스를 제공하는 전자 장치 및 방법
WO2020226390A1 (en) Electronic device and method of controlling thereof
WO2020080675A1 (en) Remote control apparatus and control method thereof
WO2022019682A1 (ko) 엣지 컴퓨팅 시스템 및 방법
WO2022025606A1 (en) Electronic device and method for controlling audio volume thereof
WO2017034310A1 (en) Method of detecting external devices and electronic device for processing same
WO2024071725A1 (ko) 디스플레이 장치 및 그 동작 방법
WO2019164168A1 (ko) 블루투스 통신을 사용하는 전자 장치와 이의 동작 방법
WO2022086133A1 (ko) 디스플레이 장치, 전자 장치 및 그 동작 방법
WO2022270765A1 (ko) 댁내 기기 제어 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23872845

Country of ref document: EP

Kind code of ref document: A1