WO2023106606A1 - 전자 장치들 간의 공동 편집을 지원하는 클라우드 서버 및 그 동작 방법 - Google Patents

전자 장치들 간의 공동 편집을 지원하는 클라우드 서버 및 그 동작 방법 Download PDF

Info

Publication number
WO2023106606A1
WO2023106606A1 PCT/KR2022/015709 KR2022015709W WO2023106606A1 WO 2023106606 A1 WO2023106606 A1 WO 2023106606A1 KR 2022015709 W KR2022015709 W KR 2022015709W WO 2023106606 A1 WO2023106606 A1 WO 2023106606A1
Authority
WO
WIPO (PCT)
Prior art keywords
coordinate information
electronic devices
server
electronic device
information
Prior art date
Application number
PCT/KR2022/015709
Other languages
English (en)
French (fr)
Inventor
송성윤
박건
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020210189965A external-priority patent/KR20230085036A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US18/108,927 priority Critical patent/US20230195404A1/en
Publication of WO2023106606A1 publication Critical patent/WO2023106606A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G06F3/1462—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay with means for detecting differences between the image stored in the host and the images displayed on the remote displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means

Definitions

  • the disclosure below relates to cloud computing, and more specifically to time-shifting user input in collaborative, cloud-based multi-user workspaces.
  • a cloud server Through a cloud server, a plurality of users can perform joint editing such as drawing or handwriting together through electronic devices, thereby enabling a cloud-based multi-user collaborative workspace.
  • electronic devices As all users perform editing in a multi-user workspace, electronic devices generally display editing results according to the order in which user inputs are transmitted to a cloud server, and then provide rendering commands to each electronic device.
  • the readability of objects in the workspace may be degraded due to overlapping coordinates, line segments, pictures, and the like.
  • a server providing a cloud-based service for one or more electronic devices includes a communication module for communicating with the one or more electronic devices, a memory in which computer-executable instructions are stored, and the A communication module and a processor operatively coupled to the memory, wherein the instructions cause the server to receive input data including at least coordinate information from at least one of the one or more electronic devices;
  • the coordinate information is analyzed to determine whether adjacent coordinates within a critical distance from each other are included in the coordinate information, and based on detection of the adjacent coordinates, setting information corresponding to the coordinate information is generated, and the coordinate information And it may be executable by the processor to transmit output data including the setting information to the one or more electronic devices.
  • An electronic device includes a communication module configured to communicate with a server that provides a cloud-based service for one or more electronic devices including the electronic device, a display module, and computer-executable instructions. ) is stored, and the communication module, the display module, and a processor operatively coupled to the memory, wherein the instructions cause the electronic device to transmit output data received from the server to the display module. Displaying a screen based on, wherein the output data includes coordinate information input into at least one of the one or more electronic devices and setting information corresponding to the coordinate information, and generating coordinate information based on a user input, at least It may be executable by the processor to transmit input data including the coordinate information to the server, and to display an object corresponding to the coordinate information based on the setting information.
  • a method of operating a server that provides a cloud-based service for one or more electronic devices includes receiving input data including at least coordinate information from at least one of the one or more electronic devices, and analyzing the coordinate information. an operation of determining whether adjacent coordinates within a critical distance from each other are included in the coordinate information, an operation of generating setting information corresponding to the coordinate information based on the detection of the adjacent coordinates, and the coordinate information and An operation of transmitting output data including the setting information to the at least one electronic device may be included.
  • an electronic device that transmits time information corresponding to coordinate information to a cloud server and displays an object corresponding to the coordinate information according to setting information generated in the cloud server is provided.
  • a cloud server that receives coordinate information and time information corresponding to the coordinate information from an electronic device, corrects output speed when there are adjacent coordinates, or generates setting information through time-shifting is provided.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 2 is a block diagram of a display module according to various embodiments.
  • FIG. 3 is a block diagram illustrating configurations of an electronic device and a cloud server, according to various embodiments.
  • FIG. 4 is a diagram for explaining an embodiment in which an output speed of an object corresponding to adjacent coordinates is corrected.
  • FIG. 5 is a diagram for explaining an embodiment in which an output time is corrected according to time shifting for adjacent coordinates.
  • FIG. 6 is a diagram for explaining an operation in which a cloud server determines adjacent coordinates according to a type of user input.
  • FIG. 7 is a diagram for explaining an operation in which a cloud server generates setting information for neighboring coordinates, according to an exemplary embodiment.
  • 8A to 8D are diagrams for explaining an operation of outputting a screen according to setting information in an electronic device according to an embodiment.
  • FIG. 9 is a flowchart illustrating a method of operating a cloud server according to various embodiments.
  • FIG. 10 is a flowchart for explaining a method of operating an electronic device according to various embodiments.
  • FIG. 1 is a block diagram of an electronic device in an exemplary network environment, according to various embodiments.
  • FIG. 1 is a block diagram of an electronic device 101 within a network environment 100, according to various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • the server 108 e.g, a long-distance wireless communication network
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are integrated into a single component (eg, display module 160). It can be.
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • software eg, the program 140
  • processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor.
  • NPU neural network processing unit
  • the secondary processor 123 may use less power than the main processor 121 or be set to be specialized for a designated function.
  • the secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, an image signal processor or a communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the nonvolatile memory 134 may include an internal memory 136 and an external memory 138 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to an embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, hall sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establishment and communication through the established communication channel may be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 may be a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, a : a local area network (LAN) communication module or a power line communication module).
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, a legacy communication module).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 may be used to realize peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency (for realizing URLLC).
  • peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC.
  • DL downlink
  • UL uplink each of 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a bottom surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks. According to one embodiment, the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the display module 160 may include a display 210 and a display driver IC (DDI) 230 for controlling the display 210 .
  • the DDI 230 may include an interface module 231 , a memory 233 (eg, a buffer memory), an image processing module 235 , or a mapping module 237 .
  • the DDI 230 receives, for example, video data or video information including video control signals corresponding to commands for controlling the video data from other components of the electronic device 101 through the interface module 231. can do.
  • the image information is processed by the processor 120 (eg, the main processor 121 (eg, an application processor) or the auxiliary processor 123 (eg, an auxiliary processor 123 that operates independently of the function of the main processor 121).
  • the processor 120 eg, the main processor 121 (eg, an application processor) or the auxiliary processor 123 (eg, an auxiliary processor 123 that operates independently of the function of the main processor 121).
  • the DDI 230 can communicate with the touch circuit 250 or the sensor module 176 through the interface module 231.
  • the DDI 230 can communicate with the touch circuit 250 or the sensor module 176, etc.
  • At least a portion of the received image information may be stored in the memory 233, for example, in units of frames, and the image processing module 235 may, for example, convert at least a portion of the image data to characteristics of the image data or Preprocessing or postprocessing (eg, resolution, brightness, or size adjustment) may be performed based on at least the characteristics of the display 210.
  • the mapping module 237 performs preprocessing or postprocessing through the image processing module 235.
  • a voltage value or a current value corresponding to the image data may be generated According to an embodiment, the generation of the voltage value or the current value may be a property of pixels of the display 210 (eg, an array of pixels).
  • At least some pixels of the display 210 are based, for example, at least in part on the voltage value or current value
  • visual information eg, text, image, or icon
  • the display 210 may be displayed through the display 210 .
  • the display module 160 may further include a touch circuit 250 .
  • the touch circuit 250 may include a touch sensor 251 and a touch sensor IC 253 for controlling the touch sensor 251 .
  • the touch sensor IC 253 may control the touch sensor 251 to detect, for example, a touch input or a hovering input to a specific location of the display 210 .
  • the touch sensor IC 253 may detect a touch input or a hovering input by measuring a change in a signal (eg, voltage, light amount, resistance, or charge amount) for a specific position of the display 210 .
  • the touch sensor IC 253 may provide information (eg, location, area, pressure, or time) on the sensed touch input or hovering input to the processor 120 .
  • At least a part of the touch circuit 250 (eg, the touch sensor IC 253) is disposed as a part of the display driver IC 230, the display 210, or outside the display module 160. It may be included as part of other components (eg, the auxiliary processor 123).
  • the display module 160 may further include at least one sensor (eg, a fingerprint sensor, an iris sensor, a pressure sensor, or an illumination sensor) of the sensor module 176 or a control circuit for the sensor module 176 .
  • the at least one sensor or a control circuit thereof may be embedded in a part of the display module 160 (eg, the display 210 or the DDI 230) or a part of the touch circuit 250.
  • the sensor module 176 embedded in the display module 160 includes a biometric sensor (eg, a fingerprint sensor)
  • the biometric sensor is biometric information associated with a touch input through a partial area of the display 210. (e.g. fingerprint image) can be acquired.
  • the pressure sensor may acquire pressure information associated with a touch input through a part or the entire area of the display 210.
  • the touch sensor 251 or sensor module 176 may be disposed between pixels of a pixel layer of the display 210 or above or below the pixel layer.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first, second, or first or secondary may simply be used to distinguish a given component from other corresponding components, and may be used to refer to a given component in another aspect (eg, importance or order) is not limited.
  • a (eg, first) component is said to be “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logical blocks, parts, or circuits.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a storage medium eg, internal memory 136 or external memory 138
  • a machine eg, electronic device 101
  • a processor eg, the processor 120
  • a device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • a signal e.g. electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • a device-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.
  • FIG. 3 is a block diagram illustrating exemplary configurations of electronic devices 101 , 102 , and 104 and a cloud server 300 according to various embodiments.
  • FIG. 3 a plurality of electronic devices 101 , 102 , and 104 and a cloud server 300 supporting collaboration between the plurality of electronic devices 101 , 102 , and 104 are illustrated.
  • the electronic device 101 includes a communication module 190 for communicating with the cloud server 300, a display module 160 for displaying a screen based on output data received from the server 300, and commands executable by a computer. It may include a stored memory 130 and a processor 120 that accesses the memory 130 and executes instructions.
  • the electronic device 101 may include an input module 150 for receiving a user input and a sensor module 176 for obtaining information related to a touch input.
  • Electronic device 101, memory 130, processor 120, input module 150, communication module 190, display module 160 and sensor module 176 with reference to FIGS. 1 and 2 described above. Descriptions that overlap with one item are omitted.
  • commands stored in the memory 130 of the electronic device 101 generate coordinate information based on a user input, and send input data including coordinate information and time information corresponding to the coordinate information to a cloud server. Based on the setting information included in the output data transmitted to 300 and received from the server 300, an object corresponding to the coordinate information may be displayed.
  • the output data includes coordinate information input to at least one of the one or more electronic devices 101, 102, and 104 (eg, the electronic device 101 and the electronic device 102) and setting information corresponding to the coordinate information. can do.
  • the electronic device 102 and the electronic device 104 may include components identical to or corresponding to the electronic device 101, and the electronic device 101, the electronic device 102, and the electronic device 104 may include a server 300 ) to collaborate. For example, any one of drawing and handwriting may be performed in each of the electronic devices 101, 102, and 104, and the execution result is displayed in all of the electronic devices 101, 102, and 104. can be output.
  • the server 300 may include a communication module 390 for communicating with the plurality of electronic devices 101, 102, and 104, a memory 330 storing instructions executable by a computer, and a processor 320.
  • the communication module 390 , memory 330 , and processor 320 may be the same as or similar to the communication module 190 , memory 130 , and processor 120 described above with reference to FIG. 1 .
  • the memory 330 may include volatile memory or non-volatile memory.
  • commands stored in the memory 330 of the cloud server 300 may receive coordinate information from at least one (eg, the electronic device 102) of one or more electronic devices 101, 102, and 104. and receiving input data including time information corresponding to the coordinate information, analyzing the coordinate information to determine whether there is an adjacent coordinate within a threshold distance, and generating setting information corresponding to the coordinate information if there is an adjacent coordinate; It may be configured to transmit output data including coordinate information and setting information to one or more electronic devices 101, 102, and 104.
  • the processor 320 of the cloud server 300 determines whether there are adjacent coordinates based on coordinate information received from the same electronic device 101, and outputs speed information of an object corresponding to the coordinate information. It is possible to create setting information including. An embodiment in which it is determined whether there are adjacent coordinates based on coordinate information received from the same electronic device 101 will be described in detail with reference to FIG. 4 .
  • the processor 320 of the cloud server 300 determines whether or not there are adjacent coordinates based on coordinate information received from different electronic devices 101 and 102, and determines whether or not there are adjacent coordinates of an object corresponding to the coordinate information.
  • Setting information including output time information may be generated. An embodiment in which it is determined whether there are adjacent coordinates based on coordinate information received from different electronic devices 101 and 102 will be described in detail with reference to FIG. 5 . An embodiment in which setting information is generated based on coordinate information received from different electronic devices 101 and 102, and objects are displayed on the electronic devices 101, 102, and 104 accordingly is shown in FIGS. 7 and 8A to 8A. It will be described in detail with reference to 8d.
  • setting information corresponding to coordinate information may be generated according to user settings. For example, when coordinate information received from the same electronic device 101 is adjacent to each other according to user settings, output time information rather than object output speed information may be included in the setting information. As another example, when coordinate information received from different electronic devices 101 and 102 is adjacent to each other, output speed information other than object output time information may be included in the setting information. As another example, setting information may not be generated according to user settings.
  • time information may not be included in the input data, and the processor 320 transmits the coordinate information to one or more electronic devices 101, 102, and 104 without generating setting information corresponding to the coordinate information.
  • the coordinate information is generated according to a user input to each of one or more electronic devices 101, 102, and 104, and the user input may include any one of drawing and handwriting.
  • the user input may include any one of drawing and handwriting.
  • a method of determining whether there are adjacent coordinates may be implemented in various ways. An operation in which the processor 320 of the cloud server 300 determines adjacent coordinates according to the type of user input will be described in detail with reference to FIG. 6 .
  • the processor 320 of the cloud server 300 may use an algorithm for maintaining consistency between coordinate information received from one or more electronic devices 101, 102, and 104.
  • the processor 320 may prevent collision between coordinate information received from different electronic devices by using an operational transformation (OT) algorithm.
  • OT operational transformation
  • the processors of one or more electronic devices 101, 102, and 104 receive coordinate information and coordinate information from the cloud server 300. Based on setting information corresponding to , an object corresponding to coordinate information may be displayed. For example, as described below with reference to FIGS. 4 to 8D , objects may be displayed on the electronic device 101 . Although the electronic device 101 is described as an example in FIGS. 4 to 8D , the same screen may be displayed on one or more electronic devices 101 , 102 , and 104 , respectively.
  • FIG. 4 is a diagram for explaining an embodiment in which an output speed of an object corresponding to adjacent coordinates is corrected.
  • FIG. 4 and FIGS. 5 to 8D to be described later a screen displayed on the electronic device 101 is shown, but this is only an example and each screen of the electronic devices 101, 102, and 104 communicating with the cloud server 300 It should be understood that the same screen can be displayed on .
  • the processor 320 of the cloud server 300 may determine whether adjacent coordinates exist based on coordinate information received from the same electronic device 101 . For example, a user may draw a line segment 410 composed of coordinates 411 , 413 , 415 , and 417 on the electronic device 101 with a digital pen. In the embodiment described with reference to FIG. 4 , coordinates 411 , 413 , 415 , and 417 may be sequentially input to the electronic device 101 .
  • the processor 120 of the electronic device 101 may receive a user input through the input module 150 and generate coordinate information based on the user input.
  • the processor 120 of the electronic device 101 may transmit input data including coordinate information and time information corresponding to the coordinate information to the cloud server 300 .
  • the processor 120 of the electronic device 101 uses (1,4), (2,3), (2.5, 2.5) and (4) information about the coordinates 411, 413, 415, and 417. , 1) and the coordinates 411, 413, 415, and 417 may transmit time information respectively inputted as input data.
  • the processor 320 of the cloud server 300 may analyze coordinate information to determine whether there are adjacent coordinates within a critical distance from each other. For example, since the distance between the coordinates 413 and 415 of FIG. 4 is less than or equal to a critical distance (eg, 1 distance unit), the processor 320 of the cloud server 300 has adjacent coordinates in the coordinate information. can decide to do it.
  • a critical distance eg, 1 distance unit
  • the processor 320 of the cloud server 300 generates setting information corresponding to the coordinate information when there are neighboring coordinates, and outputs output data including the coordinate information and setting information to one or more electronic devices 101 , 102, 104).
  • the processor 320 may generate setting information including output speed information of an object corresponding to the coordinate information when adjacent coordinates are determined based on coordinate information received from the same electronic device 101. there is.
  • the processor 320 may set the output speed of the adjacent coordinates 413 and 415 to a relatively low or slow first rate. there is.
  • the processor 320 may set the output speed of the other coordinates 411 and 417 that are not adjacent to a second speed that is relatively higher or faster than the first speed.
  • one or more electronic devices 101, 102, and 104 may display an object corresponding to coordinate information based on setting information among received output data. For example, referring to FIG. 4 , in the electronic device 101, after the coordinates 411 are displayed, the coordinates 413 and the line segment between the coordinates 411 and the coordinates 413 are “quickly” (eg, second speed). to)" can be output. Then, the line segments between coordinates 415 and 413 and 415 are output “slowly (eg, at the first speed)”, and the line segments between coordinates 417 and 415 and 417 are output. can be output quickly again. Since one or more electronic devices 101, 102, and 104 are working together, the screen of the electronic device 101 is shown in FIG. 4, but objects may be displayed on the displays of the electronic device 102 and the electronic device 104 in the same way. there is. An embodiment in which an object is displayed according to setting information will be described in detail with reference to FIGS. 8A to 8D.
  • visibility of adjacent coordinates 413 and 415 may be improved through output speed correction, and co-users (eg, one or more electronic devices 101, Users of 102 and 104) can more clearly grasp the work sequence.
  • FIG. 5 is a diagram for explaining an embodiment in which an output time is corrected according to time shifting for adjacent coordinates.
  • FIG. 5 when one or more electronic devices 101 , 102 , and 104 perform a collaborative task through the cloud server 300 , a screen displayed on the electronic device 101 is shown. Although a screen displayed on the electronic device 101 is shown in FIG. 5 for convenience of description, the user of the electronic device 101 performs a task on the electronic device 101, and the user of the electronic device 102 Objects may be displayed in setting information generated by the cloud server 300 on screens of all electronic devices 101 , 102 , and 104 that perform work on the device 102 and perform joint work.
  • the user of the electronic device 101 may draw a line segment 510 composed of coordinates 511, 513, and 515 on the electronic device 101 with a digital pen
  • the user of the electronic device 102 may A line segment 550 composed of coordinates 551 , 553 , and 555 may be drawn on the electronic device 102 using a digital pen.
  • coordinates 511 , 513 , and 515 are sequentially input to the electronic device 101
  • coordinates 551 and 553 are sequentially input to the electronic device 102 .
  • coordinates 555 may be input in order.
  • the processors of the electronic devices 101 and 102 may receive user input through the input module and generate coordinate information based on the user input.
  • the processors of the electronic devices 101 and 102 may transmit input data including coordinate information and time information corresponding to the coordinate information to the cloud server 300 .
  • the processor 120 of the electronic device 101 uses coordinates (1,1), (2,2), and (4,4) as coordinates 511, 513, and 515, and coordinates 511 , 513, 515) may transmit time information representing input times as input data
  • the processor of the electronic device 102 may transmit coordinates (1, 4), (2) as coordinates (551, 553, 555). ,3), (4,1), and time information representing input times of the coordinates 551, 553, and 555, respectively, may be transmitted as input data.
  • the processor 320 of the cloud server 300 analyzes coordinate information received from different electronic devices 101 and 102 to determine whether there are any adjacent coordinates within a critical distance in the coordinate information. can decide whether For example, since the distance between the coordinates 513 input from the electronic device 101 and the coordinates 553 input from the electronic device 102 is less than or equal to a critical distance (eg, 1 distance unit), the cloud server 300 The processor 320 of may determine that adjacent coordinates exist.
  • a critical distance eg, 1 distance unit
  • the processor 320 of the cloud server 300 generates setting information corresponding to the coordinate information when there are neighboring coordinates, and outputs output data including the coordinate information and setting information to one or more electronic devices 101 , 102, 104).
  • the processor 320 may generate setting information including output time information of an object corresponding to the coordinate information.
  • the processor 320 may generate setting information by correcting the output time of the adjacent coordinates 513 and 553 according to time shifting.
  • An output time may be time-shifted based on an adjacent coordinate (eg, the coordinate 513) input first among the two adjacent coordinates 513 and 553.
  • an adjacent coordinate eg, the coordinate 513
  • FIG. 7 An embodiment in which the processor 320 of the cloud server 300 generates setting information by time-shifting adjacent coordinates input from different electronic devices will be described in detail with reference to FIG. 7 .
  • one or more electronic devices 101, 102, and 104 may display an object corresponding to coordinate information based on setting information among received output data. For example, referring to FIG. 5 , after coordinates 511 are displayed in the electronic device 101, coordinates 513, 515, 551, 553, and 555 are output. This can be time shifted. Since one or more electronic devices 101, 102, and 104 are working in collaboration, although the screen of the electronic device 101 is shown in FIG. can
  • time-shifted objects are output according to setting information in each of the electronic devices 101, 102, and 104 will be described in detail with reference to FIGS. 8A to 8D.
  • visibility of adjacent coordinates 513 and 553 may be improved through output time correction according to time shifting, and co-users (eg, one or more Users of the electronic devices 101 , 102 , and 104) can more clearly understand the order of work and the subject of work.
  • FIG. 6 is a diagram for explaining an exemplary operation in which a cloud server determines adjacent coordinates according to a type of user input.
  • FIG. 6 when one or more electronic devices 101 , 102 , and 104 perform a collaborative task through the cloud server 300 , a screen displayed on the electronic device 101 is shown.
  • user inputs are coordinates and line segments
  • FIGS. 4 and 5 the present invention is not limited thereto, and various types of user inputs such as figures or characters may be used during collaboration.
  • a rectangle object 610 composed of coordinates 611, 613, 615, and 617 is created according to a user input to the electronic device 101, and A line segment 650 composed of 651 and coordinates 653 may be generated according to a user input to the electronic device 102 .
  • the processor 320 of the cloud server 300 calculates coordinates according to user input from each client terminal (eg, the electronic device 101 and the electronic device 102). It is possible to receive input data including information and time information, and determine whether or not there are adjacent coordinates in the coordinate information.
  • the processor 320 may calculate the shortest distance between the rectangle object 610 and the line segment 650 . For example, the processor 320 determines that the distance between the coordinates 613 of the rectangle object 610 and the coordinates (4,4) 651 of the line segment 650 is the shortest distance, and the shortest distance is within the threshold distance. Back coordinates 613 and 651 can be determined as adjacent coordinates.
  • the processor 320 generates setting information corresponding to the coordinate information when adjacent coordinates are detected, and transmits output data including the setting information and coordinate information to the electronic devices 101, 102, and 104.
  • the processor 320 may include output speed information for an object corresponding to coordinate information or output time information corresponding to coordinate information.
  • the electronic devices 101, 102, and 104 may display an object corresponding to the coordinate information based on the setting information.
  • FIG. 7 is a diagram for explaining an exemplary operation in which the cloud server 300 generates setting information for neighboring coordinates, according to an embodiment.
  • input data including coordinate information and time information is transmitted (701) to the server 300 according to a user input to the electronic device 101, and the input data is received according to a user input to the electronic device 102. may be transmitted (702) to the server (300).
  • the processor 320 of the cloud server 300 obtains information about the line segment 710 composed of coordinates 711, 713, and 715 and time information at which the coordinates are input according to input data received from the electronic device 101.
  • Information on the line segment 750 composed of coordinates 751 , 753 , and 755 and time information at which the coordinates are input may be obtained according to input data received from the electronic device 102 .
  • the processor 320 of the cloud server 300 determines that there are adjacent coordinates because the distance between the coordinates 713 and the coordinates 753 is within a critical distance (eg, 1 distance unit), and Setting information corresponding to the information may be generated.
  • a critical distance eg, 1 distance unit
  • the processor 320 may generate setting information including output speed information for the coordinates 711 , 713 , and 715 included in the line segment 710 input to the electronic device 101 .
  • the processor 320 may delay the output time of the coordinates 711 by 100 to 300 and the output time of the coordinates 715 by 500 by 100 without changing the output time of the coordinates 711 .
  • the processor 320 may time-shift the output times of the coordinates 751 , 753 , and 755 included in the line segment 750 input to the electronic device 102 .
  • the output time can be shifted by 500 for all coordinates 751, 753, and 755.
  • the processor 320 may generate setting information in various ways.
  • the processor 320 may further change attribute values such as boldness, transparency, and color along with correction of output time or output speed.
  • the processor 320 applies boldness, increases transparency, increases thickness, and increases saturation to coordinates 715, 753, and 755 that are inputted first among the adjacent coordinates 713 and 753 based on the first input coordinate 713. etc. may be applied, and bold exclusion, transparency reduction, thickness reduction, saturation reduction, etc. may be applied to the corresponding coordinates or previously input coordinates 711 and 713 .
  • the processor 320 of the cloud server 300 may transmit output data including coordinate information and setting information to the electronic devices 101, 102, and 104 in collaboration.
  • output data corresponding to a task performed by the electronic device 101 is transmitted (703, 706, 707) to the electronic devices 101, 102, and 104, and corresponds to a task performed by the electronic device 102.
  • the output data may be transmitted (704, 705, 708) to the electronic devices 101, 102, and 104.
  • the electronic devices 101, 102, and 104 may display objects corresponding to the coordinate information based on the received setting information of the output data. An embodiment in which objects are displayed in the electronic device will be described in detail with reference to FIGS. 8A to 8D.
  • 8A to 8D are diagrams for explaining an operation of outputting a screen according to setting information in an electronic device according to an embodiment.
  • the electronic device 101 displays an object corresponding to coordinate information according to setting information.
  • the electronic device 101 will be described as a standard, but as described above with reference to FIG. A screen as shown in FIG. 8D may be displayed.
  • Coordinates 811, 813, 815, 851, 853, 855 and line segments 810, 850 of FIGS. 8A to 8D are coordinates 711, 713, 715, 751, 753, 755) and the line segments 710 and 750.
  • the coordinate 813 which is an adjacent coordinate, is delayed by 100. so that the output speed can be set to the first output speed (eg, “slow”).
  • the line segment 850 and the coordinates 851, 853, and 855 corresponding to the input data generated by the electronic device 102 are all time-shifted by 500, so that the output time is changed. It can be.
  • coordinates 811 are output at time 100, and coordinates 813 are time corresponding to being delayed by 100 time units from time 200, which is the input time information described above with reference to FIG. 7 .
  • coordinates 815 may be output at time 500 delayed by 100 time units from time 400, which is the input time information described above with reference to FIG. 7 .
  • a line segment 850 and coordinates 851, 853, and 855 corresponding to input data generated by the electronic device 102 may be time-shifted by 500 and then output.
  • the time information included in the input data of the coordinates 751, 753, and 755 described above with reference to FIG. 7 was time 200, time 250, and time 600, respectively. It can be output to 700, 750 and 1100.
  • the time shifting or output speed correction for adjacent coordinates described above with reference to FIGS. can be reflected when is performed.
  • the time shifting or output speed correction described above with reference to FIGS. 8A to 8D may be equally reflected even when a user rolls back.
  • the user of the electronic device 101 may undo some of the co-user's immediately preceding actions, and the screen of the electronic device 101 sequentially shows FIGS. 8C, 8B, and 8A. screen can be displayed.
  • the aforementioned time shifting or output speed correction may be applied once again.
  • the screen shown in FIG. 8c is output again, It may be time 1450, which is delayed by 350, which is the difference between time 750 of FIG. 8C and time 1100 of FIG. 8D, from time 1100 of FIG.
  • the time at which the screen of FIG. 8B is displayed again after being undone in FIG. 8C is 50, which is the difference between the time 700 in FIG. 8B and the time 750 in FIG. 8C at time 1450 in FIG. 8C. It may be time 1500 corresponding to the delay.
  • an operation of displaying an object in the electronic device 101 may be activated or deactivated according to a user setting.
  • the user of the electronic device 101 may configure a setting for controlling the adjustment of an output according to the presence or absence of neighboring coordinates when displaying a result of performing a collaborative task, and the user of the electronic device 102 and the electronic device 104 ) can configure their own instance of the application to use that output tuning feature.
  • the electronic device 101 may output based on the time information included in the input data generated by the electronic devices 101 and 102 as described above with reference to FIG. 7 . For example, coordinate 811 is output at time 100, coordinate 813 is output at time 200, coordinate 815 is output at time 400, coordinate 751 is output at time 200, and coordinate 753 is output at time 250. , coordinates 755 may be output at time 600.
  • FIG. 9 is a flowchart illustrating an exemplary operating method of a cloud server according to various embodiments.
  • Operations 910 to 940 may be performed by the processor 320 of the cloud server 300 described above with reference to FIG. 3 , and for concise description, contents overlapping those described with reference to FIGS. 1 to 8D are may be omitted.
  • the processor 320 performs coordinate information and corresponding coordinate information from at least one of the one or more electronic devices 101, 102, and 104 (eg, the electronic device 101 and the electronic device 102). Input data including time information may be received.
  • the processor 320 may analyze the coordinate information to determine whether adjacent coordinates within a critical distance from each other are included in the coordinate information. When the adjacent coordinates do not exist, the object may be displayed in each electronic device without correcting the input data.
  • the processor 320 may generate setting information corresponding to the coordinate information in operation 930 . As described above with reference to FIGS. 4 to 8D , the processor 320 generates setting information including output speed information of an object corresponding to coordinate information or setting information including output time information of an object corresponding to coordinate information. can create
  • the processor 320 may transmit output data including coordinate information and setting information to one or more electronic devices 101, 102, and 104.
  • FIG. 10 is a flowchart for explaining a method of operating an electronic device according to various embodiments.
  • Operations 1010 to 1040 may be performed by the processor 120 of the electronic device 101 described above with reference to FIG. 3 , and for concise description, contents overlapping those described with reference to FIGS. 1 to 8D are may be omitted.
  • the processor 120 may generate coordinate information based on a user input.
  • coordinate information may be generated as a user writes or draws with the electronic device 101 .
  • the processor 120 may transmit input data including coordinate information and time information corresponding to the coordinate information to the cloud server 300. As described above with reference to FIGS. 4 to 8D , the processor 120 may transmit each coordinate and time information representing individual times at which the coordinate information is input to the cloud server 300 . As described with reference to FIG. 9 , the processor 320 of the cloud server 300 may generate setting information corresponding to the coordinate information when there are adjacent coordinates based on the received input data.
  • the processor 120 may receive output data from the cloud server 300.
  • the output data may include coordinate information input to at least one of the one or more electronic devices 101, 102, and 104 (eg, the electronic device 101 and the electronic device 102) and setting information corresponding to each coordinate information.
  • the processor 120 may display an object corresponding to the coordinate information based on the setting information. As described above with reference to FIGS. 8A to 8D , the processor 120 may display an object according to setting information in which an output time or output speed is corrected.
  • the server 300 for collaboration between one or more electronic devices 101, 102, and 104 includes a communication module 390 for communicating with one or more electronic devices 101, 102, and 104, and a computer. It includes a memory 330 in which computer-executable instructions are stored and a processor 320 that accesses the memory 330 and executes the instructions, and the instructions include one or more electronic devices 101 and 102 , 104) receives input data including coordinate information and time information corresponding to the coordinate information from at least one (101, 102), analyzes the coordinate information, determines whether there is an adjacent coordinate within a threshold distance, and If there are coordinates, it may be configured to generate setting information corresponding to the coordinate information and transmit output data including the coordinate information and setting information to one or more electronic devices 101, 102, and 104.
  • the coordinate information is generated according to a user input to each of one or more electronic devices 101, 102, and 104, and the user input includes any one of drawing and hand writing. can do.
  • the adjacent coordinates are determined based on coordinate information received from the same electronic device 101, and the setting information may include output speed information of an object corresponding to the coordinate information.
  • the adjacent coordinates are determined based on coordinate information received from different electronic devices 101 and 102, and the setting information may include output time information of an object corresponding to the coordinate information.
  • the commands may be configured to transmit coordinate information to one or more electronic devices 101, 102, and 104 without generating setting information when there is no time information in the input data.
  • the instructions may be further configured to use an algorithm for maintaining consistency between coordinate information received from one or more electronic devices 101, 102, and 104.
  • setting information may be settable by a user.
  • one or more electronic devices 101, 102, and 104 may display an object corresponding to coordinate information based on setting information.
  • the electronic device 101 includes a communication module 190 for communicating with a server 300 for collaboration between one or more electronic devices 101, 102, and 104 including the electronic device 101; Display module 160 for displaying a screen based on output data received from server 300 -
  • the output data includes coordinate information input to at least one (101, 102) of one or more electronic devices (101, 102, 104) and Including setting information corresponding to coordinate information -, memory 130 in which computer-executable instructions are stored, and the processor 120 that accesses the memory 130 and executes the instructions Including, the commands generate coordinate information based on user input, transmit input data including coordinate information and time information corresponding to the coordinate information to the server 300, and based on setting information, coordinate information It can be configured to display the corresponding object.
  • the user input may include any one of drawing and hand writing.
  • the server 300 receives input data including coordinate information and time information corresponding to the coordinate information from at least one (101, 102) of one or more electronic devices (101, 102, 104), and ,
  • the coordinate information is analyzed to determine whether there are adjacent coordinates within the threshold distance, and if there is adjacent coordinates, setting information corresponding to the coordinate information is generated, and output data including the coordinate information and setting information is outputted to one or more electronic devices. It can be transmitted to devices 101, 102, 104.
  • the adjacent coordinates are determined based on coordinate information received from the same electronic device 101, and the setting information may include output speed information of an object corresponding to the coordinate information.
  • the adjacent coordinates may be determined based on coordinate information received from different electronic devices, and the setting information may include output time information of an object corresponding to the coordinate information.
  • the server 300 may transmit coordinate information to one or more electronic devices 101, 102, and 104 without generating setting information.
  • a method of operating a server 300 for collaboration between one or more electronic devices 101, 102, and 104 includes at least one of the one or more electronic devices 101, 102, and 104 (101, 102).
  • An operation of receiving input data including coordinate information and time information corresponding to the coordinate information from , an operation of analyzing the coordinate information and determining whether or not there is an adjacent coordinate within a critical distance, and responding to the coordinate information if there is an adjacent coordinate It may include an operation of generating setting information, and an operation of transmitting output data including coordinate information and setting information to one or more electronic devices.
  • the coordinate information is generated according to a user input to one or more electronic devices, and the user input may include any one of drawing and hand writing.
  • the adjacent coordinates are determined based on coordinate information received from the same electronic device 101, and the setting information may include output speed information of an object corresponding to the coordinate information.
  • the adjacent coordinates are determined based on coordinate information received from different electronic devices 101 and 102, and the setting information may include output time information of an object corresponding to the coordinate information.
  • one or more electronic devices 101, 102, and 104 may display an object corresponding to coordinate information based on setting information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

서버, 하나 이상의 전자 장치 및 그 방법이 개시된다. 일 실시 예에 따른 서버는, 클라우드 기반 서비스를 제공하고 통신 모듈, 메모리 및 프로세서를 포함한다. 하나 이상의 전자 장치는 디스플레이를 더 포함한다. 서버 및 하나 이상의 전자 장치는 장치(들)로부터 좌표 정보를 포함하는 입력 데이터를 수신하는 서버, 좌표가 서로의 임계 거리 내에 배치된 인접 좌표 세트를 포함하는지 여부를 결정하는 서버, 그런 경우 설정 정보를 생성하고 설정 정보 및 좌표 정보를 장치로 전송하는 서버를 포함하는 방법을 실행하도록 동작 가능하다. 장치는 서버로부터 수신한 데이터에 기초하여 화면을 디스플레이하고, 사용자 입력에 기초하여 좌표 정보를 생성하고, 좌표 정보를 포함하는 입력 데이터를 서버로 전송하고, 오브젝트를 디스플레이한다.

Description

전자 장치들 간의 공동 편집을 지원하는 클라우드 서버 및 그 동작 방법
아래의 개시는 클라우드 컴퓨팅에 관한 것으로, 보다 구체적으로는 협업, 클라우드 기반 다중 사용자 작업공간에서의 시간 이동(time-shifting) 사용자 입력에 관한 것이다.
최근 전자 장치는 네트워크를 이용하여 외부 전자 장치와 통신을 수행할 수 있는 능력 외에 다양성 또는 애플리케이션 및 기능을 제공할 정도로 발전하고 있다. 전자 장치가 계속 발전하면서, 클라우드 컴퓨팅 기능에 대한 수요가 증가하고 있다. 클라우드 컴퓨팅을 통해 사용자는 정보를 인터넷 상의 원격 서버에 저장하고, 언제 어디서든 서버에 접근하여 저장된 정보를 이용할 수 있다. 클라우드 컴퓨팅에 대한 수요가 증가함에 따라, 운영에 클라우드 컴퓨팅을 이용한 다양한 애플리케이션들이 개발되고 있다. 따라서 클라우드 컴퓨팅 기능을 갖춘 전자 장치의 개발은 사용자들이 서버 및 기타 그러한 서비스에 접근할 수 있게 하여 복수의 전자 장치를 통해 동일한 정보 애플리케이션 세트에 접근할 수 있도록 한다.
클라우드 서버를 통해 복수의 사용자들이 전자 장치들을 통해 함께 드로잉이나 핸드라이팅(handwriting)과 같은 공동 편집을 수행할 수 있도록 하여, 클라우드 기반의 다중 사용자 협업 작업 공간을 가능하게 한다. 모든 사용자들이 다중 사용자 작업 공간에서 편집을 수행함에 따라, 전자 장치들은 일반적으로 사용자 입력이 클라우드 서버로 전송된 순서에 따라 편집 결과를 표시한 다음 각각의 전자 장치에 렌더링 명령을 제공한다.
그러나, 복수의 사용자들이 서로 인접한 위치에서 편집을 수행하는 경우, 중복되는 좌표, 선분, 그림 등으로 인해 작업 공간에서 오브젝트들의 가독성이 저하될 수 있다.
일 실시 예에 따른 하나 이상의 전자 장치에 대해 클라우드 기반 서비스를 제공하는 서버는, 상기 하나 이상의 전자 장치와 통신하기 위한 통신 모듈, 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리, 및 상기 통신 모듈 및 상기 메모리에 동작 가능하게 연결되는(operatively coupled) 프로세서를 포함하고, 상기 명령어들은 상기 서버가, 상기 하나 이상의 전자 장치 중 적어도 하나로부터, 적어도 좌표 정보를 포함하는 입력 데이터를 수신하고, 상기 좌표 정보를 분석하여, 서로의 임계 거리 내의 인접 좌표가 상기 좌표 정보에 포함되어 있는지 여부를 결정하고, 상기 인접 좌표의 검출에 기초하여, 상기 좌표 정보에 대응하는 설정 정보를 생성하고, 상기 좌표 정보 및 상기 설정 정보를 포함하는 출력 데이터를 상기 하나 이상의 전자 장치로 전송하도록 상기 프로세서에 의해 실행 가능할 수 있다.
일 실시 예에 따른 전자 장치는, 상기 전자 장치를 포함하는 하나 이상의 전자 장치에 대해 클라우드 기반 서비스를 제공하는 서버와 통신하도록 구성되는 통신 모듈, 디스플레이 모듈, 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리, 및 상기 통신 모듈, 상기 디스플레이 모듈 및 상기 메모리에 동작 가능하게 연결되는(operatively coupled) 프로세서를 포함하고, 상기 명령어들은 상기 전자 장치가, 상기 디스플레이 모듈에 상기 서버로부터 수신한 출력 데이터에 기초하여 화면을 디스플레이하고 - 상기 출력 데이터는 상기 하나 이상의 전자 장치 중 적어도 하나로 입력된 좌표 정보 및 상기 좌표 정보에 대응하는 설정 정보를 포함함 -, 사용자 입력에 기초하여 좌표 정보를 생성하고, 적어도 상기 좌표 정보를 포함하는 입력 데이터를 상기 서버로 전송하고, 상기 설정 정보에 기초하여, 상기 좌표 정보에 대응하는 오브젝트를 디스플레이하도록 상기 프로세서에 의해 실행 가능할 수 있다.
일 실시 예에 따른 하나 이상의 전자 장치에 대해 클라우드 기반 서비스를 제공하는 서버의 동작 방법은, 상기 하나 이상의 전자 장치 중 적어도 하나로부터 적어도 좌표 정보를 포함하는 입력 데이터를 수신하는 동작, 상기 좌표 정보를 분석하여, 서로의 임계 거리 내의 인접 좌표가 상기 좌표 정보에 포함되어 있는지 여부를 결정하는 동작, 상기 인접 좌표의 검출에 기초하여, 상기 좌표 정보에 대응하는 설정 정보를 생성하는 동작, 및 상기 좌표 정보 및 상기 설정 정보를 포함하는 출력 데이터를 상기 하나 이상의 전자 장치로 전송하는 동작을 포함할 수 있다.
다양한 실시 예들에 따르면, 좌표 정보에 대응하는 시간 정보를 함께 클라우드 서버로 전송하고, 클라우드 서버에서 생성된 설정 정보에 따라 좌표 정보에 대응하는 오브젝트를 디스플레이하는 전자 장치가 제공된다.
다양한 실시 예들에 따르면, 전자 장치로부터 좌표 정보 및 좌표 정보에 대응하는 시간 정보를 수신하고, 인접 좌표가 있는 경우 출력 속도를 보정하거나 타임 시프팅(time-shifting)을 통해 설정 정보를 생성하는 클라우드 서버가 제공된다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 다양한 실시 예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 디스플레이 모듈의 블록도이다.
도 3은 다양한 실시 예들에 따른, 전자 장치 및 클라우드 서버의 구성을 설명하기 위한 블록도이다.
도 4는 인접 좌표에 대해 대응하는 오브젝트의 출력 속도가 보정되는 일 실시 예를 설명하기 위한 도면이다.
도 5는 인접 좌표에 대해 타임 시프팅에 따라 출력 시간이 보정되는 일 실시 예를 설명하기 위한 도면이다.
도 6은 클라우드 서버가 사용자 입력의 종류에 따라 인접 좌표를 판단하는 동작을 설명하기 위한 도면이다.
도 7은 일 실시 예에 따른, 클라우드 서버가 인접 좌표에 대해 설정 정보를 생성하는 동작을 설명하기 위한 도면이다.
도 8a 내지 도 8d는 일 실시 예에 따른 전자 장치에서, 설정 정보에 따라 화면이 출력되는 동작을 설명하기 위한 도면이다.
도 9는 다양한 실시 예들에 따른 클라우드 서버의 동작 방법을 설명하기 위한 흐름도이다.
도 10은 다양한 실시 예들에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
< 전자 장치 및 클라우드 서버 >
도 1은 다양한 실시 예들에 따른, 예시적인 네트워크 환경 내의 전자 장치의 블록도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다. 비휘발성 메모리(134)는, 내장 메모리(136) 및 외장 메모리(138)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 홀 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 다양한 예시적인 실시예들에 따른, 디스플레이 모듈(160)의 블록도(200)이다. 도 2를 참조하면, 디스플레이 모듈(160)는 디스플레이(210), 및 이를 제어하기 위한 디스플레이 드라이버 IC(DDI)(230)를 포함할 수 있다. DDI(230)는 인터페이스 모듈(231), 메모리(233)(예: 버퍼 메모리), 이미지 처리 모듈(235), 또는 맵핑 모듈(237)을 포함할 수 있다. DDI(230)은, 예를 들면, 영상 데이터, 또는 상기 영상 데이터를 제어하기 위한 명령에 대응하는 영상 제어 신호를 포함하는 영상 정보를 인터페이스 모듈(231)을 통해 전자 장치 101의 다른 구성요소로부터 수신할 수 있다. 예를 들면, 일실시예에 따르면, 영상 정보는 프로세서(120)(예: 메인 프로세서(121)(예: 어플리케이션 프로세서) 또는 메인 프로세서(121)의 기능과 독립적으로 운영되는 보조 프로세서(123)(예: 그래픽 처리 장치)로부터 수신될 수 있다. DDI(230)는 터치 회로(250) 또는 센서 모듈(176) 등과 상기 인터페이스 모듈(231)을 통하여 커뮤니케이션할 수 있다. 또한, DDI(230)는 상기 수신된 영상 정보 중 적어도 일부를 메모리(233)에, 예를 들면, 프레임 단위로 저장할 수 있다. 이미지 처리 모듈(235)은, 예를 들면, 상기 영상 데이터의 적어도 일부를 상기 영상 데이터의 특성 또는 디스플레이(210)의 특성에 적어도 기반하여 전처리 또는 후처리(예: 해상도, 밝기, 또는 크기 조정)를 수행할 수 있다. 맵핑 모듈(237)은 이미지 처리 모듈(235)를 통해 전처리 또는 후처리된 상기 영상 데이터에 대응하는 전압 값 또는 전류 값을 생성할 수 있다. 일실시예에 따르면, 전압 값 또는 전류 값의 생성은 예를 들면, 디스플레이(210)의 픽셀들의 속성(예: 픽셀들의 배열(RGB stripe 또는 pentile 구조), 또는 서브 픽셀들 각각의 크기)에 적어도 일부 기반하여 수행될 수 있다. 디스플레이(210)의 적어도 일부 픽셀들은, 예를 들면, 상기 전압 값 또는 전류 값에 적어도 일부 기반하여 구동됨으로써 상기 영상 데이터에 대응하는 시각적 정보(예: 텍스트, 이미지, 또는 아이콘)가 디스플레이(210)를 통해 표시될 수 있다.
일실시예에 따르면, 디스플레이 모듈(160)는 터치 회로(250)를 더 포함할 수 있다. 터치 회로(250)는 터치 센서(251) 및 이를 제어하기 위한 터치 센서 IC(253)를 포함할 수 있다. 터치 센서 IC(253)는, 예를 들면, 디스플레이(210)의 특정 위치에 대한 터치 입력 또는 호버링 입력을 감지하기 위해 터치 센서(251)를 제어할 수 있다. 예를 들면, 터치 센서 IC(253)는 디스플레이(210)의 특정 위치에 대한 신호(예: 전압, 광량, 저항, 또는 전하량)의 변화를 측정함으로써 터치 입력 또는 호버링 입력을 감지할 수 있다. 터치 센서 IC(253)는 감지된 터치 입력 또는 호버링 입력에 관한 정보(예: 위치, 면적, 압력, 또는 시간)를 프로세서(120)에 제공할 수 있다. 일실시예에 따르면, 터치 회로(250)의 적어도 일부(예: 터치 센서 IC(253))는 디스플레이 드라이버 IC(230), 또는 디스플레이(210)의 일부로, 또는 디스플레이 모듈(160)의 외부에 배치된 다른 구성요소(예: 보조 프로세서(123))의 일부로 포함될 수 있다.
일실시예에 따르면, 디스플레이 모듈(160)는 센서 모듈(176)의 적어도 하나의 센서(예: 지문 센서, 홍채 센서, 압력 센서 또는 조도 센서), 또는 이에 대한 제어 회로를 더 포함할 수 있다. 이 경우, 상기 적어도 하나의 센서 또는 이에 대한 제어 회로는 디스플레이 모듈(160)의 일부(예: 디스플레이(210) 또는 DDI(230)) 또는 터치 회로(250)의 일부에 임베디드될 수 있다. 예를 들면, 디스플레이 모듈(160)에 임베디드된 센서 모듈(176)이 생체 센서(예: 지문 센서)를 포함할 경우, 상기 생체 센서는 디스플레이(210)의 일부 영역을 통해 터치 입력과 연관된 생체 정보(예: 지문 이미지)를 획득할 수 있다. 다른 예를 들면, 디스플레이 모듈(160)에 임베디드된 센서 모듈(176)이 압력 센서를 포함할 경우, 상기 압력 센서는 디스플레이(210)의 일부 또는 전체 영역을 통해 터치 입력과 연관된 압력 정보를 획득할 수 있다. 일실시예에 따르면, 터치 센서(251) 또는 센서 모듈(176)은 디스플레이(210)의 픽셀 레이어의 픽셀들 사이에, 또는 상기 픽셀 레이어의 위에 또는 아래에 배치될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나 또는 둘"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 3은 다양한 실시 예들에 따른, 전자 장치(101, 102, 104) 및 클라우드 서버(300)의 예시적인 구성을 설명하기 위한 블록도이다.
도 3을 참조하면, 복수의 전자 장치들(101, 102, 104) 및 복수의 전자 장치들(101, 102, 104) 간의 공동 작업을 지원하는 클라우드 서버(300)가 도시되어 있다.
전자 장치(101)는 클라우드 서버(300)와 통신하기 위한 통신 모듈(190), 서버(300)로부터 수신한 출력 데이터에 기초하여 화면을 디스플레이하기 위한 디스플레이 모듈(160), 컴퓨터로 실행 가능한 명령어들이 저장된 메모리(130) 및 메모리(130)에 억세스하여 명령어들을 실행하는 프로세서(120)를 포함할 수 있다. 전자 장치(101)는 사용자 입력을 수신하기 위한 입력 모듈(150) 및 터치 입력과 관련된 정보를 획득하기 위한 센서 모듈(176)을 포함할 수 있다. 전자 장치(101), 메모리(130), 프로세서(120), 입력 모듈(150), 통신 모듈(190), 디스플레이 모듈(160) 및 센서 모듈(176)에 대해 도 1 및 도 2를 참조하여 전술한 사항과 중복되는 설명은 생략한다.
일 실시 예에 따르면, 전자 장치(101)의 메모리(130)에 저장된 명령어들은, 사용자 입력에 기초하여 좌표 정보를 생성하고, 좌표 정보 및 좌표 정보에 대응하는 시간 정보를 포함하는 입력 데이터를 클라우드 서버(300)로 전송하고, 서버(300)로부터 수신한 출력 데이터에 포함된 설정 정보에 기초하여, 좌표 정보에 대응하는 오브젝트를 디스플레이하도록 구성될 수 있다. 출력 데이터는 하나 이상의 전자 장치들(101, 102, 104) 중 적어도 하나(예를 들어, 전자 장치(101) 및 전자 장치(102))로 입력된 좌표 정보 및 좌표 정보에 대응하는 설정 정보를 포함할 수 있다.
전자 장치(102) 및 전자 장치(104)는 전자 장치(101)와 동일하거나 대응하는 구성을 포함할 수 있고, 전자 장치(101), 전자 장치(102) 및 전자 장치(104)는 서버(300)를 통해 공동 작업을 수행할 수 있다. 예를 들어, 전자 장치들(101, 102, 104) 각각에서 드로잉(drawing) 및 핸드라이팅(handwriting) 중 어느 하나가 수행될 수 있고, 수행 결과는 모든 전자 장치들(101, 102, 104)에서 출력될 수 있다.
서버(300)는 복수의 전자 장치들(101, 102, 104)과 통신하기 위한 통신 모듈(390), 컴퓨터로 실행 가능한 명령어들이 저장된 메모리(330) 및 프로세서(320)를 포함할 수 있다. 통신 모듈(390), 메모리(330) 및 프로세서(320)은 도 1을 참조하여 전술한 통신 모듈(190), 메모리(130) 및 프로세서(120)와 동일하거나 유사할 수 있다. 예를 들어, 메모리(330)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다.
일 실시 예에 따르면, 클라우드 서버(300)의 메모리(330)에 저장된 명령어들은, 하나 이상의 전자 장치들(101, 102, 104) 중 적어도 하나(예를 들어, 전자 장치(102))로부터 좌표 정보 및 좌표 정보에 대응하는 시간 정보를 포함하는 입력 데이터를 수신하고, 좌표 정보를 분석하여 임계 거리 내의 인접 좌표가 있는지 여부를 결정하고, 인접 좌표가 있는 경우 좌표 정보에 대응하는 설정 정보를 생성하고, 좌표 정보 및 설정 정보를 포함하는 출력 데이터를 하나 이상의 전자 장치(101, 102, 104)로 전송하도록 구성될 수 있다.
일 실시 예에 따르면, 클라우드 서버(300)의 프로세서(320)는 동일한 전자 장치(101)로부터 수신한 좌표 정보에 기초하여 인접 좌표가 있는지 여부를 결정하고, 좌표 정보에 대응하는 오브젝트의 출력 속도 정보를 포함하는 설정 정보를 생성할 수 있다. 동일한 전자 장치(101)로부터 수신한 좌표 정보에 기초하여 인접 좌표가 있는지 여부가 결정되는 실시 예를 도 4를 참조하여 상세히 설명한다.
일 실시 예에 따르면, 클라우드 서버(300)의 프로세서(320)는 서로 다른 전자 장치(101, 102)로부터 수신한 좌표 정보에 기초하여 인접 좌표가 있는지 여부를 결정하고, 좌표 정보에 대응하는 오브젝트의 출력 시간 정보를 포함하는 설정 정보를 생성할 수 있다. 서로 다른 전자 장치(101, 102)로부터 수신한 좌표 정보에 기초하여 인접 좌표가 있는지 여부가 결정되는 실시 예를 도 5를 참조하여 상세히 설명한다. 서로 다른 전자 장치(101, 102)로부터 수신한 좌표 정보에 기초하여 설정 정보가 생성되고, 이에 따라 전자 장치들(101, 102, 104)에서 오브젝트가 디스플레이되는 실시 예는 도 7 및 도 8a 내지 도 8d를 참조하여 상세히 설명한다.
일 실시 예에 따르면, 좌표 정보에 대응하는 설정 정보는 사용자 설정에 따라 생성될 수 있다. 일 례로, 사용자 설정에 따라 동일한 전자 장치(101)로부터 수신한 좌표 정보가 인접한 경우 설정 정보에 오브젝트 출력 속도 정보가 아닌 출력 시간 정보가 포함될 수 있다. 다른 일 례로, 서로 다른 전자 장치(101, 102)로부터 수신한 좌표 정보가 인접한 경우 설정 정보에 오브젝트 출력 시간 정보가 아닌 출력 속도 정보가 포함될 수 있다. 또 다른 일 례로, 사용자 설정에 따라 설정 정보가 생성되지 않을 수 있다.
일 실시 예에 따르면, 입력 데이터에 시간 정보가 포함되지 않을 수 있고, 프로세서(320)는 좌표 정보에 대응하는 설정 정보를 생성하지 않고 좌표 정보를 하나 이상의 전자 장치(101, 102, 104)로 전송할 수 있다.
일 실시 예에 따르면, 좌표 정보는 하나 이상의 전자 장치(101, 102, 104) 각각으로의 사용자 입력에 따라 생성되고, 사용자 입력은 드로잉 및 핸드라이팅 중 어느 하나를 포함할 수 있다. 사용자 입력의 종류에 따라 인접 좌표가 있는지 여부를 판단하는 방법이 다양하게 구현될 수 있다. 클라우드 서버(300)의 프로세서(320)가 사용자 입력의 종류에 따라 인접 좌표를 판단하는 동작은 도 6을 참조하여 상세히 설명한다.
일 실시 예에 따르면, 클라우드 서버(300)의 프로세서(320)는 하나 이상의 전자 장치(101, 102, 104)로부터 수신한 좌표 정보 간 일관성(consistency) 유지를 위한 알고리즘을 사용할 수 있다. 예를 들어, 프로세서(320)는 OT(operational transformation) 알고리즘을 사용하여 서로 다른 전자 장치들로부터 수신한 좌표 정보 간 충돌을 방지할 수 있다.
일 실시 예에 따르면, 하나 이상의 전자 장치(101, 102, 104)의 프로세서(예를 들어, 전자 장치(101)의 프로세서(120))는 클라우드 서버로(300)부터 수신한 좌표 정보 및 좌표 정보에 대응하는 설정 정보에 기초하여, 좌표 정보에 대응하는 오브젝트를 디스플레이할 수 있다. 예를 들어, 도 4 내지 도 8d를 참조하여 후술하는 바와 같이 전자 장치(101)에서 오브젝트들이 디스플레이될 수 있다. 도 4 내지 도 8d에서는 전자 장치(101)를 예로 들어 설명하지만, 이는 예시일 뿐 하나 이상의 전자 장치들(101, 102, 104) 각각에 동일한 화면이 디스플레이될 수 있다.
도 4 내지 도 10을 참조하여, 전자 장치(101) 및 클라우드 서버(300)의 동작에 대해 상세히 설명한다.
도 4는 인접 좌표에 대해 대응하는 오브젝트의 출력 속도가 보정되는 일 실시 예를 설명하기 위한 도면이다.
도 4 및 후술할 도 5 내지 도 8d에서, 전자 장치(101)에 디스플레이되는 화면이 도시되지만 이는 일 예시일 뿐 클라우드 서버(300)와 통신하는 전자 장치들(101, 102, 104) 각각의 화면에 동일한 화면이 디스플레이될 수 있다는 것이 이해되어야 한다.
일 실시 예에 따르면, 하나 이상의 전자 장치(101, 102, 104)가 클라우드 서버(300)를 통해 공동 작업(예: 연동(interoperation))을 수행함에 있어서, 클라우드 서버(300)의 프로세서(320)는 동일한 전자 장치(101)로부터 수신한 좌표 정보에 기초하여 인접 좌표가 존재하는지 여부를 결정할 수 있다. 예를 들어, 사용자는 디지털 펜으로 전자 장치(101)에 좌표들(411, 413, 415, 417)로 구성된 선분(410)을 드로잉할 수 있다. 도 4를 참조하여 설명하는 실시 예에서, 전자 장치(101)로 좌표(411), 좌표(413), 좌표(415), 좌표(417) 순서대로 입력될 수 있다. 전자 장치(101)의 프로세서(120)는 입력 모듈(150)을 통해 사용자 입력을 수신하고, 사용자 입력에 기초하여 좌표 정보를 생성할 수 있다.
일 실시 예에 따르면, 전자 장치(101)의 프로세서(120)는 좌표 정보 및 좌표 정보에 대응하는 시간 정보를 포함하는 입력 데이터를 클라우드 서버(300)로 전송할 수 있다. 예를 들어, 전자 장치(101)의 프로세서(120)는 좌표들(411, 413, 415, 417)에 대한 정보인 (1,4), (2,3), (2.5, 2.5) 및 (4,1)과, 좌표들(411, 413, 415, 417)이 각각 입력된 시간 정보를 입력 데이터로서 전송할 수 있다.
일 실시 예에 따르면, 클라우드 서버(300)의 프로세서(320)는 좌표 정보를 분석하여 서로의 임계 거리 내의 인접 좌표가 있는지 여부를 결정할 수 있다. 예를 들어, 도 4의 좌표(413)와 좌표(415)의 거리가 임계 거리(예를 들어, 1 거리 단위) 이하이므로 클라우드 서버(300)의 프로세서(320)는 인접 좌표가 좌표 정보에 존재한다고 결정할 수 있다.
일 실시 예에 따르면, 클라우드 서버(300)의 프로세서(320)는 인접 좌표가 있는 경우 좌표 정보에 대응하는 설정 정보를 생성하고, 좌표 정보 및 설정 정보를 포함하는 출력 데이터를 하나 이상의 전자 장치(101, 102, 104)로 전송할 수 있다. 일 실시 예에 따르면, 프로세서(320)는 동일한 전자 장치(101)로부터 수신한 좌표 정보에 기초하여 인접 좌표를 결정한 경우, 좌표 정보에 대응하는 오브젝트의 출력 속도 정보를 포함하는 설정 정보를 생성할 수 있다.
예를 들어, 프로세서(320)는 동일한 전자 장치(101)로부터 수신한 좌표(413, 415)가 인접한 경우, 인접 좌표(413, 415)의 출력 속도를 비교적 낮거나 느린, 제1 속도로 설정할 수 있다. 프로세서(320)는 인접하지 않은 다른 좌표(411, 417)의 출력 속도를 비교적 높거나 빠른, 제1 속도보다 큰, 제2 속도로 설정할 수 있다.
일 실시 예에 따르면, 하나 이상의 전자 장치(101, 102, 104)는 수신한 출력 데이터 중 설정 정보에 기초하여 좌표 정보에 대응하는 오브젝트를 디스플레이할 수 있다. 예를 들어 도 4를 참조하면, 전자 장치(101)에서는 좌표(411)가 디스플레이된 후, 좌표(413) 및 좌표(411)와 좌표(413) 사이의 선분은 "빠르게(예: 제2 속도로)" 출력될 수 있다. 이후 좌표(415) 및 좌표(413)와 좌표(415) 사이의 선분은 "느리게(예: 제1 속도로)" 출력되고, 좌표(417) 및 좌표(415)와 좌표(417) 사이의 선분은 다시 빠르게 출력될 수 있다. 하나 이상의 전자 장치(101, 102, 104) 간 공동 작업 중이므로, 도 4에서는 전자 장치(101)의 화면이 도시되었지만 전자 장치(102) 및 전자 장치(104)의 디스플레이에서도 동일하게 오브젝트들이 디스플레이될 수 있다. 설정 정보에 따라 오브젝트가 디스플레이되는 실시 예는 도 8a 내지 도 8d를 참조하여 상세히 설명한다.
도 4를 참조하여 전술한 실시 예에 따르면, 출력 속도 보정을 통해 인접한 좌표(413, 415)의 시인성(visibility)이 향상될 수 있고, 공동 사용자들(예를 들어, 하나 이상의 전자 장치(101, 102, 104)의 사용자들)은 작업 순서를 보다 명확히 파악할 수 있다.
도 5는 인접 좌표에 대해 타임 시프팅에 따라 출력 시간이 보정되는 일 실시 예를 설명하기 위한 도면이다.
도 5를 참조하면, 하나 이상의 전자 장치(101, 102, 104)가 클라우드 서버(300)를 통해 공동 작업을 수행함에 있어서, 전자 장치(101)에 디스플레이되는 화면이 도시되어 있다. 도 5에서는 설명의 편의를 위해 전자 장치(101)에 디스플레이된 화면이 도시되어 있지만, 전자 장치(101)의 사용자는 전자 장치(101)에 작업을 수행하고, 전자 장치(102)의 사용자는 전자 장치(102)에 작업을 수행하며, 공동 작업을 수행하는 모든 전자 장치(101, 102, 104)의 화면에 클라우드 서버(300)에서 생성된 설정 정보에 오브젝트들이 디스플레이될 수 있다.
예를 들어, 전자 장치(101)의 사용자는 디지털 펜으로 전자 장치(101)에 좌표들(511, 513, 515)로 구성된 선분(510)을 드로잉할 수 있고, 전자 장치(102)의 사용자는 디지털 펜으로 전자 장치(102)에 좌표들(551, 553, 555)로 구성된 선분(550)을 드로잉할 수 있다. 도 5를 참조하여 설명하는 실시 예에서, 전자 장치(101)로 좌표(511), 좌표(513), 좌표(515) 순서대로 입력되고, 전자 장치(102)로 좌표(551), 좌표(553), 좌표(555) 순서대로 입력될 수 있다. 전자 장치(101, 102)의 프로세서는 입력 모듈을 통해 사용자 입력을 각각 수신하고, 사용자 입력에 기초하여 좌표 정보를 생성할 수 있다.
일 실시 예에 따르면, 전자 장치(101, 102)의 프로세서는 좌표 정보 및 좌표 정보에 대응하는 시간 정보를 포함하는 입력 데이터를 클라우드 서버(300)로 전송할 수 있다. 예를 들어, 전자 장치(101)의 프로세서(120)는 좌표들(511, 513, 515)로서 좌표들 (1,1), (2,2) 및 (4,4)와, 좌표들(511, 513, 515)이 각각 입력된 시간을 나타내는 시간 정보를 입력 데이터로서 전송할 수 있고, 전자 장치(102)의 프로세서는 좌표들(551, 553, 555)로서 좌표들 (1,4), (2,3), (4,1)과, 좌표들(551, 553, 555)이 각각 입력된 시간을 나타내는 시간 정보를 입력 데이터로서 전송할 수 있다.
일 실시 예에 따르면, 클라우드 서버(300)의 프로세서(320)는 서로 다른 전자 장치(101) 및 전자 장치(102)로부터 수신한 좌표 정보를 분석하여 좌표 정보에 임계 거리 내의 임의의 인접 좌표가 있는지 여부를 결정할 수 있다. 예를 들어, 전자 장치(101)에서 입력된 좌표(513)와 전자 장치(102)에서 입력된 좌표(553)의 거리가 임계 거리(예를 들어, 1 거리 단위) 이하이므로 클라우드 서버(300)의 프로세서(320)는 인접 좌표가 존재한다고 결정할 수 있다.
일 실시 예에 따르면, 클라우드 서버(300)의 프로세서(320)는 인접 좌표가 있는 경우 좌표 정보에 대응하는 설정 정보를 생성하고, 좌표 정보 및 설정 정보를 포함하는 출력 데이터를 하나 이상의 전자 장치(101, 102, 104)로 전송할 수 있다. 프로세서(320)는 서로 다른 전자 장치(101, 102)로부터 수신한 좌표 정보에 인접 좌표가 있다고 결정한 경우, 좌표 정보에 대응하는 오브젝트의 출력 시간 정보를 포함하는 설정 정보를 생성할 수 있다.
예를 들어, 프로세서(320)는 인접 좌표(513, 553)에 대해 타임 시프팅에 따라 출력 시간을 보정함으로써 설정 정보를 생성할 수 있다. 두 인접 좌표(513, 553) 중 먼저 입력된 인접 좌표(예를 들어, 좌표(513))를 기준으로 출력 시간을 타임 시프팅(time-shifting)할 수 있다. 클라우드 서버(300)의 프로세서(320)가 서로 다른 전자 장치로부터 입력된 인접 좌표에 대해 타임 시프팅하여 설정 정보를 생성하는 실시 예는 도 7을 참조하여 상세히 설명한다.
일 실시 예에 따르면, 하나 이상의 전자 장치(101, 102, 104)는 수신한 출력 데이터 중 설정 정보에 기초하여 좌표 정보에 대응하는 오브젝트를 디스플레이할 수 있다. 예를 들어 도 5를 참조하면, 전자 장치(101)에서는 좌표(511)가 디스플레이된 후, 좌표(513), 좌표(515), 좌표(551), 좌표(553) 및 좌표(555)의 출력이 타임 시프팅될 수 있다. 하나 이상의 전자 장치(101, 102, 104) 간 연동된 공동 작업 중이므로, 도 5에서는 전자 장치(101)의 화면이 도시되었지만 전자 장치(102) 및 전자 장치(104)에서도 해당 방식으로 오브젝트들이 디스플레이될 수 있다.
각 전자 장치(101, 102, 104)에서 설정 정보에 따라 타임 시프팅된 오브젝트들이 출력되는 실시 예는 도 8a 내지 도 8d를 참조하여 상세히 설명한다.
도 5를 참조하여 전술한 실시 예에 따르면, 타임 시프팅에 따른 출력 시간 보정을 통해 인접한 좌표(513, 553)의 시인성(visibility)이 향상될 수 있고, 공동 사용자들(예를 들어, 하나 이상의 전자 장치(101, 102, 104)의 사용자들)은 작업 순서와 작업 주체를 보다 명확히 파악할 수 있다.
도 6은 클라우드 서버가 사용자 입력의 종류에 따라 인접 좌표를 판단하는 예시적인 동작을 설명하기 위한 도면이다.
도 6을 참조하면, 하나 이상의 전자 장치(101, 102, 104)가 클라우드 서버(300)를 통해 공동 작업을 수행함에 있어서, 전자 장치(101)에 디스플레이되는 화면이 도시되어 있다. 도 4 및 도 5를 참조하여 사용자 입력이 좌표 및 선분인 경우의 실시 예를 설명하였지만, 이에 제한되는 것은 아니고, 공동 작업 시 도형이나 캐릭터 등 다양한 종류의 사용자 입력이 이용될 수 있다.
예를 들어, 도 6을 참조하면 좌표(611), 좌표(613), 좌표(615) 및 좌표(617)로 구성된 사각형 오브젝트(610)는 전자 장치(101)로의 사용자 입력에 따라 생성되고, 좌표(651) 및 좌표(653)로 구성된 선분(650)은 전자 장치(102)로의 사용자 입력에 따라 생성될 수 있다.
도 4 및 도 5를 참조하여 전술한 바와 같이, 클라우드 서버(300)의 프로세서(320)는 각 클라이언트 단말(예를 들어, 전자 장치(101) 및 전자 장치(102)) 로부터 사용자 입력에 따른 좌표 정보 및 시간 정보를 포함하는 입력 데이터를 수신하고, 좌표 정보에 인접 좌표가 있는지 여부를 결정할 수 있다.
도 6을 참조하면, 프로세서(320)는 사각형 오브젝트(610)와 선분(650) 사이의 최단 거리를 계산할 수 있다. 예를 들어, 프로세서(320)는 사각형 오브젝트(610)의 좌표(613)와 선분(650)의 좌표(4,4)(651) 사이의 거리가 최단 거리라고 결정하고, 최단 거리가 임계 거리 이내이면 좌표(613) 및 좌표(651)를 인접 좌표라고 결정할 수 있다.
일 실시 예에 따르면, 프로세서(320)는 인접 좌표가 검출되는 경우 좌표 정보에 대응하는 설정 정보를 생성하고, 설정 정보와 좌표 정보를 포함하는 출력 데이터를 전자 장치(101, 102, 104)로 전송할 수 있다. 도 3 내지 도 5을 참조하여 전술한 바와 같이, 설정 정보는 프로세서(320)는 좌표 정보에 대응하는 오브젝트에 대한 출력 속도 정보를 포함하거나, 좌표 정보에 대응하는 출력 시간 정보를 포함할 수 있다. 전자 장치(101, 102, 104)는 설정 정보에 기초하여 좌표 정보에 대응하는 오브젝트를 디스플레이할 수 있다.
도 7은 일 실시 예에 따른, 클라우드 서버(300)가 인접 좌표에 대해 설정 정보를 생성하는 예시적인 동작을 설명하기 위한 도면이다.
도 7을 참조하면, 하나 이상의 전자 장치(101, 102, 104)가 클라우드 서버(300)를 통해 공동 작업을 수행하는 실시 예가 도시된다. 일 실시 예에 따르면, 전자 장치(101)로의 사용자 입력에 따라 좌표 정보 및 시간 정보를 포함하는 입력 데이터가 서버(300)로 전송(701)되고, 전자 장치(102)로의 사용자 입력에 따라 입력 데이터가 서버(300)로 전송(702)될 수 있다.
클라우드 서버(300)의 프로세서(320)는 전자 장치(101)로부터 수신한 입력 데이터에 따라 좌표(711, 713, 715)로 구성된 선분(710)에 대한 정보 및 좌표가 입력된 시간 정보를 획득할 수 있고, 전자 장치(102)로부터 수신한 입력 데이터에 따라 좌표(751, 753, 755)로 구성된 선분(750)에 대한 정보 및 좌표가 입력된 시간 정보를 획득할 수 있다.
일 실시 예에 따르면, 클라우드 서버(300)의 프로세서(320)는 좌표(713) 및 좌표(753) 간 거리가 임계 거리(예를 들어, 1 거리 단위) 이내이므로 인접 좌표가 있다고 결정하고, 좌표 정보에 대응하는 설정 정보를 생성할 수 있다.
일 례로, 프로세서(320)는 전자 장치(101)로 입력된 선분(710)에 포함된 좌표들(711, 713, 715)에 대해 출력 속도 정보를 포함하는 설정 정보를 생성할 수 있다. 예를 들어, 프로세서(320)는 좌표(711)의 출력 시간은 변경하지 않고, 좌표(713)의 출력 시간을 300으로 100만큼, 좌표(715)의 출력 시간을 500으로 100만큼 늦출 수 있다.
다른 일 례로, 프로세서(320)는 전자 장치(102)로 입력된 선분(750)에 포함된 좌표들(751, 753, 755)의 출력 시간을 타임 시프팅할 수 있다. 예를 들어 좌표(751, 753, 755) 모두에 대해 출력 시간을 500씩 시프팅할 수 있다.
다만 전술한 실시 예들로 제한되는 것은 아니고, 프로세서(320)는 다양한 방법으로 설정 정보를 생성할 수 있다. 예를 들어, 프로세서(320)는 출력 시간 또는 출력 속도의 보정과 함께 볼드(bold) 여부, 투명도, 색상 등의 속성 값을 더 변경할 수 있다. 프로세서(320)는 인접 좌표(713, 753) 중 먼저 입력된 좌표(713)를 기준으로, 이후 입력된 좌표들(715, 753, 755)에 대해 볼드 적용, 투명도 높이기, 두께 값 높이기, 채도 높이기 등을 적용하고, 해당 좌표 또는 이전에 입력된 좌표들(711, 713)에 대해 볼드 제외, 투명도 낮추기, 두께 값 줄이기, 채도 낮추기 등을 적용할 수 있다.
일 실시 예에 따르면, 클라우드 서버(300)의 프로세서(320)는 좌표 정보 및 설정 정보를 포함하는 출력 데이터를, 공동 작업중인 전자 장치들(101, 102, 104)로 전송할 수 있다. 예를 들어 전자 장치(101)에서 수행된 작업에 대응하는 출력 데이터가 전자 장치들(101, 102, 104)로 전송(703, 706, 707)되고, 전자 장치(102)에서 수행된 작업에 대응하는 출력 데이터가 전자 장치들(101, 102, 104)로 전송(704, 705, 708)될 수 있다.
전자 장치들(101, 102, 104)은 수신한 출력 데이터의 설정 정보에 기초하여, 좌표 정보에 대응하는 오브젝트를 디스플레이할 수 있다. 전자 장치에서 오브젝트들이 디스플레이되는 실시 예는 도 8a 내지 도 8d를 참조하여 상세히 설명한다.
도 8a 내지 도 8d는 일 실시 예에 따른 전자 장치에서, 설정 정보에 따라 화면이 출력되는 동작을 설명하기 위한 도면이다.
도 8a 내지 도 8d를 참조하면, 도 7을 참조하여 전술한 실시 예에 따라 전자 장치로 출력 데이터가 전송된 후, 전자 장치(101)에서 설정 정보에 따라 좌표 정보에 대응하는 오브젝트가 디스플레이된다. 도 8a 내지 도 8d를 참조하여 후술하는 실시 예에서는 전자 장치(101)를 기준으로 설명하지만, 도 7에서 전술한 바와 같이 공동 작업을 수행하는 모든 전자 장치(101, 102, 104)에서 도 8a 내지 도 8d와 같은 화면이 디스플레이될 수 있다.
도 8a 내지 도 8d의 좌표들(811, 813, 815, 851, 853, 855) 및 선분들(810, 850)은 도 7을 참조하여 전술한 좌표들(711, 713, 715, 751, 753, 755) 및 선분들(710, 750)에 대응할 수 있다. 도 7을 참조하여 전술한 바와 같이, 전자 장치(101)에서 생성된 입력 데이터에 대응하는 선분(810) 및 좌표들(811, 813, 815) 중, 인접 좌표인 좌표(813)부터 100씩 지연되어 출력 속도가 제1 출력 속도로(예: "느리게") 설정될 수 있다. 또한, 도 7을 참조하여 전술한 바와 같이 전자 장치(102)에서 생성된 입력 데이터에 대응하는 선분(850) 및 좌표들(851, 853, 855)은 모두 500씩 타임 시프팅되어 출력 시간이 변경될 수 있다.
도 8a를 참조하면, 전자 장치(101)에서 좌표(811)가 time 100에 출력되고, 좌표(813)는 도 7을 참조하여 전술한 입력 시간 정보인 time 200보다 100 시간 단위 늦춰진 것에 대응하는 time 300에 출력될 수 있다. 도 8b를 참조하면, 좌표(815)는 도 7을 참조하여 전술한 입력 시간 정보인 time 400보다 100 시간 단위 늦춰진 time 500에 출력될 수 있다.
도 8c 및 도 8d를 참조하면, 전자 장치(102)에서 생성된 입력 데이터에 대응하는 선분(850) 및 좌표들(851, 853, 855)은 모두 500씩 타임 시프팅되어 출력될 수 있다. 도 7을 참조하여 전술한 좌표(751, 753, 755)의 입력 데이터에 포함된 시간 정보는 각각 time 200, time 250, time 600이었으나, 도 8c 및 도 8d를 참조하면 각각 500씩 시프팅되어 time 700, 750, 1100에 출력될 수 있다.
일 실시 예에 따르면, 도 8a 내지 도 8d를 참조하여 전술한 인접 좌표에 대한 타임 시프팅 또는 출력 속도 보정은 공동 사용자들이 실시간으로 작업을 수행함에 있어 각 사용자들에 대한 좌표 정보 간 동기화(synchronization)가 수행될 때 반영될 수 있다.
일 실시 예에 다르면, 도 8a 내지 도 8d를 참조하여 전술한 타임 시프팅 또는 출력 속도 보정은 사용자가 실행 취소(roll back)하는 경우에도 동일하게 반영될 수 있다. 예를 들어, 도 8d의 상황에서 전자 장치(101)의 사용자는 공동 사용자의 직전 일부 작업들을 실행 취소할 수 있고, 전자 장치(101)의 화면에는 순서대로 도 8c, 도 8b 및 도 8a와 같은 화면이 출력될 수 있다.
도 8d와 같은 화면에서 시작하여 도 8c, 도 8b 및 도 8a와 같은 화면이 출력되는 과정에서, 전술한 타임 시프팅 또는 출력 속도 보정이 다시 한번 적용될 수 있다. 일 례로, 도 8d에서 전자 장치(101)의 사용자가 실행 취소(또는 "원래대로", "롤 백(roll back)" 등)를 누름으로써 다시 도 8c와 같은 화면이 출력되는 시각은, 도 8d의 시각 time 1100에서 기존 도 8c의 시각 time 750과 도 8d의 시각 time 1100의 차이인 350만큼 지연된 시각인 time 1450일 수 있다. 다른 일 례로, 도 8c에서 다시 한번 실행 취소되어 도 8b의 화면이 다시 출력되는 시각은, 도 8c의 시각 time 1450에서 기존 도 8b의 시각 time 700과 기존 도 8c의 시각 time 750의 차이인 50만큼 지연된 것에 대응하는 시각인 time 1500일 수 있다.
일 실시 예에 따르면, 도 8a 내지 도 8d를 참조하여 전술한 바와 같이 전자 장치(101)에서 오브젝트가 디스플레이되는 동작은 사용자 설정에 따라 활성화 또는 비활성화될 수 있다. 예를 들어, 전자 장치(101)의 사용자는 공동 작업 수행 결과를 디스플레이할 때 인접 좌표 유무에 따라 출력의 조정을 제어하는 설정을 구성할 수 있고, 전자 장치(102)의 사용자 및 전자 장치(104)의 사용자는 해당 출력 조정 기능을 사용하도록 애플리케이션의 자체 인스턴스를 구성할 수 있다. 이에 따라 전자 장치(101)에서는, 도 7을 참조하여 전술한 바와 같이 전자 장치들(101, 102)에서 생성한 입력 데이터에 포함된 시간 정보에 기초하여 출력될 수 있다. 예를 들어, 좌표(811)가 time 100에, 좌표(813)는 time 200에, 좌표(815)는 time 400에 출력되고, 좌표(751)는 time 200에, 좌표(753)는 time 250에, 좌표(755)는 time 600에 출력될 수 있다.
< 전자 장치의 동작 방법 >
도 9는 다양한 실시 예들에 따른 클라우드 서버의 예시적인 동작 방법을 설명하기 위한 흐름도이다.
동작 910 내지 동작 940은 도 3을 참조하여 전술된 클라우드 서버(300)의 프로세서(320)에 의해 수행될 수 있고, 간명한 설명을 위해 도 1 내지 도 8d를 참조하여 설명한 내용과 중복되는 내용은 생략될 수 있다.
동작 910에서 프로세서(320)는 하나 이상의 전자 장치(101, 102, 104) 중 적어도 하나의 장치(예를 들어, 전자 장치(101) 및 전자 장치(102))로부터 좌표 정보 및 좌표 정보에 대응하는 시간 정보를 포함하는 입력 데이터를 수신할 수 있다.
동작 920에서, 프로세서(320)는 좌표 정보를 분석하여 서로의 임계 거리 내의 인접 좌표가 좌표 정보 내에 포함되는지 여부를 결정할 수 있다. 인접 좌표가 존재하지 않는 경우, 입력 데이터에 대한 보정 없이 각 전자 장치들에서 오브젝트가 디스플레이될 수 있다.
인접 좌표가 존재하는 경우, 프로세서(320)는 동작 930에서 좌표 정보에 대응하는 설정 정보를 생성할 수 있다. 도 4 내지 도 8d를 참조하여 전술한 바와 같이, 프로세서(320)는 좌표 정보에 대응하는 오브젝트의 출력 속도 정보를 포함하는 설정 정보 또는 좌표 정보에 대응하는 오브젝트의 출력 시간 정보를 포함하는 설정 정보를 생성할 수 있다.
동작 940에서, 프로세서(320)는 좌표 정보 및 설정 정보를 포함하는 출력 데이터를 하나 이상의 전자 장치(101, 102, 104)로 전송할 수 있다.
도 10은 다양한 실시 예들에 따른 전자 장치의 동작 방법을 설명하기 위한 흐름도이다.
동작 1010 내지 동작 1040은 도 3을 참조하여 전술된 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있고, 간명한 설명을 위해 도 1 내지 도 8d를 참조하여 설명한 내용과 중복되는 내용은 생략될 수 있다.
동작 1010에서, 프로세서(120)는 사용자 입력에 기초하여 좌표 정보를 생성할 수 있다. 예를 들어 사용자가 전자 장치(101)로 핸드라이팅 또는 드로잉을 수행함에 따라 좌표 정보가 생성될 수 있다.
동작 1020에서, 프로세서(120)는 좌표 정보 및 좌표 정보에 대응하는 시간 정보를 포함하는 입력 데이터를 클라우드 서버(300)로 전송할 수 있다. 도 4 내지 도 8d를 참조하여 전술한 바와 같이, 프로세서(120)는 각 좌표 및 좌표 정보가 입력된 개별 시간들을 나타내는 시간 정보를 클라우드 서버(300)로 전송할 수 있다. 도 9를 참조하여 설명한 바와 같이, 클라우드 서버(300)의 프로세서(320)는 수신한 입력 데이터에 기초하여 인접 좌표가 존재하는 경우, 좌표 정보에 대응하는 설정 정보를 생성할 수 있다.
동작 1030에서, 프로세서(120)는 클라우드 서버(300)로부터 출력 데이터를 수신할 수 있다. 출력 데이터에는 하나 이상의 전자 장치(101, 102, 104) 중 적어도 하나(예를 들어, 전자 장치(101) 및 전자 장치(102))로 입력된 좌표 정보 및 각 좌표 정보에 대응하는 설정 정보가 포함될 수 있다.
동작 1040에서, 프로세서(120)는 설정 정보에 기초하여 좌표 정보에 대응하는 오브젝트를 디스플레이할 수 있다. 도 8a 내지 도 8d를 참조하여 전술한 바와 같이, 프로세서(120)는 출력 시간 또는 출력 속도가 보정된 설정 정보에 따라 오브젝트를 디스플레이할 수 있다.
일 실시 예에 따른 하나 이상의 전자 장치(101, 102, 104) 간 공동 작업을 위한 서버(300)는, 하나 이상의 전자 장치(101, 102, 104)와 통신하기 위한 통신 모듈(390), 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리(330) 및 메모리(330)에 억세스(access)하여 명령어들을 실행하는 프로세서(320)를 포함하고, 명령어들은, 하나 이상의 전자 장치(101, 102, 104) 중 적어도 하나(101, 102)로부터 좌표 정보 및 좌표 정보에 대응하는 시간 정보를 포함하는 입력 데이터를 수신하고, 좌표 정보를 분석하여, 임계 거리 내의 인접 좌표가 있는지 여부를 결정하고, 인접 좌표가 있는 경우, 좌표 정보에 대응하는 설정 정보를 생성하고, 좌표 정보 및 설정 정보를 포함하는 출력 데이터를 하나 이상의 전자 장치(101, 102, 104)로 전송하도록 구성될 수 있다.
일 실시 예에 따르면, 좌표 정보는, 하나 이상의 전자 장치(101, 102, 104) 각각으로의 사용자 입력에 따라 생성되고, 사용자 입력은 드로잉(drawing) 및 핸드라이팅(hand writing) 중 어느 하나를 포함할 수 있다.
일 실시 예에 따르면, 인접 좌표는 동일한 전자 장치(101)로부터 수신한 좌표 정보에 기초하여 결정되고, 설정 정보는 좌표 정보에 대응하는 오브젝트의 출력 속도 정보를 포함할 수 있다.
일 실시 예에 따르면, 인접 좌표는 서로 다른 전자 장치(101, 102)로부터 수신한 좌표 정보에 기초하여 결정되고, 설정 정보는 좌표 정보에 대응하는 오브젝트의 출력 시간 정보를 포함할 수 있다.
일 실시 예에 따르면, 명령어들은, 입력 데이터에 시간 정보가 없는 경우, 설정 정보를 생성하지 않고, 좌표 정보를 하나 이상의 전자 장치(101, 102, 104)로 전송하도록 구성될 수 있다.
일 실시 예에 따르면, 명령어들은, 하나 이상의 전자 장치(101, 102, 104)로부터 수신한 좌표 정보 간 일관성(consistency) 유지를 위한 알고리즘을 사용하도록 더 구성될 수 있다.
일 실시 예에 따르면, 설정 정보는, 사용자가 설정 가능할 수 있다.
일 실시 예에 따르면, 하나 이상의 전자 장치(101, 102, 104)는, 설정 정보에 기초하여 좌표 정보에 대응하는 오브젝트를 디스플레이할 수 있다.
일 실시 예에 따른 전자 장치(101)는, 전자 장치(101)를 포함하는 하나 이상의 전자 장치(101, 102, 104) 간 공동 작업을 위한 서버(300)와 통신하기 위한 통신 모듈(190), 서버(300)로부터 수신한 출력 데이터에 기초하여 화면을 디스플레이하는 디스플레이 모듈(160) - 출력 데이터는 하나 이상의 전자 장치(101, 102, 104) 중 적어도 하나(101, 102)로 입력된 좌표 정보 및 좌표 정보에 대응하는 설정 정보를 포함함 -, 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리(130) 및 메모리(130)에 억세스(access)하여 명령어들을 실행하는 프로세서(120)를 포함하고, 명령어들은, 사용자 입력에 기초하여 좌표 정보를 생성하고, 좌표 정보 및 좌표 정보에 대응하는 시간 정보를 포함하는 입력 데이터를 서버(300)로 전송하고, 설정 정보에 기초하여, 좌표 정보에 대응하는 오브젝트를 디스플레이하도록 구성될 수 있다.
일 실시 예에 따르면, 사용자 입력은 드로잉(drawing) 및 핸드라이팅(hand writing) 중 어느 하나를 포함할 수 있다.
일 실시 예에 따르면, 서버(300)는, 하나 이상의 전자 장치(101, 102, 104) 중 적어도 하나(101, 102)로부터 좌표 정보 및 좌표 정보에 대응하는 시간 정보를 포함하는 입력 데이터를 수신하고, 좌표 정보를 분석하여, 임계 거리 내의 인접 좌표가 있는지 여부를 결정하고, 인접 좌표가 있는 경우, 좌표 정보에 대응하는 설정 정보를 생성하고, 좌표 정보 및 설정 정보를 포함하는 출력 데이터를 하나 이상의 전자 장치(101, 102, 104)로 전송할 수 있다.
일 실시 예에 따르면, 인접 좌표는 동일한 전자 장치(101)로부터 수신한 좌표 정보에 기초하여 결정되고, 설정 정보는 좌표 정보에 대응하는 오브젝트의 출력 속도 정보를 포함할 수 있다.
일 실시 예에 따르면, 인접 좌표는 서로 다른 전자 장치로부터 수신한 좌표 정보에 기초하여 결정되고, 설정 정보는 좌표 정보에 대응하는 오브젝트의 출력 시간 정보를 포함할 수 있다.
일 실시 예에 따르면, 서버(300)는, 입력 데이터에 시간 정보가 없는 경우, 설정 정보를 생성하지 않고, 좌표 정보를 하나 이상의 전자 장치(101, 102, 104)로 전송할 수 있다.
일 실시 예에 따르면, 하나 이상의 전자 장치(101, 102, 104) 간 공동 작업을 위한 서버(300)의 동작 방법은, 하나 이상의 전자 장치(101, 102, 104) 중 적어도 하나(101, 102)로부터 좌표 정보 및 좌표 정보에 대응하는 시간 정보를 포함하는 입력 데이터를 수신하는 동작, 좌표 정보를 분석하여, 임계 거리 내의 인접 좌표가 있는지 여부를 결정하는 동작, 인접 좌표가 있는 경우, 좌표 정보에 대응하는 설정 정보를 생성하는 동작, 및 좌표 정보 및 설정 정보를 포함하는 출력 데이터를 하나 이상의 전자 장치로 전송하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 좌표 정보는 하나 이상의 전자 장치 각각으로의 사용자 입력에 따라 생성되고, 사용자 입력은 드로잉(drawing) 및 핸드라이팅(hand writing) 중 어느 하나를 포함할 수 있다.
일 실시 예에 따르면, 인접 좌표는 동일한 전자 장치(101)로부터 수신한 좌표 정보에 기초하여 결정되고, 설정 정보는 좌표 정보에 대응하는 오브젝트의 출력 속도 정보를 포함할 수 있다.
일 실시 예에 따르면, 인접 좌표는 서로 다른 전자 장치(101, 102)로부터 수신한 좌표 정보에 기초하여 결정되고, 설정 정보는 좌표 정보에 대응하는 오브젝트의 출력 시간 정보를 포함할 수 있다.
일 실시 예에 따르면, 하나 이상의 전자 장치(101, 102, 104)는, 설정 정보에 기초하여 좌표 정보에 대응하는 오브젝트를 디스플레이할 수 있다.
본 개시가 그 다양한 실시 예들을 참조하여 도시 및 설명되었지만, 첨부된 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 개시로부터 벗어나지 않고 형태 및 세부사항에서 다양한 변경이 이루어질 수 있다는 것이 당업자에 의해 이해될 것이다.

Claims (15)

  1. 하나 이상의 전자 장치에 대해 클라우드 기반 서비스를 제공하는 서버에 있어서,
    상기 하나 이상의 전자 장치와 통신하기 위한 통신 모듈;
    컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리; 및
    상기 통신 모듈 및 상기 메모리에 동작 가능하게 연결되는(operatively coupled) 프로세서
    를 포함하고,
    상기 명령어들은 상기 서버가:
    상기 하나 이상의 전자 장치 중 적어도 하나로부터, 적어도 좌표 정보를 포함하는 입력 데이터를 수신하고,
    상기 좌표 정보를 분석하여, 서로의 임계 거리 내의 인접 좌표가 상기 좌표 정보에 포함되어 있는지 여부를 결정하고,
    상기 인접 좌표의 검출에 기초하여, 상기 좌표 정보에 대응하는 설정 정보를 생성하고,
    상기 좌표 정보 및 상기 설정 정보를 포함하는 출력 데이터를 상기 하나 이상의 전자 장치로 전송
    하도록 상기 프로세서에 의해 실행 가능한,
    서버.
  2. 제1항에 있어서,
    상기 좌표 정보는,
    상기 하나 이상의 전자 장치 각각에 의해 수신된 사용자 입력에 기초하여 생성되고,
    상기 사용자 입력은 드로잉(drawing) 입력 및 핸드라이팅(hand writing) 입력 중 어느 하나를 포함하는,
    서버.
  3. 제1항에 있어서,
    상기 인접 좌표는 동일한 전자 장치로부터 수신한 좌표 정보에 기초하여 결정되고,
    상기 설정 정보는 상기 좌표 정보에 대응하는 오브젝트에 대한 출력 속도 정보를 포함하는,
    서버.
  4. 제1항에 있어서,
    상기 인접 좌표는 서로 다른 전자 장치로부터 수신한 좌표 정보에 기초하여 결정되고,
    상기 설정 정보는 상기 좌표 정보에 대응하는 오브젝트에 대한 출력 시간 정보를 포함하는,
    서버.
  5. 제1항에 있어서,
    상기 명령어들은, 상기 서버가:
    상기 입력 데이터에 시간 정보가 없는 경우, 상기 설정 정보를 생성하지 않고, 상기 좌표 정보를 상기 하나 이상의 전자 장치로 전송
    하도록 더 실행 가능한,
    서버.
  6. 제1항에 있어서,
    상기 명령어들은, 상기 서버가:
    알고리즘을 사용하여, 상기 하나 이상의 전자 장치로부터 수신한 서로 다른 좌표 정보 간 일관성(consistency)을 유지
    하도록 더 실행 가능한,
    서버.
  7. 제1항에 있어서,
    상기 설정 정보는,
    사용자가 구성 가능한,
    서버.
  8. 제1항에 있어서,
    상기 하나 이상의 전자 장치는,
    상기 설정 정보에 기초하여 상기 좌표 정보에 대응하는 오브젝트를 디스플레이하는,
    서버.
  9. 전자 장치에 있어서,
    상기 전자 장치를 포함하는 하나 이상의 전자 장치에 대해 클라우드 기반 서비스를 제공하는 서버와 통신하도록 구성되는 통신 모듈;
    디스플레이 모듈-;
    컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리; 및
    상기 통신 모듈, 상기 디스플레이 모듈 및 상기 메모리에 동작 가능하게 연결되는(operatively coupled) 프로세서
    를 포함하고,
    상기 명령어들은 상기 전자 장치가:
    상기 디스플레이 모듈에 상기 서버로부터 수신한 출력 데이터에 기초하여 화면을 디스플레이하고 - 상기 출력 데이터는 상기 하나 이상의 전자 장치 중 적어도 하나로 입력된 좌표 정보 및 상기 좌표 정보에 대응하는 설정 정보를 포함함 -,
    사용자 입력에 기초하여 좌표 정보를 생성하고,
    적어도 상기 좌표 정보를 포함하는 입력 데이터를 상기 서버로 전송하고,
    상기 설정 정보에 기초하여, 상기 좌표 정보에 대응하는 오브젝트를 디스플레이
    하도록 상기 프로세서에 의해 실행 가능한,
    전자 장치.
  10. 제9항에 있어서,
    상기 사용자 입력은 드로잉(drawing) 입력 및 핸드라이팅(hand writing) 입력 중 어느 하나를 포함하는,
    전자 장치.
  11. 제9항에 있어서,
    상기 서버는,
    상기 하나 이상의 전자 장치 중 적어도 하나로부터 적어도 좌표 정보를 포함하는 입력 데이터를 수신하고,
    상기 좌표 정보를 분석하여, 서로의 임계 거리 내의 인접 좌표가 상기 좌표 정보에 포함되어 있는지 여부를 결정하고,
    상기 인접 좌표의 검출에 기초하여, 상기 좌표 정보에 대응하는 설정 정보를 생성하고,
    상기 좌표 정보 및 상기 설정 정보를 포함하는 출력 데이터를 상기 하나 이상의 전자 장치로 전송하는,
    전자 장치.
  12. 하나 이상의 전자 장치에 대해 클라우드 기반 서비스를 제공하는 서버의 동작 방법에 있어서,
    상기 하나 이상의 전자 장치 중 적어도 하나로부터 적어도 좌표 정보를 포함하는 입력 데이터를 수신하는 동작;
    상기 좌표 정보를 분석하여, 서로의 임계 거리 내의 인접 좌표가 상기 좌표 정보에 포함되어 있는지 여부를 결정하는 동작;
    상기 인접 좌표의 검출에 기초하여, 상기 좌표 정보에 대응하는 설정 정보를 생성하는 동작; 및
    상기 좌표 정보 및 상기 설정 정보를 포함하는 출력 데이터를 상기 하나 이상의 전자 장치로 전송하는 동작
    을 포함하는,
    서버의 동작 방법.
  13. 제12항에 있어서,
    상기 좌표 정보는,
    상기 하나 이상의 전자 장치 각각에 의해 수신된 사용자 입력에 기초하여 생성되고,
    상기 사용자 입력은 드로잉(drawing) 입력 및 핸드라이팅(hand writing) 입력 중 어느 하나를 포함하는,
    서버의 동작 방법.
  14. 제12항에 있어서,
    상기 하나 이상의 전자 장치는,
    상기 설정 정보에 기초하여 상기 좌표 정보에 대응하는 오브젝트를 디스플레이하는,
    서버의 동작 방법.
  15. 하드웨어와 결합되어 제12항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램.
PCT/KR2022/015709 2021-12-06 2022-10-17 전자 장치들 간의 공동 편집을 지원하는 클라우드 서버 및 그 동작 방법 WO2023106606A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/108,927 US20230195404A1 (en) 2021-12-06 2023-02-13 Cloud server supporting co-editing between electronic devices and operating method thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2021-0172778 2021-12-06
KR20210172778 2021-12-06
KR10-2021-0189965 2021-12-28
KR1020210189965A KR20230085036A (ko) 2021-12-06 2021-12-28 전자 장치들 간의 공동 편집을 지원하는 클라우드 서버 및 그 동작 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/108,927 Continuation US20230195404A1 (en) 2021-12-06 2023-02-13 Cloud server supporting co-editing between electronic devices and operating method thereof

Publications (1)

Publication Number Publication Date
WO2023106606A1 true WO2023106606A1 (ko) 2023-06-15

Family

ID=86730624

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/015709 WO2023106606A1 (ko) 2021-12-06 2022-10-17 전자 장치들 간의 공동 편집을 지원하는 클라우드 서버 및 그 동작 방법

Country Status (2)

Country Link
US (1) US20230195404A1 (ko)
WO (1) WO2023106606A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012247861A (ja) * 2011-05-25 2012-12-13 Panasonic Corp タッチスクリーン装置、タッチ操作入力方法及びプログラム
KR101826625B1 (ko) * 2016-08-04 2018-02-07 주식회사 한글과컴퓨터 문서의 동시 편집을 지원하는 문서 협업 지원 장치 및 그 동작 방법
KR101876134B1 (ko) * 2017-08-18 2018-07-06 박대준 실시간 협업을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
KR20190039767A (ko) * 2016-08-16 2019-04-15 마이스크립트 협업적 잉크 관리를 위한 시스템 및 방법
KR20190138798A (ko) * 2017-04-15 2019-12-16 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 실시간 협업을 위한 라이브 잉크 프레즌스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012247861A (ja) * 2011-05-25 2012-12-13 Panasonic Corp タッチスクリーン装置、タッチ操作入力方法及びプログラム
KR101826625B1 (ko) * 2016-08-04 2018-02-07 주식회사 한글과컴퓨터 문서의 동시 편집을 지원하는 문서 협업 지원 장치 및 그 동작 방법
KR20190039767A (ko) * 2016-08-16 2019-04-15 마이스크립트 협업적 잉크 관리를 위한 시스템 및 방법
KR20190138798A (ko) * 2017-04-15 2019-12-16 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 실시간 협업을 위한 라이브 잉크 프레즌스
KR101876134B1 (ko) * 2017-08-18 2018-07-06 박대준 실시간 협업을 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체

Also Published As

Publication number Publication date
US20230195404A1 (en) 2023-06-22

Similar Documents

Publication Publication Date Title
WO2022031051A1 (ko) 캡쳐 기능 제공 방법 및 그 전자 장치
WO2022060041A1 (ko) 콘텐트를 생성하기 위한 폴더블 전자 장치 및 그의 동작 방법
WO2022119276A1 (ko) 플렉서블 디스플레이 전자 장치 및 그 동작 방법
WO2022108192A1 (ko) 전자 장치 및 전자 장치의 멀티윈도우 제어방법
WO2021261949A1 (ko) 디스플레이의 폴딩 상태에 따른 이용 방법 및 이를 이용한 전자 장치
WO2021158055A1 (en) Electronic device including touch sensor ic and operation method thereof
WO2022030890A1 (ko) 다중 윈도우 이미지 캡쳐 방법 및 이를 위한 전자 장치
WO2022086272A1 (ko) 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2022030998A1 (ko) 디스플레이를 포함하는 전자 장치 및 그의 동작 방법
WO2022030921A1 (ko) 전자 장치 및 그의 화면을 제어하는 방법
WO2023106606A1 (ko) 전자 장치들 간의 공동 편집을 지원하는 클라우드 서버 및 그 동작 방법
WO2022014836A1 (ko) 가상 객체들의 밝기를 다르게 표시하는 방법 및 장치
WO2022119227A1 (ko) 전자 장치 및 이의 동작 방법
WO2023287057A1 (ko) 주변 장치로부터 입력을 수신하였을 때 화면을 빠르게 업데이트하는 전자 장치
WO2023054948A1 (ko) 가변 디스플레이를 포함하는 전자 장치 및 그의 동작 방법
WO2022010092A1 (ko) 컨텐츠 공유를 지원하는 전자 장치
WO2022260248A1 (ko) 컨텐츠를 디스플레이에 표시하기 위한 방법 및 장치
WO2024072177A1 (ko) 디스플레이로의 명령을 제어하는 전자 장치 및 방법
WO2023214675A1 (ko) 터치 입력을 처리하기 위한 전자 장치 및 방법
WO2023003224A1 (ko) 증강 현실 또는 가상 현실을 제공하는 전자 장치 및 전자 장치의 동작 방법
WO2024085642A1 (ko) 디스플레이를 포함하는 전자 장치 및 이의 동작 방법
WO2023008854A1 (ko) 디스플레이 내장형 광학 센서를 포함하는 전자 장치
WO2022169093A1 (ko) 투명 디스플레이를 포함하는 전자 장치 및 이의 제어 방법
WO2024076031A1 (ko) 클럭 레이트를 제어하는 디스플레이 구동 회로를 포함하는 전자 장치
WO2024072053A1 (ko) 디스플레이 내의 메모리를 제어하는 전자 장치 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22904440

Country of ref document: EP

Kind code of ref document: A1