WO2024049094A1 - 외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 전자 장치, 그 동작 방법 및 저장 매체 - Google Patents

외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 전자 장치, 그 동작 방법 및 저장 매체 Download PDF

Info

Publication number
WO2024049094A1
WO2024049094A1 PCT/KR2023/012515 KR2023012515W WO2024049094A1 WO 2024049094 A1 WO2024049094 A1 WO 2024049094A1 KR 2023012515 W KR2023012515 W KR 2023012515W WO 2024049094 A1 WO2024049094 A1 WO 2024049094A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
display
external electronic
content
external
Prior art date
Application number
PCT/KR2023/012515
Other languages
English (en)
French (fr)
Inventor
이니나
김상헌
임연욱
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220130825A external-priority patent/KR20240030888A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US18/457,336 priority Critical patent/US20240069846A1/en
Publication of WO2024049094A1 publication Critical patent/WO2024049094A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Definitions

  • An embodiment disclosed in this document relates to an electronic device, an operating method, and a storage medium for controlling a display corresponding to the direction of an external electronic device.
  • a flexible electronic device can change its shape by applying force to the user, providing a foldable or bendable display or a rollable display.
  • Electronic devices including foldable flexible displays can display screens on displays (or display areas) of various sizes. For example, when the electronic device is folded in half and stands upright, the user can look at the screen (e.g., the content screen) in a hands-free state. In the folded state, the screen may be displayed only through the internal display of the electronic device, or in certain applications (e.g., camera applications), the screen may be displayed through an external display according to user settings.
  • the screen e.g., the content screen
  • the screen may be displayed through an external display according to user settings.
  • the electronic device 101 includes a first display 260, a second display 261 disposed in a direction opposite to the first display, a memory 130 or 530, and at least one processor ( 120, 520).
  • the memory may store instructions that, when executed by the at least one processor, cause the electronic device to output content through the first display.
  • the instructions may be set to identify the direction of the external electronic device connected to the electronic device through short-distance communication with respect to the electronic device while the electronic device is outputting the content.
  • the instructions maintain output of the content through the first display in response to the electronic device identifying that the direction of the external electronic device is in a first direction range, and the external electronic device maintains output of the content through the first display.
  • the content may be set to be output through the second display.
  • a method for controlling a display corresponding to the direction of an external electronic device in an electronic device may include outputting content through a first display of the electronic device.
  • the method may include identifying the direction of the external electronic device connected to the electronic device through a short-range communication method with respect to the electronic device while outputting the content.
  • the method may include maintaining output of the content through the first display in response to identifying that the direction of the external electronic device is in a first direction range.
  • the method includes outputting the content through a second display disposed in a direction opposite to the first display, in response to identifying that the direction of the external electronic device is in a second direction range. Can include actions.
  • the instructions when executed by at least one processor 120 or 520 of the electronic device 101, cause the electronic device to perform at least one operation.
  • the at least one operation includes outputting content through a first display of the electronic device, and an external device connected to the electronic device through a short-range communication method based on the electronic device while outputting the content. Identifying the direction of the electronic device, maintaining output of the content through the first display in response to identifying that the direction of the external electronic device is within a first direction range, and the direction of the external electronic device In response to identifying that the content is within the second direction range, the method may include outputting the content through a second display disposed in a direction opposite to the first display.
  • the electronic device 101 may include a short-range communication circuit, a display 260, an ultra wide band (UWB) circuit, memories 130 and 530, and at least one processor 120 and 520. there is.
  • the memory may store instructions that, when executed by the at least one processor, allow the electronic device to control the short-range communication circuit to establish a communication link with an external electronic device.
  • the instructions allow the electronic device to control the UWB circuit to perform a ranging operation to obtain information related to the distance and direction of the external electronic device associated with the electronic device. can be set.
  • the instructions cause the electronic device to perform a first operation based on the direction of the external electronic device within a specified direction range while the external electronic device is within the ranging distance of the UWB circuit. It can be set to control the display. According to one embodiment, the instructions allow the electronic device to perform a second operation based on the direction of the external electronic device outside the specified direction range while the external electronic device is within the ranging distance of the UWB circuit. It can be set to control the display so as to do so.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to an embodiment.
  • FIG. 2 is a diagram illustrating an unfolded state and a folded state of an electronic device according to an embodiment.
  • FIG. 3 is a diagram illustrating a partially folded state of an electronic device according to an embodiment.
  • Figure 4 is a perspective view to explain various states of an electronic device according to an embodiment.
  • Figure 5 is an internal block diagram of an electronic device according to an embodiment.
  • FIG. 6A is an example diagram of outputting content being played by changing the display of a first type of electronic device according to the location of an external electronic device, according to an embodiment.
  • FIG. 6B is an example of a control screen on an external electronic device when the external electronic device is located on the side of the electronic device, according to an embodiment.
  • FIG. 6C is an example of outputting content being played by changing the display of a second type of electronic device according to the location of an external electronic device, according to an embodiment.
  • FIG. 6D is an example of outputting content being played by changing the display of a third type of electronic device according to the location of an external electronic device, according to an embodiment.
  • FIG. 7 is a flowchart of an operation in an electronic device according to an embodiment.
  • FIG. 8 is a flowchart of an operation in an electronic device for controlling a display corresponding to the direction of an external electronic device, according to an embodiment.
  • FIG. 9A is an example diagram illustrating a display change when an external electronic device moves to a rearward range of the electronic device, according to an embodiment.
  • FIG. 9B is an example diagram illustrating a display change when an external electronic device moves to a range in the front direction of the electronic device, according to an embodiment.
  • FIG. 9C is an example diagram illustrating a display change when moving another type of external electronic device according to an embodiment.
  • FIG. 10 is a flowchart of operations in an electronic device for controlling a display in response to an external electronic device located on the side of the electronic device, according to an embodiment.
  • FIG. 11A is an example diagram illustrating a display change when an external electronic device moves to a side range of the electronic device, according to an embodiment.
  • FIG. 11B is an example diagram illustrating a display change when an external electronic device moves from a side range to a rear range of the electronic device, according to an embodiment.
  • Figure 12 is a signal flow diagram between an electronic device, an external electronic device, and an external display device for mirroring according to an embodiment.
  • Figure 13 is an example diagram showing a display change when an external electronic device moves toward an external display device, according to an embodiment.
  • FIG. 14 is an example diagram illustrating a display change when an external electronic device moves from an external display device in the direction of the electronic device, according to an embodiment.
  • Figure 15 is an example diagram showing a display change when an external electronic device moves in the vertical direction of the electronic device, according to an embodiment.
  • Figure 16 is an example diagram showing a display change according to the distance to an external electronic device according to an embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to one embodiment.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network).
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or operations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes a main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 121 e.g., a central processing unit or an application processor
  • auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 is a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected to the plurality of antennas by, for example, the communication module 190. can be selected Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a first side e.g., bottom side
  • a designated high frequency band e.g., mmWave band
  • a plurality of antennas e.g., array antennas
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a diagram illustrating an unfolded state and a folded state of an electronic device according to an embodiment.
  • the electronic device 101 may include a foldable housing and a flexible or foldable display 260 disposed in a space formed by the foldable housing.
  • the foldable housing may have a substantially symmetrical shape about a folding axis (eg, A axis).
  • the surface on which the first flexible display 260 is disposed is defined as the first surface 210a of the electronic device 101, and the surface opposite to the first surface 210a is the second surface 220a.
  • the side on which the first display 260 is placed is defined as the first side 210a or the front of the electronic device 101, and the side opposite to the front is defined as the second side 220a or the back of the electronic device 101. It can be defined as:
  • the first display 260 may be formed to occupy the entire first side 210a of the electronic device 101, and as shown in FIG. 2(b), the first display 260 may be formed to occupy the entire first surface 210a of the electronic device 101.
  • the display 261 may be formed to occupy at least a portion of the second surface 220a.
  • the first display 260 can pivot through a separate hinge module, and the second display 261 can be fixed to the housing.
  • the hinge structure may be configured to fold or unfold inward or outward.
  • a free stop hinge can maintain the folded state (e.g., perfectly folded state) of the electronic device 101 at various angles.
  • the second display 261 may be disposed in one of a pair of housings disposed on both sides of the folding axis (eg, A axis).
  • the first display 260 may refer to a flexible display in which at least some areas can be transformed into a flat or curved surface.
  • the first display 260 includes a first area (or first display area) 260a disposed on one side with respect to the folding axis (e.g., A axis) and a second area (or second display area) disposed on the other side. )(260b).
  • the surface of the first display area 260a and the surface of the second display area 260b form an angle of 180 degrees with each other. and may face the same direction (e.g., toward the front of the electronic device 101).
  • the surface of the first display area 260a of the first display 260 and The surfaces of the second display area 260b may face each other at a narrow angle (eg, between 0 degrees and 10 degrees).
  • the second display 261 is one of a pair of housings disposed on both sides with respect to the folding axis (e.g., A axis). Although it may be placed in any one, this is an example, and in another embodiment, the second display 261 may constitute most of the rear surface 220a depending on its structure or function.
  • the electronic device 101 may include a second display 261, at least a portion of which is visually exposed through the rear cover. Therefore, note that the size and shape of the first display 260 and the second display 261 are not limited thereto. Additionally, the division of the area of the first display 260 shown in FIG. 2(a) is an example, and may be divided into a plurality of areas (eg, four or more or two) depending on the structure or function.
  • FIG. 3 is a diagram illustrating a partially folded state of an electronic device according to an embodiment.
  • the electronic device 101 may be in a partially unfolded state based on the folding axis (eg, A-A').
  • the electronic device 101 may be in a state in which the first housing structure 320 is in contact with a contact surface (eg, floor, table) and the second housing structure 310 is erected based on the contact surface.
  • the electronic device 101 including a flexible display can be folded or bended around one axis.
  • the first display 260 when the electronic device 101 is in a partially folded state, the first display 260 may be divided into a first display area 260a and a second display area 260b at the top and bottom with respect to the folding axis.
  • the first display area 260a corresponding to the upper side when the user looks based on the folding axis may be referred to as the upper area of the first display 260 (or internal display), and the second display area 260b corresponding to the lower side may be referred to as the bottom area of the first display 260 (or internal display).
  • At least one of the first display area 260a or the second display area 260b may include a front camera.
  • FIG. 4 is a perspective view illustrating various partially folded states of an electronic device according to an embodiment.
  • the electronic device 101 may have various partially folded states 400a, 400b, 400c, and 400d, as shown in FIG. 4 .
  • the electronic device 101 may be folded in half in a standing state, for example, in a compact form.
  • at least one area (or one side) of the first display e.g., 260 of FIG. 2)
  • the second display e.g., 261 in FIG. 2
  • one of the first display and the second display may be in an on state, and the other may be in an off state.
  • the electronic device 101 is between the first housing structure (e.g., 320 in FIG. 3) and the second housing structure (e.g., 310 in FIG. 3), as shown in 400d of FIG. 4.
  • the first housing structure e.g., 320 in FIG. 3
  • the second housing structure e.g., 310 in FIG. 3
  • the electronic device 101 is erected as the angle is formed to support the surface with which the sides of the main body are in contact
  • one area (or one side) of the display can be maintained in the on state, and the other area can be maintained. (or the other side) can be turned off.
  • the electronic device 101 is in a partially folded state such that the first display 260 is divided into a first display area (e.g., 260a in FIG. 3) and a second display area (e.g., 260b in FIG. 3).
  • the area exposed to the user among the first display area and the second display area may vary.
  • the display exposed to the user among the first display 260 and the second display 261 may also be different. Therefore, if the display on which images are output is determined based on the user's location, the usability of the electronic device can be improved.
  • the electronic device 101 when the electronic device 101 including a plurality of displays outputs an image with at least a portion of the first display 260 folded, the electronic device 101 identifies the user's location.
  • the display area can be adaptively changed to correspond to the location.
  • the partially folded state of the first display 260 may be referred to as a flex mode, which is distinct from the completely folded state, and the folded state of the electronic device 101 can be maintained at various angles.
  • the folding ratio of the electronic device may be such that it is folded in half based on the center of the electronic device, but the folding ratio may be implemented differently based on the axis.
  • one axis may be preset or may be arbitrary.
  • the fact that the axis is preset may mean that only a specific area (for example, a partial area including the axis) of the flexible display of the electronic device 101 is bendable.
  • an arbitrary axis may mean that the entire display area of the electronic device 101 is bendable.
  • FIGS. 2 to 4 the electronic device 101 is shown as being folded in half based on an axis passing through the center, but those skilled in the art will easily understand that there are no restrictions on the position of the axis.
  • the 'front face' or 'rear face' of the electronic device 101 may be referred to, which includes the first housing structure (e.g., 320 in FIG. 3) and the second housing structure (e.g., 320 in FIG. 3). 2 Regardless of the relative positions (e.g., unfolded or folded) of the housing structures (e.g., 310 in FIG. 3), the surface on which the first display 260 of FIG. 2 is disposed is referred to as the ‘front of the electronic device 101’.
  • the side on which the second display 261 facing the opposite direction of the side on which the first display 260 is located is defined as the 'rear side of the electronic device 101.
  • the first display 260 may be referred to as an internal display
  • the second display 261 in a direction opposite to the first display 260 may be referred to as an external display.
  • the first display 260 of FIG. 2 or 3 may mean a flexible display.
  • Figure 5 is an internal block diagram 500 of an electronic device according to an embodiment.
  • the electronic device 101 (e.g., the electronic device 101 of FIG. 1) according to an embodiment includes a processor 520 (e.g., the processor 120 of FIG. 1) and a display 560. (For example, the display module 160 of FIG. 1).
  • the electronic device 101 (e.g., the electronic device 101 of FIG. 1) according to an embodiment includes a memory 530 (e.g., the memory 130 of FIG. 1) and a sensor 576 (e.g., the electronic device 101 of FIG. 1). It may include a sensor module 176) and/or a communication module 590 (eg, the communication module 190 of FIG. 1).
  • not all components shown in FIG. 5 are essential components of the electronic device 101, and the electronic device 101 may be implemented with more or fewer components than those shown in FIG. 5 .
  • Display 560 may refer to a flexible display.
  • the display 560 may include a first display 260 and a second display 261 as shown in FIG. 2 .
  • the first display 260 may be divided into a first display area and a second display area.
  • the first display 260 is partially folded (e.g., flex mode)
  • at least a portion of the first display 260 and at least a portion of the second display 261 are visually exposed to the outside. It can mean a state.
  • the communication module 590 may be connected to the external electronic device 102 for communication.
  • the communication module 590 may be connected to one or more external electronic devices (eg, 102 in FIG. 1) through a 1:1 connection method or a 1:n connection method.
  • n is a natural number greater than 1.
  • the communication module 590 may be wirelessly connected to the external electronic device 102 through various communication methods and may be connected to an external display device (eg, TV) to provide a mirroring service.
  • the electronic device 101 may be connected to the external electronic device 102 using a first communication method (e.g., short-range communication method) and a second communication method (e.g., UWB communication method or BLE).
  • the direction of the external electronic device 102 can be identified using a communication method.
  • the communication module 590 may operate based on a first communication method and/or a second communication method.
  • the communication module 590 may operate based on at least one of an ultra wide band (UWB) communication method or a Bluetooth low energy (BLE) communication method.
  • UWB ultra wide band
  • BLE Bluetooth low energy
  • communication module 590 may include a UWB communication module.
  • the UWB communication module can support the electronic device 101 to perform UWB communication with the external electronic device 102.
  • the UWB communication module can measure the distance between the electronic device 101 and the external electronic device 102 through UWB communication.
  • the UWB communication module can measure the direction (eg, angle of arrival (AOA)) of the external electronic device 102 using a plurality of antennas.
  • AOA angle of arrival
  • the electronic device 101 is a device that outputs content such as a video
  • the external electronic device 102 is a wearable electronic device that can be worn (or detached) on at least part of the user's body (e.g. : A wearable watch, an ear wearable device, and/or a head mounted display (HMD)
  • the external display device 104 is connected to the electronic device 101 or the external electronic device 102 to display the electronic device 101.
  • a device such as a TV that outputs a mirroring screen corresponding to the screen output through the display will be described as an example, but is not limited thereto.
  • the case where the display of the electronic device 101 is controlled based on the direction of one external electronic device 102 with respect to the electronic device 101 in flex mode is described as an example, but two or more external electronic devices 101 are controlled.
  • the display may be controlled based on the electronic device 102.
  • the processor 520 connects the device through the 1:n connection method supported by the communication module 590. It can be connected to n external electronic devices 102.
  • the external electronic device 102 such as a head mounted display, includes a camera (e.g., a time-of-flight (ToF) camera, an eye tracking camera), so it is connected to the electronic device 101.
  • a camera e.g., a time-of-flight (ToF) camera, an eye tracking camera
  • ToF time-of-flight
  • eye tracking camera an eye tracking camera
  • the processor 520 may obtain user location-related information from n external electronic devices 102.
  • User location-related information may be used to identify the user's location or direction relative to the electronic device 101.
  • the processor 520 relates to the user location by combining distance information with the electronic device 101 received from n external electronic devices 102, user gaze information, user direction information, and/or user altitude information. Information can be received.
  • the processor 520 may determine the user's moving location based on the received user location-related information and perform display control corresponding to the determined user location. In this way, when two or more external electronic devices are used, the accuracy of determining the user's moving location can be improved.
  • Sensor 576 may include a sensor (e.g., digital Hall sensor, 9-axis sensor) for determining the operating state (e.g., unfolded state, folded state, and/or intermediate state) and folded angle of the electronic device 101.
  • a Hall sensor may include one or more magnets and/or one or more magnetic sensors. At least one of the one or more magnets included in the Hall sensor and/or the one or more magnetic sensors may be disposed at different locations within the electronic device 101. The positional relationship of the one or more magnets and/or the one or more magnetic sensors within the electronic device 101 may change depending on the shape of the electronic device 101. The electronic device 101 may measure the change in the positional relationship through the one or more magnetic sensors.
  • a change in the positional relationship may cause a change in the magnetic field formed by the one or more magnets.
  • the electronic device 101 may use a Hall sensor to obtain a power signal indicating a change in the magnetic field.
  • the electronic device 101 may distinguish between states (eg, an unfolded state, a folded state, and/or an intermediate state) of the electronic device 101 using the power signal obtained from a Hall sensor.
  • the electronic device 101 may receive data indicating the state of the electronic device 101 from a Hall sensor.
  • the hall sensor may output data indicating the shape of the first display 260.
  • the shape of the first display 260 may change as it is folded or unfolded along a folding axis (eg, A-axis in FIG. 2).
  • the hall sensor may output different data indicating the shape of the first display 260.
  • the data representing the shape of the first display 260 may include an angle of the first display 260 folded by the folding axis.
  • the electronic device 101 determines that the angle of the folded first display 260 relative to the folding axis is within a specified angle range (e.g., an angle range between 10° and 160° or an angle range between 50° and 150°).
  • a state in which the first display 260 is partially folded eg, flex mode
  • the sensor 576 may include a gyro sensor, an acceleration sensor, and/or a geomagnetic sensor that detects the state (eg, posture) of the electronic device 101.
  • the electronic device 101 may determine the relative azimuth with respect to the reference azimuth using a geomagnetic sensor.
  • the electronic device 101 can obtain the final azimuth using UWB using a relative azimuth and UWB angle of arrival (AOA) with respect to the reference azimuth using a geomagnetic sensor.
  • AOA relative azimuth and UWB angle of arrival
  • the sensor 576 can be used as a 9-axis motion sensor using a gyro sensor, acceleration sensor, and geomagnetic sensor.
  • the sensor 576 may include a strain sensor that outputs a strain value used to indirectly measure the folded angle of the electronic device 101.
  • the processor 520 may detect the physical state and/or physical state change of the electronic device 101 based on data received from the sensor 576.
  • Processor 520 may detect a change (e.g., a folded event, an unfolded event) in an operating state (e.g., an unfolded state, a collapsed state, and/or a partially collapsed intermediate state). For example, based on a sensor capable of detecting a change in operating state, the angle between the first housing structure (e.g., 320 in FIG. 3) and the second housing structure (e.g., 310 in FIG. 3) is within a specified angle range. If applicable, the electronic device 101 may be determined to be in a partially unfolded (or partially folded) state.
  • the processor 520 can execute at least one application and visually output content corresponding to the application through the display 560.
  • the processor 520 may output content (eg, video) played through the display 560 in response to selection of a video-related application.
  • the image (or image data) is an output result of the currently executing application and may include at least one of data objects generated as the application is executed, such as video data, audio data, or display information.
  • the image displayed through the display 560 may be referred to as content, and may also be referred to as data related to a running application, screen data, or an application execution screen.
  • the processor 520 may execute an application in response to an application execution request by a user. According to one embodiment, the processor 520 may display content resulting from application execution on the display 560 while the display 560 is partially folded. For example, the processor 520 may provide the content through one of a plurality of displays according to user settings.
  • the processor 520 may change and provide a display on which content is output depending on the user's location.
  • the electronic device 101 can provide content through a display facing the user even if the user is located in the front or rear direction of the electronic device 101, allowing continuous viewing from the user's perspective.
  • the processor 520 displays an execution screen of the application through at least a portion of the first display 260. can do.
  • the processor 520 identifies the user's location and displays the execution screen of the application through at least a portion of the second display 261 when the user is located in the rear direction. You can. In this way, by changing the display according to the user's location and providing the corresponding content, the user can check the content through the display from various directions without any additional manipulation.
  • a wearable electronic device that can be worn on a part of the user's body may be used to identify the user's direction.
  • This wearable electronic device is an external electronic device 102, and the electronic device 101 is connected to the external electronic device 102 and can identify the direction of the external electronic device 102.
  • the electronic device 101 and the external electronic device 102 may be devices that interoperate with each other by logging in using the same user account.
  • the processor 520 can determine the user's direction based on the location of the electronic device 101 by identifying the direction of the external electronic device 102. Accordingly, the processor 520 can determine a display corresponding to the direction of the external electronic device 102 and display the application execution screen through the determined display.
  • the processor 520 may search for a connectable external electronic device 102 nearby through the communication module 590 and then connect to the external electronic device 102 based on the search.
  • the processor 520 may identify whether the connected external electronic device 102 is worn on a part of the user's body.
  • the external electronic device 102 may use at least one sensor to identify whether the device is worn, and the electronic device 101 may use at least one sensor based on information about the wearing state transmitted from the external electronic device 102. It can be identified that it is being worn.
  • the processor 520 may provide a function for changing the display in response to the direction of the external electronic device 102 while outputting content.
  • the feature can be activated or deactivated through the settings menu. Accordingly, when the above function is set to active, the processor 520 can continuously track the direction of the external electronic device 102 while outputting content through a partial area of the display 560.
  • the processor 520 identifies the direction of the external electronic device 102 with respect to the electronic device 101 based on at least one of the UWB communication method or the BLE communication method of the communication module 590. can do.
  • the UWB AOA (angle of arrival) measurement method based on the UWB communication method uses the time difference between a plurality of antenna signals, and is based on the signal received using the antenna of the communication module 590 by external electronic device (
  • the direction of the electronic device 102 can be identified, and the distance of the external electronic device 102 away from the electronic device 101 can also be identified.
  • the electronic device 101 may further include an antenna module (eg, UWB antenna) for identifying the direction and/or distance of the external electronic device 102.
  • the antenna module may include a plurality of antennas for measuring the direction and/or distance of the external electronic device 102.
  • the electronic device 101 measures the distance and/or direction (or angle (e.g., AOA)) with the external electronic device 102 using at least two antennas among a plurality of antennas included in the antenna module. can do.
  • the direction of the external electronic device 102 may also be expressed using an angle.
  • identifying the direction of the external electronic device 102 should be understood as identifying the direction from the electronic device 101 toward the external electronic device 102. Additionally, the direction of the external electronic device 102 may be expressed as forward or backward based on the position of the electronic device 101.
  • the electronic device 101 may identify the location of the external electronic device 102 with the location of the electronic device 101 as the center.
  • the coordinate value of the external electronic device 102 may be identified in a predetermined three-dimensional coordinate system centered on the location of the electronic device 101.
  • the processor 520 may activate UWB signal scanning for UWB AOA measurement after detecting the external electronic device 102 based on the BLE communication method. For example, when the external electronic device 102 is discovered through BLE communication, the processor 520 may activate UWB signal scanning by transmitting information necessary for UWB communication through BLE communication. The processor 520 can connect to the external electronic device 102 through UWB communication using the transmitted information. According to one embodiment, the processor 520 may broadcast a ranging message (eg, a ranging control message, a ranging request message) to the external electronic device 102. The processor 520 may broadcast a ranging request message at the first transmission interval.
  • a ranging message eg, a ranging control message, a ranging request message
  • the processor 520 receives a ranging response message (e.g., a response message) from the external electronic device 102 that has received the ranging request message, and based on the ranging response message, the external electronic device 102 responds to the electronic device 101. ) can be checked.
  • a ranging response message e.g., a response message
  • the processor 520 can detect the external electronic device 102 in any one of the up, down, left, and right directions based on the front central axis of the electronic device 101 using the sensor 576.
  • the sensor 576 for this may include at least one of an infrared sensor, an ultrasonic sensor, a motion sensor, a 3D sensor, and a vision sensor, but the type of sensor is not limited thereto.
  • Information sensed by at least two of these sensors may be combined and used to identify the posture (or pose), location, and direction of the external electronic device 102.
  • a camera e.g., the camera module 180 of FIG. 1
  • Lidar may be used to identify the posture (or pose), position, and direction of the external electronic device 102.
  • the processor 520 may identify the direction of the external electronic device 102 while outputting content through the first display 260 among the plurality of displays.
  • the processor 520 may maintain output of the content through the first display 260.
  • the processor 520 displays the content through the second display 261 disposed in the opposite direction to the first display 260. Can be controlled to output.
  • FIGS. 6A and 6B may be referred to to define the first direction range and the second direction range.
  • FIG. 6A is an example of outputting content being played by changing the display of a first type of electronic device according to the location of the external electronic device according to an embodiment
  • the first type of electronic device 101 may include a flexible display.
  • the first type of electronic device 101 may be folded in half in a standing state, for example, in a compact form.
  • the first display area 260a when the first display 260 of the electronic device 101 is partially folded, the first display area 260a may be the upper area, and the second display area 260b may be the lower area. It can be.
  • the external electronic device 102 when the external electronic device 102 is located in the front direction of the electronic device 101, the external electronic device 102 is located in the front direction 210a of the electronic device 101. It can be detected within the corresponding first recognition range 610.
  • the electronic device 101 displays the first display 260 (also referred to as 'main display') disposed on the front 210a. You can output content through .
  • the first recognition range 610 may also be referred to as the ‘front range’.
  • the video being played may be displayed on the first display area 260a of the first display 260, and the video being played may be displayed on the second display area 260b.
  • Control items related to video control may be displayed.
  • the image played through the first display 260 may be referred to as content (or contents), and may also be referred to as data related to the application being executed, screen data, or an application execution screen.
  • the front range may be a predetermined azimuth range (eg, within 30 degrees) based on the normal direction of the first display area 260a.
  • a user wearing the external electronic device 102 may move while outputting (or displaying) content through the first display 260.
  • the external electronic device 102 when the external electronic device 102 is located in the side range (also referred to as 'blind area') of the electronic device 101, within the first recognition range 610
  • the external electronic device 102 that was detected is no longer detected. For example, if the external electronic device 102 is not detected within the first recognition range 610 while content being played is displayed on the first display area 260a of the first display 260, the electronic device 102 is not detected within the first recognition range 610.
  • the device 101 may perform an operation to lower the brightness (eg, perform dimming) on the first display 260.
  • FIG. 6A (b) illustrates a case where the brightness is lowered as a control operation for the first display 260 when the external electronic device 102 is out of the viewing angle.
  • the control operation may not be limited to this.
  • control functions related to playback of display content may be provided through the electronic device 102. Accordingly, the control operation for the first display 260 may vary depending on the selection of the control function through the external electronic device 102. For example, when the pause function through the external electronic device 102 is selected, the electronic device 101 may stop outputting the content being played through the first display 260. Additionally, subtitles for content being played may be provided (i.e., displayed) through the external electronic device 102.
  • the external electronic device 102 when the external electronic device 102 is located on the rear 220a of the electronic device 101, as shown in (c) of FIG. 6A, the user wearing the external electronic device 102 As the external electronic device 102 moves, the external electronic device 102 may be detected within the second recognition range 620 corresponding to the rear 220a of the electronic device 101.
  • the second recognition range 620 may be referred to as a ‘rear range’.
  • the rear range may be a predetermined azimuth range (eg, within 30 degrees) based on the normal direction of the second display 261.
  • the user faces the rear 220a of the electronic device 101 in the second recognition range 620. If you move to , the display exposed to the user may change. That is, the user can view the second display 261 disposed on the rear 220a of the electronic device 101.
  • content being played may be displayed on the second display 261 (also referred to as a ‘sub display’) in a direction corresponding to the location of the external electronic device 102, and the content being played may be displayed on the first display 260 (also referred to as a ‘main display’). (also called 'display') can be turned off.
  • the processor 520 detects the external electronic device 102 ), at least one area (or one side) of the first display 260 can be turned off and content can be output through the second display 261. At this time, the processor 520 may stop outputting content through the first display 260 and simultaneously turn off at least one area (or one side) of the first display 260 and turn off the second display 261. ) can be turned on to output content.
  • the first recognition range 610 may mean a first range based on the upper display area 260a of the first display 260 when the first display 260 is at least partially folded.
  • the second recognition range 620 corresponds to a direction opposite to the first recognition range 610, and the second display 261 of the electronic device 101 is in a state where the first display 260 is at least partially folded. ) may mean the second range based on .
  • the processor 520 may be able to continuously track the external electronic device 102 in an omnidirectional range based on at least one of the UWB communication method or the BLE communication method. However, if the user is located in a location outside the first recognition range 610, even if the direction of the external electronic device 102 can be identified, the user may not be able to check the screen contents even when looking at the display 560. there is. Accordingly, the first recognition range 610 and the second recognition range 620 may be determined based on a viewing angle (eg, viewing angle) at which user recognition is possible when the user looks at the display 560.
  • a viewing angle eg, viewing angle
  • the first recognition range 610 may correspond to a viewing angle based on the first display 260
  • the second recognition range 620 may correspond to a viewing angle based on the second display 261.
  • the first recognition range 610 is the field of view (e.g. : within the viewing angle).
  • the range of the screen captured by looking at the subject (e.g. user) through a camera (e.g. front camera or rear camera).
  • the camera has a certain range of angle of view, and this recognition The range may vary depending on the camera angle of view.
  • the camera's viewing angle is used as an example to explain the recognition range, but this is only an example to aid understanding.
  • the first recognition range 610 is a viewing angle range that can be recognized when the user looks at the display. It must be understood.
  • the first recognition range 610 may be determined by the ⁇ angle
  • the second recognition range 620 may be determined by the ⁇ angle
  • the width of the recognition range is, for example, the ⁇ angle and the ⁇ angle. It can be determined in various ways depending on.
  • the recognition range may vary depending on the folding angle of the first display 260 in a partially folded state (eg, flex mode).
  • the first recognition range 610 and the second recognition range 620 corresponding to the viewing angle for the upper display are the upper display area 260a folded at a vertical 90°.
  • the recognition range (or recognizable radius) may be widened, while at an angle of 90 degrees or less, the recognition range (or recognizable radius) may be narrowed.
  • the processor 520 may adaptively change the target display for outputting (or playing) content in response to the direction of the external electronic device 102 among the plurality of displays. Additionally, the processor 520 can control the display that outputs content due to the user's location movement in various ways. For example, when the external electronic device 102 is identified as moving beyond the first recognition range 610, it is assumed that the user is no longer looking at the first display 260, and the first display 260 You can lower the brightness. At this time, even if the brightness of the first display 260 is lowered, the output of content through the first display 260 can be maintained.
  • the processor 520 may control the reproduction volume of output content to be increased according to the distance that the external electronic device 102 worn by the user is away from the electronic device 101. Additionally, the processor 520 may simultaneously control the brightness adjustment and playback volume adjustment operations. For example, if the external electronic device 102 is identified as moving beyond the first recognition range 610, the processor 520 may control to stop outputting content through the first display 260. .
  • the processor 520 may turn off the first display 260 in response to a case where the external electronic device 102 deviates from the first recognition range 610 and is detected in the second recognition range 620 .
  • the processor 520 displays the first display 260 in response to a case where the external electronic device 102 leaves the first recognition range and the detected time in the second recognition range 620 has elapsed for a certain period of time. ) can be turned off.
  • the processor 520 maintains content output through the first display 260 even if the external electronic device 102 is detected in the second recognition range 620 beyond the first recognition range 610. You can control it to do so. For example, even if the external electronic device 102 leaves the first recognition range 610 and is detected in the second recognition range 620, other users who are watching content through the first display 260 can also view the content.
  • the processor 520 may control the same content to be output through each of the first display 260 and the second display 261.
  • FIG. 6C is an example diagram of outputting content being played by changing the display of a second type of electronic device according to the direction of an external electronic device, according to an embodiment.
  • the first display 260 may be formed to occupy the entire first side of the electronic device 101, and the second display 261 may be formed to occupy at least a portion of the second side. It can be.
  • the first display 260 can pivot through a separate hinge module, and the second display 261 can be fixed to the housing.
  • the processor 520 displays content through the first display 260. Can be printed. As shown in (b) of FIG. 6C, if the electronic device 101 is detected in the second recognition range 620, the processor 520 may output content through the second display 261.
  • FIG. 6D is an example of outputting content being played by changing the display of a third type of electronic device according to the direction of the external electronic device, according to an embodiment.
  • the processor 520 when the electronic device 101 is detected in the first recognition range 101 with the first display 260 folded outward, the processor 520 operates on the first display 260. Content can be output through the first display area 260c of 260. As shown in (b) of FIG. 6D, when the electronic device 101 is detected in the second recognition range 620, the processor 520 displays the second display area 260d of the first display 260. You can output content through .
  • the display can be controlled in various ways corresponding to the direction in which the external electronic device 102 is located relative to the electronic device 101, which will be described in detail later with reference to FIGS. 8 to 16.
  • the memory 530 may store instructions that control the processor 520 to perform various operations when executed.
  • the memory 530 is operatively connected to a display 560, a sensor 576, a communication module 590, and the processor 520, and the first display 260 is partially In the folded state, content is output through the first display 260, the direction of the external electronic device 102 is identified with respect to the electronic device 101 while the content is output, and the external electronic device 102 is displayed.
  • the direction of the device 102 corresponds to the first direction range, it maintains outputting the content (or continues outputting the content) through the first display 260, and the external electronic device ( When the direction 102) corresponds to the second direction range, instructions for controlling output of the content through the second display 261 may be stored.
  • the electronic device 101 includes a first display 260, a second display 261 disposed in a direction opposite to the first display, memories 130 and 530, and at least one processor ( 120, 520).
  • the memory may store instructions that, when executed by the at least one processor, cause the electronic device to output content through the first display.
  • the instructions may be set so that the electronic device identifies the direction of the external electronic device connected to the electronic device through short-distance communication based on the electronic device while outputting the content.
  • the instructions may be set to maintain the electronic device outputting the content through the first display in response to identifying that the direction of the external electronic device is within a first direction range.
  • the instructions may be set to output the content through the second display in response to the electronic device identifying that the direction of the external electronic device is within a second direction range.
  • the first display is divided into a first display area and a second display area with a folding axis in between, and the first direction range is the first display area. It is within a front direction range based on the area, and the second direction range may be within a rear direction range opposite to the front direction range.
  • the instructions are provided in response to the electronic device identifying that the direction of the external electronic device is outside the first direction range while maintaining output of the content through the first display.
  • the instructions identify whether the direction of the external electronic device is outside the first direction range while the electronic device maintains output of the content through the first display, and the external electronic device In response to identifying that the direction of the device is outside the first direction range, the brightness of the first display may be set to be lowered.
  • the instructions are transmitted through the first display in response to the electronic device identifying that the direction of the external electronic device is outside the first direction range and the second direction range.
  • the external electronic device While maintaining content output, the external electronic device is controlled to output guide information about the content being output, and the guide information includes subtitles indicating the content being output, playback time information of the content being output, or It may include at least one of whether to stop playing the content being output.
  • the instructions include: identifying the direction of the external electronic device with respect to the electronic device in response to the electronic device identifying that the direction of the external electronic device is outside the first direction range; , In response to identifying that the identified direction of the external electronic device is within the second direction range after a certain time, it may be set to provide guidance regarding the playback time of content to be output through the second display. .
  • the instructions are provided by the electronic device to the external electronic device based on the electronic device based on at least one of an ultra wide band (UWB) communication method or a bluetooth low energy (BLE) communication method. It may be set to identify direction and/or distance.
  • UWB ultra wide band
  • BLE bluetooth low energy
  • the instructions allow the electronic device to identify a connection with the external electronic device, identify whether the connected external electronic device is worn on a part of the user's body, and identify the external electronic device identified as being worn. Based on the electronic device, it can be set to identify the direction of the external electronic device with respect to the electronic device.
  • the instructions include, when the distance between the electronic device and the external electronic device is more than a certain distance, identifying an external display device for mirroring the content, and identifying the external display device.
  • the content may be set to be output through the external display device.
  • the first display is divided into a first display area and a second display area with a folding axis in between, and the instructions are provided by the electronic device.
  • the first display of the first display to identify the altitude of the external electronic device relative to the device and output the content in response to the direction of the external electronic device in the first direction range and the altitude of the external electronic device. It may be set to determine at least one of the first display area and the second display area.
  • the electronic device 101 may include a short-range communication circuit, a display 260, an ultra wide band (UWB) circuit, memories 130 and 530, and at least one processor 120 and 520. there is.
  • the memory may store instructions that, when executed by the at least one processor, allow the electronic device to control the short-range communication circuit to establish a communication link with an external electronic device.
  • the instructions allow the electronic device to control the UWB circuit to perform a ranging operation to obtain information related to the distance and direction of the external electronic device associated with the electronic device. can be set.
  • the instructions cause the electronic device to perform a first operation based on the direction of the external electronic device within a specified direction range while the external electronic device is within the ranging distance of the UWB circuit. It can be set to control the display. According to one embodiment, the instructions allow the electronic device to perform a second operation based on the direction of the external electronic device outside the specified direction range while the external electronic device is within the ranging distance of the UWB circuit. It can be set to control the display so as to do so.
  • the operating method may include operations 705 to 720.
  • Each operation of the operation method of FIG. 7 is performed by an electronic device (e.g., the electronic device 101 of FIGS. 1 to 6B), at least one processor of the electronic device (e.g., the processor 120 of FIG. 1 or the processor of FIG. 2). It may be performed by at least one of 520)).
  • at least one of operations 705 to 720 may be omitted, the order of some operations may be changed, or another operation may be added.
  • the electronic device 101 may output content through the first display 260 of the electronic device.
  • the electronic device 101 may display an execution screen of an application through the first display 260.
  • the application may include, but is not limited to, a video playback application.
  • the electronic device 101 may identify the direction of the external electronic device 102 connected to the electronic device 102 through short-distance communication with respect to the electronic device 101. According to one embodiment, the electronic device 101 may identify a connection with the external electronic device 102 and identify whether the connected external electronic device 102 is worn on a part of the user's body. The electronic device 101 may identify the direction of the external electronic device 102 with respect to the electronic device 101 based on the external electronic device 102 identified as being worn.
  • the electronic device 101 identifies the direction and/or distance of the external electronic device 102 with respect to the electronic device 101 based on at least one of the UWB communication method and the BLE communication method. can do.
  • the electronic device 101 may maintain output of the content through the first display 260 in response to identifying that the direction of the external electronic device 102 is in the first direction range. .
  • the electronic device 101 determines that the user wearing the external electronic device 102 is located in the first direction range (e.g., the first recognition range 610 in FIGS. 6A and 6B)
  • the electronic device 101 1 Content may be continuously output through at least a portion of the display area of the display 260.
  • a content playback screen may be displayed through the first display area 260a (or upper display area), and a control screen related to content playback may be displayed through the second display area 260b (or lower display area). can be displayed.
  • the electronic device 101 displays a second display 261 disposed in a direction opposite to the first display 260.
  • the content can be output through .
  • the electronic device 101 determines that the user wearing the external electronic device 102 is located in the second direction range (e.g., the second recognition range 620 in FIGS. 6A and 6B)
  • the first recognition range 620 Content being displayed through the display 260 can be changed to be displayed on the second display 261.
  • the content playback screen may be displayed through at least a portion of the second display 261.
  • the screen ratios of the first display 260 and the second display 261 may be different. Therefore, when the electronic device 101 outputs the screen ratio (e.g., aspect ratio) of the playback content to the first display 260 or the second display 261 according to the user's movement, the electronic device 101 changes the screen ratio of the display corresponding to the output target. It can be displayed by changing (or optimizing) it to correspond.
  • the screen ratio e.g., aspect ratio
  • the first display is divided into a first display area and a second display area with a folding axis in between, and the first direction range is the first display area. It is within a front direction range based on the area, and the second direction range may be within a rear direction range opposite to the front direction range.
  • the electronic device 101 uses the location of the external electronic device 102 and the direction of the external electronic device 102 with respect to the electronic device 101 to determine a recognition range (e.g., first recognition Range 610 and second recognition range 620) can be identified.
  • the electronic device 101 may identify a recognition range (e.g., a first recognition range 610, a second recognition range 620) using the location of the external electronic device 102.
  • the electronic device 101 uses the direction of the external electronic device 102 with respect to the electronic device 101 to determine a recognition range (e.g., a first recognition range 610, a second recognition range ( 620)) can be identified.
  • the It may be identified whether the direction of the external electronic device 102 is within the second direction range. For example, as shown in FIG. 6A, when the external electronic device 102 worn on a part of the user's body is outside the first direction range (e.g., the first recognition range 610), the second direction range ( Example: It is possible to identify whether detection is in the second recognition range 620).
  • the electronic device 101 identifies whether the direction of the external electronic device 102 is outside the first direction range while maintaining output of the content through the first display 260, If it is outside the first direction range, the brightness of the first display 260 may be lowered. For example, when it is outside the first direction range, it is considered that the user is no longer looking toward the first display 260, and the electronic device 101 adjusts the brightness of the first display 260 to save battery. can be lowered.
  • the electronic device 101 may output the content through the second display 261 in response to identifying that the direction of the external electronic device is within the second direction range. For example, the electronic device 101 may output content that is being displayed through the first display 260 on the second display 261.
  • the electronic device 101 displays the first display 260 in response to identifying that the direction of the external electronic device 102 is outside the first direction range and outside the second direction range. While maintaining the output of the content, the external electronic device 102 can be controlled to output guide information about the content being output.
  • the guide information may include at least one of a subtitle indicating the content being output, playback time information of the content being output, or whether playback of the content being output is stopped (see FIG. 6B). You can.
  • the electronic device 101 may lower the brightness of the first display 260 to save battery, but still display information about the content being displayed. Sound can be output continuously.
  • guide information eg, subtitle information
  • the external electronic device 102 outputs (or displays) guide information about the content being output from the electronic device 101 on the screen or in voice form, so that the user can use the information even if he or she is not looking at the first display 260. You can check the content.
  • the external electronic device 102 may display playback time information of the content being output.
  • the external electronic device 102 may display items from which one can select whether to stop playing the content being output (see FIG. 6B).
  • the electronic device 101 when the direction of the external electronic device 102 is outside the first direction range, the electronic device 101 changes the direction of the external electronic device 102 with respect to the electronic device 101. It can be identified, and if the identified direction of the external electronic device 102 is within the second direction range after a certain time, guidance regarding the playback time of the content to be output through the second display 261 is provided. can be provided.
  • the electronic device 101 displays the first display to save battery.
  • the brightness of 260 can be lowered, and guide information about the content being output on the external electronic device 102 (eg, subtitle information corresponding to the currently played portion of the video) can be transmitted.
  • the electronic device 101 displays the content being displayed through the first display 260. It can be changed and output to the second display 261 of the electronic device 101.
  • the electronic device 101 may change the brightness of the first display 260 to the previous brightness. . Also, in another embodiment, the electronic device 101 may not see the content through the first display 260 due to the user moving from the front range facing the front 210a to the rear range facing the back 220a. Considering this status, guidance regarding the playback time of content to be output through the second display 261 can be provided. For example, the electronic device 101 may display the first direction to the user so that the user can view the content again through the second display 261 from a portion of the content displayed on the first display 260 that falls outside the range of the first direction. It can provide the ability to check (or watch) content again from a point outside the range.
  • the electronic device 101 may continuously or periodically identify the direction and/or distance of the external electronic device 102 with respect to the electronic device 101 while outputting the content. .
  • the electronic device 101 may identify whether the distance of the external electronic device 102 from the electronic device 101 is greater than a certain distance. If the distance of the external electronic device 102 from the electronic device 101 is more than a certain distance, the electronic device 101 displays the external electronic device worn by the user to mirror the content to the external display device 104 ( An external display device (e.g., 104 in FIG. 1) adjacent to 102) can be identified.
  • the electronic device 101 In response to the identification of the external display device 104, the electronic device 101 displays the content displayed on the electronic device 101 when the distance between the external electronic device 102 and the electronic device 101 increases by a certain distance. In order to allow a portion of the content to be viewed again through the external display device 104, the content may be controlled to be output through the external display device 104.
  • FIG. 8 is a flowchart of an operation in an electronic device for controlling a display corresponding to the direction of an external electronic device, according to an embodiment.
  • the operating method may include operations 805 to 850.
  • Each operation of the operation method of FIG. 8 is performed by an electronic device (e.g., the electronic device 101 of FIGS. 1 to 6B), at least one processor of the electronic device (e.g., the processor 120 of FIG. 1 or the processor of FIG. 2). It may be performed by at least one of 520)).
  • at least one of operations 805 to 850 may be omitted, the order of some operations may be changed, or another operation may be added.
  • FIG. 9A is an example diagram illustrating a display change when an external electronic device moves to a range toward the rear of the electronic device, according to an embodiment
  • FIG. 9B illustrates a display change when an external electronic device moves to a range toward the front of the electronic device, according to an embodiment.
  • This is an example diagram showing changes in the display of poetry.
  • the electronic device 101 can play a video application in flex mode.
  • Flex mode may mean that the display is partially folded.
  • the electronic device 101 may open a portion of the display area of the internal display (e.g., Videos can be played through the upper display area 260a.
  • the electronic device 101 may provide a function to play a video through a display corresponding to the user's direction with respect to the electronic device 101 among a plurality of displays.
  • the external electronic device 102 may be used to identify the user's direction, and the external electronic device 102 may be a wearable electronic device that can be worn on a part of the user's body.
  • the electronic device 101 may identify whether the electronic device 101 is connected (eg, wirelessly connected for communication) with the external electronic device 102 being worn.
  • the electronic device 101 in response to identifying that the electronic device 101 is in a connected state with the external electronic device 102 being worn, the electronic device 101 (e.g., the front facing range of the electronic device 101 in flex mode) As a reference, the direction in which the external electronic device 102 is located can be identified.
  • the electronic device 101 may identify whether the external electronic device 102 is located in the front or rear direction range of the electronic device 101.
  • the electronic device 101 determines whether a video is being played through an external display (e.g., the second display 261). can be judged. If the video is not being played through the external display, the electronic device 101 may maintain video playback through the internal display in operation 830. On the other hand, if the video is being played through an external display, in operation 835, the electronic device 101 may change the display to play the video on the internal display according to the external electronic device 102 located in the front direction range.
  • an external display e.g., the second display 261.
  • the internal display e.g., the first display 260
  • the electronic device 101 may determine whether a video is being played through the internal display. If the video is not being played through the internal display, in operation 845, the electronic device 101 may maintain video playback through the external display (eg, the second display 261). On the other hand, when the video is being played through the internal display, in operation 850, the electronic device 101 can change the display to play the video on the external display according to the external electronic device 102 located in the rear direction. According to one embodiment, operations 820 to 850 may be performed repeatedly as long as video playback through the video application does not end, and the video may be played on the electronic device 101 according to the direction of the external electronic device 102. Operations 820 to 850 related to the operation of changing the display may be referred to as 'A' operation.
  • the external electronic device 102 worn on the user's body is switched on due to the user's movement. It can be moved (910) to the rear direction range of (101).
  • video playback through the internal display is stopped as shown in 900b, and then the external display is turned on to play video through the external display. It can be done.
  • the display for video playback may be determined to correspond to the direction in which the external electronic device 102 and the electronic device 101 face each other, and the electronic device 101 may, for example, change the internal display to the external display as shown in 900b. You can continue video playback through the changed external display by changing to .
  • the external electronic device 102 while playing a video through an external display in the on state as shown at 900c, the external electronic device 102 moves to the front direction range of the electronic device 101 due to the user's movement (920). )can do.
  • the electronic device 101 can track the movement direction of the external electronic device 102 with respect to the electronic device 101, thereby identifying that the external electronic device 102 is moving within the front direction of the electronic device 101. If the external electronic device 102 is detected in the front direction of the electronic device 101, video playback through the external display is stopped as shown in 900d, and then the internal display is turned on to play the video through the internal display. can be performed.
  • the electronic device 101 may determine the direction of movement by continuously tracking the direction of the external electronic device 102 with respect to the electronic device 101 while playing a video. In this way, by changing the display for providing the video according to the location of the user wearing the external electronic device 102 and providing the video, the user can view the video through the display from various directions without any additional manipulation.
  • FIG. 9C is an example diagram illustrating a display change when moving another type of external electronic device according to an embodiment.
  • the display may be controlled based on two or more external electronic devices 102 and 102b.
  • a user may be wearing a plurality of external electronic devices including the wearable watch 102 and the head mounted display 102b.
  • the external electronic device may include a device configured to be worn on the user's body, such as a glasses-type AR glass device in addition to the head mounted display 102b.
  • external electronic devices may be implemented in various forms that can be worn on the user's body.
  • the external electronic device may include a ring-shaped wearable device (eg, smart ring) that can be worn on the user's finger.
  • the external electronic device 102b such as a head-mounted display, includes a camera (e.g., ToF camera, eye tracking camera), so that it is possible to determine distance information from the electronic device 101. In addition, tracking the user's gaze may also be possible.
  • a camera e.g., ToF camera, eye tracking camera
  • the electronic device 101 can play a video through the internal display in response to the external electronic devices 102 and 102b located in the front range of the electronic device 101. .
  • the electronic device 101 in response to the external electronic devices 102 and 102b located in the rearward range of the electronic device 101, the electronic device 101 maintains video playback through the external display. You can.
  • FIG. 10 is a flowchart of operations in an electronic device for controlling a display in response to an external electronic device located on the side of the electronic device, according to an embodiment.
  • the operation method may include operations 1005 to 1045.
  • Each operation of the operation method of FIG. 10 is performed by an electronic device (e.g., the electronic device 101 of FIGS. 1 to 6B), at least one processor of the electronic device (e.g., the processor 120 of FIG. 1 or the processor of FIG. 2). It may be performed by at least one of 520)).
  • at least one of operations 1005 to 1045 may be omitted, the order of some operations may be changed, or another operation may be added.
  • FIG. 11A is an example diagram showing a display change when an external electronic device moves toward the side of the electronic device according to an embodiment
  • FIG. 11B is an example diagram showing a display change when an external electronic device moves from the side direction to the front direction of the electronic device according to an embodiment.
  • This is an example diagram showing a display change during movement.
  • the “side range” also referred to as a blind area
  • the side range refers to a range that does not face the first side 210a and the second side 220a of the electronic device 101. That is, the side range is a range close to the electronic device 101 excluding the front range 610 and the second range 620.
  • the electronic device 101 may identify whether the external electronic device 102 is located within the lateral range of the electronic device 101. For example, the electronic device 101 determines that the direction of the external electronic device 102 is based on the upper display area 260a of the first display 260 of the electronic device 101. If it is outside the first range corresponding to the first recognition range (e.g., 610 in FIGS. 6A and 6B) and/or the second range corresponding to the second recognition range (e.g., 620 in FIGS. 6A and 6B), the e It can be identified as being located in the lateral range of device 101.
  • the first recognition range e.g., 610 in FIGS. 6A and 6B
  • the second range corresponding to the second recognition range e.g., 620 in FIGS. 6A and 6B
  • the external electronic device 102 when the external electronic device 102 is located within a range (e.g., a side range) outside the first recognition range and/or the second recognition range according to the movement of the user wearing the external electronic device 102. In this case, even if the user looks at the display, he or she may not be able to check the screen contents.
  • a range e.g., a side range
  • the electronic device 101 may lower the brightness of the internal display that is playing the video. Additionally, in operation 1030, the electronic device 101 may control to output playback information (eg, subtitles) through the external electronic device 102. According to one embodiment, when the external electronic device 102 is detected in the side range of the electronic device 101, only one of operation 1025 or operation 1030 may be performed. That is, either operation 1025 or operation 1030 may be omitted.
  • playback information eg, subtitles
  • operation 'A' related to the operation of changing the display for playing the video on the electronic device 101 in response to the direction of the external electronic device 102 may be performed, and operation 'A' is operation 820 to 820 of FIG. 8. Since it is the same as the 850 operation, detailed description will be omitted.
  • the electronic device 101 While a video is being played through the external display or internal display in response to the direction of the external electronic device 102, in operation 1035, the electronic device 101 identifies whether the external electronic device 102 has been positioned for a certain time in the lateral range. You can. If located for a certain period of time, an unviewed portion (e.g., a portion of a video played when the external electronic device 102 is outside the front range 610 or the rear range 620) is displayed through the external electronic device 102 in operation 1040. ), you can output a message asking whether to play. If the external electronic device 102 is not located in the side range for a certain period of time, it can be identified whether video playback ends in operation 1045. Accordingly, the electronic device 101 may repeatedly perform the above-described operation as long as video playback does not end.
  • an unviewed portion e.g., a portion of a video played when the external electronic device 102 is outside the front range 610 or the rear range 620
  • the electronic device 101 may continuously track the change in direction (or direction of movement) of the external electronic device 102. While the electronic device 101 is playing a video through the internal display in the on state, the external electronic device 102 worn on the user's body moves within the lateral range of the electronic device 101 due to the user's movement, as shown in 1100a. You can move to . When the external electronic device 102 is detected in the side range of the electronic device 101, the brightness of the internal display that is playing a video may be lowered, as shown in 1100b. Additionally, according to one embodiment, the electronic device 101 may provide information related to video playback to the external electronic device 102 so that the external electronic device 102 outputs information (e.g., subtitle information) related to video playback. It may be possible.
  • information e.g., subtitle information
  • the external electronic device 102 may move from being located in the side range of the electronic device 101 to the rear range of the electronic device 101 due to the user's movement. While the electronic device 101 is located in the side range for a certain period of time (eg, more than 3 seconds), the brightness of the internal display may be lowered to save battery. When the external electronic device 102 is detected in the rear range of the electronic device 101 due to the user's movement, the electronic device 101 turns off the internal display and turns off the external display (e.g., the second display), as shown in 1100d. Videos can be played through the display 261).
  • a certain period of time eg, more than 3 seconds
  • the electronic device 101 turns off the internal display and turns off the external display (e.g., the second display), as shown in 1100d. Videos can be played through the display 261).
  • the electronic device 101 may provide a function to play a video from an unviewed portion according to user selection. For example, as shown in 1100d, the electronic device 101 asks the user to check (or watch) the video again from a point outside the first direction range (e.g., the first recognition range 610 in FIGS. 6A and 6B). ) functions can be provided, and user selection for these functions can be obtained through the external electronic device 102. If the user does not select a menu that pops up on the display of the external electronic device 102, the pop-up may be automatically removed after a specified time (eg, 10 seconds).
  • a specified time eg, 10 seconds
  • Figure 12 is a signal flow diagram between an electronic device, an external electronic device, and an external display device for mirroring according to an embodiment.
  • at least one of operations 1205 to 1260 may be omitted, the order of some operations may be changed, or another operation may be added.
  • FIG. 13 is an example diagram showing a display change when an external electronic device moves in the direction of an external display device according to an embodiment
  • FIG. 14 illustrates a display change when an external electronic device moves from the external display device in the direction of the electronic device according to an embodiment.
  • This is an example diagram showing changes in the display of poetry.
  • the electronic device 101 may identify the distance to the external electronic device 102.
  • the electronic device 101 may identify the distance from the electronic device 101 to the external electronic device 102 based on a wireless communication method such as a UWB communication method or a BLE communication method.
  • the electronic device 101 may identify a state in which the electronic device 101 is separated from the external electronic device 102 by a first threshold distance (eg, 3 m) or more. If the distance is greater than or equal to the first threshold distance, the electronic device 101 may identify whether there is an external display device 104 capable of mirroring in operation 1225. On the other hand, if the distance is not greater than the first threshold distance, the electronic device 101 may perform operation 1230.
  • a first threshold distance eg, 3 m
  • the distance from the external electronic device 102 to the external display device 104 can be identified in operation 1235.
  • the external electronic device 102 may identify whether the external display device 104 is within a second threshold distance (eg, 2 m) based on the distance to the external display device 104.
  • the second critical distance is smaller than the first critical distance, and the small second critical distance may mean that the external electronic device 102 is located close to the external display device 104 rather than the electronic device 101. there is. If it is not within the second threshold distance, it means that the external display device 104 capable of mirroring exists around the external electronic device 102 but is further away than the electronic device 101, so mirroring may not be performed. there is.
  • the external electronic device 102 may display a mirroring-related pop-up in operation 1245.
  • the external electronic device 102 may display a pop-up including an item that allows selection of whether to mirror the video screen being played through the searched external display device 104.
  • the external electronic device 102 may identify whether mirroring is accepted, and if mirroring is accepted according to the user selection, the acceptance may be notified to the external display device 104. In response to this, the external display device 104 may display a mirroring screen in operation 1260.
  • the distance between the external electronic device 102 and the electronic device 101 becomes greater than or equal to a first threshold distance, and an external display device 104 capable of mirroring is searched for within the second threshold distance. It can be.
  • the external electronic device 102 may output (eg, display) a query asking whether to perform mirroring to the external display device 104. If the user selects mirroring, the display of the electronic device 101 that is playing the video is turned off, as shown in 1300c, and the screen according to the video playback may be output through the external display device 104. This is a ‘mirroring’ function.
  • the external electronic device 102 may continuously identify the distance from the external electronic device 102 to the external display device 104 in operation 1235. Accordingly, when the distance to the external display device 104 becomes greater than the second threshold distance, mirroring may be stopped.
  • the electronic device 101 displays one of several displays (e.g., the first display 260 and the second display 261) of the electronic device 101 corresponding to the direction in which the external electronic device 102 is located. You can play videos through the display.
  • the electronic device 101 performs operation 1230 when there is no external display device 104 capable of mirroring nearby or when the external electronic device 102 moves away from the external display device 104 by more than a second threshold distance during mirroring. can be performed.
  • the external electronic device 102 moves away from the external display device 104 by more than a second threshold distance and the electronic device 101
  • the external electronic device 102 asks whether to stop mirroring through the external display device 104, as shown in 1400b. Can be output (e.g. displayed). If the user selects to stop mirroring, mirroring through the external display device 104 is stopped, and as shown in 1400c, the electronic device 101 moves in the direction of the external electronic device 102 with respect to the electronic device 101. You can play videos through a corresponding display.
  • the direction of the external electronic device 102 is in the first recognition range 610 or the second recognition range 620 of the electronic device 101, as shown in FIGS. 6A and 6B.
  • the display is identified and changed to a display corresponding to the identified direction is taken as an example, it may not be limited to this.
  • the electronic device 101 can identify at least one of the direction and/or distance of the external electronic device 102, as well as the external electronic device 101 based on the electronic device 101.
  • the vertical movement of (102) can also be identified.
  • Figure 15 is an example diagram showing a display change when an external electronic device moves in the vertical direction of the electronic device, according to an embodiment.
  • the external electronic device 102 worn on the user's body can be moved upward or downward according to the user's movement, and the electronic device 101 performs UWB altitude tracking as well as UWB direction tracking. Up and down movement can be identified through tracking.
  • the upper display area e.g., the first display area 260a and the second display area
  • the lower display area e.g., the display area located below the first display area 260a and the second display area 260b
  • the electronic device 101 displays the content to the lower display area.
  • the display can be changed to play so that the content can be displayed on the lower display area.
  • the electronic device 101 when the external electronic device 102 moves upward or downward, the electronic device 101 switches from the lower display area to the upper display area or from the upper display area to the lower display area. You can control the display of content through
  • the state in which an image is displayed on the lower display area may be a state in which the user is looking down from above, that is, a state in which the wearable watch (i.e., external electronic device 102) is positioned upward. .
  • the electronic device 101 may switch the display to play content on the upper display area.
  • the electronic device 101 may switch the display to play content on the lower display area.
  • the upper location may be a location higher than the electronic device 101, and the lower location may be a location at substantially the same height as the electronic device 101.
  • the upper position is a position within a predetermined angular range with respect to the normal direction to the second display area 260b, and the lower position is a position within a predetermined angular range with respect to the normal direction to the first display area 260a. It can be.
  • Figure 16 is an example diagram showing a display change according to the distance to an external electronic device according to an embodiment.
  • the user can set a function to control zoom in/zoom out according to the distance from the electronic device 101 to the external electronic device 102 through the settings menu.
  • the electronic device 101 can also identify the distance to the external electronic device 102 according to the UWB communication method.
  • the UWB AOA measurement method can measure not only the direction angle and elevation angle but also the distance to the external electronic device 102.
  • the electronic device 101 can identify the distance to the external electronic device 102, and depending on the distance to the external electronic device 102, the function of the camera application can be changed to a wide-angle shooting function or You can change to the telephoto shooting function.
  • the electronic device 101 can identify the distance to the external electronic device 102 while displaying an exercise video through a health application, and enlarge or enlarge a person in the exercise video depending on the distance to the external electronic device 102. It can be displayed in miniature.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one component from another, and to refer to that component in other respects (e.g., importance or order) is not limited.
  • One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store TM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.
  • the instructions when executed by at least one processor 120 or 520 of the electronic device 101, cause the electronic device to perform at least one operation.
  • the at least one operation includes outputting content through a first display of the electronic device, and an external device connected to the electronic device through a short-range communication method based on the electronic device while outputting the content. Identifying the direction of the electronic device, maintaining output of the content through the first display in response to identifying that the direction of the external electronic device is within a first direction range, and the direction of the external electronic device In response to identifying that the content is within the second direction range, the method may include outputting the content through a second display disposed in a direction opposite to the first display.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시 예에 따르면, 전자 장치(101)는, 제1 디스플레이(260), 상기 제1 디스플레이와 반대되는 방향에 배치되는 제2 디스플레이(261), 메모리(130, 530) 및 적어도 하나의 프로세서(120, 520)를 포함할 수 있다. 일 실시 예에 따르면, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 실행 시 상기 전자 장치가, 제1 디스플레이를 통해 컨텐트를 출력하도록 하는 인스트럭션들을 저장할 수 있다. 일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 컨텐트를 출력하는 중에 상기 전자 장치를 기준으로 근거리 통신 방식을 통해 상기 전자 장치에 연결된 상기 외부 전자 장치의 방향을 식별하도록 설정될 수 있다. 일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 외부 전자 장치의 방향이 제1 방향 범위에 있음을 식별함에 대응하여, 상기 제1 디스플레이를 통한 상기 컨텐트를 출력하는 것을 유지하고, 상기 외부 전자 장치의 방향이 제2 방향 범위에 있음을 식별함에 대응하여, 상기 제2 디스플레이를 통해 상기 컨텐트를 출력하도록 설정될 수 있다.

Description

외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 전자 장치, 그 동작 방법 및 저장 매체
본 문서에 개시된 일 실시 예는 외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 전자 장치, 그 동작 방법 및 저장 매체에 관한 것이다.
전자 기술의 발달에 힘입어 다양한 유형의 플렉서블 전자 장치가 개발되고 있다. 이러한 플렉서블 전자 장치는 더 큰 디스플레이를 제공하면서도 휴대성을 확보할 수 있다. 예를 들어, 플렉서블 전자 장치는 사용자가 힘을 가해서 형상을 변형시킬 수 있어, 접는 형태(foldable or bendable) 또는 말아질 수 있는 형태(rollable)의 디스플레이를 제공할 수 있다.
접는 방식의 플렉서블 디스플레이를 포함하는 전자 장치에서는, 다양한 크기의 디스플레이(또는, 디스플레이 영역)에 화면을 표시할 수 있다. 예를 들어, 전자 장치가 안쪽으로 반으로 접힌 채로 세워지는 경우 사용자는 핸드 프리 상태로 화면(예: 컨텐트 화면)을 바라볼 수 있다. 접힌 상태의 경우, 전자 장치의 내부 디스플레이를 통해서만 화면이 표시되거나, 특정 어플리케이션(예: 카메라 어플리케이션)에서는 사용자 설정에 의해 외부 디스플레이를 통해 화면이 표시될 수 있다. 하지만, 접힘 가능한 복수의 디스플레이를 포함하는 전자 장치에서는 다양한 디스플레이 영역에 컨텐트를 표시하는 것이 가능할 수 있다. 따라서 사용자의 위치에 따라 적응적으로 디스플레이를 변경하여 컨텐트를 표시한다면, 전자 장치의 사용성을 높일 수 있을 것이다.
일 실시 예에 따르면, 전자 장치(101)는, 제1 디스플레이(260), 상기 제1 디스플레이와 반대되는 방향에 배치되는 제2 디스플레이(261), 메모리(130 또는 530) 및 적어도 하나의 프로세서(120, 520)를 포함할 수 있다. 일 실시 예에 따르면, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 전자 장치가, 제1 디스플레이를 통해 컨텐트를 출력하도록 하는 인스트럭션들을 저장할 수 있다. 일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 컨텐트를 출력하는 중에 상기 전자 장치를 기준으로 근거리 통신 방식을 통해 상기 전자 장치에 연결된 상기 외부 전자 장치의 방향을 식별하도록 설정될 수 있다. 일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 외부 전자 장치의 방향이 제1 방향 범위에 있음을 식별함에 대응하여, 상기 제1 디스플레이를 통한 상기 컨텐트의 출력을 유지하고, 상기 외부 전자 장치의 방향이 제2 방향 범위에 있음을 식별함에 대응하여, 상기 제2 디스플레이를 통해 상기 컨텐트를 출력하도록 설정될 수 있다.
일 실시 예에 따르면, 전자 장치에서 외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 방법은, 상기 전자 장치의 제1 디스플레이를 통해 컨텐트를 출력하는 동작을 포함할 수 있다. 일 실시 예에 따르면, 상기 방법은, 상기 컨텐트를 출력하는 중에 상기 전자 장치를 기준으로 근거리 통신 방식을 통해 상기 전자 장치에 연결된 상기 외부 전자 장치의 방향을 식별하는 동작을 포함할 수 있다. 일 실시 예에 따르면, 상기 방법은, 상기 외부 전자 장치의 방향이 제1 방향 범위에 있음을 식별함에 대응하여, 상기 제1 디스플레이를 통한 상기 컨텐트를 출력하는 것을 유지하는 동작을 포함할 수 있다. 일 실시 예에 따르면, 상기 방법은, 상기 외부 전자 장치의 방향이 제2 방향 범위에 있음을 식별함에 대응하여, 상기 제1 디스플레이와 반대되는 방향에 배치되는 제2 디스플레이를 통해 상기 컨텐트를 출력하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 명령들을 저장하고 있는 비휘발성 저장 매체에 있어서, 상기 명령들은 전자 장치(101)의 적어도 하나의 프로세서(120, 520)에 의하여 실행될 때에 상기 전자 장치로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 상기 전자 장치의 제1 디스플레이를 통해 컨텐트를 출력하는 동작, 상기 컨텐트를 출력하는 중에 상기 전자 장치를 기준으로 근거리 통신 방식을 통해 상기 전자 장치에 연결된 외부 전자 장치의 방향을 식별하는 동작, 상기 외부 전자 장치의 방향이 제1 방향 범위 내에 있음을 식별함에 대응하여, 상기 제1 디스플레이를 통한 상기 컨텐트를 출력하는 것을 유지하는 동작 및 상기 외부 전자 장치의 방향이 제2 방향 범위 내에 있음을 식별함에 대응하여, 상기 제1 디스플레이와 반대되는 방향에 배치되는 제2 디스플레이를 통해 상기 컨텐트를 출력하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는, 근거리 통신 회로, 디스플레이(260), UWB(ultra wide band) 회로, 메모리(130, 530) 및 적어도 하나의 프로세서(120, 520)를 포함할 수 있다. 일 실시 예에 따르면, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 실행 시 상기 전자 장치가, 외부 전자 장치와 통신 링크를 성립하도록 상기 근거리 통신 회로를 제어하도록 하는 인스트럭션들을 저장할 수 있다. 일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 전자 장치와 연관된 상기 외부 전자 장치의 거리 및 방향과 관련된 정보를 획득하기 위해 레인징(ranging) 동작을 수행하도록 상기 UWB 회로를 제어하도록 설정될 수 있다. 일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 외부 전자 장치가 상기 UWB 회로의 레인징 거리 내에 있는 동안에, 지정된 방향 범위 내에 있는 상기 외부 전자 장치의 방향에 기반한 제1 동작을 수행하도록 상기 디스플레이를 제어하도록 설정될 수 있다. 일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 외부 전자 장치가 상기 UWB 회로의 레인징 거리 내에 있는 동안에, 상기 지정된 방향 범위를 벗어난 상기 외부 전자 장치의 방향에 기반한 제2 동작을 수행하도록 상기 디스플레이를 제어하도록 설정될 수 있다.
도 1은 일 실시 예에 따른 네트워크 환경 내의 전자 장치의 블럭도이다.
도 2는 일 실시 예에 따른 전자 장치의 펼쳐진 상태 및 접힌 상태를 도시한 도면이다.
도 3은 일 실시 예에 따른 전자 장치의 일부 접힌 상태를 도시한 도면이다.
도 4는 일 실시예에 따른 전자 장치의 다양한 상태를 설명하기 위한 사시도이다.
도 5는 일 실시 예에 따른 전자 장치의 내부 블록 구성도이다.
도 6a는 일 실시 예에 따른 외부 전자 장치의 위치에 따라 제1 타입의 전자 장치의 디스플레이 변경을 통해 재생 중인 컨텐트를 출력하는 예시도이다.
도 6b는 일 실시 예에 따른 외부 전자 장치가 전자 장치의 측면 방향에 위치하는 경우 외부 전자 장치에서의 제어 화면의 예시도이다.
도 6c는 일 실시 예에 따른 외부 전자 장치의 위치에 따라 제2 타입의 전자 장치의 디스플레이 변경을 통해 재생 중인 컨텐트를 출력하는 예시도이다.
도 6d는 일 실시 예에 따른 외부 전자 장치의 위치에 따라 제3 타입의 전자 장치의 디스플레이 변경을 통해 재생 중인 컨텐트를 출력하는 예시도이다.
도 7은 일 실시 예에 따른 전자 장치에서의 동작 흐름도이다.
도 8은 일 실시 예에 따른 외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 전자 장치에서의 동작 흐름도이다.
도 9a는 일 실시 예에 따른 외부 전자 장치가 전자 장치의 후면 방향 범위로 이동 시의 디스플레이 변경을 나타낸 예시도이다.
도 9b는 일 실시 예에 따른 외부 전자 장치가 전자 장치의 전면 방향 범위로 이동 시의 디스플레이 변경을 나타낸 예시도이다.
도 9c는 일 실시 예에 따른 다른 타입의 외부 전자 장치의 이동 시의 디스플레이 변경을 나타낸 예시도이다.
도 10은 일 실시 예에 따른 전자 장치의 측면 방향에 위치하는 외부 전자 장치에 대응하여 디스플레이를 제어하기 위한 전자 장치에서의 동작 흐름도이다.
도 11a는 일 실시 예에 따른 외부 전자 장치가 전자 장치의 사이드 범위로 이동 시의 디스플레이 변경을 나타낸 예시도이다.
도 11b는 일 실시 예에 따른 외부 전자 장치가 전자 장치의 사이드 범위에서 후방 범위로 이동 시의 디스플레이 변경을 나타낸 예시도이다.
도 12는 일 실시 예에 따른 미러링을 위한 전자 장치, 외부 전자 장치 및 외부 디스플레이 장치 간의 신호 흐름도이다.
도 13은 일 실시 예에 따른 외부 전자 장치가 외부 디스플레이 장치 방향으로 이동 시의 디스플레이 변경을 나타낸 예시도이다.
도 14는 일 실시 예에 따른 외부 전자 장치가 외부 디스플레이 장치로부터 전자 장치의 방향으로 이동 시의 디스플레이 변경을 나타낸 예시도이다.
도 15는 일 실시 예에 따른 외부 전자 장치가 전자 장치의 상하 방향으로 이동 시의 디스플레이 변경을 나타낸 예시도이다.
도 16은 일 실시 예에 따른 외부 전자 장치와의 거리에 따른 디스플레이 변경을 나타낸 예시도이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은, 일 실시예에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 일 실시 예에 따른 전자 장치의 펼쳐진 상태 및 접힌 상태를 도시한 도면이다.
도 2를 참조하면, 일 실시 예에서, 전자 장치(101)는 폴더블 하우징, 상기 폴더블 하우징에 의해 형성된 공간 내에 배치된 플렉서블(flexible) 또는 폴더블(foldable) 디스플레이(260)를 포함할 수 있다. 폴더블 하우징은 폴딩 축(예: A 축)을 중심으로 실질적으로 대칭적인 형상을 가질 수 있다. 일 실시 예에 따르면, 제1 플렉서블 디스플레이(260)가 배치된 면이 전자 장치(101)의 제1 면(210a)으로 정의되며, 제1 면(210a)의 반대 면이 제2 면(220a)로 정의될 수 있다. 여기서, 제1 디스플레이(260)가 배치된 면을 제1 면(210a) 또는 전자 장치(101)의 전면으로 정의하며, 전면의 반대 면을 제2 면(220a) 또는 전자 장치(101)의 후면으로 정의할 수 있다.
도 2(a)에 도시된 바와 같이 제1 디스플레이(260)는 전자 장치(101)의 제1 면(210a) 전체를 차지하도록 형성될 수 있으며, 도 2(b)에 도시된 바와 같이 제2 디스플레이(261)는 제2 면(220a)의 적어도 일부를 차지하도록 형성될 수 있다. 이러한 경우 제1 디스플레이(260)는 별도의 힌지(hinge) 모듈을 통해 회동(pivot)할 수 있으며, 제2 디스플레이(261)는 하우징에 고정될 수 있다. 예컨대, 힌지 구조는 안쪽 또는 바깥쪽으로 접히거나 펼쳐지도록 구성될 수 있다. 예를 들어, 프리 스탑 힌지(free stop hinge)는 다양한 각도들에서 전자 장치(101)의 접힌 상태(예: 완벽하게 접힌 상태)를 유지할 수 있다.
예를 들어, 폴딩 축(예: A 축)에 대하여 양측으로 배치되는 한 쌍의 하우징들 중 어느 하나에 제2 디스플레이(261)가 배치될 수 있다. 일 실시 예에 따르면, 제1 디스플레이(260)는, 적어도 일부 영역이 평면 또는 곡면으로 변형될 수 있는 플렉서블 디스플레이를 의미할 수 있다. 제1 디스플레이(260)는, 폴딩 축(예: A 축)을 기준으로 일측에 배치되는 제1 영역(또는 제1 디스플레이 영역)(260a) 및 타측에 배치되는 제2 영역(또는 제2 디스플레이 영역)(260b)을 포함할 수 있다.
예를 들어, 전자 장치(101)가 펼침 상태(예: flat state 또는 unfolded state)일 경우, 제1 표시 영역(260a)의 표면과 제2 표시 영역(260b)의 표면은 서로 180도 각도를 형성하며, 동일한 방향(예: 전자 장치(101)의 전면 방향)을 향할 수 있다.
도 2(c)에 도시된 바와 같이 전자 장치(101)가 접힘 상태(folded state)(예: 완벽하게 접힌 상태)인 경우, 제1 디스플레이(260)의 제1 표시 영역(260a)의 표면과 제2 표시 영역(260b)의 표면은 서로 좁은 각도(예: 0도에서 10도 사이)를 형성하며, 서로 마주볼 수 있다. 일 실시 예에 따르면, 전자 장치(101)가 접힘 상태(예: 완벽하게 접힌 상태)에서 제2 디스플레이(261)는 폴딩 축(예: A 축)에 대하여 양측으로 배치되는 한 쌍의 하우징들 중 어느 하나에 배치될 수 있지만, 이는 예시적인 것이며, 다른 실시 예에서 제2 디스플레이(261)는 구조 또는 기능에 따라 후면(220a)의 대부분을 구성할 수도 있다. 예를 들어, 전자 장치(101)는 후면 커버를 통해 적어도 일부가 시각적으로 노출되는 제2 디스플레이(261)를 포함할 수 있다. 따라서 제1 디스플레이(260) 및 제2 디스플레이(261)의 크기 및 형상은 이에 한정되지 않음에 유의한다. 또한, 도 2(a)에 도시된 제1 디스플레이(260) 영역 구분은 예시적인 것이며, 구조 또는 기능에 따라 복수(예컨대, 4개 이상 혹은 2개)의 영역으로 구분될 수도 있다.
도 3은 일 실시 예에 따른 전자 장치의 일부 접힌 상태를 도시한 도면이다.
전자 장치(101)는 도 3에 도시된 바와 같이 폴딩축(예: A-A')에 기반하여 일부 펼쳐진 상태를 가질 수 있다. 전자 장치(101)는 제1 하우징 구조물(320)이 접촉면(예: 바닥, 테이블)과 접촉한 상태로, 제2 하우징 구조물(310)이 접촉면을 기준으로 세워진 상태를 가질 수 있다. 이와 같이 플렉서블 디스플레이를 포함하는 전자 장치(101)는 하나의 축을 기준으로 접힐(folding or bending) 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 일부 접힌 상태에서 제1 디스플레이(260)는 폴딩 축을 기준으로 상하로 제1 디스플레이 영역(260a) 및 제2 디스플레이 영역(260b)으로 구분될 수 있다. 사용자가 폴딩 축을 기준으로 바라보는 위측에 해당하는 제1 디스플레이 영역(260a)을 제1 디스플레이(260)(또는 내부 디스플레이)의 상단 영역이라고 칭할 수 있으며, 하측에 해당하는 제2 디스플레이 영역(260b)을 제1 디스플레이(260)(또는 내부 디스플레이)의 하단 영역이라고 칭할 수 있다. 제 1 디스플레이 영역(260a) 또는 제 2 디스플레이 영역(260b) 중 적어도 하나는 전면 카메라를 포함할 수 있다.
도 3에 도시된 전자 장치(101)는 제1 디스플레이(260)의 적어도 일부가 접힌 상태가 되면, 거치 상태(또는 포즈)에 따라 도 4에 도시된 바와 같이 사용자에게 보여지는 디스플레이 또는 디스플레이 영역이 달라질 수 있다. 도 4는 일 실시예에 따른 전자 장치의 다양한 일부 접힘 상태를 설명하기 위한 사시도이다.
전자 장치(101)는 도 4에 도시된 바와 같이 다양한 일부 접힌 상태(400a, 400b, 400c, 400d)를 가질 수 있다. 전자 장치(101)는 예컨대, 컴팩트(compact) 형태와 같이 안쪽으로 반으로 접힌 채로 세워진 상태를 가질 수 있다. 일 실시 예에 따르면, 전자 장치(101)가 도 4의 400a 내지 400c에 도시된 바와 같은 거치 상태(또는 포즈)이면, 제1 디스플레이(예: 도 2의 260)의 적어도 한 영역(또는 한 면)에 대해서 온 상태를 유지할 수 있으며, 제2 디스플레이(예: 도 2의 261)는 오프될 수 있다. 즉, 일부 접힌 상태에서는, 제1 디스플레이와 제2 디스플레이 중 어느 하나는 온 상태일 수 있으며, 다른 하나는 오프 상태일 수 있다. 또한, 일 실시 예에 따르면, 전자 장치(101)가 도 4의 400d에 도시된 바와 같이 제1 하우징 구조물(예: 도 3의 320)과 제2 하우징 구조물(예: 도 3의 310) 사이의 각도가 형성되어 본체의 측면들이 접촉하는 표면을 지지함에 따라 전자 장치(101)가 세워지는 상태(400d)에서는, 디스플레이의 한 영역(또는 한 면)에 대해서 온 상태를 유지할 수 있으며, 다른 한 영역(또는 다른 한 면)은 오프될 수 있다.
상기한 바와 같이 제1 디스플레이(260)가 제1 디스플레이 영역(예: 도 3의 260a)과 제2 디스플레이 영역(예: 도 3의 260b)으로 구분되도록 일부 접힌 상태에서, 전자 장치(101)가 놓여지는 거치 상태에 따라, 제1 디스플레이 영역 및 제2 디스플레이 영역 중 사용자를 향해 노출되는 영역이 달라질 수 있다. 또한, 도 2에 도시된 바와 같이 복수의 디스플레이를 포함하는 전자 장치(101)의 경우에는 제1 디스플레이(260) 및 제2 디스플레이(261) 중 사용자를 향해 노출되는 디스플레이도 달라질 수 있다. 따라서, 사용자의 위치를 기준으로 영상이 출력되는 디스플레이를 결정한다면, 전자 장치의 사용성을 높일 수 있을 것이다.
일 실시 예에서는, 복수의 디스플레이를 포함하는 전자 장치(101)에서 제1 디스플레이(260)의 적어도 일부가 접힌 상태로 영상을 출력하는 경우, 사용자의 위치를 식별함으로써 전자 장치(101)는 사용자의 위치에 대응되도록 적응적으로 디스플레이 영역을 변경할 수 있다. 여기서, 제1 디스플레이(260)가 일부가 접힌 상태를 완벽하게 접힌 상태와는 구별되는 플렉스 모드(flex mode)라고 칭할 수 있으며, 다양한 각도들에서 전자 장치(101)의 접힌 상태를 유지할 수 있다.
이때, 전자 장치가 접히는 비율은 전자 장치의 중앙을 기준으로 반으로 접히도록 할 수도 있으나, 축을 기준으로 접히는 비율이 다르게 구현될 수도 있다.
여기서, 하나의 축은 미리 설정될 수 있거나 또는 임의일 수도 있다. 축이 미리 설정된 것은, 전자 장치(101)의 플렉서블 디스플레이의 특정 영역(예를 들어, 축을 포함하는 일부 영역)만이 굴곡 가능한 것을 의미할 수 있다. 반면 축이 임의라는 것은 전자 장치(101)의 디스플레이의 전체 영역이 굴곡 가능한 것을 의미할 수 있다. 도 2 내지 도 4에서는 전자 장치(101)의 중심을 통과하는 축을 기준으로 반으로 접히는 것과 같이 도시되어 있지만, 축의 위치에는 제한이 없음을 당업자는 용이하게 이해할 수 있을 것이다.
아울러, 이하의 상세한 설명에서, 전자 장치(101)의 '전면(front face)' 또는 '후면(rear face)'이 언급될 수 있으며, 이는 제1 하우징 구조물(예: 도 3의 320)과 제2 하우징 구조물(예: 도 3의 310)들의 상대적인 위치(예: 펼쳐진 상태 또는 접혀진 상태)와 관계없이, 도 2의 제1 디스플레이(260)가 배치된 면을 '전자 장치(101)의 전면'으로 정의하고, 제1 디스플레이(260)가 배치된 면의 반대 방향을 향하는 제2 디스플레이(261)가 배치된 면을 '전자 장치(101)의 후면'으로 정의하기로 한다. 또한, 제1 디스플레이(260)를 내부 디스플레이라고 칭할 수 있으며, 제1 디스플레이(260)와는 반대되는 방향의 제2 디스플레이(261)를 외부 디스플레이라고 칭할 수 있다. 일 실시예에 따라, "전자 장치(101)가 복수의 디스플레이를 포함하는 구성"에 관해 언급될 수 있으며, 여기서, "디스플레이"는 플렉서블 디스플레이를 의미할 수 있다. 예를 들어, 도 2 또는 도 3의 제1 디스플레이(260)는 플렉서블 디스플레이를 의미할 수 있다.
이하의 상세한 설명에서는, 선행 실시예를 통해 용이하게 이해할 수 있는 구성에 관해 도면의 참조번호를 동일하게 부여하거나 생략하고, 그 상세한 설명 또한 생략될 수 있다. 본 문서에 개시된 일 실시예에 따른 전자 장치(101)는 서로 다른 실시예의 구성이 선택적으로 조합되어 구현될 수 있으며, 한 실시예의 구성이 다른 실시예의 구성에 의해 대체될 수 있다. 예컨대, 본 발명이 특정한 도면이나 실시예에 한정되지 않음에 유의한다.
도 5는 일 실시 예에 따른 전자 장치의 내부 블록 구성도(500)이다.
도 5를 참조하면, 일 실시 예에 따른 전자 장치(101)(예: 도 1의 전자 장치(101))는, 프로세서(520)(예: 도 1의 프로세서(120)) 및 디스플레이(560)(예: 도 1의 디스플레이 모듈(160))를 포함할 수 있다. 일 실시 예에 따른 전자 장치(101)(예: 도 1의 전자 장치(101))는, 메모리(530)(예: 도 1의 메모리(130)), 센서(576)(예: 도 1의 센서 모듈(176)) 및/또는 통신 모듈(590)(예: 도 1의 통신 모듈(190))을 포함할 수 있다. 여기서, 도 5에 도시된 모든 구성 요소가 전자 장치(101)의 필수 구성 요소인 것은 아니며, 도 5에 도시된 구성 요소보다 많거나 적은 구성 요소에 의해 전자 장치(101)가 구현될 수도 있다.
디스플레이(560)는 플렉서블 디스플레이를 의미할 수 있다. 일 실시 예에 따르면, 디스플레이(560)는 도 2에 도시된 바와 같이 제1 디스플레이(260) 및 제2 디스플레이(261)를 포함할 수 있다. 예를 들어, 제1 디스플레이(260)는 제1 디스플레이(260)가 부분적으로 접힘에 따라 상기 제1 디스플레이(260)는 제1 디스플레이 영역 및 제2 디스플레이 영역으로 구분될 수 있다. 일 실시 예에 따르면, 제1 디스플레이(260)가 일부 접힌 상태(예: 플렉스 모드)는 제1 디스플레이(260)의 적어도 일부 및 제2 디스플레이(261)의 적어도 일부 각각이 외부로 시각적으로 노출된 상태를 의미할 수 있다.
통신 모듈(590)은 외부 전자 장치(102)와 통신 연결될 수 있다. 일 실시 예에 따르면, 통신 모듈(590)은 1:1 연결 방식 또는 1:n 연결 방식을 통해 하나 이상의 외부 전자 장치(예: 도 1의 102)와 연결될 수 있다. 여기서, n은 1보다 큰 자연수이다. 또한, 통신 모듈(590)은 다양한 통신 방식을 통해 외부 전자 장치(102)와 무선으로 연결될 수 있으며, 미러링 서비스를 제공하기 위해 외부 디스플레이 장치(예: TV)와 연결될 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 제1 통신 방식(예: 근거리 통신 방식)을 이용하여 외부 전자 장치(102)와 통신 연결될 수 있으며, 제2 통신 방식(예: UWB 통신 방식 또는 BLE 통신 방식)을 이용하여 외부 전자 장치(102)의 방향을 식별할 수 있다. 통신 모듈(590)은 제1 통신 방식 및/또는 제2 통신 방식에 기반하여 동작할 수 있다.
일 실시 예에 따르면, 통신 모듈(590)은 UWB(ultra wide band) 통신 방식 또는 BLE(bluetooth low energy) 통신 방식 중 적어도 하나에 기반하여 동작할 수 있다.
예를 들면, 통신 모듈(590)은 UWB 통신 모듈을 포함할 수 있다. UWB 통신 모듈은 전자 장치(101)가 외부 전자 장치(102)와 UWB 통신을 수행하도록 지원할 수 있다. UWB 통신 모듈은 UWB 통신을 통해 전자 장치(101)와 외부 전자 장치(102) 사이의 거리를 측정할 수 있다. UWB 통신 모듈은 복수의 안테나를 이용해 외부 전자 장치(102)의 방향(예: AOA(angle of arrival))을 측정할 수 있다.
외부 전자 장치(102)를 설명함에 있어 도 1의 실시예와 유사하거나 도 1의 실시예를 통해 용이하게 이해할 수 있는 구성에 대해서는 상세한 설명이 생략될 수 있다.
일 실시 예에 따르면, 이하의 설명에서는 전자 장치(101)가 동영상과 같은 컨텐트를 출력하는 장치이며, 외부 전자 장치(102)는 사용자의 신체 적어도 일부에 착용(또는 탈착) 가능한 웨어러블 전자 장치(예: 웨어러블 와치, 이어 웨어러블 장치 및/또는 헤드 마운티드 디스플레이(HMD, head mounted display))이며, 외부 디스플레이 장치(104)는 전자 장치(101) 또는 외부 전자 장치(102)와 연결되어 전자 장치(101)의 디스플레이를 통해 출력되는 화면에 대응하는 미러링 화면을 출력하는 TV와 같은 장치를 예로 들어 설명하지만, 이에 한정되는 것은 아니다.
일 실시 예에서는, 플렉스 모드의 전자 장치(101)를 기준으로, 하나의 외부 전자 장치(102)의 방향에 기반하여 전자 장치(101)의 디스플레이를 제어하는 경우를 예로 들어 설명하나, 둘 이상의 외부 전자 장치(102)를 기준으로 디스플레이를 제어할 수도 있다. 예를 들어, 사용자가 웨어러블 와치와 헤드 마운티드 디스플레이를 포함하는 복수의 외부 전자 장치(102)를 착용한 상태일 경우, 프로세서(520)는 통신 모듈(590)에서 지원하는 1:n 연결 방식을 통해 n개의 외부 전자 장치(102)와 연결될 수 있다.
일 실시 예에서, 헤드 마운티드 디스플레이와 같은 외부 전자 장치(102)의 경우에는, 카메라(예: ToF(time-of-flight) 카메라, eye tracking camera)를 포함하고 있기 때문에, 전자 장치(101)와의 거리 정보를 파악할 수 있을 뿐만 아니라, 사용자의 시선 추적도 가능할 수 있다.
일 실시 예에서, 프로세서(520)는 n개의 외부 전자 장치(102)로부터 사용자 위치 관련 정보를 획득할 수 있다. 사용자 위치 관련 정보는 전자 장치(101)를 기준으로 한 사용자 위치 또는 방향을 식별하는데 이용될 수 있다. 예를 들어, 프로세서(520)는 n개의 외부 전자 장치(102)로부터 수신한 전자 장치(101)와의 거리 정보, 사용자 시선 정보, 사용자의 방향 정보 및/또는 사용자의 고도 정보를 조합한 사용자 위치 관련 정보를 수신할 수 있다. 프로세서(520)는 수신된 사용자 위치 관련 정보에 기반하여, 사용자의 이동 위치를 판단할 수 있으며, 판단된 사용자 위치에 대응하는 디스플레이 제어를 수행할 수 있다. 이와 같이 둘 이상의 외부 전자 장치를 이용하는 경우에는 사용자의 이동 위치를 판단하기 위한 정확도가 향상될 수 있다.
센서(576)는 전자 장치(101)의 동작 상태(예: 펼침 상태, 접힘 상태, 및/또는 중간 상태) 및 접힌 각도를 판단하기 위한 센서(예: 디지털 홀 센서, 9축 센서)를 포함할 수 있다. 일 실시예에 따른 홀 센서는, 하나 이상의 자석들, 및/또는 하나 이상의 자기 센서들을 포함할 수 있다. 홀 센서에 포함된 상기 하나 이상의 자석들, 및/또는 상기 하나 이상의 자기 센서들 중 적어도 하나는 전자 장치(101) 내 상이한 위치들에 배치될 수 있다. 상기 하나 이상의 자석들, 및/또는 상기 하나 이상의 자기 센서들의 전자 장치(101) 내에서의 위치 관계는, 전자 장치(101)의 형태에 따라 변경될 수 있다. 전자 장치(101)는 상기 위치 관계의 변경을, 상기 하나 이상의 자기 센서들을 통해, 측정할 수 있다. 상기 위치 관계의 변경은, 상기 하나 이상의 자석들에 의해 형성된 자계의 변화를 야기할 수 있다. 전자 장치(101)는 홀 센서를 이용하여, 상기 자계의 변화를 나타내는 전력 신호를 획득할 수 있다. 예를 들어, 전자 장치(101)는 홀 센서로부터 획득한 상기 전력 신호를 이용하여 전자 장치(101)의 상태(예: 펼침 상태, 접힘 상태, 및/또는 중간 상태)를 구별할 수 있다. 예를 들어, 전자 장치(101)는 홀 센서로부터 전자 장치(101)의 상태를 나타내는 데이터를 수신할 수 있다. 예를 들어, 홀 센서는 제1 디스플레이(260)의 형태를 나타내는 데이터를 출력할 수 있다. 제1 디스플레이(260)의 형태는 폴딩 축(예: 도 2의 A축)에 의해 접혀지거나 또는 펼쳐짐에 따라 변경될 수 있다. 예를 들어, 홀 센서는 제1 디스플레이(260)의 형태를 나타내는 상이한 데이터를 출력할 수 있다. 제1 디스플레이(260)의 형태를 나타내는 상기 데이터는 폴딩 축에 의해 접힌 제1 디스플레이(260)의 각도를 포함할 수 있다. 예를 들어, 전자 장치(101)는 폴딩 축을 기준으로 접힌 제1 디스플레이(260)의 각도가 지정된 각도 범위(예: 10˚ 내지 160˚ 사이의 각도 범위 또는 50˚ 내지 150˚의 각도 범위)내에 포함된 상기 각도를 식별하는 것에 응답하여, 제1 디스플레이(260)가 일부 접힌 상태(예: 플렉스 모드)를 구별할 수 있다.
일 실시예에 따른 센서(576)는 전자 장치(101)의 상태(예: 자세)를 감지하는 자이로 센서, 가속도 센서, 및/또는 지자계 센서를 포함할 수 있다. 예를 들어, 전자 장치(101)는 지자계 센서를 이용해 기준 방위각에 대한 상대 방위각을 판단할 수 있다. 전자 장치(101)는 지자계 센서를 이용해 기준 방위각에 대한 상대 방위각과 UWB 도래각(AOA)을 이용하여 UWB를 이용한 최종 방위각을 구할 수 있다. 센서(576)는 자이로 센서, 가속도 센서, 및 지자계 센서를 이용하여 9축 모션 센서로 이용할 수 있다. 상기한 바 이외에 센서(576)는 전자 장치(101)의 접힌 각도를 간접적으로 측정하는데 사용되는 스트레인 값을 출력하는 스트레인(strain) 센서를 포함할 수도 있다.
프로세서(520)는 센서(576)로부터 수신되는 데이터에 기초하여, 전자 장치(101)의 물리적 상태 및/또는 물리적 상태 변화를 감지할 수 있다. 프로세서(520)는 동작 상태(예: 펼침 상태, 접힘 상태, 및/또는 일부 접힌 중간 상태)의 변경(예: 접힘 이벤트, 펼침 이벤트)을 검출할 수 있다. 예를 들어, 동작 상태의 변경을 검출할 수 있는 센서에 기반하여 제1 하우징 구조물(예: 도 3의 320)과 제2 하우징 구조물(예: 도 3의 310) 사이의 각도가 지정된 각도 범위에 해당하는 경우, 전자 장치(101)가 일부 펼쳐진(또는 일부 접힌) 상태인 것으로 결정할 수 있다.
프로세서(520)는 적어도 하나의 어플리케이션을 실행할 수 있으며, 상기 어플리케이션에 대응하는 컨텐트를 디스플레이(560)를 통하여 시각적으로 출력할 수 있다. 예를 들어, 프로세서(520)는 동영상 관련 어플리케이션의 선택에 대응하여, 디스플레이(560)를 통해 재생되는 컨텐트(예: 영상)를 출력할 수 있다. 여기서, 영상(또는 영상 데이터)은 현재 실행하고 있는 어플리케이션의 출력 결과물로, 어플리케이션이 수행되면서 생성되는 데이터 객체 예컨대, 비디오 데이터, 오디오 데이터 또는 디스플레이 정보 중 적어도 하나를 포함할 수 있다. 또한, 디스플레이(560)를 통한 영상은, 컨텐트라고 칭할 수 있으며, 이외에 실행 중인 어플리케이션과 관련된 데이터, 화면 데이터, 또는 어플리케이션 실행 화면이라고 칭할 수도 있다.
프로세서(520)는 사용자에 의한 어플리케이션 실행 요청에 대응하여 어플리케이션을 실행할 수도 있다. 일 실시 예에 따르면, 프로세서(520)는 디스플레이(560)가 일부 접힌 상태에서 어플리케이션 실행에 따른 컨텐트를 디스플레이(560) 상에 표시할 수 있다. 예를 들어, 프로세서(520)는 사용자 설정에 따라 복수의 디스플레이 중 어느 하나의 디스플레이를 통해 상기 컨텐트를 제공할 수 있다.
일 실시 예에 따르면, 프로세서(520)는 사용자의 위치에 따라 컨텐트가 출력되는 디스플레이를 변경하여 제공할 수 있다. 이렇게 함으로써, 전자 장치(101)는 사용자가 전자 장치(101)의 전면 방향 또는 후면 방향에 위치하더라도 사용자가 바라보는 디스플레이를 통해 컨텐트를 제공할 수 있어, 사용자 입장에서는 지속적인 시청이 가능할 수 있다. 예를 들어, 제1 디스플레이(260)가 일부 접힌 상태에서, 사용자에 의해 동영상 재생 어플리케이션이 실행되면, 프로세서(520)는 제1 디스플레이(260)의 적어도 일부 영역을 통해 상기 어플리케이션의 실행 화면을 표시할 수 있다. 상기 어플리케이션의 실행 화면을 표시하는 중에, 프로세서(520)는 사용자 위치를 식별하여, 사용자가 후면 방향에 위치할 경우에는 제2 디스플레이(261)의 적어도 일부 영역을 통해 상기 어플리케이션의 실행 화면을 표시할 수 있다. 이와 같이 사용자 위치에 따라 디스플레이를 변경하여 해당 컨텐트를 제공함으로써, 사용자 입장에서는 별도의 조작 없이도 여러 방향에서 디스플레이를 통한 컨텐트를 확인할 수 있다.
일 실시 예에 따르면, 사용자 방향을 식별하기 위한 용도로 사용자의 신체 일부에 착용 가능한 웨어러블 전자 장치가 이용될 수 있다. 이러한 웨어러블 전자 장치는 외부 전자 장치(102)로서, 전자 장치(101)는 외부 전자 장치(102)에 연결되어 외부 전자 장치(102)의 방향을 식별할 수 있다. 예를 들어, 전자 장치(101)와 외부 전자 장치(102)는 동일 사용자 계정을 이용하여 로그인함으로써 서로 연동하는 장치들일 수 있다.
이와 같이 프로세서(520)는 외부 전자 장치(102)의 방향을 식별함으로써 전자 장치(101)의 위치를 기준으로 한 상기 사용자의 방향을 결정할 수 있다. 따라서 프로세서(520)는 외부 전자 장치(102)의 방향에 대응하는 디스플레이를 결정할 수 있으며, 결정된 디스플레이를 통해 어플리케이션의 실행 화면을 표시할 수 있다.
일 실시 예에 따르면, 프로세서(520)는 통신 모듈(590)을 통해 주변에 연결 가능한 외부 전자 장치(102)를 탐색한 후, 상기 탐색에 기반하여 외부 전자 장치(102)와 연결될 수 있다. 프로세서(520)는 연결된 외부 전자 장치(102)가 사용자의 신체 일부에 착용된 상태인지를 식별할 수 있다. 예를 들어, 외부 전자 장치(102)에서는 적어도 하나의 센서를 이용하여 착용 여부를 식별할 수 있으며, 전자 장치(101)는 외부 전자 장치(102)로부터 전송된 착용 상태에 대한 정보에 기반하여, 착용된 상태임을 식별할 수 있다.
일 실시 예에 따르면, 프로세서(520)는 컨텐트를 출력하는 중에 외부 전자 장치(102)의 방향에 대응하여 디스플레이를 변경하기 위한 기능을 제공할 수 있다. 상기 기능은 설정 메뉴를 통해 활성화 또는 비활성화될 수 있다. 따라서, 상기 기능이 활성화로 설정된 경우에는, 프로세서(520)는 디스플레이(560)의 일부 영역을 통해 컨텐트를 출력하는 중에 지속적으로 외부 전자 장치(102)의 방향을 추적할 수 있다.
일 실시 예에 따르면, 프로세서(520)는 통신 모듈(590)의 UWB 통신 방식 또는 BLE 통신 방식 중 적어도 하나에 기반하여, 전자 장치(101)를 기준으로 한 외부 전자 장치(102)의 방향을 식별할 수 있다.
예를 들어, UWB 통신 방식에 기반한 UWB AOA(angle of arrival) 측정 방식은 복수의 안테나 신호 간의 시간차를 이용한 방식으로, 통신 모듈(590)의 안테나를 이용하여 수신된 신호에 기반하여 외부 전자 장치(102)의 방향을 식별할 수 있으며, 전자 장치(101)로부터 떨어진 외부 전자 장치(102)의 거리도 식별할 수 있다. 예를 들면, 전자 장치(101)는 외부 전자 장치(102)의 방향 및/또는 거리를 식별하기 위한 안테나 모듈(예: UWB 안테나)을 더 포함할 수 있다. 예를 들면, 안테나 모듈은 외부 전자 장치(102)의 방향 및/또는 거리를 측정하기 위한 복수 개의 안테나를 포함할 수 있다. 예를 들면, 전자 장치(101)는 안테나 모듈에 포함되는 다수 개의 안테나 중 적어도 두 개의 안테나를 이용하여 외부 전자 장치(102)와의 거리 및/또는 방향(또는, 각도(예: AOA))을 측정할 수 있다. 상기 외부 전자 장치(102)의 방향은 각도를 이용하여 표현될 수도 있다.
일 실시 예에 따르면, 외부 전자 장치(102)의 방향을 식별하는 것은 전자 장치(101)로부터 외부 전자 장치(102)를 향하는 방향을 식별하는 것으로 이해되어야 할 것이다. 또한, 외부 전자 장치(102)의 방향은, 전자 장치(101)의 위치를 중심으로 전방 또는 후방으로 표현될 수 있다.
일 실시 예에 따르면, 전자 장치(101)는, 전자 장치(101)의 위치를 중심으로 한 외부 전자 장치(102)의 위치를 식별할 수도 있다. 예를 들어, 전자 장치(101)의 위치를 중심으로 한 소정의 3차원 좌표계에서, 외부 전자 장치(102)의 좌표값을 식별할 수도 있다.
일 실시 예에 따르면, 프로세서(520)는 BLE 통신 방식에 기반하여 외부 전자 장치(102)를 검출한 이후에, UWB AOA 측정을 위한 UWB 신호 스캐닝을 활성화시킬 수 있다. 예를 들면, 프로세서(520)는 BLE 통신 방식을 통해 외부 전자 장치(102)가 검색되면, BLE 통신을 통해 UWB 통신에 필요한 정보를 전송함으로써 UWB 신호 스캐닝을 활성화할 수 있다. 프로세서(520)는 전송한 정보를 이용해 외부 전자 장치(102)와 UWB 통신을 통해 연결할 수 있다. 일 실시예에 따르면, 프로세서(520)는 외부 전자 장치(102)로 레인징(ranging) 메시지(예: ranging 제어 메시지, ranging 요청 메시지)를 브로드캐스팅 할 수 있다. 프로세서(520)는 ranging 요청 메시지를 제1 전송 간격으로 브로드캐스팅할 수 있다. 프로세서(520)는 ranging 요청 메시지를 수신한 외부 전자 장치(102)로부터 ranging 응답 메시지(예: response 메시지)를 수신하고, ranging 응답 메시지에 기반하여, 전자 장치(101)에 대한 외부 전자 장치(102)의 상대적인 위치를 확인할 수 있다.
전술한 바에서는 통신 모듈(590)의 UWB 통신 방식 또는 BLE 통신 방식을 이용하여 외부 전자 장치(102)의 방향을 식별하는 경우를 예로 들어 설명하였지만, 이에 한정되는 것은 아닐 수 있다. 예를 들어, 프로세서(520)는 센서(576)를 이용하여 전자 장치(101)의 전면 중심축을 기준으로 상, 하, 좌, 우 방향 중 어느 한 방향에서 외부 전자 장치(102)를 검출할 수 있다. 이를 위한 센서(576)는 적외선(Infrared) 센서, 초음파 센서, 모션 센서, 3D 센서, 및 비전 센서 중 적어도 하나를 포함할 수 있으며, 센서의 종류는 이에 한정되는 것은 아니다. 이러한 센서들 중 적어도 두 개의 센서에서 센싱되는 정보들을 조합하여 외부 전자 장치(102)의 자세(또는 포즈), 위치 및 방향 식별에 활용할 수도 있다. 또한, 카메라(예: 도 1의 카메라 모듈(180))와 라이다(Lidar)를 외부 전자 장치(102)의 자세(또는 포즈), 위치 및 방향 식별에 활용할 수도 있다.
프로세서(520)는 복수의 디스플레이 중 제1 디스플레이(260)를 통해 컨텐트를 출력하는 중에 외부 전자 장치(102)의 방향을 식별할 수 있다. 프로세서(520)는 외부 전자 장치(102)의 방향이 제1 방향 범위에 대응하는 경우, 상기 제1 디스플레이(260)를 통한 상기 컨텐트의 출력을 유지할 수 있다. 반면, 프로세서(520)는 외부 전자 장치(102)의 방향이 제2 방향 범위에 대응하는 경우, 상기 제1 디스플레이(260)와 반대되는 방향에 배치되는 제2 디스플레이(261)를 통해 상기 컨텐트를 출력하도록 제어할 수 있다. 여기서, 제1 방향 범위 및 제2 방향 범위를 정의하기 위해 도 6a 및 도 6b를 참조할 수 있다. 도 6a는 일 실시 예에 따른 외부 전자 장치의 위치에 따라 제1 타입의 전자 장치의 디스플레이 변경을 통해 재생 중인 컨텐트를 출력하는 예시도이며, 도 6b는 일 실시 예에 따른 외부 전자 장치가 전자 장치의 측면 방향에 위치하는 경우 외부 전자 장치에서의 제어 화면의 예시도이다. 일 실시 예에 따르면, 제1 타입의 전자 장치(101)는 플렉서블 디스플레이를 포함할 수 있다. 제1 타입의 전자 장치(101)는 예컨대, 컴팩트(compact) 형태와 같이 안쪽으로 반으로 접힌 채로 세워진 상태를 가질 수 있다.
도 6a를 참조하면, 전자 장치(101)의 제1 디스플레이(260)가 일부 접힌 상태에는, 제1 디스플레이 영역(260a)이 상단 영역이 될 수 있으며, 제2 디스플레이 영역(260b)이 하단 영역이 될 수 있다. 도 6a의 (a)에 도시된 바와 같이 외부 전자 장치(102)가 전자 장치(101)의 전면 방향에 위치하는 경우, 외부 전자 장치(102)는 전자 장치(101)의 전면(210a) 방향에 대응하는 제1 인식 범위(610) 내에서 검출될 수 있다. 상기 제1 인식 범위(610) 내에서의 외부 전자 장치(102)의 검출에 대응하여, 전자 장치(101)는, 전면(210a)에 배치된 상기 제1 디스플레이(260)('메인 디스플레이'라고도 함)를 통한 컨텐트를 출력할 수 있다. 제1 인식 범위(610)는 '전면 범위'라고도 할 수 있다. 예를 들어, 플렉스 모드에서 동영상 관련 어플리케이션이 실행되는 경우, 제1 디스플레이(260)의 제1 디스플레이 영역(260a)에는 재생되는 영상이 표시될 수 있으며, 제2 디스플레이 영역(260b)에는 상기 재생 중인 영상의 제어와 관련된 제어 항목이 표시될 수 있다. 여기서, 제1 디스플레이(260)를 통해 재생되는 영상은, 컨텐트(또는 컨텐츠)라고 칭할 수 있으며, 이외에 실행 중인 어플리케이션과 관련된 데이터, 화면 데이터, 또는 어플리케이션 실행 화면이라고 칭할 수도 있다.
일 실시 예에서, 전방 범위는 제1 표시 영역(260a)의 법선 방향을 기준으로 미리 정해진 방위각 범위(예: 30도 이내)일 수 있다.
일 실시 예에 따르면, 제1 디스플레이(260)를 통해 컨텐트를 출력(또는 표시)하는 도중에 외부 전자 장치(102)를 착용한 사용자는 이동할 수 있다. 도 6a의 (b)에 도시된 바와 같이 외부 전자 장치(102)가 전자 장치(101)의 측면 범위('블라인드 영역'이라고도 함)에 위치하는 경우, 상기 제1 인식 범위(610) 내에서의 검출되었던 외부 전자 장치(102)가 더 이상 검출되지 않는 상황일 수 있다. 예를 들면, 제1 디스플레이(260)의 제1 디스플레이 영역(260a)에는 재생되는 컨텐트가 표시되는 상태에서 외부 전자 장치(102)가 상기 제1 인식 범위(610) 내에서 검출되지 않는 경우, 전자 장치(101)는 제1 디스플레이(260)에 대해 밝기를 낮추는 동작(예: 디밍(dimming)을 수행)을 수행할 수 있다. 도 6a의 (b)에서는 외부 전자 장치(102)가 시야각을 벗어났을 때 제1 디스플레이(260)에 대한 제어 동작으로 밝기를 낮추는 경우를 예시하고 있으나, 시야각을 벗어난 경우의 제1 디스플레이(260)에 대한 제어 동작은 이에 한정되지 않을 수 있다.
다른 예를 들어, 외부 전자 장치(102)가 상기 제1 인식 범위(610) 내에서(예: 외부 전자 장치(102)가 블라인드 영역 내에 있을 때) 검출되지 않는 경우 도 6b에 도시된 바와 같이 외부 전자 장치(102)를 통해 디스플레이 컨텐트의 재생과 관련하여 컨트롤 기능을 제공할 수 있다. 따라서, 외부 전자 장치(102)를 통한 컨트롤 기능의 선택에 따라 제1 디스플레이(260)에 대한 제어 동작은 달라질 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(102)를 통한 일시정지 기능이 선택된 경우에는, 제1 디스플레이(260)를 통해 재생 중인 컨텐트의 출력을 중지할 수 있다. 또한, 외부 전자 장치(102)를 통해 재생 중인 컨텐트에 대한 자막을 제공(즉, 표시됨)할 수도 있다.
일 실시 예에 따르면, 도 6a의 (c)에 도시된 바와 같이 외부 전자 장치(102)가 전자 장치(101)의 후면(220a)에 위치하는 경우, 외부 전자 장치(102)를 착용한 사용자의 이동에 따라 외부 전자 장치(102)가 전자 장치(101)의 후면(220a)에 대응하는 제2 인식 범위(620) 내에서 검출될 수 있다. 제2 인식 범위(620)는 '후방 범위'로 지칭될 수 있다. 일 실시 예에서, 후방 범위는 제2 디스플레이(261)의 법선 방향을 기준으로 미리 정해진 방위각 범위(예: 30도 이내)일 수 있다.
도 6a의 (c)를 참조하면, 전자 장치(101)의 제1 디스플레이(260)가 일부 접힌 상태에는, 사용자가 전자 장치(101)의 후면(220a)에 대면하는 제2 인식 범위(620)로 이동한 경우, 사용자를 향해 노출되는 디스플레이가 달라질 수 있다. 즉, 사용자는 전자 장치(101)의 후면(220a)에 배치된 제2 디스플레이(261)를 볼 수 있다. 예를 들어, 외부 전자 장치(102)의 위치에 대응하는 방향의 제2 디스플레이(261)('서브 디스플레이'라고도 함)에는 재생되는 컨텐트가 표시될 수 있으며, 제1 디스플레이(260)('메인 디스플레이'라고도 함)는 오프될 수 있다.
일 실시 예에 따르면, 외부 전자 장치(102)를 착용한 사용자의 이동에 따라 제2 인식 범위(620) 내에서 외부 전자 장치(102)가 검출되는 경우, 프로세서(520)는 외부 전자 장치(102)의 방향에 대응하여, 제1 디스플레이(260)의 적어도 한 영역(또는 한 면)을 오프하고, 제2 디스플레이(261)를 통해 컨텐트를 출력할 수 있다. 이때, 프로세서(520)는 상기 제1 디스플레이(260)를 통한 컨텐트의 출력을 중지함과 동시에 제1 디스플레이(260)의 적어도 한 영역(또는 한 면)을 오프시킬 수 있으며, 제2 디스플레이(261)를 온 함으로써 컨텐트를 출력할 수 있다.
여기서, 제1 인식 범위(610)는 상기 제1 디스플레이(260)가 적어도 부분적으로 접힌 상태에서 상기 제1 디스플레이(260)의 상측 디스플레이 영역(260a)을 기준으로 한 제1 범위를 의미할 수 있다. 또한, 제2 인식 범위(620)는 제1 인식 범위(610)와 반대되는 방향에 해당하며, 상기 제1 디스플레이(260)가 적어도 부분적으로 접힌 상태에서 전자 장치(101)의 제2 디스플레이(261)를 기준으로 한 제2 범위를 의미할 수 있다.
일 실시 예에 따르면, 프로세서(520)는 UWB 통신 방식 또는 BLE 통신 방식 중 적어도 하나에 기반하여, 전방향 범위에서 외부 전자 장치(102)를 지속적으로 추적하는 것이 가능할 수 있다. 하지만, 제1 인식 범위(610)를 벗어나는 위치에 사용자가 위치할 경우에는 외부 전자 장치(102)의 방향을 식별할 수 있더라도, 사용자 입장에서는 디스플레이(560)를 바라보더라도 화면 내용을 확인하지 못할 수 있다. 따라서 제1 인식 범위(610) 및 제2 인식 범위(620)는 사용자가 디스플레이(560)를 바라볼 때 사용자 인식이 가능한 시야각(예: 뷰잉 각도(viewing angle))을 기반으로 정해질 수 있다. 예를 들어, 제1 인식 범위(610)는 제1 디스플레이(260)를 기준으로 한 시야각에 대응할 수 있으며, 제2 인식 범위(620)는 제2 디스플레이(261)를 기준으로 한 시야각에 대응할 수 있다. 일 실시 예에 따르면, 제1 인식 범위(610)는 제1 디스플레이(260)의 상단 디스플레이 영역(260a)의 중심에 전면 카메라가 배치되어 있다고 가정했을 때, 전면 카메라로 포착하는 장면의 시야(예: 뷰잉 각도 내)일 수 있다. 예를 들어, 카메라(예: 전면 카메라 또는 후면 카메라)를 통해 피사체(예: 사용자)를 바라봄에 따라 촬영되는 화면의 범위로, 카메라는 일정 범위의 화각(angle of view)을 가지며, 이러한 인식 범위는 카메라 화각에 따라 달라질 수도 있다. 일 실시 예에서, 인식 범위를 설명하기 위해 카메라의 화각을 예로 들어 설명하였으나, 이는 단지 이해를 돕기 위한 예시일 뿐, 제1 인식 범위(610)는 사용자가 디스플레이를 바라봤을 때 인식 가능한 시야각 범위로 이해되어야 할 것이다. 예를 들어, 제1 인식 범위(610)는 θ 각도로 정해질 수 있으며, 제2 인식 범위(620)는 β 각도로 정해질 수 있으며, 인식 범위의 폭은 예컨대, θ 각도와 β 각도는 필요에 따라 다양하게 정해질 수 있다.
예를 들어, 제1 디스플레이(260)가 일부 접힌 상태(예: 플렉스 모드)의 접힘 각도에 따라 인식 범위는 달라질 수 있다. 예를 들어, 상단 디스플레이(예: 상단 디스플레이 영역(260a))에 대한 시야각에 대응하는 제1 인식 범위(610) 및 제2 인식 범위(620)는, 수직인 90°로 접힌 상단 디스플레이 영역(260a)을 기준으로 했을 때 접힘 각도가 90° 이상인 각도에서는 인식 범위(또는 인식 가능한 반경)가 넓어질 수 있으며, 반면 90도 이하의 각도에서는 상기 인식 범위(또는 인식 가능한 반경)는 좁아질 수 있다.
일 실시 예에 따르면, 프로세서(520)는 복수의 디스플레이 중 외부 전자 장치(102)의 방향에 대응하여, 컨텐트를 출력(또는 재생)하는 대상 디스플레이를 적응적으로 변경할 수 있다. 또한, 프로세서(520)는 사용자의 위치 이동으로 인해 컨텐트를 출력하는 디스플레이를 다양한 방식으로 제어할 수 있다. 예를 들어, 외부 전자 장치(102)가 제1 인식 범위(610)를 벗어나 이동하는 것으로 식별되는 경우, 사용자가 더 이상 제1 디스플레이(260)를 바라보지 않는 것으로 간주하여 제1 디스플레이(260)의 밝기를 낮출 수 있다. 이때, 제1 디스플레이(260)의 밝기를 낮추더라도 제1 디스플레이(260)를 통한 컨텐트의 출력은 유지될 수 있다. 예를 들어, 프로세서(520)는, 사용자가 착용한 외부 전자 장치(102)가 전자 장치(101)로부터 벗어나는 거리에 따라 출력 컨텐트에 대한 재생 음량은 높아지도록 제어할 수 있다. 또한, 프로세서(520)는, 상기 밝기 조절과 재생 음량의 조절 동작을 동시에 제어할 수도 있다. 예를 들어, 프로세서(520)는, 외부 전자 장치(102)가 제1 인식 범위(610)를 벗어나 이동하는 것으로 식별되는 경우, 제1 디스플레이(260)를 통한 컨텐트 출력을 중지하도록 제어할 수도 있다.
이후, 프로세서(520)는, 외부 전자 장치(102)가 제1 인식 범위(610)를 벗어나 제2 인식 범위(620)에서 검출되는 경우에 대응하여 제1 디스플레이(260)를 오프시킬 수 있다. 예를 들어, 프로세서(520)는, 외부 전자 장치(102)가 제1 인식 범위를 벗어나 제2 인식 범위(620)에서 검출된 시간이 일정 시간 이상 경과한 경우에 대응하여, 제1 디스플레이(260)를 오프시킬 수 있다.
일 실시 예에 따르면, 프로세서(520)는, 외부 전자 장치(102)가 제1 인식 범위(610)를 벗어나 제2 인식 범위(620)에서 검출되더라도 제1 디스플레이(260)를 통한 컨텐트 출력을 유지하도록 제어할 수 있다. 예를 들어, 외부 전자 장치(102)가 제1 인식 범위(610)를 벗어나 제2 인식 범위(620)에서 검출되더라도 제1 디스플레이(260)를 통한 컨텐트를 시청 중이던 다른 사용자도 상기 컨텐트를 볼 수 있도록 프로세서(520)는, 제1 디스플레이(260)와 제2 디스플레이(261) 각각을 통해 동일한 컨텐트를 출력하도록 제어할 수 있다.
도 6c는 일 실시 예에 따른 외부 전자 장치의 방향에 따라 제2 타입의 전자 장치의 디스플레이 변경을 통해 재생 중인 컨텐트를 출력하는 예시도이다.
도 6c에 도시된 바와 같이, 제1 디스플레이(260)는 전자 장치(101)의 제1 면 전체를 차지하도록 형성될 수 있으며, 제2 디스플레이(261)는 제2 면의 적어도 일부를 차지하도록 형성될 수 있다. 이러한 경우 제1 디스플레이(260)는 별도의 힌지(hinge) 모듈을 통해 회동(pivot)할 수 있으며, 제2 디스플레이(261)는 하우징에 고정될 수 있다.
도 6c의 (a)에 도시된 바와 같이, 전자 장치(101)가 세워진 채로 거치된 상태에서 제1 인식 범위(610)에서 검출되는 경우 프로세서(520)는 제1 디스플레이(260)를 통해 컨텐트를 출력할 수 있다. 만일 도 6c의 (b)에 도시된 바와 같이, 전자 장치(101)가 제2 인식 범위(620)에서 검출되는 경우 프로세서(520)는 제2 디스플레이(261)를 통해 컨텐트를 출력할 수 있다.
도 6d는 일 실시 예에 따른 외부 전자 장치의 방향에 따라 제3 타입의 전자 장치의 디스플레이 변경을 통해 재생 중인 컨텐트를 출력하는 예시도이다.
도 6d의 (a)에 도시된 바와 같이, 제1 디스플레이(260)가 바깥쪽으로 접힌 상태에서 전자 장치(101)가 제1 인식 범위(101)에서 검출되는 경우, 프로세서(520)는 제1 디스플레이(260)의 제1 디스플레이 영역(260c)을 통해 컨텐트를 출력할 수 있다. 만일 도 6d의 (b)에 도시된 바와 같이, 전자 장치(101)가 제2 인식 범위(620)에서 검출되는 경우, 프로세서(520)는 제1 디스플레이(260)의 제2 디스플레이 영역(260d)을 통해 컨텐트를 출력할 수 있다.
이와 같이 전자 장치(101)를 기준으로 외부 전자 장치(102)가 있는 방향에 대응하여 디스플레이를 다양한 방식으로 제어할 수 있으며, 이에 대해서는 도 8 내지 도 16에서 상세하게 후술하기로 한다.
메모리(530)는, 실행 시에, 프로세서(520)가 각종 동작들을 수행하도록 제어하는 인스트럭션들을 저장할 수 있다. 일 실시 예에 따르면, 상기 메모리(530)는, 디스플레이(560), 센서(576), 통신 모듈(590) 및 상기 프로세서(520)에 작동적으로 연결되고, 상기 제1 디스플레이(260)가 부분적으로 접힌 상태에서, 상기 제1 디스플레이(260)를 통해 컨텐트를 출력하고, 상기 컨텐트를 출력하는 중에 상기 전자 장치(101)를 기준으로 상기 외부 전자 장치(102)의 방향을 식별하고, 상기 외부 전자 장치(102)의 방향이 제1 방향 범위에 대응하는 경우, 상기 제1 디스플레이(260)를 통한 상기 컨텐트를 출력하는 것(또는 상기 컨텐트의 출력을 지속하고)을 유지하고, 상기 외부 전자 장치(102)의 방향이 제2 방향 범위에 대응하는 경우, 상기 제2 디스플레이(261)를 통해 상기 컨텐트를 출력하도록 제어하는 인스트럭션들을 저장할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는, 제1 디스플레이(260), 상기 제1 디스플레이와 반대되는 방향에 배치되는 제2 디스플레이(261), 메모리(130, 530) 및 적어도 하나의 프로세서(120, 520)를 포함할 수 있다. 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 전자 장치가 제1 디스플레이를 통해 컨텐트를 출력하도록 하는 인스트럭션들을 저장할 수 있다. 상기 인스트럭션들은, 상기 전자 장치가, 상기 컨텐트를출력하는 중에 상기 전자 장치를 기준으로 근거리 통신 방식을 통해 상기 전자 장치에 연결된 상기 외부 전자 장치의 방향을 식별하도록 설정될 수 있다. 상기 인스트럭션들은, 상기 전자 장치가, 상기 외부 전자 장치의 방향이 제1 방향 범위에 있음을 식별함에 대응하여, 상기 제1 디스플레이를 통한 상기 컨텐트를 출력하는 것을 유지하도록 설정될 수 있다. 상기 인스트럭션들은, 상기 전자 장치가, 상기 외부 전자 장치의 방향이 제2 방향 범위에 있음을 식별함에 대응하여, 상기 제2 디스플레이를 통해 상기 컨텐트를 출력하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 제1 디스플레이가 부분적으로 접힘에 따라 상기 제1 디스플레이는 폴딩축을 사이에 두고 제1 디스플레이 영역 및 제2 디스플레이 영역으로 구분되며, 상기 제1 방향 범위는, 상기 제1 디스플레이 영역을 기준으로 전면 방향 범위 이내이며, 상기 제2 방향 범위는 상기 전면 방향 범위의 반대되는 후면 방향 범위 이내일 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 제1 디스플레이를 통한 상기 컨텐트의 출력을 유지하는 동안에 상기 외부 전자 장치의 방향이 상기 제1 방향 범위를 벗어남을 식별함에 대응하여, 상기 외부 전자 장치의 방향이 상기 제2 방향 범위 내에 있는지를 식별하고, 상기 외부 전자 장치의 방향이 상기 제2 방향 범위에 있음을 식별함에 대응하여, 상기 제2 디스플레이를 통해 상기 컨텐트를 출력하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 제1 디스플레이를 통한 상기 컨텐트의 출력을 유지하는 동안에 상기 외부 전자 장치의 방향이 상기 제1 방향 범위를 벗어나는지를 식별하고, 상기 외부 전자 장치의 방향이 상기 제1 방향 범위를 벗어남을 식별함에 대응하여, 상기 제1 디스플레이의 밝기를 낮추도록 설정될 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 외부 전자 장치의 방향이 상기 제1 방향 범위를 벗어나고, 상기 제2 방향 범위를 벗어남을 식별함에 대응하여, 상기 제1 디스플레이를 통한 상기 컨텐트를 출력하는 것을 유지하는 동안에 상기 외부 전자 장치가 상기 출력 중인 컨텐트에 대한 가이드 정보를 출력하도록 제어하고, 상기 가이드 정보는, 상기 출력 중인 컨텐트를 나타내는 자막, 상기 출력 중인 컨텐트의 재생 시간 정보, 또는 상기 출력 중인 컨텐트에 대한 재생 중지 여부 중 적어도 하나를 포함할 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 외부 전자 장치의 방향이 상기 제1 방향 범위를 벗어남을 식별함에 대응하여, 상기 전자 장치를 기준으로 상기 외부 전자 장치의 방향을 식별하고, 일정 시간 이후에 상기 식별된 상기 외부 전자 장치의 방향이 상기 제2 방향 범위 내에 있음을 식별함에 대응하여, 상기 제2 디스플레이를 통해 출력될 컨텐트의 재생 시점과 관련한 안내를 제공하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, UWB(ultra wide band) 통신 방식 또는 BLE(bluetooth low energy) 통신 방식 중 적어도 하나에 기반하여, 상기 전자 장치를 기준으로 상기 외부 전자 장치의 방향 및/또는 거리를 식별하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 외부 전자 장치와의 연결을 식별하고, 상기 연결된 외부 전자 장치가 사용자 신체의 일부에 착용되는지를 식별하고, 상기 착용 상태로 식별된 외부 전자 장치에 기반하여, 상기 전자 장치를 기준으로 상기 외부 전자 장치의 방향을 식별하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 전자 장치로부터 상기 외부 전자 장치의 거리가 일정 거리 이상이면, 상기 컨텐트를 미러링하기 위한 외부 디스플레이 장치를 식별하고, 상기 외부 디스플레이 장치의 식별에 대응하여, 상기 외부 디스플레이 장치를 통해 상기 컨텐트를 출력하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 제1 디스플레이가 부분적으로 접힘에 따라 상기 제1 디스플레이는 폴딩축을 사이에 두고 제1 디스플레이 영역 및 제2 디스플레이 영역으로 구분되며, 상기 인스트럭션들은, 상기 전자 장치가, 상기 전자 장치를 기준으로 상기 외부 전자 장치의 고도를 식별하고, 상기 제1 방향 범위에 있는 상기 외부 전자 장치의 방향과 상기 외부 전자 장치의 고도에 대응하여, 상기 컨텐트를 출력하기 위해 상기 제1 디스플레이의 제1 디스플레이 영역 및 제2 디스플레이 영역 중 적어도 하나를 결정하도록 설정될 수 있다.
일 실시 예에 따르면, 전자 장치(101)는, 근거리 통신 회로, 디스플레이(260), UWB(ultra wide band) 회로, 메모리(130, 530) 및 적어도 하나의 프로세서(120, 520)를 포함할 수 있다. 일 실시 예에 따르면, 상기 메모리는, 상기 적어도 하나의 프로세서에 의해 실행 시 상기 전자 장치가, 외부 전자 장치와 통신 링크를 성립하도록 상기 근거리 통신 회로를 제어하도록 하는 인스트럭션들을 저장할 수 있다. 일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 전자 장치와 연관된 상기 외부 전자 장치의 거리 및 방향과 관련된 정보를 획득하기 위해 레인징(ranging) 동작을 수행하도록 상기 UWB 회로를 제어하도록 설정될 수 있다. 일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 외부 전자 장치가 상기 UWB 회로의 레인징 거리 내에 있는 동안에, 지정된 방향 범위 내에 있는 상기 외부 전자 장치의 방향에 기반한 제1 동작을 수행하도록 상기 디스플레이를 제어하도록 설정될 수 있다. 일 실시 예에 따르면, 상기 인스트럭션들은, 상기 전자 장치가, 상기 외부 전자 장치가 상기 UWB 회로의 레인징 거리 내에 있는 동안에, 상기 지정된 방향 범위를 벗어난 상기 외부 전자 장치의 방향에 기반한 제2 동작을 수행하도록 상기 디스플레이를 제어하도록 설정될 수 있다.
도 7은 일 실시 예에 따른 전자 장치에서의 동작 흐름도이다. 도 7을 참조하면, 동작 방법은 705 동작 내지 720 동작을 포함할 수 있다. 도 7의 동작 방법의 각 동작은, 전자 장치(예: 도 1 내지 도 6b의 전자 장치(101), 전자 장치의 적어도 하나의 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(520)) 중 적어도 하나)에 의해 수행될 수 있다. 일 실시 예에서, 705 동작 내지 720 동작 중 적어도 하나가 생략되거나, 일부 동작들의 순서가 바뀌거나, 다른 동작이 추가될 수 있다.
705 동작에서, 전자 장치(101)는 상기 전자 장치의 제1 디스플레이(260)를 통해 컨텐트를 출력할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 상기 제1 디스플레이(260)를 통해 어플리케이션의 실행 화면을 표시할 수 있다. 예를 들어, 어플리케이션은 동영상 재생 어플리케이션을 포함할 수 있으며, 이에 한정되지 않는다.
710 동작에서, 전자 장치(101)는 상기 컨텐트를 출력하는 중에 전자 장치(101)를 기준으로 근거리 통신 방식을 통해 상기 전자 장치에 연결된 상기 외부 전자 장치(102)의 방향을 식별할 수 있다. 일 실시 예에 따르면, 전자 장치(101)는 상기 외부 전자 장치(102)와의 연결을 식별하고, 상기 연결된 외부 전자 장치(102)가 사용자 신체의 일부에 착용되는지를 식별할 수 있다. 전자 장치(101)는 상기 착용 상태로 식별된 외부 전자 장치(102)에 기반하여, 상기 전자 장치(101)를 기준으로 상기 외부 전자 장치(102)의 방향을 식별할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 UWB 통신 방식 또는 BLE 통신 방식 중 적어도 하나에 기반하여, 상기 전자 장치(101)를 기준으로 상기 외부 전자 장치(102)의 방향 및/또는 거리를 식별할 수 있다.
715 동작에서, 전자 장치(101)는 상기 외부 전자 장치(102)의 방향이 제1 방향 범위에 있음을 식별함에 대응하여, 상기 제1 디스플레이(260)를 통한 상기 컨텐트를 출력하는 것을 유지할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(102)를 착용한 사용자가 제1 방향 범위(예: 도 6a 및 도 6b의 제1 인식 범위(610))에 위치한다고 판단되면, 상기 제1 디스플레이(260)의 적어도 일부 디스플레이 영역을 통한 컨텐트를 지속적으로 출력할 수 있다. 여기서, 제1 디스플레이 영역(260a)(또는 상단 디스플레이 영역)을 통해서는 컨텐트 재생 화면이 표시될 수 있으며, 제2 디스플레이 영역(260b)(또는 하단 디스플레이 영역)을 통해서는 컨텐트 재생과 관련한 제어 화면이 표시될 수 있다.
720 동작에서, 전자 장치(101)는 상기 외부 전자 장치(102)의 방향이 제2 방향 범위 내에 있음을 식별함에 대응하여, 제1 디스플레이(260)와 반대 방향에 배치되는 제2 디스플레이(261)를 통해 상기 컨텐트를 출력할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(102)를 착용한 사용자가 제2 방향 범위(예: 도 6a 및 도 6b의 제2 인식 범위(620))에 위치한다고 판단되면, 제1 디스플레이(260)를 통해 출력 중이던 컨텐트를 제2 디스플레이(261)로 변경하여 출력할 수 있다. 따라서, 제2 디스플레이(261)의 적어도 일부 영역을 통해 상기 컨텐트재생 화면이 표시될 수 있다.
일 실시 예에 따르면, 제1 디스플레이(260)와 제2 디스플레이(261)의 화면 비는 서로 다를 수 있다. 따라서 전자 장치(101)는 재생 컨텐트의 화면 비(예: 가로 세로 비율)를 사용자 이동에 따라 제1 디스플레이(260) 또는 제2 디스플레이(261)로 출력 시, 출력 대상에 해당하는 디스플레이의 화면 비에 대응하도록 변경(또는 최적화)하여 표시할 수 있다.
일 실시 예에 따르면, 상기 제1 디스플레이가 부분적으로 접힘에 따라 상기 제1 디스플레이는 폴딩축을 사이에 두고 제1 디스플레이 영역 및 제2 디스플레이 영역으로 구분되며, 상기 제1 방향 범위는, 상기 제1 디스플레이 영역을 기준으로 전면 방향 범위 이내이며, 상기 제2 방향 범위는 상기 전면 방향 범위의 반대되는 후면 방향 범위 이내일 수 있다.
일 실시 예에 따라, 전자 장치(101)는 전자 장치(101)를 기준으로 상기 외부 전자 장치(102)의 위치와 상기 외부 전자 장치(102)의 방향을 이용하여 인식 범위(예: 제1 인식 범위(610), 제2 인식 범위(620))를 식별할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 상기 외부 전자 장치(102)의 위치를 이용하여 인식 범위(예: 제1 인식 범위(610), 제2 인식 범위(620))를 식별할 수 있다. 일 실시 예에 따라, 전자 장치(101)는 전자 장치(101)를 기준으로 상기 외부 전자 장치(102)의 방향을 이용하여 인식 범위(예: 제1 인식 범위(610), 제2 인식 범위(620))를 식별할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 상기 제1 디스플레이(260)를 통한 상기 컨텐트를 출력하는 것을 유지하는 동안에 상기 외부 전자 장치(102)의 방향이 상기 제1 방향 범위를 벗어나는 경우, 상기 외부 전자 장치(102)의 방향이 상기 제2 방향 범위에 있는지를 식별할 수 있다. 예를 들어, 도 6a에 도시된 바와 같이 사용자의 신체 일부에 착용된 외부 전자 장치(102)가 상기 제1 방향 범위(예: 제1 인식 범위(610))를 벗어나는 경우 상기 제2 방향 범위(예: 제2 인식 범위(620))에서 검출되는지를 식별할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 상기 제1 디스플레이(260)를 통한 상기 컨텐트의 출력을 유지하는 동안에 상기 외부 전자 장치(102)의 방향이 상기 제1 방향 범위를 벗어나는지를 식별하여, 상기 제1 방향 범위를 벗어나는 경우, 상기 제1 디스플레이(260)의 밝기를 낮출 수 있다. 예를 들어, 상기 제1 방향 범위를 벗어나는 경우 사용자가 더 이상 제1 디스플레이(260)를 향하여 바라보고 있지 않다고 간주하여, 전자 장치(101)는 배터리 절약을 위해 상기 제1 디스플레이(260)의 밝기를 낮출 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 상기 외부 전자 장치의 방향이 제2 방향 범위 내에 있음을 식별함에 대응하여, 상기 제2 디스플레이(261)를 통해 상기 컨텐트를 출력할 수 있다. 예를 들어, 전자 장치(101)는 상기 제1 디스플레이(260)를 통해 출력 중이던 컨텐트를 상기 제2 디스플레이(261) 상에 출력할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 상기 외부 전자 장치(102)의 방향이 상기 제1 방향 범위를 벗어나고, 상기 제2 방향 범위를 벗어남을 식별함에 대응하여, 상기 제1 디스플레이(260)를 통한 상기 컨텐트의 출력을 유지하는 동안에 상기 외부 전자 장치(102)가 상기 출력 중인 컨텐트에 대한 가이드 정보를 출력하도록 제어할 수 있다.
일 실시 예에 따라, 상기 가이드 정보는, 상기 출력 중인 컨텐트를 나타내는 자막, 상기 출력 중인 컨텐트의 재생 시간 정보, 또는 상기 출력 중인 컨텐트에 대한 재생 중지 여부(도 6b를 참조) 중 적어도 하나를 포함할 수 있다.
예를 들어, 전자 장치(101)는 상기 외부 전자 장치(102)의 방향이 상기 제1 방향 범위를 벗어난 상태에서는 배터리 절약을 위해 상기 제1 디스플레이(260)의 밝기를 낮추더라도 출력 중인 컨텐트에 대한 음향은 지속적으로 출력할 수 있다. 또한, 자막을 포함하는 컨텐트을 출력 중인 상태에서는 상기 외부 전자 장치(102)로 상기 출력 중인 컨텐트에 대한 가이드 정보(예: 자막 정보)를 전달할 수 있다. 이에 따라 외부 전자 장치(102)에서는 전자 장치(101)에서 출력 중인 컨텐트에 대한 가이드 정보를 화면을 통해 출력(또는 표시)하거나 음성 형태로 출력함으로써 사용자는 제1 디스플레이(260)를 바라보고 있지 않더라도 컨텐트를 확인할 수 있다. 또한, 상기 가이드 정보를 수신함에 따라 외부 전자 장치(102)는 상기 출력 중인 컨텐트의 재생 시간 정보를 표시할 수 있다. 따라서 사용자는 제1 디스플레이(260)를 바라보고 있지 않더라도 재생 속도를 비롯하여 현재 전체 재생 시간 중에 어느 부분까지 재생이 되고 있는 것인지를 확인할 수 있다. 또한, 상기 외부 전자 장치(102)의 방향이 상기 제1 방향 범위를 벗어나고, 상기 제2 방향 범위에 대응하지 않는 경우는 사용자가 컨텐트를 볼 수 없는 상태라고 간주하여, 전자 장치(101)로부터의 가이드 정보의 수신에 기반하여, 외부 전자 장치(102)는 상기 출력 중인 컨텐트에 대한 재생 중지 여부를 선택할 수 있는 항목들을 표시할 수 있다(도 6b 참조).
일 실시 예에 따르면, 전자 장치(101)는 상기 외부 전자 장치(102)의 방향이 상기 제1 방향 범위를 벗어나면, 상기 전자 장치(101)를 기준으로 상기 외부 전자 장치(102)의 방향을 식별할 수 있으며, 일정 시간 이후에 상기 식별된 상기 외부 전자 장치(102)의 방향이 상기 제2 방향 범위에 있는 경우, 상기 제2 디스플레이(261)를 통해 출력될 컨텐트의 재생 시점과 관련한 안내를 제공할 수 있다.
예를 들어, 전자 장치(101)는 상기 외부 전자 장치(102)의 방향이 상기 제1 방향 범위를 벗어난 상태에서 일정 시간(예: 3초)이 경과한 후에는 배터리 절약을 위해 상기 제1 디스플레이(260)의 밝기를 낮출 수 있으며, 상기 외부 전자 장치(102) 상에 출력 중인 컨텐트에 대한 가이드 정보(예: 동영상의 현재 재생된 부분에 해당하는 자막 정보)를 전달할 수 있다. 만일 일정 시간(예: 30초)이 경과한 후에 상기 외부 전자 장치(102)가 상기 제2 방향 범위에서 검출되는 경우, 전자 장치(101)는 상기 제1 디스플레이(260)를 통해 출력 중이던 컨텐트를 상기 전자 장치(101)의 상기 제2 디스플레이(261)로 변경하여 출력할 수 있다. 또한, 상기 일정 시간이 경과한 후에 상기 외부 전자 장치(102)가 상기 제1 방향 범위에서 다시 검출되는 경우, 전자 장치(101)는 상기 제1 디스플레이(260)의 밝기를 이전 밝기로 변경할 수 있다. 또한 다른 실시 예에서, 전자 장치(101)는 상기 제1 디스플레이(260)를 통한 컨텐트를 사용자가 전면(210a)에 대면하는 전방 범위로부터 후면(220a)에 대면하는 후방 범위로 이동함으로 인해 보지 못한 상태임을 고려하여, 상기 제2 디스플레이(261)를 통해 출력될 컨텐트의 재생 시점과 관련한 안내를 제공할 수 있다. 예를 들어, 전자 장치(101)는 제1 디스플레이(260)에 표시된 컨텐트 중 제1 방향 범위를 벗어나는 부분부터 사용자가 제2 디스플레이(261)를 통해 다시 컨텐트를 볼 수 있도록 사용자에게 상기 제1 방향 범위를 벗어난 시점부터 다시 컨텐트를 확인(또는 시청)할 수 있는 기능을 제공할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 상기 컨텐트를 출력하는 중에 지속적으로 또는 주기적으로 상기 전자 장치(101)를 기준으로 상기 외부 전자 장치(102)의 방향 및/또는 거리를 식별할 수 있다. 예를 들어, 전자 장치(101)는 상기 전자 장치(101)를 기준으로 상기 외부 전자 장치(102)의 거리가 일정 거리 이상 되는지를 식별할 수 있다. 만일 전자 장치(101)는 상기 전자 장치(101)로부터 상기 외부 전자 장치(102)의 거리가 일정 거리 이상이면, 상기 컨텐트를 외부 디스플레이 장치(104)로 미러링하기 위해 사용자가 착용한 외부 전자 장치(102)에 인접한 외부 디스플레이 장치(예: 도 1의 104)를 식별할 수 있다. 전자 장치(101)는 상기 외부 디스플레이 장치(104)의 식별에 대응하여, 외부 전자 장치(102)와 전자 장치(101) 사이의 거리가 일정 거리만큼 멀어지면 사용자가 전자 장치(101)에 표시된 컨텐트의 일부를 외부 디스플레이 장치(104)를 통해 다시 볼 수 있도록 하기 위해 상기 외부 디스플레이 장치(104)를 통해 상기 컨텐트를 출력하도록 제어할 수 있다.
도 8은 일 실시 예에 따른 외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 전자 장치에서의 동작 흐름도이다. 도 8을 참조하면, 동작 방법은 805 동작 내지 850 동작을 포함할 수 있다. 도 8의 동작 방법의 각 동작은, 전자 장치(예: 도 1 내지 도 6b의 전자 장치(101), 전자 장치의 적어도 하나의 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(520)) 중 적어도 하나)에 의해 수행될 수 있다. 일 실시 예에서, 805 동작 내지 850 동작 중 적어도 하나가 생략되거나, 일부 동작들의 순서가 바뀌거나, 다른 동작이 추가될 수 있다.
도 8의 설명의 이해를 돕기 위해 도 9a 및 도 9b를 참조할 수 있다. 도 9a는 일 실시 예에 따른 외부 전자 장치가 전자 장치의 후면 방향 범위로 이동 시의 디스플레이 변경을 나타낸 예시도이며, 도 9b는 일 실시 예에 따른 외부 전자 장치가 전자 장치의 전면 방향 범위로 이동 시의 디스플레이 변경을 나타낸 예시도이다.
805 동작에서, 전자 장치(101)는 플렉스 모드에서 동영상 어플리케이션을 재생할 수 있다. 플렉스 모드는 디스플레이가 부분적으로 접힌 상태를 의미할 수 있다. 예를 들어, 내부 디스플레이(예: 제1 디스플레이(260))의 일부가 부분적으로 접힌 상태(예: 플렉스 모드)에서 동영상 어플리케이션 실행 시, 전자 장치(101)는 내부 디스플레이의 일부 디스플레이 영역(예: 상단 디스플레이 영역(260a))을 통해 동영상을 재생할 수 있다. 일 실시 예에서, 전자 장치(101)는 복수의 디스플레이 중 전자 장치(101)를 기준으로 한 사용자의 방향에 대응하는 디스플레이를 통해 동영상을 재생할 수 있는 기능을 제공할 수 있다. 사용자 방향을 식별하기 위한 용도로 외부 전자 장치(102)가 이용될 수 있으며, 외부 전자 장치(102)는 사용자의 신체 일부에 착용 가능한 웨어러블 전자 장치일 수 있다.
810 동작에서, 전자 장치(101)는, 전자 장치(101)가 착용 중인 외부 전자 장치(102)와 연결된(예: 통신을 위해 무선으로 연결된) 상태인지를 식별할 수 있다. 815 동작에서, 전자 장치(101)는 착용 중인 외부 전자 장치(102)와 연결된 상태임을 식별함에 대응하여, 전자 장치(101)(예: 플렉스 모드에서의 전자 장치(101)의 전면 방향 범위)를 기준으로 외부 전자 장치(102)가 위치하는 방향을 식별할 수 있다.
820 동작에서, 전자 장치(101)는 외부 전자 장치(102)가 전자 장치(101)의 전면 방향 범위 또는 후면 방향 범위에 위치하는지를 식별할 수 있다.
전자 장치(101)의 전면 방향 범위에 위치하는 외부 전자 장치(102)에 대응하여, 825 동작에서, 전자 장치(101)는 외부 디스플레이(예: 제2 디스플레이(261))를 통해 동영상을 재생 중인지를 판단할 수 있다. 만일 외부 디스플레이를 통해 재생 중이 아닌 경우 830 동작에서, 전자 장치(101)는 내부 디스플레이를 통한 동영상 재생을 유지할 수 있다. 반면, 외부 디스플레이를 통해 재생 중인 경우에는 835 동작에서, 전자 장치(101)는 전면 방향 범위에 위치한 외부 전자 장치(102)에 따라 내부 디스플레이로 동영상을 재생하도록 디스플레이를 변경할 수 있다. 일 실시 예에 따르면, 내부 디스플레이(예: 제1 디스플레이(260))로 변경하여 동영상을 재생하는 경우, 실행하는 어플리케이션에 따라 내부 디스플레이의 상단 또는 하단 디스플레이 영역 중 어느 영역을 통해 동영상을 재생할 것인지에 대해서는 실행 중인 어플리케이션 또는 사용자 선택에 따라 결정될 수 있다.
한편, 전자 장치(101)의 후면 방향 범위에 위치하는 외부 전자 장치(102)에 대응하여, 840 동작에서, 전자 장치(101)는 내부 디스플레이를 통해 동영상을 재생 중인지를 판단할 수 있다. 만일 내부 디스플레이를 통해 재생 중이 아닌 경우 845 동작에서, 전자 장치(101)는 외부 디스플레이(예: 제2 디스플레이(261))를 통한 동영상 재생을 유지할 수 있다. 반면, 내부 디스플레이를 통해 재생 중인 경우에는 850 동작에서, 전자 장치(101)는 후면 방향에 위치한 외부 전자 장치(102)에 따라 외부 디스플레이로 동영상을 재생하도록 디스플레이를 변경할 수 있다. 일 실시 예에 따르면, 820 동작 내지 850 동작은 동영상 어플리케이션을 통한 동영상 재생이 종료되지 않는 한 반복적으로 수행될 수 있으며, 외부 전자 장치(102)의 방향에 따라 전자 장치(101) 상에서 동영상을 재생하기 위한 디스플레이를 변경하는 동작과 관련한 820 동작 내지 850 동작을 'A'동작으로서 지칭할 수 있다.
도 9a를 참조하면, 전자 장치(101)는 온 상태의 내부 디스플레이를 통해 동영상을 재생하는 동안에, 900a에 도시된 바와 같이 사용자 신체에 착용 중인 외부 전자 장치(102)는 사용자의 이동으로 인해 전자 장치(101)의 후면 방향 범위로 이동(910)할 수 있다. 전자 장치(101)의 후면 방향 범위에서 외부 전자 장치(102)가 검출되는 경우, 900b에 도시된 바와 같이 내부 디스플레이를 통한 동영상 재생을 중지한 후, 외부 디스플레이를 온 하여 외부 디스플레이를 통한 동영상 재생을 수행할 수 있다. 이와 같이 외부 전자 장치(102)와 전자 장치(101)가 마주보는 방향에 대응하도록 동영상 재생을 위한 디스플레이가 결정될 수 있으며, 전자 장치(101)는 900b에 도시된 바와 같이 예컨대, 내부 디스플레이를 외부 디스플레이로 변경하여 변경된 외부 디스플레이를 통한 동영상 재생을 이어할 수 있다.
도 9b를 참조하면, 900c에 도시된 바와 같이 온 상태의 외부 디스플레이를 통해 동영상을 재생하는 동안에, 외부 전자 장치(102)는 사용자의 이동으로 인해 전자 장치(101)의 전면 방향 범위로 이동(920)할 수 있다. 전자 장치(101)는 전자 장치(101)를 기준으로 한 외부 전자 장치(102)의 이동 방향을 추적함으로써, 전자 장치(101)의 전면 방향 범위로 이동함을 식별할 수 있다. 만일 전자 장치(101)의 전면 방향 범위에서 외부 전자 장치(102)가 검출되는 경우, 900d에 도시된 바와 같이 외부 디스플레이를 통한 동영상 재생을 중지한 후, 내부 디스플레이를 온 하여 내부 디스플레이를 통한 동영상 재생을 수행할 수 있다.
일 실시 예에 따르면, 전자 장치(101)는 동영상을 재생하는 동안에 전자 장치(101)를 기준으로 한 외부 전자 장치(102)의 방향을 지속적으로 추적함으로써 이동 방향을 판단할 수 있다. 이와 같이 외부 전자 장치(102)를 착용한 사용자 위치에 따라 동영상을 제공할 디스플레이를 변경하여 동영상을 제공함으로써, 사용자 입장에서는 별도의 조작 없이도 여러 방향에서 디스플레이를 통한 동영상을 확인할 수 있다.
도 9c는 일 실시 예에 따른 다른 타입의 외부 전자 장치의 이동 시의 디스플레이 변경을 나타낸 예시도이다.
도 9c를 참조하면, 둘 이상의 외부 전자 장치(102, 102b)를 기준으로 디스플레이를 제어할 수도 있다. 예를 들어, 사용자가 웨어러블 와치(102)와 헤드 마운티드 디스플레이(102b)를 포함하는 복수의 외부 전자 장치를 착용한 상태일 수 있다. 또한, 외부 전자 장치는 사용자의 인체에 착용 가능하도록 구성된 기기 예컨대, 헤드 마운티드 디스플레이(102b) 이외에 안경형의 AR 글라스 장치를 포함할 수 있다. 이에 한정되지 않고, 외부 전자 장치는 사용자의 인체에 착용할 수 있는 다양한 형태로 구현될 수 있다. 예를 들어, 외부 전자 장치는, 사용자의 손가락에 끼워질 수 있는 반지형 웨어러블 기기(예: 스마트 링)를 포함할 수 있다.
일 실시 예에서, 헤드 마운티드 디스플레이와 같은 외부 전자 장치(102b)의 경우에는, 카메라(예: ToF 카메라, eye tracking camera)를 포함하고 있기 때문에, 전자 장치(101)와의 거리 정보를 파악할 수 있을 뿐만 아니라, 사용자의 시선 추적도 가능할 수 있다.
도 9c의 (a)에 도시된 바와 같이, 전자 장치(101)의 전면 범위에 위치하는 외부 전자 장치(102, 102b)에 대응하여, 전자 장치(101)는 내부 디스플레이를 통해 동영상을 재생할 수 있다.
도 9c의 (b)에 도시된 바와 같이, 전자 장치(101)의 후면 방향 범위에 위치하는 외부 전자 장치(102, 102b)에 대응하여, 전자 장치(101)는 외부 디스플레이를 통해 동영상 재생을 유지할 수 있다.
도 10은 일 실시 예에 따른 전자 장치의 측면 방향에 위치하는 외부 전자 장치에 대응하여 디스플레이를 제어하기 위한 전자 장치에서의 동작 흐름도이다. 도 10을 참조하면, 동작 방법은 1005 동작 내지 1045 동작을 포함할 수 있다. 도 10의 동작 방법의 각 동작은, 전자 장치(예: 도 1 내지 도 6b의 전자 장치(101), 전자 장치의 적어도 하나의 프로세서(예: 도 1의 프로세서(120) 또는 도 2의 프로세서(520)) 중 적어도 하나)에 의해 수행될 수 있다. 일 실시 예에서, 1005 동작 내지 1045 동작 중 적어도 하나가 생략되거나, 일부 동작들의 순서가 바뀌거나, 다른 동작이 추가될 수 있다.
도 10의 설명의 이해를 돕기 위해 도 11a 및 도 11b를 참조할 수 있다. 도 11a는 일 실시 예에 따른 외부 전자 장치가 전자 장치의 측면 방향으로 이동 시의 디스플레이 변경을 나타낸 예시도이며, 도 11b는 일 실시 예에 따른 외부 전자 장치가 전자 장치의 측면 방향에서 전면 방향으로 이동 시의 디스플레이 변경을 나타낸 예시도이다. 여기서, "측면 범위"(또는 블라인드 영역이라고도 함)는 전자 장치(101)의 제1 면(210a) 및 제2 면(220a)을 향하지 않는 범위를 의미한다. 즉, 측면 범위는 전면 범위(610) 및 제2 범위(620)를 제외한 전자 장치(101)에 가까운 범위이다.
1005 동작 내지 1015 동작은 도 8의 805 동작 내지 815 동작과 동일하므로, 그 구체적인 설명은 생략하기로 한다.
1020 동작에서, 전자 장치(101)는 외부 전자 장치(102)가 전자 장치(101)의 측면 범위에 위치하는지를 식별할 수 있다. 예를 들어, 전자 장치(101)는 외부 전자 장치(102)의 방향이 전자 장치(101)를 기준으로 전자 장치(101)의 제1 디스플레이(260)의 상측 디스플레이 영역(260a)을 기준으로 한 제1 인식 범위(예: 도 6a 및 도 6b의 610)에 대응되는 제1 범위 및/또는 제2 인식 범위(예: 도 6a 및 도 6b의 620)에 대응되는 제2 범위를 벗어나면, 전자 장치(101)의 측면 범위에 위치하는 것으로 식별할 수 있다. 일 실시 예에 따라, 외부 전자 장치(102)를 착용한 사용자의 이동에 따라 제1 인식 범위 및/또는 제2 인식 범위를 벗어난 범위(예: 측면 범위) 내에 외부 전자 장치(102)가 위치한 경우에는, 사용자 입장에서 디스플레이를 바라보더라도 화면 내용을 확인하지 못할 수 있다.
전자 장치(101)의 측면 범위에서 외부 전자 장치(102)가 검출되는 경우, 1025 동작에서, 전자 장치(101)는 동영상 재생 중인 내부 디스플레이의 밝기를 낮출 수 있다. 또한, 1030 동작에서, 전자 장치(101)는 외부 전자 장치(102)를 통해 재생 정보(예: 자막)를 출력하도록 제어할 수 있다. 일 실시 예에 따르면, 전자 장치(101)의 측면 범위에서 외부 전자 장치(102)가 검출되는 경우, 1025 동작 또는 1030 동작 중 어느 하나의 동작만 수행하도록 구현될 수 있다. 즉, 1025 동작 또는 1030 동작 중 어느 하나의 동작은 생략 가능할 수 있다.
이후, 외부 전자 장치(102)의 방향에 대응하여 전자 장치(101) 상에서 동영상을 재생할 디스플레이를 변경하는 동작과 관련한 'A'동작을 수행할 수 있으며, 'A' 동작은 도 8의 820 동작 내지 850 동작과 동일하므로, 그 구체적인 설명은 생략하기로 한다.
외부 전자 장치(102)의 방향에 대응하여 외부 디스플레이 또는 내부 디스플레이를 통해 동영상이 재생 중인 동안에, 1035 동작에서, 전자 장치(101)는 외부 전자 장치(102)가 측면 범위에서 일정 시간 위치하였는지를 식별할 수 있다. 만일 일정 시간 위치한 경우에는, 1040 동작에서 외부 전자 장치(102)를 통해 미시청 부분(예: 외부 전자 장치(102)가 전방 범위(610) 또는 후방 범위(620)를 벗어나는 경우에 재생되는 동영상 일부)부터 재생할 것인지를 질의하는 메시지를 출력할 수 있다. 만일 외부 전자 장치(102)가 측면 범위에서 일정 시간 위치하지 않는 경우에는 1045 동작에서 동영상 재생이 종료되는지를 식별할 수 있다. 따라서 동영상 재생이 종료되지 않는 한 전자 장치(101)는 전술한 동작을 반복 수행할 수 있다.
예를 들어, 도 11a를 참조하면, 전자 장치(101)는 외부 전자 장치(102)의 방향 변경(또는 이동 방향)을 지속적으로 추적할 수 있다. 전자 장치(101)는 온 상태의 내부 디스플레이를 통해 동영상을 재생하는 동안에, 1100a에 도시된 바와 같이 사용자 신체에 착용 중인 외부 전자 장치(102)는 사용자의 이동으로 인해 전자 장치(101)의 측면 범위로 이동할 수 있다. 전자 장치(101)의 측면 범위에서 외부 전자 장치(102)가 검출되는 경우, 1100b에 도시된 바와 같이 동영상 재생 중인 내부 디스플레이의 밝기를 낮출 수 있다. 또한, 일 실시 예에 따르면 전자 장치(101)는 외부 전자 장치(102)로 하여금 동영상 재생과 관련한 정보(예: 자막 정보)를 출력하도록 동영상 재생과 관련한 정보를 외부 전자 장치(102)로 제공할 수도 있다.
도 11b를 참조하면, 1100c에 도시된 바와 같이 외부 전자 장치(102)는 전자 장치(101)의 측면 범위에 위치하는 상태에서 사용자의 이동으로 인해 전자 장치(101)의 후면 범위으로 이동할 수 있다. 전자 장치(101)가 측면 범위에 일정 시간 이상(예: 3초 이상) 위치하는 동안에는 내부 디스플레이의 밝기는 배터리 절약을 위해 낮춰질 수 있다. 사용자의 이동으로 인해 전자 장치(101)의 후면 범위에서 외부 전자 장치(102)가 검출되는 경우, 1100d에 도시된 바와 같이 전자 장치(101)는 내부 디스플레이를 오프하고, 외부 디스플레이(예: 제2 디스플레이(261))를 통해 동영상을 재생할 수 있다.
전자 장치(101)의 측면 범위에 위치하다가 후면 범위(또는 전면 범위)에서 외부 전자 장치(102)가 검출되는 경우, 사용자가 측면 범위에 머무름으로 인해 동영상을 미처 시청하지 못한 상황일 수 있다. 일 실시 예에서는, 사용자 선택에 따라 전자 장치(101)는 미시청 부분부터 동영상을 재생할 수 있는 기능을 제공할 수 있다. 예를 들어, 1100d에 도시된 바와 같이 전자 장치(101)는 사용자에게 제1 방향 범위(예: 도 6a 및 도 6b의 제1 인식 범위(610))를 벗어난 시점부터 다시 동영상을 확인(또는 시청)할 수 있는 기능을 제공할 수 있는데, 이러한 기능에 대한 사용자 선택은 외부 전자 장치(102)를 통해 획득할 수 있다. 만일 사용자가 외부 전자 장치(102)의 디스플레이 상에 팝업되는 메뉴를 선택하지 않는 경우에는, 지정된 시간(예: 10초) 이후에는 자동으로 팝업이 제거될 수 있다.
도 12는 일 실시 예에 따른 미러링을 위한 전자 장치, 외부 전자 장치 및 외부 디스플레이 장치 간의 신호 흐름도이다. 일 실시 예에서, 1205 동작 내지 1260 동작 중 적어도 하나가 생략되거나, 일부 동작들의 순서가 바뀌거나, 다른 동작이 추가될 수 있다.
도 12의 설명의 이해를 돕기 위해 도 13 및 도 14를 참조할 수 있다. 도 13은 일 실시 예에 따른 외부 전자 장치가 외부 디스플레이 장치 방향으로 이동 시의 디스플레이 변경을 나타낸 예시도이며, 도 14는 일 실시 예에 따른 외부 전자 장치가 외부 디스플레이 장치로부터 전자 장치의 방향으로 이동 시의 디스플레이 변경을 나타낸 예시도이다.
도 12에서의 1205 동작 및 1210 동작은 도 8의 805 동작 및 810 동작과 동일하므로, 그 구체적인 설명은 생략하기로 한다.
1215 동작에서, 전자 장치(101)는 외부 전자 장치(102)와의 거리를 식별할 수 있다. 예를 들어, 전자 장치(101)는 UWB 통신 방식 또는 BLE 통신 방식과 같은 무선 통신 방식에 기반하여 전자 장치(101)로부터 외부 전자 장치(102)까지의 거리를 식별할 수 있다.
1220 동작에서, 전자 장치(101)는 전자 장치(101)가 외부 전자 장치(102)로부터 제1 임계 거리(예: 3m) 이상 멀어진 상태를 식별할 수 있다. 만일 제1 임계 거리 이상 멀어진 상태일 경우, 1225 동작에서, 전자 장치(101)는 미러링 가능한 외부 디스플레이 장치(104)가 있는지를 식별할 수 있다. 반면, 제1 임계 거리 이상 멀어진 상태가 아닌 경우, 전자 장치(101)는 1230 동작을 수행할 수 있다.
미러링 가능한 외부 디스플레이 장치(104)가 있는 경우, 1235 동작에서, 외부 전자 장치(102)에서 외부 디스플레이 장치(104)와의 거리를 식별할 수 있다. 1240 동작에서, 외부 전자 장치(102)는 외부 디스플레이 장치(104)와의 거리에 기반하여, 외부 디스플레이 장치(104)가 제2 임계 거리(예: 2m)이내인지를 식별할 수 있다. 여기서, 제2 임계 거리는 제1 임계 거리보다 작으며, 제2 임계 거리가 작다는 것은 외부 전자 장치(102)가 전자 장치(101)가 아닌 외부 디스플레이 장치(104)와 가깝게 위치함을 의미할 수 있다. 만일 제2 임계 거리 이내가 아닌 경우, 미러링 가능한 외부 디스플레이 장치(104)가 외부 전자 장치(102)의 주위에 존재하더라도 전자 장치(101)보다 멀리 떨어진 상태임을 의미하기 때문에, 미러링을 수행하지 않을 수 있다.
반면, 외부 디스플레이 장치(104)가 제2 임계 거리 이내인 경우, 1245 동작에서, 외부 전자 장치(102)는 미러링 관련 팝업을 표시할 수 있다. 일 실시 예에 따르면, 외부 전자 장치(102)는 검색된 외부 디스플레이 장치(104)를 통해 재생 중인 동영상 화면을 미러링할 것인지에 대한 선택이 가능한 항목을 포함하는 팝업을 표시할 수 있다.
1250 동작에서, 외부 전자 장치(102)는 미러링이 수락되지는 식별할 수 있으며, 사용자 선택에 따라 미러링이 수락된 경우, 상기 수락은 외부 디스플레이 장치(104)로 알려질 수 있다. 이에 대응하여 외부 디스플레이 장치(104)는 1260 동작에서 미러링 화면을 표시할 수 있다.
도 13을 참조하면, 1300a에 도시된 바와 같이 외부 전자 장치(102)가 전자 장치(101)와의 거리가 제1 임계 거리 이상 멀어지고, 제2 임계 거리 이내에 미러링 가능한 외부 디스플레이 장치(104)가 검색될 수 있다. 이러한 경우, 1300b에 도시된 바와 같이 외부 전자 장치(102)에서는 외부 디스플레이 장치(104)로 미러링을 할 것인지를 질의하는 내용을 출력(예: 표시)할 수 있다. 만일 사용자가 미러링을 선택한 경우, 1300c에 도시된 바와 같이 동영상을 재생 중이던 전자 장치(101)의 디스플레이는 오프되고, 상기 동영상 재생에 따른 화면은 외부 디스플레이 장치(104)를 통해 출력될 수 있다. 이는 '미러링' 기능이다.
미러링 화면을 외부 디스플레이 장치(104) 상에 표시하는 동안에 외부 전자 장치(102)는 1235 동작에서 외부 전자 장치(102)로부터 외부 디스플레이 장치(104)와의 거리를 지속적으로 식별할 수 있다. 따라서 외부 디스플레이 장치(104)와의 거리가 제2 임계 거리 이상으로 멀어질 경우에는, 미러링이 중단될 수 있다.
따라서 전자 장치(101)는 1230 동작에서 외부 전자 장치(102)가 위치한 방향에 대응하는, 전자 장치(101)의 여러 디스플레이들(예: 제1 디스플레이(260) 및 제2 디스플레이(261)) 중의 디스플레이를 통해 동영상을 재생할 수 있다. 예를 들어, 전자 장치(101)는 미러링 가능한 외부 디스플레이 장치(104)가 주위에 없는 경우 또는 외부 전자 장치(102)가 미러링 중에 외부 디스플레이 장치(104)와 제2 임계 거리 이상 멀어지는 경우에 1230 동작을 수행할 수 있다.
도 14를 참조하면, 1400a에 도시된 바와 같이 전자 장치(101)로의 사용자의 이동 이후에 외부 전자 장치(102)가 외부 디스플레이 장치(104)와 제2 임계 거리 이상으로 멀어지고 전자 장치(101)로부터 외부 전자 장치(102)와의 거리가 제1 임계 거리 이내로 가까워지는 경우, 1400b에 도시된 바와 같이 외부 전자 장치(102)에서는 외부 디스플레이 장치(104)를 통한 미러링을 중지할 것인지를 질의하는 내용을 출력(예: 표시)할 수 있다. 만일 사용자가 미러링 중지를 선택한 경우, 외부 디스플레이 장치(104)를 통한 미러링은 중지되고, 1400c에 도시된 바와 같이 전자 장치(101)는 전자 장치(101)를 기준으로 외부 전자 장치(102)의 방향에 대응하는 디스플레이를 통해 동영상을 재생할 수 있다.
도 14의 1400c의 일 실시 예에서는 도 6a 및 도 6b에 도시된 바와 같이 외부 전자 장치(102)의 방향이 전자 장치(101)의 제1 인식 범위(610) 또는 제2 인식 범위(620)에 있는지를 식별하고, 식별된 방향에 대응하는 디스플레이로 변경하는 경우를 예로 들어 설명하였으나, 이에 한정되지 않을 수 있다. 예를 들어, UWB 통신 방식을 이용할 경우, 전자 장치(101)는 외부 전자 장치(102)의 방향 및/또는 거리 중 적어도 하나를 식별할 수 있을 뿐만 아니라 전자 장치(101)를 기준으로 외부 전자 장치(102)의 상하 이동도 식별할 수 있다.
도 15는 일 실시 예에 따른 외부 전자 장치가 전자 장치의 상하 방향으로 이동 시의 디스플레이 변경을 나타낸 예시도이다.
도 15에 도시된 바와 같이, 사용자의 신체에 착용된 외부 전자 장치(102)는 사용자의 움직임에 따라 상방향 또는 하방향으로 이동될 수 있으며, 전자 장치(101)는 UWB 방향 추적뿐만 아니라 UWB 고도 추적을 통해 상하 이동을 식별할 수 있다. 일 실시 예에 따르면, 외부 전자 장치(102)의 상/하 이동에 따라 제1 디스플레이(260)의 일부 접힘에 기반하여 구분되는 상단 디스플레이 영역(예: 제1 표시 영역(260a) 및 제2 표시 영역(260b)의 상부에 위치하는 표시 영역)과 하단 디스플레이 영역(예: 제1 표시 영역(260a) 및 제2 표시 영역(260b)의 하부에 위치하는 표시 영역) 간에 컨텐트를 재생하도록 디스플레이를 변경하는 것이 가능할 수 있다. 예를 들어, 제1 디스플레이(260)의 상단 디스플레이 영역 상에 컨텐트가 표시되는 상태에서, 외부 전자 장치(102)의 상방향 이동이 감지되는 경우, 전자 장치(101)는 하단 디스플레이 영역으로 상기 컨텐트가 재생되도록 디스플레이를 변경하여 상기 컨텐트를 하단 디스플레이 영역 상에 표시할 수 있다.
일 실시 예에 따라, 외부 전자 장치(102)의 상방향 또는 하방향으로 이동 시, 전자 장치(101)는 하단 디스플레이 영역으로부터 상단 디스플레이 영역으로, 또는 상단 디스플레이 영역으로부터 하단 디스플레이 영역으로 스위칭 하는 방식을 통해 컨텐트 표시를 제어할 수 있다.
도 15에 도시된 바와 같이, 하단 디스플레이 영역 상에 영상이 표시되는 상태는 사용자가 위에서 하단을 내려다보는 상태 즉, 웨어러블 워치(즉, 외부 전자 장치(102))가 상방향에 위치한 상태일 수 있다. 하단 디스플레이 영역 상에 컨텐트가 표시된 상태에서, 웨어러블 워치가 상부 위치에서 하부 위치로 이동이 감지되는 경우, 전자 장치(101)는 상단 디스플레이 영역으로 컨텐트를 재생하도록 디스플레이를 스위칭할 수 있다. 또한, 상단 디스플레이 영역 상에 컨텐트가 표시된 상태에서, 웨어러블 워치가 하부 위치에서 상부 위치로 이동이 감지된 경우, 전자 장치(101)는 하단 디스플레이 영역으로 컨텐트를 재생하도록 디스플레이를 스위칭할 수 있다. 일 실시 예에서, 상부 위치는 전자 장치(101)보다 높은 위치일 수 있고, 하부 위치는 전자 장치(101)와 실질적으로 동일한 높이의 위치일 수 있다. 다른 실시 예에서 상부 위치는 제2 표시 영역(260b)에 대한 법선 방향에 대한 미리 정해진 각도 범위 내의 위치이고, 하부 위치는 제1 표시 영역(260a)에 대한 법선 방향에 대해 미리 정해진 각도 범위 내의 위치일 수 있다.
도 16은 일 실시 예에 따른 외부 전자 장치와의 거리에 따른 디스플레이 변경을 나타낸 예시도이다.
도 16을 참조하면, 사용자는 설정 메뉴를 통해 전자 장치(101)로부터 외부 전자 장치(102)와의 거리에 따라 줌 인/줌 아웃을 제어하기 위한 기능을 설정해놓을 수 있다. 전자 장치(101)는 UWB 통신 방식에 따라 외부 전자 장치(102)와의 거리도 식별할 수 있다. 이와 같이 UWB AOA 측정 방식은 외부 전자 장치(102)에 대한 방향각, 고도각뿐만 아니라 거리 측정도 모두 가능할 수 있다. 예를 들어, 카메라 어플리케이션을 통해 촬영 시 전자 장치(101)는 외부 전자 장치(102)와의 거리를 식별할 수 있으며, 상기 외부 전자 장치(102)와의 거리에 따라 카메라 어플리케이션의 기능을 광각 촬영 기능 또는 망원 촬영 기능으로 변경할 수 있다. 또한, 전자 장치(101)는 건강 어플리케이션을 통해 운동 동영상을 표시하는 중에 외부 전자 장치(102)와의 거리를 식별할 수 있으며, 상기 외부 전자 장치(102)와의 거리에 따라 운동 동영상 내의 인물을 확대하거나 축소 표시할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
일 실시 예에 따르면, 명령들을 저장하고 있는 비휘발성 저장 매체에 있어서, 상기 명령들은 전자 장치(101)의 적어도 하나의 프로세서(120, 520)에 의하여 실행될 때에 상기 전자 장치로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은, 상기 전자 장치의 제1 디스플레이를 통해 컨텐트를 출력하는 동작, 상기 컨텐트를 출력하는 중에 상기 전자 장치를 기준으로 근거리 통신 방식을 통해 상기 전자 장치에 연결된 외부 전자 장치의 방향을 식별하는 동작, 상기 외부 전자 장치의 방향이 제1 방향 범위 내에 있음을 식별함에 대응하여, 상기 제1 디스플레이를 통한 상기 컨텐트를 출력하는 것을 유지하는 동작 및 상기 외부 전자 장치의 방향이 제2 방향 범위 내에 있음을 식별함에 대응하여, 상기 제1 디스플레이와 반대되는 방향에 배치되는 제2 디스플레이를 통해 상기 컨텐트를 출력하는 동작을 포함할 수 있다.

Claims (15)

  1. 전자 장치(101)에 있어서,
    제1 디스플레이(260);
    상기 제1 디스플레이와 반대되는 방향에 배치되는 제2 디스플레이(261);
    메모리(130, 530); 및
    적어도 하나의 프로세서(120, 520)를 포함하고,
    상기 메모리는, 상기 적어도 하나의 프로세서에 의해 실행 시, 상기 전자 장치가,
    상기 제1 디스플레이를 통해 컨텐트를 출력하고,
    상기 컨텐트를 출력하는 중에 상기 전자 장치를 기준으로 근거리 통신 방식을 통해 상기 전자 장치에 연결된 상기 외부 전자 장치의 방향을 식별하고,
    상기 외부 전자 장치의 방향이 제1 방향 범위에 있음을 식별함에 대응하여, 상기 제1 디스플레이를 통한 상기 컨텐트의 출력을 유지하고,
    상기 외부 전자 장치의 방향이 제2 방향 범위에 있음을 식별함에 대응하여, 상기 제2 디스플레이를 통해 상기 컨텐트를 출력하도록 하는 인스트럭션들을 저장하는, 전자 장치.
  2. 제1항에 있어서, 상기 제1 디스플레이가 부분적으로 접힘에 따라 상기 제1 디스플레이는 폴딩축을 사이에 두고 제1 디스플레이 영역 및 제2 디스플레이 영역으로 구분되며,
    상기 제1 방향 범위는, 상기 제1 디스플레이 영역을 기준으로 전면 방향 범위 이내이며,
    상기 제2 방향 범위는, 상기 전면 방향 범위의 반대되는 후면 방향 범위 이내인, 전자 장치.
  3. 제1항 또는 제2항에 있어서, 상기 인스트럭션들은, 상기 전자 장치가,
    상기 제1 디스플레이를 통한 상기 컨텐트를 출력하는 것을 유지하는 동안에 상기 외부 전자 장치의 방향이 상기 제1 방향 범위를 벗어남을 식별함에 대응하여, 상기 외부 전자 장치의 방향이 상기 제2 방향 범위 내에 있는지를 식별하고,
    상기 외부 전자 장치의 방향이 상기 제2 방향 범위에 있음을 식별함에 대응하여, 상기 제2 디스플레이를 통해 상기 컨텐트를 출력하도록 설정된, 전자 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서, 상기 인스트럭션들은, 상기 전자 장치가,
    상기 제1 디스플레이를 통한 상기 컨텐트를 출력하는 것을 유지하는 동안에 상기 외부 전자 장치의 방향이 상기 제1 방향 범위를 벗어나는지를 식별하고,
    상기 외부 전자 장치의 방향이 상기 제1 방향 범위를 벗어남을 식별함에 대응하여, 상기 제1 디스플레이의 밝기를 낮추도록 설정된, 전자 장치.
  5. 제1항 내지 제4항 중 어느 한 항에 있어서, 상기 인스트럭션들은, 상기 전자 장치가,
    상기 외부 전자 장치의 방향이 상기 제1 방향 범위를 벗어나고, 상기 제2 방향 범위를 벗어남을 식별함에 대응하여, 상기 제1 디스플레이를 통한 상기 컨텐트의 출력을 유지하는 동안에 상기 외부 전자 장치가 상기 출력 중인 컨텐트에 대한 가이드 정보를 출력하도록 제어하고,
    상기 가이드 정보는, 상기 출력 중인 컨텐트를 나타내는 자막, 상기 출력 중인 컨텐트의 재생 시간 정보, 또는 상기 출력 중인 컨텐트에 대한 재생 중지 여부 중 적어도 하나를 포함하는, 전자 장치.
  6. 제1항 내지 제5항 중 어느 한 항에 있어서, 상기 인스트럭션들은, 상기 전자 장치가,
    상기 외부 전자 장치의 방향이 상기 제1 방향 범위를 벗어남을 식별함에 대응하여, 상기 전자 장치를 기준으로 상기 외부 전자 장치의 방향을 식별하고,
    일정 시간 이후에 상기 식별된 상기 외부 전자 장치의 방향이 상기 제2 방향 범위 내에 있음을 식별함에 대응하여, 상기 제2 디스플레이를 통해 출력될 컨텐트의 재생 시점과 관련한 안내를 제공하도록 설정된, 전자 장치.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서, 상기 인스트럭션들은, 상기 전자 장치가,
    UWB(ultra wide band) 통신 방식 또는 BLE(bluetooth low energy) 통신 방식 중 적어도 하나에 기반하여, 상기 전자 장치를 기준으로 상기 외부 전자 장치의 방향 및/또는 거리를 식별하도록 설정된, 전자 장치.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서, 상기 인스트럭션들은, 상기 전자 장치가,
    상기 외부 전자 장치와의 연결을 식별하고,
    상기 연결된 외부 전자 장치가 사용자 신체의 일부에 착용되는지를 식별하고, 상기 착용 상태로 식별된 외부 전자 장치에 기반하여, 상기 전자 장치를 기준으로 상기 외부 전자 장치의 방향을 식별하도록 설정된, 전자 장치.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서, 상기 인스트럭션들은, 상기 전자 장치가,
    상기 전자 장치로부터 상기 외부 전자 장치의 거리가 일정 거리 이상이면, 상기 컨텐트를 미러링하기 위한 외부 디스플레이 장치를 식별하고,
    상기 외부 디스플레이 장치의 식별에 대응하여, 상기 외부 디스플레이 장치를 통해 상기 컨텐트를 출력하도록 설정된, 전자 장치.
  10. 제1항 내지 제9항 중 어느 한 항에 있어서, 상기 제1 디스플레이가 부분적으로 접힘에 따라 상기 제1 디스플레이는 폴딩축을 사이에 두고 제1 디스플레이 영역 및 제2 디스플레이 영역으로 구분되며,
    상기 인스트럭션들은, 상기 전자 장치가,
    상기 전자 장치를 기준으로 상기 외부 전자 장치의 고도를 식별하고,
    상기 제1 방향 범위에 있는 상기 외부 전자 장치의 방향과 상기 외부 전자 장치의 고도에 대응하여, 상기 컨텐트를 출력하기 위해 상기 제1 디스플레이의 제1 디스플레이 영역 및 제2 디스플레이 영역 중 적어도 하나를 결정하도록 설정된, 전자 장치.
  11. 전자 장치에서 외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 방법에 있어서,
    상기 전자 장치의 제1 디스플레이를 통해 컨텐트를 출력하는 동작;
    상기 컨텐트를 출력하는 중에 상기 전자 장치를 기준으로 근거리 통신 방식을 통해 상기 전자 장치에 연결된 상기 외부 전자 장치의 방향을 식별하는 동작;
    상기 외부 전자 장치의 방향이 제1 방향 범위에 있음을 식별함에 대응하여, 상기 제1 디스플레이를 통한 상기 컨텐트를 출력하는 것을 유지하는 동작; 및
    상기 외부 전자 장치의 방향이 제2 방향 범위에 있음을 식별함에 대응하여, 상기 제1 디스플레이와 반대되는 방향에 배치되는 제2 디스플레이를 통해 상기 컨텐트를 출력하는 동작을 포함하는, 외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 방법.
  12. 제11항에 있어서, 상기 제1 디스플레이가 부분적으로 접힘에 따라 상기 제1 디스플레이는 폴딩축을 사이에 두고 제1 디스플레이 영역 및 제2 디스플레이 영역으로 구분되며,
    상기 제1 방향 범위는, 상기 제1 디스플레이 영역을 기준으로 전면 방향 범위 이내이며,
    상기 제2 방향 범위는 상기 전면 방향 범위의 반대되는 후면 방향 범위 이내인, 외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 방법.
  13. 제11항 또는 제12항에 있어서,
    상기 제1 디스플레이를 통한 상기 컨텐트를 출력하는 것을 유지하는 동안에 상기 외부 전자 장치의 방향이 상기 제1 방향 범위를 벗어나는 경우, 상기 외부 전자 장치의 방향이 상기 제2 방향 범위 내에 있는지를 식별하는 동작; 및
    상기 외부 전자 장치의 방향이 상기 제2 방향 범위에 있음을 식별함에 대응하여, 상기 제2 디스플레이를 통해 상기 컨텐트를 출력하는 동작을 더 포함하는, 외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 방법.
  14. 제11항 내지 제13항 중 어느 한 항에 있어서,
    상기 제1 디스플레이를 통한 상기 컨텐트를 출력하는 것을 유지하는 동안에 상기 외부 전자 장치의 방향이 상기 제1 방향 범위를 벗어나는지를 식별하는 동작; 및
    상기 외부 전자 장치의 방향이 상기 제1 방향 범위를 벗어남을 식별함에 대응하여, 상기 제1 디스플레이의 밝기를 낮추는 동작을 더 포함하는, 외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 방법.
  15. 명령들을 저장하고 있는 비휘발성 저장 매체에 있어서, 상기 명령들은 전자 장치(101)의 적어도 하나의 프로세서(120)에 의하여 실행될 때에 상기 전자 장치로 하여금 적어도 하나의 동작을 수행하도록 설정된 것으로서, 상기 적어도 하나의 동작은,
    상기 전자 장치의 제1 디스플레이를 통해 컨텐트를 출력하는 동작;
    상기 컨텐트를 출력하는 중에 상기 전자 장치를 기준으로 근거리 통신 방식을 통해 상기 전자 장치에 연결된 외부 전자 장치의 방향을 식별하는 동작;
    상기 외부 전자 장치의 방향이 제1 방향 범위 내에 있음을 식별함에 대응하여, 상기 제1 디스플레이를 통한 상기 컨텐트를 출력하는 것을 유지하는 동작; 및
    상기 외부 전자 장치의 방향이 제2 방향 범위 내에 있음을 식별함에 대응하여, 상기 제1 디스플레이와 반대되는 방향에 배치되는 제2 디스플레이를 통해 상기 컨텐트를 출력하는 동작을 포함하는, 저장 매체.
PCT/KR2023/012515 2022-08-30 2023-08-23 외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 전자 장치, 그 동작 방법 및 저장 매체 WO2024049094A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/457,336 US20240069846A1 (en) 2022-08-30 2023-08-29 Electronic device for controlling display corresponding to direction of external electronic device, operation method thereof, and storage medium

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220108896 2022-08-30
KR10-2022-0108896 2022-08-30
KR1020220130825A KR20240030888A (ko) 2022-08-30 2022-10-12 외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 전자 장치, 그 동작 방법 및 저장 매체
KR10-2022-0130825 2022-10-12

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/457,336 Continuation US20240069846A1 (en) 2022-08-30 2023-08-29 Electronic device for controlling display corresponding to direction of external electronic device, operation method thereof, and storage medium

Publications (1)

Publication Number Publication Date
WO2024049094A1 true WO2024049094A1 (ko) 2024-03-07

Family

ID=90098233

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/012515 WO2024049094A1 (ko) 2022-08-30 2023-08-23 외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 전자 장치, 그 동작 방법 및 저장 매체

Country Status (1)

Country Link
WO (1) WO2024049094A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110602315A (zh) * 2019-08-30 2019-12-20 华为技术有限公司 具有可折叠屏幕的电子设备及显示方法
KR102166831B1 (ko) * 2013-06-27 2020-10-16 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
KR20200122076A (ko) * 2019-04-17 2020-10-27 삼성전자주식회사 폴더블 전자 장치 및 상기 폴더블 전자 장치에서 정보를 표시하는 방법
KR102188266B1 (ko) * 2014-01-23 2020-12-08 엘지전자 주식회사 스마트 워치, 디스플레이 디바이스 및 그 제어 방법
KR20220017244A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 복수의 디스플레이를 통해 다양한 사용자 인터페이스를 제공하는 전자 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102166831B1 (ko) * 2013-06-27 2020-10-16 엘지전자 주식회사 웨어러블 디바이스 및 그 제어 방법
KR102188266B1 (ko) * 2014-01-23 2020-12-08 엘지전자 주식회사 스마트 워치, 디스플레이 디바이스 및 그 제어 방법
KR20200122076A (ko) * 2019-04-17 2020-10-27 삼성전자주식회사 폴더블 전자 장치 및 상기 폴더블 전자 장치에서 정보를 표시하는 방법
CN110602315A (zh) * 2019-08-30 2019-12-20 华为技术有限公司 具有可折叠屏幕的电子设备及显示方法
KR20220017244A (ko) * 2020-08-04 2022-02-11 삼성전자주식회사 복수의 디스플레이를 통해 다양한 사용자 인터페이스를 제공하는 전자 장치 및 그 방법

Similar Documents

Publication Publication Date Title
WO2022108076A1 (ko) 증강 현실 환경의 무선 연결 방법 및 이를 위한 전자 장치
WO2022131549A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022065722A1 (ko) 외부 물체에 대한 알림을 디스플레이하는 전자 장치 및 그 방법
WO2022098204A1 (ko) 가상현실 서비스를 제공하는 전자 장치 및 방법
WO2022154440A1 (ko) 오디오 데이터를 처리하는 전자 장치 및 그 동작 방법
WO2022124561A1 (ko) 복수의 센서를 이용한 전자 장치의 제어 방법 및 그 전자 장치
WO2022114885A1 (ko) 스타일러스를 이용한 전자 장치의 제어 방법 및 그 방법을 이용하여 스타일러스로부터 입력을 받는 전자 장치
WO2022108379A1 (ko) 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법
WO2022045579A1 (ko) 외부 장치의 위치를 보정하기 위한 전자 장치 및 그의 동작 방법
WO2024049094A1 (ko) 외부 전자 장치의 방향에 대응하는 디스플레이를 제어하기 위한 전자 장치, 그 동작 방법 및 저장 매체
WO2022065827A1 (ko) 무선 통신을 이용한 촬영 방법 및 이를 지원하는 전자 장치
WO2024043440A1 (ko) 애플리케이션의 화면을 표시하는 디스플레이를 복수의 디스플레이들 간 전환하기 위한 방법 및 장치
WO2024043519A1 (ko) 복수의 디스플레이들을 제어하는 방법 및 이를 지원하는 전자 장치
WO2024053894A1 (ko) 촬영 구도를 안내하는 전자 장치 및 방법
WO2024063564A1 (ko) 폴더블 전자 장치 및 폴더블 전자 장치의 동작 방법
WO2023003330A1 (ko) 외부 전자 장치를 제어하기 위한 전자 장치 및 전자 장치의 동작 방법
WO2023068549A1 (ko) 외부 장치를 이용하는 전자 장치 및 이의 동작 방법
WO2024155171A1 (ko) 조작 입력을 전송하는 헤드 마운트 장치 및 그의 동작 방법
WO2023229199A1 (ko) 전자 장치의 화면 표시 모드를 결정하는 동작 방법 및 전자 장치
WO2023210940A1 (ko) 렌즈형 악세사리 착용에 따른 카메라 사용을 위한 전자 장치 및 방법
WO2024063380A1 (ko) 플렉서블 디스플레이에 표시되는 화면을 제어하기 위한 전자 장치 및 방법
WO2024071681A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 웨어러블 전자 장치
WO2024058458A1 (ko) 웹페이지를 적응적으로 표시하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2024096560A1 (ko) 웨어러블 전자 장치 및 그 동작 방법
WO2024136196A1 (ko) 외부 장치로부터의 사운드를 출력하기 위한 전자 장치, 그 동작 방법 및 저장 매체

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23860771

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023860771

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2023860771

Country of ref document: EP

Effective date: 20241003