WO2023101163A1 - 미러링을 수행하는 장치 및 방법 - Google Patents

미러링을 수행하는 장치 및 방법 Download PDF

Info

Publication number
WO2023101163A1
WO2023101163A1 PCT/KR2022/014033 KR2022014033W WO2023101163A1 WO 2023101163 A1 WO2023101163 A1 WO 2023101163A1 KR 2022014033 W KR2022014033 W KR 2022014033W WO 2023101163 A1 WO2023101163 A1 WO 2023101163A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
display
area
mirroring
processor
Prior art date
Application number
PCT/KR2022/014033
Other languages
English (en)
French (fr)
Inventor
김래태
김양욱
김문정
이주관
박지혜
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220003869A external-priority patent/KR20230081544A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US18/075,041 priority Critical patent/US11893303B2/en
Publication of WO2023101163A1 publication Critical patent/WO2023101163A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Definitions

  • wired and wireless communication networks electronic devices that display screens and output data that users can visually recognize can be interconnected through wired and wireless communication networks.
  • Electronic devices may transmit and receive various types of data through a wired/wireless communication network, and one electronic device may remotely control another electronic device or use one electronic device through another electronic device.
  • Examples of electronic devices that can be interconnected through a wired/wireless communication network include a portable computer such as a laptop computer, a netbook or a tablet PC, a portable terminal such as a smart phone or PDA, and/or a TV.
  • a portable computer such as a laptop computer, a netbook or a tablet PC
  • a portable terminal such as a smart phone or PDA
  • TV TV
  • a user When electronic devices are interconnected and used, a user may be provided with a desired service or function more conveniently, and an image of one electronic device may be mirrored to another device.
  • a margin area may occur, which may reduce the usability of the display.
  • an aspect of the present disclosure is to address at least the problems and/or disadvantages noted above and provide at least the advantages described below. Therefore, an aspect of the present disclosure provides various information in the margin area of the mirroring data during the mirroring operation, fixes the reference point of the content area in the mirroring data without interruption to the change of the screen size, outputs it from the electronic device and the target device, and sets Accordingly, an electronic device capable of reducing or removing a margin area included in mirroring data according to a screen size of a display to a target display of a target device is provided.
  • An electronic device includes a display including a display screen having a variable aspect ratio; communication circuitry that establishes communication with a target device for mirroring display; a memory in which computer-executable instructions are stored; and at least one processor that accesses the memory and executes the instructions.
  • the commands may be configured to identify an aspect ratio of the display screen.
  • the instructions may be configured to receive target display information of the target device from the target device using the communication circuitry.
  • the commands may be configured to generate the mirroring data including a content area where content is displayed and a margin area where additional information is displayed based on the aspect ratio of the display screen and the target display information.
  • the instructions may be configured to change the size of the margin area in the mirroring data based on the change in the aspect ratio of the display screen.
  • the commands may be configured to change the additional information based on a change in size of the margin area in the mirroring data.
  • the instructions may be configured to transmit the mirroring data for image display in the target device to the target device using the communication circuit.
  • a method implemented with at least one processor may include an operation of establishing communication for the mirroring display with a target device having a display including a display screen having a variable aspect ratio through a communication circuit.
  • the method may include receiving target display information of the target device from the target device using the communication circuitry.
  • the method when mirroring data for a first application of a first category that increases the amount of content for screen expansion or provides additional content is generated, the content displayed by the first application is displayed in the mirroring data for the first application.
  • An operation of fixing a reference point of an area based on the target display information may be included.
  • the method may include transmitting mirroring data for the first application to the target device using the communication circuit.
  • the electronic device may improve information transfer efficiency within a limited screen size through the margin area.
  • the electronic device may provide a stable and consistent use experience by fixing the reference point of the content area in the mirroring data to one side or a central axis.
  • the electronic device may provide expanded control optimized for a target device to be mirrored and a mirroring experience without a sense of heterogeneity.
  • the electronic device can improve screen cut-off on a display of one of the electronic device and the target device by matching the screen ratio of the electronic device to the screen ratio of the target display based on target display information of the target device. there is.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to an embodiment of the present disclosure.
  • FIGS. 2A and 2B are front perspective views of an electronic device showing a closed state and an open state according to various embodiments of the present disclosure.
  • 3A and 3B are rear perspective views of an electronic device showing a closed state and an open state according to various embodiments of the present disclosure.
  • FIG. 4 illustrates changing the size of a display screen of an electronic device according to an embodiment of the present disclosure.
  • FIG. 5 is a flowchart illustrating a mirroring operation according to an embodiment of the present disclosure.
  • 6 and 7 are diagrams illustrating information provision in a margin area according to various embodiments of the present disclosure.
  • FIG. 8 illustrates information provided in a margin area according to an embodiment of the present disclosure.
  • 9 and 10 are diagrams illustrating reference point mapping for each category of application according to various embodiments of the present disclosure.
  • 11, 12, and 13 are views illustrating fixing of a reference point in mirroring according to various embodiments of the present disclosure.
  • FIG. 14 is a diagram explaining mapping of a central axis in mirroring according to an embodiment of the present disclosure.
  • 15 is a diagram for explaining a guide of an expandable area in mirroring according to an embodiment of the present disclosure.
  • 16 and 17 are diagrams illustrating an operation of automatically changing the screen size of an electronic device according to various embodiments of the present disclosure.
  • FIG. 18 is a diagram illustrating changing the screen size of an electronic device according to a setting according to an embodiment of the present disclosure.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to an embodiment of the present disclosure.
  • an electronic device 101 communicates with an external electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199. ) (eg, a long-distance wireless communication network) may communicate with at least one of the external electronic device 104 or the server 108 .
  • the electronic device 101 may communicate with the external electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are integrated into a single component (eg, display module 160). It can be.
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • software eg, the program 140
  • the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • the processor 120 may include a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor.
  • NPU neural network processing unit
  • the secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, image signal processor or communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor set to detect a touch or a pressure sensor set to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the external electronic device 102 (eg, a speaker or a headphone).
  • the external electronic device 102 eg, a speaker or a headphone.
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the external electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the external electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or wireless communication between the electronic device 101 and an external electronic device (eg, the external electronic device 102, the external electronic device 104, or the server 108). Establishing a channel and performing communication through the established communication channel can be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : a local area network (LAN) communication module or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg, : a local area network (LAN) communication module or a power line communication module.
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunications network such as a computer network (eg, LAN or WAN).
  • a cellular network eg, a 5G network, a next-generation communication network, the Internet, or a telecommunications network such as a computer network (eg, LAN or WAN).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 may be identified or authenticated.
  • the communication module may establish communication with a target device (eg, the external electronic device 104) for mirroring display.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the external electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • eMBB peak data rate for eMBB realization
  • a loss coverage for mMTC realization eg, 164 dB or less
  • U-plane latency for URLLC realization eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be chosen A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and an external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may be a target device having a target display capable of outputting an image.
  • the external external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • 2A and 2B are front perspective views of the electronic device 200 showing a closed state and an open state according to various embodiments of the present disclosure.
  • 3A and 3B are rear perspective views of the electronic device 200 showing a closed state and an open state according to various embodiments of the present disclosure.
  • the electronic device 200 of FIG. 2A may be at least partially similar to the electronic device 101 of FIG. 1 or may further include other embodiments of the electronic device.
  • the electronic device 200 includes a first housing 210 and a second housing 220 movably coupled to the first housing 210 at least partially.
  • the first housing 210 includes a first plate 211 and a first side frame 212 extending in a substantially vertical direction (eg, the z-axis direction) along the edge of the first plate 211 . ) may be included.
  • the first side frame 212 is a first side 2121, a second side 2122 extending from one end of the first side 2121, and extending from the other end of the first side 2121
  • a third side surface 2123 may be included.
  • the first housing 210 may include a first space at least partially closed from the outside through the first plate 211 and the first side frame 212 .
  • the second housing 220 includes a second plate 221 and a second side frame 222 that extends in a substantially vertical direction (eg, the z-axis direction) along an edge of the second plate 221 . ) may be included.
  • the second side frame 222 extends from one end of the fourth side 2221 and the fourth side 2221 facing in the opposite direction to the first side 2121, and the second side 2122 It may include a sixth side surface 2223 extending from the other end of the fifth side surface 2222 and the fourth side surface 2221 coupled at least partially with the third side surface 2223 and at least partially coupled to the third side surface 2123 .
  • the fourth side surface 2221 may extend from a structure other than the second plate 221 and be coupled to the second plate 221 .
  • the second housing 220 may include a second space at least partially closed from the outside through the second plate 221 and the second side frame 222 .
  • the first plate 211 and the second plate 221 may be arranged to at least partially form a rear surface of the electronic device 200 .
  • the first plate 211, the second plate 221, the first side frame 212 and the second side frame 222 may be polymer, coated or colored glass, ceramic, metal (eg aluminum, stainless steel). (STS), or magnesium), or a combination of at least two of the above materials.
  • the electronic device 200 may include a flexible display 230 disposed to be supported by the first housing 210 and the second housing 220 .
  • the flexible display 230 may include a flat portion supported by the second housing 220 and a bendable portion extending from the flat portion and supported by the first housing 210 .
  • the bendable portion of the flexible display 230 may be disposed so as not to be exposed to the outside in the first space of the first housing 210 when the electronic device 200 is closed. In an open state, the first housing 210 may be supported and exposed to the outside to extend from the flat surface. Therefore, the electronic device 200 is a rollable type electronic device in which the display screen of the flexible display 230 is expanded according to the opening operation caused by the movement of the first housing 210 from the second housing 220. can be
  • the first housing 210 may be at least partially inserted into the second space of the second housing 220 and coupled in a flexible manner in the direction 1 shown.
  • the first housing 210 and the second housing 220 are coupled so that the first side surface 2121 and the fourth side surface 2221 have a first distance d1. status can be maintained.
  • the electronic device 200 in the open state, has a first side surface 2121 protruding from the fourth side surface 2221 by a predetermined distance d2 to have a second separation distance d.
  • a state in which the housing 210 protrudes from the second housing 220 may be maintained.
  • the flexible display 230 may be supported by the first housing 210 and/or the second housing 220 so that both ends thereof have curved edges.
  • the electronic device 200 may automatically transition into an open state and a closed state through a driving unit disposed in the first space and/or the second space.
  • a driving unit e.g. the processor 120 of FIG. 1
  • the operation of the first housing 210 is performed through a driving unit. can be set to control.
  • the first housing 210 may be manually protruded from the second housing 220 through a user's manipulation. In this case, the first housing 210 can protrude by a user's desired protrusion amount, and thus the screen of the flexible display 230 can also be changed to have various display areas.
  • the processor of the electronic device 200 displays objects in various ways corresponding to a display area corresponding to a predetermined protruding amount of the first housing 210, and the application program can also be controlled to run.
  • the electronic device 200 includes an input device 203, sound output devices 206 and 207, sensor modules 204 and 217, a first camera device 205 and a second camera device 216. ), a connector port 208, a key input device (not shown), or an indicator (not shown).
  • the electronic device 200 may omit at least one of the above-described components or may additionally include other components.
  • the input device 203 may include a microphone 203 .
  • the input device 203 may include a plurality of microphones 203 arranged to sense the direction of sound.
  • the sound output devices 206 and 207 may include speakers 206 and 207 .
  • the speakers 206 and 207 may include an external speaker 206 and a speaker 207 for communication.
  • the microphone 203 or the connector port 208 may also be formed to have substantially the same configuration.
  • the sound output devices 206 and 207 may include an operated speaker (eg, a piezo speaker) while excluding a separate speaker hole 206 .
  • the sensor modules 204 and 217 may generate electrical signals or data values corresponding to an internal operating state of the electronic device 200 or an external environmental state.
  • the sensor modules 204 and 217 are, for example, the first sensor module 204 (eg, a proximity sensor or an illuminance sensor) disposed on the front surface of the second housing 220 and/or the second housing 220.
  • a second sensor module 217 eg, HRM sensor
  • the first sensor module 204 may be disposed below the flexible display 230 in the second housing 220 .
  • the first sensor module 204 may include a proximity sensor, an ambient light sensor (eg, the first sensor module 204 ), a time of flight (TOF) sensor, an ultrasonic sensor, a fingerprint recognition sensor, a gesture sensor, and a gyro. At least one of a sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a color sensor, an IR (infrared) sensor, a biosensor, a temperature sensor, or a humidity sensor may be further included.
  • the camera devices 205 and 216 include the first camera device 205 disposed on the front side of the second housing 220 of the electronic device 200 and the rear side of the second housing 220.
  • a disposed second camera device 216 may be included.
  • the electronic device 200 may include a flash 218 located near the second camera device 216 .
  • the camera devices 205 and 216 may include one or a plurality of lenses, an image sensor, and/or an image signal processor.
  • the first camera device 205 may be disposed below the flexible display 230 and photograph a subject through a part of an active area of the flexible display 230 .
  • flash 218 may include, for example, a light emitting diode or a xenon lamp.
  • two or more lenses (wide angle and telephoto lenses) and image sensors may be disposed on one side of the electronic device 200 .
  • the electronic device 200 may include at least one antenna (not shown).
  • at least one antenna may wirelessly communicate with an external electronic device (eg, the electronic device 104 of FIG. 1 ) or wirelessly transmit/receive power required for charging.
  • the antenna may include a legacy antenna, mmWave antenna, near field communication (NFC) antenna, wireless charging antenna, and/or magnetic secure transmission (MST) antenna.
  • the antenna structure may be formed through at least a portion of the first side frame 212 and/or the second side frame 222 formed of metal.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • first, second, or first or secondary may simply be used to distinguish a given component from other corresponding components, and may be used to refer to a given component in another aspect (eg, importance or order) is not limited.
  • a (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • the certain component may be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logical blocks, parts, or circuits.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a storage medium eg, internal memory 136 or external memory 138
  • a machine eg, electronic device 101
  • a processor eg, the processor 120
  • a device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • a signal e.g. electromagnetic wave
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • a device e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play Store TM
  • It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a storage medium readable by a device such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.
  • FIG. 4 illustrates changing the size of a display screen of an electronic device according to an embodiment of the present disclosure.
  • a display module (eg, display module 160 of FIG. 1 ) of an electronic device 400 (eg, electronic device 101 of FIG. 1 ) according to an embodiment has a changeable aspect ratio.
  • a display screen may be included.
  • the display screen may represent a viewable portion of the screen on one side (eg, the side where the user is located) of the screen of the display module.
  • a rollable type electronic device in which a display screen is expanded according to an opening operation caused by movement of the driving body 412 (eg, the first housing 210 of FIGS. 2A, 2B, 3A, and 3B) Device 400 is described.
  • the electronic device 400 is a rollable type is mainly described, but the electronic device 400 is not limited thereto, and may be a device having various flexible form factors capable of changing the size of a display screen.
  • the display module of the rollable type electronic device 400 may have a ⁇ -shaped or a ⁇ -shaped bent shape.
  • the driving body 412 connected to the display module moves in the first direction
  • the curved portion of the screen of the display module is pushed out in the first direction
  • the display screen may be expanded.
  • the actuator 412 may move in the first direction on the display screen 411 of the reduced electronic device 410 .
  • the display screen may be expanded in the expanded electronic device 420 while the bent portion of the display module is unfolded by the movement of the driving body 412 in the first direction.
  • the display screen may be reduced while the curved portion is pulled in the second direction.
  • the display module of the electronic device 400 may increase or decrease the size of the display screen by driving a motor.
  • the electronic device 400 may move the driving body 412 along the slide rail 491 through the motor 492 included therein, thereby driving the size of the display screen to be changed.
  • the driving body 412 of the electronic device 400 may be manually moved by an external force (eg, the user's force to move the driving body 412 held by the user). there is.
  • the length (eg, vertical length as the y-axis length) along one axis (eg, y-axis) of the display module is fixed, and the length along the other axis (eg, x-axis) (eg, x-axis length) As the horizontal length) can be changed by expanding and contracting the display. Since the length along the other axis is changed while the length along one axis is fixed, the aspect ratio of the electronic device 400 may be changed by changing the screen size of the display screen.
  • FIG. 5 is a flowchart illustrating a mirroring operation according to an embodiment of the present disclosure.
  • an electronic device may identify an aspect ratio of a display screen. For example, the electronic device compares the length along the first axis (eg, the y-axis) of the display screen (eg, the vertical length as the y-axis length) to the second axis (eg, the x-axis) (eg, the x-axis) The ratio between the horizontal length as the length) can be identified as the aspect ratio.
  • the first axis eg, the y-axis
  • the second axis eg, the x-axis
  • the ratio between the horizontal length as the length can be identified as the aspect ratio.
  • a may be a real number greater than or equal to 0.
  • the aspect ratio is not limited thereto, and may be expressed as a resolution (eg, 1024 ⁇ 768 pixels) representing the number of pixels disposed along each axis of the screen.
  • the electronic device may receive target display information of the target device from the target device using the communication module.
  • the target display information may include at least one of a resolution and an aspect ratio of a target display included in a target device.
  • the target display information may also include a resolution (eg, number of pixels) corresponding to the x-axis length (eg, horizontal length, width) of the target display.
  • the electronic device may generate mirroring data for image display in the target device based on the aspect ratio of the display screen and the target display information, and transmit the mirroring data to the target device using the communication module. Generation and transmission of mirroring data will be described with reference to FIGS. 6 to 18 below.
  • the mirroring data is data for a mirroring operation transmitted from the electronic device to the target device, and may include, illustratively, a mirroring image output from the target device.
  • the mirroring image may be an image in which an image corresponding to a content area and an image corresponding to a margin area (eg, an additional information area) are merged.
  • the content area may indicate an area in which applications and content output from a display module of an electronic device are displayed.
  • the margin area may indicate a remaining area except for the content area in the mirroring image.
  • the target device that has received the mirroring data can mirror the image output from the display module of the electronic device by outputting the same image as the image displayed through the display module of the electronic device in the content area.
  • the electronic device may adjust the size (eg, width) of the content area and the margin area based on the aspect ratio of the display screen and the target display information, or may determine information to be included in the margin area.
  • the mirroring data is not limited to including only the mirroring image in which the content area and the margin area are merged, and data required for mirroring (eg, screen transfer rate, time information of the mirroring image output from each device, content area width of the content area, coordinates to which the reference point of the content area is fixed, and/or width of the margin area) and/or data accompanying mirroring (eg, device status information, notification information, and/or mirroring information).
  • the mirroring image includes an image corresponding to the content area
  • the mirroring data is data required for mirroring together with the mirroring image (eg, the width of the content area, the coordinates at which the reference point of the content area is fixed, and/or width of the margin area).
  • the electronic device may provide various information in the margin area even if the margin area is included in the mirroring data during the mirroring operation.
  • the electronic device may improve information transfer efficiency within a limited screen size through the margin area.
  • the electronic device can output mirroring data from the electronic device and the target device without interruption in response to a screen size change during mirroring.
  • the electronic device may provide a stable and consistent use experience by fixing the reference point of the content area in the mirroring data to one side or a central axis.
  • the electronic device may provide expanded control optimized for a target device to be mirrored and a mirroring experience without a sense of heterogeneity.
  • the electronic device may reduce or remove the margin area included in the mirroring data according to settings.
  • the electronic device may improve screen cut-off in a display module of one of the electronic device and the target device by matching the screen ratio of the electronic device to the screen ratio of the target display based on target display information of the target device.
  • 6 and 7 are diagrams illustrating information provision in a margin area according to various embodiments of the present disclosure.
  • an electronic device (eg, the electronic device 101 of FIG. 1 ) according to an embodiment generates mirroring data including information in a margin area 790, and The size and amount of information included in the margin area 790 and/or graphic representation representing information may be changed according to a change in the size of .
  • the electronic device may generate mirroring data including a content area 780 where content is displayed and a margin area 790 where additional information is displayed.
  • the additional information may include at least one of device state information, notification information, mirroring information, and auxiliary information. Each example of additional information is described in FIG. 8 below.
  • the content area 780 and the margin area 790 may be determined based on the aspect ratio of the display screen of the display module (eg, the display module 160 of FIG. 1 ) and target display information. For example, when the aspect ratio of the display screen is different from that of the target display information, the electronic device generates mirroring data including a content area 780 and a margin area 790 having the aspect ratio of the display screen.
  • a mirroring image of mirroring data in which the content area 780 and the margin area 790 are integrated may have an aspect ratio of target display information.
  • the ratio of the length along the second axis (eg, the horizontal length as the x-axis length) to the length along the first axis (eg, the vertical length as the y-axis length) of the display screen of the electronic device (eg, the screen of the display screen) Ratio, 9:19) is the ratio of the length along the x-axis (eg, horizontal length) to the length along the y-axis (eg, vertical length) of the target display in the target display information of the target device (eg, the aspect ratio of the target display, 16 :9), the margin area 790 may be located on both sides of the content area 780.
  • the mirroring data may include margin areas 790 located on both sides of the content area 780 .
  • the present invention is not limited thereto, and the margin area 790 may be positioned above and below the content area 780 when it is a smartphone in landscape mode or when the target display has a vertically elongated shape.
  • FIG. 6 shows an example of a mirroring image in which margin areas 790 are located on both sides of the content area 780 based on a central axis parallel to the y-axis (eg, a vertical axis as the first axis). mainly explain.
  • the electronic device may monitor a change in aspect ratio of the display screen.
  • an electronic device having a flexible display eg, a rollable type electronic device
  • the electronic device may maintain the margin area 790 of the mirroring data generated in operation 631 and the additional information being output in the margin area 790.
  • the electronic device may change the size of the margin area 790 in the mirroring data based on the change in the aspect ratio of the display screen.
  • the electronic device may increase a component value corresponding to the second axis in the aspect ratio of the display screen when the screen length along the second axis (eg, the horizontal axis as the x axis) of the display screen increases due to the expansion of the display module. there is. Accordingly, the electronic device may increase the width of the content area 780 and decrease the size (eg, width) of the margin area 790 in the mirroring image.
  • the electronic device may reduce the component value corresponding to the second axis in the aspect ratio of the display screen. Accordingly, the electronic device may reduce the width of the content area 780 and increase the size (eg, width) of the margin area 790 in the mirroring image.
  • the electronic device may change additional information based on the size change of the margin area 790 in the mirroring data.
  • the rollable type electronic device may change at least one of the size, amount, and graphic representation of the additional information based on the size change of the margin area 790 .
  • the electronic device may determine a display area allocated to additional information based on the size of the margin area 790 .
  • the electronic device may reduce the display area allocated to the additional information based on the decrease in the size of the margin area 790 .
  • the electronic device may increase the display area allocated to the additional information based on the increase in the size of the margin area 790 .
  • an electronic device having a display screen of a first size before expansion may generate first mirroring data 710 including additional information in a first display area 711 of a margin area 790.
  • An electronic device having a display screen of a second size larger than the aforementioned first size may generate second mirroring data 720 including additional information in the second display area 712 of the margin area 790 .
  • An electronic device having a size, amount, and graphic representation screen of display of a third size that has been expanded displays third mirroring data 730 including additional information in the third display area 713 of the margin area 790 can create The third display area 713 may be smaller than the second display area 712 and the second display area 712 may be smaller than the first display area 711 . Accordingly, the electronic device may increase or decrease additional information of the mirroring data 710 , 720 , or 730 output from the target display according to the size of the margin area 790 .
  • the electronic device may change the additional information based on a size change amount of the margin area 790 exceeding a predetermined threshold change amount.
  • the amount of change in size is an amount by which the size of the margin area 790 is reduced or increased, and may be, for example, an absolute value of a size difference (eg, area difference or x-axis length difference) between the margin area before and after the change. there is.
  • a size difference eg, area difference or x-axis length difference
  • the electronic device may display additional information on the second display area 712 when the amount of change in size from the first margin area 791 to the second margin area 792 exceeds a threshold amount of change.
  • the electronic device selects an area where additional information is displayed from the second display area 712. It can be changed to the third display area 713 .
  • the electronic device may change the size of the area where the additional information is displayed step by step whenever the size of the margin area 790 changes by a threshold amount of change.
  • the electronic device may gradually change not only the size of the area where the additional information is displayed, but also the amount and graphic representation of the additional information.
  • the electronic device may remove additional information from the mirroring data.
  • the minimum size is the area required for displaying icons representing items of additional information (e.g. icons representing time, icons representing signal strength, icons representing remaining battery power, icons representing application notifications, and/or icons related to mirroring). can indicate the size of Accordingly, the electronic device may omit providing additional information when the size of the margin area 790 is smaller than the minimum size required for displaying the icon.
  • FIG. 8 illustrates information provided in a margin area 890 according to an embodiment of the present disclosure.
  • additional information may include at least one of device state information 810 , notification information 820 , mirroring information 830 , and auxiliary information 840 .
  • the electronic device includes one of device status information 810, notification information 820, mirroring information 830, and auxiliary information 840 in the margin area 890 according to settings, or two or more of the above information. This combined information may be included in the margin area 890.
  • FIG. 8 for convenience of description, individual information is described for each size of the display screen of the electronic device. Referring to FIG. 8 , the minimum screen size may represent the size of the display screen when the electronic device is not expanded (eg, roll-in).
  • the maximum screen size may indicate the size of the display screen when the electronic device is fully extended (eg, roll-out).
  • the intermediate screen size may be a size of a display screen when an electronic device between the minimum screen size and the maximum screen size is partially expanded (eg, partial roll-out).
  • the device state information 810 is information indicating the state of the device, and exemplarily, visual information, communication information (eg, connected Wi-Fi network and communication type), and/or battery information (eg, battery) of the electronic device. Remaining capacity, expected usable time) can be included.
  • An electronic device having a minimum screen size can display visual information in time notation indicating the year, month, day, day of the week, and time in full, communication information including communication type and network name, and/or battery information indicating estimated available time and remaining capacity. may be included in the mirroring data.
  • An electronic device having a medium screen size may include time information of a summarized time notation, communication information including a network name and communication strength, and/or battery information indicating remaining capacity and remaining capacity icon in mirroring data.
  • An electronic device having a maximum screen size may include at least one of time information indicating only hours and minutes, a communication icon, or a battery icon as additional information in the mirroring data.
  • the notification information 820 is information indicating a notification message received from an application installed on the electronic device, and is exemplarily at least one of a notification about a message received from a messenger application, a notification received from a social network service application, and a financial application.
  • An electronic device having a minimum screen size may include notification content of each application and a notification reception time as additional information in the margin area 890 .
  • An electronic device having a medium screen size may include the time when notification of each application is generated as additional information in the margin area 890 .
  • An electronic device having a maximum screen size may include only the icon of each application for which a notification has occurred as additional information in the margin area 890 .
  • the mirroring information 830 is information related to a mirroring operation, and may exemplarily include a reproduction time of an image in mirroring, a mirroring connection time, and/or a function usable in mirroring (eg, automatic screen alignment).
  • An electronic device having a minimum screen size may include additional information in which each item of the mirroring information 830 is expressed in text is included in the mirroring data.
  • An electronic device having a medium screen size may include additional information representing each item of the mirroring information 830 as an icon in the mirroring data.
  • An electronic device having a maximum screen size may include each item of the mirroring information 830 in mirroring data in a minimized graphic representation.
  • the auxiliary information 840 may indicate information that is additionally provided from content of an application being executed in the mirroring operation.
  • An electronic device having a minimum screen size may include a thumbnail and description of an image played next to a currently playing image as additional information in mirroring data.
  • An electronic device having a medium screen size may include in mirroring data only a thumbnail of a video to be reproduced next.
  • An electronic device having a maximum screen size may include only information that there is a queue for the next video to be played in mirroring data.
  • the additional information shown in FIG. 8 is a simple example and is not limited thereto, and an electronic device having a maximum screen size may include additional information of a minimized amount and size of information compared to other screen sizes in the mirroring data.
  • 9 and 10 are diagrams illustrating reference point mapping for each category of application according to various embodiments of the present disclosure.
  • An electronic device may determine a mirroring reference point (eg, a zero point or a central axis) to be displayed on a target display based on a property 950 of a mirrored application.
  • the reference point of the content area and the point where the reference point is fixed may vary according to the property 950 of the application.
  • the electronic device may display an application in a content area that changes in real time according to the size of the display screen based on a corresponding reference point.
  • the attributes 950 of the application may be identified based on the category of the application.
  • the attribute 950 of the application may be illustratively classified into a first category and a second category, which will be described later in operation 931 below.
  • the electronic device may activate setting for automatic reference point alignment.
  • the electronic device may activate a function of automatically adjusting reference points for each category of application and/or content based on a user input in the mirroring display reference point setting interface 940 .
  • the electronic device may identify a category of an application being executed.
  • the electronic device may identify an application being executed as one of a first category and a second category.
  • the first category may be a category including an application that increases the amount of content or provides additional content for screen expansion.
  • the first application belonging to the first category may further provide additional content in addition to the content displayed before expansion.
  • the first application of the first category may include, for example, a home screen, a browser application, a memo application, a note application, and/or a web view application.
  • the second category may be a category including an application in which an area occupied by content increases with respect to screen expansion.
  • the second application belonging to the second category may enlarge and provide the displayed content itself before expansion.
  • the second application of the second category may illustratively include a game application, a gallery application, a video player, and/or a video streaming application.
  • the electronic device may perform a mirroring operation by fixing a reference point of the content area to one side of the target display. For example, when generating mirroring data for a first application of a first category, the electronic device fixes a reference point of a content area where the first application is displayed in the mirroring data for the first application based on target display information. can do.
  • the electronic device may determine one or more points at which one or more reference points of the content area are fixed in the mirroring data for the first application based on the maximum extension size of the display module and target display information. For example, a point at which the reference point of the content area is fixed may be determined so that the content area with the maximum expansion size is aligned with the center of the target display.
  • the electronic device 1010 mirroring the first application sets reference points 1012 of the content area 1011 to points corresponding to one edge (eg, left edge) of the target display during screen expansion.
  • one edge eg, left edge
  • the electronic device may perform a mirroring operation by fixing the central axis of the content area to the central axis of the target display.
  • the central axis is described as an example of a central axis parallel to the y-axis (eg, vertical axis), but is not limited thereto, and central axes parallel to the x-axis (eg, horizontal axis) may be mapped to each other according to the expansion direction of the display.
  • the central axis of the content area on which the second application is displayed is set in the mirroring data for the second application to the target display of the target device based on the target display information. It can be mapped to the central axis. Mapping between central axes in the mirroring operation for the second application will be described with reference to FIG. 13 below.
  • the electronic device 1020 mirroring the second application fixes reference points corresponding to the central axis 1022 of the content area 1021 to points corresponding to the central axis of the target display during screen expansion. is shown
  • the electronic device may monitor whether the running application is changed.
  • the electronic device may maintain mirroring when the running application continues.
  • the electronic device may return to operation 931 and identify the category of the newly executed application.
  • An electronic device includes a display module having a variable display screen, and fixes a reference point of an application when the size of the display screen of the display module is changed, thereby maintaining content immersion and concentration and preventing dizziness. there is.
  • 11, 12, and 13 are views illustrating fixing of a reference point in mirroring according to various embodiments of the present disclosure.
  • an electronic device 1110 (eg, the electronic device 101 of FIG. 1 ) according to an embodiment is an electronic device ( The content area 1129 corresponding to the aspect ratio of the display screen of 1110) may be determined, and the remainder may be determined as a margin area.
  • the electronic device 1110 may fix the reference point of the content area 1129 even when the size of the display screen is changed by disposing margin areas on both sides of the content area 1129 based on the maximum width of the display screen.
  • the width is not the physical length width of the display, but the display module of the electronic device 1110 and one axis (eg, the vertical axis as the y axis) of the target display 1120 are adjusted to the same scale.
  • the width of the content area 1129 corresponding to the display screen of the electronic device 1110 is the scaled x-axis resolution (eg, vertical resolution) based on the y-axis resolution (eg, vertical resolution) among the resolutions of the target display 1120.
  • the horizontal resolution it may be the number of pixels arranged along the horizontal axis corresponding to the x-axis.
  • this is an example for illustrative purposes only, and is not limited thereto.
  • the width of each region in the mirroring data may be determined according to Equations 1 to 4 below.
  • T may represent the width of the target display 1120 .
  • S_max may indicate a width when the display screen of the electronic device 1110 is maximally expanded (eg, maximum width).
  • S_min may indicate a width (eg, minimum width) when the display screen of the electronic device 1110 is not expanded.
  • the expansion rate is a numerical value indicating the extent to which the display screen is expanded, and may be defined as the currently expanded width s compared to the maximum width S_max as in Equation 4 described above, but is not limited thereto.
  • the first margin area (eg, the first margin portion 1121) may represent a margin portion located on the left side of the content area 1129 in FIG. 11, and the second margin area (eg, the second margin portion 1122) ) may indicate a margin portion located on the right side of the content area 1129 .
  • the width of the first margin in Equation 1 may indicate the width of the first margin area
  • the width of the second margin in Equation 3 may indicate the width of the second margin area.
  • the width of the first margin area since the first margin width is expressed only as a constant, the width of the first margin area may be fixed while the size of the display screen of the electronic device 1110 is changed.
  • the electronic device 1110 may fix the width of the first margin portion 1121 in the mirroring data for the first application while the expansion rate of the display screen changes.
  • the electronic device 1110 may change the width of the second margin portion 1122 located on the opposite side of the first margin portion 1121 based on the content area 1129 according to the expansion rate.
  • Reference lines 1190 corresponding to reference points of the content area 1129 on the target display 1120 may be fixed to a boundary line with the first margin portion 1121 .
  • FIG. 11 an example in which the display screen of the electronic device 1110 extends from left to right has been described, but FIG. 12 describes an example in which the display screen extends from right to left.
  • the start coordinates eg, the leftmost x coordinate
  • the start coordinates of the display screen may move to the left.
  • the electronic device 1210 fixes the reference line 1290 corresponding to the reference points of the content area 1229 to the boundary of the first margin part 1221 according to Equations 1 to 4 described above and sets the second margin.
  • the mirroring start coordinates of the display screen can be dynamically adjusted as shown in Equation 5 below.
  • the electronic device 1210 generates mirroring data in a form in which the content area 1229 output from the target display 1220 is extended from left to right even when the display screen is expanded from right to left. can do.
  • portrait mode indicates a mode in which the screen is output based on the y-axis (eg, vertical axis) of the reduced electronic device
  • landscape mode indicates a mode in which the screen is output based on the x-axis (eg, horizontal axis) of the reduced electronic device. mode can be indicated.
  • the electronic device 1311 rotated in the first rotational direction (eg, counterclockwise) from the portrait mode may have a display screen that is expandable from the bottom to the top.
  • the electronic device 1311 fixes the reference line 1390 of the content area (eg, the largest y-coordinate in the content area) to the boundary corresponding to the top of the target display 1321 (eg, the largest y-coordinate in the target display).
  • the electronic device 1312 rotated in a second rotational direction (eg, clockwise) opposite to the first rotational direction from portrait mode has a display screen that is extensible in a direction from top to bottom, for example.
  • the electronic device 1312 may fix the reference line 1390 of the content area to the boundary corresponding to the top of the target display 1322 . Accordingly, the electronic devices 1311 and 1312 may provide users with a consistent mirroring experience regardless of the direction of the portrait mode and/or the landscape mode.
  • FIG. 14 is a diagram explaining mapping of a central axis in mirroring according to an embodiment of the present disclosure.
  • the electronic devices 1411 and 1412 (eg, the electronic device 101 of FIG. 1 ) according to an embodiment adjust the widths of the margin portions 1421 and 1422 to adjust the content area (
  • the central axis 1490 of 1429 may be aligned with the central axis 1490 of the target display.
  • the electronic devices 1411 and 1412 can adjust the widths of the margin portions 1421 and 1422 in real time according to the change in the size of the display screen, so that the size of the content area 1429 can be smoothly changed while maintaining the central point.
  • Each width when the central axes 1490 are mapped to each other can be expressed as Equations 6 and 7 below.
  • the first margin width (eg, the width of the first margin portion 1421) and the second margin width (eg, the width of the second margin portion 1422) may be the same.
  • the aforementioned Equation 7 may be the same as the aforementioned Equation 2. Accordingly, in the electronic devices 1411 and 1412, the central axis 1490 of the content area 1429 may be maintained at the central axis 1490 of the target display regardless of the expansion direction of the display screen. However, the zero point of the display screen of the electronic device 1412 having a display screen expandable from left to right may be adjusted according to the expansion ratio as described in Equation 5 above.
  • 15 is a diagram for explaining a guide of an expandable area in mirroring according to an embodiment of the present disclosure.
  • an electronic device may generate mirroring data including a guide for an expandable area of a content area.
  • the guide for the expandable area of the content area may be information representing an additional length potentially extendable from the currently extended length on the display screen of the electronic device.
  • the electronic device guides an edge surrounding a portion of the margin area corresponding to the expandable area, a color different from the rest of the margin area, a graphic representation indicating the direction in which the content area is expanded, and whether or not the content area is to be expanded.
  • Mirroring data including an expandable area expressed as a guide based on at least one of the text may be generated.
  • the electronic device may generate first mirroring data 1510 including a boundary 1511 surrounding a portion corresponding to the expandable area.
  • the electronic device may generate second mirroring data 1520 including a border 1521 and a shadow 1522 surrounding a portion corresponding to the expandable area.
  • the electronic device may generate third mirroring data 1530 including a boundary 1531 enclosing a portion corresponding to the expandable area and an arrow 1532 pointing toward the boundary.
  • the electronic device may generate fourth mirroring data 1540 in which the expandable area is displayed in a color 1541 different from that of the margin area.
  • the electronic device may generate fifth mirroring data 1550 in which the expandable area is displayed as a gradation expression 1551 .
  • the electronic device may generate sixth mirroring data 1560 including a guide 1561 for the expandable area.
  • the electronic device informs the user of the user's perception through a graphic representation indicating a section potentially to be filled by the expansion of the display screen. assist and relieve the burden on center alignment.
  • 16 and 17 are diagrams illustrating an operation of automatically changing the screen size of an electronic device according to various embodiments of the present disclosure.
  • an electronic device changes the aspect ratio of a display screen of a display module to a target device (eg, the external electronic device of FIG. 1 ( 102)), the screen size of the display screen may be changed (eg, expanded or reduced) based on the target display information to match the aspect ratio of the target display.
  • the electronic device may output the same image as the mirrored image on the target display without a margin through the display module.
  • the electronic device may perform mirroring.
  • the electronic device may generate mirroring data including a content area having the same image as the application and content output from the display module during the mirroring operation.
  • the electronic device transmits mirroring data to the target display, and the target display can reproduce a mirroring image based on the mirroring data received from the electronic device.
  • the electronic device may determine whether the aspect ratios of the target display and the source display (eg, a display module of the electronic device) are the same.
  • the source display may indicate a display on which images, contents, and applications, which are sources of mirroring, are output.
  • the electronic device may maintain the mirroring ratio when the screen ratio of the target display and the screen ratio of the electronic device are the same.
  • the electronic device may determine a changeable aspect ratio range based on the current aspect ratio of the electronic device.
  • the range of aspect ratios supportable by an electronic device in portrait mode (hereinafter, 'supportable ratio range') may be from 9:19 to 14.25:19.
  • An aspect ratio of 14.25:19 can be interpreted as an aspect ratio of 3:4.
  • a range of ratios supportable by an electronic device in a landscape mode may be 19:9 to 19:14.25.
  • An aspect ratio of 19:14.25 can be interpreted as 4:3.
  • the electronic device may determine whether the range of ratios supportable by the electronic device includes the aspect ratio of the target display information.
  • the aspect ratio of the target display information may be 16:9.
  • the electronic device in portrait mode may determine that the aspect ratio of the target display of 16:9 is outside the supportable ratio range.
  • An example operation of the electronic device in landscape mode is described in operation 1637 below.
  • the ratio range is from 16:7.58 to 16:21.33.
  • the electronic device in the landscape mode may determine that the aspect ratio of the target display of 16:9 is within a range of supportable ratios.
  • An example operation of the electronic device in portrait mode is described in operation 1636 below.
  • the electronic device may maintain the aspect ratio (eg, mirroring ratio) of the display module providing mirroring. For example, the electronic device may maintain the screen size of the display module. The electronic device may enlarge or reduce the size of the mirrored image based on an input received from the user (eg, pinch zoom-in or zoom-out).
  • the electronic device may monitor whether a transition between a landscape mode and a portrait mode occurs. If there is no mode conversion, the electronic device may continue to maintain the mirroring ratio in operation 1637. When a mode change occurs, the electronic device may return to operation 1634 and determine a supportable ratio range again. This is because the range of ratios that can be supported in landscape mode and the range of ratios that can be supported in portrait mode may be different.
  • the electronic device adjusts the screen size of the display module to display the same image as the image output from the target device without a margin area. It can be output from the display module.
  • an electronic device in a landscape mode may include display modules 1711 and 1713 having display screens whose length along the first axis expands or contracts.
  • the ratio of the length along the second axis (eg, the horizontal length as the x-axis length) to the length along the first axis (eg, the vertical length as the y-axis length) of the target display 1721 in the target display information of the target device (eg, 16 /9), the display screen of the display module 1711 may be extended in one direction along the first axis of the display module 1711 .
  • the display screen 1712 adjusted to the aspect ratio of 16:9 and the target display 1722 may equally output an image without a margin area.
  • the electronic device determines that the ratio (eg, 4.5/3) of the length along the second axis to the length along the first axis of the display module 1713 is the first value of the target display 1723 in the target display information of the target device.
  • the ratio of the length along the second axis to the length along the axis is smaller than (eg, 16/9)
  • the display screen of the display module 1713 may be reduced in the other direction along the first axis of the display module 1713.
  • the display screen 1714 adjusted to an aspect ratio of 16:9 and the target display 1724 may equally output an image without a margin area.
  • the aforementioned size change of the display screen may be automatically performed by driving a motor during a mirroring operation.
  • the electronic device may determine the amount of reduction or expansion of the display screen of the display module based on the aspect ratio of the target displays 1721 and 1723 .
  • the electronic device may change the size of the display screen by an amount by which the aspect ratio of the target displays 1721 and 1723 and the screen ratio of the display module become the same.
  • the electronic device can improve margin area generation and content cutting even in mirroring for a target display having a different aspect ratio.
  • an electronic device in a landscape mode will be mainly described as an example, but it is not limited thereto.
  • the electronic device in the portrait mode determines that the aspect ratio of the target display is within a supportable aspect ratio range in operation 1634, the electronic device may change the length of the display screen along the second axis (eg, the horizontal axis). there is.
  • the electronic device determines that the ratio of the length along the second axis to the length along the first axis of the display module (eg, 9/19) is the second axis to the length along the first axis of the target display in the target display information of the target device.
  • the display screen of the display module may be extended in a direction along the second axis of the display module. This is because the target display is longer horizontally than the electronic device. Conversely, when the target display is horizontally shorter than the electronic device, the electronic device may reduce the display screen in a direction along the second axis.
  • FIG. 18 is a diagram illustrating changing the screen size of an electronic device according to a setting according to an embodiment of the present disclosure.
  • an electronic device 1810 (eg, the electronic device 101 of FIG. 1 ) according to an embodiment has an aspect ratio of target display information of a display module (eg, the display module 160 of FIG. 1 ).
  • the display module may output an interface inquiring whether to perform an operation of adjusting the size of the display module.
  • the electronic device 1810 may output an object 1811 indicating an operation of adjusting the size of the display module on the display screen while mirroring the image.
  • the object 1811 may be a pop-up icon representing an operation of expanding or reducing the size of the display screen of the display module.
  • the electronic device 1810 may change the size of the display screen of the display module of the electronic device 1810 based on the aspect ratio of the target display 1820 in response to a user's input for selecting the object 1811 .
  • the electronic device 1810 may automatically adjust the screen according to settings.
  • the electronic device 1810 may adjust the size of the display module based on the screen ratio of the target display information when the screen ratio of the target display information is within the screen support range of the display module and automatic screen fit is set.
  • the electronic device 1810 may activate a size adjustment option tailored to the connected device in the mirroring operation setting interface 1812 in response to a user input.
  • the electronic device 1810 is a ticket device, such as a TV having an aspect ratio of 16:9, a vertical TV having an aspect ratio of 9:16, and various ratios (eg, 4:3, 16:19).
  • the mirroring operation described above in FIGS. 1, 2a, 2b, 3a, 3b, and 4 to 18 may be performed for a tablet having a screen ratio of 21:9 and a monitor having an aspect ratio of 21:9.
  • the electronic device 1810 may propose expansion or reduction according to target display information (eg, aspect ratio) of the connected target device, and automatically change the size of the display screen if approved by a user input. Accordingly, the electronic device 1810 may adjust the size of the display screen so that black blank spaces (eg, a margin area) are minimized for both the connected target device and the electronic device 1810 during mirroring.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 제공된다. 전자 장치는, 통신 회로를 이용하여 타겟 장치로부터 타겟 장치의 디스플레이 정보를 수신하며, 타겟 장치의 디스플레이 정보에 기반하여 전자 장치의 플렉서블 디스플레이를 확장 또는 축소하고, 타겟 장치의 디스플레이 정보에 기초하여 컨텐츠가 표시되는 컨텐츠 영역 및 추가 정보가 표시되는 추가 정보 영역을 포함하는 미러링 데이터를 생성하며, 미러링 데이터를 통신 회로를 이용하여 타겟 장치에게 전송할 수 있다.

Description

미러링을 수행하는 장치 및 방법
아래의 개시의 다양한 실시예들은 미러링을 수행하는 기술에 관한 것이다.
유무선 통신 네트워크의 발달로, 화면을 디스플레이 하여 사용자가 시각적으로 인식할 수 있는 데이터를 출력하는 전자기기들이 유무선 통신 네트워크를 통하여 상호 연결될 수 있다.
전자기기들 상호간은 유무선 통신 네트워크를 통하여 각종 데이터를 송수신할 수 있으며, 일 전자기기에서 다른 전자기기를 원격으로 제어하거나 일 전자기기를 다른 전자기기를 통하여 이용할 수 있다.
유무선 통신 네트워크를 통하여 상호 연결 가능한 전자 기기들로는, 노트북, 넷북 또는 태블릿 PC과 같은 휴대용 컴퓨터, 스마트 폰 또는 PDA와 같은 휴대용 단말기, 및/또는 TV를 예로 들 수 있다.
전자 기기들을 상호 연결하여 이용하면, 사용자가 보다 편리하게 원하는 서비스 또는 기능을 제공받을 수 있으며, 한 전자 기기의 영상이 다른 기기로 미러링될 수도 있다.
위 정보는 본 개시의 이해를 돕기 위한 배경 정보로서만 제시된다. 위의 내용 중 어느 것이 본 개시와 관련하여 선행 기술로 적용될 수 있는지 여부에 대한 결정이 내려지지 않았으며 주장도 이루어지지 않았다.
다양한 화면 비율을 가지는 기기들 간의 미러링시 마진 영역이 발생하여 디스플레이의 활용성이 저하될 수 있다.
본 개시의 양태는 적어도 위에서 언급된 문제 및/또는 단점을 해결하고 적어도 아래에서 설명되는 이점을 제공하는 것이다. 따라서 본 개시의 양태는 미러링 동작 동안 미러링 데이터의 마진 영역에서 다양한 정보를 제공하고, 화면 크기의 변경에 대해 끊김 없이 미러링 데이터에서 컨텐츠 영역의 기준점을 고정하여 전자 장치 및 타겟 장치에서 출력하며, 설정에 따라 디스플레이의 화면 크기를 타겟 장치의 타겟 디스플레이에 맞춰 미러링 데이터에 포함되는 마진 영역을 줄이거나 제거할 수 있는 전자 장치를 제공한다.
추가적인 양태는 다음의 설명에서 부분적으로 설명될 것이고, 부분적으로는 설명으로부터 명백해질 것이며, 또는 제시된 실시예의 실행에 의해 학습될 수 있다.
본 개시의 양태에 따른 전자 장치가 제공된다. 전자 장치는, 변화가능한 화면 비율을 가지는 표시 화면을 포함하는 디스플레이; 미러링 디스플레이를 위해 타겟 장치와 통신을 수립하는 통신 회로; 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리; 및 상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 적어도 하나의 프로세서를 포함할 수 있다. 상기 명령어들은, 상기 표시 화면의 화면 비율을 식별하도록 구성될 수 있다. 상기 명령어들은, 상기 통신 회로를 이용하여 상기 타겟 장치로부터 상기 타겟 장치의 타겟 디스플레이 정보를 수신하도록 구성될 수 있다. 상기 명령어들은, 상기 표시 화면의 화면비율 및 상기 타겟 디스플레이 정보에 기초하여 컨텐츠가 표시되는 컨텐츠 영역 및 추가 정보가 표시되는 마진 영역을 포함하는 상기 미러링 데이터를 생성하도록 구성될 수 있다. 상기 명령어들은, 상기 표시 화면의 상기 화면 비율의 변경에 기초하여, 상기 미러링 데이터에서 상기 마진 영역의 크기를 변경하도록 구성될 수 있다. 상기 명령어들은, 상기 미러링 데이터에서 상기 마진 영역의 크기 변경에 기초하여 상기 추가 정보를 변경하도록 구성될 수 있다. 상기 명령어들은, 상기 타겟 장치에서 영상 표시를 위한 상기 미러링 데이터를 상기 통신 회로를 이용하여 상기 타겟 장치에게 전송하도록 구성될 수 있다.
본 개시의 다른 양태에 따르면, 적어도 하나의 프로세서로 구현되는 방법이 제공된다. 방법은, 변화가능한 화면 비율을 가지는 표시 화면을 포함하는 디스플레이를 가지는 타겟 장치와 미러링 디스플레이를 위한 통신을 통신 회로를 통해 수립하는 동작을 포함할 수 있다. 방법은 상기 통신 회로를 이용하여 상기 타겟 장치로부터 상기 타겟 장치의 타겟 디스플레이 정보를 수신하는 동작을 포함할 수 있다. 방법은 화면 확장에 대해 컨텐츠 양을 증가시키거나 추가 컨텐츠를 제공하는 제1 카테고리의 제1 어플리케이션에 대한 미러링 데이터를 생성하는 경우, 상기 제1 어플리케이션에 대한 미러링 데이터에서 상기 제1 어플리케이션이 표시되는 컨텐츠 영역의 기준점을 상기 타겟 디스플레이 정보에 기초하여 고정하는 동작을 포함할 수 있다. 방법은 상기 통신 회로를 이용하여 상기 제1 어플리케이션에 대한 미러링 데이터를 상기 타겟 장치에게 전송하는 동작을 포함할 수 있다.
전자 장치는 마진 영역을 통해 제한된 화면 크기 내에서 정보 전달 효율을 개선할 수 있다.
전자 장치는 미러링 데이터에서 컨텐츠 영역의 기준점을 일측 또는 중심축에 고정함으로써 안정적이면서 일관된 사용 경험을 제공할 수 있다.
전자 장치는 미러링의 대상이 되는 타겟 장치에 최적화된 확장 제어 및 이질감 없는 미러링 경험을 제공할 수 있다.
일 실시예에 따른 전자 장치는, 타겟 장치의 타겟 디스플레이 정보에 기초하여 전자 장치의 화면 비율이 타겟 디스플레이의 화면 비율에 매칭시킴으로써, 전자 장치 및 타겟 장치 중 한 장치의 디스플레이에서 화면 짤림을 개선할 수 있다.
본 개시의 다른 양태, 이점 및 두드러진 특징은 첨부된 도면과 함께 취해진 본 개시의 다양한 실시 예를 개시하는 다음의 상세한 설명으로부터 통상의 기술자에게 명백해질 것이다.
본 개시의 특정 실시예의 상기 및 다른 양태, 특징 및 이점은 첨부 도면과 함께 취해진 다음의 설명으로부터 더욱 명백해질 것이다.
도 1은, 본 개시의 일 실시예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2a 및 도 2b는 본 개시의 다양한 실시예에 따른 폐쇄 상태 및 개방 상태를 나타낸 전자 장치의 전면 사시도이다.
도 3a 및 도 3b는 본 개시의 다양한 실시예에 따른 폐쇄 상태 및 개방 상태를 나타낸 전자 장치의 후면 사시도이다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 표시 화면의 크기 변경을 도시한다.
도 5는 본 개시의 일 실시예에 따른 미러링 동작을 도시한 흐름도이다.
도 6 및 도 7은 본 개시의 다양한 실시예에 따른 마진 영역에서의 정보 제공을 도시한 도면이다.
도 8은 본 개시의 일 실시예에 따라 마진 영역에서 제공되는 정보를 도시한다.
도 9 및 도 10은 본 개시의 다양한 실시예에 따른 어플리케이션의 카테고리 별 기준점 매핑을 설명하는 도면이다.
도 11, 도 12, 및 도 13은 본 개시의 다양한 실시예에 따른 미러링에서 기준점의 고정을 설명하는 도면이다.
도 14는 본 개시의 일 실시예에 따른 미러링에서 중심축의 매핑을 설명하는 도면이다.
도 15는 본 개시의 일 실시예에 따른 미러링에서 확장 가능한 영역의 가이드를 설명하는 도면이다.
도 16 및 도 17은 본 개시의 다양한 실시예에서 전자 장치의 화면 크기를 자동으로 변경하는 동작을 설명하는 도면이다.
도 18은 본 개시의 일 실시예에서 전자 장치의 화면 크기를 설정에 따라 변경하는 것을 도시한 도면이다.
도면 전체에 걸쳐, 동일한 참조 번호는 동일하거나 유사한 요소, 특징 및 구조를 묘사하는 데 사용된다는 점에 유의해야 한다.
첨부된 도면을 참조한 다음의 설명은 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 개시의 다양한 실시예의 포괄적인 이해를 돕기 위해 제공된다. 이는 이해를 돕기 위한 다양한 특정 세부 사항이 포함되어 있지만, 이는 단지 예시적인 것으로 간주되어야 한다. 따라서, 본 기술분야의 통상의 지식을 가진 자는 본 개시의 범위 및 사상을 벗어나지 않고 여기 설명된 다양한 실시예의 다양한 변경 및 수정이 이루어질 수 있음을 인식할 것이다. 또한, 명확성과 간결성을 위해 잘 알려진 기능 및 구성에 대한 설명은 생략될 수 있다.
하기 설명 및 청구범위에서 사용된 용어 및 단어는 서지적 의미에 한정되지 않으며, 본 개시의 명확하고 일관된 이해를 가능하게 하기 위해 발명자에 의해 사용된 것에 불과하다. 따라서, 본 개시의 다양한 실시예의 다음의 설명은 단지 예시의 목적으로 제공되고 첨부된 청구범위 및 그 균등물에 의해 정의된 바와 같은 본 개시를 제한하기 위한 것이 아님이 통상의 기술자에게 명백해야 한다.
단수 형태 "a", "an" 및 "the"는 문맥이 달리 명백하게 지시하지 않는 한 복수 지시 대상을 포함하는 것으로 이해되어야 한다. 따라서, 예를 들어 "구성요소 표면"에 대한 언급은 그러한 표면 중 하나 이상에 대한 언급을 포함한다.
도 1은, 본 개시의 일 실시예에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 외부 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 외부 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 외부 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 외부 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 외부 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 외부 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 외부 전자 장치(102), 외부 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 외부 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다. 참고로, 통신 모듈은 미러링 디스플레이를 위해 타겟 장치(예: 외부 전자 장치(104))와 통신을 수립할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 외부 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 외부 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 외부의 외부 전자 장치(104)는 영상을 출력 가능한 타겟 디스플레이를 가지는 타겟 장치일 수 있다. 다른 실시예에 있어서, 외부의 외부 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 외부 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2a 및 도 2b는 본 개시의 다양한 실시예에 따른 폐쇄 상태 및 개방 상태를 나타낸 전자 장치(200)의 전면 사시도이다. 도 3a 및 도 3b는 본 개시의 다양한 실시예에 따른 폐쇄 상태 및 개방 상태를 나타낸 전자 장치(200)의 후면 사시도이다.
도 2a의 전자 장치(200)는 도 1의 전자 장치(101)와 적어도 일부 유사하거나, 전자 장치의 다른 실시예들을 더 포함할 수 있다.
도 2a, 도 2b, 도 3a, 및 도 3b를 참고하면, 전자 장치(200)는 제1하우징(210) 및 제1하우징(210)과 적어도 부분적으로 이동 가능하게 결합되는 제2하우징(220)을 포함할 수 있다. 한 실시예에 따르면, 제1하우징(210)은 제1플레이트(211), 제1플레이트(211)의 테두리를 따라 실질적으로 수직 방향(예: z 축 방향)으로 연장되는 제1측면 프레임(212)을 포함할 수 있다. 한 실시예에 따르면, 제1측면 프레임(212)은 제1측면(2121), 제1측면(2121)의 일단으로부터 연장되는 제2측면(2122) 및 제1측면(2121)의 타단으로부터 연장되는 제3측면(2123)을 포함할 수 있다. 한 실시예에 따르면, 제1하우징(210)은 제1플레이트(211)와 제1측면 프레임(212)을 통해 외부로부터 적어도 부분적으로 폐쇄된 제1공간을 포함할 수 있다.
다양한 실시예에 따르면, 제2하우징(220)은 제2플레이트(221), 제2플레이트(221)의 테두리를 따라 실질적으로 수직 방향(예: z 축 방향)으로 연장되는 제2측면 프레임(222)을 포함할 수 있다. 한 실시예에 따르면, 제2측면 프레임(222)은 제1측면(2121)과 반대 방향으로 향하는 제4측면(2221), 제4측면(2221)의 일단으로부터 연장되고, 제2측면(2122)과 적어도 부분적으로 결합되는 제5측면(2222) 및 제4측면(2221)의 타단으로부터 연장되고, 제3측면(2123)과 적어도 부분적으로 결합되는 제6측면(2223)을 포함할 수 있다. 다른 실시예로, 제4측면(2221)은 제2플레이트(221)가 아닌 다른 구조물로부터 연장되고, 제2플레이트(221)에 결합될 수도 있다. 한 실시예에 따르면, 제2하우징(220)은 제2플레이트(221)와 제2측면 프레임(222)을 통해 외부로부터 적어도 부분적으로 폐쇄된 제2공간을 포함할 수 있다. 한 실시예에 따르면, 제1플레이트(211), 제2플레이트(221)는 적어도 부분적으로 전자 장치(200)의 후면을 형성하도록 배치될 수 있다. 예컨대, 제1플레이트(211), 제2플레이트(221), 제1측면 프레임(212) 및 제2측면 프레임(222)은 폴리머, 코팅 또는 착색된 유리, 세라믹, 금속(예: 알루미늄, 스테인레스 스틸(STS), 또는 마그네슘), 또는 상기 물질들 중 적어도 둘의 조합에 의하여 형성될 수 있다.
다양한 실시예에 따르면, 전자 장치(200)는 제1하우징(210) 및 제2하우징(220)의 지지를 받도록 배치되는 플렉서블 디스플레이(230)를 포함할 수 있다. 한 실시예에 따르면, 플렉서블 디스플레이(230)는 제2하우징(220)의 지지를 받는 평면부 및 평면부로부터 연장되고, 제1하우징(210)의 지지를 받는 굴곡 가능부를 포함할 수 있다. 한 실시예에 따르면, 플렉서블 디스플레이(230)의 굴곡 가능부는, 전자 장치(200)가 폐쇄된 상태에서, 제1하우징(210)의 제1공간에서 외부로 노출되지 않도록 배치될 수 있으며, 전자 장치(200)가 개방된 상태에서, 제1하우징(210)의 지지를 받으면서 평면부로부터 연장되도록 외부로 노출될 수 있다. 따라서, 전자 장치(200)는 제2하우징(220)으로부터 제1하우징(210)의 이동에 따른 개방 동작에 따라, 플렉서블 디스플레이(230)의 표시 화면이 확장되는 롤러블 타입(rollable type) 전자 장치일 수 있다.
다양한 실시예에 따르면, 전자 장치(200)는 제1하우징(210)이, 제2하우징(220)의 제2공간에 적어도 부분적으로 삽입되고, 도시된 ① 방향으로 유동 가능하게 방식으로 결합될 수 있다. 예컨대, 전자 장치(200)는, 폐쇄 상태에서, 제1측면(2121)과 제4측면(2221)이 제1거리(d1)를 갖도록 제1하우징(210)과 제2하우징(220)의 결합된 상태가 유지될 수 있다. 한 실시예에 따르면, 전자 장치(200)는, 개방 상태에서, 제1측면(2121)이 제4측면(2221)으로부터 일정 거리(d2)만큼 돌출된 제2이격 거리(d)를 갖도록 제1하우징(210)이 제2하우징(220)으로부터 돌출된 상태가 유지될 수 있다. 한 실시예에 따르면, 플렉서블 디스플레이(230)는, 개방 상태에서, 양단부가 곡형으로 형성된 곡면 에지를 갖도록 제1하우징(210) 및/또는 제2하우징(220)의 지지를 받을 수도 있다.
다양한 실시예에 따르면, 전자 장치(200)는 제1공간 및/또는 제2공간에 배치되는 구동 유닛을 통해 자동으로, 개방 상태 및 폐쇄 상태로 천이될 수 있다. 예컨대, 전자 장치(200)의 프로세서(예: 도 1의 프로세서(120))는 전자 장치(200)의 개폐 상태 천이를 위한 이벤트를 검출하면, 구동 유닛을 통해 제1하우징(210)의 동작을 제어하도록 설정될 수 있다. 다른 실시예로, 제1하우징(210)은 사용자의 조작을 통해 제2하우징(220)으로부터 수동으로 돌출될 수도 있다. 이러한 경우, 제1하우징(210)은 사용자가 원하는 돌출량으로 돌출 가능하며, 이로 인한 플렉서블 디스플레이(230)의 화면 역시 다양한 디스플레이 면적을 갖도록 가변될 수 있다. 따라서, 전자 장치(200)의 프로세서(예: 도 1의 프로세서(120))는 제1하우징(210)의 일정 돌출량에 대응하는 디스플레이 면적에 대응하여, 다양한 방식으로 객체를 표시하고, 응용 프로그램을 실행하도록 제어할 수도 있다.
다양한 실시예에 따르면, 전자 장치(200)는, 입력 장치(203), 음향 출력 장치(206, 207), 센서 모듈(204, 217), 제1 카메라 장치(205) 및 제2 카메라 장치(216), 커넥터 포트(208), 키 입력 장치(미도시 됨) 또는 인디케이터(미도시 됨) 중 적어도 하나를 포함할 수 있다. 다른 실시예로, 상기 전자 장치(200)는, 상술한 구성 요소들 중 적어도 하나를 생략하거나 다른 구성 요소들이 추가적으로 포함될 수도 있다.
다양한 실시예에 따르면, 입력 장치(203)는, 마이크(203)를 포함할 수 있다. 어떤 실시예에서는, 입력 장치(203)는 소리의 방향을 감지할 수 있도록 배치되는 복수개의 마이크(203)를 포함할 수도 있다. 음향 출력 장치(206, 207)는 스피커들(206, 207)을 포함할 수 있다. 스피커들(206, 207)은, 외부 스피커(206) 및 통화용 스피커(207)를 포함할 수 있다. 다른 실시예로, 외부 스피커(206)가 제1하우징(210)에 배치될 경우, 폐쇄 상태에서, 제2하우징(220)에 형성된 스피커 홀(206)을 통해 음향이 출력되도록 구성될 수도 있다. 한 실시예에 따르면, 마이크(203) 또는 커넥터 포트(208) 역시 실질적으로 동일한 구성을 갖도록 형성될 수도 있다. 다른 실시예로, 음향 출력 장치(206, 207)는 별도의 스피커 홀(206)이 배제된 채, 동작되는 스피커(예: 피에조 스피커)를 포함할 수도 있다.
다양한 실시예에 따르면, 센서 모듈(204, 217)은, 전자 장치(200)의 내부의 작동 상태, 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈(204, 217)은, 예를 들어, 제2하우징(220)의 전면에 배치된 제1센서 모듈(204)(예: 근접 센서 또는 조도 센서) 및/또는 제2하우징(220)의 후면에 배치된 제2센서 모듈(217)(예: HRM 센서)를 포함할 수 있다. 한 실시예에 따르면, 제1센서 모듈(204)은 제2하우징(220)에서, 플렉서블 디스플레이(230) 아래에 배치될 수 있다. 한 실시예에 따르면, 제1센서 모듈(204)은 근접 센서, 조도 센서(예: 제1 센서 모듈(204)), TOF(time of flight) 센서, 초음파 센서, 지문 인식 센서, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서 또는 습도 센서 중 적어도 하나를 더 포함할 수 있다.
다양한 실시예에 따르면, 카메라 장치(205, 216)는, 전자 장치(200)의 제2하우징(220)의 전면에 배치된 제1카메라 장치(205), 및 제2하우징(220)의 후면에 배치된 제2카메라 장치(216)를 포함할 수 있다. 한 실시예에 따르면, 전자 장치(200)는 제2카메라 장치(216) 근처에 위치되는 플래시(218)를 포함할 수 있다. 한 실시예에 따르면, 카메라 장치들(205, 216)은, 하나 또는 복수의 렌즈들, 이미지 센서, 및/또는 이미지 시그널 프로세서를 포함할 수 있다. 한 실시예에 따르면, 제1카메라 장치(205)는 플렉서블 디스플레이(230) 아래에 배치되고, 플렉서블 디스플레이(230)의 활성화 영역 중 일부를 통해 피사체를 촬영하도록 구성될 수도 있다. 한 실시예에 따르면, 플래시(218)는, 예를 들어, 발광 다이오드 또는 제논 램프(xenon lamp)를 포함할 수 있다. 어떤 실시예에서는, 2개 이상의 렌즈들 (광각 및 망원 렌즈) 및 이미지 센서들이 상기 전자 장치(200)의 한 면에 배치될 수 있다.
다양한 실시예에 따르면, 전자 장치(200)는 적어도 하나의 안테나(미도시 됨)를 포함할 수 있다. 한 실시예에 따르면, 적어도 하나의 안테나는, 예를 들어, 외부 전자 장치(예: 도 1의 전자 장치(104))와 무선으로 통신을 하거나, 충전에 필요한 전력을 무선으로 송수신할 수 있다. 한 실시예에 따르면, 안테나는 legacy antenna, mmWave antenna, NFC(near field communication) 안테나, 무선 충전 안테나, 및/또는 MST(magnetic secure transmission) 안테나를 포함할 수 있다. 다른 실시예로, 금속으로 형성된 제1측면 프레임(212) 및/또는 제2측면 프레임(222)의 적어도 일부를 통해 안테나 구조가 형성될 수도 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 4는 본 개시의 일 실시예에 따른 전자 장치의 표시 화면의 크기 변경을 도시한다.
도 4를 참조하면, 일 실시예에 따른 전자 장치(400)(예: 도 1의 전자 장치(101))의 디스플레이 모듈(예: 도 1의 디스플레이 모듈(160))은 변화가능한 화면 비율을 가지는 표시 화면을 포함할 수 있다. 표시 화면은 디스플레이 모듈의 화면 중 일측(예: 사용자가 위치된 측)에서 보여지는 부분(viewable portion)의 화면을 나타낼 수 있다. 본 명세서에서는 주로 구동체(412)(예: 도 2a, 도 2b, 도 3a, 및 도 3b의 제1 하우징(210))의 이동에 따른 개방 동작에 따라 표시 화면이 확장되는 롤러블 타입의 전자 장치(400)를 설명한다. 참고로, 본 명세서에서는 전자 장치(400)가 롤러블 타입인 예시를 주로 설명하나, 이로 한정하는 것은 아니고, 표시 화면의 크기를 변경할 수 있는 다양한 플렉서블 폼팩터의 장치일 수도 있다.
롤러블 타입의 전자 장치(400)의 디스플레이 모듈은 일측에서 볼 때 ⊂ 자형(⊂-shaped) 또는 ⊃자형으로 구부러진 형상을 가질 수 있다. 디스플레이 모듈과 연결된 구동체(412)의 제1 방향을 향한 이동에 따라 디스플레이 모듈의 화면 중 곡선부가 제1 방향으로 밀려 나오며 표시 화면이 확장될 수 있다. 예를 들어, 도 4에 도시된 바와 같이, 축소된 전자 장치(410)의 표시 화면(411)에서 제1 방향으로 구동체(412)가 이동될 수 있다. 제1 방향으로의 구동체(412)의 이동에 의해 디스플레이 모듈의 구부러졌던 부분이 펼쳐지면서 확장된 전자 장치(420)에서 표시 화면이 확장될 수 있다. 반대로, 구동체(412)의 제2 방향을 향한 이동에 따라 곡선부가 제2 방향으로 당겨지면서 표시 화면이 축소될 수 있다.
일 실시예에 따르면 전자 장치(400)의 디스플레이 모듈은, 모터 구동에 의해 표시 화면의 크기를 증가시키거나 감소시킬 수 있다. 예시적으로 전자 장치(400)는 내부에 포함된 모터(492)를 통해 슬라이드 레일(491)을 따라 구동체(412)를 이동시킴으로써 표시 화면의 크기 변경을 위한 구동을 수행할 수 있다. 다만, 이로 한정하는 것은 아니고, 전자 장치(400)의 구동체(412)가 외력(예: 사용자에 의해 파지된 구동체(412)를 움직이는 사용자의 힘)에 의해 수동으로(manually) 이동될 수도 있다.
도 4를 다시 참조하면, 디스플레이 모듈의 일축(예: y 축)을 따른 길이(예: y축 길이로서 세로 길이)는 고정되고, 타축(예: x 축)을 따른 길이(예: x축 길이로서 가로 길이)가 디스플레이 확장 및 축소에 의해 변경될 수 있다. 일축을 따른 길이가 고정된 채로 타축을 따른 길이가 달라지므로, 전술한 표시 화면의 화면 크기 변경에 의해 전자 장치(400)의 화면 비율이 달라질 수 있다.
도 5는 본 개시의 일 실시예에 따른 미러링 동작을 도시한 흐름도이다.
도 5를 참조하면, 동작(510)에서 전자 장치(예: 도 1의 전자 장치(101))는 표시 화면의 화면 비율을 식별할 수 있다. 예를 들어, 전자 장치는 표시 화면의 제1 축(예: y축)을 따른 길이(예: y축 길이로서 세로 길이) 대비 제2 축(예: x축)을 따른 길이(예: x축 길이로서 가로 길이) 간의 비율을 화면 비율로서 식별할 수 있다. 전자 장치는, y축을 따른 길이가 고정된 경우, x축을 따른 길이의 변경을 모니터링함으로써, y축을 따른 길이(예: y축 길이=세로 길이=3a) 대비 x축을 따른 길이(예: x축 길이=가로 길이=4a)의 비율에 기초하여 화면 비율(예: 4:3)을 결정할 수 있다. 여기서, a는 0 이상의 실수일 수 있다. 다만, 화면 비율을 이로 한정하는 것은 아니고, 화면의 각 축을 따라 배치되는 픽셀들의 개수를 나타낸 해상도(예: 1024Х768 픽셀)로도 표현될 수 있다.
동작(520)에서 전자 장치는 통신 모듈을 이용하여 타겟 장치로부터 타겟 장치의 타겟 디스플레이 정보를 수신할 수 있다. 타겟 디스플레이 정보는 타겟 장치에 포함된 타겟 디스플레이의 해상도 및 화면 비율 중 적어도 하나를 포함할 수 있다. 예를 들어, 타겟 디스플레이 정보는 타겟 디스플레이의 x축 길이(예: 가로 길이로서, 너비)에 대응하는 해상도(예: 픽셀 개수)도 포함할 수 있다.
동작(530)에서 전자 장치는 표시 화면의 화면비율 및 타겟 디스플레이 정보에 기초하여 타겟 장치에서 영상 표시를 위한 미러링 데이터를 생성하여 통신 모듈을 이용하여 타겟 장치에게 전송할 수 있다. 미러링 데이터의 생성 및 전송은 하기 도 6 내지 도 18에서 설명한다.
미러링 데이터는 전자 장치로부터 타겟 장치에게 전달되는 미러링 동작을 위한 데이터로서, 예시적으로, 타겟 장치에서 출력되는 미러링 영상을 포함할 수 있다. 예를 들어, 미러링 영상은 컨텐츠 영역에 대응하는 영상 및 마진 영역(예: 추가 정보 영역)에 대응하는 영상이 병합된 영상일 수 있다. 컨텐츠 영역은 전자 장치의 디스플레이 모듈에서 출력되는 어플리케이션 및 컨텐츠가 표시되는 영역을 나타낼 수 있다. 마진 영역은 미러링 영상에서 컨텐츠 영역을 제외한 나머지 영역을 나타낼 수 있다. 미러링 데이터를 수신한 타겟 장치는 전자 장치의 디스플레이 모듈을 통해 표시되는 영상과 동일한 영상을 컨텐츠 영역에서 출력함으로써, 전자 장치의 디스플레이 모듈에서 출력되는 영상을 미러링할 수 있다. 전자 장치는 전술한 표시 화면의 화면 비율 및 타겟 디스플레이 정보에 기초하여 컨텐츠 영역 및 마진 영역의 크기(size)(예: 너비)를 조정하거나, 마진 영역에 포함될 정보를 결정할 수 있다.
참고로, 미러링 데이터가 컨텐츠 영역 및 마진 영역이 병합된 미러링 영상만 포함하는 것으로 한정하는 것은 아니고, 미러링을 위해 요구되는 데이터(예: 화면 전송률, 각 장치에서 출력되는 미러링 영상의 시간 정보, 컨텐츠 영역의 너비, 컨텐츠 영역의 기준점이 고정되는 좌표, 및/또는 마진 영역의 너비) 및/또는 미러링에 수반되는 데이터(예: 장치 상태 정보, 알림 정보, 및/또는 미러링 정보)도 포함할 수 있다. 예를 들어, 미러링 영상이 컨텐츠 영역에 대응하는 영상을 포함하고, 미러링 데이터는 미러링 영상과 함께 미러링을 위해 요구되는 데이터(예: 컨텐츠 영역의 너비, 컨텐츠 영역의 기준점이 고정되는 좌표, 및/또는 마진 영역의 너비)를 포함할 수도 있다.
일 실시예에 따른 전자 장치는 미러링 동작 동안 하기 도 5 내지 도 8에서 설명하는 바와 같이, 미러링 데이터에 마진 영역이 포함되더라도 마진 영역에서 다양한 정보를 제공할 수 있다. 전자 장치는 마진 영역을 통해 제한된 화면 크기 내에서 정보 전달 효율을 개선할 수 있다.
또한, 전자 장치는 미러링 중 화면 크기의 변경에 대해 끊김 없이 미러링 데이터를 전자 장치 및 타겟 장치에서 출력할 수 있다. 전자 장치는 미러링 데이터에서 컨텐츠 영역의 기준점을 일측 또는 중심축에 고정함으로써 안정적이면서 일관된 사용 경험을 제공할 수 있다. 전자 장치는 미러링의 대상이 되는 타겟 장치에 최적화된 확장 제어 및 이질감 없는 미러링 경험을 제공할 수 있다.
전자 장치는 설정에 따라 미러링 데이터에 포함되는 마진 영역을 줄이거나 제거할 수도 있다. 전자 장치는, 타겟 장치의 타겟 디스플레이 정보에 기초하여 전자 장치의 화면 비율이 타겟 디스플레이의 화면 비율에 매칭시킴으로써, 전자 장치 및 타겟 장치 중 한 장치의 디스플레이 모듈에서 화면 짤림을 개선할 수도 있다.
도 6 및 도 7은 본 개시의 다양한 실시예에 따른 마진 영역에서의 정보 제공을 도시한 도면이다.
도 6 및 도 7을 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101))는 마진 영역(790)에서 정보를 포함하는 미러링 데이터를 생성하고, 마진 영역(790)의 크기 변화(size change)에 따라 마진 영역(790)에 포함되는 정보의 크기, 양, 및/또는 정보를 나타내는 그래픽 표현을 변경할 수 있다.
동작(631)에서 전자 장치는 컨텐츠가 표시되는 컨텐츠 영역(780) 및 추가 정보가 표시되는 마진 영역(790)을 포함하는 미러링 데이터를 생성할 수 있다. 추가 정보는 장치 상태 정보, 알림 정보, 미러링 정보, 및 보조 정보 중 적어도 하나를 포함할 수 있다. 추가 정보의 각 예시는 하기 도 8에서 설명한다.
미러링 데이터에서 컨텐츠 영역(780) 및 마진 영역(790)은 디스플레이 모듈(예: 도 1의 디스플레이 모듈(160))의 표시 화면의 화면 비율 및 타겟 디스플레이 정보에 기초하여 결정될 수 있다. 예를 들어, 전자 장치는, 표시 화면의 화면 비율과 타겟 디스플레이 정보의 화면 비율이 상이한 경우, 표시 화면의 화면 비율을 가지는 컨텐츠 영역(780) 및 마진 영역(790)을 포함하는 미러링 데이터를 생성할 수 있다. 컨텐츠 영역(780) 및 마진 영역(790)이 통합된 미러링 데이터의 미러링 영상은 타겟 디스플레이 정보의 화면 비율을 가질 수 있다. 예시적으로, 전자 장치의 표시 화면의 제1 축을 따른 길이(예: y축 길이로서 세로 길이) 대비 제2 축을 따른 길이(예: x축 길이로서 가로 길이)의 비율(예: 표시 화면의 화면 비율, 9:19)이 타겟 장치의 타겟 디스플레이 정보에서 타겟 디스플레이의 y축을 따른 길이(예: 세로 길이) 대비 x축을 따른 길이(예: 가로 길이)의 비율(예: 타겟 디스플레이의 화면 비율, 16:9)보다 작은 경우, 마진 영역(790)이 컨텐츠 영역(780)의 양측에 위치될 수 있다. 다시 말해, 세로(portrait) 모드의 스마트폰의 미러링 영상이 TV에서 출력되는 경우, 미러링 데이터는 컨텐츠 영역(780)의 양측에 위치되는 마진 영역(790)을 포함할 수 있다. 다만, 이로 한정하는 것은 아니고, 가로(landscape) 모드의 스마트폰이거나, 타겟 디스플레이가 세로로 길쭉한 형상인 경우 마진 영역(790)이 컨텐츠 영역(780)의 위쪽 및 아래쪽에 위치될 수도 있다. 다만, 설명의 편의를 위하여 도 6에서는 y축(예: 제1 축으로서 세로 축)에 평행한 중심축을 기준으로 컨텐츠 영역(780)의 양측에 마진 영역(790)이 위치되는 미러링 영상의 예시를 주로 설명한다.
동작(632)에서 전자 장치는 표시 화면의 화면 비율 변경을 모니터링할 수 있다. 예를 들어, 플렉서블 디스플레이를 가지는 전자 장치(예: 롤러블 타입의 전자 장치)는 전술한 바와 같이 화면을 확장 또는 축소함으로써 화면 비율을 변경할 수 있다. 동작(633)에서 전자 장치는 화면 비율에 변경이 없는 경우, 동작(631)에서 생성된 미러링 데이터의 마진 영역(790) 및 해당 마진 영역(790)에서 출력 중인 추가 정보를 유지할 수 있다.
동작(634)에서 전자 장치는 표시 화면의 화면 비율의 변경에 기초하여, 미러링 데이터에서 마진 영역(790)의 크기를 변경할 수 있다. 전자 장치는 디스플레이 모듈의 확장에 의해 표시 화면의 제2 축(예: x축으로서 가로축)을 따른 화면 길이가 증가하는 경우, 표시 화면의 화면 비율에서 제2 축에 대응하는 성분 값을 증가시킬 수 있다. 따라서, 전자 장치는 미러링 영상에서 컨텐츠 영역(780)의 너비를 증가시키고, 마진 영역(790)의 크기(size)(예: 너비)를 감소시킬 수 있다. 다른 예를 들어, 전자 장치는 디스플레이 모듈의 축소에 의해 표시 화면의 제2 축을 따른 화면 길이가 감소하는 경우, 표시 화면의 화면 비율에서 제2 축에 대응하는 성분 값을 감소시킬 수 있다. 따라서, 전자 장치는 미러링 영상에서 컨텐츠 영역(780)의 너비를 감소시키고, 마진 영역(790)의 크기(예: 너비)를 증가시킬 수 있다.
동작(635)에서 전자 장치는 미러링 데이터에서 마진 영역(790)의 크기 변경에 기초하여 추가 정보를 변경할 수 있다. 예를 들어, 롤러블 타입의 전자 장치는 마진 영역(790)의 크기 변경에 기초하여, 추가 정보의 크기, 양, 및 그래픽 표현 중 적어도 하나를 변경할 수 있다.
일 실시예에 따르면 전자 장치는 마진 영역(790)의 크기에 기초하여 추가 정보에 할당되는 표시 영역을 결정할 수 있다. 전자 장치는 마진 영역(790)의 크기가 감소하는 것에 기초하여, 추가 정보에 할당된 표시 영역을 감소시킬 수 있다. 전자 장치는 마진 영역(790)의 크기가 증가하는 것에 기초하여, 추가 정보에 할당된 표시 영역을 증가시킬 수 있다. 도 7을 참조하면, 확장 전 제1 크기의 표시 화면을 가지는 전자 장치는 마진 영역(790) 중 제1 표시 영역(711)에서 추가 정보를 포함하는 제1 미러링 데이터(710)를 생성할 수 있다. 전술한 제1 크기보다 큰 제2 크기의 표시 화면을 가지는 전자 장치는 마진 영역(790) 중 제2 표시 영역(712)에서 추가 정보를 포함하는 제2 미러링 데이터(720)를 생성할 수 있다. 확장이 완료된 제3 크기의 표시 추가 정보의 크기, 양, 및 그래픽 표현 화면을 가지는 전자 장치는 마진 영역(790) 중 제3 표시 영역(713)에서 추가 정보를 포함하는 제3 미러링 데이터(730)를 생성할 수 있다. 제3 표시 영역(713)은 제2 표시 영역(712)보다 작고 제2 표시 영역(712)은 제1 표시 영역(711)보다 작을 수 있다. 따라서, 전자 장치는 타겟 디스플레이에서 출력되는 미러링 데이터(710, 720, 730)의 추가 정보를 마진 영역(790)의 크기에 따라 증감시킬 수 있다.
또한, 전자 장치는 마진 영역(790)의 크기 변화량이 미리 결정된 임계 변화량을 초과하는 것에 기초하여 추가 정보를 변경할 수 있다. 크기 변화량은 마진 영역(790)의 크기가 감소된 량 또는 증가된 량으로서, 예시적으로 변화 전 마진 영역 및 변화 후 마진 영역 간의 크기 차이(예: 면적 차이 또는 x축 길이 차이)의 절대값일 수 있다. 전술한 예시에서, 전자 장치는 확장 전 표시 화면에 기초하여 생성된 제1 미러링 데이터(710)의 제1 마진 영역(791)보다 임계 변화량만큼 감소된 마진 영역(792)이 검출되는 경우, 추가 정보가 표시되는 영역을 제1 표시 영역(711)으로부터 제2 표시 영역(712)으로 변경할 수 있다. 전자 장치는 제1 마진 영역(791)으로부터 제2 마진 영역(792)으로의 크기 변화량이 임계 변화량을 초과하는 경우, 제2 표시 영역(712)에서 추가 정보를 표시할 수 있다. 유사하게, 전자 장치는 제2 미러링 데이터(720)의 마진 영역(792)보다 임계 변화량만큼 감소된 마진 영역(793)이 검출되는 경우, 추가 정보가 표시되는 영역을 제2 표시 영역(712)으로부터 제3 표시 영역(713)으로 변경할 수 있다. 다시 말해, 전자 장치는 마진 영역(790)의 크기가 임계 변화량만큼 변화할 때마다 단계적으로 추가 정보가 표시되는 영역의 크기를 변경할 수 있다. 또한, 전자 장치는 추가 정보가 표시되는 영역의 크기 뿐만 아니라, 추가 정보의 양 및 그래픽 표현도 단계적으로 변경할 수도 있다.
일 실시예에 따른 전자 장치는 마진 영역(790)의 크기가 최소 크기보다 작으면, 미러링 데이터로부터 추가 정보를 제거할 수 있다. 최소 크기는 추가 정보의 항목을 나타내는 아이콘(예: 시간을 나타내는 아이콘, 신호 세기를 나타내는 아이콘, 배터리 잔량을 나타내는 아이콘, 어플리케이션 알림을 나타내는 아이콘, 및/또는 미러링 관련 아이콘)의 표시를 위해 요구되는 영역의 크기를 나타낼 수 있다. 따라서, 전자 장치는 아이콘의 표시를 위해 요구되는 최소 크기보다 마진 영역(790)의 크기가 작으면, 추가 정보의 제공을 생략할 수 있다.
도 8은 본 개시의 일 실시예에 따라 마진 영역(890)에서 제공되는 정보를 도시한다.
도 8을 참조하면, 전술한 바와 같이, 추가 정보는 장치 상태 정보(810), 알림 정보(820), 미러링 정보(830), 및 보조 정보(840) 중 적어도 하나를 포함할 수 있다. 전자 장치는 설정에 따라 장치 상태 정보(810), 알림 정보(820), 미러링 정보(830), 및 보조 정보(840) 중 하나를 마진 영역(890)에 포함시키거나, 전술한 정보 중 둘 이상이 조합된 정보를 마진 영역(890)에 포함시킬 수도 있다. 도 8에서는 설명의 편의를 위하여, 개별 정보를 전자 장치의 표시 화면의 크기 별로 설명한다. 도 8을 참조하면, 최소 화면 크기는 전자 장치가 확장되지 않은 경우(예: roll-in)의 표시 화면의 크기를 나타낼 수 있다. 최대 화면 크기는 전자 장치의 최대 확장이 완료된 경우(예: roll-out)의 표시 화면의 크기를 나타낼 수 있다. 중간 화면 크기는 최소 화면 크기 및 최대 화면 크기 사이의 전자 장치가 부분적으로 확장된 경우(예: partial roll-out)의 표시 화면의 크기일 수 있다.
장치 상태 정보(810)는 장치의 상태를 지시하는 정보로서, 예시적으로, 전자 장치의 시각 정보, 통신 정보(예: 연결된 Wi-Fi 네트워크 및 통신 유형), 및/또는 배터리 정보(예: 배터리 잔량, 예상 사용 가능 시간)를 포함할 수 있다. 최소 화면 크기를 가지는 전자 장치는 연도, 월, 일, 요일, 및 시각을 완전히 나타내는 시간 표기법의 시각 정보, 통신 유형 및 네트워크 이름을 포함하는 통신 정보, 및/또는 예상 가용 시간 및 잔량을 나타내는 배터리 정보를 미러링 데이터에 포함시킬 수 있다. 중간 화면 크기를 가지는 전자 장치는 요약된 시간 표기법의 시간 정보, 네트워크 이름 및 통신 세기를 포함하는 통신 정보, 및/또는 잔량 및 잔량 아이콘을 나타내는 배터리 정보를 미러링 데이터에 포함시킬 수 있다. 최대 화면 크기를 가지는 전자 장치는 시(hour), 분(minute)만 나타내는 시간 정보, 통신 아이콘, 또는 배터리 아이콘 중 적어도 하나를 미러링 데이터에 추가 정보로서 포함시킬 수 있다.
알림 정보(820)는 전자 장치에 설치된 어플리케이션에서 수신된 알림 메시지를 지시하는 정보로서, 예시적으로 메신저 어플리케이션에서 수신된 메시지에 대한 알림, 소셜 네트워크 서비스 어플리케이션에서 수신된 알림, 또는 금융 어플리케이션 중 적어도 하나에서 수신된 알림을 포함할 수 있다. 최소 화면 크기를 가지는 전자 장치는 각 어플리케이션의 알림 내용 및 알림을 수신한 시간을 추가 정보로서 마진 영역(890)에 포함시킬 수 있다. 중간 화면 크기를 가지는 전자 장치는 각 어플리케이션의 알림이 발생한 시각을 추가 정보로서 마진 영역(890)에 포함시킬 수 있다. 최대 화면 크기를 가지는 전자 장치는 알림이 발생한 각 어플리케이션의 아이콘만을 추가 정보로서 마진 영역(890)에 포함시킬 수 있다.
미러링 정보(830)는 미러링 동작과 관련된 정보로서, 예시적으로, 미러링에서 영상의 재생 시간, 미러링 연결 시간, 및/또는 미러링에서 사용 가능한 기능(예: 자동 화면 맞춤)을 포함할 수 있다. 최소 화면 크기를 가지는 전자 장치는 미러링 정보(830)의 각 항목을 텍스트로 표현한 추가 정보를 미러링 데이터에 포함시킬 수 있다. 중간 화면 크기를 가지는 전자 장치는 미러링 정보(830)의 각 항목을 아이콘으로 표현한 추가 정보를 미러링 데이터에 포함시킬 수 있다. 최대 화면 크기를 가지는 전자 장치는 미러링 정보(830)의 각 항목을 최소화된 그래픽 표현으로 미러링 데이터에 포함시킬 수 있다.
보조 정보(840)는 미러링 동작에서 실행 중인 어플리케이션의 컨텐츠에서 보조적으로 제공되는 정보를 나타낼 수 있다. 최소 화면 크기를 가지는 전자 장치는 현재 재생 중인 영상의 다음으로 재생되는 영상에 대한 썸네일 및 설명을 추가 정보로서 미러링 데이터에 포함시킬 수 있다. 중간 화면 크기를 가지는 전자 장치는 다음으로 재생되는 영상에 대한 썸네일만 미러링 데이터에 포함시킬 수 있다. 최대 화면 크기를 가지는 전자 장치는 다음으로 재생되는 영상의 대기열이 있다는 정보만 미러링 데이터에 포함시킬 수 있다.
도 8에 도시된 추가 정보는 단순한 예시로서 이로 한정하는 것은 아니며, 최대 화면 크기를 가지는 전자 장치는 다른 화면 크기 대비 최소화된 정보량 및 크기의 추가 정보를 미러링 데이터에 포함시킬 수 있다.
도 9 및 도 10은 본 개시의 다양한 실시예에 따른 어플리케이션의 카테고리 별 기준점 매핑을 설명하는 도면이다.
일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101))는 미러링되는 어플리케이션의 속성(950)을 기반으로 타겟 디스플레이에 표시될 미러링의 기준점(예, 영점 또는 중심축)을 결정할 수 있다. 컨텐츠 영역의 기준점 및 기준점이 고정되는 지점은 어플리케이션의 속성(950)에 따라 달라질 수 있다. 전자 장치는 해당 기준점을 기준으로 표시 화면의 크기에 따라 실시간으로 변경되는 컨텐츠 영역에서 어플리케이션을 표시할 수 있다. 어플리케이션의 속성(950)은 어플리케이션의 카테고리에 기초하여 식별될 수 있다. 어플리케이션의 속성(950)은 예시적으로 제1 카테고리 및 제2 카테고리로 분류될 수 있으며, 하기 동작(931)에서 후술한다.
동작(939)에서 전자 장치는 자동 기준점 맞출 설정을 활성화할 수 있다. 예를 들어, 전자 장치는 미러링 표시 기준점 설정 인터페이스(940)에서 사용자 입력에 기초하여 어플리케이션 및/또는 컨텐츠의 카테고리 별로 기준점의 자동 맞춤을 수행하는 기능을 활성화할 수 있다.
동작(931)에서 전자 장치는 실행 중인 어플리케이션의 카테고리를 식별할 수 있다. 예를 들어, 전자 장치는 실행 중인 어플리케이션을 제1 카테고리 및 제2 카테고리 중 한 카테고리로 식별할 수 있다. 제1 카테고리는 화면 확장에 대해 컨텐츠 양을 증가시키거나 추가 컨텐츠를 제공하는 어플리케이션을 포함하는 카테고리일 수 있다. 다시 말해, 제1 카테고리에 속하는 제1 어플리케이션은 표시 화면의 확장이 검출되는 경우 확장 전에 표시되던 컨텐츠 외에 추가 컨텐츠를 더 제공할 수 있다. 제1 카테고리의 제1 어플리케이션은 예시적으로 홈 스크린, 브라우저 어플리케이션, 메모 어플리케이션, 노트 어플리케이션, 및/또는 웹뷰 어플리케이션을 포함할 수 있다. 제2 카테고리는 화면 확장에 대해 컨텐츠가 차지하는 면적이 증가하는 어플리케이션을 포함하는 카테고리일 수 있다. 다시 말해, 제2 카테고리에 속하는 제2 어플리케이션은 표시 화면의 확장이 검출되는 경우 확장 전에 표시된 컨텐츠 자체를 확대하여 제공할 수 있다. 제2 카테고리의 제2 어플리케이션은 예시적으로 게임 어플리케이션, 갤러리 어플리케이션, 비디오 플레이어, 및/또는 비디오 스트리밍 어플리케이션을 포함할 수 있다.
동작(932)에서 전자 장치는 실행 중인 어플리케이션이 제1 카테고리로 식별되는 경우, 타겟 디스플레이의 일측에 컨텐츠 영역의 기준점을 고정하여 미러링 동작을 수행할 수 있다. 예를 들어, 전자 장치는, 제1 카테고리의 제1 어플리케이션에 대한 미러링 데이터를 생성하는 경우, 제1 어플리케이션에 대한 미러링 데이터에서 제1 어플리케이션이 표시되는 컨텐츠 영역의 기준점을 타겟 디스플레이 정보에 기초하여 고정할 수 있다. 전자 장치는 제1 어플리케이션에 대한 미러링 데이터에서 컨텐츠 영역의 하나 이상의 기준점이 고정되는 하나 이상의 지점을 디스플레이 모듈의 최대 확장 크기 및 타겟 디스플레이 정보에 기초하여 결정할 수 있다. 예시적으로, 최대 확장 크기의 컨텐츠 영역이 타겟 디스플레이의 중심에 정렬되도록, 컨텐츠 영역의 기준점이 고정되는 지점이 결정될 수 있다. 제1 어플리케이션에 대한 미러링 동작에서 기준점의 고정은 하기 도 11 및 도 12에서 설명한다. 참고로, 도 10에서는 제1 어플리케이션을 미러링하는 전자 장치(1010)가 화면 확장 동안 컨텐츠 영역(1011)의 기준점들(1012)을 타겟 디스플레이의 일측 엣지(예: 좌측 엣지)에 대응하는 지점들에 고정한 예시가 도시된다.
동작 (933)에서 전자 장치는 실행 중인 어플리케이션이 제2 카테고리로 식별되는 경우, 타겟 디스플레이의 중심축에 컨텐츠 영역의 중심축을 고정하여 미러링 동작을 수행할 수 있다. 도 9를 참조하면 중심축은 y축(예: 세로축)에 평행한 중심축을 예로 설명하나, 이로 한정하는 것은 아니고, 디스플레이의 확장 방향에 따라 x축(예: 가로축)에 평행한 중심축끼리 매핑될 수도 있다. 전자 장치는 제2 카테고리의 제2 어플리케이션에 대한 미러링 데이터를 생성하는 경우, 제2 어플리케이션에 대한 미러링 데이터에서 제2 어플리케이션이 표시되는 컨텐츠 영역의 중심축을 타겟 디스플레이 정보에 기초하여 타겟 장치의 타겟 디스플레이의 중심축에 매핑할 수 있다. 제2 어플리케이션에 대한 미러링 동작에서 중심축끼리의 매핑은 하기 도 13에서 설명한다. 참고로, 도 10에서는 제2 어플리케이션을 미러링하는 전자 장치(1020)가 화면 확장 동안 컨텐츠 영역(1021)의 중심축(1022)에 대응하는 기준점들을 타겟 디스플레이의 중심축에 대응하는 지점들에 고정한 예시가 도시된다.
동작(934)에서 전자 장치는 실행 중인 어플리케이션이 변경되는지 여부를 모니터링할 수 있다. 동작(935)에서 전자 장치는 실행 중인 어플리케이션이 계속되는 경우, 미러링을 유지할 수 있다. 전자 장치는 실행 중인 어플리케이션이 변경되는 경우, 동작(931)로 돌아가, 새로 실행된 어플리케이션의 카테고리 식별부터 수행할 수 있다.
일 실시예에 따른 전자 장치는 가변가능한 표시 화면을 가지는 디스플레이 모듈을 포함하면서, 디스플레이 모듈의 표시 화면의 크기 변경시 어플리케이션의 기준점을 고정함으로써 컨텐츠 몰입감 및 집중도를 유지하고, 어지러움의 발생을 방지할 수 있다.
도 11, 도 12, 및 도 13은 본 개시의 다양한 실시예에 따른 미러링에서 기준점의 고정을 설명하는 도면이다.
도 11, 도 12, 및 도 13을 참조하면, 일 실시예에 따른 전자 장치(1110)(예: 도 1의 전자 장치(101))는 타겟 디스플레이 정보에 기초하여 생성된 미러링 데이터에서 전자 장치(1110)의 표시 화면의 화면 비율에 대응하는 컨텐츠 영역(1129)을 결정하고, 나머지를 마진 영역으로 결정할 수 있다. 전자 장치(1110)는 표시 화면이 최대 확장된 너비를 기준으로 컨텐츠 영역(1129)의 양측에 마진 영역을 배치함으로써, 표시 화면의 크기 변경에도 컨텐츠 영역(1129)의 기준점을 고정시킬 수 있다. 참고로, 본 명세서에서 너비는 디스플레이의 물리적인 길이 너비가 아닌, 전자 장치(1110)의 디스플레이 모듈 및 타겟 디스플레이(1120)의 일축(예: y축으로서 세로 축)이 같은 스케일로 조정된 영역의 너비를 나타낼 수 있다. 예시적으로 전자 장치(1110)의 표시 화면에 대응하는 컨텐츠 영역(1129)의 너비는 타겟 디스플레이(1120)의 해상도 중 y축 해상도(예: 세로 해상도)를 기준으로 스케일링된 x축 해상도(예: 가로 해상도로서, x축에 대응하는 가로축을 따라 배열되는 픽셀들의 개수)일 수 있다. 예시적으로, 9:19 화면 비율의 표시 화면에 대응하는 컨텐츠 영역(1129)이 16:9 화면 비율의 3840Х2160 해상도의 타겟 디스플레이(1120)로 미러링 되는 경우, 컨텐츠 영역(1129)의 타겟 디스플레이(1120) 상 너비는 2160Х9/19=1023으로 계산될 수 있다. 다만, 이는 설명을 돕기 위한 예시로서, 이로 한정하는 것은 아니다.
예를 들어, 미러링 데이터에서 각 영역의 너비는 하기 수학식 1 내지 수학식 4에 따라 결정될 수 있다.
Figure PCTKR2022014033-appb-img-000001
전술한 수학식 1 내지 수학식 4에서 T는 타겟 디스플레이(1120)의 너비를 나타낼 수 있다. S_max는 전자 장치(1110)의 표시 화면이 최대로 확장된 경우의 너비(예: 최대 너비)를 나타낼 수 있다. S_min은 전자 장치(1110)의 표시 화면이 확장되지 않은 경우의 너비(예: 최소 너비)를 나타낼 수 있다. 확장률은 표시 화면이 확장된 정도를 나타내는 수치로서, 전술한 수학식 4와 같이 최대 너비 S_max 대비 현재 확장된 너비 s로 정의될 수 있으나, 이로 한정하는 것은 아니다.
제1 마진 영역(예: 제1 마진 부분(1121))은 도 11에서 컨텐츠 영역(1129)의 좌측에 위치된 마진 부분을 나타낼 수 있고, 제2 마진 영역(예: 제2 마진 부분(1122))은 컨텐츠 영역(1129)의 우측에 위치된 마진 부분을 나타낼 수 있다. 수학식 1의 제1 마진 너비는 제1 마진 영역의 너비를 나타내고 수학식 3의 제2 마진 너비는 제2 마진 영역의 너비를 나타낼 수 있다. 수학식 1에서 나타난 바와 같이, 제1 마진 너비는 상수로만 표현되므로, 제1 마진 영역의 너비는 전자 장치(1110)의 표시 화면의 크기 변경 동안 고정될 수 있다.
따라서, 전자 장치(1110)는 제1 어플리케이션에 대한 미러링 데이터에서 제1 마진 부분(1121)의 너비를 표시 화면의 확장률의 변화 동안 고정할 수 있다. 전자 장치(1110)는 컨텐츠 영역(1129)을 기준으로 제1 마진 부분(1121)의 반대편에 위치되는 제2 마진 부분(1122)의 너비를 확장률에 따라 변화시킬 수 있다. 타겟 디스플레이(1120)에서 컨텐츠 영역(1129)의 기준점들에 대응하는 기준선(1190)은 제1 마진 부분(1121)과의 경계선에 고정될 수 있다.
도 11을 참조하면 전자 장치(1110)의 표시 화면이 좌측으로부터 우측으로 확장되는 예시를 설명하였으나, 도 12는 표시 화면이 우측으로부터 좌측으로 확장되는 예시를 설명한다. 도 11에서는 표시 화면의 우측이 확장되므로, 전자 장치(1210)의 화면의 시작 좌표(예: 가장 왼쪽의 x 좌표)가 유지될 수 있다. 반면 도 12에 도시된 예시에서 전자 장치(1210)의 표시 화면이 좌측으로 확장됨에 따라, 표시 화면의 시작 좌표(예: 가장 왼쪽의 x 좌표로서, 영점)가 왼쪽으로 이동될 수 있다. 따라서, 전자 장치(1210)는 컨텐츠 영역(1229)의 기준점들에 대응하는 기준선(1290)을 전술한 수학식 1 내지 수학식 4에 따른 제1 마진 부분(1221)의 경계에 고정하고 제2 마진 부분(1222)을 조정하기 위해, 표시 화면의 미러링 시작 좌표를 하기 수학식 5와 같이 동적으로 조정할 수 있다.
Figure PCTKR2022014033-appb-img-000002
일 실시예에 따른 전자 장치(1210)는 표시 화면을 우측으로부터 좌측을 향하는 방향으로 확장하더라도, 타겟 디스플레이(1220)에서 출력되는 컨텐츠 영역(1229)을 좌측으로부터 우측으로 확장되는 형태로 미러링 데이터를 생성할 수 있다.
도 11 및 도 12를 참조하면 주로 세로 모드(예: 포트레이트 모드(portrait mode))로 동작하는 전자 장치에서의 미러링 동작을 설명했으나, 도 13을 참조하면 가로 모드(예: 랜드스케이프(landscape mode))로 동작하는 전자 장치에서 제1 카테고리의 제1 어플리케이션에 대한 미러링 동작 예시를 설명한다. 세로 모드는 축소된 전자 장치의 y축(예: 세로 축)을 기준으로 화면이 출력되는 모드를 나타내고, 가로 모드는 축소된 전자 장치의 x축(예: 가로 축)을 기준으로 화면이 출력되는 모드를 나타낼 수 있다.
세로 모드로부터 제1 회전방향(예: 반시계 방향)으로 회전된 전자 장치(1311)는 예시적으로 하단으로부터 상단(bottom to top)을 향하는 방향으로 확장 가능한 표시 화면을 가질 수 있다. 전자 장치(1311)는 타겟 디스플레이(1321)의 상단에 대응하는 경계(예: 타겟 디스플레이에서 가장 큰 y좌표)에 컨텐츠 영역의 기준선(1390)(예: 컨텐츠 영역에서 가장 큰 y좌표)을 고정시킬 수 있다. 세로 모드로부터 제1 회전방향에 반대되는 제2 회전방향(예: 시계방향)으로 회전된 전자 장치(1312)는 예시적으로 상단으로부터 하단(top to bottom)을 향하는 방향으로 확장 가능한 표시 화면을 가질 수 있다. 전자 장치(1312)는 타겟 디스플레이(1322)의 상단에 대응하는 경계에 컨텐츠 영역의 기준선(1390)을 고정시킬 수 있다. 따라서, 전자 장치(1311, 1312)는 포트레이트 모드 및/또는 랜드스케이프 모드의 방향과 무관하게, 사용자에게 일관된 미러링 경험을 제공할 수 있다.
도 14는 본 개시의 일 실시예에 따른 미러링에서 중심축의 매핑을 설명하는 도면이다.
도 14를 참조하면 일 실시예에 따른 전자 장치(1411, 1412)(예: 도 1의 전자 장치(101))는 마진 부분들(1421, 1422)의 너비를 조절함으로써, 미러링 동작에서 컨텐츠 영역(1429)의 중심축(1490)을 타겟 디스플레이의 중심축(1490)에 일치시킬 수 있다. 전자 장치(1411, 1412)는 표시 화면의 크기 변경에 따라 마진 부분들(1421, 1422)의 너비를 실시간으로 조정함으로써, 컨텐츠 영역(1429)의 크기를 부드럽게 변화시키면서 중심점을 유지할 수 있다. 중심축(1490)끼리 매핑하는 경우의 각 너비는 하기 수학식 6 및 수학식 7과 같이 나타낼 수 있다.
Figure PCTKR2022014033-appb-img-000003
전술한 수학식 6 및 수학식 7에 설명되는 바와 같이, 제1 마진 너비(예: 제1 마진 부분(1421)의 너비) 및 제2 마진 너비(예: 제2 마진 부분(1422)의 너비)는 동일할 수 있다. 전술한 수학식 7은 전술한 수학식 2와 동일할 수 있다. 따라서, 전자 장치(1411, 1412)는 표시 화면의 확장 방향과 무관하게 컨텐츠 영역(1429)의 중심축(1490)이 타겟 디스플레이의 중심축(1490)에서 유지될 수 있다. 다만, 좌측으로부터 우측으로 확장 가능한 표시 화면을 가지는 전자 장치(1412)의 표시 화면의 영점은 전술한 수학식 5에서 언급한 바와 같이 확장률에 따라 조정될 수 있다.
도 15는 본 개시의 일 실시예에 따른 미러링에서 확장 가능한 영역의 가이드를 설명하는 도면이다.
도 15를 참조하면 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101))는 컨텐츠 영역의 확장 가능 영역에 대한 가이드를 포함하는 미러링 데이터를 생성할 수 있다. 컨텐츠 영역의 확장 가능 영역에 대한 가이드는 전자 장치의 표시 화면에서 현재 확장된 길이로부터 잠재적으로 확장 가능한 추가 길이를 나타내는 정보일 수 있다. 전자 장치는 마진 영역 중 확장 가능 영역에 대응하는 부분을 둘러싸는 경계(edge), 마진 영역의 나머지 영역과 다른 색상, 컨텐츠 영역이 확장되는 방향을 지시하는 그래픽 표현, 및 컨텐츠 영역의 확장 여부를 안내하는 텍스트 중 적어도 하나에 기초한 가이드로 표현된 확장 가능 영역을 포함하는 미러링 데이터를 생성할 수 있다.
예를 들어, 전자 장치는 확장 가능 영역에 대응하는 부분을 둘러싸는 경계(1511)를 포함하는 제1 미러링 데이터(1510)를 생성할 수 있다. 다른 예를 들어, 전자 장치는 확장 가능 영역에 대응하는 부분을 둘러싸는 경계(1521) 및 음영(1522)을 포함하는 제2 미러링 데이터(1520)를 생성할 수 있다. 또 다른 예를 들어, 전자 장치는 확장 가능 영역에 대응하는 부분을 둘러싸는 경계(1531) 및 해당 경계를 향하는 화살표 표현(1532)을 포함하는 제3 미러링 데이터(1530)를 생성할 수 있다. 또 다른 예를 들어, 전자 장치는 확장 가능 영역을 마진 영역과 다른 색상(1541)으로 표시한 제4 미러링 데이터(1540)를 생성할 수 있다. 또 다른 예를 들어, 전자 장치는 확장 가능 영역을 그라데이션 표현(1551)으로 표시한 제5 미러링 데이터(1550)를 생성할 수 있다. 또 다른 예를 들어, 전자 장치는 확장 가능 영역에 대한 안내(1561)를 포함하는 제6 미러링 데이터(1560)를 생성할 수 있다.
따라서, 전자 장치는 미러링 동작 중 표시 화면이 완전히 확장되기 전 중심 정렬(center align)이 완료되지 않은 상태에서, 사용자에게 표시 화면의 확장에 의해 잠재적으로 채워질 구간을 나타내는 그래픽 표현을 통해 사용자의 인지를 보조하고, 중심 정렬에 대한 부담을 완화할 수 있다.
도 16 및 도 17은 본 개시의 다양한 실시예에서 전자 장치의 화면 크기를 자동으로 변경하는 동작을 설명하는 도면이다.
도 16 및 도 17을 참조하면 일 실시예에 따르면 전자 장치(예: 도 1의 전자 장치(101))는, 디스플레이 모듈의 표시 화면의 화면 비율을 타겟 장치(예: 도 1의 외부 전자 장치(102))의 타겟 디스플레이의 화면 비율에 매칭하도록, 타겟 디스플레이 정보에 기초하여 표시 화면의 화면 크기를 변경(예: 확장 또는 축소)할 수 있다. 전자 장치는 타겟 디스플레이에서 미러링되는 영상과 동일한 영상을 디스플레이 모듈을 통해 마진 없이 출력할 수 있다.
예를 들어, 동작(1631)에서 전자 장치는 미러링을 진행할 수 있다. 전자 장치는 미러링 동작 동안 디스플레이 모듈에서 출력되는 어플리케이션 및 컨텐츠와 동일한 영상을 가지는 컨텐츠 영역을 포함하는 미러링 데이터를 생성할 수 있다. 전자 장치는 미러링 데이터를 타겟 디스플레이로 전송하고, 타겟 디스플레이는 전자 장치로부터 수신된 미러링 데이터에 기초한 미러링 영상을 재생할 수 있다.
동작(1632)에서 전자 장치는 타겟 디스플레이 및 소스 디스플레이(예: 전자 장치의 디스플레이 모듈)의 화면비가 같은지 판단할 수 있다. 소스 디스플레이는 미러링의 소스(source)인 영상, 컨텐츠, 및 어플리케이션이 출력되는 디스플레이를 나타낼 수 있다. 동작(1633)에서 전자 장치는 타겟 디스플레이의 화면 비율 및 전자 장치의 화면 비율이 동일한 경우, 미러링 비율을 유지할 수 있다.
동작(1634)에서 전자 장치는 전자 장치의 현재 화면 비율 기준으로 변화 가능한 화면비 범위를 판단할 수 있다. 예를 들어, 세로 모드의 전자 장치에서 지원 가능한 화면 비율의 범위(이하, '지원 가능한 비율 범위')는 9:19 부터 14.25:19일 수 있다. 14.25:19의 화면 비율은 3:4의 화면 비율로 해석될 수 있다. 다른 예를 들어, 가로 모드의 전자 장치에서 지원 가능한 비율 범위는 19:9부터 19:14.25일 수 있다. 19:14.25의 화면 비율은 4:3으로 해석될 수 있다.
동작(1635)에서 전자 장치는 전자 장치에서 지원 가능한 비율 범위가 타겟 디스플레이 정보의 화면 비율을 포함하는지 여부를 판단할 수 있다. 예를 들어, 타겟 디스플레이 정보의 화면 비율은 16:9일 수 있다.
전술한 예시에서 세로 모드의 전자 장치에서 지원 가능한 비율 범위를 타겟 디스플레이 정보의 화면 비율 중 y축 길이(예: 세로 길이로서 9)를 기준으로 변환하면, 4.26:9부터 6.75:9의 비율 범위로 해석될 수 있다. 따라서, 세로 모드의 전자 장치는 타겟 디스플레이의 화면 비율 16:9이 지원 가능한 비율 범위 바깥인 것으로 결정할 수 있다. 가로 모드의 전자 장치의 동작 예시는 하기 동작(1637)에서 설명한다.
다른 예시에서, 가로 모드의 전자 장치에서 지원 가능한 비율 범위를 타겟 디스플레이 정보의 화면 비율 중 x축 길이(예: 가로 길이로서, 16)를 기준으로 변환하면, 16:7.58부터 16:21.33의 비율 범위로 해석될 수 있다. 따라서 가로 모드의 전자 장치는 타겟 디스플레이의 화면 비율 16:9이 지원 가능한 비율 범위 내인 것으로 결정할 수 있다. 세로 모드의 전자 장치의 동작 예시는 하기 동작(1636)에서 설명한다.
동작(1637)에서 전자 장치는 타겟 장치의 타겟 디스플레이의 화면 비율이 전자 장치에서 지원 가능한 비율 범위 바깥인 경우, 미러링을 제공하는 디스플레이 모듈의 화면 비율(예: 미러링 비율)을 유지할 수 있다. 예를 들어, 전자 장치는 디스플레이 모듈의 화면 크기(screen size)를 유지할 수 있다. 전자 장치는 사용자로부터 수신되는 입력(예: 핀치 줌인 및 줌아웃)에 기초하여 미러링되는 영상의 크기를 확대하거나 축소할 수도 있다. 동작(1638)에서 전자 장치는 가로 모드 및 세로 모드 간의 전환이 발생하는지 모니터링할 수 있다. 모드 전환이 없는 경우, 전자 장치는 동작(1637)에서 미러링 비율 유지를 계속할 수 있다. 전자 장치는 모드 전환이 발생하는 경우, 동작(1634)로 돌아가 지원 가능한 비율 범위를 다시 판단할 수 있다. 가로 모드에서 지원 가능한 비율 범위와 세로 모드에서 지원 가능한 비율 범위는 다를 수 있기 때문이다.
동작(1636)에서 전자 장치는 타겟 장치의 타겟 디스플레이 정보로부터 식별된 화면 비율이 전자 장치에서 지원되는 범위 내인 경우, 디스플레이 모듈의 화면 크기를 조정함으로써 타겟 장치에서 출력되는 영상과 동일한 영상을 마진 영역 없이 디스플레이 모듈에서 출력할 수 있다.
예를 들어, 가로 모드의 전자 장치(예: 도 1의 전자 장치(101))는 제1 축을 따른 길이가 확장하거나 축소하는 표시 화면을 가지는 디스플레이 모듈(1711, 1713)을 포함할 수 있다. 전자 장치는 디스플레이 모듈(1711)의 제1 축을 따른 길이(예: y축 길이로서 세로 길이) 대비 제2 축을 따른 길이(예: x축 길이로서 가로 길이)의 비율(예: 19/9)이 타겟 장치의 타겟 디스플레이 정보에서 타겟 디스플레이(1721)의 제1 축을 따른 길이(예: y축 길이로서 세로 길이) 대비 제2 축을 따른 길이(예: x축 길이로서 가로 길이)의 비율(예: 16/9)보다 큰 경우, 디스플레이 모듈(1711)의 제1 축을 따른 일방향으로 디스플레이 모듈(1711)의 표시 화면을 확장할 수 있다. 16:9의 화면 비율로 조정된 표시 화면(1712) 및 타겟 디스플레이(1722)는 마진 영역 없는 영상을 동일하게 출력할 수 있다. 다른 예를 들어, 전자 장치는 디스플레이 모듈(1713)의 제1 축을 따른 길이 대비 제2 축을 따른 길이의 비율(예: 4.5/3)이 타겟 장치의 타겟 디스플레이 정보에서 타겟 디스플레이(1723)의 제1 축을 따른 길이 대비 제2 축을 따른 길이의 비율(예: 16/9)보다 작은 경우, 디스플레이 모듈(1713)의 제1 축을 따른 타방향으로 디스플레이 모듈(1713)의 표시 화면을 축소할 수 있다. 16:9의 화면 비율로 조정된 표시 화면(1714) 및 타겟 디스플레이(1724)는 마진 영역 없는 영상을 동일하게 출력할 수 있다. 전술한 표시 화면의 크기 변경은 미러링 동작 중 모터 구동에 의해 자동으로 수행될 수 있다. 전자 장치는 타겟 디스플레이(1721, 1723)의 화면 비율을 기준으로 디스플레이 모듈의 표시 화면의 축소량 또는 확장량을 결정할 수 있다. 전자 장치는 타겟 디스플레이(1721, 1723)의 화면 비율 및 디스플레이 모듈의 화면 비율이 동일해지는 양(amount)으로 표시 화면의 크기를 변경할 수 있다.
따라서 전자 장치는 상이한 화면 비율을 가지는 타겟 디스플레이에 대한 미러링에서도 마진 영역 발생 및 컨텐츠 짤림을 개선할 수 있다.
도 16 및 도 17을 참조하면 가로 모드의 전자 장치를 주로 예로 들어 설명하는데, 이로 한정하는 것은 아니다. 전술한 설명에서, 세로 모드의 전자 장치가 동작(1634)에서 타겟 디스플레이의 화면 비율이 지원가능한 화면비 범위 내라고 판단한 경우, 전자 장치는 제2 축(예: 가로축)을 따른 표시 화면의 길이를 변경할 수 있다. 예시적으로, 전자 장치는 디스플레이 모듈의 제1 축을 따른 길이 대비 제2 축을 따른 길이의 비율(예: 9/19)이 타겟 장치의 타겟 디스플레이 정보에서 타겟 디스플레이의 제1 축을 따른 길이 대비 제2 축을 따른 길이의 비율(예: 16/9)보다 작은 경우, 디스플레이 모듈의 제2 축을 따른 방향으로 디스플레이 모듈의 표시 화면을 확장할 수 있다. 타겟 디스플레이가 전자 장치보다 가로로 더 길기 때문이다. 반대로, 타겟 디스플레이가 전자 장치보다 가로로 더 짧은 경우, 전자 장치는 제2 축을 따른 방향으로 표시 화면을 축소시킬 수도 있다.
도 18은 본 개시의 일 실시예에서 전자 장치의 화면 크기를 설정에 따라 변경하는 것을 도시한 도면이다.
도 18을 참조하면 일 실시예에 따른 전자 장치(1810)(예: 도 1의 전자 장치(101))는 타겟 디스플레이 정보의 화면 비율이 디스플레이 모듈(예: 도 1의 디스플레이 모듈(160))의 화면 지원 범위 내인 경우, 디스플레이 모듈의 크기를 조정하는 동작을 수행할 지 여부를 질의하는 인터페이스를 디스플레이 모듈에서 출력할 수 있다. 예를 들어, 전자 장치(1810)는 영상을 미러링하는 동안 디스플레이 모듈의 크기를 조정하는 동작을 지시하는 객체(1811)를 표시 화면에 출력할 수 있다. 객체(1811)는 디스플레이 모듈의 표시 화면의 크기를 확장하거나 축소하는 동작을 나타내는 팝업 아이콘일 수 있다.
전자 장치(1810)는 객체(1811)를 선택하는 사용자의 입력에 응답하여, 타겟 디스플레이(1820)의 화면 비율에 기초하여 전자 장치(1810)의 디스플레이 모듈의 표시 화면의 크기를 변경할 수 있다.
다만, 이로 한정하는 것은 아니고, 전자 장치(1810)는 설정에 따라 자동으로 화면 맞춤을 수행할 수도 있다. 예를 들어, 전자 장치(1810)는 타겟 디스플레이 정보의 화면 비율이 디스플레이 모듈의 화면 지원 범위 내이면서 화면 자동 맞춤이 설정된 경우, 디스플레이 모듈의 크기를 타겟 디스플레이 정보의 화면 비율에 기초하여 조정할 수 있다. 전자 장치(1810)는 미러링 동작의 설정 인터페이스(1812)에서 연결된 디바이스 맞춤 크기 조절 옵션을 사용자 입력에 응답하여 활성화할 수 있다.
일 실시예에 따른 전자 장치(1810)는 티겟 장치로서, 16:9 의 화면 비율을 가지는 TV, 9:16의 화면 비율을 가지는 세로형 TV, 다양한 비율(예: 4:3, 16:19) 을 가지는 태블릿, 및 21:9의 화면 비율을 가지는 모니터에 대해서도 도 1, 도 2a, 도 2b, 도 3a, 도 3b, 도 4 내지 도 18에서 전술한 미러링 동작을 수행할 수 있다. 전자 장치(1810)는 연결된 타겟 장치의 타겟 디스플레이 정보(예: 화면 비율)에 맞춘 확장 또는 축소를 제안하고, 사용자 입력에 의해 승인되는 경우 표시 화면의 자동 크기 변경을 수행할 수 있다. 따라서, 전자 장치(1810)는 미러링 동안 연결된 타겟 장치와 전자 장치(1810) 모두 검은색 여백(예: 마진 영역)이 최소화되도록 표시 화면의 크기를 조절할 수 있다.
본 개시는 그 다양한 실시예를 참조하여 도시되고 설명되었지만, 형태 및 세부사항의 다양한 변경이 첨부된 청구범위 및 그 등가물에 의해 정의되는 본 개시의 사상 및 범위를 벗어나지 않고 이루어질 수 있다는 것이 통상의 기술자에 의해 이해될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이 확장 또는 축소에 기반하여 화면 비율이 변화가능한 표시 화면을 포함하는 플렉서블 디스플레이;
    타겟 장치와 통신을 수립하는 통신 회로;
    실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리; 및
    상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 적어도 하나의 프로세서;
    를 포함하고,
    상기 적어도 하나의 프로세서는 ,
    상기 통신 회로를 이용하여 상기 타겟 장치로부터 상기 타겟 장치의 디스플레이 정보를 수신하며,
    상기 타겟 장치의 디스플레이 정보에 기반하여 상기 전자 장치의 상기 플렉서블 디스플레이를 확장 또는 축소하고,
    상기 타겟 장치의 디스플레이 정보에 기초하여 컨텐츠가 표시되는 컨텐츠 영역 및 추가 정보가 표시되는 추가 정보 영역을 포함하는 미러링 데이터를 생성하고,
    상기 미러링 데이터를 상기 통신 회로를 이용하여 상기 타겟 장치에게 전송하도록 구성되는,
    전자 장치.
  2. 제1항에 있어서,
    상기 디스플레이는,
    모터 구동에 의해 상기 표시 화면의 크기를 증가시키거나 감소시키도록 구성되는,
    전자 장치.
  3. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 표시 화면의 화면 비율의 변경에 기초하여, 상기 미러링 데이터에서 상기 추가 정보 영역의 크기를 변경하며,
    상기 미러링 데이터에서 상기 추가 정보 영역의 크기 변경에 기초하여 상기 추가 정보를 변경하도록 구성되는,
    전자 장치.
  4. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 추가 정보 영역의 크기가 감소하는 것에 기초하여, 상기 추가 정보에 할당된 표시 영역을 감소시키고,
    상기 추가 정보 영역의 크기가 증가하는 것에 기초하여, 상기 추가 정보에 할당된 표시 영역을 증가시키도록 구성되는,
    전자 장치.
  5. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 추가 정보 영역의 크기 변경이 미리 결정된 임계 변화량을 초과하는 것에 기초하여 상기 추가 정보를 변경하도록 구성되는,
    전자 장치.
  6. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 추가 정보 영역의 크기가 최소 크기보다 작으면, 상기 미러링 데이터로부터 상기 추가 정보를 제거하도록 구성되는,
    전자 장치.
  7. 제1항에 있어서,
    상기 프로세서는,
    화면 확장에 대해 컨텐츠 양을 증가시키거나 추가 컨텐츠를 제공하는 제1 카테고리의 제1 어플리케이션에 대한 미러링 데이터를 생성하는 경우, 상기 제1 어플리케이션에 대한 미러링 데이터에서 상기 제1 어플리케이션이 표시되는 컨텐츠 영역의 기준점을 상기 타겟 장치의 디스플레이 정보에 기초하여 고정하도록 구성되는,
    전자 장치.
  8. 제7항에 있어서,
    상기 프로세서는,
    상기 제1 어플리케이션에 대한 미러링 데이터에서, 상기 컨텐츠 영역의 하나 이상의 기준점이 고정되는 하나 이상의 지점을 상기 플렉서블 디스플레이의 최대 확장 크기 및 상기 타겟 장치의 디스플레이 정보에 기초하여 결정하도록 구성되는,
    전자 장치.
  9. 제7항에 있어서,
    상기 프로세서는,
    상기 제1 어플리케이션에 대한 미러링 데이터에서 제1 마진 부분의 너비를 상기 표시 화면의 확장률의 변화 동안 고정하고,
    상기 컨텐츠 영역을 기준으로 상기 제1 마진 부분의 반대편에 위치되는 제2 마진 부분의 너비를 상기 확장률에 따라 변화시키도록 구성된,
    전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는,
    화면 확장에 대해 컨텐츠가 차지하는 면적이 증가하는 제2 카테고리의 제2 어플리케이션에 대한 미러링 데이터를 생성하는 경우, 상기 제2 어플리케이션에 대한 미러링 데이터에서 상기 제2 어플리케이션이 표시되는 컨텐츠 영역의 중심축을 상기 타겟 장치의 디스플레이 정보에 기초하여 상기 타겟 장치의 타겟 디스플레이의 중심축에 매핑하도록 구성된,
    전자 장치.
  11. 제1항에 있어서,
    상기 프로세서는,
    컨텐츠 영역의 확장 가능 영역에 대한 가이드를 포함하는 상기 미러링 데이터를 생성하도록 구성된,
    전자 장치.
  12. 제11항에 있어서,
    상기 프로세서는,
    추가 정보 영역 중 상기 확장 가능 영역에 대응하는 부분을 둘러싸는 경계(edge), 상기 추가 정보 영역의 나머지 영역과 다른 색상, 상기 컨텐츠 영역이 확장되는 방향을 지시하는 그래픽 표현, 및 상기 컨텐츠 영역의 확장 여부를 안내하는 텍스트 중 적어도 하나에 기초한 상기 가이드로 표현된 상기 확장 가능 영역을 포함하는 상기 미러링 데이터를 생성하도록 구성된,
    전자 장치.
  13. 제1항에 있어서,
    상기 프로세서는,
    상기 타겟 장치의 화면 비율이 상기 전자 장치에서 지원 가능한 비율 범위 바깥인 경우, 상기 플렉서블 디스플레이의 화면 크기(screen size)를 유지하도록 구성된,
    전자 장치.
  14. 제1항에 있어서,
    상기 프로세서는,
    상기 타겟 장치의 디스플레이 정보의 화면 비율이 상기 플렉서블 디스플레이의 화면 지원 범위 내이면서 화면 자동 맞춤이 설정된 경우, 상기 플렉서블 디스플레이의 크기를 상기 타겟 장치의 디스플레이 정보의 상기 화면 비율에 기초하여 조정하도록 구성된,
    전자 장치.
  15. 전자 장치에 있어서,
    표시 화면을 포함하는 디스플레이;
    타겟 장치와 통신을 수립하는 통신 회로;
    실행 가능한 명령어들(computer-executable instructions)이 저장된 메모리; 및
    상기 메모리에 억세스(access)하여 상기 명령어들을 실행하는 적어도 하나의 프로세서
    를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 통신 회로를 이용하여 상기 타겟 장치로부터 상기 타겟 장치의 디스플레이 정보를 수신하며,
    상기 표시 화면의 화면비율 및 상기 타겟 장치의 디스플레이 정보의 화면 비율이 상이한 것에 기초하여 컨텐츠가 표시되는 컨텐츠 영역 및 추가 정보가 표시되는 추가 정보 영역을 포함하는 미러링 데이터를 생성하고,
    상기 미러링 데이터를 상기 통신 회로를 이용하여 상기 타겟 장치에게 전송하도록 구성되는,
    전자 장치.
PCT/KR2022/014033 2021-11-30 2022-09-20 미러링을 수행하는 장치 및 방법 WO2023101163A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/075,041 US11893303B2 (en) 2021-11-30 2022-12-05 Device and method for performing mirroring

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20210169237 2021-11-30
KR10-2021-0169237 2021-11-30
KR10-2022-0003869 2022-01-11
KR1020220003869A KR20230081544A (ko) 2021-11-30 2022-01-11 미러링을 수행하는 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/075,041 Continuation US11893303B2 (en) 2021-11-30 2022-12-05 Device and method for performing mirroring

Publications (1)

Publication Number Publication Date
WO2023101163A1 true WO2023101163A1 (ko) 2023-06-08

Family

ID=86612547

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014033 WO2023101163A1 (ko) 2021-11-30 2022-09-20 미러링을 수행하는 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2023101163A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080059029A (ko) * 2006-12-22 2008-06-26 중앙대학교 산학협력단 확장형 디스플레이 장치
KR20130138143A (ko) * 2012-06-08 2013-12-18 애플 인크. 디스플레이 미러링을 위한 시스템 및 방법
KR20150050883A (ko) * 2013-11-01 2015-05-11 엘지전자 주식회사 단말기 및 그 제어 방법
KR20170024942A (ko) * 2015-08-26 2017-03-08 엘지전자 주식회사 플렉서블 디스플레이 장치 및 그의 동작 방법
KR20200075809A (ko) * 2015-04-16 2020-06-26 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080059029A (ko) * 2006-12-22 2008-06-26 중앙대학교 산학협력단 확장형 디스플레이 장치
KR20130138143A (ko) * 2012-06-08 2013-12-18 애플 인크. 디스플레이 미러링을 위한 시스템 및 방법
KR20150050883A (ko) * 2013-11-01 2015-05-11 엘지전자 주식회사 단말기 및 그 제어 방법
KR20200075809A (ko) * 2015-04-16 2020-06-26 삼성전자주식회사 디스플레이 장치 및 디스플레이 방법
KR20170024942A (ko) * 2015-08-26 2017-03-08 엘지전자 주식회사 플렉서블 디스플레이 장치 및 그의 동작 방법

Similar Documents

Publication Publication Date Title
WO2022035236A1 (ko) 표시 면적이 가변되는 디스플레이를 포함하는 전자 장치 및 제어 방법
WO2022108192A1 (ko) 전자 장치 및 전자 장치의 멀티윈도우 제어방법
WO2022060041A1 (ko) 콘텐트를 생성하기 위한 폴더블 전자 장치 및 그의 동작 방법
US11893303B2 (en) Device and method for performing mirroring
WO2022030890A1 (ko) 다중 윈도우 이미지 캡쳐 방법 및 이를 위한 전자 장치
WO2022031055A1 (ko) 전자 장치 및 그의 진동 출력 제어 방법
WO2022086272A1 (ko) 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2023048390A1 (ko) 사용자 인터페이스를 제공하는 방법 및 그 전자 장치
WO2022114548A1 (ko) 플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치
WO2023101163A1 (ko) 미러링을 수행하는 장치 및 방법
WO2022080883A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022092580A1 (ko) 전자 장치 표면의 온도를 예측하는 방법 및 그 전자 장치
WO2022030921A1 (ko) 전자 장치 및 그의 화면을 제어하는 방법
WO2022119319A1 (ko) 플렉서블 디스플레이의 확장에 따라 적어도 하나의 객체를 이동하여 디스플레이 하는 전자 장치 및 그 제어 방법
WO2023136456A1 (ko) 이미지의 크기를 변경하는 장치 및 방법
WO2023153800A1 (ko) 디스플레이의 화면의 번인 방지를 위한 전자 장치 및 방법
WO2023106622A1 (ko) 플렉서블 디스플레이를 가지는 전자 장치
WO2023140492A1 (ko) 컨텐츠를 표시하는 방법 및 장치
WO2024043731A1 (ko) 인터폴레이션을 수행하는 전자 장치, 동작 방법, 및 저장 매체
WO2022086253A1 (ko) 이미지 표시 방법 및 이를 지원하는 웨어러블 전자 장치
WO2023158151A1 (ko) 전자 장치 및 전자 장치에서 객체를 디스플레이하는 방법
WO2022103156A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 이를 이용하는 방법
WO2024090959A1 (ko) 전자 장치 및 전자 장치에서 멀티 윈도우 기반의 알림 정보 표시 방법
WO2023146173A1 (ko) 화면을 제공하는 방법 및 이를 지원하는 전자 장치
WO2023033319A1 (ko) 디스플레이의 제어 방법 및 이를 지원하는 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22901523

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE