WO2022149954A1 - 플렉서블 디스플레이를 갖는 전자 장치 및 그의 모드 변경에 따른 제어 패널 제공 방법 - Google Patents

플렉서블 디스플레이를 갖는 전자 장치 및 그의 모드 변경에 따른 제어 패널 제공 방법 Download PDF

Info

Publication number
WO2022149954A1
WO2022149954A1 PCT/KR2022/000471 KR2022000471W WO2022149954A1 WO 2022149954 A1 WO2022149954 A1 WO 2022149954A1 KR 2022000471 W KR2022000471 W KR 2022000471W WO 2022149954 A1 WO2022149954 A1 WO 2022149954A1
Authority
WO
WIPO (PCT)
Prior art keywords
display surface
electronic device
control panel
display
external device
Prior art date
Application number
PCT/KR2022/000471
Other languages
English (en)
French (fr)
Inventor
이현승
송이슬
권시온
손서영
유재인
이승찬
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US17/672,064 priority Critical patent/US20220221910A1/en
Publication of WO2022149954A1 publication Critical patent/WO2022149954A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • G09F9/301—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements flexible foldable or roll-able electronic displays, e.g. thin LCD, OLED
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Definitions

  • An embodiment of the present disclosure discloses a method of providing an electronic device (eg, a foldable device) having a flexible display and a control panel according to a mode change thereof.
  • an electronic device eg, a foldable device
  • the electronic device may have a limited size for portability, which limits the size of the display. Accordingly, in recent years, various types of electronic devices that provide an expanded screen in the electronic device by a multi-display have been developed. For example, an electronic device is provided with a plurality of displays to provide an extended screen by a multi-display. For another example, the screen size of the electronic device is gradually increasing in a display having a limited size, and is designed to provide various services (or functions) to the user through the large screen.
  • electronic devices may have a new form factor such as a multi-display (eg, dual display) device (eg, a foldable device).
  • the foldable device is equipped with a foldable (or bendable) display (eg, a flexible display or a foldable display) and can be used by folding or unfolding.
  • a new form factor such as a multi-display implementation of an electronic device, the necessity of developing a user interface (UI) corresponding to the multi-display and operation thereof is increasing.
  • UI user interface
  • an electronic device eg, a foldable device having a flexible display that can be divided into at least two display surfaces (or display areas)
  • the mode of the electronic device Disclosed is a method and apparatus capable of providing a control panel through at least one display surface (or display area) according to change.
  • Various embodiments are disclosed with respect to a method and an apparatus capable of independently providing a corresponding control panel through at least one display surface that is distinguished based on a physical characteristic in which an electronic device is folded.
  • each divided display in a mode in which the screen is split in at least two directions by partially folding the electronic device (eg, a tent mode, a flex mode, or a split screen mode), each divided display Disclosed are a method and an apparatus capable of providing a control panel capable of changing a surface-related property.
  • An electronic device includes a display module and a processor operatively connected to the display module, wherein the processor displays a designated user interface in a full screen while the electronic device performs a first Detects execution of a specified mode changing from a state to a second state, and divides the entire screen into a first display surface and a second display surface based on the detection of entering the specified mode, and the first display surface and displaying a user interface respectively designated on the second display surface, and independently providing a control panel related to the corresponding display surface based on the user interface of the first display surface and/or the second display surface.
  • the method of operating an electronic device includes detecting execution of a designated mode in which the electronic device changes from a first state to a second state while displaying a designated user interface in a full screen; An operation of dividing the entire screen into a first display surface and a second display surface based on the detection of mode entry, an operation of displaying a user interface designated respectively on the first display surface and the second display surface; and independently providing a control panel related to the corresponding display surface based on the user interfaces of the first display surface and/or the second display surface.
  • a computer-readable recording medium recording a program for executing the method in a processor may be included.
  • an electronic device eg, a foldable device having a flexible display that can be divided into at least two display surfaces (or display areas)
  • the mode of the electronic device According to a change, a control panel suitable for a user's display use environment may be provided through at least one display surface (or display area).
  • each of the divided control panel e.g. volume control panel, sound path control panel, display brightness
  • a property related to each display surface can be viewed through a control panel provided for each display surface. It can be changed more conveniently.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure
  • FIG. 2 is a block diagram of a display module according to various embodiments.
  • FIG. 3 is a diagram illustrating an example of an electronic device according to an embodiment.
  • 4A and 4B are diagrams for explaining an example of changing a mode of an electronic device according to an exemplary embodiment.
  • FIG. 5 is a diagram illustrating an example of an operation by interaction between an electronic device and an external device according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating an example of a user interface provided according to a mode change in an electronic device according to an embodiment.
  • FIG. 8 is a diagram illustrating an example of a control panel in an electronic device according to an exemplary embodiment.
  • FIG. 9 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • FIG. 10 is a diagram illustrating an example of an operation of providing a control panel in an electronic device according to an exemplary embodiment.
  • FIG. 11 is a diagram illustrating an example of a scenario in which an electronic device operates based on a mode change according to an embodiment.
  • FIG. 12 is a diagram illustrating an example of a scenario in which an electronic device operates based on a mode change according to an embodiment.
  • FIG. 13 is a diagram illustrating an example of a scenario in which an electronic device operates based on a mode change according to an embodiment.
  • FIG. 14 is a diagram illustrating an example of a scenario in which an electronic device operates based on a mode change according to an embodiment.
  • 15 is a diagram illustrating an example of a scenario in which an electronic device operates based on a mode change according to an embodiment.
  • 16 is a diagram illustrating an example of a scenario in which an electronic device operates based on a mode change according to an embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments of the present disclosure.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 .
  • at least one of these components eg, the connection terminal 178
  • some of these components are integrated into one component (eg, display module 160 ). can be
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be stored in , process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 .
  • the volatile memory 132 may be stored in , process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • the processor 120 is a main processor 121 (eg, a central processing unit (CPU) or an application processor (AP)) or an auxiliary processor capable of operating independently or together with it ( 123) (eg, graphic processing unit (GPU), neural processing unit (NPU), image signal processor (ISP), sensor hub processor, or communication processor (CP, communication processor)) may be included.
  • main processor 121 eg, a central processing unit (CPU) or an application processor (AP)
  • auxiliary processor capable of operating independently or together with it eg, graphic processing unit (GPU), neural processing unit (NPU), image signal processor (ISP), sensor hub processor, or communication processor (CP, communication processor)
  • the electronic device 101 includes the main processor 121 and the sub-processor 123
  • the sub-processor 123 uses less power than the main processor 121 or is set to be specialized for a specified function.
  • the auxiliary processor 123 may be implemented separately from or as a part of the main processor 121 .
  • the auxiliary processor 123 is, for example, on behalf of the main processor 121 or the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state. At least one of the components of the electronic device 101 (eg, the display module 160 , the sensor module 176 , or At least some of functions or states related to the communication module 190 may be controlled.
  • the coprocessor 123 eg, an image signal processor or a communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model. Artificial intelligence models can be created through machine learning.
  • Such learning may be performed, for example, in the electronic device 101 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers. Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176 ) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system (OS) 142 , middleware 144 or an application 146 . have.
  • OS operating system
  • middleware middleware
  • application application
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 or an external electronic device (eg, a sound output module 155 ) directly or wirelessly connected to the electronic device 101 .
  • the electronic device 102) eg, a speaker or headphones
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more specified protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, a secure digital (SD) card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD secure digital
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a local area network (LAN) communication module, or a power line communication module).
  • a wireless communication module 192 eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 eg, : It may include a local area network (LAN) communication module, or a power line communication module.
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a wide area network (WAN)).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 199 eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a wide area network (WAN)).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB, enhanced mobile broadband), minimization of terminal power and massive machine type communications (mMTC), or high reliability and low latency (URLLC, ultra-reliable and low-latency). communications) can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various techniques for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing.
  • MIMO massive multiple-input and multiple-output
  • the wireless communication module 192 may support various requirements defined in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ).
  • the wireless communication module 192 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC ( Example: Downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less) can be supported.
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, underside) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of the operations performed by the electronic device 101 may be executed by one or more external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • the server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a block diagram 200 of a display module 160 according to various embodiments of the present disclosure.
  • the display module 160 may include a display 210 and a display driver IC (DDI, display driver IC) 230 for controlling the display 210 .
  • the DDI 230 may include an interface module 231 , a memory 233 (eg, a buffer memory), an image processing module 235 , or a mapping module 237 .
  • the DDI 230 transmits, for example, image data or image information including an image control signal corresponding to a command for controlling the image data to other components of the electronic device 101 through the interface module 231 .
  • the image information includes the processor 120 (eg, the main processor 121 (eg, an application processor) or the auxiliary processor 123 (eg, a graphic processing unit) operated independently of the function of the main processor 121 ).
  • the DDI 230 may communicate with the touch circuit 250 or the sensor module 176 through the interface module 231 .
  • the DDI 230 may store at least a portion of the received image information in the memory 233, for example, in units of frames.
  • the image processing module 235 may, for example, pre-process or post-process at least a portion of the image data based on at least a characteristic of the image data or a characteristic of the display 210 (e.g. resolution, brightness, or resizing).
  • the mapping module 237 may generate a voltage value or a current value corresponding to the image data pre-processed or post-processed by the image processing module 235 .
  • the generation of the voltage value or the current value may be, for example, a property of pixels of the display 210 (eg, an arrangement of pixels (RGB stripe or pentile structure)) or each of the sub-pixels. size) at least in part.
  • At least some pixels of the display 210 are driven based at least in part on the voltage value or the current value, so that visual information (eg, text, image, or icon) corresponding to the image data is displayed on the display 210 . can be displayed through
  • the display module 160 may further include a touch circuit 250 .
  • the touch circuit 250 may include a touch sensor 251 and a touch sensor IC 253 for controlling the touch sensor 251 .
  • the touch sensor IC 253 may control the touch sensor 251 to sense, for example, a touch input or a hovering input for a specific location of the display 210 .
  • the touch sensor IC 253 may detect a touch input or a hovering input by measuring a change in a signal (eg, voltage, light amount, resistance, or electric charge amount) for a specific position of the display 210 .
  • the touch sensor IC 253 may provide information (eg, location, area, pressure, or time) regarding the sensed touch input or hovering input to the processor 120 .
  • At least a part of the touch circuit 250 is a part of the DDI 230 , the display 210 , or another disposed outside the display module 160 . It may be included as part of a component (eg, the coprocessor 123 ).
  • the display module 160 may further include at least one sensor (eg, a fingerprint sensor, an iris sensor, a pressure sensor, or an illuminance sensor) of the sensor module 176 , or a control circuit therefor.
  • the at least one sensor or a control circuit therefor may be embedded in a part of the display module 160 (eg, the display 210 or the DDI 230 ) or a part of the touch circuit 250 .
  • the sensor module 176 embedded in the display module 160 includes a biometric sensor (eg, a fingerprint sensor)
  • the biometric sensor provides biometric information related to a touch input through a partial area of the display 210 . (eg, fingerprint image) can be acquired.
  • the pressure sensor may acquire pressure information related to a touch input through a part or the entire area of the display 210 .
  • the touch sensor 251 or the sensor module 176 may be disposed between pixels of a pixel layer of the display 210 or above or below the pixel layer.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • first, second, or first or second may simply be used to distinguish an element from other elements in question, and may refer elements to other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 136 or external memory 138) readable by a machine (eg, electronic device 101).
  • a storage medium eg, internal memory 136 or external memory 138
  • the processor eg, the processor 120
  • the device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided in a computer program product (computer program product).
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly or online between smartphones (eg: smartphones).
  • a part of the computer program product may be temporarily stored or temporarily created in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component eg, a module or a program of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repetitively, or heuristically, or one or more of the operations are executed in a different order. , may be omitted, or one or more other operations may be added.
  • FIG. 3 is a diagram illustrating an example of an electronic device according to an embodiment.
  • FIG. 3 may show examples of various form factors of the electronic device 101 according to various display types.
  • the electronic device 101 may be implemented in various forms, and a display (eg, the display module 160 of FIG. 1 ) may be implemented according to the implementation form of the electronic device 101 . ) can be provided in a variety of ways.
  • the electronic device 101 according to various embodiments disclosed in this document is described as an example of the electronic device 101 (eg, the foldable device 310 , 320 or 330 ) having a foldable form factor, the electronic device ( 101) and the operation thereof are not limited thereto
  • the electronic device 101 does not include a folding shaft, but has a bar type or a plate type (not shown) capable of dividing at least two screens. ), rollable (not shown) and/or slideable (not shown), and may also operate with various form factors.
  • the electronic device 101 may substantially face two different regions of the display (eg, the display module 160 of FIG. 1 ) or It may refer to an electronic device that can be folded in directions opposite to each other.
  • the display eg, the display module 160 of FIG. 1 or 2
  • the electronic device 101 eg, the foldable device 310 , 320 or 330
  • the user can unfold the display so that the two different regions form a substantially flat plate shape.
  • the electronic device 101 (eg, the foldable device 310 , 320 or 330 ) has two display surfaces (eg, a first display surface and a second display surface) based on one folding axis.
  • a form comprising at least three display faces (e.g., a first display face, a second display face and a third display face) based on a form factor (e.g., 310 or 320) and/or at least two folding axes comprising: It may include a factor (eg, 330).
  • a factor eg, 330
  • a display eg, the display module 160 of FIG. 1
  • the electronic device 101 may be configured in various ways (eg, in-folding) or out-folding (eg, in-folding) according to an implementation form. folding), or in/out folding) can be folded or unfolded.
  • the electronic device 101 may include various foldable methods such as vertical foldable, horizontal foldable, G foldable, or Z foldable.
  • 4A and 4B are diagrams for explaining an example of changing a mode of an electronic device according to an exemplary embodiment.
  • the electronic device 101 may include a foldable device that can be folded and unfolded.
  • the electronic device 101 may be equipped with a foldable (or bent) display (eg, a foldable display or a flexible display) and used by folding or unfolding.
  • a housing eg, a folding axis or a hinge axis
  • a folding point eg, a folding axis or a hinge axis
  • at least a portion of the first portion and the second portion of the cover may be in a closed state in contact with each other.
  • the electronic device 101 is unfolded (eg, in an unfolding state)
  • all the display surfaces (or areas) of the display are provided on one surface (or all surfaces) to have a relatively large size. display is available.
  • the display when the electronic device 101 of the in-folding method is folded (eg, the folding state is the first display surface (or the first area) and at least a portion of the second display surface (or second area) may be in a closed state in contact with each other
  • the display when the electronic device 101 is unfolded (eg, in an unfolded state), the display By providing all display surfaces (or areas) on one side (or the entire surface), a display with a relatively large size can be used.
  • the electronic device 101 of the in/out-folding type has a first portion and a second portion of a housing (eg, a cover) based on a first point (eg, a first folding axis) that is folded when folded. At least a portion of the first display surface (or the first area) and the second display surface (or the second area) of the display based on the second point (eg, the second folding axis) to be folded They may be in a closed state in contact with each other. According to an embodiment, when the electronic device 101 is unfolded, all the display surfaces (or areas) of the display are provided on one surface (or the entire surface) so that the display can be used in a relatively large size.
  • FIGS. 4A and 4B may represent a state in which the electronic device 101 is folded at a predetermined angle (eg, an intermediated state).
  • the electronic device 101 may be manually switched by a user in a state change (eg, in a folded state or an intermediate state) of the display module 160 , and in various embodiments, it is shown in FIGS. 4A and 4B .
  • the electronic device 101 operates in a designated mode (eg, a tent mode of FIG. 4A or a flex mode of FIG. 4B ) in which the electronic device 101 operates in an intermediate state, for example,
  • a designated mode eg, a tent mode of FIG. 4A or a flex mode of FIG. 4B
  • Disclosed is an electronic device 101 divided into at least two display surfaces to provide a control panel through each display surface during operation.
  • the designated mode may include a mode (eg, a tent mode or a flex mode) in which the screen is split in at least two directions by partially folding the electronic device 101 .
  • a mode eg, a tent mode or a flex mode
  • the flex mode for example, as illustrated in FIG. 4B , in a state in which the electronic device 101 is folded at a predetermined angle, one side of the electronic device 101 faces the floor or is placed on the floor. It may include a mode in which the first display surface (A) and/or the second display surface (B) exposed inside and the third display surface (C) exposed to the outside are used separately.
  • the electronic device 101 as illustrated in FIGS. 3, 4A, or 4B is operatively or electrically connected to a processor (eg, the processor 120 of FIG. 1 ) and the display module 160 .
  • a processor eg, the processor 120 of FIG. 1
  • the display module 160 may include one display driver IC (DDI, display driver IC) (eg, the DDI 230 of FIG. 2 ) connected to each other.
  • the first display surface and the second display surface may be connected to one DDI.
  • the electronic device 101 may include a first DDI operatively or electrically connected to the first display surface, and a second DDI operatively or electrically connected to the second display surface.
  • the first display surface and the second display surface may be operatively or electrically connected to each other, and may be formed by one display (eg, a foldable display or a flexible display).
  • FIG. 5 is a diagram illustrating an example of an operation by interaction between an electronic device and an external device according to an exemplary embodiment.
  • FIG. 5 shows that the electronic device 101 and the external device 501 (or a peripheral device) are connected through a specified communication, and the electronic device 101 moves from a first state (eg, an unfolded state) to a second state.
  • a state change eg, mode entry
  • 2 states eg, folded at a certain angle
  • the electronic device 101 may operate through screen division when entering a designated mode (eg, a tent mode) like the second state.
  • a designated mode eg, a tent mode
  • FIG. 5 a mode in which the user stands up the electronic device 101, the two display surfaces 510 and 520 face different directions, and uses both the display surfaces 510 and 520 ( Example: An example of changing to tent mode) can be shown.
  • the user may independently use the two display surfaces 510 and 520 according to the use of the tent mode of the electronic device 101 .
  • the electronic device 101 may split the screen of the display module 160 into a first display surface 510 (or a first area) and a second display surface 520 (or a second area) based on entry into the tent mode. have.
  • the electronic device 101 may display the execution screen 515 (or the first user interface) of the corresponding first application through the divided first display surface 510 .
  • the electronic device 101 may display an execution screen 525 (or a second user interface) of a second application that is the same as or different from the first application through the second display surface 520 .
  • the electronic device 101 may be used to face the first display surface 510 toward the user and the other second display surface 520 to face the opposite direction to the user through screen division.
  • the electronic device 101 may be connected to various external devices 501 through direct (eg, wired) communication or wireless communication (eg, out of band (OOB) communication).
  • the external device 501 includes a wired headphone 501A, a wireless headphone 501B, a speaker 501C, an earbud 501D, a display device 501E (eg, a TV), and an external audio device ( 501F) (eg car audio devices), artificial intelligence IoT devices 501G, and/or other electronic devices 501H (eg smart phones and/or laptop PCs).
  • direct eg, wired
  • wireless headphone 501B e.g, a wireless headphone 501B
  • a speaker 501C eg, an earbud 501D
  • a display device 501E eg, a TV
  • an external audio device ( 501F) eg car audio devices
  • artificial intelligence IoT devices 501G eg smart phones and/or laptop PCs.
  • the external device 501 is, for example, connected to the electronic device 101 through specified communication, and has various functions having a function of transmitting and receiving data related to a service (or function) of the electronic device 101 . It may include a type of device.
  • the external device 501 receives data (or information) (eg, audio data and/or image data (eg, image, video, and/or streaming data)) from the electronic device 101 through a designated communication. and outputting the received data as auditory information and/or visual information to provide it to the user.
  • the external device 501 may include, for example, all or at least some of the components corresponding to those described in the description with reference to FIG. 1 .
  • the electronic device 101 may be connected to the external device 501 in a one-to-one or one-to-many manner.
  • the electronic device 101 displays a related user interface (or visual information) through at least one display surface 510 and/or 520 used by the user according to the tent mode (or screen division).
  • the related data may be transmitted to the external device 501 to display and output related data (eg, audio data and/or image data) through the connected external device 501 .
  • the electronic device 101 when the electronic device 101 enters a specified mode (eg, tent mode, flex mode, or split screen mode), different user interfaces are displayed on respective display surfaces (eg, 510 and 520 ) that are distinguished from each other. (or an execution screen) (eg, the first user interface 515 and the second user interface 525 ) may be displayed.
  • a specified mode eg, tent mode, flex mode, or split screen mode
  • different user interfaces are displayed on respective display surfaces (eg, 510 and 520 ) that are distinguished from each other. (or an execution screen) (eg, the first user interface 515 and the second user interface 525 ) may be displayed.
  • the electronic device 101 may display the first user interface 515 through the first display surface 510 and display the second user interface 525 through the second display surface 520 . have.
  • the electronic device 101 when entering a specified mode, is based at least on the use state of the first display surface 510 and the second display surface 520 and/or the connection state of the external device 501 .
  • an attribute (or function) associated with the display surface eg, sound path, display brightness, audio volume, or screen mirroring
  • a corresponding user interface eg a control panel
  • a property or property change related to the display surfaces 510 and 520 is, for example, displayed on a control panel corresponding to each divided display surface when the electronic device 101 operates in a specified mode. based on the change of one or more settings of the electronic device 101 , control of functions of applications executed on each divided display surface, and/or the functions of one or more external devices 501 connected to the electronic device 101 . and/or changing (or controlling or adjusting) a setting.
  • control panel may include, but is not limited to, for example, a volume control panel, a sound path control panel, a display brightness control panel, and/or a mirroring control panel.
  • the user divides the electronic device 101 into two or more screens according to a specified mode (eg, tent mode, flex mode, or split screen mode) and uses the electronic device 101 , automatically in response to each split screen Through the control panel provided as , it is possible to change properties related to the corresponding screen more conveniently than in the prior art.
  • a specified mode eg, tent mode, flex mode, or split screen mode
  • the electronic device 101 includes a display module 160 and a processor 120 operatively connected to the display module 160 , and the processor 120 is a designated user. While the interface is displayed in full screen, the electronic device 101 detects execution of a specified mode changing from the first state to the second state, and displays the entire screen with the first display surface based on the detection of entering the specified mode performing screen division into second display surfaces, displaying user interfaces designated respectively on the first display surface and the second display surface, and user interfaces of the first display surface and/or the second display surface Based on this, a control panel related to the corresponding display surface may be independently provided.
  • the processor 120 provides a first control panel for changing a property related to the first display surface through the first display surface, and provides the second control panel through the second display surface It is set to provide a second control panel for changing properties related to a display surface, and the first control panel and the second control panel may operate independently of each other on the corresponding display surface.
  • the processor 120 is configured to, based on at least a usage state of the first display surface and the second display surface and/or a connection state of an external device, the first display surface and/or the second display surface.
  • a control panel may be provided through at least one of the display surfaces.
  • the change of the property related to the display surface is based on a control panel corresponding to the first display surface and the second display surface, respectively.
  • Changing the settings of the device 101 , controlling the functions of applications executed through the first display surface and the second display surface, and/or the functions of one or more external devices connected to the electronic device 101 and/or This may include changing settings.
  • the processor 120 determines whether the electronic device 101 is interacting with an external device based on the specified mode execution detection, and when the electronic device 101 is interacting with the external device, the The control panel may be provided by determining device information of the external device, determining context information according to interaction with the external device, and classifying the device information and/or the context information for each display surface based on the context information.
  • the context information may be provided through operation information related to a function operated between the electronic device 101 and the external device and/or a display surface that interacts with the external device, and each divided display surface. It may include execution information related to the application being executed.
  • the processor 120 determines a first control panel for the first display surface based on the context information related to the first display surface, and responds to the context information related to the second display surface. Based on this, a second control panel for the second display surface may be determined.
  • the processor 120 when the processor 120 is not interacting with the external device, it is possible to determine execution information for each divided display surface, and to provide a control panel by classifying each display surface based on the execution information.
  • the processor 120 determines a first control panel for the first display surface based on the execution information related to the first display surface, and responds to the execution information related to the second display surface. Based on this, a second control panel for the second display surface may be determined.
  • control panel may include a volume control panel, a sound path control panel, a display brightness control panel, and/or a mirroring control panel.
  • the designated mode may include a tent mode, a flex mode, and/or a screen division mode.
  • Operations performed by the electronic device 101 to be described below may be executed by the processor 120 including at least one processing circuitry of the electronic device 101 .
  • the operations performed by the electronic device 101 may be stored in the memory 130 and, when executed, may be executed by instructions that cause the processor 120 to operate.
  • FIG. 6 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • 7 is a diagram illustrating an example of a user interface provided according to a mode change in an electronic device according to an embodiment.
  • the processor 120 of the electronic device 101 may detect execution (or entry) of a specified mode (eg, tent mode, flex mode, or split screen mode).
  • a specified mode eg, tent mode, flex mode, or split screen mode.
  • the processor 120 displays the entire screen of the display module 160 on the execution screen (or user interface) of the first application, as shown in Example 701. may be in a state of According to an embodiment, while the processor 120 displays the execution screen of the application in the full screen of the display module 160 , the electronic device 101 moves from a first state (eg, an expanded state) to a second state (eg, an expanded state). : It is possible to detect the execution of a specified mode (eg, tent mode, flex mode, or split screen mode) that is changed to a state that is folded at a certain angle.
  • a specified mode eg, tent mode, flex mode, or split screen mode
  • the processor 120 divides the screen into a first area (eg, the first display surface 510 of FIG. 7 ) and a second area (eg, the second display surface 520 of FIG. 7 ). can run According to an embodiment, the processor 120 may divide the entire screen into a first area and a second area based on the detection of a state change of the electronic device 101 . According to an embodiment, the processor 120 may control the display module 160 to display an execution screen of an application based on a multi-window.
  • the processor 120 may execute (eg, multitasking) at least two applications based on a specified mode execution detection (or state change detection). According to an embodiment, the processor 120 divides the screen of the display module 160 based on the execution of the at least two applications, and divides the screen of the display module 160 into at least two regions (eg, a first region) corresponding to the executed applications. and a second area) may be provided.
  • a specified mode execution detection or state change detection
  • the processor 120 divides the screen of the display module 160 based on the execution of the at least two applications, and divides the screen of the display module 160 into at least two regions (eg, a first region) corresponding to the executed applications. and a second area) may be provided.
  • the processor 120 may provide user interfaces designated for each of the first area and the second area. According to an embodiment, the processor 120 may control the display module 160 to respectively display execution screens of applications in each area of the multi-window.
  • the processor 120 may be configured to display a first
  • the display module 160 may be controlled to display an execution screen (or a first user interface) of an application, and to respectively display an execution screen of a second application that is the same as or different from the first application through the second display surface 520 . have.
  • the example 701 of FIG. 7 illustrates an example of operating (eg, displaying in full screen) an execution screen of an application based on at least one window of the display module 160 in the electronic device 101 .
  • the maximum number of split screens may be different in the electronic device 101 based on the screen size of the display module 160 .
  • the electronic device 101 may display one execution screen corresponding to one application based on one window (or single window).
  • the electronic device 101 performs two different executions, each corresponding to two applications, based on a multi-window of two divisions (eg, the first display surface 510 and the second display surface 520 ).
  • screen can be displayed.
  • the electronic device 101 displays a first execution screen of the first application on the first display surface 510 while displaying a second application that is the same as or different from the first application on the second display surface 520 . may display a second execution screen of
  • the electronic device 101 provides three windows based on a multi-window of three divisions (eg, the first display surface 510 , the second display surface 520 , and the third display surface (not shown)). It is also possible to display three different execution screens respectively corresponding to applications.
  • the electronic device 101 performs single, two-part, three-part, and/or N-division based on the form factor of the electronic device 101 and/or the screen size of the display module 160 .
  • Split screen (or multi-window) can be provided.
  • the electronic device 101 may provide execution screens of a plurality of different applications based on a multi-window, and based on a trigger operating as a multi-window, each corresponding display surface A control panel can be provided through .
  • the processor 120 may provide a control panel associated with each area based on the user interface of the first area and/or the second area.
  • the processor 120 may, via at least one display surface, as illustrated in Examples ⁇ 703>, ⁇ 705>, and/or ⁇ 707>, the corresponding display surface.
  • Each of the control panels 710 to 730 that can change (or adjust or control) related properties (or functions) eg, sound path, display brightness, audio volume, or screen mirroring
  • sound path e.g., sound path
  • display brightness e.g., display brightness
  • audio volume e
  • control panels 710, 715, 720, and 725 corresponding to the first display surface 510 and the second display surface 520, respectively, are provided.
  • a volume control panel capable of adjusting an output volume of audio data related to an application being executed through the first display surface 510 and the second display surface 520, respectively.
  • 710 and 715 may represent an example in which the first display surface 510 and the second display surface 520 are respectively provided.
  • the display brightness control panels 720 and 725 capable of adjusting the screen brightness of the first display surface 510 and the second display surface 520 are provided as the first display.
  • An example provided on each of the surface 510 and the second display surface 520 may be shown.
  • the display surface associated with the external device (eg, TV) connected to the electronic device 101 is the first display surface 510
  • interaction with the external device An example in which a mirroring control panel 730 capable of (eg, screen mirroring) is provided through the first display surface 510 may be illustrated.
  • the processor 120 is configured to display the first display surface 510 and /or a control panel capable of changing (or adjusting or controlling) a property (or function) related to the corresponding display surface may be automatically and independently provided through at least one of the second display surface 520 .
  • control panel may include, but is not limited to, for example, a volume control panel, a sound path control panel, a display brightness control panel, and/or a mirroring control panel.
  • a control panel and an operation of providing the same according to an embodiment will be described with reference to the drawings to be described later.
  • FIG. 8 is a diagram illustrating an example of a control panel in an electronic device according to an exemplary embodiment.
  • the electronic device 101 and the external device are connected through a specified communication, and the electronic device 101 is in a first state (eg, an unfolded state) in a second state (eg, folded at a predetermined angle).
  • a first state eg, an unfolded state
  • a second state eg, folded at a predetermined angle.
  • Example 801 an execution screen (or first user interface) of a first application is displayed through the first display surface 510, and an execution screen (or first user interface) of the first application is displayed.
  • Example 803 an execution screen (or second user interface) of a second application that is the same as or different from the first application is displayed through the second display surface 520, and the execution screen of the second application is displayed.
  • An example of displaying the second control panel 820 associated with the second display surface 520 based on (or the second user interface) may be shown.
  • control panels 810 and 820 may change (or adjust or control) properties (or functions) related to the corresponding display surface (eg, sound path, display brightness, audio volume, or screen mirroring).
  • second objects 813 and 823 and third objects 815 and 825 may be provided.
  • the second objects 813 and 823 include an object (eg, as an application object, for example, an identifier, a representative icon) indicating application information that can identify an application being executed through a corresponding display surface. can do.
  • the third object 815, 825 is an object (eg, a device object) representing device information capable of identifying a device (eg, an internal speaker or an external device) interacting with the corresponding display surface (eg, a device object). for example, a device icon).
  • the first control panel 810 for the first display surface 510 and the second control panel 820 for the second display surface 520 are independent of other control panels on the display surface.
  • the first control panel 810 may operate to change a property related to the first display surface 510
  • the second control panel 820 may change the property related to the second display surface 520 . can operate to do so.
  • the first control panel 810 or the second control panel 820 may interact with other control panels on the corresponding display surface.
  • the first control panel 810 or the second control panel 820 may be integrated in the corresponding display surface to individually change the properties related to the first display surface 510 and the second display surface 520 . can work
  • FIG. 8 an example in which an external device (eg, a headset) is associated with the second display surface 520 may be shown.
  • FIG. 8 may show an example in which data (eg, audio data) related to a second application displayed on the second display surface 520 is connected to be output through an external device.
  • data eg, audio data
  • the electronic device 101 may display the first display surface 510 based on at least a usage state of the first display surface 510 and the second display surface 520 and/or a connection state of an external device.
  • Control panels 810 and 820 corresponding to each of the and the second display surface 520 may be provided.
  • the electronic device 101 may display the first display surface 510 or the first display surface 510 on the control panel 810 associated with the first display surface 510.
  • a first control object 811 for controlling a first application eg, volume control
  • a first device object 815 eg, a device icon representing an internal speaker
  • the electronic device 101 is displayed on the control panel 820 associated with the second display surface 520 on the second display surface 520 or the second display surface (
  • a second control object 821 for controlling a second application (eg, volume control) of 520 and a second application object related to a second application being executed (or subject to function control) through the second display surface 520 .
  • a device representing the second device object 825 eg, an external device (eg, a headset) related to the interaction with the 823 and the second display surface 520 (eg, a device to which audio data of the second application is output). icon
  • icon may be included.
  • each divided screen eg, the first display surface 510 and the second Corresponding to the display surface 520
  • a control panel associated with the corresponding display surface may be provided to be distinguished based on at least a use state of each display surface and/or a connection state of an external device.
  • FIG. 9 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • the processor 120 of the electronic device 101 may detect that the electronic device 101 is changed to a specified mode (eg, tent mode, flex mode, or split screen mode).
  • a specified mode eg, tent mode, flex mode, or split screen mode
  • the processor 120 displays the execution screen (or user interface) of the application in the full screen of the display module 160
  • the electronic device 101 is in a first state (eg, an unfolded state).
  • Execution of a designated mode eg, tent mode, flex mode, or split screen mode
  • the second state eg, a state that is folded at a certain angle
  • the processor 120 may perform screen division.
  • the processor 120 has a screen divided into a first area (eg, the first display surface 510 of FIG. 5 ) and a second area (eg, the second display surface 520 of FIG. 5 ). You can do a split.
  • the processor 120 may divide the entire screen into a first area and a second area based on detection of a specified mode execution (or detection of a state change) of the electronic device 101 .
  • the processor 120 may determine whether the electronic device 101 is interacting with an external device (eg, the external device 501 of FIG. 5 ). According to an embodiment, the processor 120 determines whether the electronic device 101 is in connection with the at least one external device 501 and/or the connected external device ( 501), it is possible to determine whether data communication (eg, data transmission or data output) is in progress. According to an embodiment, the electronic device 101 uses a communication module (eg, the communication module 190 of FIG. 1 ) to directly (eg, wired) communication or wirelessly communicate with at least one external device 501 (eg, the communication module 190 of FIG. 1 ).
  • Example: OOB communication OOB communication
  • OOB communication may include, for example, BLE, NFC, ultra-wide band (UWB), Zigbee, and/or Wi-Fi 2.4GHz communication).
  • the processor 120 determines device information of the external device 501 .
  • the external device 501 may include, for example, wired headphones, wireless headphones, speakers, earbuds, display devices, external audio devices, artificial intelligence IoT devices, and/or other electronic devices (eg, smart devices). phones and/or laptop PCs).
  • the processor 120 may identify a device type of the connected external device 501 based on device information (eg, a device identifier) of the external device 501 .
  • the processor 120 may determine context information according to the interaction with the external device 501 .
  • the context information may include, for example, a function operated (or interacting with) between the electronic device 101 and the external device 501 and/or a connection method with the external device 501 (eg, an external device). It may include operation information (or function information) related to a display surface that interacts with the device, and execution information (or classification information of an execution application) related to an application being executed through each divided screen area. It will be described with reference to the drawings to be described later in relation to context information, according to an embodiment.
  • the processor 120 may determine a control panel corresponding to each of the divided regions based on the context information. According to an embodiment, the processor 120 may determine the first control panel for the first display surface 510 based on context information related to the first display surface 510 . According to an embodiment, the processor 120 may determine the second control panel for the second display surface 520 based on context information related to the second display surface 520 .
  • the processor 120 may provide the control panel through the divided area.
  • the processor 120 performs an operation (eg, a first application function control, an external device function control, and/or a first display) based on the first display surface 510 through the first display surface 510 .
  • a first control panel related to the setting related to the aspect may be provided.
  • the processor 120 performs an operation (eg, a second application function control, an external device function control, and/or a second display) based on the second display surface 520 through the second display surface 520 .
  • a second control panel related to the setting related to the aspect) may be provided.
  • the processor 120 determines execution information for each divided region.
  • the processor 120 may determine execution information (eg, classification information of the execution application) related to the application being executed in each of the screen division areas.
  • the processor 120 may determine a control panel corresponding to each of the divided regions based on the execution information. According to an embodiment, the processor 120 may determine the first control panel for the first display surface 510 based on execution information related to the first display surface 510 . According to an embodiment, the processor 120 may determine the second control panel for the second display surface 520 based on execution information related to the second display surface 520 .
  • the processor 120 may provide the control panel through the divided area. According to an embodiment, the processor 120 performs an operation based on the first display surface 510 (eg, controlling the first application function and/or setting related to the first display surface) through the first display surface 510 . An associated first control panel may be provided. According to an embodiment, the processor 120 performs an operation based on the second display surface 520 (eg, controlling a second application function and/or setting related to the second display surface) through the second display surface 520 . An associated second control panel may be provided.
  • the first display surface 510 eg, controlling the first application function and/or setting related to the first display surface
  • An associated first control panel may be provided.
  • the processor 120 performs an operation based on the second display surface 520 (eg, controlling a second application function and/or setting related to the second display surface) through the second display surface 520 .
  • An associated second control panel may be provided.
  • FIG. 10 is a diagram illustrating an example of an operation of providing a control panel in an electronic device according to an exemplary embodiment.
  • FIG. 10 illustrates that the electronic device 101 and at least one external device 501 are connected through a specified communication, and the electronic device 101 moves from a first state (eg, an unfolded state) to a second state.
  • a first state eg, an unfolded state
  • a second state e.g., a first state
  • a specified mode that changes state to (eg, folded at a certain angle)
  • device information and/or situation information eg, operation information and/or execution information
  • a control panel that is divided for each display surface is provided. can give an example.
  • the electronic device 101 displays based on various collection information 1010 collected (or identified) internally of the electronic device 101 or externally according to interaction with the external device 501 .
  • the control panel 1030 may be determined for each surface (eg, the first display surface 510 and the second display surface 520 ).
  • the collection information 1010 includes device information 1011 related to the external device 501 , a function operated (or interacting with) between the electronic device 101 and the external device 501 , and/or an external device.
  • Operation information 1013 related to the device 501 and a connection method eg, a display surface that interacts with an external device
  • execution information 1015 related to an application running in each divided screen area eg, of an execution application
  • the motion information 1013 includes direction information related to a display surface corresponding to a location (or a location direction) of a target object (eg, a user and/or an external device 501 ), and the external device 501 .
  • Connection information related to a display surface at a location connected to may include, but not limited to, connection information related to a display surface at a close distance for each external device 501 .
  • the electronic device 101 controls each divided region based on at least one piece of collection information 1010 such as device information 1011 , operation information 1013 , and/or execution information 1015 .
  • the type of the panel 1030 and/or at least one display area (eg, at least one display surface) in which the control panel 1030 is to be displayed may be determined ( 1020 ).
  • the electronic device 101 may analyze the collection information 1010 , and based on the analysis result, at least one display surface (eg, the first display surface) to provide the control panel 1030 . 510 and/or the second display surface 520) may be determined, and the control panel 1030 to be displayed through the determined display surface may be determined for each display surface.
  • control panel 1030 may include N (N is a natural number) number of control panels designated to the electronic device 101 .
  • N is a natural number
  • a first control panel 1031 eg, a volume control panel
  • a second control panel 1033 eg, a sound path control panel
  • a third control panel 1035 eg, a display brightness control panel
  • a fourth control panel 1037 eg, a mirroring control panel
  • an N-th control panel 1039 eg, a setting control panel
  • FIG. 11 is a diagram illustrating an example of a scenario in which an electronic device operates based on a mode change according to an embodiment.
  • the electronic device 101 and the external device 1101 are connected through wired communication, and the electronic device 101 is in a first state (eg, an unfolded state).
  • a first state eg, an unfolded state
  • two display surfaces eg, the first display surface 510 and the second display surface 520
  • the electronic device 101 displays the execution screen 1115 (or the first user interface) of the first application through the first display surface 510 according to entering the specified mode, and displays the second display surface ( Through 520 , an execution screen 1125 (eg, a second user interface) of the second application may be displayed.
  • the first application may be a foreground application (eg, an application running in the first state).
  • the second application may be a user-designated application or a most recently executed application among background applications.
  • the electronic device 101 displays a second application (eg, a home screen) designated through the second display surface 520 . It may be displayed or provided by turning off the second display surface 520 .
  • FIG. 11 an example in which the control panel 1130 for volume control is provided through the first display surface 510 and/or the second display surface 520 may be shown.
  • a plurality of sound paths of the electronic device 101 eg, a first pass for output to the external device 1101 and a second pass for output from a speaker of the electronic device 101 .
  • the electronic device 101 may divide and use a plurality of sound paths, such as a first path and a second path.
  • the electronic device 101 may output audio data of the first application to the external device 1101 and output audio data of the second application to the speaker of the electronic device 101 .
  • the electronic device 101 may be set to use a specified sound path in a specified mode, or may be configured to not specify a sound path in a specified mode.
  • a display surface eg, a first display surface (eg, a first display surface) 510)
  • a control panel 1130 related to volume control of the external device 1101 may be provided.
  • the electronic device 101 may provide a control panel (not shown) related to the speaker volume control of the electronic device 101 to another unspecified display surface (eg, the second display surface 520 ). may be
  • the electronic device 101 determines whether the sound path is activated in the control panel 1130 , for example. It can be provided by including a separate object 1135 for confirming.
  • both sound paths of the first application and the second application may be set to the external device 1101 when the electronic device 101 enters the specified mode.
  • the electronic device 101 when entering the specified mode, the electronic device 101 is placed on the display surface (eg, the first display surface 510) corresponding to (or close to) the direction in which the external device 1101 is wired (eg, the earphone jack part).
  • a control panel 1130 related to volume control of the external device 1101 may be provided, and an object 1135 for checking whether a speaker sound path of the electronic device 101 is activated through the control panel 1130 may be provided. have.
  • the object 1135 for checking whether the sound path is activated may be provided in a pop-up format separately from the control panel 1130 .
  • the electronic device 101 has a display surface (eg, the second display surface 520 ) different from the display surface (eg, the first display surface 510 ) in the direction in which the external device 1101 is wiredly connected. may not provide a control panel.
  • the electronic device 101 may provide a control panel 1150 related to sound path setting through the first display surface 510 .
  • the control panel 1150 may include a user interface capable of setting a sound path of an application executed on the first display surface 510 and the second display surface 520 , respectively.
  • FIG. 12 is a diagram illustrating an example of a scenario in which an electronic device operates based on a mode change according to an embodiment.
  • the electronic device 101 and the external device 1201 are connected through wireless communication, and the electronic device 101 is in a first state (eg, an unfolded state). ) to the second state (eg, folded state at a certain angle), when entering a designated mode (eg, tent mode), the control panels 1230 and 1240 according to the sound path are displayed on the first display surface 510 and examples provided through the second display surface 520 .
  • a designated mode eg, tent mode
  • the electronic device 101 displays the execution screen 1215 (or the first user interface) of the first application on the first display surface 510 according to entering the specified mode, and displays the second display.
  • An execution screen 1225 (eg, a second user interface) of the second application may be displayed through the screen 520 .
  • a plurality of sound paths of the electronic device 101 are shown in FIG. 12 .
  • the electronic device 101 may divide and use a plurality of sound paths, such as a first path and a second path.
  • the electronic device 101 may output audio data of the first application to the external device 1201 and output audio data of the second application to the speaker of the electronic device 101 .
  • a display corresponding to (or close to) a direction in which the external device 1201 is wirelessly connected eg, a direction identified using wireless communication (eg, UWB)
  • a control panel 1230 related to volume control of the external device 1201 may be provided on a surface (eg, the first display surface 510 ).
  • the electronic device 101 may provide the control panel 1240 related to the speaker volume control of the electronic device 101 to another unspecified display surface (eg, the second display surface 520 ). have.
  • the electronic device 101 when entering a specified mode, the electronic device 101 provides a separate object for checking whether the sound path is activated. may be
  • FIG. 13 is a diagram illustrating an example of a scenario in which an electronic device operates based on a mode change according to an embodiment.
  • the electronic device 101 and an external device eg, a first external device 1301 (eg, a first wireless earbud)) and a second external device 1303 (eg, a second wireless earbuds) are respectively connected through wireless communication, and the electronic device 101 changes from a first state (eg, an unfolded state) to a second state (eg, a state that is folded at a certain angle) based on a change in the designated mode
  • a first state eg, an unfolded state
  • a second state eg, a state that is folded at a certain angle
  • operations corresponding to those illustrated in FIGS. 11 to 12 may be performed, and detailed descriptions corresponding to each other will be omitted.
  • a plurality of sound paths of the electronic device 101 are provided (eg, a first path for output to the first external device 1301 and a second path for output to the second external device 1303 ). pass) can be
  • the electronic device 101 may divide and use a plurality of sound paths, such as a first path and a second path.
  • the electronic device 101 outputs audio data of an application to the first external device 1301 and the second external device 1303 through multi streaming (eg, dual streaming). can give an example.
  • each of the external devices 1301 and 1303 corresponds to a wirelessly connected direction (eg, a direction identified using wireless communication (eg, UWB)).
  • control panels 1330 and 1340 related to volume control of the corresponding external devices 1301 and 1303 may be provided on the display surface (eg, the first display surface 510 and the second display surface 520 ) on the display surface (eg, near).
  • the electronic device 101 provides the first control panel 1330 for the first external device 1301 relatively close to the first display surface 510 through the first display surface 510 .
  • the second control panel 1340 for the second external device 1303 relatively close to the second display surface 520 may be provided through the second display surface 520 .
  • the electronic device 101 changes the control panels 1330 and 1340 (eg, changes a setting device) through at least one of the first control panel 1330 and/or the second control panel 1340 . ) (e.g., changing the control panel for controlling an external device to be controlled on the corresponding display surface) and/or the control panel 1330 and 1340 are integrated so that all of the control panels 1330 and 1340 can be controlled on any one display surface.
  • An object 1333 may be provided.
  • the electronic device 101 controls a control panel (eg, the first display surface 510) of the corresponding display surface (eg, the first display surface 510).
  • the first control panel 1330 may be replaced with another display surface (eg, the control panel 1350 (eg, the second control panel 1340) of the second display surface 520).
  • the electronic device 101 replaces the first control panel 1330 with the second control panel 1340 on the first display surface 510 , and corresponds to the second control panel 1340 on the second display surface 520 . ) may be provided by replacing the first control panel 1330 .
  • the electronic device 101 may change an external device (or sound path) connected to each display surface in response to a change in the control panel. For example, the electronic device 101 changes the sound path of the first external device 1301 related to the first display surface 510 to the sound path of the second external device 1303, and the second display surface ( A sound path of the second external device 1303 associated with the 520 may be changed to a sound path of the first external device 1301 .
  • the electronic device 101 may display a corresponding display surface (eg, the first display surface 510 or the second display surface 510 ).
  • the first control panel 1330 and the second control panel 1340 are integrated (eg, the first control panel 1330 or the second control panel 1340) of the control panel (eg, the first control panel 1330 or the second control panel 1340) of the display surface 520)
  • the first external device 1301 and the second external device 1303 may be provided by replacing them with the third control panel 1360 (so that both can be controlled from the corresponding display surface).
  • the third control panel 1360 allows a user to control both the first external device 1301 and the second external device 1303 connected to the respective display surfaces 510 and 520 from the corresponding display surface. It may include interfaces.
  • the electronic device 101 is based on sensing using various sensors of the electronic device 101 .
  • An external device may be set for each display surface based on the user's motion tracking of , and/or an interaction according to a button input of the external devices 1301 and 1303 .
  • FIG. 14 is a diagram illustrating an example of a scenario in which an electronic device operates based on a mode change according to an embodiment.
  • the electronic device 101 and an external device are connected through wireless communication, and the electronic device 101 is in a first state (eg, an unfolded state).
  • a specified mode eg, tent mode
  • the sound path of the external device is separated (eg, the first audio output device 1401 constituting the external device) ) (e.g. earbud for left side) and second pass for second audio output device 1403 (e.g.
  • control panels 1430 and 1440 are provided through the first display surface 510 and the second display surface 520 respectively may be illustrated. According to an embodiment, in the example shown in FIG. 14 , operations corresponding to the examples shown in FIGS. 11 to 13 may be performed, and detailed descriptions corresponding to each other will be omitted.
  • a sound path of the electronic device 101 is a single pass, and a sound path for output to a plurality of passes (eg, the first audio output device 1401 ) according to the entry into a specified mode by the electronic device 101 is shown in FIG. 14 .
  • An example of changing to a first pass and a second pass for output to the second audio output device 1403 may be shown.
  • the electronic device 101 is connected to one external device (eg, a wireless earbud), and when entering a specified mode, provides a sound path set to the external device with the first audio output device 1401 of the external device.
  • Each of the second audio output devices 1403 may be divided and used in the same manner as in the first pass and the second pass.
  • the electronic device 101 may show an example of changing the audio data of the application to multi-streaming and outputting it to the first audio output device 1401 and the second audio output device 1403 .
  • the electronic device 101 when entering a specified mode, corresponds to a direction in which each of the audio output devices 1401 and 1403 is wirelessly connected (eg, a direction identified using wireless communication (eg, UWB)).
  • Control panels 1430 and 1440 related to volume control of the corresponding audio output devices 1401 and 1403 are provided on (or near) display surfaces (eg, the first display surface 510 and the second display surface 520 ), respectively can do.
  • the electronic device 101 controls the first control panel 1430 of the first audio output device 1401 relatively close to the first display surface 510 through the first display surface 510 .
  • the electronic device 101 controls the second control panel 1440 for the second audio output device 1403 relatively close to the second display surface 520 through the second display surface 520 .
  • the electronic device 101 performs the first object 1431 and/or the second object 1433 through at least one of the first control panel 1430 and/or the second control panel 1440 .
  • the first object 1431 may include an object for changing the control panels 1430 and 1440 (eg, changing a setting device).
  • changing the control panels 1430 and 1440 may include changing the control panel for controlling the audio output device to be controlled on the corresponding display surface.
  • the second object 1433 integrates the first audio output device 1401 and the second audio output device 1403 into one external device, and the first audio output device 1401 and the second An object for integrating a sound path separated by the audio output device 1403 into one sound path of an external device may be included.
  • the electronic device 101 controls a control panel (eg, the first display surface 510 ) of the corresponding display surface (eg, the first display surface 510 ).
  • the first control panel 1430 may be replaced with another display surface (eg, the control panel 1450 (eg, the second control panel 1440) of the second display surface 520).
  • the electronic device 101 replaces the first control panel 1430 with the second control panel 1440 on the first display surface 510 , and corresponds to the second control panel 1440 on the second display surface 520 . ) may be provided by replacing the first control panel 1430 .
  • the electronic device 101 may change the audio output device (or sound path) connected to each display surface in response to the change of the control panel. For example, the electronic device 101 changes the sound path of the first audio output device 1401 associated with the first display surface 510 to the sound path of the second audio output device 1403 , and the second display A sound path of the second audio output device 1403 related to the surface 520 may be changed to a sound path of the first audio output device 1401 .
  • the electronic device 101 when the object 1433 for integrating the control panels 1430 and 1440 is selected by the user, the electronic device 101 has a corresponding display surface (eg, the first display surface 510 or the second display surface 510 ). 2
  • the control panel eg, the first control panel 1430 or the second control panel 1440 of the display surface 520
  • the control panel 1460 may be substituted and provided.
  • the first audio output device 1401 and the second audio output device 1403 are integrated and operated as one external device, and the first audio output device 1401 and the second audio output device ( 1403) may include integrating the separated sound paths into one sound path of an external device so that all of them can be controlled on a corresponding display surface.
  • the third control panel 1460 sets the first audio output device 1401 and the second audio output device 1403 connected to each of the display surfaces 510 and 520 as one external device, It may include a user interface implemented to be controllable on all display surfaces.
  • the electronic device 101 connects the first audio output device 1401 and the second audio output device 1403 as one external device by a user based on the selection of the object 1433 .
  • the electronic device 101 may provide one integrated third control panel 1460 through a designated display surface (eg, the first display surface 510) based on the recognition result. .
  • 15 is a diagram illustrating an example of a scenario in which an electronic device operates based on a mode change according to an embodiment.
  • a control panel for controlling one display surface may be provided through the first display surface 510 and the second display surface 520 , respectively.
  • operations corresponding to the examples illustrated in FIGS. 11 to 14 may be performed, and detailed descriptions corresponding to each other will be omitted.
  • display brightness control panels 1530 and 1540 capable of adjusting the screen brightness of the first display surface 510 and the second display surface 520 are first displayed on the basis of entering a specified mode.
  • the electronic device 101 may measure ambient illuminance for each display surface using various sensors (eg, illuminance sensor) of the electronic device 101 , and each measured illuminance may be measured. Based on the value, the screen brightness of the corresponding display surface may be automatically adjusted and provided. For example, the electronic device 101 sets the screen brightness of the first display surface 510 and the second display surface ( 520) may be provided by setting the screen brightness to the same brightness or different brightness.
  • sensors eg, illuminance sensor
  • the electronic device 101 may provide each of the control panels 1530 and 1540 through the first display surface 510 and the second display surface 520, and each control panel 1530, 1540), the screen brightness of the corresponding display surface may be adjusted and provided based on the user input.
  • 16 is a diagram illustrating an example of a scenario in which an electronic device operates based on a mode change according to an embodiment.
  • the electronic device 101 and the external device 1601 are connected through wireless communication, and the electronic device When 101 enters a specified mode (eg tent mode) based on a change from the first state (eg, unfolded state) to the second state (eg, folded at a certain angle), screen mirroring
  • a specified mode eg tent mode
  • the control panels 1630 and 1640 may be shown.
  • operations corresponding to the examples illustrated in FIGS. 11 to 15 may be performed, and detailed descriptions corresponding to each other will be omitted.
  • the electronic device 101 displays the execution screen 1615 (or the first user interface) of the first application through the first display surface 510 according to entering the specified mode, and the second display An execution screen 1625 (eg, a second user interface) of the second application may be displayed through the screen 520 .
  • the first application may be a foreground application (eg, an application running in the first state).
  • the second application may be a user-designated application or a most recently executed application among background applications.
  • the electronic device 101 for example, when the second application for the second display surface 520 is not defined, the second application designated through the second display surface 520 (eg, : home screen) or may be provided by turning off the second display surface 520 .
  • FIG. 16 may show an example in which a control panel for volume control is provided through the first display surface 510 and/or the second display surface 520 .
  • a first external device 1601 eg, a monitor
  • a second external device eg, a TV
  • It may be present and an example of a case where the first external device 1601 is present at a position corresponding to the first display surface 510 may be shown.
  • the first external device 1601 is located closer to the second display surface 520 than the second display surface 520 , the first display surface.
  • the electronic device 101 may divide and use a plurality of data paths for screen mirroring, such as a first pass and a second pass.
  • the electronic device 101 may output video data of a first application to the first external device 1601 and may or may not output video data of a second application to a second external device (not shown). have.
  • the electronic device 101 controls screen mirroring with the first external device 1601 on a display surface (eg, the first display surface 510 ) close to the first external device 1601 when entering a specified mode.
  • a first control panel 1630 related to may be provided.
  • the electronic device 101 is connected to another external device (eg, the second display surface 520 ) that is connectable for screen mirroring of the electronic device 101 to another unspecified display surface (eg, the second display surface 520 ).
  • a second external device) and a second control panel 1640 related to screen mirroring control may be provided.
  • the electronic device 101 may display a first device including information on other connectable external devices of the first external device 1601 through the first display surface 510 relatively close to the first external device 1601 .
  • One control panel 1630 may be provided.
  • the electronic device 101 may display other connectable devices except for information on the first external device 1601 through the second display surface 520 that is not relatively close to the first external device 1601 .
  • a second control panel 1640 including information on an external device may be provided.
  • the user displays the execution screen 1615 of the first application on the first display surface 510 through the first control panel 1630 of the first display surface 510 on the first external device 1601 . ) and screen mirroring control.
  • the user may display the execution screen 1625 of the second application on the second display surface 520 through the second control panel 1640 of the second display surface 520 to a second external device (not shown). city) and screen mirroring control.
  • a designated mode in which the electronic device 101 is changed from a first state to a second state while a designated user interface is displayed in full screen An operation of detecting execution, an operation of dividing the entire screen into a first display surface and a second display surface based on the detection of entering the specified mode, an operation of dividing the screen into a first display surface and a second display surface, respectively It may include an operation of displaying a designated user interface, and an operation of independently providing a control panel related to the corresponding display surface based on the user interfaces of the first display surface and/or the second display surface.
  • the providing of the control panel includes: providing a first control panel for changing a property related to the first display surface through the first display surface; and providing a second control panel for changing a property related to the second display surface, wherein the first control panel and the second control panel may operate independently of each other on the corresponding display surface.
  • the providing of the control panel may include at least based on a use state of the first display surface and the second display surface and/or a connection state of an external device, the first display surface and/or and providing a control panel through at least one of the second display surfaces.
  • the change of the property related to the display surface is based on a control panel corresponding to the first display surface and the second display surface, respectively, a setting of the electronic device This may include changing, controlling functions of applications executed through the first display surface and the second display surface, and/or changing functions and/or settings of one or more external devices connected to the electronic device. .
  • the operation of providing the control panel may include determining a first control panel for the first display surface based on context information related to the first display surface, and determining the first control panel for the first display surface related to the second display surface. and determining a second control panel for the second display surface based on context information.
  • the method may include determining execution information for each divided display surface, and providing a control panel by classifying each display surface based on the execution information.
  • the providing of the control panel may include determining a first control panel for the first display surface based on execution information related to the first display surface, and determining the first control panel for the first display surface. and determining a second control panel for the second display surface based on the execution information.
  • the designated mode includes a tent mode, a flex mode and/or a split screen mode
  • the control panel includes a volume control panel, a sound path control panel, and a display brightness. a control panel, and/or a mirroring control panel.

Abstract

본 개시의 다양한 실시예들은 플렉서블 디스플레이(flexible display)를 갖는 전자 장치(예: 폴더블 장치(foldable device)) 및 그의 모드 변경에 따른 제어 패널을 제공하는 방법에 관하여 개시한다. 다양한 실시예들에 따른 전자 장치는, 디스플레이 모듈, 및 상기 디스플레이 모듈과 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 지정된 사용자 인터페이스를 전체 화면으로 표시하는 동안, 상기 전자 장치가 제1 상태에서 제2 상태로 변경되는 지정된 모드 실행을 감지하고, 상기 지정된 모드 진입 감지에 기반하여 상기 전체 화면을 제1 디스플레이 면과 제2 디스플레이 면으로 구분되는 화면 분할을 실행하고, 상기 제1 디스플레이 면 및 상기 제2 디스플레이 면에 각각 지정된 사용자 인터페이스를 표시하고, 및 상기 제1 디스플레이 면 및/또는 상기 제2 디스플레이 면의 사용자 인터페이스에 기반하여, 해당 디스플레이 면과 관련된 제어 패널을 독립적으로 제공할 수 있다. 다양한 실시예들이 가능하다.

Description

플렉서블 디스플레이를 갖는 전자 장치 및 그의 모드 변경에 따른 제어 패널 제공 방법
본 개시의 실시예는 플렉서블 디스플레이(flexible display)를 갖는 전자 장치(예: 폴더블 장치(foldable device)) 및 그의 모드 변경에 따른 제어 패널을 제공하는 방법에 관하여 개시한다.
디지털 기술의 발달과 함께 이동통신 단말기, PDA(personal digital assistant), 전자수첩, 스마트 폰(smart phone), 태블릿 PC(personal computer), 및/또는 랩탑(laptop) PC와 같은 다양한 유형의 전자 장치가 널리 사용되고 있다. 이러한, 전자 장치는 기능 지지 및 증대를 위해, 전자 장치의 하드웨어적인 부분 및/또는 소프트웨어적인 부분이 지속적으로 개량되고 있다.
전자 장치는, 휴대성을 위해 제한된 크기를 가질 수 있으며, 이로 인하여 디스플레이의 크기도 제약되고 있다. 이에, 최근에는 멀티 디스플레이(multi display)에 의해 전자 장치에서 보다 확장된 화면을 제공하는 다양한 형태의 전자 장치가 개발되고 있다. 예를 들면, 전자 장치는 복수 개의 디스플레이를 구비하여 멀티 디스플레이에 의한 확장된 화면을 제공하고 있다. 다른 예를 들면, 전자 장치는 한정된 크기를 가지는 디스플레이에서 화면의 크기가 점진적으로 커지고 있으며, 사용자에게 큰 화면을 통해 다양한 서비스(또는 기능)를 제공하도록 설계되고 있다.
최근 전자 장치는 멀티 디스플레이(예: 듀얼 디스플레이(dual display)) 장치(예: 폴더블 장치(foldable device))와 같은 새로운 폼 팩터(form factor)를 가질 수 있다. 폴더블 장치는 접히는(또는 휘어지는) 디스플레이(예: 플렉서블 디스플레이(flexible display) 또는 폴더블 디스플레이(foldable display))를 탑재하고, 접어서 사용하거나 펼쳐서 사용할 수 있다. 전자 장치는 멀티 디스플레이 구현과 같은 새로운 폼 팩터에 따라, 멀티 디스플레이에 대응하는 사용자 인터페이스(UI, user interface) 및 그의 운영에 관한 개발의 필요성이 증대되고 있다.
다양한 실시예들에서는, 적어도 두 개의 디스플레이 면(display surface)(또는 표시 영역)으로 구분 가능한 플렉서블 디스플레이(flexible display)를 갖는 전자 장치(예: 폴더블 장치(foldable device))에서, 전자 장치의 모드 변경에 따라 적어도 하나의 디스플레이 면(또는 표시 영역)을 통해 제어 패널(control panel)을 제공할 수 있는 방법 및 장치에 관하여 개시한다.
다양한 실시예들에서는, 전자 장치가 접히는 물리적인 특성에 기반하여, 구분되는 적어도 하나의 디스플레이 면을 통해, 대응되는 제어 패널을 독립적으로 제공할 수 있는 방법 및 장치에 관하여 개시한다.
다양한 실시예들에서는, 전자 장치를 일정 부분 접어서 적어도 두 개 방향으로 화면이 분할되는 모드(예: 텐트 모드(tent mode), 플렉스 모드(flex mode) 또는 화면 분할 모드)에서, 분할된 각각의 디스플레이 면과 관련된 속성을 변경할 수 있는 제어 패널을 제공할 수 있는 방법 및 장치에 관하여 개시한다.
본 개시의 일 실시예에 따른 전자 장치는, 디스플레이 모듈, 및 상기 디스플레이 모듈과 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 지정된 사용자 인터페이스를 전체 화면으로 표시하는 동안, 상기 전자 장치가 제1 상태에서 제2 상태로 변경되는 지정된 모드 실행을 감지하고, 상기 지정된 모드 진입 감지에 기반하여 상기 전체 화면을 제1 디스플레이 면과 제2 디스플레이 면으로 구분되는 화면 분할을 실행하고, 상기 제1 디스플레이 면 및 상기 제2 디스플레이 면에 각각 지정된 사용자 인터페이스를 표시하고, 및 상기 제1 디스플레이 면 및/또는 상기 제2 디스플레이 면의 사용자 인터페이스에 기반하여, 해당 디스플레이 면과 관련된 제어 패널을 독립적으로 제공하도록 할 수 있다.
본 개시의 일 실시예에 따른 전자 장치의 동작 방법은, 지정된 사용자 인터페이스를 전체 화면으로 표시하는 동안, 상기 전자 장치가 제1 상태에서 제2 상태로 변경되는 지정된 모드 실행을 감지하는 동작, 상기 지정된 모드 진입 감지에 기반하여 상기 전체 화면을 제1 디스플레이 면과 제2 디스플레이 면으로 구분되는 화면 분할을 실행하는 동작, 상기 제1 디스플레이 면 및 상기 제2 디스플레이 면에 각각 지정된 사용자 인터페이스를 표시하는 동작, 및 상기 제1 디스플레이 면 및/또는 상기 제2 디스플레이 면의 사용자 인터페이스에 기반하여, 해당 디스플레이 면과 관련된 제어 패널을 독립적으로 제공하는 동작을 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 개시의 다양한 실시예들에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
본 개시의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 개시의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 개시의 바람직한 실시예와 같은 특정 실시예는 단지 예시로 주어진 것으로 이해되어야 한다.
본 개시의 다양한 실시예들에 따른 전자 장치 및 그의 동작 방법에 따르면, 적어도 두 개의 디스플레이 면(또는 표시 영역)으로 구분 가능한 플렉서블 디스플레이를 갖는 전자 장치(예: 폴더블 장치)에서, 전자 장치의 모드 변경에 따라 적어도 하나의 디스플레이 면(또는 표시 영역)을 통해, 사용자의 디스플레이 사용 환경에 적합한 제어 패널을 제공할 수 있다.
본 개시의 다양한 실시예들에 따르면, 전자 장치는 전자 장치를 일정 부분 접어서 적어도 두 개 방향으로 화면이 분할되는 모드(예: 텐트 모드 또는 플렉스 모드)로 진입(또는 상태 변경) 시, 분할된 각각의 디스플레이 면에 관련된 속성(예: sound path, display brightness, audio volume, 또는 screen mirroring)을 변경(또는 조절 또는 제어)할 수 있는 해당 제어 패널(예: 볼륨 제어 패널, 사운드 패스 제어 패널, 디스플레이 밝기 제어 패널, 및/또는 미러링 제어 패널)을 각각 제공할 수 있다. 본 개시의 다양한 실시예들에 따르면, 사용자(들)은 전자 장치를 일정 부분 접어서 적어도 두 개 방향으로 화면이 분할되는 모드로 사용 시, 디스플레이 면 별로 제공되는 제어 패널을 통해 디스플레이 면 별로 관련된 속성을 보다 편리하게 변경할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도면 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 디스플레이 모듈의 블록도이다.
도 3은 일 실시예에 따른 전자 장치의 예를 설명하기 위해 도시하는 도면이다.
도 4a 및 도 4b는 일 실시예에 따른 전자 장치의 모드를 변경하는 예를 설명하기 위해 도시하는 도면들이다.
도 5는 일 실시예에 따른 전자 장치 및 외부 장치 간의 상호작용에 의한 동작 예를 설명하기 위해 도시하는 도면이다.
도 6은 일 실시예에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 7은 일 실시예에 따른 전자 장치에서 모드 변경에 따라 제공되는 사용자 인터페이스의 예를 도시하는 도면이다.
도 8은 일 실시예에 따른 전자 장치에서 제어 패널의 예를 도시하는 도면이다.
도 9는 일 실시예에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 10은 일 실시예에 따른 전자 장치에서 제어 패널을 제공하는 동작 예를 설명하기 위해 도시하는 도면이다.
도 11은 일 실시예에 따른 전자 장치에서 모드 변경에 기반하여 동작하는 시나리오의 일 예를 도시하는 도면이다.
도 12는 일 실시예에 따른 전자 장치에서 모드 변경에 기반하여 동작하는 시나리오의 일 예를 도시하는 도면이다.
도 13은 일 실시예에 따른 전자 장치에서 모드 변경에 기반하여 동작하는 시나리오의 일 예를 도시하는 도면이다.
도 14는 일 실시예에 따른 전자 장치에서 모드 변경에 기반하여 동작하는 시나리오의 일 예를 도시하는 도면이다.
도 15는 일 실시예에 따른 전자 장치에서 모드 변경에 기반하여 동작하는 시나리오의 일 예를 도시하는 도면이다.
도 16은 일 실시예에 따른 전자 장치에서 모드 변경에 기반하여 동작하는 시나리오의 일 예를 도시하는 도면이다.
도 1은 다양한 실시예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치(CPU, central processing unit) 또는 어플리케이션 프로세서(AP, application processor)) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치(GPU, graphic processing unit), 신경망 처리 장치(NPU, neural processing unit), 이미지 시그널 프로세서(ISP, image signal processor), 센서 허브 프로세서(sensor hub processor), 또는 커뮤니케이션 프로세서(CP, communication processor))를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(inactive)(예: 슬립(sleep)) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(OS, operating system)(142), 미들 웨어(middleware)(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD(secure digital) 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN(wide area network))와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB, enhanced mobile broadband), 단말 전력 최소화와 다수 단말의 접속(mMTC, massive machine type communications), 또는 고신뢰도와 저지연(URLLC, ultra-reliable and low-latency communications)을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO, full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC, mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 다양한 실시 예들에 따른 디스플레이 모듈(160)의 블록도(200)이다.
도 2를 참조하면, 디스플레이 모듈(160)은 디스플레이(210), 및 이를 제어하기 위한 디스플레이 드라이버 IC(DDI, display driver IC)(230)를 포함할 수 있다. DDI(230)는 인터페이스 모듈(231), 메모리(233)(예: 버퍼 메모리), 이미지 처리 모듈(235), 또는 맵핑 모듈(237)을 포함할 수 있다.
DDI(230)는, 예를 들면, 영상 데이터, 또는 상기 영상 데이터를 제어하기 위한 명령에 대응하는 영상 제어 신호를 포함하는 영상 정보를 인터페이스 모듈(231)을 통해 전자 장치(101)의 다른 구성 요소로부터 수신할 수 있다. 예를 들면, 영상 정보는 프로세서(120)(예: 메인 프로세서(121)(예: 어플리케이션 프로세서) 또는 메인 프로세서(121)의 기능과 독립적으로 운영되는 보조 프로세서(123)(예: 그래픽 처리 장치))로부터 수신될 수 있다. DDI(230)는 터치 회로(250) 또는 센서 모듈(176)과 상기 인터페이스 모듈(231)을 통하여 커뮤니케이션 할 수 있다. 또한, DDI(230)는 상기 수신된 영상 정보 중 적어도 일부를 메모리(233)에, 예를 들면, 프레임 단위로 저장할 수 있다.
이미지 처리 모듈(235)은, 예를 들면, 상기 영상 데이터의 적어도 일부를 상기 영상 데이터의 특성 또는 디스플레이(210)의 특성에 적어도 기반하여 전처리(pre-processing) 또는 후처리(post-processing)(예: 해상도, 밝기, 또는 크기 조정)를 수행할 수 있다.
맵핑 모듈(237)은 이미지 처리 모듈(235)을 통해 전처리 또는 후처리된 상기 영상 데이터에 대응하는 전압 값 또는 전류 값을 생성할 수 있다. 일 실시 예에 따르면, 전압 값 또는 전류 값의 생성은, 예를 들면, 디스플레이(210)의 픽셀(pixel)들의 속성(예: 픽셀들의 배열(RGB stripe 또는 pentile 구조), 또는 서브 픽셀들 각각의 크기)에 적어도 일부 기반하여 수행될 수 있다. 디스플레이(210)의 적어도 일부 픽셀들은, 예를 들면, 상기 전압 값 또는 전류 값에 적어도 일부 기반하여 구동됨으로써 상기 영상 데이터에 대응하는 시각적 정보(예: 텍스트, 이미지, 또는 아이콘)가 디스플레이(210)를 통해 표시될 수 있다.
일 실시 예에 따르면, 디스플레이 모듈(160)은 터치 회로(250)를 더 포함할 수 있다. 터치 회로(250)는 터치 센서(251) 및 이를 제어하기 위한 터치 센서 IC(253)를 포함할 수 있다. 터치 센서 IC(253)는, 예를 들면, 디스플레이(210)의 특정 위치에 대한 터치 입력 또는 호버링(hovering) 입력을 감지하기 위해 터치 센서(251)를 제어할 수 있다. 예를 들면, 터치 센서 IC(253)는 디스플레이(210)의 특정 위치에 대한 신호(예: 전압, 광량, 저항, 또는 전하량)의 변화를 측정함으로써 터치 입력 또는 호버링 입력을 감지할 수 있다. 터치 센서 IC(253)는 감지된 터치 입력 또는 호버링 입력에 관한 정보(예: 위치, 면적, 압력, 또는 시간)를 프로세서(120)에 제공할 수 있다. 일 실시 예에 따르면, 터치 회로(250)의 적어도 일부(예: 터치 센서 IC(253))는 DDI(230), 또는 디스플레이(210)의 일부로, 또는 디스플레이 모듈(160)의 외부에 배치된 다른 구성 요소(예: 보조 프로세서(123))의 일부로 포함될 수 있다.
일 실시 예에 따르면, 디스플레이 모듈(160)은 센서 모듈(176)의 적어도 하나의 센서(예: 지문 센서, 홍채 센서, 압력 센서 또는 조도 센서), 또는 이에 대한 제어 회로를 더 포함할 수 있다. 이 경우, 상기 적어도 하나의 센서 또는 이에 대한 제어 회로는 디스플레이 모듈(160)의 일부(예: 디스플레이(210) 또는 DDI(230)) 또는 터치 회로(250)의 일부에 임베디드될 수 있다. 예를 들면, 디스플레이 모듈(160)에 임베디드된 센서 모듈(176)이 생체 센서(예: 지문 센서)를 포함할 경우, 상기 생체 센서는 디스플레이(210)의 일부 영역을 통해 터치 입력과 연관된 생체 정보(예: 지문 이미지)를 획득할 수 있다. 다른 예를 들면, 디스플레이 모듈(160)에 임베디드된 센서 모듈(176)이 압력 센서를 포함할 경우, 상기 압력 센서는 디스플레이(210)의 일부 또는 전체 영역을 통해 터치 입력과 연관된 압력 정보를 획득할 수 있다. 일 실시 예에 따르면, 터치 센서(251) 또는 센서 모듈(176)은 디스플레이(210)의 픽셀 레이어(pixel layer)의 픽셀들 사이에, 또는 상기 픽셀 레이어의 위에 또는 아래에 배치될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱(heuristic)하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 3은 일 실시예에 따른 전자 장치의 예를 설명하기 위해 도시하는 도면이다.
일 실시예에 따라, 도 3은 다양한 디스플레이 형태에 따른 전자 장치(101)의 다양한 폼 팩터(form factor)의 예를 나타낼 수 있다. 일 실시예에 따라, 도 3에 예시된 바와 같이, 전자 장치(101)는 다양한 형태로 구현될 수 있고, 전자 장치(101)의 구현 형태에 따라 디스플레이(예: 도 1의 디스플레이 모듈(160))가 다양한 방식으로 제공될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치(101)는 폴더블 형태의 폼 팩터를 가지는 전자 장치(101)(예: 폴더블 장치(310, 320 또는 330)를 예로 설명하지만, 전자 장치(101) 및 그의 동작은 이에 한정되지 않는다. 예를 들면, 전자 장치(101)는, 폴딩 축을 포함하지 않으나, 적어도 2개의 화면 분할이 가능한 바형(bar type) 또는 평판형(plate type)(미도시), 롤러블(rollable)(미도시) 및/또는 슬라이더블(slidable)(미도시)과 같은 다양한 폼 팩터 및 그에 의해서도 동작할 수 있다.
일 실시예에 따라, 전자 장치(101)(예: 폴더블 장치(310, 320 또는 330))는 디스플레이(예: 도 1의 디스플레이 모듈(160))의 서로 다른 두 영역을 실질적으로 마주보게 또는 서로 반대 방향을 향하는(opposite to) 방향으로 접힘이 가능한 전자 장치를 의미할 수 있다. 일반적으로, 휴대 상태에서 전자 장치(101)(예: 폴더블 장치(310, 320 또는 330))의 디스플레이(예: 도 1 또는 도 2의 디스플레이 모듈(160))는 서로 다른 두 영역이 마주보는 상태로 또는 대향하는 방향으로 접히고, 실제 사용 상태에서 사용자는 디스플레이를 펼쳐 서로 다른 두 영역이 실질적으로 평판 형태를 이루게 할 수 있다.
일 실시예에 따르면, 전자 장치(101)(예: 폴더블 장치(310, 320 또는 330))는 하나의 폴딩 축에 기반하여 2개의 디스플레이 면(예: 제1 디스플레이 면 및 제2 디스플레이 면)을 포함하는 폼 팩터(예: 310 또는 320) 및/또는 적어도 2개의 폴딩 축에 기반하여 적어도 3개의 디스플레이 면(예: 제1 디스플레이 면, 제2 디스플레이 면 및 제3 디스플레이 면)을 포함하는 폼 팩터(예: 330)를 포함할 수 있다. 다양한 실시예들이 이에 한정되는 것은 아니며, 이는 예시적인 것으로, 전자 장치(101)가 가질 수 있는 폴딩 축들의 수는 제한하지 않는다.
일 실시예에 따르면, 전자 장치(101)는 구현 형태에 따라 디스플레이(예: 도 1의 디스플레이 모듈(160))가 다양한 방식(예: 인-폴딩(in-folding), 아웃-폴딩(out-folding), 또는 인/아웃 폴딩)으로 폴딩 또는 언폴딩 될 수 있다. 일 실시예에 따르면, 전자 장치(101)는 세로 폴더블, 가로 폴더블, G 폴더블, 또는 Z 폴더블과 같이 다양한 폴더블 방식을 포함할 수 있다.
도 4a 및 도 4b는 일 실시예에 따른 전자 장치의 모드를 변경하는 예를 설명하기 위해 도시하는 도면들이다.
다양한 실시예들에 따르면, 전자 장치(101)는 접었다 펼 수 있는 폴더블이 가능한 폴더블 장치(foldable device))를 포함할 수 있다. 다양한 실시예들에 따르면, 전자 장치(101)는 접히는(또는 휘어지는) 디스플레이(예: 폴더블 디스플레이 또는 플렉서블 디스플레이)를 탑재하고, 접어서 사용하거나 펼쳐서 사용할 수 있다.
일 실시예에 따라, 아웃-폴딩 방식의 전자 장치(101)는 접었을 때(예: 폴딩 상태(folding state))는 폴딩되는 지점(예: 폴딩 축 또는 힌지 축)을 기준으로 하우징(housing)(예: 커버)의 제1 부분과 제2 부분의 적어도 일부가 서로 맞닿아 닫힌 상태일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 펼쳤을 때(예: 언폴딩 상태(unfolding state))는 디스플레이의 모든 디스플레이 면(또는 영역)을 한 면(또는 전체 면)으로 제공하여 상대적으로 큰 크기로 디스플레이를 이용할 수 있다.
일 실시예에 따라, 인-폴딩 방식의 전자 장치(101)는 접었을 때(예: 폴딩 상태는 폴딩되는 지점(예: 폴딩 축 또는 힌지 축)을 기준으로 디스플레이의 제1 디스플레이 면(또는 제1 영역)과 제2 디스플레이 면(또는 제2 영역)의 적어도 일부가 서로 맞닿아 닫힌 상태일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 펼쳤을 때(예: 언폴딩 상태)는 디스플레이의 모든 디스플레이 면(또는 영역)을 한 면(또는 전체 면)으로 제공하여 상대적으로 큰 크기로 디스플레이를 이용할 수 있다.
도시하지는 않았으나, 인/아웃-폴딩 방식의 전자 장치(101)는 접었을 때는 폴딩되는 제1 지점(예: 제1 폴딩 축)을 기준으로 하우징(예: 커버)의 제1 부분과 제2 부분의 적어도 일부가 서로 맞닿고, 폴딩되는 제2 지점(예: 제2 폴딩 축)을 기준으로 디스플레이의 제1 디스플레이 면(또는 제1 영역)과 제2 디스플레이 면(또는 제2 영역)의 적어도 일부가 서로 맞닿아 닫힌 상태일 수 있다. 일 실시예에 따르면, 전자 장치(101)는 펼쳤을 때는 디스플레이의 모든 디스플레이 면(또는 영역)을 한 면(또는 전체 면)으로 제공하여 상대적으로 큰 크기로 디스플레이를 이용할 수 있다.
일 실시예에 따라, 도 4a 및 도 4b는 전자 장치(101)가 일정 각도(예: 중간 상태(intermediated state))로 폴드된 상태를 나타낼 수 있다. 예를 들면, 전자 장치(101)는 디스플레이 모듈(160)의 상태 변화(예: 폴딩 상태, 중간 상태에 있어서, 사용자에 의해 수동으로 전환될 수 있고, 다양한 실시예들에서는 도 4a 및 도 4b에 예시한 바와 같이, 전자 장치(101)가 중간 상태로 동작하는 지정된 모드(예: 도 4a의 텐트 모드(tent mode) 또는 도 4b의 플렉스 모드(flex mode))에서 동작하는 것으로, 예를 들면, 전자 장치(101)가 적어도 2개의 디스플레이 면으로 구분되어 동작 시에 각 디스플레이 면을 통해 제어 패널을 제공하는 것에 관하여 개시된다.
일 실시예에 따라, 지정된 모드는 전자 장치(101)를 일정 부분 접어서 적어도 두 개 방향으로 화면이 분할되는 모드(예: 텐트 모드 또는 플렉스 모드)를 포함할 수 있다. 일 실시예에 따라, 텐트 모드는, 예를 들면, 도 4a에 예시한 바와 같이, 전자 장치(101)를 일정 각도 접힌 상태에서 텐트 형태로 사용하여, 외부로 노출되는 제1 디스플레이 면(A)과 제2 디스플레이 면(B)을 구분하여 사용하는 모드를 포함할 수 있다. 일 실시예에 따라, 플렉스 모드는, 예를 들면, 도 4b에 예시한 바와 같이, 전자 장치(101)를 일정 각도 접힌 상태에서 전자 장치(101)의 일면이 바닥을 향하거나 바닥에 놓인 상태로 사용하여, 내부에서 노출되는 제1 디스플레이 면(A) 및/또는 제2 디스플레이 면(B)과 외부로 노출되는 제3 디스플레이 면(C)을 구분하여 사용하는 모드를 포함할 수 있다.
다양한 실시예들에 따르면, 도 3, 도 4a 또는 도 4b의 예시와 같은 전자 장치(101)는, 프로세서(예: 도 1의 프로세서(120)) 및 디스플레이 모듈(160)과 작동적으로 또는 전기적으로 연결된 하나의 디스플레이 드라이버 IC(DDI, display driver IC)(예: 도 2의 DDI(230))를 포함할 수 있다. 예를 들면, 제1 디스플레이 면과 제2 디스플레이 면은 하나의 DDI와 연결될 수 있다. 다양한 실시예들이 이에 제한되지 않으며, 전자 장치(101)는 제1 디스플레이 면과 작동적으로 또는 전기적으로 연결된 제1 DDI, 및 제2 디스플레이 면과 작동적으로 또는 전기적으로 연결된 제2 DDI를 포함할 수 있다. 다양한 실시예들에 따르면, 제1 디스플레이 면 및 제2 디스플레이 면은 서로 작동적으로 또는 전기적으로 연결될 수 있고, 하나의 디스플레이(예: 폴더블 디스플레이 또는 플렉서블 디스플레이)에 의하여 형성될 수 있다.
도 5는 일 실시예에 따른 전자 장치 및 외부 장치 간의 상호작용에 의한 동작 예를 설명하기 위해 도시하는 도면이다.
일 실시예에 따르면, 도 5는 전자 장치(101) 및 외부 장치(501)(또는 주변 장치)가 지정된 통신을 통해 연결되고, 전자 장치(101)가 제1 상태(예: 펼침 상태)에서 제2 상태(예: 일정 각도 접힌 상태)로 상태 변경(예: 모드 진입)된 예를 나타낼 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제2 상태와 같이 지정된 모드(예: 텐트 모드(tent mode))로 진입 시에 화면 분할을 통해 동작할 수 있다. 예를 들면, 도 5에서는 사용자가 전자 장치(101)를 세워서, 2개의 디스플레이 면(510, 520)이 서로 다른 방향을 향하도록 하고, 2개의 디스플레이 면(510, 520)을 모두 사용하는 모드(예: 텐트 모드)로 변경한 예를 나타낼 수 있다.
일 실시예에 따르면, 사용자는 전자 장치(101)의 텐트 모드 사용에 따라, 2개의 디스플레이 면(510, 520)을 독립적으로 이용할 수 있다. 전자 장치(101)는 텐트 모드 진입에 기반하여 디스플레이 모듈(160)을 제1 디스플레이 면(510)(또는 제1 영역)과 제2 디스플레이 면(520)(또는 제2 영역)으로 화면 분할할 수 있다. 일 실시예에 따라, 전자 장치(101)는 분할된 제1 디스플레이 면(510)을 통해 대응하는 제1 어플리케이션의 실행 화면(515)(또는 제1 사용자 인터페이스)을 표시할 수 있다. 일 실시예에 따라, 전자 장치(101)는 제2 디스플레이 면(520)을 통해 제1 어플리케이션과 같거나 다른 제2 어플리케이션의 실행 화면(525)(또는 제2 사용자 인터페이스)을 표시할 수 있다. 예를 들면, 전자 장치(101)는 화면 분할을 통해 제1 디스플레이 면(510)을 사용자 방향을 향하도록 하고, 다른 제2 디스플레이 면(520)을 사용자의 반대 방향을 향하도록 사용될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 다양한 외부 장치(501)와 직접(예: 유선) 통신 또는 무선 통신(예: OOB(out of band) 통신)으로 연결될 수 있다. 일 실시예에 따르면, 외부 장치(501)는 유선 헤드폰(501A), 무선 헤드폰(501B), 스피커(501C), 이어버드(501D), 디스플레이 장치(501E)(예: TV), 외부 오디오 장치(501F)(예: 카 오디오 장치), 인공지능 IoT 장치(501G), 및/또는 다른 전자 장치(501H)(예: 스마트 폰(smart phone) 및/또는 랩탑(laptop) PC)와 같은 다양한 장치를 포함할 수 있다.
일 실시예에 따른 외부 장치(501)는, 예를 들어, 전자 장치(101)와 지정된 통신으로 연결되어, 전자 장치(101)의 서비스(또는 기능)와 관련된 데이터를 송수신하는 기능을 구비하는 다양한 형태의 장치를 포함할 수 있다. 예를 들면, 외부 장치(501)는 지정된 통신을 통해 전자 장치(101)로부터 데이터(또는 정보)(예: 오디오 데이터 및/또는 영상 데이터(예: 이미지, 비디오 및/또는 스트리밍 데이터))를 수신하고, 수신된 데이터를 청각적 정보 및/또는 시각적 정보로 출력하여 사용자에게 제공할 수 있다. 일 실시예에 따라, 외부 장치(501)는, 예를 들면, 도 1을 참조한 설명 부분에서 설명한 바에 대응하는 구성 요소의 전부 또는 적어도 일부를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 외부 장치(501)와 일대일 방식 또는 일대다 방식으로 연결될 수 있다. 일 실시예에 따르면, 전자 장치(101)는 텐트 모드(또는 화면 분할)에 따라, 사용자에 의해 사용되는 적어도 하나의 디스플레이 면(510 및/또는 520)을 통해 관련된 사용자 인터페이스(또는 시각적 정보)를 표시하고, 연결된 외부 장치(501)를 통해 관련된 데이터(예: 오디오 데이터 및/또는 영상 데이터)를 출력하도록, 관련된 데이터를 외부 장치(501)로 전송할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 지정된 모드(예: 텐트 모드, 플렉스 모드 또는 화면 분할 모드) 진입 시에, 서로 구분되는 각각의 디스플레이 면(예: 510 및 520)에 서로 다른 사용자 인터페이스(또는 실행 화면)(예: 제1 사용자 인터페이스(515) 및 제2 사용자 인터페이스(525))를 표시할 수 있다. 예를 들면, 전자 장치(101)는 제1 디스플레이 면(510)을 통해 제1 사용자 인터페이스(515)를 표시하고, 제2 디스플레이 면(520)을 통해 제2 사용자 인터페이스(525)를 표시할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 지정된 모드 진입 시에, 제1 디스플레이 면(510)과 제2 디스플레이 면(520)의 사용 상태 및/또는 외부 장치(501)의 연결 상태에 적어도 기반하여, 제1 디스플레이 면(510) 및/또는 제2 디스플레이 면(520)의 적어도 하나를 통해, 해당 디스플레이 면과 관련된 속성(또는 기능)(예: sound path, display brightness, audio volume, 또는 screen mirroring)을 변경(또는 조절 또는 제어)할 수 있는 해당 사용자 인터페이스(예: 제어 패널(control panel))를 자동적으로 제공할 수 있다.
일 실시예에 따라, 디스플레이 면(510, 520)과 관련된 속성 또는 속성 변경은, 예를 들면, 전자 장치(101)가 지정된 모드로 동작 시에, 분할된 각 디스플레이 면에 각각 대응하는 제어 패널에 기반한, 전자 장치(101)의 하나 또는 그 이상의 설정 변경, 분할된 각 디스플레이 면에서 실행되는 어플리케이션의 기능 제어, 및/또는 전자 장치(101)에 연결되는 하나 또는 그 이상의 외부 장치(501)의 기능 및/또는 설정을 변경(또는 제어 또는 조절)하는 것을 나타낼 수 있다.
일 실시예에 따라, 제어 패널은, 예를 들면, 볼륨 제어 패널, 사운드 패스 제어 패널, 디스플레이 밝기 제어 패널, 및/또는 미러링 제어 패널을 포함할 수 있고, 이에 제한되지 않는다. 일 실시예에 따른, 제어 패널을 디스플레이 면 별로 구분하여 제공하는 동작과 관련하여 후술하는 도면을 참조하여 설명된다.
일 실시예에 따르면, 사용자는 전자 장치(101)를 지정된 모드(예: 텐트 모드, 플렉스 모드 또는 화면 분할 모드)에 따라 2개 이상의 화면으로 분할하여 사용하는 경우, 분할된 각 화면에 대응하여 자동적으로 제공되는 제어 패널을 통해, 해당 화면과 관련된 속성 변경을 종래 대비 편하게 수행할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(101)는, 디스플레이 모듈(160), 및 상기 디스플레이 모듈(160)과 작동적으로 연결된 프로세서(120)를 포함하고, 상기 프로세서(120)는, 지정된 사용자 인터페이스를 전체 화면으로 표시하는 동안, 상기 전자 장치(101)가 제1 상태에서 제2 상태로 변경되는 지정된 모드 실행을 감지하고, 상기 지정된 모드 진입 감지에 기반하여 상기 전체 화면을 제1 디스플레이 면과 제2 디스플레이 면으로 구분되는 화면 분할을 실행하고, 상기 제1 디스플레이 면 및 상기 제2 디스플레이 면에 각각 지정된 사용자 인터페이스를 표시하고, 및 상기 제1 디스플레이 면 및/또는 상기 제2 디스플레이 면의 사용자 인터페이스에 기반하여, 해당 디스플레이 면과 관련된 제어 패널을 독립적으로 제공할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 제1 디스플레이 면을 통해 상기 제1 디스플레이 면에 관련된 속성을 변경하기 위한 제1 제어 패널을 제공하고, 상기 제2 디스플레이 면을 통해 상기 제2 디스플레이 면에 관련된 속성을 변경하기 위한 제2 제어 패널을 제공하도록 설정되고, 상기 제1 제어 패널과 상기 제2 제어 패널은 해당 디스플레이 면에서 서로 독립적으로 동작할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 제1 디스플레이 면과 상기 제2 디스플레이 면의 사용 상태 및/또는 외부 장치의 연결 상태에 적어도 기반하여, 상기 제1 디스플레이 면 및/또는 상기 제2 디스플레이 면의 적어도 하나를 통해 제어 패널을 제공할 수 있다.
일 실시예에 따르면, 디스플레이 면에 관련된 속성 변경은, 상기 전자 장치(101)가 상기 지정된 모드로 동작 시에, 상기 제1 디스플레이 면과 상기 제2 디스플레이 면에 각각 대응하는 제어 패널에 기반한, 전자 장치(101)의 설정 변경, 상기 제1 디스플레이 면과 상기 제2 디스플레이 면을 통해 실행되는 어플리케이션의 기능 제어, 및/또는 전자 장치(101)에 연결되는 하나 또는 그 이상의 외부 장치의 기능 및/또는 설정을 변경하는 것을 포함할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 지정된 모드 실행 감지에 기반하여, 상기 전자 장치(101)가 외부 장치와 상호작용 중인지 여부를 판단하고, 상기 외부 장치와 상호작용 중인 경우, 상기 외부 장치의 장치 정보를 판단하고, 상기 외부 장치와 상호작용에 따른 상황 정보를 판단하고, 상기 장치 정보 및/또는 상기 상황 정보에 기반하여 디스플레이 면 별로 구분하여 제어 패널을 제공할 수 있다.
일 실시예에 따르면, 상기 상황 정보는, 상기 전자 장치(101)와 상기 외부 장치 간에 동작되는 기능 및/또는 상기 외부 장치와 상호작용하는 디스플레이 면에 관련된 동작 정보, 분할된 각각의 디스플레이 면을 통해 실행 중인 어플리케이션에 관련된 실행 정보를 포함할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 제1 디스플레이 면에 관련된 상황 정보에 기반하여 상기 제1 디스플레이 면을 위한 제1 제어 패널을 결정하고, 상기 제2 디스플레이 면에 관련된 상황 정보에 기반하여 상기 제2 디스플레이 면을 위한 제2 제어 패널을 결정할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 외부 장치와 상호작용 중이 아닌 경우, 분할된 디스플레이 면 별 실행 정보를 판단하고, 상기 실행 정보에 기반하여 디스플레이 면 별로 구분하여 제어 패널을 제공할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 제1 디스플레이 면에 관련된 실행 정보에 기반하여 상기 제1 디스플레이 면을 위한 제1 제어 패널을 결정하고, 상기 제2 디스플레이 면에 관련된 실행 정보에 기반하여 상기 제2 디스플레이 면을 위한 제2 제어 패널을 결정할 수 있다.
일 실시예에 따르면, 상기 제어 패널은, 볼륨 제어 패널, 사운드 패스 제어 패널, 디스플레이 밝기 제어 패널, 및/또는 미러링 제어 패널을 포함할 수 있다.
일 실시예에 따르면, 상기 지정된 모드는, 텐트 모드(tent mode), 플렉스 모드(flex mode) 및/또는 화면 분할 모드를 포함할 수 있다.
이하에서는 전자 장치(101)의 동작 방법에 대해서 상세하게 설명한다. 이하에서 설명하는 전자 장치(101)에서 수행하는 동작들은, 전자 장치(101)의 적어도 하나의 프로세싱 회로(processing circuitry)를 포함하는 프로세서(120)에 의해 실행될 수 있다. 일 실시예에 따라, 전자 장치(101)에서 수행하는 동작들은, 메모리(130)에 저장되고, 실행 시에, 프로세서(120)가 동작하도록 하는 인스트럭션들(instructions)에 의해 실행될 수 있다.
도 6은 일 실시예에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다. 도 7은 일 실시예에 따른 전자 장치에서 모드 변경에 따라 제공되는 사용자 인터페이스의 예를 도시하는 도면이다.
도 6을 참조하면, 동작 601에서, 전자 장치(101)의 프로세서(120)는 지정된 모드(예: 텐트 모드, 플렉스 모드 또는 화면 분할 모드)의 실행(또는 진입)을 감지할 수 있다.
일 실시예에 따라, 도 7을 참조하면, 프로세서(120)는, 예시 <701>에 도시한 바와 같이, 제1 어플리케이션의 실행 화면(또는 사용자 인터페이스)을 디스플레이 모듈(160)의 전체 화면을 표시하는 상태일 수 있다. 일 실시예에 따르면, 프로세서(120)는 어플리케이션의 실행 화면을 디스플레이 모듈(160)의 전체 화면으로 표시하는 동안, 전자 장치(101)가 제1 상태(예: 펼침 상태)에서 제2 상태(예: 일정 각도 접힌 상태)로 변경되는 지정된 모드(예: 텐트 모드, 플렉스 모드 또는 화면 분할 모드)의 실행을 감지할 수 있다.
동작 603에서, 프로세서(120)는 제1 영역(예: 도 7의 제1 디스플레이 면(510))과 제2 영역(예: 도 7의 제2 디스플레이 면(520))으로 구분되는 화면 분할을 실행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)의 상태 변경 감지에 기반하여 전체 화면을 제1 영역과 제2 영역으로 구분되는 화면 분할을 실행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 멀티 윈도우(multi window)에 기반하여 어플리케이션의 실행 화면을 표시하도록 디스플레이 모듈(160)을 제어할 수 있다.
일 실시예에 따르면, 프로세서(120)는 지정된 모드 실행 감지(또는 상태 변경 감지)에 기반하여, 적어도 2개의 어플리케이션들을 실행(예: 멀티 태스킹(multitasking))할 수 있다. 일 실시예에 따르면, 프로세서(120)는 적어도 2개의 어플리케이션들의 실행에 기반하여, 디스플레이 모듈(160)의 화면을 분할하고, 실행하는 어플리케이션들에 대응하는 적어도 2개의 영역들(예: 제1 영역 및 제2 영역)을 포함하는 멀티 윈도우를 제공할 수 있다.
동작 605에서, 프로세서(120)는 제1 영역 및 제2 영역에 각각 지정된 사용자 인터페이스를 제공할 수 있다. 일 실시예에 따르면, 프로세서(120)는 멀티 윈도우의 각 영역에, 어플리케이션들의 실행 화면을 각각 표시하도록 디스플레이 모듈(160)을 제어할 수 있다.
일 실시예에 따라, 도 7을 참조하면, 프로세서(120)는 예시 <703>, 예시 <705> 및/또는 예시 <707>에 예시한 바와 같이, 제1 디스플레이 면(510)을 통해 제1 어플리케이션의 실행 화면(또는 제1 사용자 인터페이스)을 표시하고, 제2 디스플레이 면(520)을 통해 제1 어플리케이션과 같거나 다른 제2 어플리케이션의 실행 화면을 각각 표시하도록 디스플레이 모듈(160)을 제어할 수 있다.
일 실시예에 따라, 도 7의 예시 <701>은 전자 장치(101)에서 디스플레이 모듈(160)의 적어도 하나의 윈도우에 기반하여 어플리케이션의 실행 화면을 운영(예: 전체 화면으로 표시)하는 예를 나타낼 수 있다. 일 실시예에 따르면, 전자 장치(101)는 디스플레이 모듈(160)의 화면 크기에 기반하여 분할 화면의 최대 개수가 다를 수 있다.
예를 들면, 전자 장치(101)는 하나의 윈도우(또는 싱글 윈도우)에 기반하여 하나의 어플리케이션에 대응하는 하나의 실행 화면을 표시할 수 있다.
다른 예를 들면, 전자 장치(101)는 2 분할의 멀티 윈도우(예: 제1 디스플레이 면(510) 및 제2 디스플레이 면(520))에 기반하여 2개의 어플리케이션에 각각 대응하는 서로 다른 2개의 실행 화면을 표시할 수 있다. 예를 들면, 전자 장치(101)는 제1 디스플레이 면(510)을 통해 제1 어플리케이션의 제1 실행 화면을 표시하면서, 제2 디스플레이 면(520)을 통해 제1 어플리케이션과 같거나 다른 제2 어플리케이션의 제2 실행 화면을 표시할 수 있다.
또 다른 예를 들면, 전자 장치(101)는 3 분할의 멀티 윈도우(예: 제1 디스플레이 면(510), 제2 디스플레이 면(520), 제3 디스플레이 면(미도시))에 기반하여 3개의 어플리케이션에 각각 대응하는 서로 다른 3개의 실행 화면을 표시할 수도 있다.
일 실시예에 따르면, 전자 장치(101)는 전자 장치(101)의 폼 팩터 및/또는 디스플레이 모듈(160)의 화면 크기에 기반하여, 싱글, 2 분할, 3 분할, 및/또는 N 분할에 의한 분할 화면(또는 멀티 윈도우)을 제공할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 멀티 윈도우에 기반하여 서로 다른 복수의 어플리케이션의 실행 화면을 제공할 수 있고, 멀티 윈도우로 동작하는 트리거(trigger)에 기반하여, 각각의 대응하는 디스플레이 면을 통해 제어 패널을 제공할 수 있다.
동작 607에서, 프로세서(120)는 제1 영역 및/또는 제2 영역의 사용자 인터페이스에 기반하여, 각각의 영역에 연관된 제어 패널을 제공할 수 있다.
일 실시예에 따라, 도 7을 참조하면, 프로세서(120)는 예시 <703>, 예시 <705> 및/또는 예시 <707>에 예시한 바와 같이, 적어도 하나의 디스플레이 면을 통해, 해당 디스플레이 면에 관련된 속성(또는 기능)(예: sound path, display brightness, audio volume, 또는 screen mirroring)을 변경(또는 조절 또는 제어)할 수 있는 각각의 제어 패널(710 내지 730)을 제공할 수 있다.
예를 들면, 예시 <703>과 예시 <705>의 경우에는, 제1 디스플레이 면(510)과 제2 디스플레이 면(520) 각각에 대응하는 제어 패널(710, 715, 720, 725)이 제공되는 예를 나타낼 수 있고, 예시 <707>의 경우에는, 제1 디스플레이 면(510)에 대응하는 제어 패널(730)이 제공되고 제2 디스플레이 면(520)에 제어 패널이 제공되지 않는 예를 나타낼 수 있다.
일 실시예에 따라, 도 7의 예시 <703>은, 제1 디스플레이 면(510)과 제2 디스플레이 면(520)을 통해 각각 실행 중인 어플리케이션과 관련된 오디오 데이터의 출력 음량을 조절할 수 있는 볼륨 제어 패널(710, 715)이 제1 디스플레이 면(510)과 제2 디스플레이 면(520) 각각에 제공되는 예를 나타낼 수 있다.
일 실시예에 따라, 도 7의 예시 <705>는, 제1 디스플레이 면(510)과 제2 디스플레이 면(520)의 화면 밝기를 조절할 수 있는 디스플레이 밝기 제어 패널(720, 725)이 제1 디스플레이 면(510)과 제2 디스플레이 면(520) 각각에 제공되는 예를 나타낼 수 있다.
일 실시예에 따라, 도 7의 예시 <707>은, 전자 장치(101)에 연결된 외부 장치(예: TV)와 연관된 디스플레이 면이 제1 디스플레이 면(510)인 경우에서, 외부 장치와 상호작용(예: 화면 미러링) 할 수 있는 미러링 제어 패널(730)이 제1 디스플레이 면(510)을 통해 제공되는 예를 나타낼 수 있다.
일 실시예에 따르면, 프로세서(120)는 제1 디스플레이 면(510)과 제2 디스플레이 면(520)의 사용 상태 및/또는 외부 장치의 연결 상태에 적어도 기반하여, 제1 디스플레이 면(510) 및/또는 제2 디스플레이 면(520)의 적어도 하나를 통해, 해당 디스플레이 면에 관련된 속성(또는 기능)을 변경(또는 조절 또는 제어)할 수 있는 제어 패널을 자동적으로 및 독립적으로 제공할 수 있다.
일 실시예에 따라, 제어 패널은, 예를 들면, 볼륨 제어 패널, 사운드 패스 제어 패널, 디스플레이 밝기 제어 패널, 및/또는 미러링 제어 패널을 포함할 수 있고, 이에 제한하지 않는다. 일 실시예에 따른, 제어 패널 및 그를 제공하는 동작과 관련하여 후술하는 도면을 참조하여 설명된다.
도 8은 일 실시예에 따른 전자 장치에서 제어 패널의 예를 도시하는 도면이다.
도 8을 참조하면, 도 8은 전자 장치(101) 및 외부 장치가 지정된 통신을 통해 연결되고, 전자 장치(101)가 제1 상태(예: 펼침 상태)에서 제2 상태(예: 일정 각도 접힌 상태)로 상태 변경(예: 지정된 모드 진입) 시 화면 분할에 따라, 제1 디스플레이 면(510)과 제2 디스플레이 면(520)을 통해 각각의 제어 패널(810, 820)을 제공하는 예를 나타낼 수 있다.
일 실시예에 따라, 예시 <801>은 제1 디스플레이 면(510)을 통해 제1 어플리케이션의 실행 화면(또는 제1 사용자 인터페이스)을 표시하고, 제1 어플리케이션의 실행 화면(또는 제1 사용자 인터페이스)에 기반하여 제1 디스플레이 면(510)과 연관된 제1 제어 패널(810)을 표시하는 예를 나타낼 수 있다.
일 실시예에 따라, 예시 <803>은 제2 디스플레이 면(520)을 통해 제1 어플리케이션과 같거나 다른 제2 어플리케이션의 실행 화면(또는 제2 사용자 인터페이스)을 표시하고, 제2 어플리케이션의 실행 화면(또는 제2 사용자 인터페이스)에 기반하여 제2 디스플레이 면(520)과 연관된 제2 제어 패널(820)을 표시하는 예를 나타낼 수 있다.
일 실시예에 따라, 제어 패널(810, 820)은 해당 디스플레이 면에 관련된 속성(또는 기능)(예: sound path, display brightness, audio volume, 또는 screen mirroring)을 변경(또는 조절 또는 제어)할 수 있는 객체(811, 821)(예: 제어 객체)에 더하여, 제2 객체(813, 823) 및 제3 객체(815, 825)를 포함하여 제공될 수 있다. 일 실시예에서, 제2 객체(813, 823)는 해당 디스플레이 면을 통해 실행 중인 어플리케이션을 식별할 수 있는 어플리케이션 정보를 나타내는 객체(예: 어플리케이션 객체로, 예를 들면, 식별자, 대표 아이콘)를 포함할 수 있다. 일 실시예에서, 제3 객체(815, 825)는 해당 디스플레이 면과 상호작용하는 장치(예: 내부 스피커 또는 외부 장치)를 식별할 수 있는 장치 정보를 나타내는 객체(예: 장치 객체로, 예를 들면, 장치 아이콘)를 포함할 수 있다.
일 실시예에 따르면, 제1 디스플레이 면(510)을 위한 제1 제어 패널(810)과 제2 디스플레이 면(520)을 위한 제2 제어 패널(820)은 해당 디스플레이 면에서 다른 제어 패널과 독립적으로 동작할 수 있다. 예를 들면, 제1 제어 패널(810)은 제1 디스플레이 면(510)에 관련된 속성을 변경하도록 동작할 수 있고, 제2 제어 패널(820)은 제2 디스플레이 면(520)에 관련된 속성을 변경하도록 동작할 수 있다.
어떤 실시예에 따르면, 제1 제어 패널(810) 또는 제2 제어 패널(820)은 해당 디스플레이 면에서 다른 제어 패널과 상호작용으로 동작할 수 있다. 예를 들면, 제1 제어 패널(810) 또는 제2 제어 패널(820)은 해당 디스플레이 면에서 통합되어, 제1 디스플레이 면(510)과 제2 디스플레이 면(520)에 관련된 속성을 개별적으로 변경하도록 동작할 수 있다.
일 실시예에 따라, 도 8의 예시에서는, 외부 장치(예: 헤드셋)가 제2 디스플레이 면(520)과 연관되는 예를 나타낼 수 있다. 예를 들면, 도 8에서는 제2 디스플레이 면(520)에 표시된 제2 어플리케이션과 관련된 데이터(예: 오디오 데이터)가 외부 장치를 통해 출력하도록 연결되는 예를 나타낼 수 있다.
일 실시예에 따르면, 전자 장치(101)는 제1 디스플레이 면(510)과 제2 디스플레이 면(520)의 사용 상태 및/또는 외부 장치의 연결 상태에 적어도 기반하여, 제1 디스플레이 면(510)과 제2 디스플레이 면(520)에 각각에 대응하는 제어 패널(810, 820)을 제공할 수 있다.
예를 들면, 전자 장치(101)는 예시 <801>에 도시한 바와 같이, 제1 디스플레이 면(510)과 관련된 제어 패널(810)에, 제1 디스플레이 면(510) 또는 제1 디스플레이 면(510)의 제1 어플리케이션의 제어(예: 볼륨 제어)를 위한 제1 제어 객체(811), 제1 디스플레이 면(510)을 통해 실행 중인(또는 기능 제어 대상인) 제1 어플리케이션에 관련된 제1 어플리케이션 객체(813) 및 제1 디스플레이 면(510)과 상호작용(예: 제1 어플리케이션의 오디오 데이터가 출력되는 장치)에 관련된 제1 장치 객체(815)(예: 내부 스피커를 나타내는 장치 아이콘)를 포함할 수 있다.
다른 예를 들면, 전자 장치(101)는 예시 <803>에 도시한 바와 같이, 제2 디스플레이 면(520)과 관련된 제어 패널(820)에, 제2 디스플레이 면(520) 또는 제2 디스플레이 면(520)의 제2 어플리케이션의 제어(예: 볼륨 제어)를 위한 제2 제어 객체(821), 제2 디스플레이 면(520)을 통해 실행 중인(또는 기능 제어 대상인) 제2 어플리케이션에 관련된 제2 어플리케이션 객체(823) 및 제2 디스플레이 면(520)과 상호작용(예: 제2 어플리케이션의 오디오 데이터가 출력되는 장치)에 관련된 제2 장치 객체(825)(예: 외부 장치(예: 헤드셋)를 나타내는 장치 아이콘)를 포함할 수 있다.
도 8에 예시한 바와 같이, 일 실시예에 따르면, 전자 장치(101)는 전자 장치(101)가 지정된 모드로 동작 시에, 분할된 각 화면(예: 제1 디스플레이 면(510) 및 제2 디스플레이 면(520))에 대응하여, 해당 디스플레이 면과 연관된 제어 패널을, 각 디스플레이 면의 사용 상태 및/또는 외부 장치의 연결 상태에 적어도 기반하여 구별되게 제공할 수 있다.
도 9는 일 실시예에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 9를 참조하면, 동작 901에서, 전자 장치(101)의 프로세서(120)는 전자 장치(101)가 지정된 모드(예: 텐트 모드, 플렉스 모드 또는 화면 분할 모드)로 변경되는 것을 감지할 수 있다. 일 실시예에 따르면, 프로세서(120)는 어플리케이션의 실행 화면(또는 사용자 인터페이스)를 디스플레이 모듈(160)의 전체 화면으로 표시하는 동안, 전자 장치(101)가 제1 상태(예: 펼침 상태)에서 제2 상태(예: 일정 각도 접힌 상태)로 변경되는 지정된 모드(예: 텐트 모드, 플렉스 모드 또는 화면 분할 모드)의 실행을 감지할 수 있다.
동작 903에서, 프로세서(120)는 화면 분할을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제1 영역(예: 도 5의 제1 디스플레이 면(510))과 제2 영역(예: 도 5의 제2 디스플레이 면(520))으로 구분되는 화면 분할을 실행할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)의 지정된 모드 실행 감지(또는 상태 변경 감지)에 기반하여 전체 화면을 제1 영역과 제2 영역으로 구분되는 화면 분할을 실행할 수 있다.
동작 905에서, 프로세서(120)는 전자 장치(101)가 외부 장치(예: 도 5의 외부 장치(501))와 상호작용 중인지 여부를 판단할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전자 장치(101)의 지정된 모드 실행 감지에 기반하여, 전자 장치(101)가 적어도 하나의 외부 장치(501)와 연결 중에 있는지 및/또는 연결된 외부 장치(501)를 통해 데이터 통신(예: 데이터 전송 또는 데이터 출력) 중인지 여부를 판단할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 통신 모듈(예: 도 1의 통신 모듈(190))을 이용하여, 적어도 하나의 외부 장치(501)와 직접(예: 유선) 통신 또는 무선 통신(예: OOB 통신)으로 연결될 수 있다. 일 실시예에 따라, OOB 통신은, 예를 들면, BLE, NFC, UWB(ultra-wide band), 지그비(Zigbee), 및/또는 Wi-Fi 2.4GHz 통신)을 포함할 수 있다.
동작 905에서, 프로세서(120)는 전자 장치(101)가 외부 장치(501)와 상호작용 중인 경우(예: 동작 905의 ‘예’), 동작 907에서, 외부 장치(501)의 장치 정보를 판단할 수 있다. 일 실시예에 따라, 외부 장치(501)는, 예를 들면, 유선 헤드폰, 무선 헤드폰, 스피커, 이어버드, 디스플레이 장치, 외부 오디오 장치, 인공지능 IoT 장치, 및/또는 다른 전자 장치(예: 스마트 폰 및/또는 랩탑 PC)와 같은 다양한 장치를 포함할 수 있다. 일 실시예에 따르면, 프로세서(120)는 외부 장치(501)의 장치 정보(예: 장치 식별자)에 기반하여, 연결된 외부 장치(501)에 대한 장치 종류를 식별할 수 있다.
동작 909에서, 프로세서(120)는 외부 장치(501)와 상호작용에 따른 상황 정보를 판단할 수 있다. 일 실시예에 따라, 상황 정보는, 예를 들면, 전자 장치(101)와 외부 장치(501) 간에 동작되는(또는 상호작용 중인) 기능 및/또는 외부 장치(501)와 연결 방식(예: 외부 장치와 상호작용하는 디스플레이 면)에 관련된 동작 정보(또는 기능 정보), 화면 분할된 각각의 영역을 통해 실행 중인 어플리케이션에 관련된 실행 정보(또는 실행 어플리케이션의 분류 정보)를 포함할 수 있다. 일 실시예에 따른, 상황 정보에 관련하여 후술하는 도면을 참조하여 설명된다.
동작 911에서, 프로세서(120)는 상황 정보에 기반하여, 분할된 영역에 각각 대응하는 제어 패널을 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제1 디스플레이 면(510)에 관련된 상황 정보에 기반하여 제1 디스플레이 면(510)을 위한 제1 제어 패널을 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제2 디스플레이 면(520)에 관련된 상황 정보에 기반하여 제2 디스플레이 면(520)을 위한 제2 제어 패널을 결정할 수 있다. 일 실시예에 따른, 상황 정보에 기반하여 디스플레이 면 별로 구분하여 제어 패널을 제공하는 동작과 관련하여 후술하는 도면을 참조하여 설명된다.
동작 913에서, 프로세서(120)는 분할된 영역을 통해 제어 패널을 제공할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제1 디스플레이 면(510)을 통해 제1 디스플레이 면(510) 기반의 운영(예: 제1 어플리케이션 기능 제어, 외부 장치 기능 제어, 및/또는 제1 디스플레이 면과 관련된 설정)과 관련된 제1 제어 패널을 제공할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제2 디스플레이 면(520)을 통해 제2 디스플레이 면(520) 기반의 운영(예: 제2 어플리케이션 기능 제어, 외부 장치 기능 제어, 및/또는 제2 디스플레이 면과 관련된 설정)과 관련된 제2 제어 패널을 제공할 수 있다.
동작 907에서, 프로세서(120)는 전자 장치(101)가 외부 장치(501)와 상호작용 중이 아닌 경우(예: 동작 905의 ‘아니오’), 동작 915에서, 분할된 영역 별 실행 정보를 판단할 수 있다. 일 실시예에 따르면, 프로세서(120)는 화면 분할된 각각의 영역에서 실행 중인 어플리케이션과 관련된 실행 정보(예: 실행 어플리케이션의 분류 정보)를 판단할 수 있다.
동작 917에서, 프로세서(120)는 실행 정보에 기반하여, 분할된 영역에 각각 대응하는 제어 패널을 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제1 디스플레이 면(510)에 관련된 실행 정보에 기반하여 제1 디스플레이 면(510)을 위한 제1 제어 패널을 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제2 디스플레이 면(520)에 관련된 실행 정보에 기반하여 제2 디스플레이 면(520)을 위한 제2 제어 패널을 결정할 수 있다. 일 실시예에 따른, 실행 정보에 기반하여 디스플레이 면 별로 구분하여 제어 패널을 제공하는 동작과 관련하여 후술하는 도면을 참조하여 설명된다.
동작 913에서, 프로세서(120)는 분할된 영역을 통해 제어 패널을 제공할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제1 디스플레이 면(510)을 통해 제1 디스플레이 면(510) 기반의 운영(예: 제1 어플리케이션 기능 제어 및/또는 제1 디스플레이 면과 관련된 설정)과 관련된 제1 제어 패널을 제공할 수 있다. 일 실시예에 따르면, 프로세서(120)는 제2 디스플레이 면(520)을 통해 제2 디스플레이 면(520) 기반의 운영(예: 제2 어플리케이션 기능 제어 및/또는 제2 디스플레이 면과 관련된 설정)과 관련된 제2 제어 패널을 제공할 수 있다.
도 10은 일 실시예에 따른 전자 장치에서 제어 패널을 제공하는 동작 예를 설명하기 위해 도시하는 도면이다.
일 실시예에 따라, 도 10은 전자 장치(101)와 적어도 하나의 외부 장치(501)가 지정된 통신을 통해 연결되고, 전자 장치(101)가 제1 상태(예: 펼침 상태)에서 제2 상태(예: 일정 각도 접힌 상태)로 상태 변경되는 지정된 모드로 진입 시, 장치 정보 및/또는 상황 정보(예: 동작 정보 및/또는 실행 정보)에 기반하여, 디스플레이 면 별로 구분된 제어 패널을 제공하는 예를 나타낼 수 있다.
도 10을 참조하면, 전자 장치(101)는 전자 장치(101)의 내부적으로 또는 외부 장치(501)와의 상호작용에 따라 외부적으로 수집(또는 식별)되는 다양한 수집 정보(1010)에 기반하여 디스플레이 면(예: 제1 디스플레이 면(510) 및 제2 디스플레이 면(520)) 별 제어 패널(1030)을 결정할 수 있다.
일 실시예에 따라, 수집 정보(1010)는 외부 장치(501)와 관련된 장치 정보(1011), 전자 장치(101)와 외부 장치(501) 간에 동작되는(또는 상호작용 중인) 기능 및/또는 외부 장치(501)와 연결 방식(예: 외부 장치와 상호작용하는 디스플레이 면)에 관련된 동작 정보(1013), 화면 분할된 각각의 영역에서 실행 중인 어플리케이션에 관련된 실행 정보(1015)(예: 실행 어플리케이션의 분류 정보)를 포함할 수 있다. 일 실시예에 따르면, 동작 정보(1013)는 대상 객체(예: 사용자 및/또는 외부 장치(501))의 위치(또는 위치된 방향)에 대응하는 디스플레이 면에 관련된 방향 정보, 외부 장치(501)가 연결된 위치의 디스플레이 면에 관련된 연결 정보, 및/또는 외부 장치(501) 별 근접한 거리의 디스플레이 면에 관련된 거리 정보를 포함할 수 있으며, 이에 제한하지 않는다.
일 실시예에 따르면, 전자 장치(101)는 장치 정보(1011), 동작 정보(1013) 및/또는 실행 정보(1015)와 같은 적어도 하나의 수집 정보(1010)에 기반하여, 분할된 영역 별 제어 패널(1030)의 타입 및/또는 제어 패널(1030)이 표시될 적어도 하나의 표시 영역(예: 적어도 하나의 디스플레이 면)을 결정(1020)할 수 있다. 일 실시예에 따라, 전자 장치(101)는 수집 정보(1010)를 분석할 수 있고, 분석하는 결과에 기반하여, 제어 패널(1030)을 제공할 적어도 하나의 디스플레이 면(예: 제1 디스플레이 면(510) 및/또는 제2 디스플레이 면(520))을 결정하고, 결정된 디스플레이 면을 통해 표시할 제어 패널(1030)을 디스플레이 면 별로 결정할 수 있다.
일 실시예에 따라, 제어 패널(1030)은, 전자 장치(101)에 지정되는 N(N은 자연수)개의 제어 패널을 포함할 수 있다. 예를 들면, 제1 제어 패널(1031)(예: 볼륨 제어 패널), 제2 제어 패널(1033)(예: 사운드 패스 제어 패널), 제3 제어 패널(1035)(예: 디스플레이 밝기 제어 패널), 제4 제어 패널(1037)(예: 미러링 제어 패널), 및/또는 제N 제어 패널(1039)(예: 설정 제어 패널)을 포함할 수 있고, 이에 제한되지 않는다.
이하에서는, 도 11 내지 도 16을 참조하여, 일 실시예에 따른, 수집 정보(1010)에 기반하여 적어도 하나의 디스플레이 면을 위한 제어 패널을 제공하는 동작 시나리오가 설명된다.
도 11은 일 실시예에 따른 전자 장치에서 모드 변경에 기반하여 동작하는 시나리오의 일 예를 도시하는 도면이다.
일 실시예에 따라, 도 11에서는, 전자 장치(101)와 외부 장치(1101)(예: 유선 이어폰)가 유선 통신을 통해 연결되고, 전자 장치(101)가 제1 상태(예: 펼침 상태)에서 제2 상태(예: 일정 각도 접힌 상태)로 변경에 기반하여, 지정된 모드(예: 텐트 모드)로 진입 시, 사운드 패스(sound path)에 따른 제어 패널(1630)을 제공하는 예를 나타낼 수 있다. 일 실시예에 따르면, 전자 장치(101)는 사용자가 전자 장치(101)를 일정 부분 접어서, 2개의 디스플레이 면(예: 제1 디스플레이 면(510) 및 제2 디스플레이 면(520))이 서로 다른 방향을 향하도록 하고, 2개의 디스플레이 면(510, 520)을 모두 사용하도록 설정될 수 있다.
예를 들면, 전자 장치(101)는 지정된 모드 진입에 따라, 제1 디스플레이 면(510)을 통해 제1 어플리케이션의 실행 화면(1115)(또는 제1 사용자 인터페이스)을 표시하고, 제2 디스플레이 면(520)을 통해 제2 어플리케이션의 실행 화면(1125)(예: 제2 사용자 인터페이스)을 표시할 수 있다. 일 실시예에 따라, 제1 어플리케이션은 포어그라운(foreground) 어플리케이션(예: 제1 상태에서 실행 중인 어플리케이션)일 수 있다. 일 실시예에 따라, 제2 어플리케이션은 사용자 지정의 어플리케이션이거나, 백그라운드(background) 어플리케이션 중 가장 최근 실행된 어플리케이션일 수 있다. 어떤 실시예에 따르면, 전자 장치(101)는 제2 디스플레이 면(520)을 위한 제2 어플리케이션이 정의되지 않은 경우, 제2 디스플레이 면(520)을 통해 지정된 제2 어플리케이션(예: 홈 화면)을 표시하거나, 제2 디스플레이 면(520)을 턴-오프하여 제공할 수도 있다.
일 실시예에 따라, 도 11에서는 볼륨 제어를 위한 제어 패널(1130)을 제1 디스플레이 면(510) 및/또는 제2 디스플레이 면(520)을 통해 제공하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 11에서는 전자 장치(101)의 사운드 패스가 복수(예: 외부 장치(1101)로 출력을 위한 제1 패스 및 전자 장치(101)의 스피커 출력을 위한 제2 패스)일 수 있다. 예를 들면, 전자 장치(101)는 사운드 패스를 제1 패스 및 제2 패스와 같이 복수로 구분하여 사용할 수 있다. 예를 들면, 전자 장치(101)는 제1 어플리케이션의 오디오 데이터는 외부 장치(1101)로 출력하고, 제2 어플리케이션의 오디오 데이터는 전자 장치(101)의 스피커로 출력하도록 할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 지정된 모드에서 지정된 사운드 패스를 사용하도록 설정되거나, 지정된 모드에서 사운드 패스가 지정되지 않도록 설정될 수 있다.
일 실시예에 따라, 전자 장치(101)는 지정된 모드 진입 시 외부 장치(1101)가 유선 연결된 방향(예: 이어폰 연결 단자 부분)에 대응하는(또는 가까운) 디스플레이 면(예: 제1 디스플레이 면(510))에 외부 장치(1101)의 볼륨 제어에 관련된 제어 패널(1130)을 제공할 수 있다. 어떤 실시예에 따르면, 전자 장치(101)는 지정되지 않은 다른 디스플레이 면(예: 제2 디스플레이 면(520))에 전자 장치(101)의 스피커 볼륨 제어에 관련된 제어 패널(미도시)을 제공할 수도 있다.
일 실시예에 따르면, 전자 장치(101)는 지정된 모드 진입 시, 지정된 사운드 패스가 설정(예: 외부 장치(1101) 지정)된 경우에는, 예를 들면, 제어 패널(1130)에 사운드 패스 활성화 여부를 확인하기 위한 별도의 객체(1135)를 포함하여 제공할 수 있다.
예를 들면, 지정된 패스가 설정된 경우, 전자 장치(101)가 지정된 모드 진입 시에 제1 어플리케이션과 제2 어플리케이션의 사운드 패스가 모두 외부 장치(1101)로 설정될 수 있다. 이러한 경우, 전자 장치(101)는 지정된 모드 진입 시 외부 장치(1101)가 유선 연결된 방향(예: 이어폰 잭 부분)에 대응하는(또는 가까운) 디스플레이 면(예: 제1 디스플레이 면(510))에 외부 장치(1101)의 볼륨 제어에 관련된 제어 패널(1130)을 제공하고, 제어 패널(1130)을 통해 전자 장치(101)의 스피커 사운드 패스의 활성화 여부를 확인하기 위한 객체(1135)를 제공할 수 있다.
어떤 실시예에 따르면, 사운드 패스 활성화 여부를 확인하기 위한 객체(1135)는 제어 패널(1130)과는 별도로 팝업 형식으로 제공할 수도 있다. 일 실시예에 따르면, 전자 장치(101)는 외부 장치(1101)가 유선 연결된 방향의 디스플레이 면(예: 제1 디스플레이 면(510))과 다른 디스플레이 면(예: 제2 디스플레이 면(520))에는 제어 패널을 제공하지 않을 수 있다.
일 실시예에 따라, 전자 장치(101)는 사용자에 의해 객체(1135)가 선택되는 경우, 사운드 패스 설정과 관련된 제어 패널(1150)을 제1 디스플레이 면(510)을 통해 제공할 수 있다. 예를 들면, 제어 패널(1150)은 제1 디스플레이 면(510)과 제2 디스플레이 면(520)에 각각 실행되는 어플리케이션의 사운드 패스를 설정할 수 있는 사용자 인터페이스를 포함할 수 있다.
도 12는 일 실시예에 따른 전자 장치에서 모드 변경에 기반하여 동작하는 시나리오의 일 예를 도시하는 도면이다.
일 실시예에 따라, 도 12에서는, 전자 장치(101)와 외부 장치(1201)(예: 무선 이어버드)가 무선 통신을 통해 연결되고, 전자 장치(101)가 제1 상태(예: 펼침 상태)에서 제2 상태(예: 일정 각도 접힌 상태)로 변경에 기반하여, 지정된 모드(예: 텐트 모드)로 진입 시, 사운드 패스에 따른 제어 패널(1230, 1240)을 제1 디스플레이 면(510) 및 제2 디스플레이 면(520)을 통해 각각 제공하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 12에 도시된 예시에서, 도 11에 도시된 예시와 대응하는 동작을 수행할 수 있으며, 서로 대응되는 구체적인 설명은 생략하기로 한다.
일 실시예에 따라, 전자 장치(101)는 지정된 모드 진입에 따라, 제1 디스플레이 면(510)을 통해 제1 어플리케이션의 실행 화면(1215)(또는 제1 사용자 인터페이스)를 표시하고, 제2 디스플레이 면(520)을 통해 제2 어플리케이션의 실행 화면(1225)(예: 제2 사용자 인터페이스)를 표시할 수 있다.
일 실시예에 따라, 도 12에서는 전자 장치(101)의 사운드 패스가 복수(예: 외부 장치(1201)로 출력을 위한 제1 패스 및 전자 장치(101)의 스피커 출력을 위한 제2 패스)일 수 있다. 예를 들면, 전자 장치(101)는 사운드 패스를 제1 패스 및 제2 패스와 같이 복수로 구분하여 사용할 수 있다. 예를 들면, 전자 장치(101)는 제1 어플리케이션의 오디오 데이터는 외부 장치(1201)로 출력하고, 제2 어플리케이션의 오디오 데이터는 전자 장치(101)의 스피커로 출력하도록 할 수 있다.
일 실시예에 따라, 전자 장치(101)는 지정된 모드 진입 시 외부 장치(1201)가 무선 연결된 방향(예: 무선 통신(예: UWB)을 이용하여 식별된 방향)에 대응하는(또는 가까운) 디스플레이 면(예: 제1 디스플레이 면(510))에 외부 장치(1201)의 볼륨 제어에 관련된 제어 패널(1230)을 제공할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 지정되지 않은 다른 디스플레이 면(예: 제2 디스플레이 면(520))에 전자 장치(101)의 스피커 볼륨 제어에 관련된 제어 패널(1240)을 제공할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 지정된 모드 진입 시, 지정된 사운드 패스가 설정(예: 외부 장치(1201) 지정)된 경우에는, 사운드 패스 활성화 여부를 확인하기 위한 별도의 객체를 제공할 수도 있다.
도 13은 일 실시예에 따른 전자 장치에서 모드 변경에 기반하여 동작하는 시나리오의 일 예를 도시하는 도면이다.
일 실시예에 따라, 도 13에서는, 전자 장치(101)와 외부 장치(예: 제1 외부 장치(1301)(예: 제1 무선 이어버드) 및 제2 외부 장치(1303)(예: 제2 무선 이어버드))가 무선 통신을 통해 각각 연결되고, 전자 장치(101)가 제1 상태(예: 펼침 상태)에서 제2 상태(예: 일정 각도 접힌 상태)로 변경에 기반하여, 지정된 모드(예: 텐트 모드)로 진입 시, 사운드 패스에 따른 제어 패널(1330, 1340)을 제1 디스플레이 면(510) 및 제2 디스플레이 면(520)을 통해 각각 제공하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 13에 도시된 예시에서, 도 11 내지 도 12에 도시된 예시와 대응하는 동작을 수행할 수 있으며, 서로 대응되는 구체적인 설명은 생략하기로 한다.
일 실시예에 따라, 도 13에서는 전자 장치(101)의 사운드 패스가 복수(예: 제1 외부 장치(1301)로 출력을 위한 제1 패스 및 제2 외부 장치(1303)로 출력을 위한 제2 패스)일 수 있다. 예를 들면, 전자 장치(101)는 사운드 패스를 제1 패스 및 제2 패스와 같이 복수로 구분하여 사용할 수 있다. 예를 들면, 도 13에서는 전자 장치(101)는 어플리케이션의 오디오 데이터를 다중 스트리밍(multi streaming)(예: dual streaming)으로, 제1 외부 장치(1301)와 제2 외부 장치(1303)로 출력하는 예를 나타낼 수 있다.
일 실시예에 따라, 전자 장치(101)는 지정된 모드 진입 시 외부 장치(1301, 1303) 각각이 무선 연결된 방향(예: 무선 통신(예: UWB)을 이용하여 식별된 방향)에 각각 대응하는(또는 가까운) 디스플레이 면(예: 제1 디스플레이 면(510) 및 제2 디스플레이 면(520))에 해당 외부 장치(1301, 1303)의 볼륨 제어에 관련된 제어 패널(1330, 1340)을 각각 제공할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제1 디스플레이 면(510)을 통해 제1 디스플레이 면(510)과 상대적으로 근접한 제1 외부 장치(1301)에 대한 제1 제어 패널(1330)을 제공하고, 제2 디스플레이 면(520)을 통해 제2 디스플레이 면(520)과 상대적으로 근접한 제2 외부 장치(1303)에 대한 제2 제어 패널(1340)을 제공할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 제1 제어 패널(1330) 및/또는 제2 제어 패널(1340) 중 적어도 하나를 통해, 제어 패널(1330, 1340)을 변경(예: 설정 기기 변경)(예: 해당 디스플레이 면에서 제어 대상의 외부 장치를 제어하기 위한 제어 패널 변경)하기 위한 객체(1331) 및/또는 제어 패널(1330, 1340)을 어느 하나의 디스플레이 면에서 모두 제어할 수 있도록 통합하기 위한 객체(1333)를 제공할 수 있다.
일 실시예에 따라, 전자 장치(101)는 사용자에 의해 설정 기기 변경을 위한 객체(1331)가 선택되는 경우, 해당 디스플레이 면(예: 제1 디스플레이 면(510))의 제어 패널(예: 제1 제어 패널(1330))을 다른 디스플레이 면(예: 제2 디스플레이 면(520)의 제어 패널(1350)(예: 제2 제어 패널(1340))로 대체하여 제공할 수 있다. 예를 들면, 전자 장치(101)는 제1 디스플레이 면(510)에서 제1 제어 패널(1330)을 제2 제어 패널(1340)로 대체하고, 이에 대응하여 제2 디스플레이 면(520)에서 제2 제어 패널(1340)을 제1 제어 패널(1330)로 대체하여 제공할 수 있다.
어떤 실시예에 따르면, 전자 장치(101)는 제어 패널의 변경에 대응하여, 디스플레이 면 별로 연결된 외부 장치(또는 사운드 패스)를 변경할 수도 있다. 예를 들면, 전자 장치(101)는 제1 디스플레이 면(510)과 관련된 제1 외부 장치(1301)의 사운드 패스를, 제2 외부 장치(1303)의 사운드 패스로 변경하고, 제2 디스플레이 면(520)과 관련된 제2 외부 장치(1303)의 사운드 패스를, 제1 외부 장치(1301)의 사운드 패스로 변경할 수 있다.
일 실시예에 따라, 전자 장치(101)는 사용자에 의해 제어 패널(1330, 1340)을 통합하기 위한 객체(1333)가 선택되는 경우, 해당 디스플레이 면(예: 제1 디스플레이 면(510) 또는 제2 디스플레이 면(520))의 제어 패널(예: 제1 제어 패널(1330) 또는 제2 제어 패널(1340))을 제1 제어 패널(1330)과 제2 제어 패널(1340)이 통합(예: 제1 외부 장치(1301)와 제2 외부 장치(1303)를 해당 디스플레이 면에서 모두 제어 가능하도록)된 제3 제어 패널(1360)로 대체하여 제공할 수 있다. 예를 들면, 제3 제어 패널(1360)은 각각의 디스플레이 면(510, 520)에 연결된 제1 외부 장치(1301)와 제2 외부 장치(1303)를 해당 디스플레이 면에서 모두 제어 가능하도록 구현된 사용자 인터페이스를 포함할 수 있다.
어떤 실시예에 따르면, 전자 장치(101)는 디스플레이 면(510, 520) 별로 대상 외부 장치(1301, 1303)이 설정(또는 추측)되지 않는 경우, 전자 장치(101)의 다양한 센서를 이용한 센싱 기반의 사용자 움직임 추적 및/또는 외부 장치(1301, 1303)의 버튼 입력에 따른 인터랙션에 기반하여, 디스플레이 면 별로 외부 장치를 설정할 수도 있다.
도 14는 일 실시예에 따른 전자 장치에서 모드 변경에 기반하여 동작하는 시나리오의 일 예를 도시하는 도면이다.
일 실시예에 따라, 도 14에서는, 전자 장치(101)와 외부 장치(예: 무선 이어버드)가 무선 통신을 통해 연결되고, 전자 장치(101)가 제1 상태(예: 펼침 상태)에서 제2 상태(예: 일정 각도 접힌 상태)로 변경에 기반하여, 지정된 모드(예: 텐트 모드)로 진입 시, 외부 장치의 사운드 패스를 분리(예: 외부 장치를 구성하는 제1 오디오 출력 장치(1401)(예: 왼쪽용 이어버드)를 위한 제1 패스 및 외부 장치를 구성하는 제2 오디오 출력 장치(1403)(예: 오른쪽용 이어버드)를 위한 제2 패스로 분리)하고, 사운드 패스 분리에 따른 제어 패널(1430, 1440)을 제1 디스플레이 면(510) 및 제2 디스플레이 면(520)을 통해 각각 제공하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 14에 도시된 예시에서, 도 11 내지 도 13에 도시된 예시와 대응하는 동작을 수행할 수 있으며, 서로 대응되는 구체적인 설명은 생략하기로 한다.
일 실시예에 따라, 도 14에서는 전자 장치(101)의 사운드 패스가 단일 패스에서, 전자 장치(101)가 지정된 모드 진입에 따라 복수 패스(예: 제1 오디오 출력 장치(1401)로 출력을 위한 제1 패스 및 제2 오디오 출력 장치(1403)로 출력을 위한 제2 패스)로 변경되는 예를 나타낼 수 있다.
예를 들면, 전자 장치(101)는 하나의 외부 장치(예: 무선 이어버드)와 연결되고, 지정된 모드 진입 시에 외부 장치로 설정된 사운드 패스를, 외부 장치의 제1 오디오 출력 장치(1401)과 제2 오디오 출력 장치(1403)로 각각 구분하여 제1 패스 및 제2 패스와 같이 변경하여 사용할 수 있다. 예를 들면, 도 14에서는 전자 장치(101)는 어플리케이션의 오디오 데이터를 다중 스트리밍으로 변경하여, 제1 오디오 출력 장치(1401)와 제2 오디오 출력 장치(1403)로 출력하는 예를 나타낼 수 있다.
일 실시예에 따라, 전자 장치(101)는 지정된 모드 진입 시 오디오 출력 장치(1401, 1403) 각각이 무선 연결된 방향(예: 무선 통신(예: UWB)을 이용하여 식별된 방향)에 각각 대응하는(또는 가까운) 디스플레이 면(예: 제1 디스플레이 면(510) 및 제2 디스플레이 면(520))에 해당 오디오 출력 장치(1401, 1403)의 볼륨 제어에 관련된 제어 패널(1430, 1440)을 각각 제공할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제1 디스플레이 면(510)을 통해 제1 디스플레이 면(510)과 상대적으로 근접한 제1 오디오 출력 장치(1401)에 대한 제1 제어 패널(1430)을 제공할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 제2 디스플레이 면(520)을 통해 제2 디스플레이 면(520)과 상대적으로 근접한 제2 오디오 출력 장치(1403)에 대한 제2 제어 패널(1440)을 제공할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 제1 제어 패널(1430) 및/또는 제2 제어 패널(1440) 중 적어도 하나를 통해, 제1 객체(1431) 및/또는 제2 객체(1433)를 제공할 수 있다. 일 실시예에 따라, 제1 객체(1431)는 제어 패널(1430, 1440)을 변경(예: 설정 기기 변경)하기 위한 객체를 포함할 수 있다. 예를 들면, 제어 패널(1430, 1440) 변경은 해당 디스플레이 면에서 제어 대상의 오디오 출력 장치를 제어하기 위한 제어 패널을 변경하는 것을 포함할 수 있다. 일 실시예에 따라, 제2 객체(1433)는 제1 오디오 출력 장치(1401)와 제2 오디오 출력 장치(1403)를 하나의 외부 장치로 통합하고, 제1 오디오 출력 장치(1401)와 제2 오디오 출력 장치(1403)로 분리된 사운드 패스를 외부 장치의 하나의 사운드 패스로 통합하기 위한 객체를 포함할 수 있다.
일 실시예에 따라, 전자 장치(101)는 사용자에 의해 설정 기기 변경을 위한 객체(1431)가 선택되는 경우, 해당 디스플레이 면(예: 제1 디스플레이 면(510))의 제어 패널(예: 제1 제어 패널(1430))을 다른 디스플레이 면(예: 제2 디스플레이 면(520)의 제어 패널(1450)(예: 제2 제어 패널(1440))로 대체하여 제공할 수 있다. 예를 들면, 전자 장치(101)는 제1 디스플레이 면(510)에서 제1 제어 패널(1430)을 제2 제어 패널(1440)로 대체하고, 이에 대응하여 제2 디스플레이 면(520)에서 제2 제어 패널(1440)을 제1 제어 패널(1430)로 대체하여 제공할 수 있다.
어떤 실시예에 따르면, 전자 장치(101)는 제어 패널의 변경에 대응하여, 디스플레이 면 별로 연결된 오디오 출력 장치(또는 사운드 패스)를 변경할 수도 있다. 예를 들면, 전자 장치(101)는 제1 디스플레이 면(510)과 관련된 제1 오디오 출력 장치(1401)의 사운드 패스를, 제2 오디오 출력 장치(1403)의 사운드 패스로 변경하고, 제2 디스플레이 면(520)과 관련된 제2 오디오 출력 장치(1403)의 사운드 패스를, 제1 오디오 출력 장치(1401)의 사운드 패스로 변경할 수 있다.
일 실시예에 따라, 전자 장치(101)는 사용자에 의해 제어 패널(1430, 1440)을 통합하기 위한 객체(1433)가 선택되는 경우, 해당 디스플레이 면(예: 제1 디스플레이 면(510) 또는 제2 디스플레이 면(520))의 제어 패널(예: 제1 제어 패널(1430) 또는 제2 제어 패널(1440))을 제1 제어 패널(1430)과 제2 제어 패널(1440)이 통합된 제3 제어 패널(1460)로 대체하여 제공할 수 있다. 예를 들면, 제어 패널 통합은 제1 오디오 출력 장치(1401)와 제2 오디오 출력 장치(1403)를 하나의 외부 장치로 통합 운영하고, 제1 오디오 출력 장치(1401)와 제2 오디오 출력 장치(1403)로 분리된 사운드 패스를 외부 장치의 하나의 사운드 패스로 통합하여 해당 디스플레이 면에서 모두 제어 가능하도록 하는 것을 포함할 수 있다.
예를 들면, 제3 제어 패널(1460)은 각각의 디스플레이 면(510, 520)에 연결된 제1 오디오 출력 장치(1401)와 제2 오디오 출력 장치(1403)를 하나의 외부 장치로 설정하여, 해당 디스플레이 면에서 모두 제어 가능하도록 구현된 사용자 인터페이스를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 객체(1433) 선택에 기반하여, 어느 한 사용자가 제1 오디오 출력 장치(1401)와 제2 오디오 출력 장치(1403)를 하나의 외부 장치로 연결하여, 전자 장치(101)에 제1 오디오 출력 장치(1401)와 제2 오디오 출력 장치(1403)를 모두 어느 한 사용자가 사용(예: 사용자가 왼쪽용 이어버드와 오른쪽 이어버드를 모두 착용)하는 것으로 인식할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 인식하는 결과에 기반하여 지정된 디스플레이 면(예: 제1 디스플레이 면(510))을 통해 통합된 하나의 제3 제어 패널(1460)을 제공할 수 있다.
도 15는 일 실시예에 따른 전자 장치에서 모드 변경에 기반하여 동작하는 시나리오의 일 예를 도시하는 도면이다.
일 실시예에 따라, 도 15에서는, 전자 장치(101)가 제1 상태(예: 펼침 상태)에서 제2 상태(예: 일정 각도 접힌 상태)로 변경에 기반하여, 지정된 모드(예: 텐트 모드)로 진입 시, 하나의 디스플레이 면(예: 전체 화면)을 제어하기 위한 제어 패널을, 제1 디스플레이 면(510) 및 제2 디스플레이 면(520)을 통해 각각 제공하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 15에 도시된 예시에서, 도 11 내지 도 14에 도시된 예시와 대응하는 동작을 수행할 수 있으며, 서로 대응되는 구체적인 설명은 생략하기로 한다.
일 실시예에 따라, 도 15에서는 지정된 모드 진입에 기반하여, 제1 디스플레이 면(510)과 제2 디스플레이 면(520)의 화면 밝기를 조절할 수 있는 디스플레이 밝기 제어 패널(1530, 1540)을 제1 디스플레이 면(510)과 제2 디스플레이 면(520)을 통해 각각 제공하는 예를 나타낼 수 있다.
일 실시예에 따라, 전자 장치(101)는 지정된 모드 진입 시, 전자 장치(101)의 다양한 센서(예: 조도 센서)를 이용하여 각 디스플레이 면 별로 주변 조도를 측정할 수 있고, 측정된 각 조도 값에 기반하여, 대응하는 디스플레이 면의 화면 밝기를 자동 조절하여 제공할 수 있다. 예를 들면, 전자 장치(101)는 제1 디스플레이 면(510)과 제2 디스플레이 면(520)에 각각 대응하는 조도 값에 따라, 제1 디스플레이 면(510)의 화면 밝기와 제2 디스플레이 면(520)의 화면 밝기를 같은 밝기 또는 다른 밝기로 설정하여 제공할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 제1 디스플레이 면(510)과 제2 디스플레이 면(520)을 통해 각각의 제어 패널(1530, 1540)을 제공할 수 있고, 각 제어 패널(1530, 1540)을 이용한 사용자 입력에 기반하여, 대응하는 디스플레이 면의 화면 밝기를 각각 조절하여 제공할 수 있다.
도 16은 일 실시예에 따른 전자 장치에서 모드 변경에 기반하여 동작하는 시나리오의 일 예를 도시하는 도면이다.
일 실시예에 따라, 도 16에서는, 전자 장치(101)와 외부 장치(1601)(예: 디스플레이 장치(예: TV, 모니터, 태블릿, 또는 랩탑 PC))가 무선 통신을 통해 연결되고, 전자 장치(101)가 제1 상태(예: 펼침 상태)에서 제2 상태(예: 일정 각도 접힌 상태)로 변경에 기반하여, 지정된 모드(예: 텐트 모드)로 진입 시, 스크린 미러링(screen mirroring)에 따른 제어 패널(1630, 1640)을 제1 디스플레이 면(510) 및/또는 제2 디스플레이 면(520)을 통해 제공하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 16에 도시된 예시에서, 도 11 내지 도 15에 도시된 예시와 대응하는 동작을 수행할 수 있으며, 서로 대응되는 구체적인 설명은 생략하기로 한다.
일 실시예에 따라, 전자 장치(101)는 지정된 모드 진입에 따라, 제1 디스플레이 면(510)을 통해 제1 어플리케이션의 실행 화면(1615)(또는 제1 사용자 인터페이스)을 표시하고, 제2 디스플레이 면(520)을 통해 제2 어플리케이션의 실행 화면(1625)(예: 제2 사용자 인터페이스)을 표시할 수 있다. 일 실시예에 따라, 제1 어플리케이션은 포어그라운 어플리케이션(예: 제1 상태에서 실행 중인 어플리케이션)일 수 있다. 일 실시예에 따라, 제2 어플리케이션은 사용자 지정의 어플리케이션이거나, 백그라운드 어플리케이션 중 가장 최근 실행된 어플리케이션일 수 있다.
어떤 실시예에 따르면, 전자 장치(101)는, 예를 들면, 제2 디스플레이 면(520)을 위한 제2 어플리케이션이 정의되지 않은 경우, 제2 디스플레이 면(520)을 통해 지정된 제2 어플리케이션(예: 홈 화면)을 표시하거나, 제2 디스플레이 면(520)을 턴-오프하여 제공할 수도 있다.
일 실시예에 따라, 도 16에서는 볼륨 제어를 위한 제어 패널을 제1 디스플레이 면(510) 및/또는 제2 디스플레이 면(520)을 통해 제공하는 예를 나타낼 수 있다. 일 실시예에 따라, 도 16에서는 전자 장치(101)가 주변에 스크린 미러링을 위해 연결 가능한 제1 외부 장치(1601)(예: 모니터)와 제2 외부 장치(미도시)(예: TV)가 존재하고, 제1 외부 장치(1601)가 제1 디스플레이 면(510)에 대응하는 위치에 존재하는 경우의 예를 나타낼 수 있다. 제1 외부 장치(1601)가 제1 디스플레이 면(510)에 대응하는 위치에 존재하는 경우는, 제1 외부 장치(1601)가, 제2 디스플레이 면(520)에 비해 가까운 위치, 제1 디스플레이 면(510)이 향하는 방향 또는 제1 외부 장치(1601)가 무선 연결된 방향에 존재하는 경우를 포함할 수 있다. 예를 들면, 전자 장치(101)는 스크린 미러링을 위한 데이터 패스를 제1 패스 및 제2 패스와 같이 복수로 구분하여 사용할 수 있다. 예를 들면, 전자 장치(101)는 제1 어플리케이션의 비디오 데이터는 제1 외부 장치(1601)로 출력하고, 제2 어플리케이션의 비디오 데이터는 제2 외부 장치(미도시)로 출력하거나 출력하지 않을 수 있다.
일 실시예에 따라, 전자 장치(101)는 지정된 모드 진입 시 제1 외부 장치(1601)와 가까운 디스플레이 면(예: 제1 디스플레이 면(510))에 제1 외부 장치(1601)와 스크린 미러링 제어에 관련된 제1 제어 패널(1630)을 제공할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 지정되지 않은 다른 디스플레이 면(예: 제2 디스플레이 면(520))에 전자 장치(101)의 스크린 미러링을 위해 연결 가능한 주변의 다른 외부 장치(예: 제2 외부 장치)와 스크린 미러링 제어에 관련된 제2 제어 패널(1640)을 제공할 수 있다.
예를 들면, 전자 장치(101)는 제1 외부 장치(1601)에 상대적으로 근접한 제1 디스플레이 면(510)을 통해 제1 외부 장치(1601)의 연결 가능한 다른 외부 장치에 대한 정보를 포함하는 제1 제어 패널(1630)을 제공할 수 있다. 다른 예를 들면, 전자 장치(101)는 제1 외부 장치(1601)와 상대적으로 근접하지 않은 제2 디스플레이 면(520)을 통해 제1 외부 장치(1601)에 대한 정보를 제외하고, 연결 가능한 다른 외부 장치에 대한 정보를 포함하는 제2 제어 패널(1640)을 제공할 수 있다.
일 실시예에 따르면, 사용자는, 제1 디스플레이 면(510)의 제1 제어 패널(1630)을 통해 제1 디스플레이 면(510)의 제1 어플리케이션의 실행 화면(1615)을 제1 외부 장치(1601)와 스크린 미러링 제어할 수 있다. 다른 실시예에 따르면, 사용자는, 제2 디스플레이 면(520)의 제2 제어 패널(1640)을 통해 제2 디스플레이 면(520)의 제2 어플리케이션의 실행 화면(1625)을 제2 외부 장치(미도시)와 스크린 미러링 제어할 수 있다.
본 개시의 일 실시예에 따른 전자 장치(101)에서 수행하는 동작 방법은, 지정된 사용자 인터페이스를 전체 화면으로 표시하는 동안, 상기 전자 장치(101)가 제1 상태에서 제2 상태로 변경되는 지정된 모드 실행을 감지하는 동작, 상기 지정된 모드 진입 감지에 기반하여 상기 전체 화면을 제1 디스플레이 면과 제2 디스플레이 면으로 구분되는 화면 분할을 실행하는 동작, 상기 제1 디스플레이 면 및 상기 제2 디스플레이 면에 각각 지정된 사용자 인터페이스를 표시하는 동작, 및 상기 제1 디스플레이 면 및/또는 상기 제2 디스플레이 면의 사용자 인터페이스에 기반하여, 해당 디스플레이 면과 관련된 제어 패널을 독립적으로 제공하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 제어 패널을 제공하는 동작은, 상기 제1 디스플레이 면을 통해 상기 제1 디스플레이 면에 관련된 속성을 변경하기 위한 제1 제어 패널을 제공하는 동작, 상기 제2 디스플레이 면을 통해 상기 제2 디스플레이 면에 관련된 속성을 변경하기 위한 제2 제어 패널을 제공하는 동작을 포함하고, 상기 제1 제어 패널과 상기 제2 제어 패널은 해당 디스플레이 면에서 서로 독립적으로 동작할 수 있다.
일 실시예에 따르면, 상기 제어 패널을 제공하는 동작은, 상기 제1 디스플레이 면과 상기 제2 디스플레이 면의 사용 상태 및/또는 외부 장치의 연결 상태에 적어도 기반하여, 상기 제1 디스플레이 면 및/또는 상기 제2 디스플레이 면의 적어도 하나를 통해 제어 패널을 제공하는 동작을 포함할 수 있다.
일 실시예에 따르면, 디스플레이 면에 관련된 속성 변경은, 상기 전자 장치가 상기 지정된 모드로 동작 시에, 상기 제1 디스플레이 면과 상기 제2 디스플레이 면에 각각 대응하는 제어 패널에 기반한, 전자 장치의 설정 변경, 상기 제1 디스플레이 면과 상기 제2 디스플레이 면을 통해 실행되는 어플리케이션의 기능 제어, 및/또는 전자 장치에 연결되는 하나 또는 그 이상의 외부 장치의 기능 및/또는 설정을 변경하는 것을 포함할 수 있다.
일 실시예에 따르면, 상기 지정된 모드 실행 감지에 기반하여, 상기 전자 장치(101)가 외부 장치와 상호작용 중인지 여부를 판단하는 동작, 상기 외부 장치와 상호작용 중인 경우, 상기 외부 장치의 장치 정보를 판단하는 동작, 상기 외부 장치와 상호작용에 따른 상황 정보를 판단하는 동작, 상기 장치 정보 및/또는 상기 상황 정보에 기반하여 디스플레이 면 별로 구분하여 제어 패널을 제공하는 동작을 포함하고, 상기 상황 정보는, 상기 전자 장치(101)와 상기 외부 장치 간에 동작되는 기능 및/또는 상기 외부 장치와 상호작용하는 디스플레이 면에 관련된 동작 정보, 분할된 각각의 디스플레이 면을 통해 실행 중인 어플리케이션에 관련된 실행 정보를 포함할 수 있다.
일 실시예에 따르면, 상기 제어 패널을 제공하는 동작은, 상기 제1 디스플레이 면에 관련된 상황 정보에 기반하여 상기 제1 디스플레이 면을 위한 제1 제어 패널을 결정하는 동작, 상기 제2 디스플레이 면에 관련된 상황 정보에 기반하여 상기 제2 디스플레이 면을 위한 제2 제어 패널을 결정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 외부 장치와 상호작용 중이 아닌 경우, 분할된 디스플레이 면 별 실행 정보를 판단하는 동작, 상기 실행 정보에 기반하여 디스플레이 면 별로 구분하여 제어 패널을 제공하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 제어 패널을 제공하는 동작은, 상기 제1 디스플레이 면에 관련된 실행 정보에 기반하여 상기 제1 디스플레이 면을 위한 제1 제어 패널을 결정하는 동작, 상기 제2 디스플레이 면에 관련된 실행 정보에 기반하여 상기 제2 디스플레이 면을 위한 제2 제어 패널을 결정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 상기 지정된 모드는, 텐트 모드(tent mode), 플렉스 모드(flex mode) 및/또는 화면 분할 모드를 포함하고, 상기 제어 패널은, 볼륨 제어 패널, 사운드 패스 제어 패널, 디스플레이 밝기 제어 패널, 및/또는 미러링 제어 패널을 포함할 수 있다.
본 명세서와 도면에 개시된 본 개시의 다양한 실시예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이; 및
    상기 디스플레이와 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는,
    지정된 사용자 인터페이스를 전체 화면으로 표시하는 동안, 상기 전자 장치가 제1 상태에서 제2 상태로 변경되는 지정된 모드 실행을 감지하고,
    상기 지정된 모드 진입 감지에 기반하여 상기 전체 화면을 제1 디스플레이 면과 제2 디스플레이 면으로 구분되는 화면 분할을 실행하고,
    상기 제1 디스플레이 면 및 상기 제2 디스플레이 면에 각각 지정된 사용자 인터페이스를 표시하고, 및
    상기 제1 디스플레이 면 및/또는 상기 제2 디스플레이 면의 사용자 인터페이스에 기반하여, 해당 디스플레이 면과 관련된 제어 패널을 독립적으로 제공하도록 설정된 전자 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 제1 디스플레이 면을 통해 상기 제1 디스플레이 면에 관련된 속성을 변경하기 위한 제1 제어 패널을 제공하고,
    상기 제2 디스플레이 면을 통해 상기 제2 디스플레이 면에 관련된 속성을 변경하기 위한 제2 제어 패널을 제공하도록 설정되고,
    상기 제1 제어 패널과 상기 제2 제어 패널은 해당 디스플레이 면에서 서로 독립적으로 동작하는 것을 특징으로 하는 전자 장치.
  3. 제2항에 있어서, 상기 프로세서는,
    상기 제1 디스플레이 면과 상기 제2 디스플레이 면의 사용 상태 및/또는 외부 장치의 연결 상태에 적어도 기반하여, 상기 제1 디스플레이 면 및/또는 상기 제2 디스플레이 면의 적어도 하나를 통해 제어 패널을 제공하도록 설정된 전자 장치.
  4. 제2항에 있어서,
    디스플레이 면에 관련된 속성 변경은, 상기 전자 장치가 상기 지정된 모드로 동작 시에, 상기 제1 디스플레이 면과 상기 제2 디스플레이 면에 각각 대응하는 제어 패널에 기반한, 전자 장치의 설정 변경, 상기 제1 디스플레이 면과 상기 제2 디스플레이 면을 통해 실행되는 어플리케이션의 기능 제어, 및/또는 전자 장치에 연결되는 하나 또는 그 이상의 외부 장치의 기능 및/또는 설정을 변경하는 것을 포함하는 전자 장치.
  5. 제2항에 있어서, 상기 프로세서는,
    상기 지정된 모드 실행 감지에 기반하여, 상기 전자 장치가 외부 장치와 상호작용 중인지 여부를 판단하고,
    상기 외부 장치와 상호작용 중인 경우, 상기 외부 장치의 장치 정보를 판단하고,
    상기 외부 장치와 상호작용에 따른 상황 정보를 판단하고,
    상기 장치 정보 및/또는 상기 상황 정보에 기반하여 디스플레이 면 별로 구분하여 제어 패널을 제공하도록 설정되고,
    상기 상황 정보는, 상기 전자 장치와 상기 외부 장치 간에 동작되는 기능 및/또는 상기 외부 장치와 상호작용하는 디스플레이 면에 관련된 동작 정보, 분할된 각각의 디스플레이 면을 통해 실행 중인 어플리케이션에 관련된 실행 정보를 포함하는 전자 장치.
  6. 제5항에 있어서, 상기 프로세서는,
    상기 제1 디스플레이 면에 관련된 상황 정보에 기반하여 상기 제1 디스플레이 면을 위한 제1 제어 패널을 결정하고,
    상기 제2 디스플레이 면에 관련된 상황 정보에 기반하여 상기 제2 디스플레이 면을 위한 제2 제어 패널을 결정하도록 설정된 전자 장치.
  7. 제5항에 있어서, 상기 프로세서는,
    상기 외부 장치와 상호작용 중이 아닌 경우, 분할된 디스플레이 면 별 실행 정보를 판단하고,
    상기 실행 정보에 기반하여 디스플레이 면 별로 구분하여 제어 패널을 제공하도록 설정된 전자 장치.
  8. 제7항에 있어서, 상기 프로세서는,
    상기 제1 디스플레이 면에 관련된 실행 정보에 기반하여 상기 제1 디스플레이 면을 위한 제1 제어 패널을 결정하고,
    상기 제2 디스플레이 면에 관련된 실행 정보에 기반하여 상기 제2 디스플레이 면을 위한 제2 제어 패널을 결정하도록 설정된 전자 장치.
  9. 제2항에 있어서,
    상기 제어 패널은, 볼륨 제어 패널, 사운드 패스 제어 패널, 디스플레이 밝기 제어 패널, 및/또는 미러링 제어 패널을 포함하고,
    상기 지정된 모드는, 텐트 모드(tent mode), 플렉스 모드(flex mode) 및/또는 화면 분할 모드를 포함하는 전자 장치.
  10. 전자 장치의 동작 방법에 있어서,
    지정된 사용자 인터페이스를 전체 화면으로 표시하는 동안, 상기 전자 장치가 제1 상태에서 제2 상태로 변경되는 지정된 모드 실행을 감지하는 동작;
    상기 지정된 모드 진입 감지에 기반하여 상기 전체 화면을 제1 디스플레이 면과 제2 디스플레이 면으로 구분되는 화면 분할을 실행하는 동작;
    상기 제1 디스플레이 면 및 상기 제2 디스플레이 면에 각각 지정된 사용자 인터페이스를 표시하는 동작; 및
    상기 제1 디스플레이 면 및/또는 상기 제2 디스플레이 면의 사용자 인터페이스에 기반하여, 해당 디스플레이 면과 관련된 제어 패널을 독립적으로 제공하는 동작을 포함하는 방법.
  11. 제10항에 있어서, 상기 제어 패널을 제공하는 동작은,
    상기 제1 디스플레이 면을 통해 상기 제1 디스플레이 면에 관련된 속성을 변경하기 위한 제1 제어 패널을 제공하는 동작,
    상기 제2 디스플레이 면을 통해 상기 제2 디스플레이 면에 관련된 속성을 변경하기 위한 제2 제어 패널을 제공하는 동작을 포함하고,
    상기 제1 제어 패널과 상기 제2 제어 패널은 해당 디스플레이 면에서 서로 독립적으로 동작하는 것을 특징으로 하는 방법.
  12. 제11항에 있어서, 상기 제어 패널을 제공하는 동작은,
    상기 제1 디스플레이 면과 상기 제2 디스플레이 면의 사용 상태 및/또는 외부 장치의 연결 상태에 적어도 기반하여, 상기 제1 디스플레이 면 및/또는 상기 제2 디스플레이 면의 적어도 하나를 통해 제어 패널을 제공하는 동작을 포함하는 방법.
  13. 제11항에 있어서,
    디스플레이 면에 관련된 속성 변경은, 상기 전자 장치가 상기 지정된 모드로 동작 시에, 상기 제1 디스플레이 면과 상기 제2 디스플레이 면에 각각 대응하는 제어 패널에 기반한, 전자 장치의 설정 변경, 상기 제1 디스플레이 면과 상기 제2 디스플레이 면을 통해 실행되는 어플리케이션의 기능 제어, 및/또는 전자 장치에 연결되는 하나 또는 그 이상의 외부 장치의 기능 및/또는 설정을 변경하는 것을 포함하는 방법.
  14. 제11항에 있어서,
    상기 지정된 모드 실행 감지에 기반하여, 상기 전자 장치가 외부 장치와 상호작용 중인지 여부를 판단하는 동작,
    상기 외부 장치와 상호작용 중인 경우, 상기 외부 장치의 장치 정보를 판단하는 동작,
    상기 외부 장치와 상호작용에 따른 상황 정보를 판단하는 동작,
    상기 장치 정보 및/또는 상기 상황 정보에 기반하여 디스플레이 면 별로 구분하여 제어 패널을 제공하는 동작,
    상기 외부 장치와 상호작용 중이 아닌 경우, 분할된 디스플레이 면 별 실행 정보를 판단하는 동작,
    상기 실행 정보에 기반하여 디스플레이 면 별로 구분하여 제어 패널을 제공하는 동작을 포함하고,
    상기 상황 정보는, 상기 전자 장치와 상기 외부 장치 간에 동작되는 기능 및/또는 상기 외부 장치와 상호작용하는 디스플레이 면에 관련된 동작 정보, 분할된 각각의 디스플레이 면을 통해 실행 중인 어플리케이션에 관련된 실행 정보를 포함하는 방법.
  15. 제14항에 있어서, 상기 제어 패널을 제공하는 동작은,
    상기 제1 디스플레이 면에 관련된 상황 정보에 기반하여 상기 제1 디스플레이 면을 위한 제1 제어 패널을 결정하는 동작,
    상기 제2 디스플레이 면에 관련된 상황 정보에 기반하여 상기 제2 디스플레이 면을 위한 제2 제어 패널을 결정하는 동작을 포함하는 방법.
PCT/KR2022/000471 2021-01-11 2022-01-11 플렉서블 디스플레이를 갖는 전자 장치 및 그의 모드 변경에 따른 제어 패널 제공 방법 WO2022149954A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/672,064 US20220221910A1 (en) 2021-01-11 2022-02-15 Electronic device having flexible display and method for providing control panel according to mode change thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0003222 2021-01-11
KR1020210003222A KR20220101327A (ko) 2021-01-11 2021-01-11 플렉서블 디스플레이를 갖는 전자 장치 및 그의 모드 변경에 따른 제어 패널 제공 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/672,064 Continuation US20220221910A1 (en) 2021-01-11 2022-02-15 Electronic device having flexible display and method for providing control panel according to mode change thereof

Publications (1)

Publication Number Publication Date
WO2022149954A1 true WO2022149954A1 (ko) 2022-07-14

Family

ID=82357501

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/000471 WO2022149954A1 (ko) 2021-01-11 2022-01-11 플렉서블 디스플레이를 갖는 전자 장치 및 그의 모드 변경에 따른 제어 패널 제공 방법

Country Status (2)

Country Link
KR (1) KR20220101327A (ko)
WO (1) WO2022149954A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024058470A1 (ko) * 2022-09-16 2024-03-21 삼성전자주식회사 플렉서블 디스플레이의 형태에 기반하여 플렉서블 디스플레이 내에 표시된 화면의 적어도 일부분을 복제하기 위한 전자 장치 및 그 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103870282B (zh) * 2014-03-24 2015-06-17 努比亚技术有限公司 一种调整图标显示方式的方法及装置
KR20150093090A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 복수의 디스플레이들을 제어하는 전자 장치 및 방법
KR20180061059A (ko) * 2016-11-28 2018-06-07 고려대학교 산학협력단 제1 디스플레이와 제2 디스플레이를 포함하는 이동 단말 및 이의 동작 방법
KR20200112378A (ko) * 2019-03-22 2020-10-05 삼성전자주식회사 두 개의 디스플레이 면을 갖는 전자 장치 및 그의 디스플레이 운영 방법
KR102197396B1 (ko) * 2015-12-24 2021-01-04 후아웨이 테크놀러지 컴퍼니 리미티드 이동 단말 상에 다수의 애플리케이션 윈도우들을 디스플레이하는 방법, 및 이동 단말

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150093090A (ko) * 2014-02-06 2015-08-17 삼성전자주식회사 복수의 디스플레이들을 제어하는 전자 장치 및 방법
CN103870282B (zh) * 2014-03-24 2015-06-17 努比亚技术有限公司 一种调整图标显示方式的方法及装置
KR102197396B1 (ko) * 2015-12-24 2021-01-04 후아웨이 테크놀러지 컴퍼니 리미티드 이동 단말 상에 다수의 애플리케이션 윈도우들을 디스플레이하는 방법, 및 이동 단말
KR20180061059A (ko) * 2016-11-28 2018-06-07 고려대학교 산학협력단 제1 디스플레이와 제2 디스플레이를 포함하는 이동 단말 및 이의 동작 방법
KR20200112378A (ko) * 2019-03-22 2020-10-05 삼성전자주식회사 두 개의 디스플레이 면을 갖는 전자 장치 및 그의 디스플레이 운영 방법

Also Published As

Publication number Publication date
KR20220101327A (ko) 2022-07-19

Similar Documents

Publication Publication Date Title
WO2022010116A1 (ko) 디스플레이 화면 재생률 제어 방법 및 장치
WO2022031051A1 (ko) 캡쳐 기능 제공 방법 및 그 전자 장치
WO2021066468A1 (en) Electronic device and control method thereof
WO2023282563A1 (ko) 복수의 터치스크린 디스플레이를 포함하는 전자 장치 및 화면 분할 방법
WO2022124734A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치, 그 동작 방법 및 저장 매체
WO2022031047A1 (ko) 디스플레이를 포함하는 전자 장치 및 그의 화면 운용 방법
WO2021261949A1 (ko) 디스플레이의 폴딩 상태에 따른 이용 방법 및 이를 이용한 전자 장치
WO2022149954A1 (ko) 플렉서블 디스플레이를 갖는 전자 장치 및 그의 모드 변경에 따른 제어 패널 제공 방법
WO2022080990A1 (ko) 전자 장치 및 그의 형태에 기초한 기능 제어 방법
WO2022154423A1 (ko) 전자 장치 및 전자 장치에서 스타일러스 펜의 입력을 처리하는 방법
WO2022108379A1 (ko) 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법
WO2022098169A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치와 이의 동작 방법
WO2022119276A1 (ko) 플렉서블 디스플레이 전자 장치 및 그 동작 방법
WO2022085961A1 (ko) 컨텐츠를 출력하는 전자 장치 및 전자 장치의 동작 방법
WO2022025400A1 (ko) 전자 펜과 연동된 화면 분할 제공 방법 및 이를 이용한 폴더블 전자 장치
WO2022097996A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치
WO2022119227A1 (ko) 전자 장치 및 이의 동작 방법
WO2022119361A1 (ko) 디지타이저 분리 구조를 갖는 슬라이더블 전자 장치 및 슬라이더블 전자 장치의 터치 구동 방법
WO2022097922A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 그의 제어 방법
WO2023121068A1 (ko) 디지타이저를 포함하는전자 장치 및 이의 동작 방법
WO2024014686A1 (ko) 외부 객체의 접촉을 처리하는 터치 회로를 포함하는 디스플레이를 포함하는 전자 장치
WO2022080698A1 (ko) 플렉서블 디스플레이를 이용하여 화면을 제공하는 방법 및 이를 지원하는 전자 장치
WO2022103035A1 (ko) 플렉서블 디스플레이를 갖는 웨어러블 장치 및 그의 상태 변경에 따른 운영 방법
WO2023054948A1 (ko) 가변 디스플레이를 포함하는 전자 장치 및 그의 동작 방법
WO2022092718A1 (ko) 전자 장치 및 전자 장치의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22736931

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22736931

Country of ref document: EP

Kind code of ref document: A1