WO2022114495A1 - 플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치 - Google Patents

플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치 Download PDF

Info

Publication number
WO2022114495A1
WO2022114495A1 PCT/KR2021/013446 KR2021013446W WO2022114495A1 WO 2022114495 A1 WO2022114495 A1 WO 2022114495A1 KR 2021013446 W KR2021013446 W KR 2021013446W WO 2022114495 A1 WO2022114495 A1 WO 2022114495A1
Authority
WO
WIPO (PCT)
Prior art keywords
area
information
electronic device
display
search range
Prior art date
Application number
PCT/KR2021/013446
Other languages
English (en)
French (fr)
Inventor
신도은
천가원
유진선
이좌영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200177517A external-priority patent/KR20220076246A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2022114495A1 publication Critical patent/WO2022114495A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/903—Querying
    • G06F16/9032—Query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • Various embodiments of the present invention are disclosed with respect to a method and apparatus for controlling a user interface in an electronic device whose display size is changed, such as a slideable electronic device.
  • a plurality of displays are provided to provide an extended screen by multi-display.
  • the size of a screen of an electronic device is gradually increasing in a display having a limited size, and is designed to provide various services to a user through a large screen.
  • a foldable device is equipped with a foldable (or bendable) display (eg, a foldable display or a flexible display), and can be used by folding or unfolding.
  • a search range for each extended display area is set, information related to an object selected by the user is obtained for each search range, and when the size of the display is changed, the expanded display
  • a method and apparatus for displaying information obtained in a different search range for each area may be disclosed.
  • An electronic device may include a first housing and a second housing;
  • the first housing is formed to be movable from the second housing, and has a first region and a second region sequentially exposed through the front surface of the electronic device as the first housing moves from the second housing.
  • a flexible display including a third area, a memory configured to store a first search range set corresponding to the second area and a second search range set corresponding to the third area, and the flexible display and the memory and a processor operatively connected to the processor, configured to receive a user input for selecting an object included in a first user interface displayed through the first region in a state in which the first region of the flexible display is exposed to the outside.
  • the second area When it is sensed that the second area or the second area and the third area of the flexible display are exposed to the outside, and the second area is exposed to the outside according to the movement of the first housing, the second area
  • the first information acquired in the first search range is displayed in the area, or when the second area and the third area are exposed to the outside as the first housing is further moved, the second area is displayed in the second area.
  • the first information obtained in the first search range may be displayed, and the second information obtained in the second search range may be displayed in the third area.
  • the first information acquired in the first search range is displayed on the second area, or as the first housing moves further, the second area
  • the region and the third region are exposed to the outside, the first information obtained in the first search range is displayed in the second area, and the second information obtained in the second search range is displayed in the third area
  • information searched for may be efficiently displayed through the extended display area.
  • a natural search environment may be provided by disposing the information retrieved from the display area easily recognizable by the user to be displayed in response to the size of the display physically extended by the display.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure
  • FIGS. 2A to 2C are diagrams illustrating an example of a state change of an electronic device according to various embodiments of the present disclosure
  • FIG. 3 is a diagram illustrating an example of displaying information found for each extended display area of a display in an electronic device according to various embodiments of the present disclosure
  • FIG. 4 is a flowchart illustrating a method of operating an electronic device according to various embodiments of the present disclosure
  • 5A to 5C are diagrams illustrating an example of a user interface of an electronic device according to various embodiments of the present disclosure
  • FIGS. 6A and 6B are diagrams illustrating an example of providing a user interface in a landscape mode in an electronic device according to various embodiments of the present disclosure
  • FIG. 7 is a flowchart illustrating a method of controlling a user interface of an electronic device according to various embodiments of the present disclosure
  • FIGS. 8A and 8B are diagrams illustrating another example of displaying information found for each extended display area of a display in an electronic device according to various embodiments of the present disclosure
  • FIG. 9 is a flowchart illustrating a method of controlling a user interface of an electronic device according to various embodiments of the present disclosure.
  • FIGS. 10A to 10D are diagrams illustrating an example of controlling a second user interface according to various embodiments of the present disclosure.
  • FIGS. 11A to 11C are diagrams illustrating an example of controlling a first or second user interface according to various embodiments of the present disclosure
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • first”, “second”, or “first” or “second” may simply be used to distinguish the component from other components in question, and may refer to components in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments of the present disclosure.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178
  • may be omitted or one or more other components may be added to the electronic device 101 .
  • some of these components are integrated into one component (eg, display module 160 ). can be
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120 . It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 .
  • the volatile memory 132 may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • the processor 120 is a main processor 121 (eg, a central processing unit (CPU) or an application processor (AP)) or an auxiliary processor capable of operating independently or together with it ( 123) (eg, graphic processing unit (GPU), neural network processing unit (NPU), image signal processor (ISP), sensor hub processor, or communication processor (CP, communication processor)) may be included.
  • main processor 121 eg, a central processing unit (CPU) or an application processor (AP)
  • auxiliary processor capable of operating independently or together with it eg, graphic processing unit (GPU), neural network processing unit (NPU), image signal processor (ISP), sensor hub processor, or communication processor (CP, communication processor)
  • the main processor 121 may use less power than the main processor 121 or may be set to be specialized for a specified function.
  • the auxiliary processor 123 may be implemented separately from or as a part of the main processor 121 .
  • the auxiliary processor 123 is, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is At least one of the components of the electronic device 101 (eg, the display module 160 , the sensor module 176 , or At least some of functions or states related to the communication module 190 may be controlled.
  • the coprocessor 123 eg, an image signal processor or a communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model. Artificial intelligence models can be created through machine learning.
  • Such learning may be performed, for example, in the electronic device 101 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers. Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176 ).
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system (OS) 142 , middleware 144 , or an application 146 . have.
  • OS operating system
  • middleware middleware
  • application application
  • the input module 150 may receive a command or data to be used in a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 or an external electronic device (eg, a sound output module 155 ) directly or wirelessly connected to the electronic device 101 . A sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • an external electronic device eg, a sound output module 155
  • a sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, a secure digital (SD) card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD secure digital
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • GNSS global navigation satellite system
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a wide area network (WAN)).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 199 eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a wide area network (WAN)).
  • the wireless communication module 192 uses the subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology is a high-speed transmission of high-capacity data (eMBB, enhanced mobile broadband), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications), or high reliability and low latency (URLLC, ultra-reliable and low-latency) communications)
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) in order to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 may support Various techniques for securing performance, for example, beamforming, massive multiple-input and multiple-output (MIMO), full dimensional MIMO (FD-MIMO), It may support technologies such as an array antenna, analog beam-forming, or a large scale antenna, etc.
  • the wireless communication module 192 includes the electronic device 101 , an external electronic device ( For example, it may support various requirements stipulated in the electronic device 104) or the network system (eg, the second network 199).
  • the wireless communication module 192 is a Peak for eMBB realization. data rate (e.g. 20 Gbps or more), loss coverage (e.g. 164 dB or less) for realization of mMTC, or U-plane latency (e.g., downlink (DL) and uplink (UL) of 0.5 ms or less for realization of URLLC); or round trip 1ms or less).
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or a part of operations executed in the electronic device 101 may be executed in one or more external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • one or more instructions stored in a storage medium may be implemented as software (eg, the program 140) including
  • a processor eg, processor 120
  • a device eg, electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not include a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed online (eg download or upload), directly between smartphones (eg smartphones).
  • a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repetitively, or heuristically, or one or more of the operations are executed in a different order. , may be omitted, or one or more other operations may be added.
  • FIGS. 2A to 2C are diagrams illustrating an example of a state change of an electronic device according to various embodiments of the present disclosure
  • FIG. 2A shows a front view 201 and a rear view 203 of the electronic device in a closed state.
  • a portion (eg, a second area) of a flexible display (eg, the display module 160 of FIG. 1 ) A2)) may be in a state (eg, closed state) accommodated in the second housing 230 .
  • the electronic device 101 may include a first housing 210 and a second housing 230 , and the first housing 210 may be slidably movable from the second housing 230 .
  • the second housing 230 may be fixed, and the first housing 210 may be disposed to reciprocate by a predetermined distance from the second housing 230 in a designated direction (eg, the x-axis direction D).
  • a sliding structure for sliding of the first housing 230 may be provided between the first housing 210 and the second housing 230 .
  • the sliding structure may include, for example, a guide rail and a slide or a roller guided and moved by the guide rail.
  • the sliding structure may be implemented in a variety of other ways.
  • the second housing 230 is a main housing of the electronic device 101 and may accommodate various electric and electronic components such as a main circuit board or a battery.
  • the first housing 210 may include a flexible display (eg, the display module 160 of FIG. 1 ).
  • the display module 160 may include a first area A1 and a second area A2 .
  • the second area A2 extends from the first area A1 and is accommodated in the second housing 230 according to the movement (eg, sliding) of the first housing 210 or the second housing 230 . may be exposed outside of For this reason, the size of the display area exposed on the front or rear surface of the electronic device 101 may be different.
  • the first area A1 may face a first direction (eg, the front side), and the second area A2 may face a second direction (eg, the rear side). have.
  • the closed state of the electronic device 101 may be a state in which the first housing 210 is accommodated in the second housing 230 .
  • the second area A2 is a portion that is bent according to a change in the state of the electronic device 101 , and may be referred to by other terms such as, for example, a bendable area or a bendable section.
  • the second area A2 is accommodated in the second housing 230 (eg, slide). -In (slide-in operation) or may be exposed to the outside of the second housing 230 (eg, slide-out operation).
  • the second area A2 may include a side area A2' of the electronic device 101 and an area exposed through the rear surface of the electronic device 101 when the electronic device 101 is closed.
  • the second housing 230 corresponding to the second area A2 has a transparent cover
  • the second area A2 is the rear surface of the electronic device 101 through the transparent cover when the electronic device 101 is closed.
  • the side area A2 ′ may mean a first side surface 207 extending from the first area A1 to the second area A2 of the display module 160 .
  • a plate 211 of the first housing 210 is included on the second side surface 205 opposite to the first side surface 207 , and a portion of the display module 160 (eg, the first The area A1) may be seated.
  • the first side 207 and the second side 205 may refer to side surfaces corresponding to the long lengths of the two parallel side surfaces of the second housing 230 .
  • the second area A2 may be divided into two or three.
  • the second area A2 includes a second area (or a first display area) and a third area (or a second display area), and the second area A2 ) is divided into three, the second area A2 may include a second area (or a first display area), a third area (or a second display area), and a fourth area (or a third display area).
  • the key input device 270 may be included on a third side (eg, an upper side of the electronic device 101 ) corresponding to the short length of the two parallel side surfaces of the second housing 230 .
  • a microphone 281 , a connector hole 283 , or a speaker 285 is provided on the fourth side (eg, the lower side of the electronic device 101 ) corresponding to the short length of the two parallel sides of the second housing 230 .
  • the key input device 270 may be included in the second side surface 205 or the fourth side surface of the second housing 230 .
  • the illustrated key input device 270 may be omitted or the electronic device 101 may be designed to include additional key input device(s).
  • the electronic device 101 may include a key input device (not shown), for example, a home key button or a touch pad disposed around the home key button. According to another embodiment, at least a portion of the key input device 270 may be located in one area of the first housing 210 .
  • the electronic device 101 may include a first camera module 261 (eg, the camera module 180 of FIG. 1 ) in the first area A1 of the first housing 210 or the display module 160 .
  • the first camera module 261 may be aligned with an opening (eg, a through hole or a notch) formed in the first area A1 and positioned inside the electronic device 101 . External light may pass through the opening and a portion of the transparent cover overlapping the opening to be introduced into the first camera module 261 .
  • a portion of the second housing 230 corresponding to the second area A2 on the rear surface of the electronic device 101 may be formed as a transparent cover.
  • the transparent cover serves to protect the display module 160 from the outside, and for example, a flexible plastic film (eg, polyimide film) or ultra-thin glass (UTG (ultra-thin glass)). It can be implemented in the absence of sex.
  • a flexible plastic film eg, polyimide film
  • UTG ultra-thin glass
  • the second area A2 may be accommodated in the second housing 230 and not be exposed through the rear surface of the electronic device 101 .
  • the second housing 230 may include a plurality of camera modules 262 , 263 , and 264 (eg, the camera module 180 of FIG. 1 ) on the rear surface of the electronic device 101 .
  • the first camera module 261 or the plurality of camera modules 262, 263, and 264 may have different properties (eg, angle of view) or functions, and may include, for example, a dual camera or a triple camera. have.
  • the plurality of camera modules 262 , 263 , and 264 may include lenses having different angles of view, and the electronic device 101 performs the operation in the electronic device 101 based on a user's selection. It can be controlled to change the camera module to be used.
  • the first camera module 261 or the plurality of camera modules 262 , 263 , 264 may include a wide-angle camera, a telephoto camera, a color camera, a monochrome camera, or an IR (infrared) camera (eg, TOF). (time of flight) camera, structured light camera) may include at least one.
  • the IR camera for example, may be operated as at least a part of a sensor module (not shown) (eg, the sensor module 176 of FIG. 1 ).
  • FIG. 2B shows a front view 209 and a rear view 208 of the electronic device in an open state
  • FIG. 2C shows a perspective view of the electronic device in an open state.
  • the first housing 210 of the electronic device 101 is moved from the second housing 230 (eg, open), and the display exposed on the front of the electronic device 101 .
  • the size of the module 160 may be in an expanded state.
  • the display module 160 exposed on the front surface of the electronic device 101 may be a part of the first area A1 and the second area A2 .
  • the second area A2 may include an area exposed through the first side surface 207 of the electronic device 101 and the rear surface of the electronic device 101 .
  • a portion (eg, A2′ + A2-1 ) of the second area A2 exposed through the front surface of the electronic device 101 is a side surface corresponding to the first side surface 207 . It may include an area A2' and a part A2-1 of the second area A2.
  • the other portion A2 - 2 of the second area A2 may be exposed (or accommodated) through the rear surface of the electronic device 101 .
  • the first area A1 and the second area A2 may face a first direction (eg, the front side).
  • the open state may refer to a state in which the first housing 210 is maximally moved from the second housing 230, for example, a state in which the first housing 210 is maximally moved in the first direction (eg, the -x-axis direction). have.
  • the open state may mean a fully open state.
  • the intermediate state may refer to a state between a closed state (eg, see FIG. 2A ) and an open state (eg, 2b ).
  • the intermediate state may mean a state in which the first housing 210 can move further from the second housing 230 .
  • a portion (eg, A2' + A2-1') of the second area A2 exposed through the front surface of the electronic device 101 is a portion of the electronic device 101 in the open state.
  • the intermediate state may be smaller than a portion (eg, A2' + A2-1) of the second area A2 exposed through the front surface.
  • the other part A2-2' of the second area A2 exposed through the rear surface of the electronic device 101 is the second area exposed through the rear surface of the electronic device 101 in the open state. It may be larger than the other part (A2-2) of (A2).
  • the intermediate state may further include several stages (eg, stages not mentioned above).
  • the size of the display module 160 exposed through the front or rear surface of the electronic device 101 may be different by the length that the first housing 210 moves from the second housing 230 .
  • the fourth side 206 corresponding to the short length of the two parallel sides of the second housing 230 may further include a microphone 281 , a connector hole 283 , or a speaker 285 .
  • the electronic device 101 when the display module 160 is moved to a set distance by an external force, the electronic device 101 moves from a closed state to an open state or an open state without any external force due to the elastic structure included in the sliding structure. It can be switched from a state to a closed state (eg semi-automatic slide action).
  • a state to a closed state eg semi-automatic slide action.
  • the electronic device 101 when a signal is generated through the key input device 270 included in the electronic device 101 , the electronic device 101 is in a closed state due to a driving device such as a motor connected to the display module 160 . It can be switched from an open state or from an open state to a closed state.
  • a driving device such as a motor connected to the display module 160 .
  • the electronic device 101 may be switched from a closed state to an open state or from an open state to a closed state.
  • the electronic device 101 when a signal is generated from various sensors such as a pressure sensor, the electronic device 101 may be switched from a closed state to an open state or from an open state to a closed state.
  • a squeeze gesture in which a part of the hand (eg, the palm of the hand or a finger) presses within a specified area of the electronic device 101 may cause the sensor may be detected, and in response, the electronic device 101 may be switched from a closed state to an open state or from an open state to a closed state.
  • the electronic device 101 may detect the state of the electronic device 101 using a sensor module (eg, the sensor module 176 of FIG. 1 ). For example, the electronic device 101 may detect whether the electronic device 101 is in a closed state, an intermediate state, or an open state from a sensing signal detected by the sensor module 176 . When the electronic device 101 is in the intermediate state, the electronic device 101 may detect how far the first housing 210 is moved from the second housing 230 from the sensing signal.
  • a sensor module eg, the sensor module 176 of FIG. 1
  • the electronic device 101 may detect whether the electronic device 101 is in a closed state, an intermediate state, or an open state from a sensing signal detected by the sensor module 176 .
  • the electronic device 101 may detect how far the first housing 210 is moved from the second housing 230 from the sensing signal.
  • 2A to 2C illustrate an example in which the display size of the electronic device 101 is extended in the -x-axis direction (eg, the left direction), but the display size of the electronic device 101 is expanded in the +x-axis direction (eg, the left direction). right direction), +y-axis direction (eg, upward direction), or -y-axis direction (eg, downward direction). That is, the size of the display of the electronic device 101 may be expanded in a horizontal direction, either in a left direction or a right direction among horizontal directions, or in both left and right directions.
  • the size of the display of the electronic device 101 may be expanded in a vertical direction, and may be expanded in either an up direction or a down direction among the vertical directions, or may expand in both the up/down directions.
  • the display size is expanded in the left direction is described, but this is only an implementation issue and does not limit the present invention.
  • FIG. 3 is a diagram illustrating an example of displaying information found for each extended display area of a display in an electronic device according to various embodiments of the present disclosure
  • an electronic device may display a user interface 310 on a flexible display (eg, the display module 160 of FIG. 1 ).
  • the display module 160 may include a first area (eg, the first area A1 of FIGS. 2A to 2C ) and a second area (eg, the second area A2 of FIGS. 2A to 2C ).
  • the user interface 310 may display the first user interface 301 in the first area A1 and display the second user interface 320 in the second area A2 .
  • the first user interface 301 may be an execution screen of an application.
  • the second user interface 320 exposes the searched information, and may be an execution screen of one or a plurality of applications.
  • the first area A1 faces a first direction (eg, the front side)
  • the second area A2 faces a second direction (eg, the rear side)
  • the first area A1 and the second area A2 may face a first direction (eg, the front side).
  • a portion of the first area A1 and the second area A2 faces the first direction (eg, the front side), and the remaining portion of the second area A2 is It may face a second direction (eg, the rear side).
  • the second area A2 is such that the first housing (eg, the first housing 210 of FIGS. 2A-2C ) moves relative to the second housing (eg, the second housing 230 of FIGS. 2A-2C ) (eg, the second area A2 ).
  • slide movement accommodated inside the second housing 230 (eg, a slide-in operation) or exposed to the outside of the second housing 230 (eg, slide-out) -out) can be enabled.
  • the second area A2 may be exposed through the rear surface of the electronic device 101 through the transparent cover or may not be exposed because it is accommodated in the second housing 230 .
  • a user selecting an object included in the first user interface 301 while the electronic device 101 displays the first user interface 301 through the first area A1 in a closed state input can be detected.
  • the object may include at least one of text, image, audio, and video.
  • the electronic device 101 may identify (or extract) search information from the selected object.
  • the search information may mean metadata or computer vision information.
  • the metadata is structured data about data, and may be assigned to content according to a certain rule in order to efficiently find information.
  • the computer vision information is a field of artificial intelligence (AI) and may be used to identify an object (eg, an image) using a computer and extract information from the identified object.
  • AI artificial intelligence
  • the electronic device 101 may recognize the category (eg, person, thing), number, location, color, face, or logo of the selected object by using the computer vision information.
  • the electronic device 101 may acquire (or search for) information to be displayed in the second area A2 based on the identified search information.
  • the second area A2 is an extended display area and may be exposed through the front surface of the electronic device 101 in parallel with the first area A1 when the electronic device 101 is in an open state (eg, FIG. 2B ). have.
  • the second area A2 may be divided into a first display area 303 , a second display area 305 , and a third display area 307 .
  • the second area A2 is divided into three display areas (eg, the first display area 303 to the third display area 307 ) will be described.
  • the second area A2 may be divided into more than three (eg, four) or fewer (eg, two) display areas.
  • the second area A2 when the second area A2 is divided into two, the second area A2 includes a second area (or a first display area) and a third area (or a second display area), and When the second area A2 is divided into three regions, the second area A2 includes a second area (or the first display area 303 ), a third area (or the second display area 305 ), and a fourth area. (or the third display area 307 ).
  • the examples are only provided to help the understanding of the invention, and the present invention is not limited by the examples.
  • the electronic device 101 may set a search range for each display area of the second area A2 .
  • the search range may mean an information acquisition medium (or search medium) or platform to be searched for as search information related to the selected object.
  • the information acquisition medium may include at least one of the electronic device 101, a user's account, or an external search engine.
  • the information acquisition media are classified, for example, and media other than those described above may be further included.
  • the electronic device 101 may automatically set a search range for each display area based on a pattern or history in which a user uses an application. Alternatively, the electronic device 101 may receive a search range set for each display area from the user.
  • the user sets the search range of the first display area 303 to information stored in the electronic device 101, sets the search range of the second display area 305 to information retrieved by the user's account,
  • the search range of the third display area 307 may be set to information found through an external search engine.
  • the user sets the search range of the first display area 303 to information retrieved by the user's account, sets the search range of the second display area 305 to information stored in the electronic device 101, and sets the third
  • the search range of the display area 307 may be set to information found through an external search engine.
  • the user sets the search range of the first display area 303 to information retrieved through an external search engine, sets the search range of the second display area 305 to information retrieved by the user's account, and sets the third display area
  • the search range of the area 307 may be set as information stored in the electronic device 101 .
  • the electronic device 101 may change at least one of a search range, an order, or a location of information displayed for each display area based on a user input.
  • the electronic device 101 may select an information acquisition medium for each search range based on a user input, or may select or delete an application for which information is to be searched.
  • the electronic device 101 may automatically or manually switch (or change) to an open state.
  • the electronic device 101 may automatically switch the electronic device 101 from a closed state to an open state by using a driving device such as a motor connected to the display module 160 .
  • the electronic device 101 sets the electronic device 101 to an intermediate state or an open state based on a user input pulling the display module 160 (eg, an input pulling the second area A2 to be exposed through the front). can be converted to Since the user can change the size of the display module 160 as much as he or she wants, the change in size of the display module 160 can be stopped in the half-open state without completely opening the electronic device 101 .
  • the electronic device 101 may determine how far to move the first housing 210 from the second housing 230 based on the obtained information. For example, the electronic device 101 may switch the electronic device 101 to an intermediate state or an open state based on the obtained information.
  • the electronic device 101 fails to obtain (or search for) information to be displayed on the third display area 307
  • the first display area 303 and the second display area 305 eg, the second area A2 )
  • a state in which only a part of the second area A2 is exposed on the front surface of the electronic device 101 may mean an intermediate state.
  • the first display area 303 to the third display area 307 may be controlled to be exposed on the front surface of the electronic device 101 .
  • a state in which the entire second area A2 is exposed on the front surface of the electronic device 101 may mean an open state.
  • the electronic device 101 changes the state of the electronic device 101 (eg, changes from a closed state to an open state), and displays the second user interface 320 in the second area A2 .
  • the second user interface 320 displays the first information in the first display area 303 , the second information in the second display area 305 , and the third information in the third display area 307 .
  • the first information to the third information may include information found in one application or information found in a plurality of applications.
  • the first to third information may include at least one of text, image, audio, and video.
  • the first information may include information found in response to search information related to a selected object from among information stored in the electronic device 101 .
  • the second information may include information found in an application using the user's account of the electronic device 101 .
  • the third information may include information found in a search engine installed in the electronic device 101 or an external search engine mainly used as a search engine although not installed in the electronic device 101 .
  • the electronic device 101 may display a user setting, a usage history of an application (eg, the most recently used one), an execution frequency of an application (eg, the most used one), or a searched number (eg, the found).
  • the application to be displayed as the first information to the third information may be determined based on at least one of the first to third information. For example, when information retrieved from the electronic device 101 is retrieved from three different applications, the electronic device 101 may display information retrieved from the most used application as the first information. Alternatively, when the information retrieved through the user's account is retrieved from five different applications, the electronic device 101 may display information retrieved from the most recently used application as the second information. When information retrieved from an external search engine is retrieved from two different applications, the electronic device 101 may display information retrieved from the application with the largest number of retrieved as the third information.
  • the electronic device 101 may provide a selection item allowing the user to select any one application.
  • the selection item may mean an application name (eg, Gxx, You00, Hoo) displayed under a search range (eg, My device, My account, My app).
  • the electronic device 101 provides a list of other applications not displayed on the display area among applications corresponding to the current search range, or displays additional information obtained from the application currently displayed on the display area can do.
  • the electronic device 101 may provide a list of other applications that are not displayed in the display area among applications corresponding to the current search range.
  • the electronic device 101 may display additional information obtained from an application currently displayed on the display area.
  • the electronic device 101 when the electronic device 101 is switched to the intermediate state based on the user input and only the first display area 303 is exposed on the front side, the electronic device 101 may display the second display area based on the user input.
  • a scroll bar may be provided so that information displayed on the display area 305 and the third display area 307 may be exposed.
  • the second information to be displayed on the second display area 305 in the first display area 303 or the third information to be displayed on the third display area 307 . can be controlled to be displayed.
  • the electronic device (eg, the electronic device 101 of FIG. 1 ) according to various embodiments of the present disclosure includes a first housing (eg, the first housing 210 of FIGS. 2A to 2C ) and a second housing (eg: The second housing 230 of FIGS. 2A to 2C ), the first housing is formed to be movable from the second housing, and includes a first area (eg, the first area A1 of FIGS. 2A to 2C ); As the first housing moves from the second housing, a second region and a third region (eg, the first region A2 of FIGS. 2A to 2C ) sequentially exposed to the outside through the front surface of the electronic device A flexible display (eg, the display module 160 of FIG.
  • the flexible display including a memory ( Example: memory 130 of FIG. 1 ), the flexible display, and a processor operatively coupled to the memory (eg, processor 120 of FIG. 1 ), wherein the processor comprises: the first area of the flexible display In this state exposed to the outside, a user input for selecting an object included in the first user interface displayed through the first area is detected, and first information is obtained from the first search range based on search information related to the selected object. and acquiring second information from the second search range, and moving the second area or the second area and the third area of the flexible display to the outside based on the movement of the first housing from the second housing.
  • the processor comprises: the first area of the flexible display In this state exposed to the outside, a user input for selecting an object included in the first user interface displayed through the first area is detected, and first information is obtained from the first search range based on search information related to the selected object. and acquiring second information from the second search range, and moving the second area or the second area and the third area of the flexible display to the outside based on the movement
  • the first information obtained in the first search range is displayed on the second area, or the first housing
  • the first information obtained in the first search range is displayed in the second area
  • the second search is displayed in the third area obtained in the range Second information may be displayed.
  • the first search range or the second search range may include at least one of the electronic device, an account of a user of the electronic device, and an external search engine.
  • the processor sets the first search range in response to the second area based on a user input or a setting of the electronic device, sets the second search range in response to the third area, and stores the set in the memory can
  • the processor is configured to display the first information in the second area as a second user interface, or include the first information in the second area and the second information in the third area 2 It may be to display a user interface.
  • the first user interface displays an execution screen of a first application in the first area
  • the second user interface displays an execution screen of a second application as the first information in the second area
  • the third area may display an execution screen of a third application as the second information.
  • the processor may be configured to, while maintaining the display of the first user interface in the first area of the flexible display, the second area of the flexible display, or the second area and the second area according to the movement of the first housing
  • the second user interface may be controlled to be displayed in the third area.
  • the processor detects a display direction of the electronic device, and when the display direction of the electronic device is a horizontal direction, configures a layout of the second user interface in a horizontal direction, and the display direction of the electronic device is a vertical direction
  • the layout of the second user interface may be set to be configured in a vertical direction.
  • the processor may be configured to display, in the second area, an execution screen of a fourth application that is other information acquired in the first search range, based on a user input.
  • the processor may be configured to, when the first information is not obtained in the first search range, display the second information obtained in the second search range instead of the first information.
  • the processor identifies search information from the selected object, displays the identified search information in the first area, selects any one search information from the displayed search information, and searches based on the selected search information It may be set to acquire information for each range.
  • the processor selects at least one object included in the first information or the second information, detects a user input moving to the first area, and selects the selected object based on the user input as the first It can be set to be reflected in the user interface.
  • the processor may be configured to control the second area of the flexible display to be exposed to the outside or to control the second area and the third area of the flexible display to be exposed to the outside based on the obtained information have.
  • FIG. 4 is a flowchart 400 illustrating a method of operating an electronic device according to various embodiments of the present disclosure.
  • the processor determines a search range for each display area. It may be set and stored in a memory (eg, the memory 130 of FIG. 1 ).
  • the processor 120 may automatically set a search range for each display area according to the setting of the electronic device 101 .
  • the processor 120 may manually set a search range for each display area based on a user input.
  • the display area is an area used when the flexible display (eg, the display module 160 of FIG.
  • the display module 160 may include a first area (eg, the first area A1 of FIGS. 2A to 2C ) and a second area (eg, the second area A2 of FIGS. 2A to 2C ). .
  • the first area A1 faces a first direction (eg, the front side), and the second area A2 faces a second direction (eg, the rear side) can be headed
  • the first area A1 and the second area A2 may face a first direction (eg, the front side).
  • a portion of the first area A1 and the second area A2 faces the first direction (eg, the front side), and the remaining portion of the second area A2 is It may face a second direction (eg, the rear side).
  • the second area A2 includes a first display area (eg, the first display area 303 of FIG. 3 ), a second display area (eg, the second display area 305 of FIG. 3 ), and a third display area ( For example, it can be divided into the third display area 307 of FIG. 3 ).
  • the search range may mean an information acquisition medium or platform for which information is to be searched.
  • the information acquisition medium may include at least one of the electronic device 101, a user's account, or an external search engine.
  • the information acquisition media are classified, for example, and media other than those described above may be further included.
  • the processor 120 may search for at least one of text, document, image, audio, and video stored in the electronic device 101 .
  • text stored in the electronic device 101 may include a schedule (eg, a calendar application), a memo (eg, a memo application), a message (eg, a message application), a mail (eg, a mail application), and a contact (eg, contact information). application) may be included.
  • the memo application may include memos written with a stylus pen or handwriting as well as memos input through the keypad.
  • the document stored in the electronic device 101 may include files having extensions such as Hangul (eg, hwp), MS office programs (eg, Word, Excel), PDF, TXT, and PPT.
  • the image stored in the electronic device 101 may include a photo, a screenshot, a video stored in a gallery application, or a photo (eg, a counterpart's profile) stored in a contact application.
  • Audio or video stored in the electronic device 101 may include music (eg, a music application, a player application), a movie, or a recording file (eg, a voice memo application).
  • the processor 120 may search for text, document, image, audio, or video among applications installed in the electronic device 101 .
  • the processor 120 may be configured to use an information obtaining medium associated with the user account (eg, another user's electronic device or an external server (eg, the server 108 of FIG. 1 ). ) can be searched for at least one of text, document, image, audio, or video stored in.
  • text stored in an information acquisition medium associated with a user account is a schedule linked to a user account, memo, and a book service subscribed to.
  • newsletters, blogs or posts posted on social media, content being followed, and mail Documents stored in the information acquisition medium associated with the user account are Korean (eg hwp), MS among files stored in the external cloud as the user account. It can include files with extensions such as office programs (eg Word, Excel), PDF, TXT, and PPT.
  • the image stored in the information acquisition medium related to the user account may include a photo of an SNS account and a feed, and a photo stored in an external cloud.
  • the video stored in the information acquisition medium associated with the user account may include content of an over the top (OTT) service subscribed to by the user account, and content of a channel while driving a video streaming service.
  • the audio stored in the information acquisition medium related to the user account may include a playlist of a music service subscribed to by the user account, content of a podcast that is being followed, and content of an audio book service being operated.
  • the processor 120 may search for recent place information of a navigation application being used, a destination of a curated shopping service, feed contents in SNS, webtoon contents in operation, and contents of financial companies by using the user account.
  • the processor 120 when the information acquisition medium is an external search engine or an external application, the processor 120 is an application installed or not installed in the electronic device 101, or an external server (eg, the server ( 108)) stored at least one of text, document, image, audio, or video.
  • the processor 120 may search news, blog posts, reviews, language dictionaries, URL information, and articles retrieved from a search engine in a portal site (eg, Google, Naver) as text.
  • the processor 120 may search files having extensions such as Hangul (eg, hwp), MS office programs (eg, Word, Excel), PDF, TXT, and PPT among files searched for by the search engine as documents.
  • the processor 120 may search for content as images, audios, and videos through an integrated search for images, videos, video streaming services, and music services provided by a search engine.
  • the processor 120 may search for at least one of text, document, image, audio, and video from celebrity person information, map information, place information, shopping information, and content (eg, webtoon) of the portal site. .
  • the processor 120 sets the search range of the first display area 303 to information stored in the electronic device 101 based on the user input, and sets the search range of the second display area 305 to the user's account.
  • the search range of the third display area 307 may be set to information found through an external search engine.
  • the processor 120 sets the search range of the first display area 303 to the information searched for by the user's account based on the user input, and sets the search range of the second display area 305 to the electronic device 101 .
  • the stored information may be set, and the search range of the third display area 307 may be set as information found through an external search engine.
  • the processor 120 sets the search range of the first display area 303 to information stored in the electronic device 101 based on the user input, and sets the search range of the second display area 305 to an external search engine. It is set as information found through the user account, and the search range of the third display area 307 may be set as information found by the user's account.
  • the processor 120 may set a search range for each display area based on a user input before selecting an object.
  • the processor 120 may change at least one of a search range, an order, or a location of information displayed for each display area based on a user input.
  • the processor 120 may select an information acquisition medium for each search range based on a user input, or may select or delete an application for which information is to be searched.
  • the processor 120 may set the search range for each display area according to the setting of the electronic device 101 .
  • the setting of the electronic device 101 may be set by using a user's usage pattern (or history) or big data.
  • the processor 120 may select an object included in the first user interface.
  • the first user interface is an execution screen of an application, and may include, for example, at least one of text, an image, audio, and a video.
  • the object may include at least one of text, image, audio, and video.
  • the execution screen may include singer information (eg, text, image) and music information (eg, text, image, and audio).
  • the user may select an image of a singer on the execution screen of the music application.
  • the processor 120 may select an image of a singer as an object based on the user input.
  • the processor 120 may select an object included in the first user interface (eg, the first user interface 301 of FIG. 3 ) while the electronic device 101 is closed. When the electronic device 101 is closed, only the first user interface 301 of FIG. 3 may be exposed through the front surface of the electronic device 101 .
  • the processor 120 may identify search information from the selected object.
  • the search information may mean metadata or computer vision information.
  • the metadata is structured data about data, and may be assigned to content according to a certain rule in order to efficiently find information.
  • the computer vision information is a field of artificial intelligence (AI) and may be used to identify an object (eg, an image) using a computer to extract information from the identified object.
  • the processor 120 may use the computer vision information to identify an object from the image of the selected singer (eg, a singer's name) through face recognition. Alternatively, the processor 120 may identify a person from the image of the selected singer, a plurality of people, and a group (eg, group name) through face recognition.
  • the processor 120 may display the identified search information through the display module 160 .
  • the identified search information may be displayed in the form of at least one of text, image, audio, and video.
  • the identified search information may include one or more keywords.
  • the processor 120 may receive one of the search information selected from the displayed search information from the user.
  • the processor 120 may acquire information for each search range based on the search information selected by the user.
  • the processor 120 may acquire (or search for) information for each search range based on the identified search information. For example, the processor 120 may obtain each information to be displayed in the first display area 303 to the third display area 307 from each information acquisition medium. For example, the processor 120 may search for information by the singer's name from the electronic device 101, another electronic device or server 108 associated with the user's account, or an external search engine using the singer's image. For example, the processor 120 may acquire an image (eg, a gallery application) and text (eg, a memo application, an email application) stored in the electronic device 101 . The processor 120 may obtain text, images, audio, and video from a server 108 associated with the user's account. The processor 120 may obtain text, images, audio, and video from an external search engine.
  • an image eg, a gallery application
  • text eg, a memo application, an email application
  • the processor 120 may detect a display size extension.
  • the expansion of the display size may mean changing from a closed state to an intermediate state or an open state.
  • the display size expansion may mean changing from an intermediate state to an open state.
  • the display size can be changed automatically or manually.
  • the processor 120 may automatically switch the electronic device 101 from a closed state to an intermediate state or an open state by using a driving device such as a motor connected to the display module 160 .
  • the processor 120 may switch the electronic device 101 from a closed state to an intermediate state or an open state based on a user input. Since the user can change the size of the display module 160 as much as he or she wants, the change in size of the display module 160 can be stopped in the half-open state without completely opening the electronic device 101 .
  • operation 409 is described as being performed after operations 405 and 407 are performed in the drawing, operation 409 may be performed while operations 405 and 407 are performed.
  • the user may change the display size after selecting an object.
  • the processor 120 may display a second user interface in which the obtained information is divided for each extended display area.
  • the second user interface may include an execution screen of one or a plurality of applications.
  • the processor 120 displays the first user interface 301 in the first area A1 and the second user interface (eg, in the second area A2)
  • the second user interface 320 of FIG. 3 may be displayed.
  • the processor 120 displays the first information acquired in the first search range on the first display area to the second user. It can be displayed as an interface.
  • the processor 120 displays the first display area on the first display area in the first search range. information may be displayed, and the second information acquired in the second search range may be displayed in the second display area as the second user interface.
  • the processor 120 controls the user including the first user interface 301 and the second user interface 320 on the display module 160 .
  • An interface eg, the user interface 310 of FIG. 3
  • the second user interface 320 displays the first information stored in the electronic device 101 in the first display area 303 , displays the second information retrieved by the user account in the second display area 305 , or 3
  • the display area 307 may include at least one of displaying third information retrieved from an external search engine.
  • the processor 120 may display the second user interface in the second area A2 while maintaining the display of the first user interface 301 in the first area A1 .
  • 5A to 5C are diagrams illustrating an example of a user interface of an electronic device according to various embodiments of the present disclosure
  • 5A is a diagram illustrating an example of selecting an object in an electronic device according to various embodiments of the present disclosure
  • the processor (eg, the processor 120 of FIG. 1 ) of the electronic device (eg, the electronic device 101 of FIG. 1 ) is flexible when the electronic device 101 is closed.
  • the first user interface 510 may be displayed through a display (eg, the display module 160 of FIG. 1 ).
  • the display module 160 may include a first area (eg, the first area A1 of FIGS. 2A to 2C ) and a second area (eg, the second area A2 of FIGS. 2A to 2C ).
  • a state in which the electronic device 101 is closed eg, FIG.
  • the first user interface 510 may be an execution screen of an application (eg, a video application).
  • the processor 120 may receive a selection of the object 511 from the user in the first user interface 510 .
  • the object 511 may include at least one of text, image, audio, and video. In the drawing, the object 511 may be a photo of a singer's face appearing in a video application being edited.
  • a touch input eg, a long press
  • the processor 120 may determine it as an input for selecting the object 511 .
  • the processor 120 may identify (or extract) search information from the object 511 .
  • the search information may mean metadata or computer vision information.
  • the processor 120 may display the second user interface 520 including the identified search information 521 .
  • the second user interface 520 may display the identified search information 521 on the first user interface 510 as an overlay.
  • the identified search information 521 may be one or more.
  • the processor 120 may receive any one search information 523 selected from the identified search information 521 by the user.
  • the processor 120 may acquire (or search for) information for each search range based on the selected search information 523 .
  • 5B is a diagram illustrating an example of displaying information for each search range in an electronic device according to various embodiments of the present disclosure
  • the processor 120 may switch the electronic device 101 from a closed state to an intermediate state based on a user input and display the third user interface 530 .
  • the processor 120 may control a portion of the second area A2 to be exposed on the front surface of the electronic device 101 based on a user input.
  • the first area A1 faces a first direction (eg, the front side)
  • a part of the second area A2 faces the first direction (eg, the front side)
  • Another part of the second area A2 may have a second direction (eg, a rear surface).
  • the processor 120 may switch the electronic device 101 from the closed state to the first intermediate state based on the user input.
  • the size of a portion of the second area A2 exposed through the front surface of the electronic device 101 is that of the second area A2 accommodated (or exposed) through the rear surface of the electronic device 101 . It may be smaller than the size of some others.
  • the second area A2 includes a first display area (eg, the first display area 303 of FIG. 3 ), a second display area (eg, the second display area 305 of FIG. 3 ), and a third display area ( For example, it can be divided into the third display area 307 of FIG. 3 ).
  • the first intermediate state only the first display area 303 is exposed through the front surface of the electronic device 101 , and the second display area 305 and the third display area 307 are not exposed.
  • the third user interface 530 may display the first user interface 510 on the first area A1 and display the first information 531 on the first display area 303 .
  • the third user interface 530 may be an example of a user interface displayed when the electronic device 101 is in a portrait mode (eg, in a portrait direction).
  • the processor 120 displays the first information 531 in the first display area 303 of the second area A2 exposed through the front surface of the electronic device 101 while maintaining the display of the first user interface 510 . ) can be displayed.
  • the processor 120 may display a scroll bar 533 guiding that there is other information to be displayed in addition to the first information 531 in the first intermediate state.
  • the processor 120 displays the second information to be displayed on the second display area 305 or the third display area 307 through the first display area 303 . It is possible to control so that the third information to be displayed is displayed.
  • the processor 120 may switch the electronic device 101 from the closed state to the second intermediate state based on a user input and display the fourth user interface 540 .
  • the size of a portion of the second area A2 exposed through the front surface of the electronic device 101 is that of the second area A2 accommodated (or exposed) through the rear surface of the electronic device 101 . It may be larger than the size of some others.
  • the second intermediate state only the first display area 303 and the second display area 305 are exposed through the front surface of the electronic device 101 and the third display area 307 is not exposed.
  • the fourth user interface 540 displays the first user interface 510 in the first area A1 , first information 541 in the first display area 303 , and the second display area 305 . ) may be to display the second information 543 .
  • the processor 120 displays the first information 541 in the first display area 303 of the second area A2 exposed through the front surface of the electronic device 101 while maintaining the display of the first user interface 510 . ), and the second information 543 may be displayed on the second display area 305 .
  • the processor 120 may display a scroll bar 545 guiding that there is other information to be displayed in addition to the first information 541 and the second information 543 .
  • the processor 120 displays third information to be displayed on the third display area 307 through the first display area 303 or the second display area 305 when the scroll bar 545 is selected by the user and scrolled. can be controlled to be
  • the processor 120 may switch the electronic device 101 from a closed state to an open state based on a user input and display the fifth user interface 550 .
  • the open state may be a state in which the first display area 303 to the third display area 307 are exposed through the front surface of the electronic device 101 .
  • the fifth user interface 550 displays the first user interface 510 in the first area A1 , first information 551 in the first display area 303 , and the second display area 305 . ), the second information 553 may be displayed, and the third information 555 may be displayed on the third display area 307 .
  • the processor 120 displays the first information 551 in the first display area 303 of the second area A2 exposed through the front surface of the electronic device 101 while maintaining the display of the first user interface 510 . ), the second information 553 may be displayed on the second display area 305 , and the third information 555 may be displayed on the third display area 307 .
  • the processor 120 may display a scroll bar 557 guiding that there is other information to be displayed in addition to the first information 551 to the third information 555 .
  • the processor 120 may control other information to be further displayed through the first display area 303 to the third display area 307 .
  • 5C is a diagram illustrating another example of displaying information for each search range in an electronic device according to various embodiments of the present disclosure
  • the processor 120 may switch the electronic device 101 from a closed state to an open state based on a user input and display the sixth user interface 560 .
  • the sixth user interface 560 displays the first user interface 510 in the first area A1 , the first information 561 in the first display area 303 , and the second display area 305 . ) may be displayed on the second information 563 , and the third information 565 may be displayed on the third display area 307 .
  • the processor 120 may display the first information 561 to the third information 565 in a horizontal direction while maintaining the display of the first user interface 510 .
  • the processor 120 may configure different layouts for displaying the first information 561 to the third information 565 .
  • the layout of the first information 551 to the third information 555 included in the fifth user interface 550 is configured in a vertical direction
  • the layout of the first information 561 to the third information 565 included in the sixth user interface 560 may be configured in a horizontal direction.
  • the processor 120 may provide the scroll bar 567 in the vertical direction.
  • the processor 120 may provide the scroll bar 567 in the horizontal direction.
  • FIGS. 6A and 6B are diagrams illustrating an example of providing a user interface in a landscape mode in an electronic device according to various embodiments of the present disclosure
  • 6A is a diagram illustrating an example of providing a user interface in a landscape mode in an electronic device according to various embodiments of the present disclosure
  • the processor (eg, the processor 120 of FIG. 1 ) of the electronic device (eg, the electronic device 101 of FIG. 1 ) according to various embodiments is flexible when the electronic device 101 is closed.
  • the first user interface 610 may be displayed through a display (eg, the display module 160 of FIG. 1 ).
  • the first user interface 610 may be an example of a user interface displayed when the electronic device 101 is in a landscape mode (eg, a landscape direction).
  • the processor 120 may receive an object selected from the first user interface 610 and identify search information from the selected object. Although not shown, the processor 120 may display the identified search information.
  • the processor 120 may switch the electronic device 101 from the closed state to the intermediate state based on the user input and display the second user interface 620 .
  • the first area A1 faces a first direction (eg, the front side)
  • a part of the second area A2 faces the first direction (eg, the front side)
  • the second Another portion of the area A2 may have a second direction (eg, a rear surface).
  • the processor 120 may switch the electronic device 101 from the closed state to the third intermediate state based on the user input.
  • the size of a portion of the second area A2 exposed through the front surface of the electronic device 101 is that of the second area A2 accommodated (or exposed) through the rear surface of the electronic device 101 .
  • the second area A2 may be divided into a first display area (eg, the first display area 303 of FIG. 3 ) and a second display area (eg, the second display area 305 of FIG. 3 ).
  • a first display area eg, the first display area 303 of FIG. 3
  • a second display area eg, the second display area 305 of FIG. 3
  • the third intermediate state only the first display area 303 is exposed through the front surface of the electronic device 101 and the second display area 305 is not exposed.
  • the processor 120 divides the display area of the second area A2 differently according to the display mode (or direction) of the electronic device 101 or determines the layout of information displayed in each display area. It can be configured differently. Alternatively, the processor 120 may equally classify the display areas of the second area A2 regardless of the display direction of the electronic device 101 . For example, the processor 120 divides the display area of the second area A2 into three when the electronic device 101 is in the portrait mode, and when the electronic device 101 is in the landscape mode, the second area The display area of (A2) can be divided into two. This is in consideration of the user's visual convenience, only corresponds to an implementation issue, and does not limit the present invention. Hereinafter, an example in which the display area of the second area A2 is divided into two when the electronic device 101 is in the landscape mode will be described, but the present invention is not limited thereto.
  • the second user interface 620 may display the first user interface 610 in the first area A1 and display the first information 621 in the first display area 303 .
  • the second user interface 620 may be an example of a user interface displayed when the electronic device 101 is in a landscape mode.
  • the processor 120 may control the first information 621 to be displayed in a horizontal direction when the electronic device 101 is in the landscape mode.
  • the processor 120 may display a scroll bar 623 guiding that there is other information to be displayed in addition to the first information 621 in the first intermediate state.
  • the processor 120 may display the scroll bar 623 in the vertical direction when the electronic device 101 is in the landscape mode.
  • the processor 120 may switch the electronic device 101 from the closed state to the open state based on the user input and display the third user interface 630 .
  • the third user interface 630 may be an example of a user interface displayed when the electronic device 101 is in the landscape mode.
  • the third user interface 630 displays the first user interface 610 in the first area A1 , the first display area 303 and the second display area 305 , the first information 631 and the second Information 633 may be displayed.
  • the processor 120 may control the first information 631 and the second information 633 to be displayed in a horizontal direction when the electronic device 101 is in the landscape mode.
  • the processor 120 may display a scroll bar 635 guiding that there is other information to be displayed in addition to the first information 631 and the second information 633 .
  • 6B is a diagram illustrating another example of providing a user interface in a landscape mode in an electronic device according to various embodiments of the present disclosure
  • the processor 120 may display the fourth user interface 650 while the electronic device 101 is open.
  • the fourth user interface 650 may be an example of a user interface displayed when the electronic device 101 is in the landscape mode.
  • the fourth user interface 640 displays the first user interface 610 in the first area A1 , the first display area 303 and the second display area 305 , the first information 651 , and the second The information 653 and the third information 655 may be displayed.
  • the processor 120 may control the first information 651 to the third information 655 to be displayed in a vertical direction when the electronic device 101 is in the landscape mode.
  • the processor 120 may display a scroll bar 657 guiding that there is other information to be displayed in addition to the first information 651 to the fifth information 655 .
  • the processor 120 may display the scroll bar 657 in the vertical direction when the electronic device 101 is in the landscape mode.
  • the layout of the first information 631 and the second information 635 included in the third user interface 630 is configured in a horizontal direction
  • the layout of the first information 651 to the third information 655 included in the fourth user interface 650 may be configured in a vertical direction.
  • the processor 120 may provide the scroll bar 635 in the vertical direction.
  • the processor 120 may provide the scroll bar 657 in the horizontal direction.
  • the processor 120 may differently configure the layout of information displayed in each display area based on the amount of information obtained when the electronic device 101 is in the landscape mode. For example, the processor 120 may configure the layout of information in a vertical direction when the amount of acquired information is large, and configure the layout of information in a horizontal direction when the amount of acquired information is small. As compared to the third user interface 630 and the fourth user interface 650 , when the electronic device 101 is in the landscape mode and the layout of information is configured in the vertical direction, information obtained by information acquisition medium may be displayed more.
  • the processor 120 may determine whether the amount of information acquired is large or small according to whether the number of information acquisition media is a preset number (eg, two). For example, when information is acquired from three or more information acquisition media, the processor 120 may determine that the amount of acquired information is large. When information is acquired from less than three information acquisition media, the processor 120 may determine that the amount of information acquired is small.
  • a preset number eg, two
  • FIG. 7 is a flowchart 700 illustrating a method of controlling a user interface of an electronic device according to various embodiments of the present disclosure.
  • the flowchart 700 of FIG. 7 may embody operations after operation 405 of FIG. 4 .
  • the processor eg, the processor 120 of FIG. 1
  • the electronic device eg, the electronic device 101 of FIG. 1
  • displays the object search information. can do.
  • the processor 120 performs operation 405 of FIG. 4 to identify search information related to the object selected in the first user interface, and displays the identified search information through a flexible display (eg, the display module 160 of FIG. 1 ).
  • the display module 160 may include a first area (eg, the first area A1 of FIGS. 2A to 2C ) and a second area (eg, the second area A2 of FIGS. 2A to 2C ).
  • a state in which the electronic device 101 is closed eg, FIG.
  • the first area A1 faces a first direction (eg, the front side), and the second area A2 faces a second direction (eg, the rear side) can be headed
  • the first area A1 and the second area A2 may face a first direction (eg, the front side).
  • a portion of the first area A1 and the second area A2 faces the first direction (eg, the front side), and the remaining portion of the second area A2 is It may face a second direction (eg, the rear side).
  • the processor 120 includes a second user interface (eg, the second user interface) including search information (eg, the identified search information 521) on the first user interface (eg, the first user interface 510) as shown in FIG. 5A .
  • search information eg, the identified search information 521 on the first user interface (eg, the first user interface 510) as shown in FIG. 5A .
  • a user interface 520 may be displayed.
  • the identified search information 521 may be one or more.
  • the processor 120 may receive a selection of search information.
  • the processor 120 may receive a selection of one piece of search information from the user.
  • the processor 120 may obtain information for each search range based on the selected search information.
  • the second area A2 includes a first display area (eg, the first display area 303 of FIG. 3 ), a second display area (eg, the second display area 305 of FIG. 3 ), and a third display area ( For example, it can be divided into the third display area 307 of FIG. 3 ).
  • the processor 120 may acquire each information to be displayed in the first display area 303 to the third display area 307 from each information acquisition medium.
  • the processor 120 may use the selected search information (eg, singer name) to search for information from the electronic device 101 , another electronic device or server 108 associated with the user's account, or an external search engine. can Since operation 705 is the same as or similar to operation 407 of FIG. 4 , a detailed description thereof may be omitted.
  • the processor 120 may determine whether the obtained information corresponds to a first search range (eg, the electronic device 101 ). When the processor 120 searches for information from a plurality of information acquisition media, there may be a difference in search time. The processor 120 may determine whether information obtained in the search order corresponds to a search range. Although it is described in the drawings that the determination is made in the order of the first search range, the second search range, and the third search range to help the understanding of the invention, the processor 120 determines in the reverse order, or the information obtained at the same time is the first search range. It may also be determined whether the search range corresponds to a third search range. The processor 120 may perform operation 709 when the obtained information falls within the first search range, and perform operation 711 when the obtained information does not fall within the first search range.
  • a first search range eg, the electronic device 101 .
  • the processor 120 may display the obtained information in the first display area.
  • the information obtained in the first search range may be set to be displayed in the first display area.
  • the processor 120 may display information acquired in the first search range on the first display area based on a user's setting or a setting of the electronic device 101 .
  • the processor 120 may provide a selection item for selecting an application. Referring to FIG. 3 as an example, the selection item may mean an application name (eg, Gxx, You00, Hoo) displayed under a search range (eg, my device, My account, My app).
  • the processor 120 may determine whether the obtained information corresponds to the second search range (eg, a user account). The processor 120 may perform operation 713 when the obtained information falls within the second search range, and perform operation 715 when the obtained information does not fall within the second search range.
  • the second search range eg, a user account
  • the processor 120 may display the obtained information on the second display area.
  • the information obtained in the second search range may be set to be displayed in the second display area.
  • the processor 120 may display information acquired in the second search range on the second display area based on a user's setting or a setting of the electronic device 101 .
  • the processor 120 may determine whether the obtained information corresponds to a third search range (eg, an external search engine). The processor 120 may perform operation 717 when the obtained information falls within the third search range, and perform operation 719 when the obtained information does not fall within the third search range.
  • a third search range eg, an external search engine
  • the processor 120 may display the obtained information on the third display area.
  • the information obtained in the third search range may be set to be displayed in the third display area.
  • the processor 120 may display information acquired in the third search range on the third display area based on a user's setting or a setting of the electronic device 101 .
  • the processor 120 determines whether the first search range or the second search range Information corresponding to the second search range may be displayed on the third display area, or information acquired in the third search range may be displayed on the first display area or the second display area.
  • the processor 120 may control to display information corresponding to another search range in a third display area corresponding to the third search range. For example, the processor 120 may display information obtained in the first search range or information obtained in the second search range on the third display area.
  • the processor 120 may display the information obtained in the third search range in the first display area or the second display area. can That is, when there is no information obtained in a search range corresponding to the display area, the processor 120 may substitute information obtained in another search range.
  • FIGS. 8A and 8B are diagrams illustrating another example of displaying information found for each extended display area of a display in an electronic device according to various embodiments of the present disclosure
  • the processor (eg, the processor 120 of FIG. 1 ) of the electronic device (eg, the electronic device 101 of FIG. 1 ) is flexible when the electronic device 101 is closed.
  • the first user interface 810 may be displayed through a display (eg, the display module 160 of FIG. 1 ).
  • the display module 160 may include a first area (eg, the first area A1 of FIGS. 2A to 2C ) and a second area (eg, the second area A2 of FIGS. 2A to 2C ).
  • a state in which the electronic device 101 is closed eg, FIG.
  • the first user interface 810 may be an example of a user interface displayed when the electronic device 101 is in a portrait mode (eg, in a portrait direction).
  • the first user interface 810 may be an execution screen (eg, a sports game application) of the first application.
  • the processor 120 may receive an object 811 selected from the first user interface 810 , and may identify search information associated with the selected object 811 .
  • the processor 120 may display the second user interface 830 including the identified search information 831 .
  • the identified search information 831 may include at least one of text, image, audio, and video.
  • the identified search information 831 may include one or more keywords.
  • the processor 120 may receive any one search information 832 selected from the identified search information 831 by the user.
  • the second user interface 830 may be displayed by overlaying the identified search information 831 on the first user interface 810 .
  • the processor 120 may acquire (or search for) information for each search range based on the selected search information 832 .
  • the processor 120 may display information obtained based on a change in the size of the display divided by display area. Changing the display size may mean changing from a closed state to an intermediate state or an open state. Alternatively, changing the display size may mean changing from an intermediate state to an open state. The display size can be changed automatically or manually.
  • the processor 120 may automatically convert the electronic device 101 from a closed state to an open state by using a driving device such as a motor connected to the display module 160 . Alternatively, the processor 120 may switch the electronic device 101 from a closed state to an intermediate state or an open state based on a user input. In an open state (eg, FIG.
  • the first area A1 and the second area A2 may face a first direction (eg, the front side).
  • a portion of the first area A1 and the second area A2 faces the first direction (eg, the front side), and the remaining portion of the second area A2 is It may face a second direction (eg, the back side).
  • the second area A2 includes a first display area (eg, the first display area 303 of FIG. 3 ), a second display area (eg, the second display area 305 of FIG. 3 ), and a third display area ( For example, it can be divided into the third display area 307 of FIG. 3 ).
  • the second area A2 is such that the first housing (eg, the first housing 210 of FIGS. 2A-2C ) moves relative to the second housing (eg, the second housing 230 of FIGS. 2A-2C ) (eg, the second area A2 ).
  • slide movement accommodated inside the second housing 230 (eg, a slide-in operation) or exposed to the outside of the second housing 230 (eg, slide-out) -out) can be enabled.
  • the processor 120 displays the first user interface 810 in the first area A1 in the intermediate state of the electronic device 101, and displays the first display area 810 in the second area A2. 303), a third user interface 850 that displays the acquired information 851 may be displayed.
  • the processor 120 may display the acquired information 851 in the first display area 303 by changing the display size while maintaining the display of the first user interface 810 in the first area A1.
  • the processor 120 may control the display module 160 to be exposed through the front surface of the electronic device 101 as much as the first display area 303 of the second area A2 by switching the display module 160 to the intermediate state.
  • the processor 120 may determine how far to move the first housing 210 from the second housing 230 based on the obtained information 851 . For example, when the obtained information 851 is obtained only in the first search range, the processor 120 drives a motor to display only the first display area 303 corresponding to the first search range of the electronic device 101 . It is controlled to be exposed through the front surface, and the obtained information 851 may be displayed on the first display area 303 . When the acquired information 851 is acquired only in the first search range, the processor 120 may control a portion of the second area A2 to be exposed through the front surface of the electronic device 101 .
  • the processor 120 is configured to configure a first display area 303 corresponding to the first search range and a second display area 303 corresponding to the second search range. Only the display area 305 may be controlled to be exposed through the front surface of the electronic device 101 , and acquired information may be displayed on the first display area 303 and the second display area 305 .
  • the processor 120 may control a portion of the second area A2 to be exposed through the front surface of the electronic device 101 .
  • the processor 120 determines that the first display area 303 to the third display area 307 is the front surface of the electronic device 101 . is controlled to be exposed through , and the acquired information may be displayed in the first display area 303 to the third display area 307 .
  • the processor 120 may control the entire second area A2 to be exposed through the front surface of the electronic device 101 . .
  • the processor 120 controls the entire second area A2 to be exposed through the front surface of the electronic device 101, even if the obtained information 851 is obtained only in the first search range,
  • a fourth user interface 870 may be provided.
  • the fourth user interface 870 displays the first user interface 810 in the first area A1 while the electronic device 101 is open, and displays the first user interface 810 in the first display area 303 of the second area A2.
  • the first obtained information 871 may be displayed, and the second obtained information 873 may be displayed in the second display area 305 and the third display area 307 of the second area A2 .
  • the first obtained information 871 and the second obtained information 873 may be information obtained in the first search range.
  • the processor 120 When there is no information obtained in the second search range or the third search range, the processor 120 is configured to configure the second display area 305 corresponding to the second search range and the third display area 307 corresponding to the third search range. ), the second acquired information 873 corresponding to the first search range may be displayed.
  • FIG. 9 is a flowchart 900 illustrating a method of controlling a user interface of an electronic device according to various embodiments of the present disclosure.
  • the processor (eg, the processor 120 of FIG. 1 ) of the electronic device may display a flexible display (eg, FIG. 1 ).
  • a user input may be detected in the second user interface through the display module 160 of 1 .
  • the display module 160 may include a first area (eg, the first area A1 of FIGS. 2A to 2C ) and a second area (eg, the second area A2 of FIGS. 2A to 2C ). .
  • a state in which the electronic device 101 is closed eg, FIG.
  • the first area A1 faces a first direction (eg, the front side), and the second area A2 faces a second direction (eg, the rear side) can be headed
  • the first area A1 faces a first direction (eg, the front side)
  • a part of the second area A2 faces the first direction (eg, the front side)
  • the second Another portion of the area A2 may have a second direction (eg, a rear surface).
  • the first area A1 and the second area A2 may face a first direction (eg, the front side).
  • the second user interface may be displayed through the display module 160 when the electronic device 101 is in an intermediate state or an open state.
  • the second user interface displays an execution screen (eg, a first user interface) of the first application in the first area A1, and a part of the second area A2 or the second area A2 It may be to display the information obtained in the .
  • the obtained information may include an execution screen of one or more applications.
  • the processor 120 displays an execution screen of the first application in the first area A1, and the execution screen or the second application in the second area A2 or a part of the second area A2. 3 You can display the execution screen of the application.
  • the user input may be detected on execution screens of the first to third applications.
  • the processor 120 may provide a scroll bar to display information that is not displayed in the second area A2 or a part of the second area A2 .
  • the scroll bar may be displayed in the first display area 303 to the third display area 307 included in the second area A2 .
  • the processor 120 may determine whether the user input has requested a change in the search range.
  • the search range change request may be to display undisplayed information in the second area A2 or a part of the second area A2 .
  • the processor 120 may provide a scroll bar to the first display area 303 . have.
  • the processor 120 displays the second information to be displayed on the second display area 305 in the first display area 303 or the third information to be displayed on the third display area 307 . You can control what is displayed.
  • the processor 120 may perform operation 905 when the user input is a search range change request, and perform operation 907 if the user input is not a search range change request.
  • the processor 120 may display information corresponding to the changed search range on the second user interface. For example, if the processor 120 scrolls the scroll bar while only the first display area 303 of the second area A2 is exposed through the front surface of the electronic device 101 (eg, the first intermediate state), It is possible to control so that the second information to be displayed on the second display area 305 or the third information to be displayed on the third display area 307 can be displayed through the first display area 303 . Alternatively, the processor 120 exposes only the first display area 303 and the second display area 305 of the second area A2 through the front surface of the electronic device 101 (eg, a second intermediate state).
  • the scroll bar When the scroll bar is scrolled in , it is possible to control so that third information to be displayed on the third display area 307 can be displayed through the first display area 303 and the second display area 305 .
  • the processor 120 scrolls the scroll bar while the first display area 303 to the third display area 307 of the second area A2 are exposed through the front surface of the electronic device 101 (eg, in an open state). , it is possible to control so that other information obtained through the first display area 303 to the third display area 307 can be displayed.
  • the processor 120 may determine whether the user input is reflected in the first user interface. For example, when the first application displayed on the first user interface is an editing application, an object selected by the user input may be reflected in the first application. The processor 120 may perform operation 909 when the user input is reflected in the first user interface, and perform operation 911 when the user input is not reflected in the first user interface.
  • the processor 120 may reflect information included in the second user interface to the first user interface.
  • the first application displayed on the first user interface is an editing application
  • an object selected by the user input among information included in the second user interface may be reflected in the first application.
  • the processor 120 may edit or create content by reflecting the selected object in the first application.
  • the processor 120 may perform a corresponding function. For example, the processor 120 may detect a user input for scrolling information displayed on the second user interface. The user input may not be a search range change, but may be a scroll input for viewing other information not displayed on the second user interface. When information corresponding to the first application in the first search range is displayed on the second user interface, the processor 120 may display other information corresponding to the first application. The processor 120 may further display other information that is not displayed on the second user interface among the information corresponding to the first application in the first search range.
  • FIGS. 10A to 10D are diagrams illustrating an example of controlling a second user interface according to various embodiments of the present disclosure.
  • a processor eg, the processor 120 of FIG. 1 of an electronic device (eg, the electronic device 101 of FIG. 1 ) may include a flexible display (eg, the display module of FIG. 1 )
  • a third user interface 1010 including the first user interface 1001 and the second user interface may be provided through 160 ).
  • the display module 160 may include a first area (eg, the first area A1 of FIGS. 2A to 2C ) and a second area (eg, the second area A2 of FIGS. 2A to 2C ).
  • an open state eg, FIG.
  • the first area A1 and the second area A2 may face a first direction (eg, the front side).
  • the second area A2 is an extended display area, and includes a first display area (eg, the first display area 303 of FIG. 3 ) and a second display area (eg, the second display area 305 of FIG. 3 ). and a third display area (eg, the third display area 307 of FIG. 3 ).
  • the first user interface 1001 may be an execution screen of the first application.
  • the second user interface displays the obtained information.
  • the first information 1011 is displayed in the first display area 303 and the second information 1013 is displayed in the second display area 305 .
  • the first information 1011 is information acquired (or searched for) in the first search range, and may be, for example, information found in a second application among information stored in the electronic device 101 .
  • the second information 1013 is information acquired (or searched for) in the second search range, and may be, for example, information found in a third application among information related to a user account.
  • the third information 1015 is information obtained (or searched for) in the third search range, and may be, for example, information searched for by a fourth application among information searched for by an external search engine.
  • the third user interface 1010 is to display the first user interface 1001 in the first area A1 and the second user interface in the second area A2 when the electronic device 101 is open.
  • the processor 120 may detect the user input 1017 on the execution screen of the second application displayed on the first display area 303 .
  • the user input 1017 is a scroll input, and may be for displaying information not displayed on the first display area 303 among information searched for in the second application.
  • the processor 120 may display other information found in the second application on the first display area 303 based on the user input 1017 .
  • the processor 120 may display a scroll bar or an application name (eg, Gxx, You00, Hoo) included in a search range (eg, My device, My account, My app) from the user. When selected, additional information may be acquired and displayed in a search range that is not currently displayed or in another application.
  • a scroll bar or an application name eg, Gxx, You00, Hoo
  • a search range eg, My device, My account, My app
  • the processor 120 when the electronic device 101 is switched to the intermediate state and only the first display area 303 is exposed, the processor 120 includes a first user interface 1001 and a second user interface A fourth user interface 1030 may be provided.
  • the fourth user interface 1030 displays the first user interface 1001 in the first area A1 in an intermediate state of the electronic device 101 and a part of the second area A2 (eg, the first display area). (303)) may be to display the second user interface.
  • the second user interface may display the acquired information on the first display area 303 .
  • the processor 120 may provide a scroll bar 1033 in the first display area 303 .
  • the scroll bar 1033 may be used to expose information displayed on the second display area 305 and the third display area 307 that are not exposed through the front surface of the electronic device 101 .
  • the processor 120 may detect a user input 1031 for selecting the scroll bar 1033 in the fourth user interface 1030 .
  • the processor 120 may change the display size of the electronic device 101 .
  • the processor 120 may switch (or change) the electronic device 101 to an open state by driving a motor connected to the display module 160 .
  • the processor 120 may change the electronic device 101 to an open state and provide a fifth user interface 1050 .
  • the processor 120 may obtain and display additional information from a search range that is not currently displayed or another application.
  • the processor 120 may switch (or change) the electronic device 101 to an open state by driving a motor connected to the display module 160 to display additionally acquired information.
  • the fifth user interface 1050 is to display the first user interface 1001 in the first area A1 and display the second user interface in the second area A2 while the electronic device 101 is open.
  • the second user interface displays the first information 1051 in the first display area 303 , the second information 1053 in the second display area 305 , and displays the third information 1053 in the third display area 307 .
  • the first information 1055 may be displayed.
  • the first information 1051 is information obtained (or searched for) in the first search range, and may be, for example, information searched for by a second application among information stored in the electronic device 101 .
  • the second information 1053 is information acquired (or searched for) in the second search range, and may be, for example, information found in a third application among information related to a user account.
  • the third information 1055 is information obtained (or searched for) in the third search range, and may be, for example, information searched for by a fourth application among information searched for by an external search engine.
  • the processor 120 may provide the scroll bar 1057 through the fifth user interface 1050 .
  • the processor 120 displays other obtained information in any one of the first display area 303 to the third display area 307, or information additionally obtained in a suitable search range. (eg, a new n-th display area) can be displayed.
  • the processor 120 determines the first user interface 1007 and the second user interface 1071 ), including a sixth user interface 1070 may be provided.
  • the electronic device 101 displays the first user interface 1007 in the first area A1 in an intermediate state, and a part of the second area A2 (eg, the first display area) (303)) may be to display the second user interface 1071.
  • the second user interface 1071 may correspond to an execution screen of the second application.
  • the processor 120 may provide the selection item 1073 through the second user interface 1071 .
  • the selection item 1073 may be for displaying an item obtained from another application that is not displayed in the first display area 303 among information corresponding to the first search range.
  • the processor 120 may provide a list of applications found in the first search range.
  • the user may select an application to be displayed on the first display area 303 from the application list.
  • the user input for selecting the selection item 1073 may be a long press.
  • the processor 120 may provide a seventh user interface 1090 including an execution screen of the selected application.
  • the seventh user interface 1090 displays the first user interface 1007 in the first area A1 in an intermediate state of the electronic device 101 and a part of the second area A2 (eg, the first display area). (303)) may be to display the eighth user interface 1091.
  • the eighth user interface 1091 may correspond to an execution screen of the third application.
  • the processor 120 may display the eighth user interface 1091 while maintaining the display of the first user interface 1007 .
  • the processor 120 may change and display the application displayed on the first display area 303 while maintaining the application displayed on the first area A1 .
  • the processor 120 includes a first user interface 1001 and a second user interface when the electronic device 101 is switched to the intermediate state and only the first display area 303 is exposed on the front surface.
  • a fourth user interface 1030 may be provided.
  • the fourth user interface 1030 displays the first user interface 1001 in the first area A1 in an intermediate state of the electronic device 101 and a part of the second area A2 (eg, the first display area). (303)) may be to display the second user interface.
  • the second user interface may display the acquired information on the first display area 303 .
  • the acquired information is information acquired (or searched for) in the first search range, and may be, for example, information found in the second application among information stored in the electronic device 101 .
  • the processor 120 may detect a user input 1033 for selecting the selection item 1091 in the fourth user interface 1030 .
  • the user input 1033 for selecting the selection item 1073 may be a tap input (or a touch input).
  • the user input 1033 in FIG. 10D may be distinguished from the user input detected in FIG. 10C .
  • the processor 120 may change the display size of the electronic device 101 .
  • the processor 120 may change the electronic device 101 to an open state and provide an eighth user interface 1095 .
  • the eighth user interface 1095 may further include information additionally obtained from the second application.
  • the eighth user interface 1095 displays the first user interface 1007 in the first area A1 and the second area A2 (eg, the first display area 303 to the third display area 307 ). ) may be to display the ninth user interface 1097 .
  • the ninth user interface 1097 may include the first information retrieved from the second application.
  • FIGS. 11A to 11C are diagrams illustrating an example of controlling a first or second user interface according to various embodiments of the present disclosure
  • a processor eg, the processor 120 of FIG. 1 of an electronic device (eg, the electronic device 101 of FIG. 1 ) according to various embodiments may include a flexible display (eg, the display module of FIG. 1 ) (160)), the first user interface 1110 may be displayed.
  • the display module 160 may include a first area (eg, the first area A1 of FIGS. 2A to 2C ) and a second area (eg, the second area A2 of FIGS. 2A to 2C ). .
  • the first user interface 1110 displays the execution screen 1111 of the first application in the first area A2 and a part of the second area A2 (eg: The execution screen 1113 of the second and third applications may be displayed on the first display area 303 and the second display area 305 ).
  • the processor 120 may reflect it to the first application displayed in the first area A2 .
  • the processor 120 detects that the user input selecting the object 1115 on the execution screen 1113 of the second and third applications moves (eg, drags) to the first area A1 . can do.
  • the object 1115 may include at least one of text, image, audio, and video included in the execution screen 1113 of the second and third applications.
  • the processor 120 removes the selected object 1115 A second user interface 1120 reflected in one application may be provided.
  • the processor 120 may extract information on the selected object 1115 and reflect it to the first application.
  • the second user interface 1120 displays the execution screen 1121 of the first application in which the selected object 1115 is reflected in the first area A2, and
  • the execution screen 1123 of the second and third applications may be displayed on a part of A2).
  • the processor 120 may detect that the user input selecting the object 1125 on the execution screen 1123 of the second and third applications moves (eg, drags) to the first area A1 .
  • the processor 120 may display the third user interface 1130 including the search information 1131 of the selected object.
  • the first area A1 faces a first direction (eg, the front side), and the second area A2 faces a second direction (eg, the rear side) can be headed
  • the third user interface 1130 may display the search information 1131 extracted from the object selected by the user on the execution screen of the first application in the first area A1 while the electronic device 101 is closed.
  • the third user interface 1130 may be displayed by overlaying the search information 1131 on the execution screen of the first application.
  • the processor 120 may receive any one piece of search information selected from the search information 1131 from the user.
  • the processor 120 may change the size of the display module 160 and display the fourth user interface 1140 .
  • the fourth user interface 1140 displays the execution screen 1141 of the first application in the first area A1 while the electronic device 101 is in an intermediate state, and displays a part (eg, the second user interface) of the second area A2. It may be to display the execution screen 1143 of the second application in the first display area 303).
  • the processor 120 may change the size of the display module 160 based on the obtained information. For example, when the information obtained based on the selected search information corresponds to the first search range, the processor 120 determines that only the first display area 303 of the second area A2 is displayed on the front surface of the electronic device 101 . exposure can be controlled through . When only information corresponding to the first search range is obtained and information corresponding to the second search range or the third search range is not obtained, the processor 120 performs the first display area 303 of the second area A2 Only the electronic device 101 may be controlled to be exposed through the front surface.
  • the processor 120 obtains only information corresponding to the first search range and the second search range, and when information corresponding to the third search range is not obtained, the second area A2 Only the first display area 303 and the second display area 305 may be controlled to be exposed through the front surface of the electronic device 101 .
  • the processor 120 may change the size of the display module 160 and display the fifth user interface 1150 .
  • the fifth user interface 1150 displays the execution screen 1141 of the first application in the first area A1 while the electronic device 101 is in an intermediate state, and displays a part (eg, the second area A2) of the second area A2.
  • the second application execution screen 1153 and the third application execution screen 1153 may be displayed in the first display area 303 and the second display area 305 ).
  • the processor 120 may detect a user input 1155 on the third application execution screen 1153 . For example, the processor 120 may detect a user input 1155 for selecting any one object among information included in the third application execution screen 1153 .
  • the processor 120 may display a sixth user interface 1160 including additional information corresponding to the selected object.
  • the sixth user interface 1160 displays the execution screen 1141 of the first application in the first area A1 while the electronic device 101 is in an intermediate state, and displays a part (eg, The additional information 1161 corresponding to the selected object may be displayed in the first display area 303 and the second display area 305).
  • the first housing moves from the second housing (eg, the second housing 230 of FIGS. 2A to 2C ) according to various embodiments of the present disclosure
  • the operation method of the electronic device eg, the electronic device 101 of FIG. 1
  • the operation method of the electronic device formed to be possible is the first area (eg, the first area of the flexible display (eg, the display module 160 of FIG. 1 )) of FIGS. 2A to 2C .
  • the first search range or the second search range may include at least one of the electronic device, an account of a user of the electronic device, and an external search engine.
  • the method includes setting the first search range corresponding to the second area based on a user input or setting of the electronic device, setting the second search range corresponding to the third area, and storing the set in the memory It may further include an action.
  • the displaying includes displaying the first information as a second user interface in the second area, or including the first information in the second area and the second information in the third area and displaying the second user interface.
  • the first user interface displays an execution screen of a first application in the first area
  • the second user interface displays an execution screen of a second application as the first information in the second area
  • the third area may display an execution screen of a third application as the second information.
  • the displaying may include, in a state in which the display of the first user interface is maintained on the first area of the flexible display, and the second area or the second area of the flexible display according to the movement of the first housing. and controlling to display the second user interface in the third area.
  • the method includes detecting a display direction of the electronic device, and when the display direction of the electronic device is a horizontal direction, configuring the layout of the second user interface in a horizontal direction, and configuring the display direction of the electronic device in a vertical direction , the method may further include configuring the layout of the second user interface in a vertical direction.
  • the method includes selecting at least one object included in the first information or the second information, detecting a user input moving to the first area, and selecting the selected object based on the user input An operation of reflecting in the first user interface may be further included.

Abstract

본 발명의 다양한 실시 예들은 제1 하우징 및 제2 하우징, 상기 제1 하우징은 상기 제2 하우징으로부터 이동 가능하게 형성되고, 제1 영역과, 상기 제2 하우징으로부터 상기 제1 하우징이 이동함에 따라 순차적으로 전자 장치의 전면을 통해 외부로 노출되는 제2 영역 및 제3 영역을 포함하는 플렉서블 디스플레이의 상기 제1 영역이 외부로 노출된 상태에서 상기 제1 영역을 통해 표시된 제1 사용자 인터페이스에 포함된 오브젝트를 선택하는 사용자 입력을 검출하고,상기 선택된 오브젝트와 연관된 검색 정보에 기반하여 상기 제1 검색 범위로부터 제1 정보 및 상기 제2 검색 범위로부터 제2 정보 를 획득하고, 상기 제2 하우징으로부터 상기 제1 하우징의 이동에 기반하여 상기 플렉서블 디스플레이의 상기 제2 영역, 또는 상기 제2 영역과 상기 제3 영역이 외부로 노출되는 것을 감지하고, 상기 제1 하우징의 이동에 따라 상기 제2 영역이 외부에 노출된 경우, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하거나, 또는 상기 제1 하우징이 더 이동함에 따라 상기 제2 영역 및 상기 제3 영역이 외부에 노출된 경우, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하고, 상기 제3 영역에 상기 제2 검색 범위에서 획득한 제2 정보를 표시하는 방법 및 장치에 관하여 개시한다. 다양한 실시 예들이 가능하다.

Description

플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치
본 발명의 다양한 실시예들은 슬라이더블 전자 장치와 같이 디스플레이 크기가 변경되는 전자 장치에서 사용자 인터페이스 제어 방법 및 장치에 관하여 개시한다.
디지털 기술의 발달과 함께 이동통신 단말기, PDA(personal digital assistant), 전자수첩, 스마트 폰, 태블릿 PC(personal computer), 웨어러블 디바이스(wearable device)와 같은 다양한 유형의 전자 장치가 널리 사용되고 있다. 전자 장치는 휴대성을 위해 제한된 크기를 가질 수 있으며, 이로 인하여 디스플레이의 크기도 제약되고 있다. 이에, 최근에는 멀티 디스플레이(multi display)에 의해 전자 장치에서 보다 확장된 화면을 제공하는 다양한 형태의 전자 장치가 개발되고 있다.
예를 들면, 복수 개의 디스플레이를 구비하여 멀티 디스플레이에 의한 확장된 화면을 제공하고 있다. 다른 예를 들면, 전자 장치는, 한정된 크기를 가지는 디스플레이에서 화면의 크기가 점진적으로 커지고 있으며, 사용자에게 큰 화면을 통해 다양한 서비스를 제공하도록 설계되고 있다.
최근 전자 장치는 멀티 디스플레이(예: 듀얼 디스플레이(dual display)) 장치(예: 폴더블 장치(foldable device))와 같은 새로운 폼 팩터(form factor)를 가질 수 있다. 폴더블 장치는 접히는(또는 휘어지는) 디스플레이(예: 폴더블 디스플레이(foldable display) 또는 플렉서블 디스플레이(flexible display))를 탑재하고, 접어서 사용하거나 펼쳐서 사용할 수 있다.
다양한 실시예들에서는, 디스플레이의 크기가 확장되는 전자 장치에서 확장된 표시 영역별 검색 범위를 설정하고, 사용자로부터 선택된 오브젝트와 연관된 정보를 검색 범위 별로 획득하고, 디스플레이의 크기가 변경되면, 확장된 표시 영역별로 서로 다른 검색 범위에서 획득된 정보를 표시하는 방법 및 장치에 관하여 개시할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치는 제1 하우징 및 제2 하우징; 상기 제1 하우징은 상기 제2 하우징으로부터 이동 가능하게 형성되고, 제1 영역과, 상기 제2 하우징으로부터 상기 제1 하우징이 이동함에 따라 순차적으로 상기 전자 장치의 전면을 통해 외부로 노출되는 제2 영역 및 제3 영역을 포함하는 플렉서블 디스플레이, 상기 제2 영역에 대응하여 제1 검색 범위가 설정되고, 상기 제3 영역에 대응하여 제2 검색 범위가 설정된 것을 저장하는 메모리, 및 상기 플렉서블 디스플레이 및 상기 메모리에 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 플렉서블 디스플레이의 상기 제1 영역이 외부로 노출된 상태에서 상기 제1 영역을 통해 표시된 제1 사용자 인터페이스에 포함된 오브젝트를 선택하는 사용자 입력을 검출하고,상기 선택된 오브젝트와 연관된 검색 정보에 기반하여 상기 제1 검색 범위로부터 제1 정보 및 상기 제2 검색 범위로부터 제2 정보를 획득하고, 상기 제2 하우징으로부터 상기 제1 하우징의 이동에 기반하여 상기 플렉서블 디스플레이의 상기 제2 영역, 또는 상기 제2 영역과 상기 제3 영역이 외부로 노출되는 것을 감지하고, 상기 제1 하우징의 이동에 따라 상기 제2 영역이 외부에 노출된 경우, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하거나, 또는 상기 제1 하우징이 더 이동함에 따라 상기 제2 영역 및 상기 제3 영역이 외부에 노출된 경우, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하고, 상기 제3 영역에 상기 제2 검색 범위에서 획득한 제2 정보를 표시할 수 있다.
본 발명의 다양한 실시예들에 따른 제2 하우징으로부터 제1 하우징이 이동 가능하게 형성된 전자 장치의 동작 방법에 있어서, 플렉서블 디스플레이의 제1 영역이 상기 전자 장치의 전면을 통해 외부로 노출된 상태에서 상기 제1 영역을 통해 표시된 제1 사용자 인터페이스에 포함된 오브젝트를 선택하는 사용자 입력을 검출하는 동작, 상기 선택된 오브젝트와 연관된 검색 정보에 기반하여 제1 검색 범위로부터 제1 정보 및 제2 검색 범위로부터 제2 정보를 획득하는 동작, 상기 제2 하우징으로부터 상기 제1 하우징의 이동에 기반하여 상기 플렉서블 디스플레이의 제2 영역, 또는 상기 제2 영역과 제3 영역이 외부로 노출되는 것을 감지하는 동작, 및 상기 제1 하우징의 이동에 따라 상기 제2 영역이 외부에 노출된 경우, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하거나, 또는 상기 제1 하우징이 더 이동함에 따라 상기 제2 영역 및 제3 영역이 외부에 노출된 경우, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하고, 상기 제3 영역에 상기 제2 검색 범위에서 획득한 제2 정보를 표시하는 동작을 포함할 수 있다.
다양한 실시예들에 따르면, 디스플레이의 크기가 확장 또는 축소되는 전자 장치에서 확장되는 표시 영역을 통해 효율적으로 검색된 정보를 표시할 수 있다.
다양한 실시예들에 따르면, 디스플레이가 물리적으로 확장되는 표시 크기에 대응하여 사용자가 쉽게 인지할 수 있는 표시 영역부터 검색된 정보가 표시되도록 배치함으로써, 자연스러운 검색 환경을 제공할 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2a 내지 도 2c는 다양한 실시예들에 따른 전자 장치의 상태 변화의 일례를 도시한 도면이다.
도 3은 다양한 실시예들에 따른 전자 장치에서 디스플레이의 확장된 표시 영역 별로 검색된 정보를 표시하는 일례를 도시한 도면이다.
도 4는 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시한 흐름도이다.
도 5a 내지 도 5c는 다양한 실시예들에 따른 전자 장치의 사용자 인터페이스의 일례를 도시한 도면들이다.
도 6a 및 도 6b는 다양한 실시예들에 따른 전자 장치에서 가로 모드의 사용자 인터페이스를 제공하는 일례를 도시한 도면들이다.
도 7은 다양한 실시예들에 따른 전자 장치의 사용자 인터페이스 제어 방법을 도시한 흐름도이다.
도 8a 및 도 8b는 다양한 실시예들에 따른 전자 장치에서 디스플레이의 확장된 표시 영역 별로 검색된 정보를 표시하는 다른 일례를 도시한 도면들이다.
도 9는 다양한 실시예들에 따른 전자 장치의 사용자 인터페이스 제어 방법을 도시한 흐름도이다.
도 10a 내지 도 10d는 다양한 실시예들에 따른 제2 사용자 인터페이스를 제어하는 일례를 도시한 도면들이다.
도 11a 내지 도 11c는 다양한 실시예들에 따른 제1 또는 제2 사용자 인터페이스를 제어하는 일례를 도시한 도면들이다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치(CPU, central processing unit) 또는 어플리케이션 프로세서(AP, application processor)) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치(GPU, graphic processing unit), 신경망 처리 장치(NPU, neural processing unit), 이미지 시그널 프로세서(ISP, image signal processor), 센서 허브 프로세서(sensor hub processor), 또는 커뮤니케이션 프로세서(CP, communication processor))를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(inactive)(예: 슬립(sleep)) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(OS, operating system)(142), 미들 웨어(middleware)(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD(secure digital) 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN(wide area network))와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB, enhanced mobile broadband), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications), 또는 고신뢰도와 저지연(URLLC, ultra-reliable and low-latency communications)을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO, full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC, mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱(heuristic)하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2a 내지 도 2c는 다양한 실시예들에 따른 전자 장치의 상태 변화의 일례를 도시한 도면이다.
도 2a는 닫힌 상태의 전자 장치의 전면도(201) 및 후면도(203)를 도시한 것이다.
도 2a를 참조하면, 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))는 플렉서블 디스플레이(예: 도 1의 디스플레이 모듈(160))의 일부분(예: 제2 영역(A2))이 제2 하우징(230)의 내부에 수납된 상태(예: 닫힌 상태)일 수 있다. 전자 장치(101)는 제1 하우징(210) 및 제2 하우징(230)을 포함하고, 제1 하우징(210)은 제2 하우징(230)으로부터 슬라이드 이동 가능한 것일 수 있다. 제2 하우징(230)은 고정되고, 제1 하우징(210)은 제2 하우징(230)으로부터 지정된 방향(예: x축 방향(D))으로 일정 거리만큼 왕복 운동이 가능하게 배치될 수 있다. 제1 하우징(210) 및 제2 하우징(230) 사이에는 제1 하우징(230)의 슬라이딩을 위한 슬라이딩 구조가 마련될 수 있다. 슬라이딩 구조는, 예를 들어, 가이드 레일(guide rail) 및 가이드 레일에 안내되어 이동되는 슬라이드(slide) 또는 롤러(roller)를 포함할 수 있다. 슬라이딩 구조는 이 밖의 다양한 다른 방식으로 구현될 수 있다.
제2 하우징(230)은 전자 장치(101)의 메인 하우징으로서, 예를 들어, 메인 회로 기판이나 배터리와 같은 각종 전기, 전자 부품을 수용할 수 있다. 제1 하우징(210)은 플렉서블 디스플레이(예: 도 1의 디스플레이 모듈(160))을 포함할 수 있다. 디스플레이 모듈(160)은 제1 영역(A1) 및 제2 영역(A2)을 포함할 수 있다. 제2 영역(A2)은 제1 영역(A1)으로부터 연장되고, 제1 하우징(210)의 움직임(예: 슬라이딩)에 따라 제2 하우징(230)의 내부에 수납되거나 또는 제2 하우징(230)의 외부로 노출될 수 있다. 이로 인해, 전자 장치(101)의 전면 또는 후면에 노출되는 표시 영역의 크기가 상이할 수 있다. 예를 들어, 전자 장치(101)가 닫힌 상태에서, 제1 영역(A1)은 제1 방향(예: 전면)을 향하고, 제2 영역(A2)은 제2 방향(예: 후면)을 향할 수 있다. 전자 장치(101)의 닫힌 상태는 제1 하우징(210)이 제2 하우징(230) 내부에 수납된 상태일 수 있다. 제2 영역(A2)은 전자 장치(101)의 상태 변화에 따라 휘어지는 부분으로, 예를 들어, 벤더블 영역(bendable area) 또는 벤더블 구간(bendable section)과 같은 다른 용어로 지칭될 수 있다.
예를 들면, 제2 영역(A2)은 제1 하우징(210)이 제2 하우징(230)에 대하여 이동(예: 슬라이드 이동)함에 따라, 제2 하우징(230)의 내부로 수납(예: 슬라이드-인(slide-in) 동작)되거나, 제2 하우징(230)의 외부로 노출(예: 슬라이드-아웃(slide-out) 동작)될 수 있다. 제2 영역(A2)은 전자 장치(101)가 닫힌 상태에서 전자 장치(101)의 측면 영역(A2') 및 전자 장치(101)의 후면을 통해 노출되는 영역을 포함할 수 있다. 제2 영역(A2)에 대응하는 제2 하우징(230)이 투명 커버로 되어 있는 경우, 전자 장치(101)가 닫힌 상태에서 제2 영역(A2)은 투명 커버를 통해 전자 장치(101)의 후면을 통해 노출될 수 있다. 측면 영역(A2')은 디스플레이 모듈(160)의 제1 영역(A1)으로부터 제2 영역(A2)으로 연장되는 제1 측면(207)을 의미할 수 있다. 제1 측면(207)과 대향되는 제2 측면(205)에는 제1 하우징(210)의 플레이트(211)가 포함되어, 플레이트(211)의 일면에는 디스플레이 모듈(160)의 일부분(예: 제1 영역(A1))이 안착될 수 있다. 제1 측면(207) 및 제2 측면(205)은 제2 하우징(230)의 평행한 두 측면의 긴 길이에 해당하는 측면을 의미할 수 있다.
다양한 실시예들에 따르면, 제2 영역(A2)은 두 개로 또는 세 개로 구분될 수 있다. 제2 영역(A2)이 두 개로 구분되는 경우, 제2 영역(A2)은 제2 영역(또는 제1 표시 영역) 및 제3 영역(또는 제2 표시 영역)을 포함하고, 제2 영역(A2)이 세 개로 구분되는 경우, 제2 영역(A2)은 제2 영역(또는 제1 표시 영역), 제3 영역(또는 제2 표시 영역), 제4 영역(또는 제3 표시 영역)을 포함할 수 있다.
제2 하우징(230)의 평행한 두 측면의 짧은 길이에 해당하는 제3 측면(예: 전자 장치(101)의 위쪽 측면)에는 키 입력 장치(270)가 포함될 수 있다. 제2 하우징(230)의 평행한 두 측면의 짧은 길이에 해당하는 제4 측면(예: 전자 장치(101)의 아래쪽 측면)에는 마이크(281), 커넥터 홀(283), 또는 스피커(285)를 더 포함할 수 있다. 일 실시예에 따르면, 키 입력 장치(270)는 제2 하우징(230)의 제2 측면(205) 또는 제4 측면에 포함될 수 있다. 외관과 사용 상태에 따라, 도시된 키 입력 장치(270)가 생략되거나, 추가의 키 입력 장치(들)을 포함하도록 전자 장치(101)가 설계될 수 있다. 어떤 실시예에서, 전자 장치(101)는 도시되지 않은 키 입력 장치, 예를 들면, 홈 키 버튼, 또는 홈 키 버튼 주변에 배치되는 터치 패드를 포함할 수 있다. 다른 실시예에 따르면, 키 입력 장치(270)의 적어도 일부는 제1 하우징(210)의 일 영역에 위치할 수 있다.
전자 장치(101)는 제1 하우징(210) 또는 디스플레이 모듈(160)의 제1 영역(A1)에 제1 카메라 모듈(261)(예: 도 1의 카메라 모듈(180))을 포함할 수 있다. 예를 들어, 제1 카메라 모듈(261)은 제1 영역(A1)에 형성된 오프닝(예: 관통 홀, 또는 노치(notch))과 정렬되어 전자 장치(101)의 내부에 위치될 수 있다. 외부 광은 상기 오프닝, 및 상기 오프닝과 중첩된 투명 커버의 일부 영역을 투과하여 제1 카메라 모듈(261)로 유입될 수 있다.
제2 하우징(230)은 전자 장치(101)의 후면에서, 제2 영역(A2)에 대응되는 부분을 투명 커버로 형성될 수 있다. 투명 커버는 디스플레이 모듈(160)을 외부로부터 보호하는 역할을 하며, 예를 들어, 플라스틱 필름(예: 폴리이미드 필름(polyimide film)) 또는 울트라신글라스(UTG(ultra-thin glass))와 같은 가요성 부재로 구현될 수 있다. 전자 장치(101)가 닫힌 상태에서 디스플레이 모듈(160)의 제1 영역(A1)은 전자 장치(101)의 전면을 통해 노출되고, 디스플레이(160)의 제2 영역(A2)은 전자 장치(101)의 후면을 통해 노출될 수 있다. 또는, 전자 장치(101)가 닫힌 상태에서 제2 영역(A2)은 제2 하우징(230)에 수납되어 전자 장치(101)의 후면을 통해 노출되지 않을 수 있다. 제2 하우징(230)은 전자 장치(101)의 후면에 복수의 카메라 모듈들(262, 263, 264)(예: 도 1의 카메라 모듈(180))을 포함할 수 있다.
제1 카메라 모듈(261) 또는 복수의 카메라 모듈들(262, 263, 264)은 서로 다른 속성(예: 화각) 또는 기능을 가질 수 있고, 예를 들어, 듀얼 카메라, 또는 트리플 카메라를 포함할 수 있다. 어떤 실시예에서, 복수의 카메라 모듈들(262, 263, 264)은 서로 다른 화각을 갖는 렌즈를 포함할 수 있고, 전자 장치(101)는 사용자의 선택에 기반하여, 전자 장치(101)에서 수행되는 카메라 모듈을 변경하도록 제어할 수 있다. 또 다른 예로, 제1 카메라 모듈(261) 또는 복수의 카메라 모듈들(262, 263, 264)은 광각 카메라, 망원 카메라, 컬러 카메라, 흑백(monochrome) 카메라, 또는 IR(infrared) 카메라(예: TOF(time of flight) camera, structured light camera) 중 적어도 하나를 포함할 수 있다. IR 카메라는, 예를 들어, 센서 모듈(미도시)(예: 도 1의 센서 모듈(176))의 적어도 일부로 동작될 수 있다.
도 2b 는 열린 상태의 전자 장치의 전면도(209) 및 후면도(208)를 도시한 것이고, 도 2c는 열린 상태의 전자 장치의 사시도를 도시한 것이다.
도 2b 및 2c를 참조하면, 전자 장치(101)의 제1 하우징(210)이 제2 하우징(230)으로부터 이동된 상태(예: 열린 상태)로서, 전자 장치(101)의 전면에 노출되는 디스플레이 모듈(160)의 크기가 확장된 상태일 수 있다. 전자 장치(101)가 열린 상태에서, 전자 장치(101)의 전면에 노출되는 디스플레이 모듈(160)은 제1 영역(A1) 및 제2 영역(A2)의 일부일 수 있다. 제2 영역(A2)은 전자 장치(101)의 제1 측면(207) 및 전자 장치(101)의 후면을 통해 노출되는 영역을 포함할 수 있다. 전자 장치(101)가 열린 상태에서, 전자 장치(101)의 전면을 통해 노출되는 제2 영역(A2)의 일부(예: A2' + A2-1)는 제1 측면(207)에 대응하는 측면 영역(A2') 및 제2 영역(A2)의 일부(A2-1)을 포함할 수 있다. 전자 장치(101)가 열린 상태에서, 제2 영역(A2)의 다른 일부(A2-2)는 전자 장치(101)의 후면을 통해 노출(또는 수납)될 수 있다. 또는, 전자 장치(101)가 열린 상태에서, 제1 영역(A1) 및 제2 영역(A2)은 제1 방향(예: 전면)을 향할 수 있다.
상기 열린 상태는 제1 하우징(210)이 제2 하우징(230)으로부터 최대로 이동된 상태로서, 예를 들어, 제1 방향(예: -x축 방향)으로 최대로 이동된 상태를 의미할 수 있다. 상기 열린 상태는 완전히 열린 상태를 의미할 수 있다. 중간 상태는 닫힌 상태(예: 도 2a 참조)와 열린 상태(예: 2b) 사이의 상태를 의미할 수 있다. 상기 중간 상태는 제1 하우징(210)이 제2 하우징(230)으로부터 더 이동할 수 있는 상태를 의미할 수 있다. 예를 들어, 상기 중간 상태에서, 전자 장치(101)의 전면을 통해 노출되는 제2 영역(A2)의 일부(예: A2' + A2-1')는 상기 열린 상태에서 전자 장치(101)의 전면을 통해 노출되는 제2 영역(A2)의 일부(예: A2' + A2-1)보다 작을 수 있다. 상기 중간 상태에서, 전자 장치(101)의 후면을 통해 노출되는 제2 영역(A2)의 다른 일부(A2-2')는 상기 열린 상태에서 전자 장치(101)의 후면을 통해 노출되는 제2 영역(A2)의 다른 일부(A2-2)보다 클 수 있다. 상기 중간 상태는 여러 단계(예: 상기에서 언급하지 않은 단계)가 더 포함될 수 있다. 전자 장치(101)는 제1 하우징(210)이 제2 하우징(230)으로부터 이동되는 길이만큼 전자 장치(101)의 전면 또는 후면을 통해 노출되는 디스플레이 모듈(160)의 크기가 상이할 수 있다.
도면에서는 상기 열린 상태에서 제2 영역(A2)의 다른 일부(A2-2)가 전자 장치(101)의 후면을 통해 노출되는 것으로 설명하고 있지만, 상기 열린 상태에서 전자 장치(101)는 전자 장치(101)의 전면을 통해 디스플레이 모듈(160)의 제1 영역(A1) 및 제2 영역(A2)이 모두 노출되고, 전자 장치(101)의 후면을 통해서는 디스플레이 모듈(160)이 노출되지 않을 수 있다. 이는, 구현 이슈일 뿐 설명에 의해 본 발명이 제한되는 것은 아니다.
제2 하우징(230)의 평행한 두 측면의 짧은 길이에 해당하는 제4 측면(206)에는 마이크(281), 커넥터 홀(283), 또는 스피커(285)를 더 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치(101)는 외력에 의해 디스플레이 모듈(160)이 설정된 거리로 이동되면, 슬라이딩 구조에 포함된 탄력 구조로 인해, 더 이상의 외력 없이도 닫힌 상태에서 열린 상태로, 또는 열린 상태에서 닫힌 상태로 전환될 수 있다(예: 반자동 슬라이드 동작). 일 실시예에 따르면, 전자 장치(101)에 포함된 키 입력 장치(270)를 통해 신호가 발생되면, 디스플레이 모듈(160)과 연결된 모터와 같은 구동 장치로 인해 전자 장치(101)는 닫힌 상태에서 열린 상태로, 또는 열린 상태에서 닫힌 상태로 전환할 수 있다. 예를 들어, 하드웨어 버튼, 또는 화면을 통해 제공되는 소프트웨어 버튼을 통해 신호가 발생되면, 전자 장치(101)는 닫힌 상태에서 열린 상태로, 또는 열린 상태에서 닫힌 상태로 전환될 수 있다.
다양한 실시예에 따르면, 압력 센서와 같은 다양한 센서로부터 신호가 발생되면, 전자 장치(101)는 닫힌 상태에서 열린 상태로, 또는 열린 상태에서 닫힌 상태로 전환될 수 있다. 예를 들어, 전자 장치(101)를 손으로 휴대하거나 파지할 때 손의 일부(예: 손 바닥 또는 손가락)가 전자 장치(101)의 지정된 구간 내를 가압하는 스퀴즈 제스처(squeeze gesture)가 센서를 감지될 수 있고, 이에 대응하여 전자 장치(101)는 닫힌 상태에서 열린 상태로, 또는 열린 상태에서 닫힌 상태로 전환될 수 있다.
다양한 실시예에 따르면, 전자 장치(101)는 센서 모듈(예: 도 1의 센서 모듈(176))을 이용하여 전자 장치(101)의 상태를 감지할 수 있다. 예를 들어, 전자 장치(101)는 센서 모듈(176)에 의해 감지된 센싱 신호로부터 전자 장치(101)가 닫힌 상태인지, 중간 상태인지, 열린 상태인지 여부를 감지할 수 있다. 전자 장치(101)가 중간 상태인 경우, 전자 장치(101)는 상기 센싱 신호로부터 제1 하우징(210)이 제2 하우징(230)으로부터 얼마나 이동된 상태인지 여부를 감지할 수 있다.
도 2a 내지 도 2c에서는 전자 장치(101)의 디스플레이 크기가 -x축 방향(예: 좌측 방향)으로 확장되는 일례를 도시하고 있지만, 전자 장치(101)의 디스플레이 크기는 +x축 방향(예: 우측 방향), +y축 방향(예: 상측 방향) 또는 -y축 방향(예: 하측 방향)으로 확장될 수도 있다. 즉, 전자 장치(101)의 디스플레이 크기는 수평 방향으로 확장될 수 있으며, 수평 방향 중 좌 방향 또는 우 방향 중 어느 하나로 확장되거나, 좌/우 방향으로 모두 확장될 수도 있다. 전자 장치(101)의 디스플레이 크기는 수직 방향으로 확장될 수 있으며, 수직 방향 중 상 방향 또는 하 방향 중 어느 하나로 확장되거나, 상/하 방향으로 모두 확장될 수도 있다. 이하에서는 좌측 방향으로 디스플레이 크기가 확장되는 일례를 설명하고 있지만, 구현 이슈에 불과할 뿐, 본 발명을 제한하는 것은 아니다.
도 3은 다양한 실시예들에 따른 전자 장치에서 디스플레이의 확장된 표시 영역 별로 검색된 정보를 표시하는 일례를 도시한 도면이다.
도 3을 참조하면, 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))는 플렉서블 디스플레이(예: 도 1의 디스플레이 모듈(160))에 사용자 인터페이스(310)를 표시할 수 있다. 디스플레이 모듈(160)은 제1 영역(예: 도 2a 내지 도 2c의 제1 영역(A1)) 및 제2 영역(예: 도 2a 내지 도 2c의 제2 영역(A2))을 포함할 수 있다. 사용자 인터페이스(310)는 제1 영역(A1)에 제1 사용자 인터페이스(301)를 표시하고, 제2 영역(A2)에 제2 사용자 인터페이스(320)를 표시하는 것일 수 있다. 제1 사용자 인터페이스(301)는 어플리케이션의 실행 화면일 수 있다. 제2 사용자 인터페이스(320)는 검색된 정보를 노출하는 것으로, 하나 또는 복수의 어플리케이션의 실행 화면일 수 있다. 전자 장치(101)가 닫힌 상태(예: 도 2a)에서, 제1 영역(A1)은 제1 방향(예: 전면)을 향하고, 제2 영역(A2)은 제2 방향(예: 후면)을 향할 수 있다. 전자 장치(101)가 열린 상태(예: 도 2b)에서 제1 영역(A1) 및 제2 영역(A2)은 제1 방향(예: 전면)을 향할 수 있다. 전자 장치(101)가 중간 상태(미도시)에서 제1 영역(A1) 및 제2 영역(A2)의 일부는 제1 방향(예: 전면)을 향하고, 제2 영역(A2)의 나머지 일부는 제2 방향(예: 후면)을 향할 수 있다.
제2 영역(A2)은 제1 하우징(예: 도 2a 내지 도 2c의 제1 하우징(210))이 제2 하우징(예: 2a 내지 도 2c의 제2 하우징(230))에 대하여 이동(예: 슬라이드 이동)함에 따라, 제2 하우징(230)의 내부로 수납(예: 슬라이드-인(slide-in) 동작)되거나, 제2 하우징(230)의 외부로 노출(예: 슬라이드-아웃(slide-out) 동작)될 수 있다. 닫힌 상태에서 제2 영역(A2)은 투명 커버를 통해 전자 장치(101)의 후면을 통해 노출되거나, 제2 하우징(230)의 내부로 수납되어 노출되지 않을 수도 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 닫힌 상태에서 제1 영역(A1)을 통해 제1 사용자 인터페이스(301)를 표시하는 동안 제1 사용자 인터페이스(301)에 포함된 오브젝트를 선택하는 사용자 입력을 검출할 수 있다. 상기 오브젝트는 텍스트, 이미지, 오디오 또는 비디오 중 적어도 하나를 포함할 수 있다. 전자 장치(101)는 선택된 오브젝트로부터 검색 정보를 식별(또는 추출)할 수 있다. 상기 검색 정보는 메타 데이터 또는 컴퓨터 비전 정보를 의미할 수 있다. 상기 메타 데이터는 데이터에 관한 구조화된 데이터로서, 정보를 효율적으로 찾기 위해 일정한 규칙에 따라 콘텐츠에 부여될 수 있다. 상기 컴퓨터 비전 정보는 인공 지능(AI；artificial intelligence)의 한 분야로 컴퓨터를 사용하여 오브젝트(예: 이미지)를 식별하여 식별된 오브젝트로부터 정보를 추출하는데 사용될 수 있다. 전자 장치(101)는 상기 컴퓨터 비전 정보를 이용하여 상기 선택된 오브젝트의 카테고리(예: 사람, 사물), 개수, 위치, 색상, 얼굴 또는 로고를 인식할 수 있다. 전자 장치(101)는 식별된 검색 정보에 기반하여 제2 영역(A2)에 표시할 정보를 획득(또는 검색)할 수 있다.
제2 영역(A2)은 확장된 표시 영역으로, 전자 장치(101)가 열린 상태(예: 도 2b)일 때, 제1 영역(A1)과 나란히 전자 장치(101)의 전면을 통해 노출될 수 있다. 제2 영역(A2)은 제1 표시 영역(303), 제2 표시 영역(305) 및 제3 표시 영역(307)으로 구분할 수 있다. 이하에서는, 제2 영역(A2)을 세 개의 표시 영역(예: 제1 표시 영역(303) 내지 제3 표시 영역(307))으로 구분한 일례를 설명할 수 있다. 그러나, 제2 영역(A2)은 세 개보다 많거나(예: 4개) 또는 적은(예: 2개) 표시 영역으로 구분될 수도 있다. 예를 들어, 제2 영역(A2)이 두 개로 구분되는 경우, 제2 영역(A2)은 제2 영역(또는 제1 표시 영역) 및 제3 영역(또는 제2 표시 영역)을 포함하고, 제2 영역(A2)이 세 개로 구분되는 경우, 제2 영역(A2)은 제2 영역(또는 제1 표시 영역(303)), 제3 영역(또는 제2 표시 영역(305)), 제4 영역(또는 제3 표시 영역(307))을 포함할 수 있다. 예시는 발명의 이해를 돕기 위한 것일 뿐, 예시에 의해 본 발명이 제한되는 것은 아니다.
전자 장치(101)는 제2 영역(A2)의 표시 영역별 검색 범위를 설정할 수 있다. 상기 검색 범위는 선택된 오브젝트와 연관된 검색 정보로 검색할 정보 획득 매체(또는 검색 매체) 또는 플랫폼을 의미하는 것일 수 있다. 예를 들어, 상기 정보 획득 매체는 전자 장치(101), 사용자의 계정 또는 외부 검색 엔진 중 적어도 하나를 포함할 수 있다. 상기 정보 획득 매체는 예를 들어 구분할 뿐, 상기에서 설명한 것 이외의 다른 매체가 더 포함될 수 있다. 전자 장치(101)는 사용자가 어플리케이션을 사용하는 패턴 또는 이력에 기반하여 자동으로 표시 영역별 검색 범위를 설정할 수 있다. 또는 전자 장치(101)는 사용자로부터 표시 영역별 검색 범위를 설정받을 수 있다. 예를 들어, 사용자는 제1 표시 영역(303)의 검색 범위를 전자 장치(101)에 저장된 정보로 설정하고, 제2 표시 영역(305)의 검색 범위를 사용자의 계정으로 검색된 정보로 설정하며, 제3 표시 영역(307)의 검색 범위를 외부 검색 엔진을 통해 검색된 정보로 설정할 수 있다.
또는, 사용자는 제1 표시 영역(303)의 검색 범위를 사용자의 계정으로 검색된 정보로 설정하고, 제2 표시 영역(305)의 검색 범위를 전자 장치(101)에 저장된 정보로 설정하며, 제3 표시 영역(307)의 검색 범위를 외부 검색 엔진을 통해 검색된 정보로 설정할 수 있다. 또는, 사용자는 제1 표시 영역(303)의 검색 범위를 외부 검색 엔진을 통해 검색된 정보로 설정하고, 제2 표시 영역(305)의 검색 범위를 사용자의 계정으로 검색된 정보로 설정하며, 제3 표시 영역(307)의 검색 범위를 전자 장치(101)에 저장된 정보로 설정할 수 있다. 전자 장치(101)는 사용자 입력에 기반하여 각 표시 영역별로 표시되는 정보의 검색 범위, 순서 또는 위치 중 적어도 하나를 변경할 수 있다. 또는, 전자 장치(101)는 사용자 입력에 기반하여 검색 범위 별 정보 획득 매체를 선택하거나, 정보를 검색할 어플리케이션을 선택 또는 삭제할 수 있다. 이러한 예시는 발명의 이해를 돕기 위한 것일 뿐, 예시에 의해 본 발명이 제한되는 것은 아니다.
다양한 실시예들에 따르면, 전자 장치(101)는 닫힌 상태에서 제1 사용자 인터페이스(301)에 포함된 오브젝트가 선택되면, 자동 또는 수동으로 열린 상태로 전환(또는 변경)할 수 있다. 예를 들어, 전자 장치(101)는 디스플레이 모듈(160)과 연결된 모터와 같은 구동 장치를 이용하여 전자 장치(101)를 자동으로 닫힌 상태에서 열린 상태로 전환할 수 있다. 또는 전자 장치(101)는 디스플레이 모듈(160)을 잡아당기는 사용자 입력(예: 제2 영역(A2)이 전면을 통해 노출되도록 잡아당기는 입력)에 기반하여 전자 장치(101)를 중간 상태 또는 열린 상태로 전환할 수 있다. 사용자는 자신이 원하는 만큼 디스플레이 모듈(160)의 크기를 변경할 수 있으므로, 전자 장치(101)를 완전히 열지 않고, 반쯤 열린 상태인 중간 상태에서 디스플레이 모듈(160)의 크기 변경을 중단할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 상기 획득된 정보에 기반하여 제2 하우징(230)으로부터 제1 하우징(210)을 얼마나 이동할 지 여부를 결정할 수 있다. 예를 들어, 전자 장치(101)는 상기 획득된 정보에 기반하여 전자 장치(101)를 중간 상태 또는 열린 상태로 전환할 수 있다. 전자 장치(101)는 제3 표시 영역(307)에 표시할 정보를 획득(또는 검색)하지 못한 경우, 제1 표시 영역(303) 및 제2 표시 영역(305)(예: 제2 영역(A2)의 일부)만 전자 장치(101)의 전면에 노출되도록 제어할 수 있다. 제2 영역(A2)의 일부만 전자 장치(101)의 전면에 노출되는 상태는 중간 상태를 의미할 수 있다. 또는, 전자 장치(101)는 제3 표시 영역(307)에 표시할 정보를 획득(또는 검색)하지 못한 경우에도 제1 표시 영역(303) 내지 제3 표시 영역(307)(예: 제2 영역(A2)의 전체)이 모두 전자 장치(101)의 전면에 노출되도록 제어할 수 있다. 제2 영역(A2)의 전체가 전자 장치(101)의 전면에 노출되는 상태는 열린 상태를 의미할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 전자 장치(101)의 상태를 변경하고(예: 닫힌 상태에서 열린 상태로 변경), 제2 영역(A2)에 제2 사용자 인터페이스(320)를 표시할 수 있다. 제2 사용자 인터페이스(320)는 제1 표시 영역(303)에 제1 정보를 표시하고, 제2 표시 영역(305)에 제2 정보를 표시하고, 제3 표시 영역(307)에 제3 정보를 표시한 것일 수 있다. 예를 들어, 상기 제1 정보 내지 상기 제3 정보는 하나의 어플리케이션에서 검색된 정보이거나, 복수의 어플리케이션에서 검색된 정보를 포함할 수 있다. 상기 제1 정보 내지 상기 제3 정보는 텍스트, 이미지, 오디오 또는 비디오 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 제1 정보는 전자 장치(101)에 저장된 정보 중에서 선택된 오브젝트와 연관된 검색 정보에 대응되어 검색된 정보를 포함할 수 있다. 상기 제2 정보는 전자 장치(101)의 사용자의 계정을 사용하는 어플리케이션에서 검색된 정보를 포함할 수 있다. 상기 제3 정보는 전자 장치(101)에 설치된 검색 엔진 또는 전자 장치(101)에 설치되지 않았지만, 검색 엔진으로 주로 사용하는 외부 검색 엔진에서 검색된 정보를 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 사용자의 설정, 어플리케이션의 사용 이력(예: 가장 최근에 사용한 것), 어플리케이션의 실행 빈도(예: 가장 많이 사용한 것) 또는 검색된 개수(예: 검색된 개수가 가장 많은 것) 중 적어도 하나에 기반하여 상기 제1 정보 내지 상기 제3 정보로서 표시할 어플리케이션을 결정할 수 있다. 예를 들어, 전자 장치(101)는 전자 장치(101)에서 검색된 정보가 3개의 서로 다른 어플리케이션에서 검색된 것인 경우, 가장 많이 사용한 어플리케이션으로부터 검색된 정보를 상기 제1 정보로서 표시할 수 있다. 또는, 전자 장치(101)는 사용자의 계정으로 검색된 정보가 5개의 서로 다른 어플리케이션에서 검색된 것인 경우, 가장 최근에 사용한 어플리케이션으로부터 검색된 정보를 상기 제2 정보로서 표시할 수 있다. 전자 장치(101)는 외부 검색 엔진에서 검색된 정보가 2개의 서로 다른 어플리케이션에서 검색된 것인 경우, 검색된 수가 가장 많은 어플리케이션으로부터 검색된 정보를 상기 제3 정보로서 표시할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 상기 제1 정보 내지 상기 제3 정보로 표시할 어플리케이션이 하나를 초과하는 경우, 사용자가 어느 하나의 어플리케이션을 선택할 수 있도록 하는 선택 항목을 제공할 수 있다. 예를 들어, 상기 선택 항목은 검색 범위(예: My device, My account, My app) 아래에 표시된 어플리케이션 이름(예: Gxx, You00, Hoo)을 의미할 수 있다. 전자 장치(101)는 사용자로부터 선택 항목이 선택되면, 현재 검색 범위에 해당하는 어플리케이션 중에서 표시 영역에 표시되지 않은 다른 어플리케이션의 리스트를 제공하거나, 또는 현재 표시 영역에 표시된 어플리케이션에서 획득된 추가 정보를 표시할 수 있다. 예를 들어, 전자 장치(101)는 선택 항목을 롱 프레스하는 사용자 입력이 검출되면, 현재 검색 범위에 해당하는 어플리케이션 중에서 표시 영역에 표시되지 않은 다른 어플리케이션의 리스트를 제공할 수 있다. 또는 전자 장치(101)는 선택 항목을 탭 터치하는 사용자 입력이 검출되면, 현재 표시 영역에 표시된 어플리케이션에서 획득된 추가 정보를 표시할 수 있다. 다양한 실시예들에 따르면, 전자 장치(101)는 사용자 입력에 기반하여 전자 장치(101)가 중간 상태로 전환되어 제1 표시 영역(303)만 전면에 노출된 경우, 사용자 입력에 기반하여 제2 표시 영역(305) 및 제3 표시 영역(307)에 표시하는 정보가 노출될 수 있도록 스크롤 바를 제공할 수 있다. 전자 장치(101)는 사용자로부터 스크롤 바가 선택되고, 스크롤되면 제1 표시 영역(303)에 제2 표시 영역(305)에 표시할 제2 정보 또는 제3 표시 영역(307)에 표시할 제3 정보가 표시될 수 있도록 제어할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))는 제1 하우징(예: 도 2a 내지 도 2c의 제1 하우징(210)) 및 제2 하우징(예: 도 2a 내지 도 2c의 제2 하우징(230)), 상기 제1 하우징은 상기 제2 하우징으로부터 이동 가능하게 형성되고, 제1 영역(예: 도 2a 내지 도 2c의 제1 영역(A1))과 상기 제2 하우징으로부터 상기 제1 하우징이 이동함에 따라 순차적으로 상기 전자 장치의 전면을 통해 외부로 노출되는 제2 영역 및 제3 영역(예: 도 2a 내지 도 2c의 제1 영역(A2))을 포함하는 플렉서블 디스플레이(예: 도 1의 디스플레이 모듈(160)), 상기 제2 영역에 대응하여 제1 검색 범위가 설정되고, 상기 제3 영역에 대응하여 제2 검색 범위가 설정된 것을 저장하는 메모리(예: 도 1의 메모리(130)), 상기 플렉서블 디스플레이 및 상기 메모리에 작동적으로 연결된 프로세서(예: 도 1의 프로세서(120))를 포함하고, 상기 프로세서는, 상기 플렉서블 디스플레이의 상기 제1 영역이 외부로 노출된 상태에서 상기 제1 영역을 통해 표시된 제1 사용자 인터페이스에 포함된 오브젝트를 선택하는 사용자 입력을 검출하고, 상기 선택된 오브젝트와 연관된 검색 정보에 기반하여 상기 제1 검색 범위로부터 제1 정보 및 상기 제2 검색 범위로부터 제2 정보 를 획득하고, 상기 제2 하우징으로부터 상기 제1 하우징의 이동에 기반하여 상기 플렉서블 디스플레이의 상기 제2 영역, 또는 상기 제2 영역과 상기 제3 영역이 외부로 노출되는 것을 감지하고, 상기 제1 하우징의 이동에 따라 상기 제2 영역이 외부에 노출된 경우, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하거나, 또는 상기 제1 하우징이 더 이동함에 따라 상기 제2 영역 및 상기 제3 영역이 외부에 노출된 경우, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하고, 상기 제3 영역에 상기 제2 검색 범위에서 획득한 제2 정보를 표시할 수 있다.
상기 제1 검색 범위 또는 상기 제2 검색 범위는, 상기 전자 장치, 상기 전자 장치의 사용자의 계정 또는 외부 검색 엔진 중 적어도 하나를 포함할 수 있다.
상기 프로세서는, 사용자 입력 또는 상기 전자 장치의 설정에 기반하여 상기 제2 영역에 대응하여 상기 제1 검색 범위를 설정하고, 상기 제3 영역에 대응하여 상기 제2 검색 범위를 설정하여 상기 메모리에 저장할 수 있다.
상기 프로세서는, 상기 제2 영역에 상기 제1 정보를 제2 사용자 인터페이스로서 표시하거나, 또는 상기 제2 영역에 상기 제1 정보를 포함하고, 상기 제3 영역에 상기 제2 정보를 포함하는 상기 제2 사용자 인터페이스를 표시하는 것일 수 있다.
상기 제1 사용자 인터페이스는 상기 제1 영역에 제1 어플리케이션의 실행 화면을 표시하는 것이고, 상기 제2 사용자 인터페이스는 상기 제2 영역에 상기 제1 정보로서 제2 어플리케이션의 실행 화면을 표시하고, 상기 제3 영역에 상기 제2 정보로서 제3 어플리케이션의 실행 화면을 표시하는 것일 수 있다.
상기 프로세서는, 상기 플렉서블 디스플레이의 상기 제1 영역에 상기 제1 사용자 인터페이스의 표시를 유지한 상태에서, 상기 제1 하우징의 이동에 따라 상기 플렉서블 디스플레이의 상기 제2 영역, 또는 상기 제2 영역 및 상기 제3 영역에 상기 제2 사용자 인터페이스가 표시되도록 제어할 수 있다.
상기 프로세서는, 상기 전자 장치의 표시 방향을 검출하고, 상기 전자 장치의 표시 방향이 가로 방향인 경우, 상기 제2 사용자 인터페이스의 레이아웃을 가로 방향으로 구성하고, 상기 전자 장치의 표시 방향이 세로 방향인 경우, 상기 제2 사용자 인터페이스의 레이아웃을 세로 방향으로 구성하도록 설정될 수 있다.
상기 프로세서는, 사용자 입력에 기반하여, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 다른 정보인 제4 어플리케이션의 실행 화면을 표시하도록 설정될 수 있다.
상기 프로세서는, 상기 제1 검색 범위에서 상기 제1 정보를 획득하지 못한 경우, 상기 제1 정보 대신에 상기 제2 검색 범위에서 획득한 제2 정보를 표시하도록 설정될 수 있다.
상기 프로세서는, 상기 선택된 오브젝트로부터 검색 정보를 식별하고, 상기 식별된 검색 정보를 상기 제1 영역에 표시하고, 상기 표시된 검색 정보에서 어느 하나의 검색 정보를 선택하고, 상기 선택된 검색 정보에 기반하여 검색 범위별 정보를 획득하도록 설정될 수 있다.
상기 프로세서는, 상기 제1 정보 또는 상기 제2 정보에 포함된 적어도 하나의 오브젝트를 선택하고, 상기 제1 영역으로 이동하는 사용자 입력을 검출하고, 상기 사용자 입력에 기반하여 상기 선택된 오브젝트를 상기 제1 사용자 인터페이스에 반영하도록 설정될 수 있다.
상기 프로세서는, 상기 획득되는 정보에 기반하여 상기 플렉서블 디스플레이의 상기 제2 영역이 외부로 노출되도록 제어하거나, 상기 플렉서블 디스플레이의 상기 제2 영역 및 상기 제3 영역이 외부에 노출되도록 제어하도록 설정될 수 있다.
도 4는 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시한 흐름도(400)이다.
도 4를 참조하면, 동작 401에서, 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))의 프로세서(예: 도 1의 프로세서(120))는 표시 영역별 검색 범위가 설정되어 메모리(예: 도 1의 메모리(130))에 저장할 수 있다. 프로세서(120)는 전자 장치(101)의 설정에 따라 표시 영역별 검색 범위를 자동으로 설정할 수 있다. 또는, 프로세서(120)는 사용자 입력에 기반하여 표시 영역별 검색 범위를 수동으로 설정할 수 있다. 상기 표시 영역은 전자 장치(101)의 플렉서블 디스플레이(예: 도 1의 디스플레이 모듈(160))가 확장되는 경우(예: 중간 상태 또는 열린 상태) 사용되는 영역으로, '확장된 표시 영역'을 의미할 수 있다. 디스플레이 모듈(160)은 제1 영역(예: 도 2a 내지 도 2c의 제1 영역(A1)) 및 제2 영역(예: 도 2a 내지 도 2c의 제2 영역(A2))을 포함할 수 있다.
전자 장치(101)가 닫힌 상태(예: 도 2a)에서, 제1 영역(A1)은 제1 방향(예: 전면)을 향하고, 제2 영역(A2)은 제2 방향(예: 후면)을 향할 수 있다. 전자 장치(101)가 열린 상태(예: 도 2b)에서 제1 영역(A1) 및 제2 영역(A2)은 제1 방향(예: 전면)을 향할 수 있다. 전자 장치(101)가 중간 상태(미도시)에서 제1 영역(A1) 및 제2 영역(A2)의 일부는 제1 방향(예: 전면)을 향하고, 제2 영역(A2)의 나머지 일부는 제2 방향(예: 후면)을 향할 수 있다. 제2 영역(A2)은 제1 표시 영역(예: 도 3의 제1 표시 영역(303)), 제2 표시 영역(예: 도 3의 제2 표시 영역(305)) 및 제3 표시 영역(예: 도 3의 제3 표시 영역(307))으로 구분할 수 있다.
상기 검색 범위는 정보를 검색할 정보 획득 매체 또는 플랫폼을 의미하는 것일 수 있다. 예를 들어, 상기 정보 획득 매체는 전자 장치(101), 사용자의 계정 또는 외부 검색 엔진 중 적어도 하나를 포함할 수 있다. 상기 정보 획득 매체는 예를 들어 구분할 뿐, 상기에서 설명한 것 이외의 다른 매체가 더 포함될 수 있다. 예를 들어, 상기 정보 획득 매체가 전자 장치(101)인 경우, 프로세서(120)는 전자 장치(101)에 저장된 텍스트, 문서, 이미지, 오디오, 또는 비디오 중 적어도 하나를 검색할 수 있다. 예를 들어, 전자 장치(101)에 저장된 텍스트는 일정(예: 캘린더 어플리케이션), 메모(예: 메모 어플리케이션), 메시지(예: 메시지 어플리케이션), 메일(예: 메일 어플리케이션), 연락처(예: 연락처 어플리케이션)를 포함할 수 있다. 메모 어플리케이션에는 키패드를 통해 입력한 메모뿐만 아니라, 스타일러스 펜이나 핸드라이팅으로 작성된 메모를 포함할 수 수 있다.
전자 장치(101)에 저장된 문서는 한글(예: hwp), MS office 프로그램(예 워드, 엑셀), PDF, TXT, PPT와 같은 확장자를 가지는 파일을 포함할 수 있다. 전자 장치(101)에 저장된 이미지는 갤러리 어플리케이션에 저장된 사진, 스크린샷, 비디오 또는 연락처 어플리케이션에 저장된 사진(예: 상대방 프로필)를 포함할 수 있다. 전자 장치(101)에 저장된 오디오 또는 비디오는 음악(예: 음악 어플리케이션, 플레이어 어플리케이션), 영화, 또는 녹음 파일(예: 음성 메모 어플리케이션)을 포함할 수 있다. 이 밖에도, 프로세서(120)는 전자 장치(101)에 설치된 어플리케이션들 중에서 텍스트, 문서, 이미지, 오디오, 또는 비디오를 검색할 수 있다.
다양한 실시예들에 따르면, 상기 정보 획득 매체가 사용자 계정인 경우, 프로세서(120)는 사용자 계정과 연관된 정보 획득 매체(예: 다른 사용자의 전자 장치 또는 외부 서버(예: 도 1의 서버(108))에 저장된 텍스트, 문서, 이미지, 오디오, 또는 비디오 중 적어도 하나를 검색할 수 있다. 예를 들어, 사용자 계정과 연관된 정보 획득 매체에 저장된 텍스트는 사용자 계정과 연동된 일정, 메모, 구독 중인 도서 서비스, 뉴스레터, 블로그 또는 SNS에 개시된 글, 팔로우 중인 컨텐츠, 메일을 포함할 수 있다. 사용자 계정과 연관된 정보 획득 매체에 저장된 문서는 사용자 계정으로 외부 클라우드에 저장된 파일 중 한글(예: hwp), MS office 프로그램(예 워드, 엑셀), PDF, TXT, PPT와 같은 확장자를 가지는 파일을 포함할 수 있다.
사용자 계정과 연관된 정보 획득 매체에 저장된 이미지는 SNS 계정과 피드의 사진, 외부 클라우드에 저장된 사진을 포함할 수 있다. 사용자 계정과 연관된 정보 획득 매체에 저장된 비디오는 사용자 계정으로 구독 중인 OTT(over the top) 서비스의 컨텐츠, 동영상 스트리밍 서비스의 구동 중익 채널 컨텐츠를 포함할 수 있다. 사용자 계정과 연관된 정보 획득 매체에 저장된 오디오는 사용자 계정으로 구독 중인 음악 서비스의 플레이 리스트, 팔로우 중인 팟 캐스트의 컨텐츠, 구동 중인 오디오 북 서비스의 컨텐츠를 포함할 수 있다. 이 밖에도, 프로세서(120)는 사용자 계정을 이용하여 이용중인 네비게이션 어플리케이션의 최근 장소 정보, 큐레이션 쇼핑 서비스의 목적지, SNS 내 피드 컨텐츠, 구동 중인 웹툰 컨텐츠, 금융사의 컨텐츠를 검색할 수 있다.
다양한 실시예들에 따르면, 상기 정보 획득 매체가 외부 검색 엔진 또는 외부 어플리케이션인 경우, 프로세서(120)는 전자 장치(101)에 설치된 또는 설치되지 않은 어플리케이션, 또는 외부 서버(예: 도 1의 서버(108))에 저장된 텍스트, 문서, 이미지, 오디오, 또는 비디오 중 적어도 하나를 검색할 수 있다. 프로세서(120)는 포털 사이트(예: 구글, 네이버) 내 뉴스, 블로그 개시글, 리뷰, 어학 사전, URL 정보, 검색 엔진에서 검색된 논문을 텍스트로서 검색할 수 있다. 프로세서(120)는 검색 엔진에서 검색된 파일 중 한글(예: hwp), MS office 프로그램(예 워드, 엑셀), PDF, TXT, PPT와 같은 확장자를 가지는 파일을 문서로서 검색할 수 있다. 프로세서(120)는 검색 엔진에서 제공하는 이미지, 동영상, 동영상 스트리밍 서비스, 음악 서비스의 통합 검색을 통해 검색된 컨텐츠를 이미지, 오디오, 비디오로서 검색할 수 있다. 이 밖에도, 프로세서(120)는 포털 사이트의 유명인 인물 정보, 지도 정보, 장소 정보, 쇼핑 정보, 컨텐츠(예: 웹 툰)로부터 텍스트, 문서, 이미지, 오디오, 또는 비디오 중 적어도 하나를 검색할 수 있다.
프로세서(120)는 사용자 입력에 기반하여 제1 표시 영역(303)의 검색 범위를 전자 장치(101)에 저장된 정보로 설정하고, 제2 표시 영역(305)의 검색 범위를 사용자의 계정으로 검색된 정보로 설정하며, 제3 표시 영역(307)의 검색 범위를 외부 검색 엔진을 통해 검색된 정보로 설정할 수 있다. 또는, 프로세서(120)는 사용자 입력에 기반하여 제1 표시 영역(303)의 검색 범위를 사용자의 계정으로 검색된 정보로 설정하고, 제2 표시 영역(305)의 검색 범위를 전자 장치(101)에 저장된 정보로 설정하며, 제3 표시 영역(307)의 검색 범위를 외부 검색 엔진을 통해 검색된 정보로 설정할 수 있다. 또는, 프로세서(120)는 사용자 입력에 기반하여 제1 표시 영역(303)의 검색 범위를 전자 장치(101)에 저장된 정보로 설정하고, 제2 표시 영역(305)의 검색 범위를 외부 검색 엔진을 통해 검색된 정보로 설정하며, 제3 표시 영역(307)의 검색 범위를 사용자의 계정으로 검색된 정보로 설정할 수 있다. 이러한 예시는 발명의 이해를 돕기 위한 것일 뿐, 설명에 의해 본 발명이 제한되는 것은 아니다.
다양한 실시예들에 따르면, 프로세서(120)는 오브젝트 선택 전에 사용자 입력에 기반하여 표시 영역별 검색 범위를 설정할 수 있다. 프로세서(120)는 사용자 입력에 기반하여 각 표시 영역별로 표시되는 정보의 검색 범위, 순서 또는 위치 중 적어도 하나를 변경할 수 있다. 또는, 프로세서(120)는 사용자 입력에 기반하여 검색 범위 별 정보 획득 매체를 선택하거나, 정보를 검색할 어플리케이션을 선택 또는 삭제할 수 있다. 또는, 프로세서(120)는 오브젝트 선택 전에 표시 영역별 검색 범위가 설정되지 않은 경우, 전자 장치(101)의 설정에 따라 표시 영역별 검색 범위를 설정할 수 있다. 예를 들어, 전자 장치(101)의 설정은 사용자의 사용 패턴(또는 이력) 또는 빅 데이터를 활용하여 설정될 수 있다.
동작 403에서, 프로세서(120)는 제1 사용자 인터페이스에 포함된 오브젝트를 선택할 수 있다. 상기 제1 사용자 인터페이스는 어플리케이션의 실행 화면으로서, 예를 들어, 텍스트, 이미지, 오디오 또는 비디오 중 적어도 하나를 포함할 수 있다. 상기 오브젝트는 텍스트, 이미지, 오디오 또는 비디오 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 제1 사용자 인터페이스가 음악 어플리케이션의 실행 화면인 경우, 상기 실행 화면에는 가수 정보(예: 텍스트, 이미지), 음악 정보(예: 텍스트, 이미지, 오디오)가 포함될 수 있다. 사용자는 상기 음악 어플리케이션의 실행 화면에서 가수의 이미지를 선택할 수 있다. 프로세서(120)는 상기 사용자 입력에 기반하여 가수의 이미지를 오브젝트로서 선택할 수 있다. 프로세서(120)는 전자 장치(101)가 닫힌 상태에서 제1 사용자 인터페이스(예: 도 3의 제1 사용자 인터페이스(301))에 포함된 오브젝트를 선택할 수 있다. 전자 장치(101)가 닫힌 상태에서는, 도 3의 제1 사용자 인터페이스(301)만 전자 장치(101)의 전면을 통해 노출될 수 있다.
동작 405에서, 프로세서(120)는 선택된 오브젝트로부터 검색 정보를 식별할 수 있다. 상기 검색 정보는 메타 데이터 또는 컴퓨터 비전 정보를 의미할 수 있다. 상기 메타 데이터는 데이터에 관한 구조화된 데이터로서, 정보를 효율적으로 찾기 위해 일정한 규칙에 따라 콘텐츠에 부여될 수 있다. 상기 컴퓨터 비전 정보는 인공 지능(AI)의 한 분야로 컴퓨터를 사용하여 오브젝트(예: 이미지)를 식별하여 식별된 오브젝트로부터 정보를 추출하는데 사용될 수 있다. 프로세서(120)는 상기 컴퓨터 비전 정보를 이용하여 상기 선택된 가수의 이미지로부터 오브젝트가 사람이고, 얼굴 인식을 통해 누구인지 식별(예: 가수 이름)할 수 있다. 또는, 프로세서(120)는 선택된 가수의 이미지로부터 오브젝트가 사람이고, 여러 명이며, 얼굴 인식을 통해 어떤 그룹(예: 그룹 이름)인지 식별할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 상기 식별된 검색 정보를 디스플레이 모듈(160)을 통해 표시할 수 있다. 상기 식별된 검색 정보는 텍스트, 이미지, 오디오 또는 비디오 중 적어도 하나의 형태로 표시될 수 있다. 예를 들어, 상기 식별된 검색 정보는 하나 또는 하나 이상의 키워드를 포함할 수 있다. 프로세서(120)는 사용자로부터 상기 표시된 검색 정보 중에서 어느 하나의 검색 정보를 선택받을 수 있다. 프로세서(120)는 상기 사용자로부터 선택된 검색 정보에 기반하여 검색 범위별 정보를 획득할 수 있다.
동작 407에서, 프로세서(120)는 식별된 검색 정보에 기반하여 검색 범위별 정보를 획득(또는 검색)할 수 있다. 예를 들어, 프로세서(120)는 제1 표시 영역(303) 내지 제3 표시 영역(307)에 표시할 각각의 정보를 각각의 정보 획득 매체로부터 획득할 수 있다. 예를 들어, 프로세서(120)는 가수의 이미지를 이용하여 전자 장치(101), 사용자의 계정과 연관된 다른 전자 장치 또는 서버(108), 또는 외부 검색 엔진으로부터 가수 이름으로 정보를 검색할 수 있다. 예를 들어, 프로세서(120)는 전자 장치(101)에 저장된 이미지(예: 갤러리 어플리케이션), 텍스트(예: 메모 어플리케이션, 이메일 어플리케이션)를 획득할 수 있다. 프로세서(120)는 사용자의 계정과 연관된 서버(108)로부터 텍스트, 이미지, 오디오, 비디오를 획득할 수 있다. 프로세서(120)는 외부 검색 엔진으로부터 텍스트, 이미지, 오디오, 비디오를 획득할 수 있다.
동작 409에서, 프로세서(120)는 디스플레이 크기 확장을 감지할 수 있다. 상기 디스플레이 크기 확장은 닫힌 상태에서 중간 상태 또는 열린 상태로 변경되는 것을 의미할 수 있다. 또는, 상기 디스플레이 크기 확장은 중간 상태에서 열린 상태로 변경되는 것을 의미할 수 있다. 상기 디스플레이 크기는 자동 또는 수동으로 변경될 수 있다. 프로세서(120)는 디스플레이 모듈(160)과 연결된 모터와 같은 구동 장치를 이용하여 전자 장치(101)를 자동으로 닫힌 상태에서 중간 상태 또는 열린 상태로 전환할 수 있다. 또는 프로세서(120)는 사용자 입력에 기반하여 전자 장치(101)를 닫힌 상태에서 중간 상태 또는 열린 상태로 전환할 수 있다. 사용자는 자신이 원하는 만큼 디스플레이 모듈(160)의 크기를 변경할 수 있으므로, 전자 장치(101)를 완전히 열지 않고, 반쯤 열린 상태인 중간 상태에서 디스플레이 모듈(160)의 크기 변경을 중단할 수 있다.
도면에서는 동작 409가 동작 405 및 동작 407을 수행한 이후에 수행되는 것으로 설명하고 있지만, 동작 409는 동작 405 및 동작 407를 수행하는 동안 수행될 수 있다. 예를 들어, 사용자는 오브젝트를 선택한 후 디스플레이 크기를 변경할 수 있다.
동작 411에서, 프로세서(120)는 획득된 정보를 확장된 표시 영역별로 구분한 제2 사용자 인터페이스를 표시할 수 있다. 상기 제2 사용자 인터페이스는 하나 또는 복수의 어플리케이션의 실행 화면을 포함할 수 있다. 프로세서(120)는 전자 장치(101)가 열린 상태로 변경되는 경우, 제1 영역(A1)에 제1 사용자 인터페이스(301)를 표시하고, 제2 영역(A2)에 제2 사용자 인터페이스(예: 도 3의 제2 사용자 인터페이스(320))를 표시할 수 있다. 프로세서(120)는 제1 표시 영역이 전자 장치(101)의 전면에 노출된 경우(예: 중간 상태), 상기 제1 표시 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 상기 제2 사용자 인터페이스로서 표시할 수 있다. 프로세서(120)는 상기 제1 표시 영역 및 제2 표시 영역이 전자 장치(101)의 전면에 노출된 경우(예: 열린 상태), 상기 제1 표시 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하고, 상기 제2 표시 영역에 상기 제2 검색 범위에서 획득한 제2 정보를 상기 제2 사용자 인터페이스로서 표시할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)가 열린 상태로 변경되는 경우, 프로세서(120)는 디스플레이 모듈(160)에 제1 사용자 인터페이스(301) 및 제2 사용자 인터페이스(320)를 포함하는 사용자 인터페이스(예: 도 3의 사용자 인터페이스(310))를 표시할 수 있다. 제2 사용자 인터페이스(320)는 제1 표시 영역(303)에 전자 장치(101)에 저장된 제1 정보를 표시하거나, 제2 표시 영역(305)에 사용자 계정으로 검색된 제2 정보를 표시하거나, 제3 표시 영역(307)에 외부 검색 엔진에서 검색된 제3 정보를 표시하는 것 중 적어도 하나를 포함할 수 있다. 프로세서(120)는 제1 영역(A1)에 제1 사용자 인터페이스(301)의 표시를 유지한 상태에서 제2 영역(A2)에 제2 사용자 인터페이스를 표시할 수 있다.
도 5a 내지 도 5c는 다양한 실시예들에 따른 전자 장치의 사용자 인터페이스의 일례를 도시한 도면들이다.
도 5a는 다양한 실시예들에 따른 전자 장치에서 오브젝트를 선택하는 일례를 도시한 도면이다.
도 5a를 참조하면, 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))의 프로세서(예: 도 1의 프로세서(120))는 전자 장치(101)가 닫힌 상태에서 플렉서블 디스플레이(예: 도 1의 디스플레이 모듈(160))를 통해 제1 사용자 인터페이스(510)를 표시할 수 있다. 디스플레이 모듈(160)은 제1 영역(예: 도 2a 내지 도 2c의 제1 영역(A1)) 및 제2 영역(예: 도 2a 내지 도 2c의 제2 영역(A2))을 포함할 수 있다. 전자 장치(101)가 닫힌 상태(예: 도 2a)에서, 제1 영역(A1)은 제1 방향(예: 전면)을 향하고, 제2 영역(A2)은 제2 방향(예: 후면)을 향할 수 있다. 제1 사용자 인터페이스(510)는 어플리케이션의 실행 화면(예: 동영상 어플리케이션)일 수 있다. 프로세서(120)는 제1 사용자 인터페이스(510)에서 사용자로부터 오브젝트(511)를 선택받을 수 있다. 오브젝트(511)는 텍스트, 이미지, 오디오 또는 비디오 중 적어도 하나를 포함할 수 있다. 도면에서는 오브젝트(511)가 편집 중인 동영상 어플리케이션에 등장하는 가수 얼굴 사진일 수 있다. 프로세서(120)는 제1 사용자 인터페이스(510)에서 오브젝트(511)를 길게 누르는 터치 입력(예: 롱 프레스)이 검출되면, 오브젝트(511)를 선택하는 입력으로 판단할 수 있다.
프로세서(120)는 오브젝트(511)로부터 검색 정보를 식별(또는 추출)할 수 있다. 상기 검색 정보는 메타 데이터 또는 컴퓨터 비전 정보를 의미할 수 있다. 프로세서(120)는 식별된 검색 정보(521)를 포함하는 제2 사용자 인터페이스(520)를 표시할 수 있다. 제2 사용자 인터페이스(520)는 제1 사용자 인터페이스(510) 위에 식별된 검색 정보(521)를 오버레이로 표시하는 것일 수 있다. 식별된 검색 정보(521)는 하나 이상일 수 있다. 프로세서(120)는 사용자로부터 식별된 검색 정보(521) 중에서 어느 하나의 검색 정보(523)를 선택받을 수 있다. 프로세서(120)는 선택된 검색 정보(523)에 기반하여 검색 범위별 정보를 획득(또는 검색)할 수 있다.
도 5b는 다양한 실시예들에 따른 전자 장치에서 검색 범위 별 정보를 표시하는 일례를 도시한 도면이다.
도 5b를 참조하면, 프로세서(120)는 사용자 입력에 기반하여 전자 장치(101)를 닫힌 상태에서 중간 상태로 전환하고, 제3 사용자 인터페이스(530)를 표시할 수 있다. 프로세서(120)는 사용자 입력에 기반하여 제2 영역(A2)의 일부가 전자 장치(101)의 전면에 노출되도록 제어할 수 있다. 전자 장치(101)가 중간 상태일 때, 제1 영역(A1)은 제1 방향(예: 전면)을 향하고, 제2 영역(A2)의 일부는 제1 방향(예: 전면)을 향하고, 제2 영역(A2)의 다른 일부는 제2 방향(예: 후면)을 할 수 있다. 프로세서(120)는 사용자 입력에 기반하여 전자 장치(101)를 닫힌 상태에서 제1 중간 상태로 전환할 수 있다. 상기 제1 중간 상태에서 전자 장치(101)의 전면을 통해 노출되는 제2 영역(A2)의 일부의 크기는 전자 장치(101)의 후면을 통해 수납(또는 노출)되는 제2 영역(A2)의 다른 일부의 크기보다 작을 수 있다. 제2 영역(A2)은 제1 표시 영역(예: 도 3의 제1 표시 영역(303)), 제2 표시 영역(예: 도 3의 제2 표시 영역(305)) 및 제3 표시 영역(예: 도 3의 제3 표시 영역(307))으로 구분할 수 있다. 상기 제1 중간 상태는 제1 표시 영역(303)만 전자 장치(101)의 전면을 통해 노출되고, 제2 표시 영역(305) 및 제3 표시 영역(307)은 노출되지 않은 상태일 수 있다.
제3 사용자 인터페이스(530)는 제1 영역(A1)에 제1 사용자 인터페이스(510)를 표시하고, 제1 표시 영역(303)에 제1 정보(531)를 표시하는 것일 수 있다. 제3 사용자 인터페이스(530)는 전자 장치(101)가 포트레이트 모드(예: 세로 방향)일 때 표시하는 사용자 인터페이스의 일례일 수 있다. 프로세서(120)는 제1 사용자 인터페이스(510)의 표시를 유지한 상태에서 전자 장치(101)의 전면을 통해 노출되는 제2 영역(A2)의 제1 표시 영역(303)에 제1 정보(531)를 표시할 수 있다. 프로세서(120)는 상기 제1 중간 상태에서 제1 정보(531) 이외에 표시할 다른 정보가 있음을 안내하는 스크롤 바(533)를 표시할 수 있다. 프로세서(120)는 사용자로부터 스크롤 바(533)가 선택되고, 스크롤되면 제1 표시 영역(303)을 통해 제2 표시 영역(305)에 표시할 제2 정보 또는 제3 표시 영역(307)에 표시할 제3 정보가 표시될 수 있도록 제어할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 사용자 입력에 기반하여 전자 장치(101)를 닫힌 상태에서 제2 중간 상태로 전환하고, 제4 사용자 인터페이스(540)를 표시할 수 있다. 상기 제2 중간 상태에서 전자 장치(101)의 전면을 통해 노출되는 제2 영역(A2)의 일부의 크기는 전자 장치(101)의 후면을 통해 수납(또는 노출)되는 제2 영역(A2)의 다른 일부의 크기보다 클 수 있다. 제2 중간 상태는 제1 표시 영역(303) 및 제2 표시 영역(305)만 전자 장치(101)의 전면을 통해 노출되고, 제3 표시 영역(307)은 노출되지 않은 상태일 수 있다.
제4 사용자 인터페이스(540)는 제1 영역(A1)에 제1 사용자 인터페이스(510)를 표시하고, 제1 표시 영역(303)에 제1 정보(541)를 표시하고, 제2 표시 영역(305)에 제2 정보(543)를 표시하는 것일 수 있다. 프로세서(120)는 제1 사용자 인터페이스(510)의 표시를 유지한 상태에서 전자 장치(101)의 전면을 통해 노출되는 제2 영역(A2)의 제1 표시 영역(303)에 제1 정보(541)를 표시하고, 제2 표시 영역(305)에 제2 정보(543)를 표시할 수 있다. 프로세서(120)는 상기 제2 중간 상태에서 제1 정보(541) 및 제2 정보(543) 이외에 표시할 다른 정보가 있음을 안내하는 스크롤 바(545)를 표시할 수 있다. 프로세서(120)는 사용자로부터 스크롤 바(545)가 선택되고, 스크롤되면 제1 표시 영역(303) 또는 제2 표시 영역(305)을 통해 제3 표시 영역(307)에 표시할 제3 정보가 표시될 수 있도록 제어할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 사용자 입력에 기반하여 전자 장치(101)를 닫힌 상태에서 열린 상태로 전환하고, 제5 사용자 인터페이스(550)를 표시할 수 있다. 상기 열린 상태는 제1 표시 영역(303) 내지 제3 표시 영역(307)이 전자 장치(101)의 전면을 통해 노출되는 상태일 수 있다. 제5 사용자 인터페이스(550)는 제1 영역(A1)에 제1 사용자 인터페이스(510)를 표시하고, 제1 표시 영역(303)에 제1 정보(551)를 표시하고, 제2 표시 영역(305)에 제2 정보(553)를 표시하고, 제3 표시 영역(307)에 제3 정보(555)를 표시하는 것일 수 있다. 프로세서(120)는 제1 사용자 인터페이스(510)의 표시를 유지한 상태에서 전자 장치(101)의 전면을 통해 노출되는 제2 영역(A2)의 제1 표시 영역(303)에 제1 정보(551)를 표시하고, 제2 표시 영역(305)에 제2 정보(553)를 표시하고, 제3 표시 영역(307)에 제3 정보(555)를 표시할 수 있다. 프로세서(120)는 상기 열린 상태에서 제1 정보(551) 내지 제3 정보(555) 이외에 표시할 다른 정보가 있음을 안내하는 스크롤 바(557)를 표시할 수 있다. 프로세서(120)는 사용자로부터 스크롤 바(557)가 선택되고, 스크롤되면 제1 표시 영역(303) 내지 제3 표시 영역(307)을 통해 다른 정보가 더 표시될 수 있도록 제어할 수 있다.
도 5c는 다양한 실시예들에 따른 전자 장치에서 검색 범위 별 정보를 표시하는 다른 일례를 도시한 도면이다.
도 5c를 참조하면, 프로세서(120)는 사용자 입력에 기반하여 전자 장치(101)를 닫힌 상태에서 열린 상태로 전환하고, 제6 사용자 인터페이스(560)를 표시할 수 있다. 제6 사용자 인터페이스(560)는 제1 영역(A1)에 제1 사용자 인터페이스(510)를 표시하고, 제1 표시 영역(303)에 제1 정보(561)를 표시하고, 제2 표시 영역(305)에 제2 정보(563)를 표시하고, 제3 표시 영역(307)에 제3 정보(565)를 표시하는 것일 수 있다. 프로세서(120)는 제1 사용자 인터페이스(510)의 표시를 유지한 상태에서 제1 정보(561) 내지 제3 정보(565)를 가로 방향으로 표시할 수 있다. 프로세서(120)는 제1 정보(561) 내지 제3 정보(565)를 표시하는 레이아웃을 다르게 구성할 수 있다. 제5 사용자 인터페이스(550)와 제6 사용자 인터페이스(560)를 비교하면, 제5 사용자 인터페이스(550)에 포함된 제1 정보(551) 내지 제3 정보(555)의 레이아웃을 세로 방향으로 구성하고, 제6 사용자 인터페이스(560)에 포함된 제1 정보(561) 내지 제3 정보(565)의 레이아웃을 가로 방향으로 구성할 수 있다. 제1 정보(561) 내지 제3 정보(565)의 레이아웃이 가로 방향인 경우, 프로세서(120)는 세로 방향으로 스크롤 바(567)를 제공할 수 있다. 제1 정보(551) 내지 제3 정보(555)의 레이아웃이 세로 방향인 경우, 프로세서(120)는 가로 방향으로 스크롤 바(567)를 제공할 수 있다.
도 6a 및 도 6b는 다양한 실시예들에 따른 전자 장치에서 가로 모드의 사용자 인터페이스를 제공하는 일례를 도시한 도면들이다.
도 6a는 다양한 실시예들에 따른 전자 장치에서 가로 모드의 사용자 인터페이스를 제공하는 일례를 도시한 도면이다.
도 6a를 참조하면, 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))의 프로세서(예: 도 1의 프로세서(120))는 전자 장치(101)가 닫힌 상태에서 플렉서블 디스플레이(예: 도 1의 디스플레이 모듈(160))를 통해 제1 사용자 인터페이스(610)를 표시할 수 있다. 제1 사용자 인터페이스(610)는 전자 장치(101)가 랜드스케이프 모드(예: 가로 방향)일 때 표시되는 사용자 인터페이스의 일례일 수 있다. 프로세서(120)는 제1 사용자 인터페이스(610)에서 오브젝트를 선택받고, 선택된 오브젝트로부터 검색 정보를 식별할 수 있다. 도시하지 않았지만, 프로세서(120)는 식별된 검색 정보를 표시할 수 있다.
프로세서(120)는 사용자 입력에 기반하여 전자 장치(101)를 닫힌 상태에서 중간 상태로 전환하고, 제2 사용자 인터페이스(620)를 표시할 수 있다. 전자 장치(101)가 중간 상태에서, 제1 영역(A1)은 제1 방향(예: 전면)을 향하고, 제2 영역(A2)의 일부는 제1 방향(예: 전면)을 향하고, 제2 영역(A2)의 다른 일부는 제2 방향(예: 후면)을 할 수 있다. 프로세서(120)는 사용자 입력에 기반하여 전자 장치(101)를 닫힌 상태에서 제3 중간 상태로 전환할 수 있다. 상기 제3 중간 상태에서 전자 장치(101)의 전면을 통해 노출되는 제2 영역(A2)의 일부의 크기는 전자 장치(101)의 후면을 통해 수납(또는 노출)되는 제2 영역(A2)의 다른 일부의 크기와 동일하거나, 유사할 수 있다. 제2 영역(A2)은 제1 표시 영역(예: 도 3의 제1 표시 영역(303)), 제2 표시 영역(예: 도 3의 제2 표시 영역(305))으로 구분할 수 있다. 상기 제3 중간 상태는 제1 표시 영역(303)만 전자 장치(101)의 전면을 통해 노출되고, 제2 표시 영역(305)은 노출되지 않은 상태일 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 전자 장치(101)의 표시 모드(또는 방향)에 따라 제2 영역(A2)의 표시 영역을 다르게 구분하거나, 각 표시 영역에 표시하는 정보의 레이아웃을 다르게 구성할 수 있다. 또는, 프로세서(120)는 전자 장치(101)의 표시 방향에 상관 없이 제2 영역(A2)의 표시 영역을 모두 동일하게 구분할 수도 있다. 예를 들어, 프로세서(120)는 전자 장치(101)가 포트레이트 모드인 경우, 제2 영역(A2)의 표시 영역을 3개로 구분하고, 전자 장치(101)가 랜드스케이프 모드인 경우, 제2 영역(A2)의 표시 영역을 2개로 구분할 수 있다. 이는, 사용자의 시각적 편의성을 고려한 것으로, 구현 이슈에 해당할 뿐, 본 발명을 제한하는 것은 아니다. 이하에서는 전자 장치(101)가 랜드스케이프 모드일 때 제2 영역(A2)의 표시 영역을 2개로 구분한 일례를 설명하지만, 설명에 의해 본 발명이 제한되는 것은 아니다.
제2 사용자 인터페이스(620)는 제1 영역(A1)에 제1 사용자 인터페이스(610)를 표시하고, 제1 표시 영역(303)에 제1 정보(621)를 표시하는 것일 수 있다. 제2 사용자 인터페이스(620)는 전자 장치(101)가 랜드스케이프 모드일 때 표시되는 사용자 인터페이스의 일례일 수 있다. 프로세서(120)는 전자 장치(101)가 랜드스케이프 모드일 때 제1 정보(621)를 가로 방향으로 표시되도록 제어할 수 있다. 프로세서(120)는 상기 제1 중간 상태에서 제1 정보(621) 이외에 표시할 다른 정보가 있음을 안내하는 스크롤 바(623)를 표시할 수 있다. 프로세서(120)는 전자 장치(101)가 랜드스케이프 모드일 때 세로 방향으로 스크롤 바(623)를 표시할 수 있다.
프로세서(120)는 사용자 입력에 기반하여 전자 장치(101)를 닫힌 상태에서 열린 상태로 전환하고, 제3 사용자 인터페이스(630)를 표시할 수 있다. 제3 사용자 인터페이스(630)는 전자 장치(101)가 랜드스케이프 모드일 때 표시되는 사용자 인터페이스의 일례일 수 있다. 제3 사용자 인터페이스(630)는 제1 영역(A1)에 제1 사용자 인터페이스(610)를 표시하고, 제1 표시 영역(303) 및 제2 표시 영역(305) 제1 정보(631) 및 제2 정보(633)를 표시하는 것일 수 있다. 프로세서(120)는 전자 장치(101)가 랜드스케이프 모드일 때 제1 정보(631) 및 제2 정보(633)을 가로 방향으로 표시되도록 제어할 수 있다. 프로세서(120)는 열린 상태에서 제1 정보(631) 및 제2 정보(633) 이외에 표시할 다른 정보가 있음을 안내하는 스크롤 바(635)를 표시할 수 있다.
도 6b는 다양한 실시예들에 따른 전자 장치에서 가로 모드의 사용자 인터페이스를 제공하는 다른 일례를 도시한 도면이다.
도 6b를 참조하면, 프로세서(120)는 전자 장치(101)가 열린 상태에서 제4 사용자 인터페이스(650)를 표시할 수 있다. 제4 사용자 인터페이스(650)는 전자 장치(101)가 랜드스케이프 모드일 때 표시되는 사용자 인터페이스의 일례일 수 있다. 제4 사용자 인터페이스(640)는 제1 영역(A1)에 제1 사용자 인터페이스(610)를 표시하고, 제1 표시 영역(303) 및 제2 표시 영역(305) 제1 정보(651), 제2 정보(653), 제3 정보(655)를 표시하는 것일 수 있다. 프로세서(120)는 전자 장치(101)가 랜드스케이프 모드일 때 제1 정보(651) 내지 제3 정보(655)을 세로 방향으로 표시되도록 제어할 수 있다. 프로세서(120)는 열린 상태에서 제1 정보(651) 내지 제5 정보(655) 이외에 표시할 다른 정보가 있음을 안내하는 스크롤 바(657)를 표시할 수 있다. 프로세서(120)는 전자 장치(101)가 랜드스케이프 모드일 때 세로 방향으로 스크롤 바(657)를 표시할 수 있다.
제3 사용자 인터페이스(630)와 제4 사용자 인터페이스(650)를 비교하면, 제3 사용자 인터페이스(630)에 포함된 제1 정보(631) 및 제2 정보(635)의 레이아웃을 가로 방향으로 구성하고, 제4 사용자 인터페이스(650)에 포함된 제1 정보(651) 내지 제3 정보(655)의 레이아웃을 세로 방향으로 구성할 수 있다. 제1 정보(631) 및 제2 정보(633)의 레이아웃이 가로 방향인 경우, 프로세서(120)는 세로 방향으로 스크롤 바(635)를 제공할 수 있다. 제1 정보(651) 내지 제3 정보(655)의 레이아웃이 세로 방향인 경우, 프로세서(120)는 가로 방향으로 스크롤 바(657)를 제공할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 전자 장치(101)가 랜드스케이프 모드일 때 획득되는 정보의 양에 기반하여 각 표시 영역에 표시하는 정보의 레이아웃을 다르게 구성할 수 있다. 예를 들어, 프로세서(120)는 획득되는 정보의 양이 많은 경우, 정보의 레이아웃을 세로 방향으로 구성하고, 획득되는 정보의 양이 적은 경우, 정보의 레이아웃을 가로 방향으로 구성할 수 있다. 제3 사용자 인터페이스(630)와 제4 사용자 인터페이스(650)를 비교한 것과 같이, 전자 장치(101)가 랜드스케이프 모드일 때 정보의 레이아웃을 세로 방향으로 구성하는 경우, 정보 획득 매체별 획득된 정보가 더 많이 표시될 수 있다. 프로세서(120)는 정보 획득 매체의 개수가 기설정된 개수(예: 2개)인지 여부에 따라 획득되는 정보의 양이 많고 적음을 판단할 수 있다. 예를 들어, 3개 이상의 정보 획득 매체로부터 정보가 획득된 경우, 프로세서(120)는 획득되는 정보의 양이 많다고 판단할 수 있다. 3개 미만의 정보 획득 매체로부터 정보가 획득된 경우, 프로세서(120)는 획득되는 정보의 양이 적다고 판단할 수 있다.
도 7은 다양한 실시예들에 따른 전자 장치의 사용자 인터페이스 제어 방법을 도시한 흐름도(700)이다. 도 7의 흐름도(700)는 도 4의 동작 405 이후의 동작들을 구체화한 것일 수 있다.
도 7을 참조하면, 동작 701에서, 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))의 프로세서(예: 도 1의 프로세서(120))는 오브젝트의 검색 정보를 표시할 수 있다. 프로세서(120)는 도 4의 동작 405를 수행하여 제1 사용자 인터페이스에서 선택된 오브젝트와 연관된 검색 정보를 식별하고, 플렉서블 디스플레이(예: 도 1의 디스플레이 모듈(160))를 통해 식별된 검색 정보를 표시할 수 있다. 디스플레이 모듈(160)은 제1 영역(예: 도 2a 내지 도 2c의 제1 영역(A1)) 및 제2 영역(예: 도 2a 내지 도 2c의 제2 영역(A2))을 포함할 수 있다. 전자 장치(101)가 닫힌 상태(예: 도 2a)에서, 제1 영역(A1)은 제1 방향(예: 전면)을 향하고, 제2 영역(A2)은 제2 방향(예: 후면)을 향할 수 있다. 전자 장치(101)가 열린 상태(예: 도 2b)에서 제1 영역(A1) 및 제2 영역(A2)은 제1 방향(예: 전면)을 향할 수 있다. 전자 장치(101)가 중간 상태(미도시)에서 제1 영역(A1) 및 제2 영역(A2)의 일부는 제1 방향(예: 전면)을 향하고, 제2 영역(A2)의 나머지 일부는 제2 방향(예: 후면)을 향할 수 있다. 프로세서(120)는 도 5a와 같이 제1 사용자 인터페이스(예: 제1 사용자 인터페이스(510)) 위에 검색 정보(예: 식별된 검색 정보(521))를 포함하는 제2 사용자 인터페이스(예: 제2 사용자 인터페이스(520))를 표시할 수 있다. 식별된 검색 정보(521)는 하나 이상일 수 있다.
동작 703에서, 프로세서(120)는 검색 정보를 선택받을 수 있다. 프로세서(120)는 상기 표시된 검색 정보가 하나 이상일 경우, 사용자로부터 어느 하나의 검색 정보를 선택받을 수 있다.
동작 705에서, 프로세서(120)는 선택된 검색 정보에 기반하여 검색 범위별 정보를 획득할 수 있다. 제2 영역(A2)은 제1 표시 영역(예: 도 3의 제1 표시 영역(303)), 제2 표시 영역(예: 도 3의 제2 표시 영역(305)) 및 제3 표시 영역(예: 도 3의 제3 표시 영역(307))으로 구분할 수 있다. 프로세서(120)는 제1 표시 영역(303) 내지 제3 표시 영역(307)에 표시할 각각의 정보를 각각의 정보 획득 매체로부터 획득할 수 있다. 예를 들어, 프로세서(120)는 선택된 검색 정보(예: 가수 이름)를 이용하여 전자 장치(101), 사용자의 계정과 연관된 다른 전자 장치 또는 서버(108), 또는 외부 검색 엔진으로부터 정보를 검색할 수 있다. 동작 705는 도 4의 동작 407과 동일 또는 유사하므로 자세한 설명을 생략할 수 있다.
동작 707에서, 프로세서(120)는 획득된 정보가 제1 검색 범위(예: 전자 장치(101))에 해당하는지 여부를 판단할 수 있다. 프로세서(120)는 다수의 정보 획득 매체로부터 정보를 검색할 경우, 검색 시간에 차이가 있을 수 있다. 프로세서(120)는 검색되는 순서대로 획득되는 정보가 어느 검색 범위에 해당하는지 여부를 판단할 수 있다. 도면에서는 발명의 이해를 돕기 위해, 제1 검색 범위, 제2 검색 범위, 제3 검색 범위 순으로 판단한다고 기재하고 있지만, 프로세서(120)는 반대의 순서로 판단하거나, 동시에 획득된 정보가 제1 검색 범위 내지 제3 검색 범위에 해당하는지 여부를 판단할 수도 있다. 프로세서(120)는 상기 획득된 정보가 제1 검색 범위에 해당하는 경우 동작 709를 수행하고, 상기 획득된 정보가 제1 검색 범위에 해당하지 않는 경우 동작 711를 수행할 수 있다.
상기 획득된 정보가 제1 검색 범위에 해당하는 경우, 동작 709에서, 프로세서(120)는 제1 표시 영역에 획득된 정보를 표시할 수 있다. 상기 제1 검색 범위에서 획득된 정보는 상기 제1 표시 영역에 표시되도록 설정될 수 있다. 프로세서(120)는 사용자의 설정 또는 전자 장치(101)의 설정에 기반하여 상기 제1 검색 범위에서 획득된 정보에 대해서 상기 제1 표시 영역에 표시할 수 있다. 프로세서(120)는 상기 제1 표시 영역에 표시된 정보의 어플리케이션이 상이한 경우, 어플리케이션을 선택할 수 있도록 하는 선택 항목을 제공할 수 있다. 도 3을 예로 들어 설명하면, 상기 선택 항목은 검색 범위(예: my device, My account, My app) 아래에 표시된 어플리케이션 이름(예: Gxx, You00, Hoo)을 의미할 수 있다.
상기 획득된 정보가 제1 검색 범위에 해당하지 않는 경우, 동작 711에서, 프로세서(120)는 획득된 정보가 제2 검색 범위(예: 사용자 계정)에 해당하는지 여부를 판단할 수 있다. 프로세서(120)는 상기 획득된 정보가 제2 검색 범위에 해당하는 경우 동작 713를 수행하고, 상기 획득된 정보가 제2 검색 범위에 해당하지 않는 경우 동작 715를 수행할 수 있다.
상기 획득된 정보가 제2 검색 범위에 해당하는 경우, 동작 713에서, 프로세서(120)는 제2 표시 영역에 획득된 정보를 표시할 수 있다. 상기 제2 검색 범위에서 획득된 정보는 상기 제2 표시 영역에 표시되도록 설정될 수 있다. 프로세서(120)는 사용자의 설정 또는 전자 장치(101)의 설정에 기반하여 상기 제2 검색 범위에서 획득된 정보에 대해서 상기 제2 표시 영역에 표시할 수 있다.
상기 획득된 정보가 제2 검색 범위에 해당하지 않는 경우, 동작 715에서, 프로세서(120)는 획득된 정보가 제3 검색 범위(예: 외부 검색 엔진)에 해당하는지 여부를 판단할 수 있다. 프로세서(120)는 상기 획득된 정보가 제3 검색 범위에 해당하는 경우 동작 717를 수행하고, 상기 획득된 정보가 제3 검색 범위에 해당하지 않는 경우 동작 719를 수행할 수 있다.
상기 획득된 정보가 제3 검색 범위에 해당하는 경우 동작 717에서, 프로세서(120)는 제3 표시 영역에 획득된 정보를 표시할 수 있다. 상기 제3 검색 범위에서 획득된 정보는 상기 제3 표시 영역에 표시되도록 설정될 수 있다. 프로세서(120)는 사용자의 설정 또는 전자 장치(101)의 설정에 기반하여 상기 제3 검색 범위에서 획득된 정보에 대해서 상기 제3 표시 영역에 표시할 수 있다.
상기 획득된 정보가 제3 검색 범위에 해당하지 않거나, 또는 상기 제1 검색 범위 또는 상기 제2 검색 범위에서 획득한 정보가 없는 경우 동작 719에서, 프로세서(120)는 상기 제1 검색 범위 또는 상기 제2 검색 범위에 해당하는 정보를 제3 표시 영역에 표시하거나, 상기 제1 표시 영역 또는 상기 제2 표시 영역에 상기 제3 검색 범위에서 획득한 정보를 표시할 수 있다. 프로세서(120)는 상기 제3 검색 범위에서 획득된 정보가 없는 경우, 제3 검색 범위에 대응하는 제3 표시 영역에 다른 검색 범위에 해당하는 정보를 표시하도록 제어할 수 있다. 예를 들어, 프로세서(120)는 상기 제3 표시 영역에 상기 제1 검색 범위에서 획득된 정보를 표시하거나, 상기 제2 검색 범위에서 획득된 정보를 표시할 수 있다. 또는, 상기 제1 검색 범위 또는 상기 제2 검색 범위에서 획득한 정보가 없는 경우, 프로세서(120)는 상기 제1 표시 영역 또는 상기 제2 표시 영역에 상기 제3 검색 범위에서 획득한 정보를 표시할 수 있다. 즉, 프로세서(120)는 표시 영역에 대응하는 검색 범위에서 획득한 정보가 없는 경우, 다른 검색 범위에서 획득한 정보로 대체할 수 있다.
도 8a 및 도 8b는 다양한 실시예들에 따른 전자 장치에서 디스플레이의 확장된 표시 영역 별로 검색된 정보를 표시하는 다른 일례를 도시한 도면들이다.
도 8a를 참조하면, 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))의 프로세서(예: 도 1의 프로세서(120))는 전자 장치(101)가 닫힌 상태에서 플렉서블 디스플레이(예: 도 1의 디스플레이 모듈(160))를 통해 제1 사용자 인터페이스(810)를 표시할 수 있다. 디스플레이 모듈(160)은 제1 영역(예: 도 2a 내지 도 2c의 제1 영역(A1)) 및 제2 영역(예: 도 2a 내지 도 2c의 제2 영역(A2))을 포함할 수 있다. 전자 장치(101)가 닫힌 상태(예: 도 2a)에서, 제1 영역(A1)은 제1 방향(예: 전면)을 향하고, 제2 영역(A2)은 제2 방향(예: 후면)을 향할 수 있다. 제1 사용자 인터페이스(810)는 전자 장치(101)가 포트레이트 모드(예: 세로 방향)일 때 표시하는 사용자 인터페이스의 일례일 수 있다. 제1 사용자 인터페이스(810)는 제1 어플리케이션의 실행 화면(예: 스포츠 게임 어플리케이션)일 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 제1 사용자 인터페이스(810)에서 오브젝트(811)를 선택받고, 선택된 오브젝트(811)와 연관된 검색 정보를 식별할 수 있다. 프로세서(120)는 식별된 검색 정보(831)를 포함하는 제2 사용자 인터페이스(830)를 표시할 수 있다. 식별된 검색 정보(831)는 텍스트, 이미지, 오디오 또는 비디오 중 적어도 하나를 포함할 수 있다. 식별된 검색 정보(831)는 하나 또는 하나 이상의 키워드를 포함할 수 있다. 프로세서(120)는 사용자로부터 식별된 검색 정보(831) 중에서 어느 하나의 검색 정보(832)를 선택받을 수 있다. 제2 사용자 인터페이스(830)는 제1 사용자 인터페이스(810) 위에 식별된 검색 정보(831)가 오버레이하여 표시되는 것일 수 있다. 프로세서(120)는 선택된 검색 정보(832)에 기반하여 검색 범위별 정보를 획득(또는 검색)할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 디스플레이 크기 변경에 기반하여 획득된 정보를 표시 영역별로 구분된 표시할 수 있다. 상기 디스플레이 크기 변경은 닫힌 상태에서 중간 상태 또는 열린 상태로 변경되는 것을 의미할 수 있다. 또는, 상기 디스플레이 크기 변경은 중간 상태에서 열린 상태로 변경되는 것을 의미할 수 있다. 상기 디스플레이 크기는 자동 또는 수동으로 변경될 수 있다. 프로세서(120)는 디스플레이 모듈(160)과 연결된 모터와 같은 구동 장치를 이용하여 전자 장치(101)를 자동으로 닫힌 상태에서 열린 상태로 전환할 수 있다. 또는 프로세서(120)는 사용자 입력에 기반하여 전자 장치(101)를 닫힌 상태에서 중간 상태 또는 열린 상태로 전환할 수 있다. 전자 장치(101)가 열린 상태(예: 도 2b)에서 제1 영역(A1) 및 제2 영역(A2)은 제1 방향(예: 전면)을 향할 수 있다. 전자 장치(101)가 중간 상태(미도시)에서 제1 영역(A1) 및 제2 영역(A2)의 일부는 제1 방향(예: 전면)을 향하고, 제2 영역(A2)의 나머지 일부는 제2 방향(예: 후면)을 향할 수 있다. 제2 영역(A2)은 제1 표시 영역(예: 도 3의 제1 표시 영역(303)), 제2 표시 영역(예: 도 3의 제2 표시 영역(305)) 및 제3 표시 영역(예: 도 3의 제3 표시 영역(307))으로 구분할 수 있다. 제2 영역(A2)은 제1 하우징(예: 도 2a 내지 도 2c의 제1 하우징(210))이 제2 하우징(예: 2a 내지 도 2c의 제2 하우징(230))에 대하여 이동(예: 슬라이드 이동)함에 따라, 제2 하우징(230)의 내부로 수납(예: 슬라이드-인(slide-in) 동작)되거나, 제2 하우징(230)의 외부로 노출(예: 슬라이드-아웃(slide-out) 동작)될 수 있다.
도 8b를 참조하면, 프로세서(120)는 전자 장치(101)가 중간 상태에서 제1 영역(A1)에 제1 사용자 인터페이스(810)를 표시하고, 제2 영역(A2)의 제1 표시 영역(303)에 획득된 정보(851)를 표시하는 제3 사용자 인터페이스(850)를 표시할 수 있다. 프로세서(120)는 제1 영역(A1)에 제1 사용자 인터페이스(810)의 표시를 유지한 상태에서 디스플레이 크기를 변경하여 제1 표시 영역(303)에 획득된 정보(851)를 표시할 수 있다. 프로세서(120)는 디스플레이 모듈(160)을 중간 상태로 전환하여 제2 영역(A2)의 제1 표시 영역(303)만큼 전자 장치(101)의 전면을 통해 노출되도록 제어할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 획득된 정보(851)에 기반하여 제2 하우징(230)으로부터 제1 하우징(210)을 얼마나 이동할 지 여부를 결정할 수 있다. 예를 들어, 프로세서(120)는 획득된 정보(851)가 제1 검색 범위에서만 획득되는 경우, 모터를 구동하여 제1 검색 범위에 해당하는 제1 표시 영역(303)만 전자 장치(101)의 전면을 통해 노출되도록 제어하고, 제1 표시 영역(303)에 획득된 정보(851)를 표시할 수 있다. 프로세서(120)는 획득된 정보(851)가 제1 검색 범위에서만 획득되는 경우, 제2 영역(A2)의 일부만 전자 장치(101)의 전면을 통해 노출되도록 제어할 수 있다. 프로세서(120)는 획득된 정보(851)가 제1 검색 범위 및 제2 검색 범위에서만 획득되는 경우, 제1 검색 범위에 해당하는 제1 표시 영역(303) 및 제2 검색 범위에 해당하는 제2 표시 영역(305)만 전자 장치(101)의 전면을 통해 노출되도록 제어하고, 제1 표시 영역(303) 및 제2 표시 영역(305)에 획득된 정보를 표시할 수 있다.
프로세서(120)는 획득된 정보(851)가 제1 검색 범위 및 제2 검색 범위에서만 획득되는 경우, 제2 영역(A2)의 일부만 전자 장치(101)의 전면을 통해 노출되도록 제어할 수 있다. 프로세서(120)는 획득된 정보(851)가 제1 검색 범위 내지 제3 검색 범위에서 획득되는 경우, 제1 표시 영역(303) 내지 제3 표시 영역(307)이 이 전자 장치(101)의 전면을 통해 노출되도록 제어하고, 제1 표시 영역(303) 내지 제3 표시 영역(307)에 획득된 정보를 표시할 수 있다. 프로세서(120)는 획득된 정보(851)가 제1 검색 범위 내지 제3 검색 범위에서 획득되는 경우, 제2 영역(A2)의 전체가 전자 장치(101)의 전면을 통해 노출되도록 제어할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 획득된 정보(851)가 제1 검색 범위에서만 획득되더라도, 제2 영역(A2)의 전체가 전자 장치(101)의 전면을 통해 노출되도록 제어하고, 제4 사용자 인터페이스(870)를 제공할 수 있다. 제4 사용자 인터페이스(870)는 전자 장치(101)가 열린 상태에서 제1 영역(A1)에 제1 사용자 인터페이스(810)를 표시하고, 제2 영역(A2)의 제1 표시 영역(303)에 제1 획득된 정보(871)를 표시하고, 제2 영역(A2)의 제2 표시 영역(305) 및 제3 표시 영역(307)에 제2 획득된 정보(873)를 표시하는 것일 수 있다. 제1 획득된 정보(871) 및 제2 획득된 정보(873)는 제1 검색 범위에서 획득된 정보일 수 있다. 프로세서(120)는 제2 검색 범위 또는 제3 검색 범위에서 획득된 정보가 없는 경우, 제2 검색 범위에 대응하는 제2 표시 영역(305) 및 제3 검색 범위에 대응하는 제3 표시 영역(307)에 제1 검색 범위에 대응하는 제2 획득된 정보(873)를 표시할 수 있다.
도 9는 다양한 실시예들에 따른 전자 장치의 사용자 인터페이스 제어 방법을 도시한 흐름도(900)이다.
도 9를 참조하면, 동작 901에서, 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))의 프로세서(예: 도 1의 프로세서(120))는 플렉서블 디스플레이(예: 도 1의 디스플레이 모듈(160))를 통해 제2 사용자 인터페이스에서 사용자 입력을 검출할 수 있다. 디스플레이 모듈(160)은 제1 영역(예: 도 2a 내지 도 2c의 제1 영역(A1)) 및 제2 영역(예: 도 2a 내지 도 2c의 제2 영역(A2))을 포함할 수 있다. 전자 장치(101)가 닫힌 상태(예: 도 2a)에서, 제1 영역(A1)은 제1 방향(예: 전면)을 향하고, 제2 영역(A2)은 제2 방향(예: 후면)을 향할 수 있다. 전자 장치(101)가 중간 상태에서, 제1 영역(A1)은 제1 방향(예: 전면)을 향하고, 제2 영역(A2)의 일부는 제1 방향(예: 전면)을 향하고, 제2 영역(A2)의 다른 일부는 제2 방향(예: 후면)을 할 수 있다. 전자 장치(101)가 열린 상태에서, 제1 영역(A1) 및 제2 영역(A2)은 제1 방향(예: 전면)을 향할 수 있다.
상기 제2 사용자 인터페이스는 전자 장치(101)가 중간 상태 또는 열린 상태인 경우, 디스플레이 모듈(160)을 통해 표시될 수 있다. 예를 들어, 상기 제2 사용자 인터페이스는 제1 영역(A1)에 제1 어플리케이션의 실행 화면(예: 제1 사용자 인터페이스)을 표시하고, 제2 영역(A2) 또는 제2 영역(A2)의 일부에 획득된 정보를 표시한 것일 수 있다. 상기 획득된 정보는 하나 또는 하나 이상의 어플리케이션의 실행 화면을 포함할 수 있다. 예를 들어, 프로세서(120)는 제1 영역(A1)에 제1 어플리케이션의 실행 화면을 표시하고, 제2 영역(A2) 또는 제2 영역(A2)의 일부에 제2 어플리케이션의 실행 화면 또는 제3 어플리케이션의 실행 화면을 표시할 수 있다. 상기 사용자 입력은 상기 제1 내지 상기 제3 어플리케이션의 실행 화면에서 검출될 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 제2 영역(A2) 또는 제2 영역(A2)의 일부에 표시되지 않은 정보가 표시될 수 있도록 스크롤 바를 제공할 수 있다. 상기 스크롤 바는 제2 영역(A2)에 포함되는 제1 표시 영역(303) 내지 제3 표시 영역(307)에 표시될 수 있다.
동작 903에서, 프로세서(120)는 상기 사용자 입력이 검색 범위 변경을 요청한 것인지 판단할 수 있다. 상기 검색 범위 변경 요청은 제2 영역(A2) 또는 제2 영역(A2)의 일부에 표시되지 않은 정보가 표시되도록 하는 것일 수 있다. 예를 들어, 제2 영역(A2)의 제1 표시 영역(303)만 전자 장치(101)의 전면을 통해 노출되는 경우, 프로세서(120)는 제1 표시 영역(303)에 스크롤 바를 제공할 수 있다. 프로세서(120)는 사용자로부터 스크롤 바가 선택되고, 스크롤되면 제1 표시 영역(303)에 제2 표시 영역(305)에 표시할 제2 정보 또는 제3 표시 영역(307)에 표시할 제3 정보가 표시될 수 있도록 제어할 수 있다. 프로세서(120)는 상기 사용자 입력이 검색 범위 변경 요청인 경우 동작 905를 수행하고, 상기 사용자 입력이 검색 범위 변경 요청이 아닌 경우, 동작 907을 수행할 수 있다.
상기 사용자 입력이 검색 범위 변경 요청인 경우 동작 905에서, 프로세서(120)는 변경된 검색 범위에 해당하는 정보를 제2 사용자 인터페이스에 표시할 수 있다. 예를 들어, 프로세서(120)는 제2 영역(A2)의 제1 표시 영역(303)만 전자 장치(101)의 전면을 통해 노출된 상태(예: 제1 중간 상태)에서 스크롤 바가 스크롤되면, 제1 표시 영역(303)을 통해 제2 표시 영역(305)에 표시할 제2 정보 또는 제3 표시 영역(307)에 표시할 제3 정보가 표시될 수 있도록 제어할 수 있다. 또는, 프로세서(120)는 제2 영역(A2)의 제1 표시 영역(303) 및 제2 표시 영역(305)만 전자 장치(101)의 전면을 통해 노출된 상태(예: 제2 중간 상태)에서 스크롤 바가 스크롤되면, 제1 표시 영역(303) 및 제2 표시 영역(305)을 통해 제3 표시 영역(307)에 표시할 제3 정보가 표시될 수 있도록 제어할 수 있다. 프로세서(120)는 제2 영역(A2)의 제1 표시 영역(303) 내지 제3 표시 영역(307)이 전자 장치(101)의 전면을 통해 노출된 상태(예: 열린 상태)에서 스크롤 바가 스크롤되면, 제1 표시 영역(303) 내지 제3 표시 영역(307)을 통해 획득된 다른 정보가 표시될 수 있도록 제어할 수 있다.
상기 사용자 입력이 검색 범위 변경 요청이 아닌 경우, 동작 907에서, 프로세서(120)는 상기 사용자 입력이 제1 사용자 인터페이스에 반영하는 것인지 판단할 수 있다. 예를 들어, 상기 제1 사용자 인터페이스에 표시된 제1 어플리케이션이 편집 어플리케이션인 경우, 상기 사용자 입력에 의해 선택된 오브젝트를 상기 제1 어플리케이션에 반영할 수 있다. 프로세서(120)는 상기 사용자 입력이 제1 사용자 인터페이스에 반영하는 것인 경우 동작 909를 수행하고, 상기 사용자 입력이 제1 사용자 인터페이스에 반영하는 것이 아닌 경우 동작 911을 수행할 수 있다.
사용자 입력이 제1 사용자 인터페이스에 반영하는 것인 경우 동작 909에서, 프로세서(120)는 제2 사용자 인터페이스에 포함된 정보를 제1 사용자 인터페이스에 반영할 수 있다. 예를 들어, 상기 제1 사용자 인터페이스에 표시된 제1 어플리케이션이 편집 어플리케이션인 경우, 상기 제2 사용자 인터페이스에 포함된 정보 중 상기 사용자 입력에 의해 선택된 오브젝트를 상기 제1 어플리케이션에 반영할 수 있다. 프로세서(120)는 선택된 오브젝트를 상기 제1 어플리케이션에 반영하여 컨텐츠를 편집 또는 생성할 수 있다.
상기 사용자 입력이 검색 범위 변경 요청이 아니고, 상기 제1 사용자 인터페이스에 반영하는 것이 아닌 경우 동작 911에서, 프로세서(120)는 해당 기능을 수행할 수 있다. 예를 들어, 프로세서(120)는 제2 사용자 인터페이스에 표시된 정보를 스크롤하는 사용자 입력을 검출할 수 있다. 상기 사용자 입력은 검색 범위 변경이 아니라, 제2 사용자 인터페이스에 표시되지 않은 다른 정보를 보기 위한 스크롤 입력일 수 있다. 상기 제2 사용자 인터페이스에 제1 검색 범위의 제1 어플리케이션에 해당하는 정보가 표시된 경우, 프로세서(120)는 상기 제1 어플리케이션에 해당하는 다른 정보를 표시할 수 있다. 프로세서(120)는 상기 제1 검색 범위의 제1 어플리케이션에 해당하는 정보 중 상기 제2 사용자 인터페이스에 표시되지 않은 다른 정보를 더 표시할 수 있다.
도 10a 내지 도 10d는 다양한 실시예들에 따른 제2 사용자 인터페이스를 제어하는 일례를 도시한 도면들이다.
도 10a를 참조하면, 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))의 프로세서(예: 도 1의 프로세서(120))는 플렉서블 디스플레이(예: 도 1의 디스플레이 모듈(160))를 통해 제1 사용자 인터페이스(1001) 및 제2 사용자 인터페이스를 포함하는 제3 사용자 인터페이스(1010)를 제공할 수 있다. 디스플레이 모듈(160)은 제1 영역(예: 도 2a 내지 도 2c의 제1 영역(A1)) 및 제2 영역(예: 도 2a 내지 도 2c의 제2 영역(A2))을 포함할 수 있다. 전자 장치(101)가 열린 상태(예: 도 2b)에서, 제1 영역(A1) 및 제2 영역(A2)은 제1 방향(예: 전면)을 향할 수 있다. 제2 영역(A2)은 확장된 표시 영역으로, 제1 표시 영역(예: 도 3의 제1 표시 영역(303)), 제2 표시 영역(예: 도 3의 제2 표시 영역(305)) 및 제3 표시 영역(예: 도 3의 제3 표시 영역(307))으로 구분할 수 있다.
제1 사용자 인터페이스(1001)는 제1 어플리케이션의 실행 화면일 수 있다. 상기 제2 사용자 인터페이스는 획득된 정보를 표시하는 것으로, 예를 들어, 제1 표시 영역(303)에 제1 정보(1011)를 표시하고, 제2 표시 영역(305)에 제2 정보(1013)를 표시하고, 제3 표시 영역(307)에 제1 정보(1015)를 표시하는 것일 수 있다. 제1 정보(1011)는 제1 검색 범위에서 획득(또는 검색)된 정보로서, 예를 들어, 전자 장치(101)에 저장된 정보 중 제2 어플리케이션에서 검색된 정보일 수 있다. 제2 정보(1013)는 제2 검색 범위에서 획득(또는 검색)된 정보로서, 예를 들어, 사용자 계정과 연관된 정보 중 제3 어플리케이션에서 검색된 정보일 수 있다. 제3 정보(1015)는 제3 검색 범위에서 획득(또는 검색)된 정보로서, 예를 들어, 외부 검색 엔진에서 검색된 정보 중 제4 어플리케이션에서 검색된 정보일 수 있다.
제3 사용자 인터페이스(1010)는 전자 장치(101)가 열린 상태에서 제1 영역(A1)에 제1 사용자 인터페이스(1001)를 표시하고, 제2 영역(A2)에 제2 사용자 인터페이스를 표시하는 것일 수 있다. 프로세서(120)는 제1 표시 영역(303)에 표시된 제2 어플리케이션의 실행 화면에서 사용자 입력(1017)을 검출할 수 있다. 사용자 입력(1017)은 스크롤 입력으로, 제2 어플리케이션에서 검색된 정보 중 제1 표시 영역(303)에 표시되지 않은 정보를 표시하기 위한 것일 수 있다. 프로세서(120)는 사용자 입력(1017)에 기반하여 제2 어플리케이션에서 검색된 다른 정보를 제1 표시 영역(303)에 표시할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 검색 범위(예: My device, My account, My app)에 포함된 스크롤 바 또는 어플리케이션 이름(예: Gxx, You00, Hoo)이 표시된 선택 항목이 사용자로부터 선택되면, 현재 표시되지 않은 검색 범위 또는 다른 어플리케이션에서 추가적으로 정보를 획득하여 표시할 수 있다.
도 10b를 참조하면, 프로세서(120)는 전자 장치(101)가 중간 상태로 전환되어 제1 표시 영역(303)만 전면에 노출된 경우, 제1 사용자 인터페이스(1001) 및 제2 사용자 인터페이스를 포함하는 제4 사용자 인터페이스(1030)를 제공할 수 있다. 제4 사용자 인터페이스(1030)는 전자 장치(101)가 중간 상태에서 제1 영역(A1)에 제1 사용자 인터페이스(1001)를 표시하고, 제2 영역(A2)의 일부(예: 제1 표시 영역(303))에 제2 사용자 인터페이스를 표시하는 것일 수 있다. 상기 제2 사용자 인터페이스는 제1 표시 영역(303)에 획득된 정보를 표시하는 것일 수 있다. 프로세서(120)는 제1 표시 영역(303)에 스크롤 바(1033)를 제공할 수 있다. 스크롤 바(1033)는 전자 장치(101)의 전면을 통해 노출되지 않은 제2 표시 영역(305) 및 제3 표시 영역(307)에 표시하는 정보가 노출될 수 있도록 하기 위한 것일 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 제4 사용자 인터페이스(1030)에서 스크롤 바(1033)를 선택하는 사용자 입력(1031)을 검출할 수 있다. 프로세서(120)는 스크롤 바(1033)를 선택하는 사용자 입력(1031)이 검출되면, 전자 장치(101)의 디스플레이 크기를 변경할 수 잇다. 예를 들어, 프로세서(120)는 디스플레이 모듈(160)과 연결된 모터를 구동하여 전자 장치(101)를 열린 상태로 전환(또는 변경)할 수 있다. 프로세서(120)는 전자 장치(101)를 열린 상태로 변경하고, 제5 사용자 인터페이스(1050)를 제공할 수 있다. 다양한 실시예들에 따르면, 프로세서(120)는 스크롤 바(1033)를 선택하는 사용자 입력(1031)이 검출되면, 현재 표시되지 않은 검색 범위 또는 다른 어플리케이션에서 추가적으로 정보를 획득하여 표시할 수 있다. 프로세서(120)는 추가로 획득한 정보를 표시하기 위해 디스플레이 모듈(160)과 연결된 모터를 구동하여 전자 장치(101)를 열린 상태로 전환(또는 변경)할 수 있다.
제5 사용자 인터페이스(1050)는 전자 장치(101)가 열린 상태에서 제1 영역(A1)에 제1 사용자 인터페이스(1001)를 표시하고, 제2 영역(A2)에 제2 사용자 인터페이스를 표시하는 것일 수 있다. 상기 제2 사용자 인터페이스는 제1 표시 영역(303)에 제1 정보(1051)를 표시하고, 제2 표시 영역(305)에 제2 정보(1053)를 표시하고, 제3 표시 영역(307)에 제1 정보(1055)를 표시하는 것일 수 있다. 제1 정보(1051)는 제1 검색 범위에서 획득(또는 검색)된 정보로서, 예를 들어, 전자 장치(101)에 저장된 정보 중 제2 어플리케이션에서 검색된 정보일 수 있다. 제2 정보(1053)는 제2 검색 범위에서 획득(또는 검색)된 정보로서, 예를 들어, 사용자 계정과 연관된 정보 중 제3 어플리케이션에서 검색된 정보일 수 있다. 제3 정보(1055)는 제3 검색 범위에서 획득(또는 검색)된 정보로서, 예를 들어, 외부 검색 엔진에서 검색된 정보 중 제4 어플리케이션에서 검색된 정보일 수 있다. 프로세서(120)는 제5 사용자 인터페이스(1050)를 통해 스크롤 바(1057)를 제공할 수 있다. 프로세서(120)는 스크롤 바(1057)가 스크롤되면, 제1 표시 영역(303) 내지 제3 표시 영역(307) 중 어느 하나에 획득된 다른 정보를 표시하거나, 적합한 검색 범위에서 추가로 획득한 정보(예: 새로운 제n 표시 영역)를 표시할 수 있다.
도 10c를 참조하면, 프로세서(120)는 전자 장치(101)가 중간 상태로 전환되어 제1 표시 영역(303)만 전면에 노출된 경우, 제1 사용자 인터페이스(1007) 및 제2 사용자 인터페이스(1071)를 포함하는 제6 사용자 인터페이스(1070)를 제공할 수 있다. 제6 사용자 인터페이스(1070)는 전자 장치(101)가 중간 상태에서 제1 영역(A1)에 제1 사용자 인터페이스(1007)를 표시하고, 제2 영역(A2)의 일부(예: 제1 표시 영역(303))에 제2 사용자 인터페이스(1071)를 표시하는 것일 수 있다. 제2 사용자 인터페이스(1071)는 제2 어플리케이션의 실행 화면에 해당할 수 있다. 프로세서(120)는 제2 사용자 인터페이스(1071)를 통해 선택 항목(1073)을 제공할 수 있다. 선택 항목(1073)은 제1 검색 범위에 해당하는 정보 중에서 제1 표시 영역(303)에 표시되지 않은 다른 어플리케이션에서 획득된 항목을 표시하기 위한 것일 수 있다.
프로세서(120)는 선택 항목(1073)이 선택되면, 제1 검색 범위에서 검색된 어플리케이션 리스트를 제공할 수 잇다. 사용자는 어플리케이션 리스트에서 제1 표시 영역(303)에 표시할 어플리케이션을 선택할 수 있다. 예를 들어, 선택 항목(1073)을 선택하는 사용자 입력은 롱 프레스일 수 있다. 프로세서(120)는 선택된 어플리케이션의 실행 화면을 포함하는 제7 사용자 인터페이스(1090)를 제공할 수 있다. 제7 사용자 인터페이스(1090)는 전자 장치(101)가 중간 상태에서 제1 영역(A1)에 제1 사용자 인터페이스(1007)를 표시하고, 제2 영역(A2)의 일부(예: 제1 표시 영역(303))에 제8 사용자 인터페이스(1091)를 표시하는 것일 수 있다. 제8 사용자 인터페이스(1091)는 제3 어플리케이션의 실행 화면에 해당할 수 있다. 프로세서(120)는 제2 사용자 인터페이스(1071)를 통해 선택 항목(1073)을 선택하더라도, 제1 사용자 인터페이스(1007)의 표시를 유지한 상태에서 제8 사용자 인터페이스(1091)를 표시할 수 있다. 프로세서(120)는 제1 영역(A1)에 표시하는 어플리케이션을 유지한 상태에서 제1 표시 영역(303)에 표시하는 어플리케이션을 변경하여 표시할 수 있다.
도 10d를 참조하면, 프로세서(120)는 전자 장치(101)가 중간 상태로 전환되어 제1 표시 영역(303)만 전면에 노출된 경우, 제1 사용자 인터페이스(1001) 및 제2 사용자 인터페이스를 포함하는 제4 사용자 인터페이스(1030)를 제공할 수 있다. 제4 사용자 인터페이스(1030)는 전자 장치(101)가 중간 상태에서 제1 영역(A1)에 제1 사용자 인터페이스(1001)를 표시하고, 제2 영역(A2)의 일부(예: 제1 표시 영역(303))에 제2 사용자 인터페이스를 표시하는 것일 수 있다. 상기 제2 사용자 인터페이스는 제1 표시 영역(303)에 획득된 정보를 표시하는 것일 수 있다. 상기 획득한 정보는 제1 검색 범위에서 획득(또는 검색)된 정보로서, 예를 들어, 전자 장치(101)에 저장된 정보 중 제2 어플리케이션에서 검색된 정보일 수 있다.
프로세서(120)는 제4 사용자 인터페이스(1030)에서 선택 항목(1091)을 선택하는 사용자 입력(1033)을 검출할 수 있다. 예를 들어, 선택 항목(1073)을 선택하는 사용자 입력(1033)은 탭 입력(또는 터치 입력)일 수 있다. 도 10d에서의 사용자 입력(1033)은 도 10c에서 검출된 사용자 입력과 구별될 수 있다. 프로세서(120)는 선택 항목(1091)을 선택하는 사용자 입력(1033)이 검출되면, 전자 장치(101)의 디스플레이 크기를 변경할 수 있다. 프로세서(120)는 전자 장치(101)를 열린 상태로 변경하고, 제8 사용자 인터페이스(1095)를 제공할 수 있다. 제8 사용자 인터페이스(1095)는 상기 제2 어플리케이션에서 추가적으로 획득한 정보를 더 포함할 수 있다. 제8 사용자 인터페이스(1095)는 제1 영역(A1)에 제1 사용자 인터페이스(1007)를 표시하고, 제2 영역(A2)(예: 제1 표시 영역(303) 내지 제3 표시 영역(307))에 제9 사용자 인터페이스(1097)를 표시하는 것일 수 있다. 제9 사용자 인터페이스(1097)는 상기 제2 어플리케이션에서 검색된 제1 정보를 포함할 수 있다.
도 11a 내지 도 11c는 다양한 실시예들에 따른 제1 또는 제2 사용자 인터페이스를 제어하는 일례를 도시한 도면들이다.
도 11a를 참조하면, 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))의 프로세서(예: 도 1의 프로세서(120))는 플렉서블 디스플레이(예: 도 1의 디스플레이 모듈(160))를 통해 제1 사용자 인터페이스(1110)를 표시할 수 있다. 디스플레이 모듈(160)은 제1 영역(예: 도 2a 내지 도 2c의 제1 영역(A1)) 및 제2 영역(예: 도 2a 내지 도 2c의 제2 영역(A2))을 포함할 수 있다. 전자 장치(101)가 중간 상태(미도시)에서 제1 영역(A1) 및 제2 영역(A2)의 일부는 제1 방향(예: 전면)을 향하고, 제2 영역(A2)의 나머지 일부는 제2 방향(예: 후면)을 향할 수 있다. 제1 사용자 인터페이스(1110)는 전자 장치(101)가 중간 상태일 때, 제1 영역(A2)에 제1 어플리케이션의 실행 화면(1111)을 표시하고, 제2 영역(A2)의 일부(예: 제1 표시 영역(303) 및 제2 표시 영역(305))에 제2 및 제3 어플리케이션의 실행 화면(1113)을 표시하는 것일 수 있다. 프로세서(120)는 제2 영역(A2)에서 검출된 사용자 입력이 제1 영역(A1)으로 이동하는 경우, 제1 영역(A2)에 표시한 제1 어플리케이션에 반영할 수 있다.
다양한 실시예들에 따르면, 프로세서(120)는 제2 및 제3 어플리케이션의 실행 화면(1113)에서 오브젝트(1115)를 선택한 사용자 입력이 제1 영역(A1)으로 이동(예: 드래그)하는 것을 검출할 수 있다. 오브젝트(1115)는 제2 및 제3 어플리케이션의 실행 화면(1113)에 포함된 텍스트, 이미지, 오디오 또는 비디오 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 제1 어플리케이션이 편집 어플리케이션인 경우, 프로세서(120)는 제2 영역(A1)에서 선택된 오브젝트(1115)가 제1 영역(A1)으로 이동하는 경우, 선택된 오브젝트(1115)를 제1 어플리케이션에 반영한 제2 사용자 인터페이스(1120)를 제공할 수 있다. 프로세서(120)는 선택된 오브젝트(1115)에 대한 정보를 추출하여 제1 어플리케이션에 반영할 수 있다. 제2 사용자 인터페이스(1120)는 전자 장치(101)가 중간 상태일 때, 제1 영역(A2)에 선택된 오브젝트(1115)가 반영된 제1 어플리케이션의 실행 화면(1121)을 표시하고, 제2 영역(A2)의 일부에 제2 및 제3 어플리케이션의 실행 화면(1123)을 표시하는 것일 수 있다. 프로세서(120)는 제2 및 제3 어플리케이션의 실행 화면(1123)에서 오브젝트(1125)를 선택한 사용자 입력이 제1 영역(A1)으로 이동(예: 드래그)하는 것을 검출할 수 있다.
도 11b를 참조하면, 프로세서(120)는 선택된 오브젝트의 검색 정보(1131)를 포함하는 제3 사용자 인터페이스(1130)를 표시할 수 있다. 전자 장치(101)가 닫힌 상태(예: 도 2a)에서, 제1 영역(A1)은 제1 방향(예: 전면)을 향하고, 제2 영역(A2)은 제2 방향(예: 후면)을 향할 수 있다. 제3 사용자 인터페이스(1130)는 전자 장치(101)가 닫힌 상태에서, 제1 어플리케이션의 실행 화면에서 사용자로부터 선택된 오브젝트로부터 추출된 검색 정보(1131)를 제1 영역(A1)에 표시하는 것일 수 있다. 제3 사용자 인터페이스(1130)는 상기 제1 어플리케이션의 실행 화면 위에 검색 정보(1131)를 오버레이하여 표시한 것일 수 있다. 프로세서(120)는 사용자로부터 검색 정보(1131)에서 어느 하나의 검색 정보를 선택받을 수 있다.
프로세서(120)는 디스플레이 모듈(160)의 크기를 변경하고, 제4 사용자 인터페이스(1140)를 표시할 수 있다. 제4 사용자 인터페이스(1140)는 전자 장치(101)가 중간 상태에서, 제1 영역(A1)에 제1 어플리케이션의 실행 화면(1141)을 표시하고, 제2 영역(A2)의 일부(예: 제1 표시 영역(303))에 제2 어플리케이션의 실행 화면(1143)을 표시하는 것일 수 있다. 프로세서(120)는 획득되는 정보에 기반하여 디스플레이 모듈(160)의 크기를 변경할 수 있다. 예를 들어, 프로세서(120)는 선택된 검색 정보에 기반하여 획득된 정보가 제1 검색 범위에 해당하는 경우, 제2 영역(A2)의 제1 표시 영역(303)만 전자 장치(101)의 전면을 통해 노출되도록 제어할 수 있다. 프로세서(120)는 제1 검색 범위에 해당하는 정보만 획득되고, 제2 검색 범위 또는 제3 검색 범위에 해당하는 정보가 획득되지 않는 경우, 제2 영역(A2)의 제1 표시 영역(303)만 전자 장치(101)의 전면을 통해 노출되도록 제어할 수 있다.
도 11c를 참조하면, 프로세서(120)는 제1 검색 범위 및 제2 검색 범위에 해당하는 정보만 획득되고, 제3 검색 범위에 해당하는 정보가 획득되지 않는 경우, 제2 영역(A2)의 제1 표시 영역(303) 및 제2 표시 영역(305)만 전자 장치(101)의 전면을 통해 노출되도록 제어할 수 있다. 프로세서(120)는 디스플레이 모듈(160)의 크기를 변경하고, 제5 사용자 인터페이스(1150)를 표시할 수 있다. 제5 사용자 인터페이스(1150)는 전자 장치(101)가 중간 상태에서, 제1 영역(A1)에 제1 어플리케이션의 실행 화면(1141)을 표시하고, 제2 영역(A2)의 일부(예: 제1 표시 영역(303) 및 제2 표시 영역(305))에 제2 어플리케이션의 실행 화면(1153) 및 제3 어플리케이션 실행 화면(1153)을 표시하는 것일 수 있다. 프로세서(120)는 제3 어플리케이션 실행 화면(1153)에서 사용자 입력(1155)을 검출할 수 있다. 예를 들어, 프로세서(120)는 제3 어플리케이션 실행 화면(1153)에 포함된 정보 중 어느 하나의 오브젝트를 선택하는 사용자 입력(1155)을 검출할 수 있다.
프로세서(120)는 선택된 오브젝트에 대응하는 추가 정보를 포함하는 제6 사용자 인터페이스(1160)를 표시할 수 있다. 제6 사용자 인터페이스(1160)는 전자 장치(101)가 중간 상태에서, 제1 영역(A1)에 제1 어플리케이션의 실행 화면(1141)을 표시하고, 제2 영역(A2)의 일부(예: 제1 표시 영역(303) 및 제2 표시 영역(305))에 선택된 오브젝트에 대응하는 추가 정보(1161)를 표시하는 것일 수 있다.
본 발명의 다양한 실시예들에 따른 제2 하우징(예: 도 2a 내지 도 2c의 제2 하우징(230))으로부터 제1 하우징(예: 도 2a 내지 도 2c의 제1 하우징(210))이 이동 가능하게 형성된 전자 장치(예: 도 1의 전자 장치(101))의 동작 방법은 플렉서블 디스플레이(예: 도 1의 디스플레이 모듈(160))의 제1 영역(예: 도 2a 내지 도 2c의 제1 영역(A1))이 상기 전자 장치의 전면을 통해 외부로 노출된 상태에서 상기 제1 영역을 통해 표시된 제1 사용자 인터페이스에 포함된 오브젝트를 선택하는 사용자 입력을 검출하는 동작, 상기 선택된 오브젝트와 연관된 검색 정보에 기반하여 제1 검색 범위로부터 제1 정보 및 제2 검색 범위로부터 제2 정보를 획득하는 동작, 상기 제2 하우징으로부터 상기 제1 하우징의 이동에 기반하여 상기 플렉서블 디스플레이의 제2 영역 또는 상기 제2 영역과 제3 영역(예: 도 2a 내지 도 2c의 제1 영역(A2))이 외부로 노출되는 것을 감지하는 동작, 및 상기 제1 하우징의 이동에 따라 상기 제2 영역이 외부에 노출된 경우, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하거나, 또는 상기 제1 하우징이 더 이동함에 따라 상기 제2 영역 및 제3 영역이 외부에 노출된 경우, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하고, 상기 제3 영역에 상기 제2 검색 범위에서 획득한 제2 정보를 표시하는 동작을 포함할 수 있다.
상기 제1 검색 범위 또는 상기 제2 검색 범위는, 상기 전자 장치, 상기 전자 장치의 사용자의 계정 또는 외부 검색 엔진 중 적어도 하나를 포함할 수 있다.
상기 방법은 사용자 입력 또는 상기 전자 장치의 설정에 기반하여 상기 제2 영역에 대응하여 상기 제1 검색 범위를 설정하고, 상기 제3 영역에 대응하여 상기 제2 검색 범위를 설정하여 상기 메모리에 저장하는 동작을 더 포함할 수 있다.
상기 표시하는 동작은, 상기 제2 영역에 상기 제1 정보를 제2 사용자 인터페이스로서 표시하거나, 또는 상기 제2 영역에 상기 제1 정보를 포함하고, 상기 제3 영역에 상기 제2 정보를 포함하는 상기 제2 사용자 인터페이스를 표시하는 동작을 포함할 수 있다.
상기 제1 사용자 인터페이스는 상기 제1 영역에 제1 어플리케이션의 실행 화면을 표시하는 것이고, 상기 제2 사용자 인터페이스는 상기 제2 영역에 상기 제1 정보로서 제2 어플리케이션의 실행 화면을 표시하고, 상기 제3 영역에 상기 제2 정보로서 제3 어플리케이션의 실행 화면을 표시하는 것일 수 있다.
상기 표시하는 동작은, 상기 플렉서블 디스플레이의 상기 제1 영역에 상기 제1 사용자 인터페이스의 표시를 유지한 상태에서, 상기 제1 하우징의 이동에 따라 상기 플렉서블 디스플레이의 상기 제2 영역 또는 상기 제2 영역과 상기 제3 영역에 상기 제2 사용자 인터페이스가 표시되도록 제어하는 동작을 포함할 수 있다.
상기 방법은 상기 전자 장치의 표시 방향을 검출하는 동작, 및 상기 전자 장치의 표시 방향이 가로 방향인 경우, 상기 제2 사용자 인터페이스의 레이아웃을 가로 방향으로 구성하고, 상기 전자 장치의 표시 방향이 세로 방향인 경우, 상기 제2 사용자 인터페이스의 레이아웃을 세로 방향으로 구성하는 동작을 더 포함할 수 있다.
상기 방법은, 상기 제1 정보 또는 상기 제2 정보에 포함된 적어도 하나의 오브젝트를 선택하고, 상기 제1 영역으로 이동하는 사용자 입력을 검출하는 동작, 및 상기 사용자 입력에 기반하여 상기 선택된 오브젝트를 상기 제1 사용자 인터페이스에 반영하는 동작을 더 포함할 수 있다.
본 명세서와 도면에 개시된 본 발명의 다양한 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 따라서 본 발명의 범위는 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    제1 하우징 및 제2 하우징; 상기 제1 하우징은 상기 제2 하우징으로부터 이동 가능하게 형성되고,
    제1 영역과, 상기 제2 하우징으로부터 상기 제1 하우징이 이동함에 따라 순차적으로 상기 전자 장치의 전면을 통해 외부로 노출되는 제2 영역 및 제3 영역을 포함하는 플렉서블 디스플레이;
    상기 제2 영역에 대응하여 제1 검색 범위가 설정되고, 상기 제3 영역에 대응하여 제2 검색 범위가 설정된 것을 저장하는 메모리; 및
    상기 플렉서블 디스플레이 및 상기 메모리에 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는,
    상기 플렉서블 디스플레이의 상기 제1 영역이 외부로 노출된 상태에서 상기 제1 영역을 통해 표시된 제1 사용자 인터페이스에 포함된 오브젝트를 선택하는 사용자 입력을 검출하고,
    상기 선택된 오브젝트와 연관된 검색 정보에 기반하여 상기 제1 검색 범위로부터 제1 정보 및 상기 제2 검색 범위로부터 제2 정보를 획득하고,
    상기 제2 하우징으로부터 상기 제1 하우징의 이동에 기반하여 상기 플렉서블 디스플레이의 상기 제2 영역, 또는 상기 제2 영역과 상기 제3 영역이 외부로 노출되는 것을 감지하고,
    상기 제1 하우징의 이동에 따라 상기 제2 영역이 외부에 노출된 경우, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하거나, 또는 상기 제1 하우징이 더 이동함에 따라 상기 제2 영역 및 상기 제3 영역이 외부에 노출된 경우, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하고, 상기 제3 영역에 상기 제2 검색 범위에서 획득한 제2 정보를 표시하는 전자 장치.
  2. 제1항에 있어서, 상기 제1 검색 범위 또는 상기 제2 검색 범위는,
    상기 전자 장치, 상기 전자 장치의 사용자의 계정 또는 외부 검색 엔진 중 적어도 하나를 포함하는 전자 장치.
  3. 제1항에 있어서,
    상기 프로세서는,
    사용자 입력 또는 상기 전자 장치의 설정에 기반하여 상기 제2 영역에 대응하여 상기 제1 검색 범위를 설정하고, 상기 제3 영역에 대응하여 상기 제2 검색 범위를 설정하여 상기 메모리에 저장하는 전자 장치.
  4. 제1항에 있어서, 상기 프로세서는,
    상기 제2 영역에 상기 제1 정보를 제2 사용자 인터페이스로서 표시하거나, 또는 상기 제2 영역에 상기 제1 정보를 포함하고, 상기 제3 영역에 상기 제2 정보를 포함하는 상기 제2 사용자 인터페이스를 표시하는 것인 전자 장치.
  5. 제4항에 있어서,
    상기 제1 사용자 인터페이스는 상기 제1 영역에 제1 어플리케이션의 실행 화면을 표시하는 것이고,
    상기 제2 사용자 인터페이스는 상기 제2 영역에 상기 제1 정보로서 제2 어플리케이션의 실행 화면을 표시하고, 상기 제3 영역에 상기 제2 정보로서 제3 어플리케이션의 실행 화면을 표시하는 것인 전자 장치.
  6. 제5항에 있어서, 상기 프로세서는,
    상기 플렉서블 디스플레이의 상기 제1 영역에 상기 제1 사용자 인터페이스의 표시를 유지한 상태에서, 상기 제1 하우징의 이동에 따라 상기 플렉서블 디스플레이의 상기 제2 영역, 또는 상기 제2 영역과 상기 제3 영역에 상기 제2 사용자 인터페이스가 표시되도록 제어하는 전자 장치.
  7. 제4항에 있어서, 상기 프로세서는,
    상기 전자 장치의 표시 방향을 검출하고,
    상기 전자 장치의 표시 방향이 가로 방향인 경우, 상기 제2 사용자 인터페이스의 레이아웃을 가로 방향으로 구성하고,
    상기 전자 장치의 표시 방향이 세로 방향인 경우, 상기 제2 사용자 인터페이스의 레이아웃을 세로 방향으로 구성하도록 설정된 전자 장치.
  8. 제4항에 있어서, 상기 프로세서는,
    사용자 입력에 기반하여, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 다른 정보인 제4 어플리케이션의 실행 화면을 표시하도록 설정된 전자 장치.
  9. 제1항에 있어서, 상기 프로세서는,
    상기 제1 검색 범위에서 상기 제1 정보를 획득하지 못한 경우, 상기 제1 정보 대신에 상기 제2 검색 범위에서 획득한 제2 정보를 표시하도록 설정된 전자 장치.
  10. 제1항에 있어서, 상기 프로세서는,
    상기 선택된 오브젝트로부터 검색 정보를 식별하고,
    상기 식별된 검색 정보를 상기 제1 영역에 표시하고,
    상기 표시된 검색 정보에서 어느 하나의 검색 정보를 선택하고,
    상기 선택된 검색 정보에 기반하여 검색 범위별 정보를 획득하도록 설정된 전자 장치.
  11. 제1항에 있어서, 상기 프로세서는,
    상기 제1 정보 또는 상기 제2 정보에 포함된 적어도 하나의 오브젝트를 선택하고, 상기 제1 영역으로 이동하는 사용자 입력을 검출하고,
    상기 사용자 입력에 기반하여 상기 선택된 오브젝트를 상기 제1 사용자 인터페이스에 반영하도록 설정된 전자 장치.
  12. 제1항에 있어서, 상기 프로세서는,
    상기 획득되는 정보에 기반하여 상기 플렉서블 디스플레이의 상기 제2 영역이 외부로 노출되도록 제어하거나, 상기 플렉서블 디스플레이의 상기 제2 영역 및 상기 제3 영역이 외부에 노출되도록 제어하도록 설정된 전자 장치.
  13. 제1 하우징이 제2 하우징으로부터 이동 가능하게 형성된 전자 장치의 동작 방법에 있어서,
    상기 플렉서블 디스플레이의 제1 영역이 상기 전자 장치의 전면을 통해 외부로 노출된 상태에서 상기 제1 영역을 통해 표시된 제1 사용자 인터페이스에 포함된 오브젝트를 선택하는 사용자 입력을 검출하는 동작;
    상기 선택된 오브젝트와 연관된 검색 정보에 기반하여 제1 검색 범위로부터 제1 정보 및 제2 검색 범위로부터 제2 정보를 획득하는 동작;
    상기 제2 하우징으로부터 상기 제1 하우징의 이동에 기반하여 상기 플렉서블 디스플레이의 제2 영역, 또는 상기 제2 영역과 제3 영역이 외부로 노출되는 것을 감지하는 동작; 및
    상기 제1 하우징의 이동에 따라 상기 제2 영역이 외부에 노출된 경우, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하거나, 또는 상기 제1 하우징이 더 이동함에 따라 상기 제2 영역 및 제3 영역이 외부에 노출된 경우, 상기 제2 영역에 상기 제1 검색 범위에서 획득한 제1 정보를 표시하고, 상기 제3 영역에 상기 제2 검색 범위에서 획득한 제2 정보를 표시하는 동작을 포함하는 방법.
  14. 제13항에 있어서, 상기 제1 검색 범위 또는 상기 제2 검색 범위는,
    상기 전자 장치, 상기 전자 장치의 사용자의 계정 또는 외부 검색 엔진 중 적어도 하나를 포함하는 방법.
  15. 제13항에 있어서,
    사용자 입력 또는 상기 전자 장치의 설정에 기반하여 상기 제2 영역에 대응하여 상기 제1 검색 범위를 설정하고, 상기 제3 영역에 대응하여 상기 제2 검색 범위를 설정하여 상기 메모리에 저장하는 동작을 더 포함하는 방법.
PCT/KR2021/013446 2020-11-30 2021-09-30 플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치 WO2022114495A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2020-0164794 2020-11-30
KR20200164794 2020-11-30
KR1020200177517A KR20220076246A (ko) 2020-11-30 2020-12-17 플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치
KR10-2020-0177517 2020-12-17

Publications (1)

Publication Number Publication Date
WO2022114495A1 true WO2022114495A1 (ko) 2022-06-02

Family

ID=81755221

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/013446 WO2022114495A1 (ko) 2020-11-30 2021-09-30 플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치

Country Status (1)

Country Link
WO (1) WO2022114495A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128208A (ko) * 2013-04-26 2014-11-05 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
KR20160139320A (ko) * 2015-05-27 2016-12-07 엘지전자 주식회사 변형 가능한 디스플레이 장치 및 그의 동작 방법
KR20170000553A (ko) * 2015-06-24 2017-01-03 삼성전자주식회사 디스플레이의 확장 영역에 대한 사용 알림 제공 방법 및 이를 지원하는 전자 장치
KR20170050270A (ko) * 2015-10-30 2017-05-11 엘지전자 주식회사 롤러블 이동 단말기 및 그 제어 방법
KR20190013390A (ko) * 2017-08-01 2019-02-11 삼성전자주식회사 전자 장치 및 이의 검색 결과 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140128208A (ko) * 2013-04-26 2014-11-05 삼성전자주식회사 사용자 단말 장치 및 그 제어 방법
KR20160139320A (ko) * 2015-05-27 2016-12-07 엘지전자 주식회사 변형 가능한 디스플레이 장치 및 그의 동작 방법
KR20170000553A (ko) * 2015-06-24 2017-01-03 삼성전자주식회사 디스플레이의 확장 영역에 대한 사용 알림 제공 방법 및 이를 지원하는 전자 장치
KR20170050270A (ko) * 2015-10-30 2017-05-11 엘지전자 주식회사 롤러블 이동 단말기 및 그 제어 방법
KR20190013390A (ko) * 2017-08-01 2019-02-11 삼성전자주식회사 전자 장치 및 이의 검색 결과 제공 방법

Similar Documents

Publication Publication Date Title
WO2020045927A1 (en) Electronic device and method for generating short cut of quick command
WO2021118061A1 (ko) 전자 장치 및 이를 이용한 레이아웃 구성 방법
WO2019160198A1 (ko) 이동 단말기 및 그 제어방법
WO2020180034A1 (ko) 사용자 선택 기반의 정보를 제공하는 방법 및 장치
WO2023282563A1 (ko) 복수의 터치스크린 디스플레이를 포함하는 전자 장치 및 화면 분할 방법
WO2016039509A1 (ko) 단말기 및 그 동작 방법
EP3039512A1 (en) User device and method for creating handwriting content
WO2023018158A1 (ko) 멀티 윈도우를 지원하는 전자 장치 및 이의 제어 방법
WO2022114495A1 (ko) 플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치
WO2021221385A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022108379A1 (ko) 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법
WO2022154423A1 (ko) 전자 장치 및 전자 장치에서 스타일러스 펜의 입력을 처리하는 방법
WO2022065924A1 (ko) 전자 장치의 이모지 추천 방법 및 그 전자 장치
WO2022085961A1 (ko) 컨텐츠를 출력하는 전자 장치 및 전자 장치의 동작 방법
WO2016200194A1 (ko) 문제 콘텐트 제공 방법 및 디바이스
WO2022114548A1 (ko) 플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치
WO2024034865A1 (ko) 전자 장치 및 전자 장치의 텍스트 기반 컨텐츠 운용 방법
WO2023017992A1 (ko) 전자 장치 및 전자 장치의 컨텐츠 편집 방법
WO2023013883A1 (ko) 사용자 인터페이스를 표시하는 전자 장치와 이의 동작 방법
WO2024054038A1 (ko) 폴더블 전자 장치 및 폴더블 전자 장치의 활용 방법
WO2022086219A1 (ko) 어플리케이션의 실행 화면을 제공하는 전자 장치, 그 동작 방법 및 저장 매체
WO2022080939A1 (ko) 전자 장치 및 전자 장치의 키패드 운영 방법
WO2023195617A1 (ko) 손글씨 동기화 방법 및 전자 장치
WO2023033311A1 (ko) 그래픽 어포던스와 매칭된 기능을 수행하는 전자 장치 및 그 전자 장치의 동작 방법
WO2023132473A1 (ko) 컨텐츠에 기초한 애플리케이션 실행 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21898322

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21898322

Country of ref document: EP

Kind code of ref document: A1