WO2022108379A1 - 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법 - Google Patents

확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법 Download PDF

Info

Publication number
WO2022108379A1
WO2022108379A1 PCT/KR2021/017058 KR2021017058W WO2022108379A1 WO 2022108379 A1 WO2022108379 A1 WO 2022108379A1 KR 2021017058 W KR2021017058 W KR 2021017058W WO 2022108379 A1 WO2022108379 A1 WO 2022108379A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
content
electronic device
area
display area
Prior art date
Application number
PCT/KR2021/017058
Other languages
English (en)
French (fr)
Inventor
천가원
안효인
윤여준
이수정
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2022108379A1 publication Critical patent/WO2022108379A1/ko
Priority to US18/194,090 priority Critical patent/US20230245607A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/03—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays
    • G09G3/035—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays for flexible display surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/453—Help systems
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0442—Handling or displaying different aspect ratios, or changing the aspect ratio
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0464—Positioning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/02—Networking aspects
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/16—Use of wireless transmission of display information

Definitions

  • This document relates to an electronic device, for example, to a method of providing content on a display in an electronic device including an expandable display.
  • Electronic devices such as TVs, tablet PCs, and smart phones may provide a user experience through various applications beyond a unique function such as a broadcast screen output or a call function.
  • the electronic device may provide various multimedia contents through a display, and may provide contents shared by other electronic devices.
  • the electronic device may be equipped with an expandable display, such as a slideable or rollable display.
  • the display of the electronic device When an electronic device is connected to another electronic device to share content, the display of the electronic device outputs the shared content while completely covering the content previously provided by the electronic device, or provides a screen fixed to a specific location on the display; Alternatively, unnecessary black areas may occur.
  • an object of the present invention is to provide an electronic device and a method for providing content that can be arranged.
  • An electronic device includes a display including a main display area and at least one extended display area expandable from the main display area, a communication module, and operatively connected to the display and the communication module a processor, wherein the processor displays first content on the main display area in a state in which the at least one extended display area is not expanded, establishes a connection with an external device through the communication module, and In a state in which one extended display area is expanded, a first area for displaying the first content and a second area for displaying second content based on information received from the external device through the communication module are determined, and the When at least one extended display area is expanded, it may be configured to display the first content on the determined first area and display the second content on the determined second area.
  • the electronic device includes a display including a main display area and at least one extended display area expandable from the main display area, the method comprising: An operation of displaying the first content on the main display area in a state in which the extended display area is not expanded, an operation of establishing a connection with an external device, and displaying the first content in a state in which the at least one extended display area is expanded Determining a first area to be displayed and a second area to display second content based on information received from the external device through the established connection, and when the at least one extended display area is expanded, the determined and displaying the first content in a first area and displaying the second content in the determined second area.
  • an electronic device capable of extending a display for outputting content of an electronic device and shared content, and appropriately disposing each content on the expanded display, and a content providing method.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments of the present disclosure
  • FIG 2 illustrates electronic devices according to various embodiments.
  • 3A to 3D are diagrams illustrating a structure of an expandable display of an electronic device according to various embodiments of the present disclosure
  • 4A to 4E are diagrams illustrating a structure of an expandable display of an electronic device according to various embodiments of the present disclosure
  • FIG. 5 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • FIG. 6 illustrates an electronic device and an external device supporting a screen sharing function according to various embodiments of the present disclosure.
  • FIG. 7A to 7C illustrate regions for displaying content on a display according to various embodiments of the present disclosure.
  • FIG. 8 illustrates a sensor for selecting a region of an electronic device according to various embodiments of the present disclosure.
  • 9A and 9B are diagrams illustrating an interface for setting a screen position of an external device according to various embodiments of the present disclosure.
  • FIGS. 10A, 10B, and 10C are diagrams illustrating an interface for setting a content presentation method in an external device according to various embodiments of the present disclosure.
  • 11A and 11B are flowcharts of a content providing method of an electronic device according to various embodiments of the present disclosure
  • FIG. 12 illustrates an example of providing content of an electronic device and content of an external device on a display of the electronic device according to various embodiments of the present disclosure.
  • FIG. 13 is a diagram illustrating an example of providing content of an electronic device and content of an external device on a display of the electronic device according to various embodiments of the present disclosure.
  • FIG. 14 is a diagram illustrating an example of providing content of an electronic device and content of an external device on a display of the electronic device according to various embodiments of the present disclosure.
  • 15 is a diagram illustrating an example of providing content of an electronic device and content of an external device on a display of the electronic device according to various embodiments of the present disclosure.
  • 16 is a diagram illustrating an example of providing content of an electronic device and content of an external device on a display of the electronic device according to various embodiments of the present disclosure
  • 17 illustrates an example of providing content of an electronic device and content of an external device on a display of the electronic device according to various embodiments of the present disclosure.
  • FIG. 18 illustrates an example of providing content of an electronic device and content of an external device on a display of the electronic device according to various embodiments of the present disclosure.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199
  • the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178
  • may be omitted or one or more other components may be added to the electronic device 101 .
  • some of these components are integrated into one component (eg, display module 160 ). can be
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120 . It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 .
  • the volatile memory 132 may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • the processor 120 is the main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123
  • the auxiliary processor 123 is, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the co-processor 123 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, the camera module 180 or the communication module 190. have.
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176 ).
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used in a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), a digital pen (eg, a stylus pen), a remote control, a touch screen, or the like.
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 , or an external electronic device (eg, a sound output module 155 ) connected directly or wirelessly with the electronic device 101 . A sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • an external electronic device eg, a sound output module 155
  • a sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, a touch sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • GNSS global navigation satellite system
  • the corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi), WiFi direct, or infrared data association (IrDA)) or a second network 199 (eg, : It is possible to communicate with the external electronic device 104 through a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunication network such as a computer network (eg, LAN or WAN).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi), WiFi direct, or infrared data association (IrDA)
  • a second network 199 eg, : It is possible to communicate with the external electronic device 104 through a legacy cellular network, a 5G network, a next-generation communication network, the Internet, or a telecommunication network such as a computer network (eg, LAN or WAN).
  • a computer network eg,
  • the wireless communication module 192 uses the subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 includes various technologies for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ).
  • the wireless communication module 192 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC ( Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less).
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, bottom side) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or a part of operations executed in the electronic device 101 may be executed in one or more external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • first, second, or first or second may be used simply to distinguish the element from other elements in question, and may refer to elements in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • one or more instructions stored in a storage medium may be implemented as software (eg, the program 140) including
  • a processor eg, processor 120
  • a device eg, electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not include a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided as included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed online (eg download or upload), directly between smartphones (eg smartphones).
  • a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. or one or more other operations may be added.
  • FIG 2 illustrates electronic devices according to various embodiments.
  • an electronic device may be implemented as a smart phone 210 , a tablet PC 220 or a TV 230 , a notebook computer 240 , a monitor 250 , and the like.
  • various embodiments will be mainly described with reference to a specific type of electronic device (eg, a laptop computer, a monitor, a TV), but the embodiments may also be applied to other types of electronic devices (eg, a tablet PC, a smart phone).
  • the electronic device may include an extendable display.
  • an extendable display For example, when the display is in the retracted state, only some areas of the display are exposed to the outside to output the screen (211, 221, 231), and the remaining areas that are accommodated in the housing and not exposed to the outside are inactive and output the screen. may not When the display is withdrawn, at least a part of the areas that were not exposed to the outside in the retracted state are exposed to the outside (215, 225, 235), and the expanded areas 215, 225, 235 are switched to the active state to display the screen. can be printed out.
  • 3A to 3D are diagrams illustrating a structure of an expandable display of an electronic device according to various embodiments of the present disclosure
  • a tablet PC having an expandable display will be described with reference to FIGS. 3A to 3D , but other types of devices (eg, notebook PC, monitor, TV, smart phone) may also be expanded with the same or similar structure.
  • Possible displays may include.
  • the electronic device 300 may be implemented to expand the screen 3301 in a sliding manner.
  • the screen 3301 (or the main display region) may be an externally viewed region of the flexible display 330 .
  • 3A and 3B show the electronic device 300 in a state in which the screen 3301 is not expanded
  • FIGS. 3C and 3D show the electronic device 300 in a state in which the screen 3301 is expanded.
  • a state in which the screen 3301 is not expanded is a state in which the sliding plate 320 for a sliding motion of the display 330 is not slid-out, and may be referred to as a closed state hereinafter.
  • the expanded state of the screen 3301 is a state in which the screen 3301 is no longer expanded by sliding out of the sliding plate 320 to the maximum expanded state, and may be referred to as an open state hereinafter.
  • the slide-out may mean that the sliding plate 320 moves at least partially in a first direction (eg, a +x-axis direction) when the electronic device 300 is switched from a closed state to an open state.
  • the open state may be defined as a state in which the screen 3301 is expanded compared to the closed state, and screens of various sizes may be provided according to the moving position of the sliding plate 320 .
  • the intermediated state may refer to a state between the closed state of FIG. 3A and the open state of FIG.
  • the screen 3301 may include an active area of the flexible display 330 that is visually exposed to output an image, and the electronic device 300 moves the sliding plate 320 or the flexible display ( 330), the active area may be adjusted.
  • the open state may refer to a state in which the screen 3301 is maximized.
  • the flexible display 330 that is slidably disposed on the electronic device 300 of FIG. 3A to provide a screen 3301 is a slide-out display or expandable (extendable). ) may also be referred to as 'display (expandable display)'.
  • the electronic device 300 including the flexible display 330 may include the electronic device 101 of FIG. 1 .
  • the electronic device 300 may include a sliding structure related to the flexible display 330 .
  • a sliding structure related to the flexible display 330 .
  • the flexible display 330 when moved to a set distance by an external force, it can be switched from a closed state to an open state or from an open state to a closed state without any further external force due to the elastic structure included in the sliding structure. Yes (eg semi-automatic slide motion).
  • the electronic device 300 when a signal is generated through an input device included in the electronic device 300, the electronic device 300 moves from a closed state to an open state due to a driving device such as a motor connected to the flexible display 330, Alternatively, you can switch from an open state to a closed state.
  • a driving device such as a motor connected to the flexible display 330
  • the electronic device 300 may be switched from a closed state to an open state or from an open state to a closed state.
  • the electronic device 300 when a signal is generated from various sensors such as a pressure sensor, the electronic device 300 may be switched from a closed state to an open state or from an open state to a closed state. For example, when carrying or holding the electronic device 300 by hand, a squeeze gesture in which a part of the hand (eg, the palm or a finger) presses within a specified section of the electronic device 300 may cause the sensor may be detected, and in response, the electronic device 300 may be switched from a closed state to an open state or from an open state to a closed state.
  • a squeeze gesture in which a part of the hand (eg, the palm or a finger) presses within a specified section of the electronic device 300 may cause the sensor may be detected, and in response, the electronic device 300 may be switched from a closed state to an open state or from an open state to a closed state.
  • the display 330 may include a second section (2) (refer to FIG. 3C ).
  • the second section (2) may include an extended portion of the screen 3301 when the electronic device 300 is switched from a closed state to an open state.
  • the second section 2 is drawn out from the internal space of the electronic device 300 as if sliding, and thus the screen 3301 may be expanded.
  • the electronic device 300 is switched from the open state to the closed state, at least a part of the second section (2) slides into the internal space of the electronic device 300 , and thus the screen 3301 may be reduced. have.
  • the flexible display 330 may include a flexible substrate (eg, a plastic substrate) formed of a polymer material including polyimide (PI) or polyester (PET).
  • PI polyimide
  • PET polyester
  • the second section (2) is a bent portion of the flexible display 330 when the electronic device 300 switches between an open state and a closed state, and may be referred to as, for example, a bendable section. In the following description, the second section (2) will be referred to as a bendable section.
  • the electronic device 300 may include a housing 310 , a sliding plate 320 , or a flexible display 330 .
  • the housing (or case) 310 includes, for example, a back cover 312 , a first side cover 313 , or a second side cover 314 . can do.
  • the back cover 312 , the first side cover 313 , or the second side cover 314 may be connected to a support member (not shown) positioned inside the electronic device 300 , and It may form at least a part of the appearance.
  • the back cover 312 may form, for example, at least a part of the rear surface 300B of the electronic device 300 .
  • the back cover 312 may be substantially opaque.
  • the back cover 312 may be formed by coated or tinted glass, ceramic, polymer, metal (eg, aluminum, stainless steel (STS), or magnesium), or a combination of at least two of the foregoing. have.
  • STS stainless steel
  • the back cover 312 in a state in which the bendable section (2) of the flexible display 330 is drawn into the inner space of the housing 310 (eg, in a closed state), at least a portion of the bendable section (2) is a back cover It may be arranged to be visible from the outside through 312 .
  • the back cover 312 may be formed of a transparent material and/or a translucent material.
  • the back cover 312 may include a flat portion 313a and curved portions 313b and 212c positioned on opposite sides with the flat portion 313a interposed therebetween.
  • the curved portions 313b and 212c are formed adjacent to both relatively long edges (not shown) of the back cover 312 , respectively, and may be bent toward the screen positioned opposite to the back cover 312 to extend seamlessly.
  • the back cover 312 may include one of the curved portions 313b and 212c or may be implemented without the curved portions 313b and 212c.
  • the first side cover 313 and the second side cover 314 may be located opposite to each other.
  • the first side cover 313 and the second side cover 314 may be disposed in a second direction (eg, the +x axis direction) orthogonal to the first direction (eg, the +x axis direction) of the slide out of the sliding plate 320 . y-axis direction), with the flexible display 330 interposed therebetween.
  • the first side cover 313 may form at least a portion of the first side surface 313c of the electronic device 300
  • the second side cover 314 may be disposed in a direction opposite to the first side surface 313c. may form at least a portion of the second side 314a of the device 300 .
  • the first side cover 313 may include a first rim portion (or a first rim) 313d extending from an edge of the first side surface 313c.
  • the first edge portion 313d may form at least a part of one side bezel of the electronic device 300 .
  • the second side cover 314 may include a second edge portion (or second rim) 314b extending from an edge of the second side surface 314a.
  • the second edge portion 314b may form at least a part of the other bezel of the electronic device 300 . According to one embodiment, in the closed state of FIG.
  • the surface of the first edge part 313d, the surface of the second edge part 314b, and the surface of the sliding plate 320 are smoothly connected, so that the A side curved portion (not shown) corresponding to the first curved portion 330b may be formed.
  • the surface of the first edge part 313d or the surface of the second edge part 314b is the second curved part 330c of the screen 3301 positioned on the opposite side to the first curved part 330b.
  • the sliding plate 320 may slide on a support member (not shown) positioned inside the electronic device 300 . At least a portion of the flexible display 330 may be disposed on the sliding plate 320, and the closed state of FIG. 3A or the open state of FIG. 3C may be formed based on the position of the sliding plate 320 on the support member. have.
  • the flexible display 330 may be attached to the sliding plate 120 through an adhesive member (or an adhesive member) (not shown).
  • the adhesive member may include a thermally responsive adhesive member, a photoreactive adhesive member, a general adhesive, and/or a double-sided tape.
  • the flexible display 330 may be inserted into a recess formed in the sliding plate 320 in a sliding manner to be disposed and fixed to the sliding plate 320 .
  • the sliding plate 330 serves to support at least a portion of the flexible display 330 , and may be referred to as a display support structure in some embodiments.
  • the sliding plate 320 includes a third edge portion 320b that forms an outer surface of the electronic device 300 (eg, a surface exposed to the outside to form an exterior of the electronic device 300 ). can do.
  • the third edge part 320b may form a bezel around the screen together with the first edge part 313d and the second edge part 314b in the closed state of FIG. 3A .
  • the third edge portion 320b may extend in the second direction (eg, the y-axis direction) to connect one end of the first side cover 313 and one end of the second side cover 314 in the closed state. have.
  • the surface of the third edge part 320b may be smoothly connected to the surface of the first edge part 313d and/or the surface of the second edge part 314b.
  • the bendable section (2) comes out from the inside of the electronic device 300 and the screen 3301 is expanded as shown in FIG. 3C . (eg open state) may be provided.
  • the screen 3301 in the closed state of FIG. 3A , includes a flat portion 330a, and a first curved portion 330b and/or located opposite to each other with the flat portion 330a interposed therebetween. It may include a second curved portion 330c.
  • the first curved portion 330b and the second curved portion 330c may be substantially symmetrical with the flat portion 330a interposed therebetween.
  • the first curved portion 330b and/or the second curved portion 330c may be positioned to correspond to the curved portions 313b and 212c of the back cover 312, respectively, and , may be curved toward the back cover 312 .
  • the planar portion 330a may be expanded.
  • a partial region of the bendable section (2) forming the second curved portion 330c in the closed state of FIG. 3A is a flat portion that is expanded when it is switched from the closed state of FIG. 3A to the open state of FIG. 3C . It is included in 330a and may be formed as another area of the bendable section (2).
  • the electronic device 300 may include an opening (not shown) for entering or withdrawing the bendable section (2), and/or a pulley (not shown) positioned in the opening.
  • the pulley may be positioned corresponding to the bendable section 2, and the movement of the bendable section 2 and the direction of its movement will be guided through the rotation of the pulley in the transition between the closed state of FIG. 3A and the open state of FIG. 3C.
  • the first curved portion 330b may be formed to correspond to a curved surface formed on one surface of the sliding plate 320 .
  • the second curved portion 330c may be formed by a portion corresponding to the curved surface of the pulley in the bendable section (2).
  • the first curved portion 330c may be positioned opposite to the second curved portion 330b in the closed or open state of the electronic device 300 to improve the aesthetics of the screen 3301 .
  • the flat portion 330a may be implemented in an expanded form without the first curved portion 330b.
  • the flexible display 330 may further include a touch sensing circuit (eg, a touch sensor).
  • the flexible display 330 includes a pressure sensor capable of measuring the intensity (pressure) of a touch, and/or a digitizer that detects a magnetic field type pen input device (eg, a stylus pen); They may be combined or placed adjacent to each other.
  • the digitizer may include a coil member disposed on a dielectric substrate to detect a resonance frequency of an electromagnetic induction method applied from the pen input device.
  • the electronic device 300 includes a microphone hole 351 (eg, the input module 150 of FIG. 1 ), a speaker hole 352 (eg, the sound output module 155 of FIG. 1 ), and a connector. It may include a hole 353 (eg, the connection terminal 178 of FIG. 1 ), a camera module 354 (eg, the camera module 180 of FIG. 1 ), or a flash 355 . According to various embodiments, the flash 355 may be implemented by being included in the camera module 354 . In some embodiments, the electronic device 300 may omit at least one of the components or may additionally include other components.
  • the microphone hole 351 may be formed, for example, in at least a portion of the second side surface 314a corresponding to a microphone (not shown) positioned inside the electronic device 300 .
  • the position of the microphone hole 351 is not limited to the embodiment of FIG. 3A and may vary.
  • the electronic device 300 may include a plurality of microphones capable of detecting the direction of sound.
  • the speaker hole 352 may be formed, for example, in at least a portion of the second side surface 314a corresponding to a speaker located inside the electronic device 300 .
  • the location of the speaker hole 352 is not limited to the embodiment of FIG. 3A and may vary.
  • the electronic device 300 may include a receiver hole for a call.
  • the microphone hole 351 and the speaker hole 352 may be implemented as one hole, or the speaker hole 352 may be omitted like a piezo speaker.
  • the connector hole 353 may be formed, for example, in at least a portion of the second side surface 314a corresponding to a connector (eg, a USB connector) positioned inside the electronic device 300 .
  • the electronic device 300 may transmit and/or receive power and/or data to an external electronic device electrically connected to the connector through the connector hole 353 .
  • the position of the connector hole 353 is not limited to the embodiment of FIG. 3A and may vary.
  • the camera module 354 and the flash 355 may be located, for example, on the rear surface 300B of the electronic device 300 .
  • the camera module 154 may include one or more lenses, an image sensor, and/or an image signal processor.
  • the flash 355 may include, for example, a light emitting diode or a xenon lamp. In some embodiments, two or more lenses (infrared cameras, wide angle and telephoto lenses) and image sensors may be located on one side of the electronic device 300 .
  • the electronic device 300 may include a plurality of camera modules.
  • the camera module 354 may be one of a plurality of camera modules.
  • the electronic device 300 may include a plurality of camera modules (eg, a dual camera or a triple camera) each having different properties (eg, angle of view) or functions.
  • a plurality of camera modules eg, camera module 354 including lenses having different angles of view may be configured, and the electronic device 300 may be configured according to a user's selection. It can be controlled to change the angle of view of the camera module performed in .
  • the plurality of camera modules may include at least one of a wide-angle camera, a telephoto camera, a color camera, a monochrome camera, or an IR (infrared) camera (eg, a time of flight (TOF) camera, a structured light camera).
  • the IR camera may be operated as at least a part of a sensor module (not shown).
  • the electronic device 300 displays an image based on the light received through one surface (eg, the front surface 300A) of the electronic device 300 placed in the direction the screen 3301 faces. It may further include a camera module (eg, a front camera) for generating a signal, for example, the camera module 354 is not limited to the embodiment of FIG. 3B or 3D , and an opening formed in the flexible display 330 . (eg, a through hole or a notch) and may be positioned inside the housing 310. The camera module 354 transmits light through the opening and a portion of the transparent cover overlapping the opening.
  • the transparent cover serves to protect the flexible display 330 from the outside, and includes, for example, a material such as polyimide or ultra thin glass (UTG).
  • UTG ultra thin glass
  • the camera module 355 may be disposed at the bottom of at least a portion of the screen 3301 of the flexible display 330 , and the camera module 354 . Its location is not visually differentiated (or exposed) and may perform a related function (eg, taking an image). In this case, for example, when viewed from the top of the screen 3301 (eg, when viewed in the -z axis direction), the camera module 354 is disposed to overlap at least a portion of the screen 3301 and is not exposed to the outside. It is possible to acquire an image of an external subject while not doing so.
  • the electronic device 300 may further include a key input device (eg, the input module 150 of FIG. 1 ).
  • the key input device may be located, for example, on the first side surface 313c of the electronic device 300 formed by the first side cover 313 .
  • the key input device may include at least one sensor module.
  • the electronic device 300 may include various sensor modules (eg, the sensor module 176 of FIG. 1 ).
  • the sensor module may generate an electrical signal or data value corresponding to an internal operating state of the electronic device 300 or an external environmental state.
  • the sensor module generates a signal regarding the proximity of an external object based on the light received through the front surface 300A of the electronic device 300 placed in the direction the screen 3301 faces. It may include a proximity sensor.
  • the sensor module includes a fingerprint sensor or HRM sensor for detecting biometric information based on light received through the front 300A or rear 300B of the electronic device 300 , and It may include various biosensors such as
  • the electronic device 300 includes various other sensor modules, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, a temperature sensor, and a humidity sensor. , and may include at least one of an illuminance sensor.
  • the electronic device 300 extends the screen toward the third edge portion 320b when the sliding plate 320 slides out. It can also be implemented as a structure. For example, a partial region of the flexible display 330 forming the first curved portion 330b in the closed state of FIG. 3A is expanded when it is switched from the closed state of FIG. 3A to the open state of FIG. 3C ( 330a), and may be formed in another area of the flexible display 330 .
  • 4A to 4E are diagrams illustrating a structure of an expandable display of an electronic device according to various embodiments of the present disclosure
  • the electronic device may include a display having a substantially rectangular shape, and the display may be extended in at least one direction among up, down, left, and right (eg, the flexible display 330 of FIGS. 3A to 3D .
  • a partial area may be accommodated in the housing through the rolling structure, and the partial area accommodated by rotating the rolling structure by a user's manipulation or a motor may be slid and exposed to the outside.
  • the electronic device may include a display expandable in a left or right direction.
  • the electronic device may include a display 410 expandable to the left.
  • the electronic device may display a screen through the main display area 411 in a state in which the display 410 is not expanded, and the extended display area 412 may be accommodated in a housing and be in an inactive state.
  • the extended display area 412 is drawn to the left by a user's manipulation and exposed to the outside, the extended display area 412 is activated, and a screen can be displayed on the main display area 411 and the extended display area 412 . connect.
  • the display 415 of the electronic device includes a main display area 416 that displays a screen in an unexpanded state and an extended display area 417 that is expandable to the right and displays a screen in an expanded state.
  • a main display area 416 that displays a screen in an unexpanded state
  • an extended display area 417 that is expandable to the right and displays a screen in an expanded state.
  • the electronic device may include a display expandable in an upward or downward direction.
  • the display 420 of the electronic device includes a main display area 421 that displays a screen in an unexpanded state and an extended display area 422 that is expandable upward and displays a screen in an expanded state.
  • the display 425 of the electronic device includes a main display area 426 for displaying a screen in an unexpanded state and an extended display area 427 for displaying a screen in an expanded state that is expandable downward.
  • the electronic device may include a display expandable in both left and right directions or in both vertical and horizontal directions.
  • the display 430 of the electronic device includes a main display area 431 that displays a screen in an unexpanded state, and a first extended display area 432 that is expandable to the right and displays a screen in an expanded state. ) and a second extended display area 433 that is expandable to the left and displays a screen in the expanded state.
  • the first extended display area 432 and the second extended display area 433 may be expanded according to the user's manipulation and the type of outputted content.
  • the display 435 of the electronic device includes a main display area 436 that displays a screen in an unexpanded state, and a first extended display area 437 that is expandable upward and displays a screen in an expanded state. ) and a second extended display area 438 that is expandable downward and displays a screen in the expanded state.
  • the electronic device may include a display expandable in both an upward direction (or a downward direction) and a right direction (or a left direction).
  • the display 440 of the electronic device includes a main display area 441 that displays a screen in an unexpanded state, and a first extended display area 442 that is expandable to the right and displays a screen in an expanded state. ) and a second extended display area 443 that is expandable upward and displays a screen in the expanded state.
  • at least one of the first extended display area 441 and the second extended display area 443 may be configured as a display separated from the main display area 441 , and the type of content that is manipulated and output by the user Accordingly, at least one of the first extended display area 442 and the second extended display area 443 may be expanded.
  • only a portion of the display of the electronic device may be expanded.
  • the display 450 may be extended to the left, and when a partial area is expanded, only the corresponding area is activated to display a screen, and when the other partial area is further expanded, all the expanded areas are activated. screen can be displayed.
  • the display may be expanded in a plurality of stages. For example, when the display is extended by the first region, it is fixed through the support structure, and may be extended by the second region according to an additional force.
  • the electronic device may include a display having at least one structure shown in FIGS. 4A to 4E , and may include various types of expandable displays in addition to those described with reference to FIGS. 4A to 4E .
  • FIG. 5 is a block diagram of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 500 may include a processor 510 , a memory 520 , a display 530 , a communication module 540 , a sensor 550 , and a camera 560 . Even if at least some of the components are omitted and/or substituted, various embodiments of the present document may be implemented.
  • the electronic device 500 may further include at least some of the configuration and/or functions of the electronic device 101 of FIG. 1 .
  • Some components eg, the processor 510 , the memory 520 , and the communication module 540 ) among the components shown in FIG. 5 and/or other components of the electronic device 500 that are not shown in FIG. 5 are the housing of the electronic device 500 . It may be disposed inside a (housing) (not shown), and at least a portion of some components (eg, the display 530 ) may be exposed to the outside of the housing.
  • the display 530 may display content provided from the processor 510 .
  • the display 530 may display main content (or first content) generated by an application executed through the processor 510 and/or shared content (or second content) acquired from an external device through the communication module 540 . content) can be displayed.
  • the display 530 may include a main display area (eg, the main display area 411 of FIG. 4A ) and at least one extended display area (eg, the extended display area 412 of FIG. 4A ).
  • the display 530 may include at least one extended display area expandable in at least one of up, down, left, and right directions from the main display area. For example, when the display 530 is in the retracted state, only the main display area is exposed to the outside to output a screen, and the extended display area accommodated in the housing and not exposed to the outside may not output a screen in an inactive state. .
  • the extended display area When the display 530 is drawn out, at least a part of the extended display area is exposed to the outside, and as described above, the extended display area may be switched to an active state to output a screen.
  • the expandable display 530 have been described above with reference to FIGS. 3A to 3D and 4A to 4E , but are not limited thereto.
  • the display 530 may be configured as a touch screen that detects a touch and/or proximity touch (or hovering) input using a user's body part (eg, a finger) or an input device (eg, a stylus pen).
  • a touch and/or proximity touch or hovering
  • a user's body part eg, a finger
  • an input device eg, a stylus pen
  • the electronic device 500 may include at least one sensor 550 that detects contact or proximity.
  • the electronic device 500 includes various types of short-distance sensors for detecting proximity or contact of an object, such as near field communication (NFC), radio frequency identification (RFID), Bluetooth (or Bluetooth low energy), or a touch sensor.
  • NFC near field communication
  • RFID radio frequency identification
  • Bluetooth Bluetooth low energy
  • a touch sensor may include
  • the at least one sensor 550 may be disposed in the upper, lower, left, and right bezel areas of the display 530 and/or in the corner area of the housing, respectively. Accordingly, when selecting an area to display the main content or shared content, the user may make a touch or proximity input to the sensor 550 adjacent to the intended area.
  • the electronic device 500 may arrange one to five sensors 550 at positions around the display 530 .
  • the camera 560 may be disposed on a bezel area around the display 530 or a notch area inside the display 530 to photograph a surrounding subject.
  • Image data captured by the camera 560 is provided to the processor 510 , and the processor 510 may analyze the image to determine the user's interaction location.
  • the communication module 540 may provide a wired or wireless communication interface with an external device.
  • the communication module 540 is an example of a wired communication interface (eg, the interface 177 of FIG. 1 ), and may include a high definition multimedia interface (HDMI) and a universal serial bus (USB) interface.
  • the communication module 540 may include a wireless communication module (eg, the wireless communication module 192 of FIG. 1 ) supporting an external device and a short-range communication module.
  • the wireless communication module can support various short-range wireless communication methods (eg, Wi-Fi, Bluetooth, BLE (bluetooth low energy)), and independent hardware and/or software configuration to support each wireless communication method may include
  • the memory 520 may temporarily or permanently store various types of data, including a volatile memory and a non-volatile memory.
  • the memory 520 may include at least some of the configuration and/or functions of the memory 130 of FIG. 1 , and may store the program 140 of FIG. 1 .
  • the memory 520 may store various instructions that may be executed by the processor 510 . Such instructions may include control commands such as arithmetic and logical operations, data movement, and input/output that can be recognized by the processor 510 .
  • the processor 510 is a configuration capable of performing an operation or data processing related to control and/or communication of each component of the electronic device 500 , and may be composed of one or more processors 510 .
  • the processor 510 may include at least some of the configuration and/or functions of the processor 120 of FIG. 1 .
  • the processor 510 and each component of the electronic device 500 such as the display 530 , the memory 520 , the sensor 550 , and the camera 560 , operatively, functionally and/or It may be electrically connected.
  • the processor 510 can implement on the electronic device 500 , but hereinafter, an area in which the main content and the shared content are displayed on the display 530 is determined and , various embodiments for expanding the display 530 accordingly will be mainly described. Operations of the processor 510 to be described later may be performed by loading instructions stored in the memory 520 .
  • the processor 510 may display main content (or first content) on the main display area in a state in which the display 530 is not expanded.
  • the main content may be content generated by the electronic device 500 executing an application (eg, an Internet browser, a game, or a gallery).
  • an application eg, an Internet browser, a game, or a gallery.
  • the electronic device 500 when the electronic device 500 is implemented as a TV, it may be broadcast content received through a terrestrial wave or cable.
  • the extended display area is inserted into the housing, and the processor 510 may control the extended display area to be in an inactive state.
  • the processor 510 may check a connection for content sharing with an external device through the communication module 540 and detect activation of an image sharing function.
  • the external device may be connected through a wired interface (eg, HDMI, USB) and may be connected through short-range wireless communication such as Wi-Fi Direct, Wi-Fi Aware, or Bluetooth.
  • the processor 510 may receive information related to shared content (or second content) from an external device. For example, when the electronic device 500 and the external device are connected in a Miracast mode, the contents of the external device can be transmitted and mirrored to the electronic device 500 , and when the electronic device 500 is connected in a Dex (desktop experience) mode, the electronic Application information for implementing a UI on the device 500 may be received, or link information from another external device (eg, an external server) to another external device capable of acquiring shared content may be received.
  • another external device eg, an external server
  • the electronic device 500 when the electronic device 500 mirrors and displays a screen displayed on the external device, the electronic device 500 displays information that is changed in real time in the external device (eg, chatting, SNS, real-time search, etc.) may be provided in real time through one area of the extended display 530 .
  • the electronic device 500 displays the screens of each external device in different regions of the extended display 530 . You can display the screen of the device.
  • the area in which the screen of each external device is displayed on the extended display 530 may be determined based on the location of user interaction using each external device (eg, left NFC tagging and right NFC tagging of the display).
  • the electronic device 500 when the electronic device 500 receives link information from an external device and acquires shared content from another external device (eg, an external server), the electronic device 500 receives the link information from the other external device in real time.
  • the received image information may be displayed in real time through one area of the extended display 530 .
  • the user interacts with several areas of the electronic device 500 using one external device (eg, left NFC tagging and right NFC tagging of the display 530) to transmit link information of an image to be transmitted. It may be transmitted multiple times, and the electronic device 500 may receive a plurality of image information in real time through link information obtained according to each interaction and display it in different areas.
  • the processor 510 may determine a first area to display the main content and a second area to display the shared content in a state in which the extended display area is expanded.
  • the processor 510 may determine the main display area as the first area to display the main content and determine the extended display area as the second area to display the shared content. have.
  • the main content may be continuously displayed on the same position before and after the display 530 is expanded, and the shared content may be displayed on the extended display area that is extended in any one of up, down, left and right.
  • the processor 510 may determine a first area in which to display the main content and a second area in which to display the shared content, based on the user interaction.
  • the processor 510 determines the first area and the second area based on a touch or proximity input on the sensor 550 disposed around the display 530 (eg, a corner of a housing, a bezel area).
  • the electronic device 500 may include four NFC sensors 550 on the upper side, lower side, left and right sides of the display 530 , and when a user's proximity is detected by the specific NFC sensor 550 . , it may be determined to display the shared content in an area corresponding to the location of the corresponding NFC sensor 550 on the extended display 530 . This embodiment will be described in more detail with reference to FIG. 8 .
  • the processor 510 may determine the first area and the second area based on a touch input on the main display area.
  • the display 530 may be configured as a touch screen, and the processor 510 divides a plurality of main display areas of the display 530 , and when a user's touch input is detected in any one of the divided areas, the corresponding You may decide to display the shared content in the area. This embodiment will be described in more detail with reference to FIGS. 7A to 7C .
  • the processor 510 may determine the user's gesture based on the image information obtained through the camera 560 and determine to display the shared content in an area corresponding to the user's gesture. .
  • the processor 510 may determine the first area and the second area based on information received from an external device.
  • the external device may execute an application supporting a screen sharing function with the electronic device 500 , and the application provides a UI for determining an area in which shared content is to be displayed on the extended display 530 of the electronic device 500 .
  • the electronic device 500 may receive information about a selection on the UI of the external device and determine to display the shared content in the corresponding area. This embodiment will be described in more detail with reference to FIGS. 9A and 9B.
  • the processor 510 may determine an area in which to display the shared content, further based on the display direction of the shared content. For example, when content displayed on an external device, such as Miracast, is mirrored on the display 530 of the electronic device 500, the external device provides an orientation acquired through an inertial sensor (eg, an acceleration sensor, a gyro sensor). The information is transmitted to the electronic device 500 , and the processor 510 may determine whether to display the shared content in a landscape mode or a portrait mode through the received orientation information. Alternatively, the processor 510 may determine the display direction of the shared content by acquiring the state of the screen and content input on the application of the external device and/or the display direction mode provided by the content.
  • an inertial sensor eg, an acceleration sensor, a gyro sensor
  • the processor 510 may control the extended display area of the display 530 to expand when the first area for displaying the main content and the second area for displaying the shared content are determined.
  • the display 530 may be configured such that at least one extended display area is expanded by a motor structure.
  • the processor 510 expands the display corresponding to the size of the area in which the main content and the shared content are to be displayed. The area can be automatically expanded.
  • the display 530 may be configured to be manually expanded by a user's force, and the processor 510 may provide information guiding the user to expand the extended display area on the main display area.
  • the processor 510 may determine a screen display form for displaying the main content and the shared content on the extended display 530 .
  • the processor 510 may display the main content as a center on the extended display 530 while maintaining the display area of the main content while adding the display area of the shared content, or share the main content with the display area of the main content.
  • the display area of the content may be displayed in the same size, or the display area of the main content may be changed (eg, reduced) to add the display area of the shared content. This embodiment will be described in more detail with reference to FIG. 13 .
  • the processor 510 may adjust the size of the main content and/or the shared content. For example, if the processor 510 cannot display the first content on the expanded display 530 as the second content is additionally displayed, it can be reduced while maintaining the aspect ratio of the main content. can Alternatively, the processor 510 may display only a portion of the main content by cutting out portions of the top, bottom, left, and right of the main content, or may change the aspect ratio (or resolution) of the main content to match the determined size of the first region.
  • the display 530 may include a first extended display area that can extend in a first direction from the main display area and a second extended display area that can extend in a second direction.
  • the display 530 may include a first extended display area and a second extended display area that can be extended to the left and right, respectively.
  • the processor 510 may control an extended display area corresponding to the location to be expanded. For example, when the display 530 is expandable to the left and right, and it is determined that the shared content is displayed on the left side of the main content through user interaction, the processor 510 is configured to expand the left side of the display 530 . Guide information for controlling the motor structure or guiding the user to expand the left extended display area may be displayed.
  • the electronic device 500 may be connected to a plurality of external devices and display shared content shared by the plurality of external devices on the extended display area.
  • the processor 510 may host the first shared content received from the first external device as main.
  • the display may be displayed on the first extended display area extending to the left of the display 530
  • the second shared content received from the second external device may be displayed on the second extended display area extending to the left of the main display 530 .
  • the processor 510 divides the extended display area and at least a portion of the main display area to divide the first shared content and the second shared content. can be displayed together with the main content. This embodiment will be described in more detail with reference to FIG. 16 .
  • FIG. 6 illustrates an electronic device and an external device supporting a screen sharing function according to various embodiments of the present disclosure.
  • FIG. 6 shows that a user watches a movie as main content in a state in which the display of the electronic device 600 (eg, the electronic device 500 of FIG. 5 ) is not expanded, and at the same time, plays the movie and the corresponding movie through the external device 690 at the same time. It shows a situation in which movie information is checked on a related web site.
  • the external device 690 is shown in the form of a smart phone and the electronic device 600 is shown in the form of a monitor, but the present invention is not limited thereto, and the electronic device 600 includes various types of devices ( Example: The TV 230, the tablet PC 220, the smart phone 210, the notebook 240 of FIG. 2 may be implemented as the monitor 250).
  • the electronic device 600 may be connected to the external device 690 by wire or wireless.
  • the electronic device 600 and the external device 690 may be connected through a wired interface (eg, HDMI, USB), and may be connected through short-range wireless communication such as Wi-Fi Direct, Wi-Fi Aware, or Bluetooth.
  • a wired interface eg, HDMI, USB
  • short-range wireless communication such as Wi-Fi Direct, Wi-Fi Aware, or Bluetooth.
  • the electronic device 600 determines an area to display the shared content, and according to the determination, the display It is possible to control to expand, or provide guide information for guiding display expansion to the user.
  • main content eg, a movie
  • FIG. 7A to 7C illustrate regions for displaying content on a display according to various embodiments of the present disclosure.
  • the electronic device selects the first area to display the main content and the shared content based on a touch input on the main display area and/or an input on a sensor disposed on the side of the display.
  • a second area to be displayed may be determined. For example, a plurality of main display areas of the display may be divided, and when a user's touch input is sensed in any one of the divided areas, it may be determined to display the shared content in the corresponding area.
  • the main display area 710 may be divided into three areas: a center 714 , a left 712 , and a right 716 area.
  • the electronic device expands the display It may be determined to display the shared content in the left area (eg, the extended display area extended to the left) in the closed state.
  • the electronic device may control the extended display area to be automatically extended to the left by the motor structure to be drawn out, or information guiding the user to expand the extended display area to the left may be displayed on the display.
  • the previously displayed main content may be continuously displayed on the main display area, and the shared content received from the external device may be displayed on the extended display area.
  • the display is expandable only to the left, and when a user interaction occurs in the right area 716, the electronic device displays the shared content in the right partial area of the main display area in the expanded state, The main content may be moved and displayed on the rest of the main display area and on the extended display area extended to the left.
  • the main display area 720 may be divided into four areas: left 722, right 728, upper 724 and lower 726, In this case, as in the embodiment of FIG. 7A , the shared content may be displayed at a location corresponding to the area where the user interaction occurs.
  • the main display area 730 is divided into five areas: left 734 , right 739 , upper 732 , lower 738 , and center 736 .
  • the shared content may be displayed at a location corresponding to the area where the user interaction occurs.
  • FIG. 8 illustrates a sensor for selecting a region of an electronic device according to various embodiments of the present disclosure.
  • the electronic device 800 is disposed around the display (eg, a corner of a housing, a bezel area) and at least one sensor 852 capable of detecting a user interaction (eg, proximity, touch, etc.) , 854) may be included.
  • each sensor may be disposed in four areas of the upper, lower, left, and right areas of the display.
  • the sensors 852 and 854 may include various types of short-distance sensors that detect proximity or contact of an object, such as near field communication (NFC), radio frequency identification (RFID), Bluetooth (or Bluetooth low energy), or a touch sensor. have.
  • NFC near field communication
  • RFID radio frequency identification
  • Bluetooth Bluetooth low energy
  • the sensors 852 and 854 may be NFC tags, and the external device may tag the NFC tags disposed in the electronic device 800 including an NFC reader.
  • the NFC reader is activated, and the user may tag the external device in proximity to an NFC tag corresponding to an area to display the shared content.
  • the NFC tag may include location information on the display, for example, when the external device 890 tags the NFC tag 852 on the left side of the main display area, selection information on the left area and the external device 890 . is transmitted to the electronic device 800 through a wireless connection, and the electronic device 800 may control the extended display area on the left to expand to display the shared content of the corresponding external device 890 .
  • the external device 895 transmits selection information and identification information of the right region to the electronic device 800 ,
  • the device 800 may control the extended display area on the right to be expanded to display the shared content of the corresponding external device 895 .
  • the main content and at least one shared content received from at least one external device may be simultaneously displayed.
  • the electronic device 800 when the electronic device 800 mirrors and displays a screen displayed on the external device, as described above, different regions are interacted with each other through the two external devices 890 and 895 to expand
  • the screens of two external devices can be mirrored in real time on different areas of the display.
  • the electronic device 800 may receive link information from the external device 890 and acquire shared content from another external device (eg, an external server) through the link information, and the user may use one Link information of an image to be transmitted may be transmitted multiple times by interacting with various regions of the electronic device 800 using the external device 890 .
  • another external device eg, an external server
  • 9A and 9B are diagrams illustrating an interface for setting a screen position of an external device according to various embodiments of the present disclosure.
  • the external device 900 may execute an application 930 supporting a screen sharing function with the electronic device.
  • the application 930 provides a UI for setting the location and/or display direction of the shared content when sharing the screen, a UI for setting the display form of the main content and the shared content, and/or a UI for setting the size of the content.
  • the display of the electronic device may include a first extended display area expandable to the left and a second extended display area expandable to the right, and information on the display of the electronic device is established when the screen sharing function is executed may be transmitted to the external device 900 through a wired/wireless connection.
  • the external device 900 may display the object 971 indicating the first extended display area and the object 972 indicating the second extended display area with reference to display information of the electronic device, and display the shared content
  • An object 973 whose direction (eg, horizontal direction, vertical direction) can be changed may be displayed.
  • the corresponding information is transmitted to the electronic device, and the electronic device expands the second extended display area to
  • the shared content received from the external device 900 may be displayed at the corresponding location.
  • the external device 900 may include a sensor that detects an inclination of the external device 900 , and may select an extended display area to display shared content according to the tilt direction of the external device 900 . For example, when the user tilts the external device 900 to the left, a first extended display area that can be extended to the left of the main display area in the electronic device may be determined as an area to display shared content.
  • the external device 900 may determine an extended display area in which to display the shared content based on a direction of a user gesture (eg, swipe or flick) on the application 930 .
  • a user gesture eg, swipe or flick
  • the display direction of the shared content may be changed from a vertical direction to a horizontal direction.
  • the object 981 indicating the first extended display area and the object 982 indicating the second extended display area of the application 930 are also changed in the horizontal direction, and the display direction information is electronically can be sent to the device.
  • the electronic device may determine an extension size of the display area of the shared content and/or the first extended display area according to the received display direction information.
  • the external device 900 transmits the current orientation information of the external device 900 displaying the shared content, the state of the content, and/or the display direction mode provided by the content to the external device 900, and , the electronic device may determine a display direction of the shared content based on the received information.
  • FIGS. 10A and 10B are diagrams illustrating an interface for setting a content presentation method in an external device according to various embodiments of the present disclosure.
  • the external device 1000 may provide a UI for setting the display types of main content and shared content on an application.
  • the display form may include a mode in which the main content is displayed as a center, a mode in which the main content and the shared content are displayed in the same ratio, and/or a mode in which the shared content is displayed mainly.
  • FIG. 10A illustrates an example of a menu for designating a screen display type before the external device 1000 performs screen sharing with the electronic device.
  • the external device 1000 provides description and graphic information 1072, 1074, and 1076 for each mode on the application, and when one mode is selected according to a user input (1072), the electronic It is possible to transmit selected mode information to the device.
  • the external device 1000 includes a first mode 1072 that displays the main content of the electronic device as a center, and a second mode 1072 that displays the main content of the electronic device and the shared content of the external device in substantially the same size. 1074), a menu for selecting the third mode 1076 for displaying the shared content of the external device as a center may be provided.
  • the external device 1000 may provide a UI for selecting a mode at the time of sharing content with the actual electronic device.
  • the external device 1000 includes a first mode 1073 that displays the main content of the electronic device as a center, a second mode 1075 that displays the main content of the electronic device and the shared content of the external device in substantially the same size, and an external device 1000.
  • a menu may be provided for selecting the third mode 1079 that displays the shared content of the device as a center.
  • the external device 1000 may provide a UI for setting the size (or ratio) of content on an application.
  • the electronic device may expand the display to display the shared content, but the size or aspect ratio of the extended display area may be different from the aspect ratio of the shared content.
  • examples of the content presentation method may include a mode for displaying all content, a mode for displaying the optimized size, and a mode for displaying the maximum size.
  • a mode for displaying all content all shared content is displayed on the display area (or second area) of the shared content while maintaining the aspect ratio of the shared content, and the shared content is not displayed due to the difference in the aspect ratio.
  • the non-displayed area may be in a black processing mode.
  • the mode for displaying in an optimized size may be a mode in which a part of the shared content is cut out and displayed based on the side in which the shared content is larger than the display area among the horizontal and vertical dimensions.
  • the mode for displaying the maximum size may be a mode for displaying the shared content by changing the resolution to the maximum size according to the display area of the shared content without maintaining the aspect ratio of the shared content.
  • the external device 1000 may provide the electronic device with mode information selected by the user in the application, and the electronic device may determine the expression method of the shared content according to the corresponding mode information.
  • 11A is a flowchart of a method for providing content by an electronic device according to various embodiments of the present disclosure
  • the illustrated method may be performed by an electronic device (eg, the electronic device 500 of FIG. 5 ) including the above-described expandable display (eg, the display 400 of FIGS. 4A to 4E ), and as described above Hereinafter, the description of the technical features will be omitted.
  • an electronic device eg, the electronic device 500 of FIG. 5
  • the above-described expandable display eg, the display 400 of FIGS. 4A to 4E
  • the electronic device may display main content (or first content) on the main display area of the display in a state in which the display is not expanded.
  • the electronic device may detect a user interaction using an external device and check a display position of the shared content on the extended display according to the user interaction. For example, the electronic device may determine the display position of the shared content as any one of a left area, an upper area, a center area, a lower area, and a right area. (1103)
  • the electronic device may check the screen orientation state of the external device.
  • the screen orientation state may be any one of a vertical screen orientation state (or a vertical screen) and a horizontal screen orientation state (or a landscape screen).
  • operation 11A illustrates that operation 1105 is performed after operation 1103, but is not limited thereto, and operation 1103 may be performed after operation 1105 or at least partially simultaneously.
  • the electronic device may select a screen display form and an expression method.
  • the user may select a screen display form and expression method through a user interface such as FIGS. 9A, 9B, 10A, 10B, and 10C in the external device, and the external device transmits the selected information to the electronic device can be transmitted
  • the electronic device may determine the extension length of the extended display area and expand the display to display the main content and the shared content.
  • 11B is a flowchart of a method for providing content by an electronic device according to various embodiments of the present disclosure
  • the illustrated method may be performed by an electronic device (eg, the electronic device 500 of FIG. 5 ) including the above-described expandable display (eg, the display 400 of FIGS. 4A to 4E ), and as described above Hereinafter, the description of the technical features will be omitted.
  • an electronic device eg, the electronic device 500 of FIG. 5
  • the above-described expandable display eg, the display 400 of FIGS. 4A to 4E
  • the electronic device may display main content (or first content) on the main display area of the display in a state in which the display is not expanded ( 1110 ).
  • the main content may include content generated by an application and broadcast content.
  • the external device may be connected to the electronic device through a wired or wireless interface, and may execute a screen sharing function according to a user interaction ( 1115 ).
  • the electronic device may determine an area in which to display the shared content according to a user interaction.
  • the electronic device may check which area of the display of the electronic device has the user interaction ( 1120 ).
  • the display may be divided into four regions: left, right, upper, and lower, and the electronic device sets the positions of the left region 1122 , the upper region 1124 , and the center according to user interaction. Any one of the region 1125 , the lower region 1126 , and the right region 1128 may be determined.
  • the electronic device performs an interaction on a sensor (eg, a touch sensor, NFC, Bluetooth, camera) disposed in the electronic device, a touch input on the main display area, and/or an external device while the screen sharing function is executed. Based on the information received from the , it is possible to determine an area in which to display the shared content.
  • a sensor eg, a touch sensor, NFC, Bluetooth, camera
  • the electronic device may determine a display direction of the shared content ( 1130 ).
  • the electronic device may determine the display direction of the shared content as a vertical screen orientation state (or vertical screen) 1132 or a horizontal screen orientation state (or horizontal screen) 1134 .
  • the external device transmits orientation information acquired through an inertial sensor (eg, an acceleration sensor, a gyro sensor) to the electronic device, and the electronic device displays the shared content in landscape mode or portrait mode through the received orientation information you can decide whether to
  • the electronic device may determine the display direction of the shared content by acquiring the state of the screen and content input on the application of the external device and/or the display direction mode provided by the content.
  • the electronic device may select a display position of the shared content according to a user interaction after determining the screen providing direction of the external device (1120, 1122, 1124, 1125, 1126, 1128). (1130, 1132, 1134)
  • the electronic device may select a display form and expression method of content ( 1140 ).
  • the external device may provide a UI for setting the display form of the main content and the shared content on the application, and determine the display form of the content according to a user input.
  • the display form may include a mode 1142 for displaying the main content as a center, a mode 1144 for displaying the main content and the shared content at the same ratio, and/or a mode 1146 for displaying the shared content as the center. have.
  • the electronic device selects the mode 1146 for displaying the shared content as the center, the main content area of the electronic device is changed (or reduced) as the size of the shared content is expanded and the area of the shared content of the external device is added. In this way, the display area can be determined.
  • the electronic device may determine the extension length of the extended display area ( 1150 ).
  • the electronic device may execute a command to expand or reduce the display ( 1160 ).
  • the electronic device automatically expands the extended display area by motor control, or, when the display is configured to be manually expanded by the user's force, allows the user to expand the extended display area on the main display area. You can provide guiding information.
  • FIG. 12 illustrates an example of providing content of an electronic device and content of an external device on a display of the electronic device according to various embodiments of the present disclosure.
  • a user watches a broadcast screen through an electronic device 1200 (eg, a monitor, TV, or a tablet PC), and at the same time, views the broadcast screen through an external device 1290 (eg, a smart phone). You can view an enlarged screen with only a part enlarged (closed up).
  • the electronic device 1200 may receive and display a broadcast in real time through a terrestrial wave, cable, or the Internet, and the external device 1290 may stream an enlarged screen in real time through an Internet browser or a media application.
  • a user establishes a wireless connection (eg, Wi-Fi direct, Wi-Fi aware, bluetooth) for screen sharing with the external device 1290 and a user interaction for determining a display area of shared content can be entered.
  • a wireless connection eg, Wi-Fi direct, Wi-Fi aware, bluetooth
  • the external device 1290 transmits the recognized NFC tag information to the electronic device 1200 .
  • the electronic device 1200 may determine to display the shared content by expanding the extended display area on the right.
  • the external device 1290 transmits link information of the shared content (eg, an enlarged screen) to the electronic device 1200 , and the electronic device 1200 uses an Internet browser.
  • the enlarged screen can be streamed in real time by accessing the link through the media application.
  • the electronic device 1200 may display the enlarged screen 1234 that is streamed in real time together with the broadcast screen 1232 by expanding the extended display area.
  • FIG. 13 is a diagram illustrating an example of providing content of an electronic device and content of an external device on a display of the electronic device according to various embodiments of the present disclosure.
  • the electronic device 1300 may set a display form of each content.
  • the display form may include a mode for displaying the main content as a center, a mode for displaying the main content and the shared content at the same ratio, and/or a mode for displaying the shared content as the center, and the application of the external device 1390 is
  • the display mode may be determined through a UI (eg, FIG. 10A ) provided in .
  • the electronic device 1300 displays the main content 1371 on the entire main display area in the expanded display and the shared content 1372 on the expanded display can be displayed on the area.
  • the shared content 1372 may be reduced and displayed, and the remaining area may be processed as black.
  • the electronic device 1300 may cut out a portion of the shared content 1372 and display it in an optimized size, or may enlarge and display the shared content 1372 to fit the display area without maintaining the aspect ratio.
  • the electronic device 1300 displays the main content 1373 and the shared content 1374 in substantially the same size on the expanded display.
  • the entire area of the display cannot accommodate the main content 1373 and the shared content 1374 , both the main content 1373 and/or the shared content 1374 are displayed, displayed in an optimized size, or the maximum It can be displayed in size.
  • the electronic device 1300 when a mode for displaying the shared content 1376 is selected, the electronic device 1300 reduces the main content 1375 and displays it on a part of the main display area, and the remaining part of the main display area. and the shared content 1376 may be displayed on the extended display area.
  • FIG. 14 is a diagram illustrating an example of providing content of an electronic device and content of an external device on a display of the electronic device according to various embodiments of the present disclosure.
  • the display of the electronic device 1400 includes a first extended display area that can extend from the main display area in a first direction and a second extended display area that can extend from the main display area in a second direction.
  • the display may include a first extended display area and a second extended display area that can be extended to the right and left, respectively.
  • the electronic device 1400 displays the content received from the first external device 1490 in the first extended display area, and the content received from the second external device 1495 in the second extended display area. can be displayed.
  • the first external device 1490 eg, a smart phone
  • the content 1433 eg, an Internet browser
  • the second external device 1495 may display the second shared content 1435 (eg, a messenger).
  • electronic The device 1400 may determine the first extended display area on the right as an area to display the first shared content 1433 .
  • the electronic device 1400 continuously displays the main content 1431 on the main display area and displays the first shared content 1433 received from the first external device 1490 as the first It can be displayed in the extended display area.
  • the user may input an interaction for selecting the left side of the electronic device 1400 using the second external device 1495 .
  • the electronic device 1400 determines the second extended display area on the left as the area to display the second shared content 1435 , and when the second extended display area is expanded, the main content 1431 and the first The shared content 1433 and the second shared content 1435 may be displayed on the main display area, the first extended display area, and the second extended display area, respectively.
  • 15 is a diagram illustrating an example of providing content of an electronic device and content of an external device on a display of the electronic device according to various embodiments of the present disclosure.
  • the electronic device 1500 displays the main content 1572 in a state in which the display is expanded, and reduces the display based on a user's selection when the screen sharing function is executed to include the main content 1572 and the shared content. (1574) can be displayed.
  • the electronic device 1500 may display main content 1572 in the main display area and the extended display area in a state in which the display is expanded. At the same time, the user may view the shared content 1574 through the external device 1590 .
  • the electronic device 1500 displays the main content 1572 and the shared content 1574 .
  • a screen size for displaying both the main content 1572 and the shared content 1574 may be checked based on the size and the screen ratio. For example, when the display is expanded, the aspect ratio is 16:9, but the aspect ratio required to display the shared content 1574 on the right side of the main content 1572 may be 21:9. In this case, in order to adjust the aspect ratio to 21:9, the electronic device 1500 may control a portion of the extended display area to be inserted so that the aspect ratio becomes 21:9.
  • 16 is a diagram illustrating an example of providing content of an electronic device and content of an external device on a display of the electronic device according to various embodiments of the present disclosure
  • the display of the electronic device 1600 may include an extended display area extending upward, and the electronic device 1600 displays main content 1631 in the main display area in a state in which the display is not expanded. , and the external device 1690 may display the first shared content 1633 in a landscape mode.
  • the user may execute a screen sharing function between the external device 1690 and the electronic device 1600 and determine the transmission method of the first shared content 1633 in the external device 1690 as the transmission of link information.
  • the electronic device 1600 moves the display position of the first shared content 1633 downward (eg: A lower part of the main display area) and a display position of the main content 1631 may be determined to be upper (eg, the remaining part of the main display area and the extended display area).
  • the electronic device 1600 may receive the first shared content 1633 by executing an application according to the link information received from the external device 1690 , and may display the first shared content 1633 in the determined area.
  • the electronic device 1600 receives the second shared content 1635 from the external device 1690 and divides the first shared content 1633 and the second shared content 1635 into an area below the main content 1631 , can be displayed
  • the electronic device 1600 receives more shared content from one or more external devices. may be displayed, and the display position of each shared content may be determined according to the position of user interaction.
  • 17 illustrates an example of providing content of an electronic device and content of an external device on a display of the electronic device according to various embodiments of the present disclosure.
  • FIG. 17 illustrates an example in which a plurality of link information is provided to the electronic device 1700 by sequentially performing a plurality of interactions on one area of the display 1730 of the electronic device 1700 using an external device.
  • the electronic device 1700 may detect a first interaction (eg, NFC tagging) of the external device with respect to the downward direction of the display 1730 in a state in which the display 1730 is not expanded.
  • the external device may receive and display the first content 1791 from the external server through the link information, and according to the first interaction with the electronic device 1700 , the external device may display the link of the first content 1791 .
  • Information may be transmitted to the electronic device 1700 .
  • the electronic device 1700 expands the display 1730 in response to the first interaction of the external device, and determines an area to display the shared content of the external device in a downward direction of the extended display 1730 .
  • the electronic device 1700 may display the main content and the first content 1741 obtained through link information on the extended display 1731 .
  • the electronic device 1700 may expand the display 1730 to the maximum size, and the first content 1741 is displayed on the extended display 1731 area according to a predetermined aspect ratio (eg, 16:9). , the remaining area may be treated as a black screen.
  • the electronic device 1700 may determine a size to expand the display 1730 according to the aspect ratio of the first content 1741 .
  • the electronic device 1700 may detect the second interaction of the external device with respect to the downward direction of the display 1730 while the main content and the first content 1741 are displayed.
  • the external device may be in a state of receiving and displaying the second content 1792 from the external server, and according to the second interaction with the electronic device 1700 , the external device transmits link information of the second content 1792 . may be transmitted to the electronic device 1700 .
  • the electronic device 1700 obtains the second content 1742 from an external server in real time by using link information, and displays the main content, the first content 1741 and the first content on the extended display 1730 . 2 content 1742 can be displayed. In this case, the electronic device 1700 may further expand or reduce the area of the extended display 1732 in consideration of the aspect ratio of the first content 1741 and the second content 1742 .
  • the electronic device 1700 detects the third interaction of the external device with respect to the downward direction of the display 1730 while the main content, the first content 1741 and the third content 1743 are displayed. can do.
  • the external device may be in a state of receiving and displaying the third content 1793 from the external server, and according to the third interaction with the electronic device 1700 , the external device transmits link information of the third content 1793 . may be transmitted to the electronic device 1700 .
  • the electronic device 1700 obtains the third content 1743 from an external server in real time using link information, and displays the main content, the first content 1741, and the second content on the extended display 1730 .
  • the second content 1742 and the third content 1743 may be displayed.
  • the electronic device 1700 may further expand or reduce the area of the extended display 1733 in consideration of the aspect ratios of the first content 1741 , the second content 1742 , and the third content 1743 . .
  • the electronic device 1700 performs user interaction in a state in which main content and at least one shared content (eg, first content 1741 , second content 1742 , and third content 1743 ) are displayed.
  • the display position of the content may be changed according to a user input on the external device. For example, when the user selects the first content 1741 , the first content 1741 is displayed in a large size on the display area of the main content, and the main content is displayed in a small size in the area of the first content 1741 . It may be displayed in size or the display may be interrupted.
  • FIG. 18 illustrates an example of providing content of an electronic device and content of an external device on a display of the electronic device according to various embodiments of the present disclosure.
  • FIG. 18 illustrates an embodiment in which the electronic device 1800 is implemented as a smart phone having an expandable display 1830 .
  • the electronic device 1800 may display main content (eg, a home screen) of the electronic device 1800 in a state in which the display 1830 is not expanded. After that, when an interaction with another electronic device 1800 (eg, NFC tagging, touch input on a touch screen) occurs, the display 1830 is expanded, and the main content of the electronic device 1800 and the external device 1890 are expanded.
  • the shared content received from can be displayed on the main display area and the extended display area 1835 of the expanded display 1830, respectively.
  • An electronic device includes a display including a main display area and at least one extended display area expandable from the main display area, a communication module, and operatively connected to the display and the communication module a processor, wherein the processor displays first content on the main display area in a state in which the at least one extended display area is not expanded, establishes a connection with an external device through the communication module, and In a state in which one extended display area is expanded, a first area for displaying the first content and a second area for displaying second content based on information received from the external device through the communication module are determined, and the When at least one extended display area is expanded, it may be configured to display the first content on the determined first area and display the second content on the determined second area.
  • the display may include the at least one extended display area expandable in at least one of up, down, left, and right directions from the main display area.
  • the processor may control the display to expand.
  • the processor may control to display guide information for guiding to expand the at least one extended display area on the main display area.
  • the processor determines the main display area as a first area to display the first content in a state in which the display is expanded, and sets the extended display area to a second area to display the second content It can be set to determine the area.
  • the processor may be configured to determine the second area in which to display the second content, based on a touch input received on the display.
  • the display device further includes at least one sensor disposed on at least one side of the display, wherein the processor determines the second area in which to display the second content based on a detection result of the sensor. can be set to
  • the processor may be configured to determine the second area in which to display the second content, based on information received from the external device.
  • the processor may be set to determine the display direction of the second content in either a horizontal direction or a vertical direction, and to determine the second region based on the determined display direction of the second content.
  • the processor may be configured to determine the display direction of the second content based on orientation information of the external device received from the external device through the communication module.
  • the processor may be configured to determine the size of the first area in consideration of the determined display direction of the second content.
  • the processor may change an aspect ratio of at least one of the first content and the second content, or change the aspect ratio of the first content and the second content according to the determined first region and the second region. 2 It may be set to determine the first area and the second area based on the aspect ratio of the content.
  • the display includes a first extended display area extending from the main display area in a first direction and a second extended display area extending from the main display area in a second direction
  • the processor may be configured to display content received from a first external device on the first extended display area and display content received from a second external device on the second extended display area.
  • the information received from the external device may include at least one of the second content or link information for obtaining the second content.
  • the electronic device includes a display including a main display area and at least one extended display area expandable from the main display area, the method comprising: Displaying the first content on the main display area in a state in which the extended display area of ' is not expanded, the operation of establishing a connection with an external device, an operation of determining a second area in which to display the second content based on information received from the external device through the established connection and a first area in which to display, and when the at least one extended display area is expanded, the and displaying the first content in the determined first area and displaying the second content in the determined second area.
  • an operation of controlling the display to be expanded or guide information for guiding the expansion of the at least one extended display area is provided to the main display area
  • the method may further include at least one of the operations displayed in .
  • the determining of the first area and the second area may include determining the main display area as the first area to display the first content in a state in which the display is expanded, and the expanded display
  • the method may include determining an area as a second area in which to display the second content.
  • the determining of the first region and the second region may include determining the second region in which to display the second content based on a touch input received on the display, or The method may include at least one of determining the second area in which to display the second content based on a detection result of at least one sensor disposed on at least one side of the display.
  • the method further includes determining a display direction of the second content in either a horizontal direction or a vertical direction, wherein the determining of the first region and the second region includes: the determined second content determining the second region further based on the display direction of .
  • an operation of changing an aspect ratio of at least one of the first content and the second content according to the determined first area and the second area, or an operation of changing the aspect ratio of the first content and the second content may further include determining the first region and the second region based on an aspect ratio.

Abstract

다양한 실시예에 따른 전자 장치는, 메인 디스플레이 영역 및 상기 메인 디스플레이 영역으로부터 확장 가능한 적어도 하나의 확장 디스플레이 영역을 포함하는 디스플레이, 통신 모듈, 및 상기 디스플레이 및 상기 통신 모듈과 작동적으로(operatively) 연결되는 프로세서를 포함하고, 상기 프로세서는, 상기 적어도 하나의 확장 디스플레이 영역이 확장되지 않은 상태에서 상기 메인 디스플레이 영역 상에 제1컨텐츠를 표시하고, 상기 통신 모듈을 통해 외부 장치와 연결을 수립하고, 상기 적어도 하나의 확장 디스플레이 영역이 확장된 상태에서 상기 제1컨텐츠를 표시할 제1영역 및 상기 통신 모듈을 통해 상기 외부 장치로부터 수신되는 정보에 기초한 제2컨텐츠를 표시할 제2영역을 결정하고, 및 상기 적어도 하나의 확장 디스플레이 영역이 확장되는 경우, 상기 결정된 제1영역에 상기 제1컨텐츠를 표시하고, 상기 결정된 제2영역에 상기 제2컨텐츠를 표시하도록 설정될 수 있다. 그 외에 다양한 실시예가 가능하다.

Description

확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법
본 문서는 전자 장치에 관한 것이며, 예를 들어, 확장 가능한 디스플레이를 포함하는 전자 장치에서, 디스플레이 상에 컨텐츠를 제공하는 방법에 대한 것이다.
TV, 태블릿 PC, 스마트 폰 등의 전자 장치는 방송 화면 출력 또는 통화 기능과 같은 고유 기능을 넘어서 다양한 어플리케이션을 통해 사용자 경험을 제공할 수 있다. 일 예로, 전자 장치에서 디스플레이를 통해 다양한 멀티미디어 컨텐츠를 제공할 수 있으며, 다른 전자 장치로부터 공유되는 컨텐츠를 제공할 수도 있다.
최근에는 다양한 사용자 경험의 제공과 공간상의 효율을 만족하기 위해, 다양한 폼팩터(form factor)의 디스플레이를 갖는 전자 장치가 개발되고 있다. 예를 들어, 전자 장치는 슬라이더블(slidable) 또는 롤러블(rollable) 디스플레이와 같이, 확장 가능한 형태의 디스플레이를 탑재할 수 있다.
전자 장치가 다른 전자 장치와 연결되어 컨텐츠를 공유 하는 경우, 전자 장치의 디스플레이는 기존에 전자 장치에서 제공하던 컨텐츠를 완전히 가리면서 공유 컨텐츠를 출력하거나, 디스플레이의 특정 위치에 고정되어 화면이 제공되거나, 또는 불필요한 black 영역이 생길 수 있다.
본 문서의 다양한 실시예들은 확장 가능한 디스플레이 상에 다른 전자 장치에서 공유되는 컨텐츠를 출력함에 있어, 전자 장치의 컨텐츠와 공유 컨텐츠의 출력을 위해 디스플레이를 확장하고, 확장된 디스플레이 상에 각 컨텐츠를 적절하게 배치할 수 있도록 하는 전자 장치 및 컨텐츠 제공 방법을 제공함에 그 목적이 있다.
다양한 실시예에 따른 전자 장치는, 메인 디스플레이 영역 및 상기 메인 디스플레이 영역으로부터 확장 가능한 적어도 하나의 확장 디스플레이 영역을 포함하는 디스플레이, 통신 모듈, 및 상기 디스플레이 및 상기 통신 모듈과 작동적으로(operatively) 연결되는 프로세서를 포함하고, 상기 프로세서는, 상기 적어도 하나의 확장 디스플레이 영역이 확장되지 않은 상태에서 상기 메인 디스플레이 영역 상에 제1컨텐츠를 표시하고, 상기 통신 모듈을 통해 외부 장치와 연결을 수립하고, 상기 적어도 하나의 확장 디스플레이 영역이 확장된 상태에서 상기 제1컨텐츠를 표시할 제1영역 및 상기 통신 모듈을 통해 상기 외부 장치로부터 수신되는 정보에 기초한 제2컨텐츠를 표시할 제2영역을 결정하고, 및 상기 적어도 하나의 확장 디스플레이 영역이 확장되는 경우, 상기 결정된 제1영역에 상기 제1컨텐츠를 표시하고, 상기 결정된 제2영역에 상기 제2컨텐츠를 표시하도록 설정될 수 있다.
다양한 실시예에 따른 전자 장치의 컨텐츠 제공 방법은, 상기 전자 장치는 메인 디스플레이 영역 및 상기 메인 디스플레이 영역으로부터 확장 가능한 적어도 하나의 확장 디스플레이 영역을 포함하는 디스플레이를 포함하고, 상기 방법은, 상기 적어도 하나의 확장 디스플레이 영역이 확장되지 않은 상태에서 상기 메인 디스플레이 영역 상에 제1컨텐츠를 표시하는 동작, 외부 장치와의 연결을 수립하는 동작, 상기 적어도 하나의 확장 디스플레이 영역이 확장된 상태에서 상기 제1컨텐츠를 표시할 제1영역 및 상기 수립된 연결을 통해 상기 외부 장치로부터 수신되는 정보에 기초한 제2컨텐츠를 표시할 제2영역을 결정하는 동작, 및 상기 적어도 하나의 확장 디스플레이 영역이 확장되는 경우, 상기 결정된 제1영역에 상기 제1컨텐츠를 표시하고, 상기 결정된 제2영역에 상기 제2컨텐츠를 표시하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치의 컨텐츠와 공유 컨텐츠의 출력을 위해 디스플레이를 확장하고, 확장된 디스플레이 상에 각 컨텐츠를 적절하게 배치할 수 있는 전자 장치 및 컨텐츠 제공 방법을 제공할 수 있다.
도 1은 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예에 따른 전자 장치들을 도시한 것이다.
도 3a 내지 3d는 다양한 실시예에 따른 전자 장치의 확장 가능한 디스플레이의 구조를 도시한 것이다.
도 4a 내지 4e는 다양한 실시예에 따른 전자 장치의 확장 가능한 디스플레이의 구조를 도시한 것이다.
도 5는 다양한 실시예에 따른 전자 장치의 블록도이다.
도 6은 다양한 실시예에 따른 화면 공유 기능을 지원하는 전자 장치 및 외부 장치를 도시한 것이다.
도 7a 내지 7c는 다양한 실시예에 따른 디스플레이 상에서 컨텐츠를 표시하는 영역을 구분한 것이다.
도 8은 다양한 실시예에 따른 전자 장치의 영역 선택을 위한 센서를 도시한 것이다.
도 9a 및 9b는 다양한 실시예에 따른 외부 장치의 화면 위치를 설정할 수 있는 인터페이스를 도시한 것이다.
도 10a, 10b 및 10c는 다양한 실시예에 따른 외부 장치에서 컨텐츠 표현 방식을 설정할 수 있는 인터페이스를 도시한 것이다.
도 11a 및 11b는 다양한 실시예에 따른 전자 장치의 컨텐츠 제공 방법의 흐름도이다.
도 12는 다양한 실시예에 따른 전자 장치의 디스플레이 상에서 전자 장치의 컨텐츠와 외부 장치의 컨텐츠를 제공하는 예를 도시한 것이다.
도 13은 다양한 실시예에 따른 전자 장치의 디스플레이 상에서 전자 장치의 컨텐츠와 외부 장치의 컨텐츠를 제공하는 예를 도시한 것이다.
도 14는 다양한 실시예에 따른 전자 장치의 디스플레이 상에서 전자 장치의 컨텐츠와 외부 장치의 컨텐츠를 제공하는 예를 도시한 것이다.
도 15는 다양한 실시예에 따른 전자 장치의 디스플레이 상에서 전자 장치의 컨텐츠와 외부 장치의 컨텐츠를 제공하는 예를 도시한 것이다.
도 16은 다양한 실시예에 따른 전자 장치의 디스플레이 상에서 전자 장치의 컨텐츠와 외부 장치의 컨텐츠를 제공하는 예를 도시한 것이다.
도 17은 다양한 실시예에 따른 전자 장치의 디스플레이 상에서 전자 장치의 컨텐츠와 외부 장치의 컨텐츠를 제공하는 예를 도시한 것이다.
도 18은 다양한 실시예에 따른 전자 장치의 디스플레이 상에서 전자 장치의 컨텐츠와 외부 장치의 컨텐츠를 제공하는 예를 도시한 것이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜), 리모컨, 터치스크린 등을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 터치 센서 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity), WiFi direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는 다양한 실시예에 따른 전자 장치들을 도시한 것이다.
도 2를 참조 하면, 다양한 실시예에 따른 전자 장치는 스마트 폰(210), 태블릿 PC(220) 또는 TV(230), 노트북 (240), 모니터 (250) 등으로 구현될 수 있다. 본 문서에서는 특정 타입(예: 노트북, 모니터, TV)의 전자 장치를 위주로 다양한 실시예들에 대해 설명하기로 하나, 다른 타입(예: 태블릿 PC, 스마트 폰)의 전자 장치에도 해당 실시예들이 적용될 수 있다.
다양한 실시예에 따르면, 전자 장치는 확장 가능한(extendable) 디스플레이를 포함할 수 있다. 예를 들어, 디스플레이가 인입 상태에서는 디스플레이의 일부 영역만이 외부로 노출되어 화면을 출력하고(211, 221, 231), 하우징 내부에 수용되어 외부로 노출되지 않는 나머지 영역은 비활성화 상태로 화면을 출력하지 않을 수 있다. 디스플레이가 인출 되면, 인입 상태에서 외부로 노출되지 않았던 영역 중 적어도 일부가 외부로 노출되며(215, 225, 235), 이와 같이 확장된 영역(215, 225, 235)을 활성화 상태로 전환하여 화면을 출력할 수 있다.
도 3a 내지 3d는 다양한 실시예에 따른 전자 장치의 확장 가능한 디스플레이의 구조를 도시한 것이다.
이하에서는 도 3a 내지 도 3d를 통해 확장 가능한 디스플레이를 갖는 태블릿 PC의 구조에 대해 설명하기로 하나, 다른 종류의 장치(예: 노트북 PC, 모니터, TV, 스마트 폰)도 이와 동일한 또는 유사한 구조의 확장 가능한 디스플레이를 포함할 수 있다.
도 3a, 3b, 3c, 및 3d를 참조하면, 일 실시예에서, 전자 장치(300)는 슬라이딩 방식으로 화면(3301)을 확장시킬 수 있도록 구현될 수 있다. 예를 들어, 화면(3301)(또는 메인 디스플레이 영역)은 플렉서블 디스플레이(330) 중 외부로 보여지고 있는 영역일 수 있다. 도 3a 및 3b는 화면(3301)이 확장되지 않은 상태의 전자 장치(300)를 도시하고, 도 3c 및 3d는 화면(3301)이 확장된 상태의 전자 장치(300)를 도시한다. 화면(3301)이 확장되지 않은 상태는 디스플레이(330)의 슬라이딩 운동(sliding motion)을 위한 슬라이딩 플레이트(320)가 슬라이드 아웃(slide-out)되지 않은 상태로서 이하 닫힌 상태로 지칭될 수 있다. 화면(3301)이 확장된 상태는 슬라이딩 플레이트(320)의 슬라이드 아웃에 의해 화면(3301)이 더 이상 확장되지 않는 최대로 확장된 상태로서 이하 열린 상태로 지칭될 수 있다. 예를 들어, 슬라이드 아웃은 전자 장치(300)가 닫힌 상태에서 열린 상태로 전환될 때 슬라이딩 플레이트(320)가 제 1 방향(예: +x 축 방향)으로 적어도 일부 이동하는 것일 수 있다. 다양한 실시예에 따르면, 열린 상태는 닫힌 상태와 비교하여 화면(3301)이 확장된 상태로서 정의될 수 있고, 슬라이딩 플레이트(320)의 이동 위치에 따라 다양한 사이즈의 화면을 제공할 수 있다. 다양한 실시예에 따르면, 중간 상태(intermediated state)는 도 3a의 닫힌 상태 및 도 3c의 열린 상태 사이의 상태를 가리킬 수 있다. 화면(3301)은 시각적으로 노출되어 이미지를 출력 가능하게 하는 플렉서블 디스플레이(330)의 액티브 영역(active area)을 포함할 수 있고, 전자 장치(300)는 슬라이딩 플레이트(320)의 이동 또는 플렉서블 디스플레이(330)의 이동에 따라 액티브 영역을 조절할 수 있다. 이하 설명에서, 열린 상태는 화면(3301)이 최대로 확장된 상태를 가리킬 수 있다. 어떤 실시예에서, 도 3a의 전자 장치(300)에 슬라이딩 운동 가능하게 배치되어 화면(3301)을 제공하는 플렉서블 디스플레이(330)는 슬라이드 아웃 디스플레이(slide-out display) 또는 확장될 수 있는(익스텐더블) 디스플레이(expandable display)'로 지칭될 수도 있다. 다양한 실시예에 따르면, 플렉서블 디스플레이(330)를 포함하는 전자 장치(300)는 도 1의 전자 장치(101)를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(300)는 플렉서블 디스플레이(330)와 관련된 슬라이딩 구조를 포함할 수 있다. 예를 들어, 외력에 의해 플렉서블 디스플레이(330)가 설정된 거리로 이동되면, 슬라이딩 구조에 포함된 탄력 구조로 인해, 더 이상의 외력 없이도 닫힌 상태에서 열린 상태로, 또는 열린 상태에서 닫힌 상태로 전환될 수 있다 (예: 반자동 슬라이드 동작).
어떤 실시예에 따르면, 전자 장치(300)에 포함된 입력 장치를 통해 신호가 발생되면, 플렉서블 디스플레이(330)와 연결된 모터와 같은 구동 장치로 인해 전자 장치(300)는 닫힌 상태에서 열린 상태로, 또는 열린 상태에서 닫힌 상태로 전환할 수 있다. 예를 들어, 하드웨어 버튼, 또는 화면을 통해 제공되는 소프트웨어 버튼을 통해 신호가 발생되면, 전자 장치(300)는 닫힌 상태에서 열린 상태로, 또는 열린 상태에서 닫힌 상태로 전환될 수 있다.
다양한 실시예에 따르면, 압력 센서와 같은 다양한 센서로부터 신호가 발생되면, 전자 장치(300)는 닫힌 상태에서 열린 상태로, 또는 열린 상태에서 닫힌 상태로 전환될 수 있다. 예를 들어, 전자 장치(300)를 손으로 휴대하거나 파지할 때 손의 일부(예: 손 바닥 또는 손가락)가 전자 장치(300)의 지정된 구간 내를 가압하는 스퀴즈 제스처(squeeze gesture)가 센서를 감지될 수 있고, 이에 대응하여 전자 장치(300)는 닫힌 상태에서 열린 상태로, 또는 열린 상태에서 닫힌 상태로 전환될 수 있다.
일 실시예에 따르면, 디스플레이(330)는 제 2 구간(②)(도 3c 참조)을 포함할 수 있다. 제 2 구간(②)은 전자 장치(300)의 닫힌 상태에서 열린 상태로 전환될 때 화면(3301)의 확장된 부분을 포함할 수 있다. 전자 장치(300)가 닫힌 상태에서 열린 상태로 전환될 때, 제 2 구간(②)은 미끄러지듯 전자 장치(300)의 내부 공간으로부터 인출되고, 이로 인해 화면(3301)이 확장될 수 있다. 전자 장치(300)가 열린 상태에서 닫힌 상태로 전환될 때, 제 2 구간(②)의 적어도 일부는 미끄러지듯 전자 장치(300)의 내부 공간으로 인입되고, 이로 인해 화면(3301)이 축소될 수 있다. 전자 장치(300)가 열린 상태에서 닫힌 상태로 전환될 때, 제 2 구간(②)의 적어도 일부는 휘어지면서 전자 장치(300)의 내부 공간으로 이동될 수 있다. 예를 들어, 플렉서블 디스플레이(330)는 폴리이미드(PI(polyimide)), 또는 폴리에스터(PET(polyester))를 포함하는 폴리머 소재로 형성된 유연한 기판(예: 플라스틱 기판)을 포함할 수 있다. 제 2 구간(②)은 전자 장치(300)가 열린 상태 및 닫힌 상태 사이를 전환할 때 플렉서블 디스플레이(330)에서 휘어지는 부분으로서, 예를 들어, 벤더블 구간(bendable section)으로 지칭될 수도 있다. 이하 설명에서는, 제 2 구간(②)은 벤더블 구간으로 지칭하겠다.
일 실시예에 따르면, 전자 장치(300)는 하우징(310), 슬라이딩 플레이트(320), 또는 플렉서블 디스플레이(330)를 포함할 수 있다.
하우징(또는, 케이스(case))(310)은, 예를 들어, 백 커버(back cover)(312), 제 1 사이드 커버(side cover)(313), 또는 제 2 사이드 커버(314)를 포함할 수 있다. 백 커버(312), 제 1 사이드 커버(313), 또는 제 2 사이드 커버(314)는 전자 장치(300)의 내부에 위치된 지지 부재(미도시)에 연결될 수 있고, 전자 장치(300)의 외관을 적어도 일부 형성할 수 있다.
백 커버(312)는, 예를 들어, 전자 장치(300)의 후면(300B)을 적어도 일부 형성할 수 있다. 일 실시예에서, 백 커버(312)는 실질적으로 불투명할 수 있다. 예를 들어, 백 커버(312)는 코팅 또는 착색된 유리, 세라믹, 폴리머, 금속(예: 알루미늄, 스테인레스 스틸(STS), 또는 마그네슘), 또는 상기 물질들 중 적어도 둘의 조합에 의해 형성될 수 있다. 어떤 실시예에 따르면, 플렉서블 디스플레이(330)의 벤더블 구간(②)이 하우징(310)의 내부 공간에 인입된 상태(예: 닫힌 상태)에서, 벤더블 구간(②)의 적어도 일부는 백 커버(312)를 통해 외부로부터 보일 수 있게 배치될 수도 있다. 이러한 경우, 백 커버(312)는 투명 소재 및/또는 반투명 소재로 형성될 수 있다.
일 실시예에 따르면, 백 커버(312)는 평면부(313a), 및 평면부(313a)를 사이에 두고 서로 반대 편에 위치된 곡면부들(313b, 212c)을 포함할 수 있다. 곡면부들(313b, 212c)은 백 커버(312)의 양쪽 상대적으로 긴 에지들(미도시)에 각각 인접하여 형성되고, 백 커버(312)와는 반대 편에 위치된 화면 쪽으로 휘어져 심리스하게 연장될 수 있다. 어떤 실시예에 따르면, 백 커버(312)는 곡면부들(313b, 212c) 중 하나를 포함하거나 곡면부들(313b, 212c) 없이 구현될 수 있다.
일 실시예에 따르면, 제 1 사이드 커버(313) 및 제 2 사이드 커버(314)는 서로 반대 편에 위치될 수 있다. 예를 들어, 제 1 사이드 커버(313) 및 제 2 사이드 커버(314)는 슬라이딩 플레이트(320)의 슬라이드 아웃의 제 1 방향(예: +x 축 방향)과는 직교하는 제 2 방향(예: y 축 방향)으로 플렉서블 디스플레이(330)를 사이에 두고 서로 반대 편에 위치될 수 있다. 제 1 사이드 커버(313)는 전자 장치(300)의 제 1 측면(313c)의 적어도 일부를 형성할 수 있고, 제 2 사이드 커버(314)는 제 1 측면(313c)과는 반대 방향으로 향하는 전자 장치(300)의 제 2 측면(314a)의 적어도 일부를 형성할 수 있다. 제 1 사이드 커버(313)는 제 1 측면(313c)의 에지로부터 연장된 제 1 테두리부(또는, 제 1 림(rim))(313d)를 포함할 수 있다. 예를 들어, 제 1 테두리부(313d)는 전자 장치(300)의 일측 베젤(bezel)을 적어도 일부 형성할 수 있다. 제 2 사이드 커버(314)는 제 2 측면(314a)의 에지로부터 연장된 제 2 테두리부(또는, 제 2 림)(314b)를 포함할 수 있다. 예를 들어, 제 2 테두리부(314b)는 전자 장치(300)의 타측 베젤을 적어도 일부 형성할 수 있다. 일 실시예에 따르면, 도 3a의 닫힌 상태에서 제 1 테두리부(313d)의 표면, 제 2 테두리부(314b)의 표면, 및 슬라이딩 플레이트(320)의 표면은 매끄럽게 연결되어, 화면(3301)의 제 1 곡면부(330b) 쪽에 대응하는 일측 곡면부(미도시)를 형성할 수 있다. 다양한 실시예에 따르면, 제 1 테두리부(313d)의 표면 또는 제 2 테두리부(314b)의 표면은 제 1 곡면부(330b)와는 반대 편에 위치된 화면(3301)의 제 2 곡면부(330c) 쪽에 대응하는 타측 곡면부(미도시)를 포함할 수 있다.
일 실시예에 따르면, 슬라이딩 플레이트(320)는 전자 장치(300)의 내부에 위치된 지지 부재(미도시) 상에서 슬라이딩 운동을 할 수 있다. 플렉서블 디스플레이(330)의 적어도 일부는 슬라이딩 플레이트(320)에 배치될 수 있고, 도 3a의 닫힌 상태 또는 도 3c의 열린 상태는 상기 지지 부재 상에서의 슬라이딩 플레이트(320)의 위치에 기초하여 형성될 수 있다. 일 실시예에 따르면, 플렉서블 디스플레이(330)는 접착 부재(또는 점착 부재)(미도시)를 통해 슬라이딩 플레이트(120)에 부착될 수 있다. 일 실시예에 따르면, 상기 접착 부재는 열반응 접착 부재, 광반응 접착 부재, 일반 접착제 및/또는 양면 테이프를 포함할 수 있다. 어떤 실시예에 따르면, 플렉서블 디스플레이(330)는 슬라이딩 플레이트(320)에 형성된 리세스(recess)에 슬라이딩 방식으로 삽입되어 슬라이딩 플레이트(320)에 배치 및 고정될 수 있다. 슬라이딩 플레이트(330)는 플렉서블 디스플레이(330)의 적어도 일부를 지지하는 역할을 하며, 어떤 실시예에서는 디스플레이 지지 구조로 지칭될 수도 있다.
일 실시예에 따르면, 슬라이딩 플레이트(320)는 전자 장치(300)의 외면(예: 외부로 노출되어 전자 장치(300)의 외관을 형성하는 면)을 형성하는 제 3 테두리부(320b)를 포함할 수 있다. 예를 들어, 제 3 테두리부(320b)는 도 3a의 닫힌 상태에서 제 1 테두리부(313d) 및 제 2 테두리부(314b)와 함께 화면 주변의 베젤을 형성할 수 있다. 제 3 테두리부(320b)는, 닫힌 상태에서, 제 1 사이드 커버(313)의 일단부 및 제 2 사이드 커버(314)의 일단부를 연결하도록 제 2 방향(예: y 축 방향)으로 연장될 수 있다. 예를 들어, 도 3a의 닫힌 상태에서 제 3 테두리부(320b)의 표면은 제 1 테두리부(313d)의 표면 및/또는 제 2 테두리부(314b)의 표면과 매끄럽게 연결될 수 있다.
일 실시예에 따르면, 슬라이딩 플레이트(320)의 슬라이드 아웃으로 인해, 벤더블 구간(②)의 적어도 일부는 전자 장치(300)의 내부로부터 밖으로 나오면서 도 3c에서와 같이 화면(3301)이 확장된 상태(예: 열린 상태)가 제공될 수 있다.
일 실시예에 따르면, 도 3a의 닫힌 상태에서, 화면(3301)은 평면부(330a), 및 평면부(330a)를 사이에 두고 서로 반대 편에 위치된 제 1 곡면부(330b) 및/또는 제 2 곡면부(330c)를 포함할 수 있다. 예를 들어, 제 1 곡면부(330b) 및 제 2 곡면부(330c)는 평면부(330a)를 사이에 두고 실질적으로 대칭(symmetrical)일 수 있다. 예를 들어, 도 3a의 닫힌 상태에서, 제 1 곡면부(330b) 및/또는 제 2 곡면부(330c)는 백 커버(312)의 곡면부들(313b, 212c)과 각각 대응하여 위치될 수 있고, 백 커버(312) 쪽으로 휘어진 형태일 수 있다. 도 3a의 닫힌 상태에서 도 3c의 열린 상태로 전환되면, 평면부(330a)는 확장될 수 있다. 예를 들면, 도 3a의 닫힌 상태에서 제 2 곡면부(330c)를 형성하는 벤더블 구간(②)의 일부 영역은, 도 3a의 닫힌 상태에서 도 3c의 열린 상태로 전환될 때 확장된 평면부(330a)에 포함되며 벤더블 구간(②)의 다른 영역으로 형성될 수 있다.
일 실시예에 따르면, 전자 장치(300)는, 벤더블 구간(②)의 인입 또는 인출을 위한 오프닝(미도시), 및/또는 오프닝에 위치된 풀리(pulley)(미도시)를 포함할 수 있다. 풀리는 벤더블 구간(②)에 대응하여 위치될 수 있고, 도 3a의 닫힌 상태 및 도 3c의 열린 상태 사이의 전환에서 풀리의 회전을 통해 벤더블 구간(②)의 이동 및 그 이동 방향이 안내될 수 있다. 제 1 곡면부(330b)는 슬라이딩 플레이트(320)의 일면에 형성된 곡면에 대응하여 형성될 수 있다. 제 2 곡면부(330c)는 벤더블 구간(②) 중 풀리의 곡면에 대응하는 부분에 의해 형성될 수 있다. 제 1 곡면부(330c)는 전자 장치(300)의 닫힌 상태 또는 열린 상태에서 제 2 곡면부(330b)의 반대 편에 위치되어 화면(3301)의 심미성을 향상시킬 수 있다. 어떤 실시예에 따르면, 제 1 곡면부(330b) 없이 평면부(330a)가 확장된 형태로 구현될 수도 있다.
일 실시예에 따르면, 플렉서블 디스플레이(330)는 터치 감지 회로(예: 터치 센서)를 더 포함할 수 있다. 다양한 실시예에 따르면(미도시), 플렉서블 디스플레이(330)는 터치의 세기(압력)를 측정할 수 있는 압력 센서, 및/또는 자기장 방식의 펜 입력 장치(예: 스타일러스 펜)를 검출하는 디지타이저와 결합되거나 인접하여 배치될 수 있다. 예를 들면, 디지타이저는 펜 입력 장치로부터 인가된 전자기 유도 방식의 공진 주파수를 검출할 수 있도록 유전체 기판상에 배치되는 코일 부재를 포함할 수 있다.
일 실시예에 따르면, 전자 장치(300)는 마이크 홀(351)(예: 도 1의 입력 모듈(150)), 스피커 홀(352)(예: 도 1의 음향 출력 모듈(155)), 커넥터 홀(353)(에: 도 1의 연결 단자(178)), 카메라 모듈(354)(예: 도 1의 카메라 모듈(180)), 또는 플래시(355)를 포함할 수 있다. 다양한 실시예에 따르면, 플래시(355)는 카메라 모듈(354)에 포함하여 구현될 수도 있다. 어떤 실시예에서, 전자 장치(300)는 구성 요소들 중 적어도 하나를 생략하거나 다른 구성 요소를 추가적으로 포함할 수 있다.
마이크 홀(351)은, 예를 들어, 전자 장치(300)의 내부에 위치된 마이크(미도시)에 대응하여 제 2 측면(314a)의 적어도 일부에 형성될 수 있다. 마이크 홀(351)의 위치는 도 3a의 실시예에 국한되지 않고 다양할 수 있다. 어떤 실시예에 따르면, 전자 장치(300)는 소리의 방향을 감지할 수 있는 복수의 마이크들을 포함할 수 있다.
스피커 홀(352)은, 예를 들어, 전자 장치(300)의 내부에 위치된 스피커에 대응하여 제 2 측면(314a)의 적어도 일부에 형성될 수 있다. 스피커 홀(352)의 위치는 도 3a의 실시예에 국한되지 않고 다양할 수 있다. 다양한 실시예에 따르면, 전자 장치(300)는 통화용 리시버 홀을 포함할 수 있다. 어떤 실시예에서는 마이크 홀(351) 및 스피커 홀(352)이 하나의 홀로 구현되거나, 피에조 스피커와 같이 스피커 홀(352)이 생략될 수 있다.
커넥터 홀(353)은, 예를 들어, 전자 장치(300)의 내부에 위치된 커넥터(예: USB 커넥터)에 대응하여 제 2 측면(314a)의 적어도 일부에 형성될 수 있다. 전자 장치(300)는 커넥터 홀(353)을 통해 커넥터와 전기적으로 연결된 외부 전자 장치와 전력 및/또는 데이터를 송신 및/또는 수신할 수 있다. 커넥터 홀(353)의 위치는 도 3a의 실시예에 국한되지 않고 다양할 수 있다.
카메라 모듈(354) 및 플래시(355)는, 예를 들어, 전자 장치(300)의 후면(300B)에 위치될 수 있다. 카메라 모듈(154)은 하나 또는 복수의 렌즈들, 이미지 센서, 및/또는 이미지 시그널 프로세서를 포함할 수 있다. 플래시(355)는, 예를 들어, 발광 다이오드 또는 제논 램프(xenon lamp)를 포함할 수 있다. 어떤 실시예에서는, 2개 이상의 렌즈들(적외선 카메라, 광각 및 망원 렌즈) 및 이미지 센서들이 전자 장치(300)의 한 면에 위치될 수 있다. 다양한 실시예에 따르면, 도 3b 또는 3d의 실시예에 국한되지 않고, 전자 장치(300)는 복수의 카메라 모듈들을 포함할 수 있다. 카메라 모듈(354)은 복수의 카메라 모듈들 중 하나일 수 있다. 예를 들면, 전자 장치(300)는 각각 다른 속성(예: 화각) 또는 기능을 가진 복수의 카메라 모듈들(예: 듀얼 카메라, 또는 트리플 카메라)을 포함할 수 있다. 예를 들면, 서로 다른 화각을 갖는 렌즈를 포함하는 카메라 모듈(예: 카메라 모듈(354))이 복수 개로 구성될 수 있고, 전자 장치(300)는 사용자의 선택에 기반하여, 전자 장치(300)에서 수행되는 카메라 모듈의 화각을 변경하도록 제어할 수 있다. 또한, 복수의 카메라 모듈들은, 광각 카메라, 망원 카메라, 컬러 카메라, 흑백(monochrome) 카메라, 또는 IR(infrared) 카메라(예: TOF(time of flight) camera, structured light camera) 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, IR 카메라는 센서 모듈(미도시)의 적어도 일부로 동작될 수 있다.
다양한 실시예에 따르면(미도시), 전자 장치(300)는 화면(3301)이 향하는 방향으로 놓인 전자 장치(300)의 일면(예: 전면(300A)을 통해 광을 수신된 광을 기초로 이미지 신호를 생성하는 카메라 모듈(예: 전면 카메라)을 더 포함할 수 있다. 예를 들어, 카메라 모듈(354)은, 도 3b 또는 3d의 실시예에 국한되지 않고, 플렉서블 디스플레이(330)에 형성된 오프닝(예: 관통 홀, 또는 노치(notch))과 정렬되어 하우징(310)의 내부에 위치될 수 있다. 카메라 모듈(354)은 상기 오프닝, 및 상기 오프닝과 중첩된 투명 커버의 일부 영역을 통해 광을 수신하여 이미지 신호를 생성할 수 있다. 상기 투명 커버는 플렉서블 디스플레이(330)를 외부로부터 보호하는 역할을 하며, 예를 들어, 폴리이미드 또는 울트라신글라스(UTG(ultra thin glass)와 같은 물질을 포함할 수 있다.
어떤 실시예에 따르면, 도 3b 또는 3d의 실시예에 국한되지 않고, 카메라 모듈(355)은 플렉서블 디스플레이(330)의 화면(3301)의 적어도 일부의 하단에 배치될 수 있고, 카메라 모듈(354)의 위치가 시각적으로 구별(또는 노출)되지 않고 관련 기능(예: 이미지 촬영)을 수행할 수 있다. 이 경우, 예를 들어, 화면(3301)의 위에서 볼 때(예: -z 축 방향으로 볼 때), 카메라 모듈(354)은 화면(3301)의 적어도 일부에 중첩되게 배치되어, 외부로 노출되지 않으면서, 외부 피사체의 이미지를 획득할 수 있다.
다양한 실시예에 따르면(미도시), 전자 장치(300)는 키 입력 장치(예: 도 1의 입력 모듈(150))를 더 포함할 수 있다. 키 입력 장치는, 예를 들어, 제 1 사이드 커버(313)에 의해 형성된 전자 장치(300)의 제 1 측면(313c)에 위치될 수 있다. 어떤 실시예에서(미도시), 키 입력 장치는 적어도 하나의 센서 모듈을 포함할 수 있다.
다양한 실시예에 따르면(미도시), 전자 장치(300)는 다양한 센서 모듈(예: 도 1의 센서 모듈(176))을 포함할 수 있다. 센서 모듈은 전자 장치(300)의 내부의 작동 상태, 또는 외부의 환경 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 예를 들어(미도시), 센서 모듈은 화면(3301)이 향하는 방향으로 놓인 전자 장치(300)의 전면(300A)을 통해 광을 수신된 광을 기초로 외부 물체의 근접에 관한 신호를 생성하는 근접 센서를 포함할 수 있다. 다른 예를 들어(미도시), 센서 모듈은 전자 장치(300)의 전면(300A) 또는 후면(300B)을 통해 수신된 광을 기초로 생체에 관한 정보를 검출하기 위한 지문 센서, 또는 HRM 센서와 같은 다양한 생체 센서를 포함할 수 있다. 전자 장치(300)는 다양한 다른 센서 모듈, 예를 들어, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 도 3a, 3b, 3c, 및 3c의 실시예에 국한되지 않고, 전자 장치(300)는 슬라이딩 플레이트(320)의 슬라이드 아웃시 제 3 테두리부(320b) 쪽에서 화면이 확장되는 구조로 구현될 수도 있다. 예를 들어, 도 3a의 닫힌 상태에서 제 1 곡면부(330b)를 형성하는 플렉서블 디스플레이(330)의 일부 영역은, 도 3a의 닫힌 상태에서 도 3c의 열린 상태로 전환될 때 확장된 평면부(330a)에 포함되며, 플렉서블 디스플레이(330)의 다른 영역으로 형성될 수 있다.
도 4a 내지 4e는 다양한 실시예에 따른 전자 장치의 확장 가능한 디스플레이의 구조를 도시한 것이다.
다양한 실시예에 따르면, 전자 장치는 실질적으로 직사각형 형태의 디스플레이를 포함할 수 있으며, 디스플레이는 상하좌우 중 적어도 일 방향으로 확장될 수 있다(예: 도 3a 내지 3d의 플렉서블 디스플레이(330). 예를 들어, 디스플레이가 확장되지 않은 상태에서 일부 영역은 하우징 내에서 롤링 구조를 통해 수용될 수 있고, 사용자의 조작 또는 모터에 의해 롤링 구조가 회전하여 수용되었던 일부 영역이 슬라이딩 되어 외부로 노출될 수 있다.
다양한 실시예에 따르면, 전자 장치는 좌측 또는 우측 방향으로 확장 가능한 디스플레이를 포함할 수 있다.
도 4a를 참조 하면, 전자 장치는 좌측으로 확장 가능한 디스플레이(410)를 포함할 수 있다. 예를 들어, 전자 장치는 디스플레이(410)가 확장되지 않은 상태에서 메인 디스플레이 영역(411)을 통해 화면을 표시하고, 확장 디스플레이 영역(412)은 하우징 내에 수용되어 비활성화 상태일 수 있다. 사용자의 조작에 의해 확장 디스플레이 영역(412)이 좌측으로 인출되어 외부로 노출되는 경우 확장 디스플레이 영역(412)이 활성화 되어, 메인 디스플레이 영역(411) 및 확장 디스플레이 영역(412)에 화면이 표시될 수 잇다.
다른 실시예에 따르면, 전자 장치의 디스플레이(415)는 확장되지 않은 상태에서 화면을 표시하는 메인 디스플레이 영역(416) 및 우측으로 확장 가능하며 확장된 상태에서 화면을 표시하는 확장 디스플레이 영역(417)을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치는 상측 또는 하측 방향으로 확장 가능한 디스플레이를 포함할 수 있다.
도 4b를 참조 하면, 전자 장치의 디스플레이(420)는 확장되지 않은 상태에서 화면을 표시하는 메인 디스플레이 영역(421) 및 상측으로 확장 가능하며 확장된 상태에서 화면을 표시하는 확장 디스플레이 영역(422)을 포함할 수 있다. 다른 실시예에 따르면, 전자 장치의 디스플레이(425)는 확장되지 않은 상태에서 화면을 표시하는 메인 디스플레이 영역(426) 및 하측으로 확장 가능하며 확장된 상태에서 화면을 표시하는 확장 디스플레이 영역(427)을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치는 좌우 양쪽 방향 또는 상하 양쪽 방향으로 확장 가능한 디스플레이를 포함할 수 있다.
도 4c를 참조 하면, 전자 장치의 디스플레이(430)는 확장되지 않은 상태에서 화면을 표시하는 메인 디스플레이 영역(431), 우측으로 확장 가능하며 확장된 상태에서 화면을 표시하는 제1확장 디스플레이 영역(432) 및 좌측으로 확장 가능하며 확장된 상태에서 화면을 표시하는 제2확장 디스플레이 영역(433)을 포함할 수 있다. 이 경우, 사용자의 조작 및 출력되는 컨텐츠의 타입에 따라 제1확장 디스플레이 영역(432) 및 제2확장 디스플레이 영역(433) 중 적어도 하나가 확장될 수 있다.
다른 실시예에 따르면, 전자 장치의 디스플레이(435)는 확장되지 않은 상태에서 화면을 표시하는 메인 디스플레이 영역(436), 상측으로 확장 가능하며 확장된 상태에서 화면을 표시하는 제1확장 디스플레이 영역(437) 및 하측으로 확장 가능하며 확장된 상태에서 화면을 표시하는 제2확장 디스플레이 영역(438)을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치는 상측 방향(또는 하측 방향) 및 우측 방향(또는 좌측 방향)으로 모두 확장 가능한 디스플레이를 포함할 수 있다.
도 4d를 참조 하면, 전자 장치의 디스플레이(440)는 확장되지 않은 상태에서 화면을 표시하는 메인 디스플레이 영역(441), 우측으로 확장 가능하며 확장된 상태에서 화면을 표시하는 제1확장 디스플레이 영역(442) 및 상측으로 확장 가능하며 확장된 상태에서 화면을 표시하는 제2확장 디스플레이 영역(443)을 포함할 수 있다. 이 경우, 제1확장 디스플레이 영역(441) 및 제2확장 디스플레이 영역(443) 중 적어도 하나는 메인 디스플레이 영역(441)과 서로 분리된 디스플레이로 구성될 수 있으며, 사용자의 조작 및 출력되는 컨텐츠의 타입에 따라 제1확장 디스플레이 영역(442) 및 제2확장 디스플레이 영역(443) 중 적어도 하나가 확장될 수 있다.
다양한 실시예에 따르면, 전자 장치의 디스플레이는 일부만 확장될 수 있다.
도 4e를 참조 하면, 디스플레이(450)는 좌측으로 확장될 수 있으며, 일부 영역이 확장된 경우 해당 영역만 활성화 되어 화면을 표시하고, 다른 일부 영역이 더 확장된 상태에서는 확장된 영역이 모두 활성화 되어 화면을 표시할 수 있다.
일 실시예에 따르면, 디스플레이는 복수의 단계로 확장될 수 있다. 예를 들어, 디스플레이는 제1영역만큼 확장되는 경우 지지 구조를 통해 고정되고, 추가적인 힘에 따라 제2영역만큼 확장될 수 있다.
후술하는 다양한 실시예에서의 전자 장치는 도 4a 내지 4e 중 적어도 하나의 구조를 갖는 디스플레이를 포함할 수 있으며, 도 4a 내지 4e에서 설명한 외에도 다양한 형태의 확장 가능한 디스플레이가 포함될 수 있다.
도 5는 다양한 실시예에 따른 전자 장치의 블록도이다.
도 5를 참조 하면, 전자 장치(500)는 프로세서(510), 메모리(520), 디스플레이(530), 통신 모듈(540), 센서(550) 및 카메라(560)를 포함할 수 있으며, 도시된 구성 중 적어도 일부가 생략 및/또는 치환되더라도 본 문서의 다양한 실시예들을 구현할 수 있다. 전자 장치(500)는 도 1의 전자 장치(101)의 구성 및/또는 기능 중 적어도 일부를 더 포함할 수 있다.
도 5에 도시된 구성 및/또는 도시되지 않은 전자 장치(500)의 다른 구성 중 일부 구성(예: 프로세서(510), 메모리(520), 통신 모듈(540))은 전자 장치(500)의 하우징(housing)(미도시) 내부에 배치될 수 있고, 일부 구성(예: 디스플레이(530))은 그 적어도 일부가 하우징의 외부로 노출될 수 있다.
다양한 실시예에 따르면, 디스플레이(530)는 프로세서(510)로부터 제공되는 컨텐츠를 표시할 수 있다. 예를 들어, 디스플레이(530)는 프로세서(510)를 통해 실행된 어플리케이션에서 생성된 메인 컨텐츠(또는 제1컨텐츠) 및/또는 통신 모듈(540)을 통해 외부 장치로부터 획득한 공유 컨텐츠(또는 제2컨텐츠)를 표시할 수 있다.
다양한 실시예에 따르면, 디스플레이(530)는 메인 디스플레이 영역(예: 도 4a의 메인 디스플레이 영역(411)) 및 적어도 하나의 확장 디스플레이 영역(예: 도 4a의 확장 디스플레이 영역(412))을 포함할 수 있다. 디스플레이(530)는 메인 디스플레이 영역으로부터 상, 하, 좌, 우 방향 중 적어도 하나의 방향으로 확장 가능한 적어도 하나의 확장 디스플레이 영역을 포함할 수 있다. 예를 들어, 디스플레이(530)가 인입 상태에서는 메인 디스플레이 영역만이 외부로 노출되어 화면을 출력하고, 하우징 내부에 수용되어 외부로 노출되지 않는 확장 디스플레이 영역은 비활성화 상태로 화면을 출력하지 않을 수 있다. 디스플레이(530)가 인출 되면, 확장 디스플레이 영역의 적어도 일부가 외부로 노출되며, 이와 같이 확장 디스플레이 영역을 활성화 상태로 전환하여 화면을 출력할 수 있다. 확장 가능한 디스플레이(530)의 여러 형태에 대해서는 앞서 도 3a 내지 3d 및 도 4a 내지 4e를 통해 설명한 바 있으며, 이에 한정되지 않는다.
다양한 실시예에 따르면, 디스플레이(530)는 사용자의 신체 일부(예: 손가락) 또는 입력 장치(예: 스타일러스 펜)를 이용한 터치 및/또는 근접 터치(또는 호버링) 입력을 감지하는 터치 스크린으로 구성될 수 있다.
다양한 실시예에 따르면, 전자 장치(500)는 접촉 또는 인접을 감지하는 적어도 하나의 센서(550)를 포함할 수 있다. 예를 들어, 전자 장치(500)는 NFC(near field communication), RFID(radio frequency identification), 블루투스(또는 Bluetooth low energy) 또는 터치 센서와 같이 오브젝트의 인접 또는 접촉을 감지하는 다양한 형태의 근거리 센서를 포함할 수 있다.
다양한 실시예에 따르면, 적어도 하나의 센서(550)는 각각 디스플레이(530)의 상, 하, 좌, 우의 베젤 영역 및/또는 하우징의 모서리 영역에 배치될 수 있다. 이에 따라, 메인 컨텐츠 또는 공유 컨텐츠를 표시할 영역을 선택 시에, 사용자가 의도한 영역에 인접한 센서(550)에 터치 또는 근접 입력을 하도록 할 수 있다. 여러 실시예에서 전자 장치(500)는 1개 내지 5개의 센서(550)를 디스플레이(530) 주변 위치에 배치할 수 있다.
다양한 실시예에 따르면, 카메라(560)는 디스플레이(530) 주변의 베젤 영역 또는 디스플레이(530) 내부의 노치(notch) 영역 상에 배치되어, 주변의 피사체를 촬영할 수 있다. 카메라(560)에서 촬영된 영상 데이터는 프로세서(510)로 제공되고, 프로세서(510)는 해당 영상을 분석하여 사용자의 인터랙션 위치를 판단할 수 있다.
다양한 실시예에 따르면, 통신 모듈(540)은 외부 장치와 유선 또는 무선 통신 인터페이스를 제공할 수 있다. 예를 들어, 통신 모듈(540)은 유선 통신 인터페이스(예: 도 1의 인터페이스(177))의 예로써, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스를 포함할 수 있다. 또한, 통신 모듈(540)은 외부 장치와 근거리 통신 모듈을 지원하는 무선 통신 모듈(예: 도 1의 무선 통신 모듈(192))을 포함할 수 있다. 무선 통신 모듈은 다양한 근거리 무선 통신 방식(예: Wi-Fi, 블루투스(bluetooth), BLE(bluetooth low energy))을 지원할 수 있으며, 각각의 무선 통신 방식을 지원하기 위한 독립적인 하드웨어 및/또는 소프트웨어 구성을 포함할 수 있다.
다양한 실시예에 따르면, 메모리(520)는 휘발성 메모리 및 비휘발성 메모리를 포함하여, 다양한 데이터들을 일시적 또는 영구적으로 저장할 수 있다. 메모리(520)는 도 1의 메모리(130)의 구성 및/또는 기능 중 적어도 일부를 포함하고, 도 1의 프로그램(140)을 저장할 수 있다.
메모리(520)는 프로세서(510)에서 수행될 수 있는 다양한 인스트럭션(instruction)들을 저장할 수 있다. 이와 같은 인스트럭션들은 프로세서(510)에 의해 인식될 수 있는 산술 및 논리 연산, 데이터 이동, 입출력 등의 제어 명령을 포함할 수 있다.
다양한 실시예에 따르면, 프로세서(510)는 전자 장치(500)의 각 구성 요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 수행할 수 있는 구성으로써, 하나 이상의 프로세서(510)들로 구성될 수 있다. 프로세서(510)는 도 1의 프로세서(120)의 구성 및/또는 기능 중 적어도 일부를 포함할 수 있다. 프로세서(510)는 디스플레이(530), 메모리(520), 센서(550), 카메라(560) 등 전자 장치(500)의 각 구성 요소와 작동적으로(operatively), 기능적으로(functionally) 및/또는 전기적으로(electrically) 연결될 수 있다.
다양한 실시예에 따르면, 프로세서(510)가 전자 장치(500) 상에서 구현할 수 있는 연산 및 데이터 처리 기능에는 한정됨이 없을 것이나, 이하에서는 디스플레이(530) 상에서 메인 컨텐츠 및 공유 컨텐츠를 표시할 영역을 결정하고, 그에 따라 디스플레이(530)를 확장하도록 하기 위한 다양한 실시예들을 위주로 설명하기로 한다. 후술할 프로세서(510)의 동작들은 메모리(520)에 저장된 인스트럭션들을 로딩(loading)함으로써 수행될 수 있다.
다양한 실시예에 따르면, 프로세서(510)는 디스플레이(530)가 확장되지 않은 상태에서 메인 디스플레이 영역 상에 메인 컨텐츠(또는 제1컨텐츠)를 표시할 수 있다. 여기서, 메인 컨텐츠는 전자 장치(500)가 어플리케이션(예: 인터넷 브라우저, 게임, 갤러리)을 실행하여 생성된 컨텐츠 일 수 있다. 또는, 전자 장치(500)가 TV로 구현되는 경우, 지상파 또는 케이블로 수신되는 방송 컨텐츠 일 수 있다. 디스플레이(530)가 확장되지 않은 상태에서 확장 디스플레이 영역은 하우징 내부에 인입되어 있고, 프로세서(510)는 확장 디스플레이 영역은 비활성화 상태로 제어할 수 있다.
다양한 실시예에 따르면, 프로세서(510)는 통신 모듈(540)을 통해 외부 장치와 컨텐츠 공유를 위한 연결을 확인하고, 영상 공유 기능의 활성화를 감지할 수 있다. 예를 들어, 외부 장치는 유선 인터페이스(예: HDMI, USB)를 통해 연결될 수 있고, Wi-Fi Direct, Wi-Fi Aware, 블루투스와 같은 근거리 무선 통신을 통해 연결될 수 있다.
다양한 실시예에 따르면, 프로세서(510)는 외부 장치로부터 공유 컨텐츠(또는 제2컨텐츠)와 관련된 정보를 수신할 수 있다. 예를 들어, 전자 장치(500)와 외부 장치가 미라캐스트(miracast)로 연결된 경우 외부 장치의 컨텐츠가 그대로 전송되어 전자 장치(500)에 미러링 될 수 있고, Dex(desktop experience) 모드로 연결된 경우 전자 장치(500) 상에서 UI를 구현하기 위한 어플리케이션 정보들이 수신될 수 있고, 또는 다른 외부 장치(예: 외부 서버)에서 공유 컨텐츠를 획득할 수 있는 다른 외부 장치로의 링크 정보가 수신될 수 있다.
일 실시예에 따르면, 전자 장치(500)가 외부 장치에 표시되는 화면을 미러링해서 표시하는 경우, 전자 장치(500)는 외부 장치에서 실시간으로 변경되는 정보(예: 채팅, SNS, 실시간 검색 등)를 확장된 디스플레이(530)의 일 영역을 통해 실시간으로 제공할 수 있다. 예를 들어, 전자 장치(500)에 복수의 외부 장치가 각 외부 장치의 화면을 미러링 하는 경우, 전자 장치(500)는 각 외부 장치의 화면은 확장된 디스플레이(530)의 서로 다른 영역에 각 외부 장치의 화면을 표시할 수 있다. 이 경우, 확장된 디스플레이(530)에서 각 외부 장치의 화면이 표시되는 영역은 각 외부 장치를 이용한 사용자 인터랙션의 위치(예: 디스플레이의 좌측 NFC 태깅 및 우측 NFC 태깅)에 기초하여 결정될 수 있다.
일 실시예에 따르면, 전자 장치(500)가 외부 장치로부터 링크 정보를 수신하여, 다른 외부 장치(예: 외부 서버)에서 공유 컨텐츠를 획득하는 경우, 전자 장치(500)는 다른 외부 장치에서 실시간으로 수신되는 영상 정보를 확장된 디스플레이(530)의 일 영역을 통해 실시간으로 표시할 수 있다. 본 실시예에 따르면, 사용자는 하나의 외부 장치를 이용해 전자 장치(500)의 여러 영역에 인터랙션하여(예: 디스플레이(530)의 좌측 NFC 태깅 및 우측 NFC 태깅)하여 전달하고자 하는 영상의 링크 정보를 여러 번 전송할 수 있고, 전자 장치(500)는 각 인터랙션에 따라 획득된 링크 정보를 통해 복수의 영상 정보를 실시간으로 수신하여 서로 다른 영역에 표시할 수 있다.다양한 실시예에 따르면, 프로세서(510)는 확장 디스플레이 영역이 확장되는 상태에서 메인 컨텐츠를 표시할 제1영역 및 공유 컨텐츠를 표시할 제2영역을 결정할 수 있다.
다양한 실시예에 따르면, 프로세서(510)는 확장 디스플레이 영역이 확장되는 경우에 메인 디스플레이 영역을 메인 컨텐츠를 표시할 제1영역으로 결정하고, 확장 디스플레이 영역을 공유 컨텐츠를 표시할 제2영역으로 결정할 수 있다. 이 경우, 메인 컨텐츠는 디스플레이(530)의 확장 전후에 동일한 위치 상에서 계속 표시되고, 상하좌우 중 어느 하나로 확장되는 확장 디스플레이 영역 상에 공유 컨텐츠가 표시될 수 있다.
다양한 실시예에 따르면, 프로세서(510)는 사용자 인터랙션에 기초하여, 메인 컨텐츠를 표시할 제1영역 및 공유 컨텐츠를 표시할 제2영역을 결정할 수 있다.
일 실시예에 따르면, 프로세서(510)는 디스플레이(530) 주변(예: 하우징의 모서리, 베젤 영역)에 배치된 센서(550) 상의 터치 또는 근접 입력에 기초하여 제1영역 및 제2영역을 결정할 수 있다. 예를 들어, 전자 장치(500)는 디스플레이(530)의 상측, 하측, 좌측 및 우측에 4개의 NFC 센서(550)를 구비할 수 있으며, 특정 NFC 센서(550)에서 사용자의 근접이 감지되는 경우, 확장된 디스플레이(530)에서 해당 NFC 센서(550)의 위치에 대응하는 영역에 공유 컨텐츠를 표시하는 것으로 결정할 수 있다. 본 실시예에 대해서는 도 8을 통해 보다 상세히 설명하기로 한다.
다른 일 실시예에 따르면, 프로세서(510)는 메인 디스플레이 영역 상의 터치 입력에 기초하여 제1영역 및 제2영역을 결정할 수 있다. 디스플레이(530)는 터치 스크린으로 구성될 수 있으며, 프로세서(510)는 디스플레이(530)의 메인 디스플레이 영역을 복수의 구분하고, 구분된 각 영역 중 어느 하나에서 사용자의 터치 입력이 감지되는 경우, 해당 영역에 공유 컨텐츠를 표시하는 것으로 결정할 수 있다. 본 실시예에 대해서는 도 7a 내지 도 7c를 통해 보다 상세히 설명하기로 한다.
다른 일 실시예에 따르면, 프로세서(510)는 카메라(560)를 통해 획득되는 영상 정보에 기초하여, 사용자의 제스처를 파악하고, 사용자의 제스처에 대응하는 영역에 공유 컨텐츠를 표시하는 것으로 결정할 수 있다.
다른 일 실시예에 따르면, 프로세서(510)는 외부 장치로부터 수신되는 정보에 기초하여 제1영역 및 제2영역을 결정할 수 있다. 외부 장치는 전자 장치(500)와의 화면 공유 기능을 지원하는 어플리케이션을 실행할 수 있으며, 어플리케이션은 전자 장치(500)의 확장된 디스플레이(530) 상에서 공유 컨텐츠가 표시될 영역을 결정할 수 있는 UI를 제공할 수 있다. 전자 장치(500)는 외부 장치의 UI 상의 선택에 대한 정보를 수신하고, 해당 영역에 공유 컨텐츠를 표시하는 것으로 결정할 수 있다. 본 실시예에 대해서는 도 9a 및 도 9b를 통해 보다 상세히 설명하기로 한다.
다양한 실시예에 따르면, 프로세서(510)는 공유 컨텐츠의 표시 방향에 더 기초하여, 공유 컨텐츠를 표시할 영역을 결정할 수 있다. 예를 들어, 미라 캐스트와 같이 외부 장치에서 표시되는 컨텐츠를 전자 장치(500)의 디스플레이(530) 상에 미러링 하는 경우, 외부 장치는 관성 센서(예: 가속도 센서, 자이로 센서)를 통해 획득한 오리엔테이션 정보를 전자 장치(500)에 전송하고, 프로세서(510)는 수신되는 오리엔테이션 정보를 통해 공유 컨텐츠를 가로 모드 또는 세로 모드로 표시할 지 결정할 수 있다. 또는, 프로세서(510)는 외부 장치의 어플리케이션 상에서 입력된 화면 및 컨텐츠 의 상태 및/또는 컨텐츠가 제공하는 표시 방향 모드를 획득하여 공유 컨텐츠의 표시 방향을 결정할 수 있다.
다양한 실시예에 따르면, 프로세서(510)는 메인 컨텐츠를 표시할 제1영역 및 공유 컨텐츠를 표시할 제2영역이 결정되는 경우, 디스플레이(530)의 확장 디스플레이 영역이 확장되도록 제어할 수 있다. 예를 들어, 디스플레이(530)는 적어도 하나의 확장 디스플레이 영역이 모터 구조에 의해 확장되도록 구성될 수 있으며, 이 경우 프로세서(510)는 메인 컨텐츠 및 공유 컨텐츠를 표시할 영역의 크기에 대응하여 확장 디스플레이 영역을 자동으로 확장 시킬 수 있다. 또는, 디스플레이(530)는 사용자의 힘에 의해 수동으로 확장되도록 구성될 수 있으며, 프로세서(510)는 메인 디스플레이 영역 상에 확장 디스플레이 영역을 사용자가 확장 하도록 가이드 하는 정보를 제공할 수 있다.
다양한 실시예에 따르면, 프로세서(510)는 확장된 디스플레이(530) 상에 메인 컨텐츠 및 공유 컨텐츠를 표시하기 위한 화면 표시 형태를 결정할 수 있다. 예를 들어, 프로세서(510)는 확장된 디스플레이(530) 상에 메인 컨텐츠의 표시 영역은 유지하면서 공유 컨텐츠의 표시 영역이 추가되는 것과 같이 메인 컨텐츠를 중심으로 표시하거나, 메인 컨텐츠의 표시 영역과 공유 컨텐츠의 표시 영역을 동일한 크기로 표시하거나, 또는 메인 컨텐츠의 표시 영역을 변동(예: 축소)하여 공유 컨텐츠의 표시 영역을 추가하는 것과 같이 공유 컨텐츠를 중심으로 표시하도록 결정할 수 있다. 본 실시예에 대해서는 도 13을 통해 보다 상세히 설명하기로 한다.
다양한 실시예에 따르면, 프로세서(510)는 메인 컨텐츠를 표시할 제1영역 및 공유 컨텐츠를 표시할 제2영역이 결정되는 경우, 메인 컨텐츠 및/또는 공유 컨텐츠의 크기를 조절할 수 있다. 예를 들어, 프로세서(510)는 제2컨텐츠를 추가 표시함에 따라 확장된 디스플레이(530) 상에서도 제1컨텐츠를 기존과 동일한 크기로 표시할 수 없는 경우, 메인 컨텐츠의 가로 세로 비율을 유지 하면서 축소 할 수 있다. 또는, 프로세서(510)는 메인 컨텐츠의 상하 또는 좌우의 일부를 잘라내어 메인 컨텐츠의 일부만 표시하거나, 메인 컨텐츠의 가로 세로 비율(또는 해상도)을 결정된 제1영역의 크기에 맞게 변경할 수 있다.
다양한 실시예에 따르면, 디스플레이(530)는 메인 디스플레이 영역으로부터 제1방향으로 확장될 수 있는 제1확장 디스플레이 영역 및 제2방향으로 확장될 수 있는 제2확장 디스플레이 영역을 포함할 수 있다. 예를 들어, 디스플레이(530)는 좌측 및 우측으로 각각 확장될 수 있는 제1확장 디스플레이 영역 및 제2확장 디스플레이 영역을 포함할 수 있다. 다양한 실시예에 따르면, 프로세서(510)는 사용자의 인터랙션에 따라 공유 컨텐츠를 표시할 위치가 결정되는 경우, 해당 위치에 대응하는 확장 디스플레이 영역이 확장되도록 제어할 수 있다. 예를 들어, 디스플레이(530)가 좌측 및 우측으로 확장 가능한 경우에, 사용자 인터랙션을 통해 공유 컨텐츠가 메인 컨텐츠의 좌측에 표시되는 것으로 결정된 경우, 프로세서(510)는 디스플레이(530)의 좌측이 확장되도록 모터 구조를 제어하거나 또는 사용자가 좌측의 확장 디스플레이 영역을 확장하도록 가이드 하는 가이드 정보를 표시할 수 있다.
다양한 실시예에 따르면, 전자 장치(500)는 복수의 외부 장치와 연결되어 복수의 외부 장치에서 공유되는 공유 컨텐츠를 확장 디스플레이 영역 상에 표시할 수 있다. 예를 들어, 프로세서(510)는 사용자 인터랙션이 제1외부 장치에 대해서는 디스플레이(530)의 좌측, 제2외부 장치에 대해서는 우측에 발생하는 경우, 제1외부 장치로부터 수신되는 제1공유 컨텐츠를 메인 디스플레이(530) 좌측으로 확장되는 제1확장 디스플레이 영역에 표시하고, 제2외부 장치로부터 수신되는 제2공유 컨텐츠를 메인 디스플레이(530) 좌측으로 확장되는 제2확장 디스플레이 영역에 표시할 수 있다. 이와 달리, 전자 장치(500)가 한 방향으로만 확장되는 확장 디스플레이 영역을 포함하는 경우, 프로세서(510)는 확장 디스플레이 영역 및 메인 디스플레이 영역의 적어도 일부를 분할하여 제1공유 컨텐츠 및 제2공유 컨텐츠를 메인 컨텐츠와 함께 표시할 수 있다. 본 실시예에 대해서는 도 16을 통해 보다 상세히 설명하기로 한다.
도 6은 다양한 실시예에 따른 화면 공유 기능을 지원하는 전자 장치 및 외부 장치를 도시한 것이다.
도 6은 사용자가 전자 장치(600)(예: 도 5의 전자 장치(500))의 디스플레이가 확장되지 않은 상태에서 메인 컨텐츠로 영화를 시청하고, 이와 동시에 외부 장치(690)에서 통해서 해당 영화와 관련된 웹 사이트에서 영화 정보를 확인하는 상황을 도시한 것이다. 도 6을 참조 하면, 외부 장치(690)는 스마트 폰, 전자 장치(600)는 모니터의 형태로 도시되어 있으나, 이에 한정되지 않으며, 전자 장치(600)는 확장 가능한 디스플레이를 갖는 다양한 종류의 장치(예: 도 2의 TV(230), 태블릿 PC(220), 스마트 폰(210), 노트북 (240). 모니터(250))로 구현될 수 있다.
다양한 실시예에 따르면, 전자 장치(600)는 외부 장치(690)와 유무선으로 연결될 수 있다. 예를 들어, 전자 장치(600)와 외부 장치(690)는 유선 인터페이스(예: HDMI, USB)를 통해 연결될 수 있고, Wi-Fi Direct, Wi-Fi Aware, 블루투스와 같은 근거리 무선 통신을 통해 연결될 수 있다.
다양한 실시예에 따르면, 전자 장치(600)는 디스플레이 상에 메인 컨텐츠(예: 영화)를 표시하는 중 화면 공유 이벤트가 발생하는 경우, 공유 컨텐츠를 표시할 영역을 결정하고, 상기 결정에 따라 디스플레이가 확장되도록 제어하거나, 사용자에게 디스플레이 확장을 가이드 하는 가이드 정보를 제공할 수 있다.
도 7a 내지 7c는 다양한 실시예에 따른 디스플레이 상에서 컨텐츠를 표시하는 영역을 구분한 것이다.
다양한 실시예에 따르면, 전자 장치(예: 도 5의 프로세서)는 메인 디스플레이 영역 상의 터치 입력 및/또는 디스플레이의 측면에 배치된 센서 상의 입력에 기초하여 메인 컨텐츠를 표시할 제1영역 및 공유 컨텐츠를 표시할 제2영역을 결정할 수 있다. 예를 들어, 디스플레이의 메인 디스플레이 영역을 복수의 구분하고, 구분된 각 영역 중 어느 하나에서 사용자의 터치 입력이 감지되는 경우, 해당 영역에 공유 컨텐츠를 표시하는 것으로 결정할 수 있다. 여기서, 메인 디스플레이의 영역을 구분하는 방법은 다양할 수 있다.
예를 들어, 도 7a를 참조 하면, 메인 디스플레이 영역(710)이 중앙(714), 좌측(712) 및 우측(716) 3 영역으로 구분될 수 있다. 화면 공유가 개시되고 좌측 영역(712)에 대한 사용자 인터랙션(예: 메인 디스플레이의 좌측 영역(712)에서의 터치 입력, 좌측에 배치된 센서 상의 근접 입력)이 감지되는 경우, 전자 장치는 디스플레이가 확장된 상태에서의 좌측 영역(예: 좌측으로 확장된 확장 디스플레이 영역)에 공유 컨텐츠를 표시하는 것으로 결정할 수 있다. 이 경우, 전자 장치는 모터 구조에 의해 자동적으로 좌측으로 확장되는 확장 디스플레이 영역이 인출되도록 제어하거나, 사용자가 확장 디스플레이 영역을 좌측으로 확장 하도록 가이드 하는 정보를 디스플레이 상에 표시될 수 있다. 이 후, 디스플레이의 확장이 완료되는 경우, 기존에 표시되던 메인 컨텐츠는 메인 디스플레이 영역 상에 계속 표시되고, 외부 장치로부터 수신되는 공유 컨텐츠는 확장 디스플레이 영역 상에 표시될 수 있다.
도 7a의 예에서, 디스플레이가 좌측으로만 확장 가능한 데, 사용자 인터랙션이 우측 영역(716)에서 발생한 경우, 전자 장치는 디스플레이가 확장된 상태에서 메인 디스플레이 영역 중 우측 일부 영역에 공유 컨텐츠를 표시하고, 메인 디스플레이 영역의 나머지 및 좌측으로 확장된 확장 디스플레이 영역 상에 메인 컨텐츠를 이동 시켜 표시할 수 있다.
다른 일 실시예에 따르면, 도 7b에 도시된 바와 같이, 메인 디스플레이 영역(720)이 좌측(722), 우측(728), 상측(724) 및 하측(726) 4개 영역으로 구분될 수 있으며, 이 경우에도 도 7a의 실시예와 마찬가지로, 사용자 인터랙션이 발생한 영역에 대응하는 위치에 공유 컨텐츠를 표시할 수 있다.
다른 일 실시예에 따르면, 도 7c에 도시된 바와 같이, 메인 디스플레이 영역(730)이 좌측(734), 우측(739), 상측(732), 하측(738) 및 중앙(736) 5개 영역으로 구분될 수 있으며, 이 경우에도 도 7a의 실시예와 마찬가지로, 사용자 인터랙션이 발생한 영역에 대응하는 위치에 공유 컨텐츠를 표시할 수 있다.
도 8은 다양한 실시예에 따른 전자 장치의 영역 선택을 위한 센서를 도시한 것이다.
다양한 실시예에 따르면, 전자 장치(800)는 디스플레이의 주변(예: 하우징의 모서리, 베젤 영역)에 배치되고, 사용자 인터랙션(예: 근접, 터치 등)를 감지할 수 있는 적어도 하나의 센서(852, 854)를 포함할 수 있다.
도 8을 참조 하면, 디스플레이의 상, 하, 좌, 우 4군데 영역에 각각의 센서가 배치될 수 있다. 센서(852, 854)는 NFC(near field communication), RFID(radio frequency identification), 블루투스(또는 Bluetooth low energy) 또는 터치 센서와 같이 오브젝트의 인접 또는 접촉을 감지하는 다양한 형태의 근거리 센서를 포함할 수 있다.
일 실시예에 따르면, 센서(852, 854)는 NFC 태그일 수 있으며, 외부 장치는 NFC 리더를 포함하여 전자 장치(800)에 배치된 NFC 태그를 태깅할 수 있다. 예를 들어, 외부 장치는 화면 공유 어플리케이션을 실행하는 경우 NFC 리더를 활성화 하고, 사용자는 공유 컨텐츠를 표시하고자 하는 영역 상에 대응하는 NFC 태그에 외부 장치를 근접하여 태깅할 수 있다. NFC 태그는 디스플레이에 대한 위치 정보를 포함할 수 있으며, 예를 들어, 메인 디스플레이 영역 좌측의 NFC 태그(852)를 외부 장치(890)가 태깅한 경우, 좌측 영역의 선택 정보 및 외부 장치(890)의 식별 정보를 무선 연결을 통해 전자 장치(800)로 전송하고, 전자 장치(800)는 해당 외부 장치(890)의 공유 컨텐츠를 표시하기 위해 좌측의 확장 디스플레이 영역이 확장되도록 제어할 수 있다.
또한, 사용자가 다른 외부 장치(895)를 통해 우측의 NFC 태그(854)를 태깅한 경우, 해당 외부 장치(895)는 우측 영역의 선택 정보 및 식별 정보를 전자 장치(800)로 전송하고, 전자 장치(800)는 해당 외부 장치(895)의 공유 컨텐츠를 표시하기 위해 우측의 확장 디스플레이 영역이 확장되도록 제어할 수 있다.
이에 따라, 디스플레이가 모두 확장되는 경우, 메인 컨텐츠 및 적어도 하나의 외부 장치로부터 수신한 적어도 하나의 공유 컨텐츠가 동시에 표시될 수 있다.
일 실시예에 따르면, 전자 장치(800)가 외부 장치에 표시되는 화면을 미러링해서 표시하는 경우, 앞서 설명한 바와 같이, 2개의 외부 장치(890, 895)를 통해 서로 다른 영역을 인터랙션 하여, 확장된 디스플레이의 서로 다른 영역 상에 2개의 외부 장치의 화면을 실시간으로 미러링 할 수 있다.
다른 일 실시예에 따르면, 전자 장치(800)가 외부 장치(890)로부터 링크 정보를 수신하여 링크 정보를 통해 다른 외부 장치(예: 외부 서버)에서 공유 컨텐츠를 획득할 수 있으며, 사용자는 하나의 외부 장치(890)를 이용해 전자 장치(800)의 여러 영역에 인터랙션하여 전달하고자 하는 영상의 링크 정보를 여러 번 전송할 수 있다.
도 9a 및 9b는 다양한 실시예에 따른 외부 장치의 화면 위치를 설정할 수 있는 인터페이스를 도시한 것이다.
다양한 실시예에 따르면, 외부 장치(900)는 전자 장치와의 화면 공유 기능을 지원하는 어플리케이션(930)을 실행할 수 있다. 어플리케이션(930)은 화면 공유 시 공유 컨텐츠의 위치 및/또는 표시 방향을 설정하기 위한 UI, 메인 컨텐츠와 공유 컨텐츠의 표시 형태를 설정하기 위한 UI 및/또는 컨텐츠의 크기를 설정하기 위한 UI를 제공할 수 있다.
도 9a를 참조 하면, 전자 장치의 디스플레이는 좌측으로 확장 가능한 제1확장 디스플레이 영역 및 우측으로 확장 가능한 제2확장 디스플레이 영역을 포함할 수 있으며, 전자 장치의 디스플레이에 대한 정보는 화면 공유 기능 실행 시 수립된 유무선 연결을 통해 외부 장치(900)에 전달될 수 있다. 외부 장치(900)는 전자 장치의 디스플레이 정보를 참고 하여, 제1확장 디스플레이 영역을 지시하는 오브젝트(971), 제2확장 디스플레이 영역을 지시하는 오브젝트(972)를 표시할 수 있으며, 공유 컨텐츠의 표시 방향(예: 가로 방향, 세로 방향)을 변경할 수 있는 오브젝트(973)를 표시할 수 있다. 예를 들어, 사용자가 어플리케이션(930) 상에서 우측의 제2확장 디스플레이 영역을 지시하는 오브젝트(972)를 선택하는 경우, 해당 정보가 전자 장치로 전송되고, 전자 장치는 제2확장 디스플레이 영역을 확장하여 해당 위치에 외부 장치(900)로부터 수신되는 공유 컨텐츠를 표시할 수 있다.
다른 실시예에 따르면, 외부 장치(900)는 외부 장치(900)의 기울임을 감지하는 센서를 포함하고, 외부 장치(900)의 기울임 방향에 따라 공유 컨텐츠를 표시할 확장 디스플레이 영역을 선택할 수 있다. 예를 들어, 사용자가 외부 장치(900)를 좌측으로 기울이는 경우, 전자 장치에서 메인 디스플레이 영역의 좌측으로 확장될 수 있는 제1확장 디스플레이 영역이 공유 컨텐츠를 표시할 영역으로 결정될 수 있다.
다른 실시예에 따르면, 외부 장치(900)는 어플리케이션(930) 상에서 사용자 제스처(예: swipe, flick)의 방향에 기초하여 공유 컨텐츠를 표시할 확장 디스플레이 영역을 결정할 수 있다.
도 9b를 참조 하면, 외부 장치(900)의 사용자가 공유 컨텐츠의 표시 방향을 변경할 수 있는 오브젝트(983)를 선택하는 경우, 공유 컨텐츠의 표시 방향이 세로 방향에서 가로 방향으로 변경될 수 있다. 상기 사용자의 선택에 대응하여, 어플리케이션(930)의 제1확장 디스플레이 영역을 지시하는 오브젝트(981), 제2확장 디스플레이 영역을 지시하는 오브젝트(982)도 가로 방향으로 변경되고, 표시 방향 정보가 전자 장치로 전송될 수 있다. 전자 장치는 수신되는 표시 방향 정보에 따라서, 공유 컨텐츠의 표시 영역 및/또는 제1확장 디스플레이 영역의 확장 크기를 결정할 수 있다.
다른 실시예에 따르면, 외부 장치(900)는 공유 컨텐츠를 표시하고 있는 외부 장치(900)의 현재 오리엔테이션 정보, 컨텐츠의 상태 및/또는 컨텐츠가 제공하는 표시 방향 모드를 외부 장치(900)에 전송하고, 전자 장치는 수신되는 정보에 기초하여, 공유 컨텐츠의 표시 방향을 결정할 수 있다.
도 10a 및 10b는 다양한 실시예에 따른 외부 장치에서 컨텐츠 표현 방식을 설정할 수 있는 인터페이스를 도시한 것이다.
다양한 실시예에 따르면, 외부 장치(1000)는 어플리케이션 상에서 메인 컨텐츠와 공유 컨텐츠의 표시 형태를 설정하기 위한 UI를 제공할 수 있다. 여기서, 표시 형태는 메인 컨텐츠를 중심으로 표시하는 모드, 메인 컨텐츠와 공유 컨텐츠를 동일한 비율로 표시하는 모드 및/또는 공유 컨텐츠를 중심으로 표시하는 모드를 포함할 수 있다.
도 10a는 외부 장치(1000)가 전자 장치와 화면 공유를 실행하기 이전에 화면의 표시 형태를 지정할 수 있는 메뉴의 일 예를 도시한 것이다.
도 10a를 참조 하면, 외부 장치(1000)는 어플리케이션 상에서 각 모드에 대한 설명 및 그래픽 정보(1072, 1074, 1076)를 제공하고, 사용자의 입력에 따라 하나의 모드가 선택되는 경우(1072), 전자 장치에 선택된 모드 정보를 전송할 수 있다. 예를 들어, 외부 장치(1000)는 전자 장치의 메인 컨텐츠를 중심으로 표시하는 제1모드(1072), 전자 장치의 메인 컨텐츠와 외부 장치의 공유 컨텐츠를 실질적으로 동일한 크기로 표시하는 제2모드(1074), 외부 장치의 공유 컨텐츠를 중심으로 표시하는 제3모드(1076)를 선택할 수 있는 메뉴를 제공할 수 있다. 도 10a의 메뉴에서 사용자가 미설정(1078)을 선택하는 경우, 외부 장치(1000)는 실제 전자 장치와 컨텐츠를 공유하는 시점에 모드를 선택할 수 있는 UI를 제공할 수 있다.
도 10b는 전자 장치와 컨텐츠를 공유하는 시점에 모드를 선택할 수 있는 UI를 도시하고 있다. 외부 장치(1000)는 전자 장치의 메인 컨텐츠를 중심으로 표시하는 제1모드(1073), 전자 장치의 메인 컨텐츠와 외부 장치의 공유 컨텐츠를 실질적으로 동일한 크기로 표시하는 제2모드(1075), 외부 장치의 공유 컨텐츠를 중심으로 표시하는 제3모드(1079)를 선택할 수 있는 메뉴를 제공할 수 있다.
전자 장치가 도 10a 또는 도 10b의 UI를 통해 선택된 모드에 따라 공유 컨텐츠와 메인 컨텐츠를 확장된 디스플레이 상에 표시하는 예에 대해서는 도 13을 통해 보다 상세히 설명하기로 한다.
다양한 실시예에 따르면, 외부 장치(1000)는 어플리케이션 상에서 컨텐츠의 크기(또는 비율)를 설정하기 위한 UI를 제공할 수 있다. 전자 장치는 공유 컨텐츠를 표시하기 위해 디스플레이를 확장할 수 있으나, 확장 디스플레이 영역의 크기 또는 가로 세로 비율이 공유 컨텐츠의 가로 세로 비율과 다를 수 있다.
도 10c를 참조 하면, 컨텐츠의 표현 방식의 예로 컨텐츠를 모두 표시하는 모드, 최적화 사이즈로 표시하는 모드 및 최대 사이즈로 표시하는 모드를 포함할 수 있다. 예를 들어, 컨텐츠를 모두 표시하는 모드는 공유 컨텐츠의 가로 세로 비율을 유지하면서 공유 컨텐츠의 표시 영역(또는 제2영역) 상에 공유 컨텐츠를 모두 표시하고, 가로 세로 비율의 차이로 인해 공유 컨텐츠가 표시되지 않는 영역은 블랙으로 처리하는 모드일 수 있다. 최적화 사이즈로 표시하는 모드는 가로 세로 중 공유 컨텐츠가 표시 영역보다 큰 쪽을 기준으로 공유 컨텐츠의 일부를 잘라내어 표시하는 모드일 수 있다. 최대 사이즈로 표시하는 모드는 공유 컨텐츠의 가로 세로 비율을 유지하지 않고, 공유 컨텐츠의 표시 영역에 따라 최대 크기로 해상도를 변경하여 표시하는 모드일 수 있다. 외부 장치(1000)는 어플리케이션에서 사용자에 의해 선택된 모드 정보를 전자 장치에 제공하고, 전자 장치는 해당 모드 정보에 따라서 공유 컨텐츠의 표현 방식을 결정할 수 있다.
도 11a는 다양한 실시예에 따른 전자 장치의 컨텐츠 제공 방법의 흐름도이다.
도시된 방법은 앞서 설명한 확장 가능한 디스플레이(예: 도 4a 내지 도 4e의 디스플레이(400))를 포함하는 전자 장치(예: 도 5의 전자 장치(500))에 의해 수행될 수 있으며, 앞서 설명한 바 있는 기술적 특징에 대해서는 이하에서 그 설명을 생략하기로 한다.
다양한 실시예에 따르면, 전자 장치(또는 메인 디바이스)는 디스플레이가 확장되지 않은 상태에서 디스플레이의 메인 디스플레이 영역 상에 메인 컨텐츠(또는 제1컨텐츠)를 표시할 수 있다. (1101)
다양한 실시예에 따르면, 전자 장치는 외부 장치를 이용한 사용자 인터랙션을 감지하고, 사용자 인터랙션에 따른 확장된 디스플레이 상에서의 공유 컨텐츠의 표시 위치를 확인할 수 있다. 예를 들어, 전자 장치는 공유 컨텐츠의 표시 위치를 좌측 영역, 상측 영역, 중앙 영역, 하측 영역, 우측 영역 중 어느 하나로 결정할 수 있다. (1103)
다양한 실시예에 따르면, 전자 장치는 외부 장치의 화면 방향 상태를 확인할 수 있다. 예를 들어, 화면 방향 상태는 종 화면 방향 상태(또는 세로 화면), 횡 화면 방향 상태(또는 가로 화면) 중 어느 하나일 수 있다. (1105)
도 11a에서는 동작 1103 이후 동작 1105가 수행되는 것으로 도시하고 있으나, 이에 한정되지 않으며 동작 1105의 수행 이후에 또는 적어도 일부 동시에 동작 1103이 수행될 수도 있다.
다양한 실시예에 따르면, 전자 장치는 화면 표시 형태 및 표현 방식을 선택할 수 있다. (1107) 예를 들어, 사용자는 외부 장치에서 도 9a 및 도 9b, 도 10a, 10b 및 10c와 같은 사용자 인터페이스를 통해 화면 표시 형태 및 표현 방식을 선택할 수 있으며, 외부 장치는 선택된 정보를 전자 장치에 전송할 수 있다.
전자 장치는 메인 컨텐츠 및 공유 컨텐츠의 표시 영역, 표시 방향 및/또는 표시 형태가 결정되는 경우, 확장 디스플레이 영역의 확장 길이를 결정하고, 디스플레이를 확장하여 메인 컨텐츠 및 공유 컨텐츠를 표시할 수 있다. (1109)
도 11b는 다양한 실시예에 따른 전자 장치의 컨텐츠 제공 방법의 흐름도이다.
도시된 방법은 앞서 설명한 확장 가능한 디스플레이(예: 도 4a 내지 도 4e의 디스플레이(400))를 포함하는 전자 장치(예: 도 5의 전자 장치(500))에 의해 수행될 수 있으며, 앞서 설명한 바 있는 기술적 특징에 대해서는 이하에서 그 설명을 생략하기로 한다.
다양한 실시예에 따르면, 전자 장치(또는 메인 디바이스)는 디스플레이가 확장되지 않은 상태에서 디스플레이의 메인 디스플레이 영역 상에 메인 컨텐츠(또는 제1컨텐츠)를 표시할 수 있다 (1110). 예를 들어, 메인 컨텐츠는 어플리케이션에서 생성된 컨텐츠, 방송 컨텐츠를 포함할 수 있다.
다양한 실시예에 따르면, 외부 장치(또는 서브 디바이스)는 전자 장치와 유선 또는 무선 인터페이스를 통해 연결되어, 사용자 인터랙션에 따라 화면 공유 기능을 실행할 수 있다(1115).
다양한 실시예에 따르면, 전자 장치는 사용자 인터랙션에 따라 공유 컨텐츠를 표시할 영역을 결정할 수 있다. 전자 장치는 전자 장치의 디스플레이의 어느 영역에 사용자 인터랙션이 있었는지 확인할 수 있다(1120). 예를 들어, 디스플레이는 확장되지 않은 상태에서 좌, 우, 상, 하 4 영역으로 구분될 수 있으며, 전자 장치는 사용자 인터랙션에 따라, 그 위치를 좌측 영역(1122), 상측 영역(1124), 중앙 영역(1125), 하측 영역 (1126), 우측 영역(1128) 중 어느 하나로 결정할 수 있다.
다양한 실시예에 따르면, 전자 장치는 화면 공유 기능이 실행된 상태에서, 전자 장치에 배치된 센서(예: 터치 센서, NFC, Bluetooth, 카메라) 상의 인터랙션, 메인 디스플레이 영역 상의 터치 입력 및/또는 외부 장치로부터 수신되는 정보에 기초하여, 공유 컨텐츠를 표시할 영역을 결정할 수 있다.
다양한 실시예에 따르면, 전자 장치는 공유 컨텐츠의 표시 방향을 결정할 수 있다(1130). 전자 장치는 공유 컨텐츠의 표시 방향을 종 화면 방향 상태(또는 세로 화면)(1132) 또는 횡 화면 방향 상태(또는 가로 화면)(1134)으로 결정할 수 있다. 예를 들어, 외부 장치는 관성 센서(예: 가속도 센서, 자이로 센서)를 통해 획득한 오리엔테이션 정보를 전자 장치에 전송하고, 전자 장치는 수신되는 오리엔테이션 정보를 통해 공유 컨텐츠를 가로 모드 또는 세로 모드로 표시할 지 결정할 수 있다. 또는, 전자 장치는 외부 장치의 어플리케이션 상에서 입력된 화면 및 컨텐츠 의 상태 및/또는 컨텐츠가 제공하는 표시 방향 모드를 획득하여 공유 컨텐츠의 표시 방향을 결정할 수 있다.
일 실시예에 따르면, 전자 장치는 외부 장치의 화면 제공 방향을 파악한 (1120, 1122, 1124, 1125, 1126, 1128) 이후에 사용자 인터랙션에 따라 공유 컨텐츠의 표시 위치를 선택할 수도 있다. (1130, 1132, 1134)
다양한 실시예에 따르면, 전자 장치는 컨텐츠의 표시 형태 및 표현 방식을 선택할 수 있다(1140). 외부 장치는 어플리케이션 상에서 메인 컨텐츠와 공유 컨텐츠의 표시 형태를 설정하기 위한 UI를 제공하고, 사용자 입력에 따라 컨텐츠의 표시 형태를 결정할 수 있다. 여기서, 표시 형태는 메인 컨텐츠를 중심으로 표시하는 모드(1142), 메인 컨텐츠와 공유 컨텐츠를 동일한 비율로 표시하는 모드(1144) 및/또는 공유 컨텐츠를 중심으로 표시하는 모드(1146)를 포함할 수 있다. 전자 장치는 공유 컨텐츠를 중심으로 표시하는 모드(1146)를 선택하는 경우, 공유 컨텐츠의 크기를 확장함에 따라 전자 장치의 메인 컨텐츠 영역을 변동(또는 축소)하면서, 외부 장치의 공유 컨텐츠의 영역을 추가하는 방식으로 표시 영역을 결정할 수 있다.
다양한 실시예에 따르면, 전자 장치는 메인 컨텐츠 및 공유 컨텐츠의 표시 영역, 표시 방향 및/또는 표시 형태가 결정되는 경우, 확장 디스플레이 영역의 확장 길이를 결정할 수 있다(1150).
다양한 실시예에 따르면, 전자 장치는 디스플레이의 확장 또는 축소 명령을 실행할 수 있다(1160). 예를 들어, 전자 장치는 모터 제어에 의해 확장 디스플레이 영역을 자동으로 확장 시키거나, 또는 디스플레이가 사용자의 힘에 의해 수동으로 확장되도록 구성되는 경우, 메인 디스플레이 영역 상에 확장 디스플레이 영역을 사용자가 확장 하도록 가이드 하는 정보를 제공할 수 있다.
도 12는 다양한 실시예에 따른 전자 장치의 디스플레이 상에서 전자 장치의 컨텐츠와 외부 장치의 컨텐츠를 제공하는 예를 도시한 것이다.
도 12를 참조 하면, 사용자는 전자 장치(1200)(예: 모니터, TV, 태블릿 PC)를 통해 방송 화면을 시청하고, 이와 동시에 외부 장치(1290)(예: 스마트 폰)를 통해 해당 방송 화면의 일부만 확대(close up)한 확대 화면을 시청할 수 있다. 일 실시예에 따르면, 전자 장치(1200)는 지상파, 케이블 또는 인터넷을 통해 방송을 실시간 수신하여 표시하고, 외부 장치(1290)는 인터넷 브라우저 또는 미디어 어플리케이션을 통해 확대 화면을 실시간 스트리밍 할 수 있다.
다양한 실시예에 따르면, 사용자는 외부 장치(1290)와 화면 공유를 위해 무선 연결(예: Wi-Fi direct, Wi-Fi aware, bluetooth)을 수립하고, 공유 컨텐츠의 표시 영역을 결정하기 위한 사용자 인터랙션을 입력할 수 있다. 예를 들어, 사용자가 외부 장치(1290)를 전자 장치(1200)의 디스플레이(1230) 우측에 마련된 NFC 태그에 태깅 하는 경우, 외부 장치(1290)는 인식된 NFC 태그의 정보를 전자 장치(1200)로 전송하고, 전자 장치(1200)는 우측의 확장 디스플레이 영역을 확장하여 공유 컨텐츠를 표시하는 것으로 결정할 수 있다.
다양한 실시예에 따르면, 공유 컨텐츠의 표시 영역이 결정되면, 외부 장치(1290)는 공유 컨텐츠(예: 확대 화면)의 링크 정보를 전자 장치(1200)에 전송하고, 전자 장치(1200)는 인터넷 브라우저 또는 미디어 어플리케이션을 통해 해당 링크에 접속하여 확대 화면을 실시간 스트리밍 할 수 있다. 전자 장치(1200)는 확장 디스플레이 영역을 확장하여 실시간으로 스트리밍 되는 확대 화면(1234)을 방송 화면(1232)과 함께 표시할 수 있다.
도 13은 다양한 실시예에 따른 전자 장치의 디스플레이 상에서 전자 장치의 컨텐츠와 외부 장치의 컨텐츠를 제공하는 예를 도시한 것이다.
다양한 실시예에 따르면, 전자 장치(1300)는 디스플레이가 확장된 상태에서 메인 컨텐츠와 공유 컨텐츠를 표시할 때, 각 컨텐츠의 표시 형태를 설정할 수 있다. 여기서, 표시 형태는 메인 컨텐츠를 중심으로 표시하는 모드, 메인 컨텐츠와 공유 컨텐츠를 동일한 비율로 표시하는 모드 및/또는 공유 컨텐츠를 중심으로 표시하는 모드를 포함할 수 있으며, 외부 장치(1390)의 어플리케이션에서 제공되는 UI(예: 도 10a)를 통해 표시 모드가 결정될 수 있다.
도 13을 참조 하면, 메인 컨텐츠를 중심으로 표시하는 모드가 선택된 경우, 전자 장치(1300)는 확장된 디스플레이에서 메인 컨텐츠(1371)는 메인 디스플레이 영역 전체에 표시하고, 공유 컨텐츠(1372)는 확장 디스플레이 영역 상에 표시할 수 있다. 이 경우, 공유 컨텐츠(1372)가 가로 방향으로 확장 디스플레이 영역과 가로 세로 비율이 다른 경우, 공유 컨텐츠(1372)를 축소하여 표시하고 잔여 영역은 블랙으로 처리할 수 있다. 또는, 전자 장치(1300)는 공유 컨텐츠(1372)의 일부를 잘라 내어 최적화 사이즈로 표시하거나, 가로 세로 비율을 유지하지 않고 표시 영역에 맞게 확대해서 표시할 수 있다.
일 실시예에 따르면, 메인 컨텐츠와 공유 컨텐츠를 동일한 비율로 표시하는 모드의 경우, 전자 장치(1300)는 확장된 디스플레이에서 메인 컨텐츠(1373)와 공유 컨텐츠(1374)를 실질적으로 동일한 크기로 표시할 수 있다. 이 경우, 디스플레이의 전체 영역이 메인 컨텐츠(1373)와 공유 컨텐츠(1374)를 수용할 수 없는 경우, 메인 컨텐츠(1373) 및/또는 공유 컨텐츠(1374)를 모두 표시하거나, 최적화 사이즈로 표시하거나 최대 사이즈로 표시할 수 있다.
일 실시예에 따르면, 공유 컨텐츠(1376)를 중심으로 표시하는 모드가 선택된 경우, 전자 장치(1300)는 메인 컨텐츠(1375)를 축소 하여 메인 디스플레이 영역의 일부에 표시하고, 메인 디스플레이 영역의 나머지 일부 및 확장 디스플레이 영역 상에 공유 컨텐츠(1376)를 표시할 수 있다.
도 14는 다양한 실시예에 따른 전자 장치의 디스플레이 상에서 전자 장치의 컨텐츠와 외부 장치의 컨텐츠를 제공하는 예를 도시한 것이다.
다양한 실시예에 따르면, 전자 장치(1400)의 디스플레이는 메인 디스플레이 영역으로부터 제1방향으로 확장될 수 있는 제1확장 디스플레이 영역 및 메인 디스플레이 영역으로부터 제2방향으로 확장될 수 있는 제2확장 디스플레이 영역을 포함할 수 있다. 도 14를 참조 하면, 디스플레이는 우측 및 좌측으로 각각 확장될 수 있는 제1확장 디스플레이 영역 및 제2확장 디스플레이 영역을 포함할 수 있다.
다양한 실시예에 따르면, 전자 장치(1400)는 제1확장 디스플레이 영역에 제1외부 장치(1490)로부터 수신되는 컨텐츠를 표시하고, 제2확장 디스플레이 영역에 제2외부 장치(1495)로부터 수신되는 컨텐츠를 표시할 수 있다.
도 14를 참조 하면, 전자 장치(1400)(예: 모니터, TV, 태블릿 PC)에서 메인 컨텐츠(1431)를 표시한 상태에서, 제1외부 장치(1490)(예: 스마트 폰)는 제1공유 컨텐츠(1433)(예: 인터넷 브라우저)를 표시하고, 제2외부 장치(1495)는 제2공유 컨텐츠(1435)(예: 메신저)를 표시할 수 있다. 화면 공유 기능이 개시되고, 사용자가 제1외부 장치(1490)를 이용해 전자 장치(1400)의 우측을 선택하는 인터랙션(예: 디스플레이 상의 터치, NFC 태깅, 어플리케이션 UI 상의 선택)을 발생하는 경우, 전자 장치(1400)는 우측의 제1확장 디스플레이 영역을 제1공유 컨텐츠(1433)를 표시할 영역으로 결정할 수 있다. 전자 장치(1400)는 제1확장 디스플레이 영역이 확장되는 경우, 메인 컨텐츠(1431)를 메인 디스플레이 영역에 계속 표시하고, 제1외부 장치(1490)로부터 수신되는 제1공유 컨텐츠(1433)를 제1확장 디스플레이 영역에 표시할 수 있다.
메인 컨텐츠(1431)와 제1공유 컨텐츠(1433)가 표시된 상태에서, 사용자가 제2외부 장치(1495)를 이용해 전자 장치(1400)의 좌측을 선택하는 인터랙션을 입력할 수 있다. 이 경우, 전자 장치(1400)는 좌측의 제2확장 디스플레이 영역을 제2공유 컨텐츠(1435)를 표시할 영역으로 결정하고, 제2확장 디스플레이 영역이 확장되는 경우, 메인 컨텐츠(1431), 제1공유 컨텐츠(1433) 및 제2공유 컨텐츠(1435)를 각각 메인 디스플레이 영역, 제1확장 디스플레이 영역 및 제2확장 디스플레이 영역에 표시할 수 있다.
도 15는 다양한 실시예에 따른 전자 장치의 디스플레이 상에서 전자 장치의 컨텐츠와 외부 장치의 컨텐츠를 제공하는 예를 도시한 것이다.
다양한 실시예에 따르면, 전자 장치(1500)는 디스플레이가 확장된 상태에서 메인 컨텐츠(1572)를 표시하고, 화면 공유 기능 실행 시 사용자의 선택에 기초하여 디스플레이를 축소하여 메인 컨텐츠(1572) 및 공유 컨텐츠(1574)를 표시할 수 있다.
도 15를 참조 하면, 전자 장치(1500)는 디스플레이가 확장된 상태에서 메인 디스플레이 영역 및 확장 디스플레이 영역에 메인 컨텐츠(1572)를 표시할 수 있다. 이와 동시에, 사용자는 외부 장치(1590)를 통해 공유 컨텐츠(1574)를 시청할 수 잇다.
화면 공유 기능이 실행되고, 컨텐츠 표현 방식이 메인 컨텐츠(1572)와 공유 컨텐츠(1574)를 모두 표시하는 모드로 선택되는 경우, 전자 장치(1500)는 메인 컨텐츠(1572) 및 공유 컨텐츠(1574)의 크기 및 화면 비율에 기초하여 메인 컨텐츠(1572) 및 공유 컨텐츠(1574)를 모두 표시하기 위한 화면 크기를 확인할 수 있다. 예를 들어, 디스플레이가 확장된 상태에서 가로 세로 비율이 16:9인데, 메인 컨텐츠(1572)의 우측에 공유 컨텐츠(1574)를 같이 표시하기 위해 필요한 가로 세로 비율은 21:9일 수 있다. 이 경우, 전자 장치(1500)는 화면 비율을 21:9로 조절하기 위해, 확장 디스플레이 영역 중 일부를 인입하여 비율이 21:9가 되도록 제어할 수 있다.
도 16은 다양한 실시예에 따른 전자 장치의 디스플레이 상에서 전자 장치의 컨텐츠와 외부 장치의 컨텐츠를 제공하는 예를 도시한 것이다.
도 16을 참조 하면, 전자 장치(1600)의 디스플레이는 상측 방향으로 확장되는 확장 디스플레이 영역을 포함할 수 있으며, 전자 장치(1600)는 디스플레이가 확장되지 않은 상태에서 메인 디스플레이 영역에 메인 컨텐츠(1631)를 표시하고, 외부 장치(1690)는 가로 모드로 제1공유 컨텐츠(1633)를 표시할 수 있다.
사용자는 외부 장치(1690)와 전자 장치(1600)의 화면 공유 기능을 실행하고, 외부 장치(1690)에서 제1공유 컨텐츠(1633)의 전송 방법을 링크 정보의 전송으로 결정할 수 있다. 사용자가 제1외부 장치(1690)를 통해 전자 장치(1600)의 디스플레이 하측 방향을 선택하는 인터랙션을 입력하는 경우, 전자 장치(1600)는 제1공유 컨텐츠(1633)의 표시 위치를 하측(예: 메인 디스플레이 영역의 아래쪽 일부), 메인 컨텐츠(1631)의 표시 위치를 상측(예: 메인 디스플레이 영역의 나머지 일부 및 확장 디스플레이 영역)으로 결정할 수 있다. 전자 장치(1600)는 외부 장치(1690)로부터 수신한 링크 정보에 따라 어플리케이션을 실행하여 제1공유 컨텐츠(1633)를 수신하고, 결정된 영역에 제1공유 컨텐츠(1633)를 표시할 수 있다.
이 후, 사용자는 외부 장치(1690)를 통해 미러링 방식으로 제2공유 컨텐츠(1635)의 전송을 선택하고, 디스플레이 하측 방향을 선택하는 인터랙션을 입력할 수 있다. 전자 장치(1600)는 외부 장치(1690)로부터 제2공유 컨텐츠(1635)를 수신하고, 제1공유 컨텐츠(1633) 및 제2공유 컨텐츠(1635)를 메인 컨텐츠(1631)의 아래 영역에 분할해서 표시할 수 있다.
도 16의 실시예에서는 제1공유 컨텐츠(1633) 및 제2공유 컨텐츠(1635)를 추가로 표시하는 예에 대해 설명 하였으나, 전자 장치(1600)는 하나 이상의 외부 장치로부터 그 이상의 공유 컨텐츠를 수신하여 표시할 수 있으며, 각 공유 컨텐츠의 표시 위치는 사용자 인터랙션의 위치에 따라서 결정될 수 있다.
도 17은 다양한 실시예에 따른 전자 장치의 디스플레이 상에서 전자 장치의 컨텐츠와 외부 장치의 컨텐츠를 제공하는 예를 도시한 것이다.
도 17은 외부 장치를 이용하여 전자 장치(1700)의 디스플레이(1730)의 일 영역에 순차적으로 복수의 인터랙션을 하여, 복수의 링크 정보가 전자 장치(1700)에 제공되는 예에 대한 것이다.
도 17을 참조 하면, 전자 장치(1700)는 디스플레이(1730)가 확장되지 않은 상태에서 디스플레이(1730)의 하측 방향에 대한 외부 장치의 제1인터랙션(예: NFC 태깅)을 감지할 수 있다. 이 때, 외부 장치는 링크 정보를 통해 외부 서버로부터 제1컨텐츠(1791)를 수신하여 표시할 수 있으며, 전자 장치(1700)에 대한 제1인터랙션에 따라 외부 장치는 제1컨텐츠(1791)의 링크 정보를 전자 장치(1700)로 전송할 수 있다.
다양한 실시예에 따르면, 전자 장치(1700)는 외부 장치의 제1인터랙션에 대응하여 디스플레이(1730)를 확장하고, 외부 장치의 공유 컨텐츠를 표시할 영역을 확장된 디스플레이(1730)의 하측 방향으로 결정할 수 있다. 전자 장치(1700)는 확장된 디스플레이(1731) 상에 메인 컨텐츠 및 링크 정보를 통해 획득한 제1컨텐츠(1741)를 표시할 수 있다. 이 때, 전자 장치(1700)는 디스플레이(1730)를 최대 크기로 확장할 수 있으며, 제1컨텐츠(1741)는 확장 디스플레이(1731) 영역에 정해진 화면 비율(예: 16:9)에 따라 표시하고, 잔여 영역은 블랙 화면으로 처리할 수 있다. 다른 실시예에 따르면, 전자 장치(1700)는 제1컨텐츠(1741)의 화면 비율에 따라 디스플레이(1730)의 확장할 크기를 결정할 수 있다.
다양한 실시예에 따르면, 전자 장치(1700)는 메인 컨텐츠 및 제1컨텐츠(1741)를 표시한 상태에서 디스플레이(1730)의 하측 방향에 대한 외부 장치의 제2인터랙션을 감지할 수 있다. 이 때, 외부 장치는 외부 서버로부터 제2컨텐츠(1792)를 수신하여 표시하는 상태일 수 있으며, 전자 장치(1700)에 대한 제2인터랙션에 따라 외부 장치는 제2컨텐츠(1792)의 링크 정보를 전자 장치(1700)로 전송할 수 있다.
다양한 실시예에 따르면, 전자 장치(1700)는 링크 정보를 이용하여 외부 서버로부터 제2컨텐츠(1742)를 실시간으로 획득하고, 확장된 디스플레이(1730)에 메인 컨텐츠, 제1컨텐츠(1741) 및 제2컨텐츠(1742)를 표시할 수 잇다. 이 때, 전자 장치(1700)는 제1컨텐츠(1741) 및 제2컨텐츠(1742)의 화면 비율을 고려하여, 확장 디스플레이(1732) 영역을 추가 확장 또는 축소할 수 있다.
다양한 실시예에 따르면, 전자 장치(1700)는 메인 컨텐츠, 제1컨텐츠(1741) 및 제3컨텐츠(1743)를 표시한 상태에서 디스플레이(1730)의 하측 방향에 대한 외부 장치의 제3인터랙션을 감지할 수 있다. 이 때, 외부 장치는 외부 서버로부터 제3컨텐츠(1793)를 수신하여 표시하는 상태일 수 있으며, 전자 장치(1700)에 대한 제3인터랙션에 따라 외부 장치는 제3컨텐츠(1793)의 링크 정보를 전자 장치(1700)로 전송할 수 있다.
다양한 실시예에 따르면, 전자 장치(1700)는 링크 정보를 이용하여 외부 서버로부터 제3컨텐츠(1743)를 실시간으로 획득하고, 확장된 디스플레이(1730)에 메인 컨텐츠, 제1컨텐츠(1741), 제2컨텐츠(1742) 및 제3컨텐츠(1743)를 표시할 수 잇다. 이 때, 전자 장치(1700)는 제1컨텐츠(1741), 제2컨텐츠(1742) 및 제3컨텐츠(1743)의 화면 비율을 고려하여, 확장 디스플레이(1733) 영역을 추가 확장 또는 축소할 수 있다.
다양한 실시예에 따르면, 전자 장치(1700)는 메인 컨텐츠 및 적어도 하나의 공유 컨텐츠(예: 제1컨텐츠(1741), 제2컨텐츠(1742), 제3컨텐츠(1743))가 표시된 상태에서 사용자 인터랙션 또는 외부 장치 상의 사용자 입력에 따라, 컨텐츠의 표시 위치를 변경할 수 있다. 예를 들어, 사용자가 제1컨텐츠(1741)를 선택하는 경우, 제1컨텐츠(1741)가 메인 컨텐츠의 표시 영역 상에 큰 크기로 표시되고, 메인 컨텐츠는 제1컨텐츠(1741)의 영역에 작은 크기로 표시되거나 표시가 중단될 수 있다.
도 18은 다양한 실시예에 따른 전자 장치의 디스플레이 상에서 전자 장치의 컨텐츠와 외부 장치의 컨텐츠를 제공하는 예를 도시한 것이다.
도 18은 전자 장치(1800)가 확장 가능한 디스플레이(1830)를 갖는 스마트 폰으로 구현되는 실시예를 도시한 것이다.
도 18을 참조 하면, 전자 장치(1800)는 디스플레이(1830)가 확장되지 않은 상태에서 전자 장치(1800)의 메인 컨텐츠(예: 홈 화면)를 표시할 수 있다. 이 후, 다른 전자 장치(1800)와 인터랙션(예: NFC 태깅, 터치 스크린 상의 터치 입력)이 발생하는 경우, 디스플레이(1830)를 확장하고, 전자 장치(1800)의 메인 컨텐츠 및 외부 장치(1890)로부터 수신한 공유 컨텐츠를 각각 확장된 디스플레이(1830)의 메인 디스플레이 영역 및 확장 디스플레이 영역(1835)에 표시할 수 있다.
다양한 실시예에 따른 전자 장치는, 메인 디스플레이 영역 및 상기 메인 디스플레이 영역으로부터 확장 가능한 적어도 하나의 확장 디스플레이 영역을 포함하는 디스플레이, 통신 모듈, 및 상기 디스플레이 및 상기 통신 모듈과 작동적으로(operatively) 연결되는 프로세서를 포함하고, 상기 프로세서는, 상기 적어도 하나의 확장 디스플레이 영역이 확장되지 않은 상태에서 상기 메인 디스플레이 영역 상에 제1컨텐츠를 표시하고, 상기 통신 모듈을 통해 외부 장치와 연결을 수립하고, 상기 적어도 하나의 확장 디스플레이 영역이 확장된 상태에서 상기 제1컨텐츠를 표시할 제1영역 및 상기 통신 모듈을 통해 상기 외부 장치로부터 수신되는 정보에 기초한 제2컨텐츠를 표시할 제2영역을 결정하고, 및 상기 적어도 하나의 확장 디스플레이 영역이 확장되는 경우, 상기 결정된 제1영역에 상기 제1컨텐츠를 표시하고, 상기 결정된 제2영역에 상기 제2컨텐츠를 표시하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 디스플레이는, 상기 메인 디스플레이 영역으로부터 상, 하, 좌, 우 방향 중 적어도 하나의 방향으로 확장 가능한 상기 적어도 하나의 확장 디스플레이 영역을 포함할 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 제1영역 및 상기 제2영역이 결정되는 경우, 상기 디스플레이가 확장되도록 제어할 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 제1영역 및 상기 제2영역이 결정되는 경우, 상기 적어도 하나의 확장 디스플레이 영역을 확장 시키도록 가이드 하는 가이드 정보를 상기 메인 디스플레이 영역에 표시하도록 제어할 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 디스플레이가 확장된 상태에서 상기 메인 디스플레이 영역을 상기 제1컨텐츠를 표시할 제1영역으로 결정하고, 상기 확장 디스플레이 영역을 상기 제2컨텐츠를 표시할 제2영역으로 결정하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 디스플레이 상에서 수신되는 터치 입력에 기초하여, 상기 제2컨텐츠를 표시할 상기 제2영역을 결정하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 디스플레이의 적어도 일 측면에 배치된 적어도 하나의 센서를 더 포함하고, 상기 프로세서는, 상기 센서의 감지 결과에 기초하여, 상기 제2컨텐츠를 표시할 상기 제2영역을 결정하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 외부 장치로부터 수신되는 정보에 기초하여, 상기 제2컨텐츠를 표시할 상기 제2영역을 결정하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 제2컨텐츠의 표시 방향을 가로 방향 또는 세로 방향 중 어느 하나로 결정하고, 상기 결정된 제2컨텐츠의 표시 방향에 기초하여, 상기 제2영역을 결정 하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 통신 모듈을 통해 상기 외부 장치로부터 수신되는 상기 외부 장치의 오리엔테이션 정보에 기초하여, 상기 제2컨텐츠의 표시 방향을 결정하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 결정된 제2컨텐츠의 표시 방향을 고려하여, 상기 제1영역의 크기를 결정하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 프로세서는, 상기 결정된 제1영역 및 제2영역에 따라, 상기 제1컨텐츠 및 상기 제2컨텐츠 중 적어도 하나의 가로 세로 비율을 변경하거나, 또는 상기 제1컨텐츠 및 상기 제2컨텐츠의 가로 세로 비율에 기초하여 상기 제1영역 및 상기 제2영역을 결정 하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 디스플레이는, 상기 메인 디스플레이 영역으로부터 제1방향으로 확장될 수 있는 제1확장 디스플레이 영역 및 상기 메인 디스플레이 영역으로부터 제2방향으로 확장될 수 있는 제2확장 디스플레이 영역을 포함하고, 상기 프로세서는, 상기 제1확장 디스플레이 영역에 제1외부 장치로부터 수신되는 컨텐츠를 표시하고, 상기 제2확장 디스플레이 영역에 제2외부 장치로부터 수신되는 컨텐츠를 표시하도록 설정될 수 있다.
다양한 실시예에 따르면, 상기 외부 장치로부터 수신되는 정보는 상기 제2컨텐츠 이거나, 상기 제2컨텐츠를 획득할 수 있는 링크 정보 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따른 전자 장치의 컨텐츠 제공 방법에 있어서, 상기 전자 장치는 메인 디스플레이 영역 및 상기 메인 디스플레이 영역으로부터 확장 가능한 적어도 하나의 확장 디스플레이 영역을 포함하는 디스플레이를 포함하고, 상기 방법은, 상기 적어도 하나의 확장 디스플레이 영역이 확장되지 않은 상태에서 상기 메인 디스플레이 영역 상에 제1컨텐츠를 표시하는 동작, 외부 장치와의 연결을 수립하는 동작, 상기 적어도 하나의 확장 디스플레이 영역이 확장된 상태에서 상기 제1컨텐츠를 표시할 제1영역 및 상기 수립된 연결을 통해 상기 외부 장치로부터 수신되는 정보에 기초한 제2컨텐츠를 표시할 제2영역을 결정하는 동작, 및 상기 적어도 하나의 확장 디스플레이 영역이 확장되는 경우, 상기 결정된 제1영역에 상기 제1컨텐츠를 표시하고, 상기 결정된 제2영역에 상기 제2컨텐츠를 표시하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제1영역 및 상기 제2영역이 결정되는 경우, 상기 디스플레이가 확장되도록 제어하는 동작, 또는 상기 적어도 하나의 확장 디스플레이 영역을 확장 시키도록 가이드 하는 가이드 정보를 상기 메인 디스플레이 영역에 표시하는 동작 중 적어도 하나를 더 포함할 수 있다.
다양한 실시예에 따르면, 상기 제1영역 및 상기 제2영역을 결정하는 동작은, 상기 디스플레이가 확장된 상태에서 상기 메인 디스플레이 영역을 상기 제1컨텐츠를 표시할 제1영역으로 결정하고, 상기 확장 디스플레이 영역을 상기 제2컨텐츠를 표시할 제2영역으로 결정하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 제1영역 및 상기 제2영역을 결정하는 동작은, 상기 디스플레이 상에서 수신되는 터치 입력에 기초하여, 상기 제2컨텐츠를 표시할 상기 제2영역을 결정하는 동작, 또는 상기 디스플레이의 적어도 일 측면에 배치된 적어도 하나의 센서의 감지 결과에 기초하여, 상기 제2컨텐츠를 표시할 상기 제2영역을 결정하는 동작 중 적어도 하나를 포함할 수 있다.
다양한 실시예에 따르면, 상기 제2컨텐츠의 표시 방향을 가로 방향 또는 세로 방향 중 어느 하나로 결정하는 동작을 더 포함하고, 상기 제1영역 및 상기 제2영역을 결정하는 동작은, 상기 결정된 제2컨텐츠의 표시 방향에 더 기초하여, 상기 제2영역을 결정 하는 동작을 포함할 수 있다.
다양한 실시예에 따르면, 상기 결정된 제1영역 및 제2영역에 따라, 상기 제1컨텐츠 및 상기 제2컨텐츠 중 적어도 하나의 가로 세로 비율을 변경하는 동작, 또는 상기 제1컨텐츠 및 상기 제2컨텐츠의 가로 세로 비율에 기초하여 상기 제1영역 및 상기 제2영역을 결정 하는 동작을 더 포함할 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    메인 디스플레이 영역 및 상기 메인 디스플레이 영역으로부터 확장 가능한 적어도 하나의 확장 디스플레이 영역을 포함하는 디스플레이;
    통신 모듈; 및
    상기 디스플레이 및 상기 통신 모듈과 작동적으로(operatively) 연결되는 프로세서를 포함하고,
    상기 프로세서는,
    상기 적어도 하나의 확장 디스플레이 영역이 확장되지 않은 상태에서 상기 메인 디스플레이 영역 상에 제1컨텐츠를 표시하고,
    상기 통신 모듈을 통해 외부 장치와 연결을 수립하고,
    상기 적어도 하나의 확장 디스플레이 영역이 확장된 상태에서 상기 제1컨텐츠를 표시할 제1영역 및 상기 통신 모듈을 통해 상기 외부 장치로부터 수신되는 정보에 기초한 제2컨텐츠를 표시할 제2영역을 결정하고, 및
    상기 적어도 하나의 확장 디스플레이 영역이 확장되는 경우, 상기 결정된 제1영역에 상기 제1컨텐츠를 표시하고, 상기 결정된 제2영역에 상기 제2컨텐츠를 표시하도록 설정된 전자 장치.
  2. 제 1항에 있어서,
    상기 디스플레이는,
    상기 메인 디스플레이 영역으로부터 상, 하, 좌, 우 방향 중 적어도 하나의 방향으로 확장 가능한 상기 적어도 하나의 확장 디스플레이 영역을 포함하는 전자 장치.
  3. 제 1항에 있어서,
    상기 프로세서는,
    상기 제1영역 및 상기 제2영역이 결정되는 경우, 상기 디스플레이가 확장되도록 제어하는 전자 장치.
  4. 제 1항에 있어서,
    상기 프로세서는,
    상기 제1영역 및 상기 제2영역이 결정되는 경우, 상기 적어도 하나의 확장 디스플레이 영역을 확장 시키도록 가이드 하는 가이드 정보를 상기 메인 디스플레이 영역에 표시하도록 제어하는 전자 장치.
  5. 제 1항에 있어서,
    상기 프로세서는,
    상기 디스플레이가 확장된 상태에서 상기 메인 디스플레이 영역을 상기 제1컨텐츠를 표시할 제1영역으로 결정하고, 상기 확장 디스플레이 영역을 상기 제2컨텐츠를 표시할 제2영역으로 결정하도록 설정된 전자 장치.
  6. 제 1항에 있어서,
    상기 프로세서는,
    상기 디스플레이 상에서 수신되는 터치 입력에 기초하여, 상기 제2컨텐츠를 표시할 상기 제2영역을 결정하도록 설정된 전자 장치.
  7. 제 1항에 있어서,
    상기 디스플레이의 적어도 일 측면에 배치된 적어도 하나의 센서를 더 포함하고,
    상기 프로세서는,
    상기 센서의 감지 결과에 기초하여, 상기 제2컨텐츠를 표시할 상기 제2영역을 결정하도록 설정된 전자 장치.
  8. 제 1항에 있어서,
    상기 프로세서는,
    상기 외부 장치로부터 수신되는 정보에 기초하여, 상기 제2컨텐츠를 표시할 상기 제2영역을 결정하도록 설정된 전자 장치.
  9. 제 1항에 있어서,
    상기 프로세서는,
    상기 제2컨텐츠의 표시 방향을 가로 방향 또는 세로 방향 중 어느 하나로 결정하고,
    상기 결정된 제2컨텐츠의 표시 방향에 기초하여, 상기 제2영역을 결정 하도록 설정된 전자 장치.
  10. 제 9항에 있어서,
    상기 프로세서는,
    상기 통신 모듈을 통해 상기 외부 장치로부터 수신되는 상기 외부 장치의 오리엔테이션 정보에 기초하여, 상기 제2컨텐츠의 표시 방향을 결정하도록 설정된 전자 장치.
  11. 제 9항에 있어서,
    상기 프로세서는,
    상기 결정된 제2컨텐츠의 표시 방향을 고려하여, 상기 제1영역의 크기를 결정하도록 설정된 전자 장치.
  12. 제 1항에 있어서,
    상기 프로세서는,
    상기 결정된 제1영역 및 제2영역에 따라, 상기 제1컨텐츠 및 상기 제2컨텐츠 중 적어도 하나의 가로 세로 비율을 변경하거나, 또는
    상기 제1컨텐츠 및 상기 제2컨텐츠의 가로 세로 비율에 기초하여 상기 제1영역 및 상기 제2영역을 결정 하도록 설정된 전자 장치.
  13. 제 1항에 있어서,
    상기 디스플레이는,
    상기 메인 디스플레이 영역으로부터 제1방향으로 확장될 수 있는 제1확장 디스플레이 영역 및 상기 메인 디스플레이 영역으로부터 제2방향으로 확장될 수 있는 제2확장 디스플레이 영역을 포함하고,
    상기 프로세서는,
    상기 제1확장 디스플레이 영역에 제1외부 장치로부터 수신되는 컨텐츠를 표시하고, 상기 제2확장 디스플레이 영역에 제2외부 장치로부터 수신되는 컨텐츠를 표시하도록 설정된 전자 장치.
  14. 제 1항에 있어서,
    상기 외부 장치로부터 수신되는 정보는 상기 제2컨텐츠 이거나, 상기 제2컨텐츠를 획득할 수 있는 링크 정보 중 적어도 하나를 포함하는 전자 장치.
  15. 전자 장치의 컨텐츠 제공 방법에 있어서,
    상기 전자 장치는 메인 디스플레이 영역 및 상기 메인 디스플레이 영역으로부터 확장 가능한 적어도 하나의 확장 디스플레이 영역을 포함하는 디스플레이를 포함하고,
    상기 방법은,
    상기 적어도 하나의 확장 디스플레이 영역이 확장되지 않은 상태에서 상기 메인 디스플레이 영역 상에 제1컨텐츠를 표시하는 동작;
    외부 장치와의 연결을 수립하는 동작;
    상기 적어도 하나의 확장 디스플레이 영역이 확장된 상태에서 상기 제1컨텐츠를 표시할 제1영역 및 상기 수립된 연결을 통해 상기 외부 장치로부터 수신되는 정보에 기초한 제2컨텐츠를 표시할 제2영역을 결정하는 동작; 및
    상기 적어도 하나의 확장 디스플레이 영역이 확장되는 경우, 상기 결정된 제1영역에 상기 제1컨텐츠를 표시하고, 상기 결정된 제2영역에 상기 제2컨텐츠를 표시하는 동작을 포함하는 방법.
PCT/KR2021/017058 2020-11-20 2021-11-19 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법 WO2022108379A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/194,090 US20230245607A1 (en) 2020-11-20 2023-03-31 Electronic device including expandable display and content provision method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0156418 2020-11-20
KR1020200156418A KR20220069370A (ko) 2020-11-20 2020-11-20 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/194,090 Continuation US20230245607A1 (en) 2020-11-20 2023-03-31 Electronic device including expandable display and content provision method

Publications (1)

Publication Number Publication Date
WO2022108379A1 true WO2022108379A1 (ko) 2022-05-27

Family

ID=81709493

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/017058 WO2022108379A1 (ko) 2020-11-20 2021-11-19 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법

Country Status (3)

Country Link
US (1) US20230245607A1 (ko)
KR (1) KR20220069370A (ko)
WO (1) WO2022108379A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024071730A1 (ko) * 2022-09-28 2024-04-04 삼성전자주식회사 디바이스간 데이터 동기화 방법 및 그 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101512364B1 (ko) * 2014-05-16 2015-04-16 한국생산기술연구원 확장디스플레이부를 포함하는 휴대용 전자기기 케이스
JP2017511943A (ja) * 2014-01-17 2017-04-27 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー プライベート追跡ヘッドアップディスプレイとしての第２画面の使用
KR101993390B1 (ko) * 2011-09-02 2019-06-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 확장가능 모바일 디바이스
KR20200007366A (ko) * 2018-07-13 2020-01-22 엘지디스플레이 주식회사 플렉서블 디스플레이 장치
KR102179289B1 (ko) * 2019-05-31 2020-11-17 연세대학교 산학협력단 자율주행 차량의 대형 디스플레이 인터랙션 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101993390B1 (ko) * 2011-09-02 2019-06-26 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 확장가능 모바일 디바이스
JP2017511943A (ja) * 2014-01-17 2017-04-27 ソニー インタラクティブ エンタテインメント アメリカ リミテッド ライアビリテイ カンパニー プライベート追跡ヘッドアップディスプレイとしての第２画面の使用
KR101512364B1 (ko) * 2014-05-16 2015-04-16 한국생산기술연구원 확장디스플레이부를 포함하는 휴대용 전자기기 케이스
KR20200007366A (ko) * 2018-07-13 2020-01-22 엘지디스플레이 주식회사 플렉서블 디스플레이 장치
KR102179289B1 (ko) * 2019-05-31 2020-11-17 연세대학교 산학협력단 자율주행 차량의 대형 디스플레이 인터랙션 시스템 및 방법

Also Published As

Publication number Publication date
KR20220069370A (ko) 2022-05-27
US20230245607A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
WO2019240519A2 (en) Electronic device including flexible display capable of changing size of display area and method for controlling same
WO2022030990A1 (ko) 복수의 디스플레이를 통해 다양한 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2023282563A1 (ko) 복수의 터치스크린 디스플레이를 포함하는 전자 장치 및 화면 분할 방법
WO2021066468A1 (en) Electronic device and control method thereof
WO2022055255A1 (ko) 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2022055322A1 (ko) 폴더블 전자 장치의 디스플레이 화면 제어 방법 및 그 폴더블 전자 장치
WO2022103174A1 (ko) 표시 영역이 가변되는 디스플레이를 포함하는 전자 장치 및 앱 아이콘을 이용하여 화면 비율을 가변적으로 운용하는 방법
WO2022031047A1 (ko) 디스플레이를 포함하는 전자 장치 및 그의 화면 운용 방법
WO2022108379A1 (ko) 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법
WO2022119398A1 (ko) 플랙서블 전자 장치 및 이의 아바타 서비스 운용 방법
WO2022092652A1 (ko) 사용자 인터페이스를 제공하는 전자 장치
WO2022154423A1 (ko) 전자 장치 및 전자 장치에서 스타일러스 펜의 입력을 처리하는 방법
WO2022149954A1 (ko) 플렉서블 디스플레이를 갖는 전자 장치 및 그의 모드 변경에 따른 제어 패널 제공 방법
WO2022025400A1 (ko) 전자 펜과 연동된 화면 분할 제공 방법 및 이를 이용한 폴더블 전자 장치
WO2022080990A1 (ko) 전자 장치 및 그의 형태에 기초한 기능 제어 방법
WO2022085961A1 (ko) 컨텐츠를 출력하는 전자 장치 및 전자 장치의 동작 방법
WO2022119117A1 (ko) 플렉서블 디스플레이를 구비한 전자 장치 및 그의 동작 방법
WO2022119137A1 (ko) 확장 가능한 디스플레이를 포함하는 전자 장치 및 전자 장치의 컨텐츠 제공 방법
WO2024071730A1 (ko) 디바이스간 데이터 동기화 방법 및 그 전자 장치
WO2024063564A1 (ko) 폴더블 전자 장치 및 폴더블 전자 장치의 동작 방법
WO2022102941A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 화면 제어 방법
WO2023153595A1 (ko) 전자 장치 및 전자 장치의 화면 표시 방법
WO2022114885A1 (ko) 스타일러스를 이용한 전자 장치의 제어 방법 및 그 방법을 이용하여 스타일러스로부터 입력을 받는 전자 장치
WO2023204443A1 (ko) 외부 전자 장치와 화면을 공유하기 위한 전자 장치, 그 동작 방법 및 저장 매체
WO2022103084A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 이를 이용하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21895146

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21895146

Country of ref document: EP

Kind code of ref document: A1