WO2021071301A1 - 전자 장치 및 전자 장치의 제어 방법 - Google Patents

전자 장치 및 전자 장치의 제어 방법 Download PDF

Info

Publication number
WO2021071301A1
WO2021071301A1 PCT/KR2020/013776 KR2020013776W WO2021071301A1 WO 2021071301 A1 WO2021071301 A1 WO 2021071301A1 KR 2020013776 W KR2020013776 W KR 2020013776W WO 2021071301 A1 WO2021071301 A1 WO 2021071301A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
electronic device
image information
state
sub
Prior art date
Application number
PCT/KR2020/013776
Other languages
English (en)
French (fr)
Inventor
박미지
정윤성
이수연
이용구
이윤이
정진교
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021071301A1 publication Critical patent/WO2021071301A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04803—Split screen, i.e. subdividing the display area or the window area into separate subareas

Definitions

  • Various embodiments of the present disclosure relate to an electronic device and a method of controlling the same, and more particularly, to a method of displaying a plurality of image information on a single display.
  • electronic devices including a foldable display capable of folding a display, and a device including a rollable display capable of storing the display by rolling are spreading.
  • Electronic devices including a foldable display that provide information to a user even when the electronic device is folded by further including a sub-display in an area exposed to the outside during folding are also emerging.
  • the application executed on the sub-display may be executed on the expanded display when the foldable display is opened.
  • an application executed on the sub-display may be executed on the foldable display.
  • the electronic device may execute and display an application that has been executed on the sub-display in the same manner on the open display.
  • An electronic device includes a display, a sub-display, at least one or more processors, and at least one or more memories, wherein the processor controls the sub-display to display first image information, and , Displaying second image information to which at least one object generated by an external input is added to the first image information, and identifying that the electronic device is changed from a first state to a second state, the display
  • the display area of the display may be divided to include at least one instruction set to display the first image information in a first area and the second image information in a second area.
  • An electronic device includes a display, a sub-display, at least one or more processors, and at least one or more memories, wherein the electronic device is in a situation in which the processor displays an application on the display.
  • the sub-display is controlled to display a user interface for obtaining an external input, and according to an external input input to the user interface, at least one sub-display is displayed.
  • an instruction set to output information acquired using the object and the application may be stored.
  • a method of controlling an electronic device includes displaying first image information on a sub-display, and subscribing second image information to which at least one object generated by an external input is added to the first image information. According to the operation of displaying on the display and identifying that the electronic device is changed from the first state to the second state, the display area of the display is divided to display the first image information in the first area, and the second area May include displaying the second image information.
  • the method of controlling an electronic device includes an operation of executing an application and displaying it on a display, and controlling a sub-display to obtain an external input by identifying that the electronic device is changed from a second state to a first state. Displaying a user interface to perform, displaying at least one object on the sub-display according to an external input input to the user interface, and changing the electronic device from the first state to the second state Upon identification, an operation of outputting information obtained using the object and the application may be included.
  • the electronic device may simultaneously display the first image information and the second image information that were sequentially provided through the sub-display on the display.
  • the electronic device may individually store at least one object added to the first image information and selectively provide it according to a user's selection.
  • the electronic device may provide the user with information acquired by using an application being executed and an object input by the user according to a state change of the electronic device.
  • FIG. 1 is a flowchart illustrating a situation in which an electronic device displays image information according to a state change of an electronic device according to an exemplary embodiment.
  • FIG. 2 is a diagram illustrating an example in which an electronic device displays image information according to a state change of the electronic device, according to an exemplary embodiment.
  • FIG. 3 is a schematic block diagram of an electronic device according to an exemplary embodiment.
  • FIG. 4 is a diagram illustrating a situation in which an electronic device generates a plurality of layers according to an exemplary embodiment.
  • FIG. 5 is a diagram illustrating various embodiments in which an electronic device displays first image information and second image information according to an exemplary embodiment.
  • FIG. 6 is a diagram illustrating another embodiment in which an electronic device displays an image according to a state change of the electronic device, according to an exemplary embodiment.
  • FIG. 7 is a diagram illustrating an example in which an electronic device displays first image information and second image information according to an exemplary embodiment.
  • FIG. 8 is a flowchart illustrating a situation in which an electronic device inputs a search word using a state change of the electronic device according to an exemplary embodiment.
  • FIG. 9 is a diagram illustrating an embodiment in which an electronic device inputs a search word using a state change of the electronic device according to an embodiment.
  • FIG. 10 is a diagram illustrating various situations in which an electronic device uses a content by using a first state and a second state of the electronic device according to an exemplary embodiment.
  • FIG. 11 is a diagram illustrating a situation in which an electronic device displays image information according to a state change of the electronic device according to another exemplary embodiment.
  • FIG. 12 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 13 is a block diagram of a display device according to various embodiments.
  • FIG. 14 is a diagram illustrating an unfolded state of an electronic device according to an exemplary embodiment.
  • 15 is a diagram illustrating a folded state of an electronic device according to an exemplary embodiment.
  • 16 is an exploded perspective view of an electronic device according to an exemplary embodiment.
  • An electronic device may be a device of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • the electronic device according to the embodiment of the present document is not limited to the above-described devices.
  • module used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits.
  • the module may be an integrally configured component or a minimum unit of the component or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • FIG. 1 is a flowchart illustrating a situation in which an electronic device displays image information according to a state change of an electronic device according to an exemplary embodiment
  • FIG. 2 is a flowchart illustrating a situation in which an electronic device according to an exemplary embodiment displays image information according to a state change of the electronic device. It is a diagram for an embodiment of displaying.
  • the electronic device 10 may include a foldable display (hereinafter, the display 11) in which a part of the display 11 is folded or unfolded.
  • the electronic device 10 may include a first housing structure 210 and a second housing structure 220 accommodating the display 11.
  • One end of the first housing structure 210 and one end of the second housing structure 220 may be fastened to a hinge structure (not shown).
  • a hinge structure not shown.
  • a state in which one area of the display 11 is folded and faced may be defined as a first state (or a folded state), and a state in which the display 11 is unfolded may be defined as a second state (or an unfolded state).
  • the electronic device 10 may include a sub-display 12.
  • the sub-display 12 may be provided in an area opposite to the area in which the first housing structure 210 accommodates the display 11. That is, in the second state (or the unfolded state), the display 11 and the sub-display 12 may be disposed to face opposite directions.
  • the display 11 and the sub-display 12 may each include a touch sensor for acquiring an external touch input, a touch sensor integrated circuit (IC), and the like.
  • the display 11 and the sub-display 12 may simultaneously serve as an input device and an output device.
  • the electronic device 10 may display first image information on the sub-display 12.
  • the electronic device 10 may display the first image information 30 on the sub-display 12 in the first state.
  • the electronic device 10 executes an image editing application according to an external input and displays the first image information 30 including the image 230 and image editing objects 232 on the sub-display 12 can do.
  • the electronic device 10 establishes communication with the web server, and sub-displays the first image information 30 including the image 230 and the image editing objects 232 using data downloaded from the web server. It can be marked in (12).
  • the image 230 may be a still image or a moving image that the electronic device 10 has acquired from an external device and previously stored.
  • the image 230 may be a still image or a video captured by the electronic device 10 using a camera module (not shown) included in the electronic device 10.
  • the image 230 may be that the electronic device 10 establishes communication with the web server and displays the acquired image data in the form of a still image or a moving image.
  • the electronic device 10 may display second image information to which at least one object generated by an external input is added to the first image information on the sub-display.
  • the user may edit the image 230.
  • the user may add various touch inputs (eg, touch input, touch and drag input, or hovering input) to the sub-display 12 using the stylus pen 40.
  • the electronic device 10 may update (or change) the first image information 30 displayed on the sub-display 12 to the second image information 50 in response to a user's touch input and display it.
  • the electronic device 10 may display a preset object on an area of the sub-display 12 in which various touch inputs are sensed.
  • the electronic device 10 may display at least one line 240 on a region of the sub-display 12 in response to a user's touch input.
  • the electronic device 10 may display second image information 50 that is output by overlapping at least one line 240 generated by a user's input on the image 230.
  • the display area of the display is divided into the first area. 1 image information may be displayed, and the second image information may be displayed in a second area.
  • the electronic device 10 may change its state. For example, in the electronic device 10, in the first state (or the folded state) in which at least a part of the display 11 is bent according to the movement of the first housing structure 210 and the second housing structure 220, the display ( 11) may be changed to the unfolded second state (or the unfolded state).
  • the electronic device 10 is fastened to a hall sensor, an acceleration sensor, or the first housing structure 210 and the second housing structure 220 included in the electronic device 10 to form the first housing structure 210. ) And a position change of the first housing structure 210 and the second housing structure 220 using a sensor included in the hinge structure guiding the rotational motion of the second housing structure 220.
  • the electronic device 10 uses the result of detecting the position change of the first housing structure 210 and the second housing structure 220 to change the state of the electronic device 10 (for example, from the first state to the second state). Change, or a change from the second state to the first state) can be identified.
  • the display 11 that has been deactivated may be activated.
  • the electronic device 10 may divide the display area of the activated display 11. For example, the electronic device 10 divides the left and the right based on the axis A on which the display 11 is folded, identifies the right as the first area 11a, and identifies the left as the second area 11b. Can be identified.
  • the electronic device 10 may display the first image information 30 in the first region 11a and the second image information 50 in the second region 11b. According to various embodiments, when displaying the second image information 50, the electronic device 10 displays only the image 230 and an object input by a user input (eg, at least one or more lines 240). I can.
  • a user input eg, at least one or more lines 240.
  • the display area of the sub-display 12 and the first area 11a or the second area 11b of the display 11 may have different sizes.
  • the electronic device 10 uses the horizontal/vertical ratio of the display area of the sub-display 12 and the horizontal/vertical ratio of the first area 11a or the second area 11b.
  • the size of the second image information 50 displayed in the first region 11a or the second region 11b may be corrected.
  • the electronic device 10 when the display 11 is activated, displays image information obtained according to a result of input by the user using the sub-display 12.
  • the display area of can be divided and displayed.
  • the electronic device 10 identifies image information in a state in which there is no user input (eg, first image information) and image information reflecting the user's input (eg, second image information) as separate image information, and , If necessary, it can be provided together to provide convenience for the user to easily perform additional tasks.
  • the electronic device 10 may display one of the first image information 30 and the second image information 50 on the display 11 in response to a user input.
  • the electronic device 11 may display the display conversion object 250 on an area of the display 11.
  • the electronic device 10 may display only one of the first image information 30 and the second image information 50 on the display 11 in response to a user input for selecting the display switching object 250.
  • the electronic device 10 may display the second image information 50 on the display 11 in response to a user input.
  • the electronic device 10 selects the display switching object 250 while one of the first image information 30 and the second image information 50 is displayed on the display 11.
  • the display area of the display 11 is divided, as shown in the identification symbol 2-c of FIG. 2, the first image information 30 is displayed in the first area 11a, and the second area Second image information 50 may be displayed in (11b).
  • the electronic device 10 may change the displayed image information according to the user's intention.
  • FIG. 3 is a schematic block diagram of an electronic device according to an exemplary embodiment.
  • the electronic device 10 may include a processor 310, a display 320, a sub display 330, and a memory 340. However, it is not limited thereto.
  • the electronic device 10 may omit some constituent elements or may further include some constituent elements.
  • the electronic device 10 may further include a sensor module 350.
  • the display 320 or the sub-display 330 may display various image information.
  • the display 320 may include the display 11 of FIG. 1, and the sub-display 330 may include the sub-display 12 of FIG. 1.
  • the display 320 or the sub-display 330 may include a touch sensor for obtaining a touch input, a touch sensor IC, etc. to obtain an external touch input.
  • the display 320 or the sub-display At least part of the 330 may be folded or unfolded.
  • the electronic device 10 may not include the sub-display 330.
  • the display 320 when the electronic device 10 is folded, the display 320 may be in a state in which the display areas (for example, the first area 11a and the second area 11b of FIG. 2) do not face each other. have.
  • the memory 340 may store various operating systems (OSs) for driving the electronic device 10, and various software programs (or applications) for operating the electronic device 10 , Data and instructions for the operation of the electronic device 10 may be stored. At least some of these programs may be downloaded from an external server through wireless or wired communication.
  • the memory 340 may be implemented as a nonvolatile memory, a volatile memory, a flash-memory, a hard disk drive (HDD), a solid state drive (SSD), or the like.
  • the memory 340 is accessed by the processor 310, and data read/write/edit/delete/update by the processor 210 may be performed.
  • the memory 340, the processor 310 controls the sub-display 330 to display first image information, and at least one object generated by an external input to the first image information. Displays the added second image information, and identifies that the electronic device 10 is changed from the first state to the second state, divides the display area of the display 11 and displays the first image information in the first area. And at least one instruction set to control the display 320 to display second image information in the second area.
  • the processor 310 may control the above-described components of the electronic device 10. For example, the processor 310 may acquire features of an image or change (or correct) the image using a plurality of software stored in the memory 340.
  • the processor 310 may perform various operations by copying various programs stored in the memory 340 to RAM and executing them.
  • the processor 310 includes only one central processing unit (CPU), but may be implemented with a plurality of CPUs (or DSPs, SoCs, etc.).
  • the processor 310 may be implemented as a digital signal processor (DSP), a microprocessor, or a time controller (TCON) that processes digital signals, but is not limited thereto. , Central processing unit (CPU), microcontroller unit (MCU), micro processing unit (MPU), controller, application processor (AP), or communication processor (CP )), one or more of an ARM processor, or may be defined in a corresponding term
  • the processor 310 may be implemented as a system on chip (SoC) or large scale integration (LSI) with a built-in processing algorithm. It may be implemented in the form of a field programmable gate array (FPGA).
  • SoC system on chip
  • LSI large scale integration
  • FPGA field programmable gate array
  • the processor 310 controls the sub-display 330 to display first image information, and second image information in which at least one object generated by an external input is added to the first image information. And, as the electronic device 10 identifies that the electronic device 10 is changed from the first state to the second state, the display area of the display 320 is divided to display first image information in the first area, and the second area The display 320 may be controlled to display second image information.
  • the sensor module 350 may include at least one of a gesture sensor, a gyro sensor, a proximity sensor, and an illumination sensor.
  • the sensor module 350 may detect an operating state of the electronic device 10 or an external environment state, and generate an electrical signal or data value corresponding to the sensed state.
  • the sensor module 350 may detect movement of the first housing structure and the second housing structure.
  • FIG. 4 is a diagram illustrating a situation in which the electronic device 10 generates a plurality of layers according to an exemplary embodiment.
  • the electronic device 10 may display first image information 30 on the sub-display 12.
  • the electronic device 10 executes an image editing application according to an external input and displays the first image information 30 including the image 430 and image editing objects 432 on the sub-display 12 can do.
  • the electronic device 10 uses a user's input (eg, input using a stylus pen, input using a finger, etc.) to display first image information displayed on the sub-display 12.
  • the second image information 50 may be displayed by updating 30.
  • the electronic device 10 may display a second line 440 overlapping the image 430 in one area of the sub-display 12 and outputting the second line 440.
  • Image information 50 can be displayed.
  • the electronic device 10 may store at least one displayed line 440.
  • the electronic device 10 may store at least one displayed line 440 according to a user input requesting to store at least one displayed line 440.
  • the electronic device 10 may generate a line according to an external input of touching and dragging the sub-display 12 using the stylus pen 40 and display it on the sub-display 12.
  • the user may set the electronic device 10 to display a line having a first thickness, and may add at least one or more lines to the display 11.
  • the electronic device 10 may store at least one displayed line 440 as the first object 440 according to a user input requesting to store at least one displayed line 440.
  • the electronic device 10 may identify the first object 440 as a first layer.
  • the user may set the electronic device 10 to display a line having a second thickness, and may add at least one or more lines to the display 11.
  • the electronic device 10 may store at least one displayed line 442 as the second object 442 according to a user input requesting to store at least one displayed line 442.
  • the electronic device 10 may identify and store the second object 442 as a second layer.
  • a user may input at least one line having various thicknesses and colors on the sub-display 12 (or display) and then store it.
  • the electronic device 10 may store at least one line displayed on the sub-display 12 as the first object 440 and identify it as one first layer.
  • the user may input and store at least one or more lines having various thicknesses and colors while the first object 440 is displayed.
  • the electronic device 10 may store at least one additionally inputted line separately from the previously stored first object 440 as the second object 442 and identify it as a second layer.
  • the electronic device 10 may store various contents (eg, icons, stickers, texts, etc.) displayed on a sub-display (or display) by an external input as a first object or a second object. have.
  • contents eg, icons, stickers, texts, etc.
  • the electronic device 10 acquires one layer by storing an object that is created and displayed in response to a user's input (or external input), and repeats this operation to acquire a plurality of layers. I can.
  • the electronic device 10 may change its state.
  • the display ( 11) in the first state (or the folded state) in which at least a part of the display 11 is bent according to the movement of the first housing structure 210 and the second housing structure 220, the display ( 11) may be changed to the unfolded second state (or the unfolded state).
  • the display 11 that has been deactivated may be activated.
  • the electronic device 10 may divide the display area of the activated display 11. For example, the electronic device 10 divides the left and the right based on the axis A on which the display 11 is folded, identifies the right as the first area 11a, and identifies the left as the second area 11b. Can be identified.
  • the electronic device 10 may display the first image information 30 in the first area 11A and the second image information 50 in the second area 11b.
  • the electronic device 10 displays the first image information 30 including the image 430 that has not been edited by the user in the first area 11a, and the image ( 230 ), the first object 440 identified as the first layer, and the second object 442 identified as the second layer overlap each other and output second image information 50 may be displayed.
  • the electronic device 10 may display a layer display object 401 capable of selectively displaying a first layer, a second layer, and an image.
  • the electronic device 10 may display an image 230 and a pop-up window 405 for selecting each layer according to a user input for selecting the layer display object 401.
  • Second image information 50 including the image 430 and the second object 442 identified as the second layer may be displayed on the second area 11b of the display 11.
  • FIG. 5 is a diagram illustrating various embodiments in which an electronic device displays first image information and second image information according to an exemplary embodiment.
  • the electronic device 10 displays an image included in the second image information or an object generated by an external input while displaying the first image information 30 in the first area 11a. You can implement it differently.
  • the electronic device 10 may invert and display an object and an image generated by an external input.
  • the electronic device 10 may store second image information 50 including an image 510 in which the left and right directions are reversed and at least one line 520 that is reversed in the left and right directions and added by an external input. It can be displayed on the second area 11b of the display 11.
  • the electronic device 10 may display an object generated by an external input by inverting its color.
  • the electronic device 10 includes an image 530 in which the left and right directions and colors are inverted, and at least one or more lines 540 added by an external input and inverted colors and directions ( 50) may be displayed on the second area 11b of the display 11.
  • FIG. 6 is a diagram illustrating another embodiment in which an electronic device displays an image according to a state change of the electronic device, according to an exemplary embodiment.
  • the electronic device 10 may display first image information on the sub-display 12.
  • the electronic device 10 may execute a text editing application and display first image information 30 including text 610 and text editing objects 612 on the sub-display 12.
  • the electronic device 10 establishes communication with a web server, and sub-displays the first image information 30 including text 610 and text editing objects 612 by using data downloaded from the web server. It can be marked in (12).
  • the user may edit the text 610.
  • a user may add various touch inputs to the sub-display 12 using the stylus pen 40.
  • the electronic device 10 may update (or change) the first image information 30 displayed on the sub-display 12 to the second image information 50 in response to a user's touch input, and display it.
  • the electronic device 10 may display at least one or more lines 620 in response to a user's touch input.
  • the electronic device 10 may display second image information 50 output by overlapping at least one line 620 generated by a user's input on the text 610.
  • the electronic device 10 may change its state.
  • the display ( 11) in the first state (or the folded state) in which at least a part of the display 11 is bent according to the movement of the first housing structure 210 and the second housing structure 220, the display ( 11) can be changed to the unfolded second state (or the unfolded state).
  • the electronic device 10 displays the first image information 30 including the text 610 in the first area 11a, and the text 610 and external input in the second area 11b.
  • the second image information 50 including at least one or more lines 620 added by may be displayed.
  • the electronic device 10 may display one of the first image information 30 and the second image information 50 on the display 11 in response to a user input.
  • the electronic device 10 may display the display conversion object 630 on an area of the display 11.
  • the electronic device 10 may display only one of the first image information 30 and the second image information 50 on the display 11 in response to a user input for selecting the display switching object 630.
  • the electronic device 10 may display the second image information 50 on the display 11 according to a user's input.
  • the electronic device 10 selects the display switching object 630 while one of the first image information 30 and the second image information 50 is displayed on the display 11.
  • the display area of the display 11 is divided as shown in the identification symbol 6-c of FIG. 6, and the first image information 30 is displayed in the first area 11a, and the second area Second image information 50 may be displayed in (11b).
  • FIG. 7 is a diagram illustrating an example in which an electronic device displays first image information and second image information according to an exemplary embodiment.
  • the electronic device 10 may display at least one or more lines 720 in response to a user's touch input.
  • the electronic device 10 may display second image information 50 output by overlapping at least one line 720 generated by a user's input on the text 710.
  • the electronic device 10 may change its state.
  • the display ( 11) in the first state (or the folded state) in which at least a part of the display 11 is bent according to the movement of the first housing structure 210 and the second housing structure 220, the display ( 11) can be changed to the unfolded second state (or the unfolded state).
  • the electronic device 10 may display first image information 30 on the first area 11a.
  • the electronic device 10 stores second image information 50 including text 710' in which the left and right directions are reversed and at least one line 720' in which the left and right directions are reversed and added by an external input. It can be displayed on the second area 11b of the display 11.
  • the electronic device 10 may adjust the text 710' in which the left-right direction is inverted and the left-right direction to be inverted, and the transparency of at least one or more lines 720' added by an external input decreases.
  • the electronic device 10 may provide an effect such that the text displayed on the front side of the bookshelf is projected on the back side when the bookshelf is turned over.
  • FIG. 8 is a flowchart illustrating a situation in which an electronic device inputs a search word using a state change of the electronic device according to an embodiment
  • FIG. 9 is a flowchart illustrating a search word input by the electronic device according to an exemplary embodiment. It is a diagram for explaining an embodiment of inputting.
  • the electronic device 10 may execute and display an application on a display.
  • the electronic device 10 may display a map 910 on the display 11 by executing a map application.
  • the user interface for obtaining an external input may be displayed on the sub-display.
  • the second state may refer to a state in which the display 12 is unfolded
  • the first state may refer to a state in which one area of the display 12 is folded to face each other.
  • the electronic device 10 may add at least one object to the sub-display and display it according to an external input.
  • a translucent black color may be displayed on the sub-display 12.
  • the electronic device 10 may acquire a user's input through the stylus pen 40 using the sub-display 12.
  • the electronic device 10 may display a map application previously displayed on the display 11 on the sub display 12 by executing and displaying it, and then display a translucent black color on the sub display 12.
  • the electronic device 10 may output information acquired using an input object and an application being executed.
  • the electronic device 10 may recognize the text using handwriting recognition technology. For example, the electronic device 10 may identify the handwriting input by the user as "caf ⁇ nearby" 920. The electronic device 10 may obtain information related to “caf ⁇ ” (cafe) from the map application 910 based on the recognized text.
  • the electronic device 10 may display the acquired information on the display 11. For example, the electronic device 10 may divide the display area of the display 11 into three. The electronic device 10 displays a result 940 of recognizing the user input as text in the first area 931, displays at least a portion 942 of the map displayed on the display 11, and displays at least a portion of the map An object 944 indicating a searched location related to a "cafe” may be displayed on a part 942. For example, the electronic device 10 may display the object 944 indicating the searched location where the “cafe” is located. Also, the electronic device 10 may display image information 950 searched for "cafe" in the second area 932 on the display 11. For example, the electronic device 10 may display information 950 related to "cafe" searched through web search on the second area 932 of the display 11.
  • the electronic device 10 may display the map 910 that was displayed on the display 11 in the second state in the third area 933. In this case, the electronic device 10 may adjust the area displayed by the map 910 according to the size of the third area 933 or adjust the magnification of the displayed map.
  • the electronic device 10 may output to the display 11 when the electronic device 10 enters the second state. Accordingly, the electronic device 10 can reduce a time difference between activating the display 11 and displaying the executed application on the activated display 11.
  • the electronic device 10 may change content displayed on the display 11 in response to a user input.
  • the electronic device 10 may display the display conversion object 960 on a region of the display 11.
  • the electronic device 10 may divide the display area of the display 11 into two in response to a user input for selecting the display conversion object 960.
  • the electronic device 10 divides the display area of the display 11 into two, and the information displayed in the first area 931 described in the identification symbol 9-c of FIG. 9 on the upper side of the display 11 Can be displayed.
  • the electronic device 10 may display information displayed in the second area 932 described with the identification symbol 9-c of FIG. 9 on the lower side of the display 11.
  • the electronic device 10 may change the size of the map 942 displayed on the display 11.
  • FIG. 10 is a diagram illustrating various situations in which an electronic device uses a content by using a first state and a second state of the electronic device according to an exemplary embodiment.
  • the identification symbol 10-a of FIG. 10 is a diagram illustrating a situation in which content is generated using the electronic device 10 according to an exemplary embodiment.
  • the electronic device 10 may execute a dictionary application in the second state and display it on the display 11.
  • the electronic device 10 may display an English word "TODAY” 1010 and a Korean word "today” 1012 corresponding to the English word on the display 11.
  • the electronic device 10 may display a screen for editing a pre-application on the sub-display 12. For example, the user may add an object 1020 (eg, a rectangular object having a dark color) so that the “today” 1012 is not visible by using the stylus pen 40.
  • an object 1020 eg, a rectangular object having a dark color
  • the electronic device 10 may store a screen in which the "today” 1012 is not visible to the user and only the "TODAY” 1010 is displayed.
  • the electronic device 10 may output image information provided in a state in which some information is hidden on the sub-display 12 according to a user's input. For example, in a first state, the electronic device 10 displays first image information including an image in which some information is covered, and in a second state, provides second image information including an image in which some information is not covered. can do.
  • An identification symbol 10-b of FIG. 10 is a diagram illustrating a situation in which content is utilized by using the electronic device 10 according to an exemplary embodiment.
  • the electronic device 10 may execute the number learning application in the second state and display it on the display 11.
  • the first equation 1030 may be in an unfinished state including “ ⁇ ”.
  • the electronic device 10 may provide the first equation 1030 to the user in the second state, and may provide the second equation 1032 obtained by completing the first equation 1030 in the first state.
  • FIG. 11 is a diagram illustrating a situation in which an electronic device displays image information according to a state change of the electronic device according to another exemplary embodiment.
  • the electronic device 1101 may include a first housing structure 1121, a second housing structure 1122, and a display 1130.
  • the electronic device 1101 is in a state in which the center of the display 1130 is folded so that one surface of the first housing structure 1121 and one surface of the second housing structure 1122 face each other. ) May be in the first state.
  • a state in which the first housing structure 1121 and the second housing structure 1122 are arranged to be continuous may be the second state of the electronic device 1101.
  • the electronic device 1101 may activate only one area of the display 1130.
  • the electronic device 1101 activates only one area 1132 of the display 1130 facing the ground using an acceleration sensor, or one area 1132 of the display 1130 facing the user using a camera sensor. Can only be activated.
  • the electronic device 1101 may display at least one line 1140 on the activated area 1132 of the display 1130 in response to a user's touch input.
  • the electronic device 1101 may display second image information 50 output by overlapping at least one line 1140 generated by a user's input on the image 1150.
  • the electronic device 1101 may change its state.
  • the electronic device 1101 may be in a first state (or a folded state) in which at least a portion of the display 1130 is bent according to the movement of the first housing structure 1121 and the second housing structure 1122. 1130 may be changed to an unfolded second state (or an unfolded state).
  • the electronic device 1101 may divide the display area of the activated display 1130. For example, the electronic device 1101 divides the left and the right based on the axis A on which the display 1130 is folded, identifies the right as the first area 1130a, and identifies the left as the second area 1130b. Can be identified.
  • the electronic device 1101 displays first image information 30 including an image before an object is added by an external input in the first area 1130a, and displays the first image information 30 in the second area 1130b. 2
  • the image information 50 can be displayed.
  • the electronic device 1201 of FIG. 12 may include the electronic device 10 of FIG. 2 and the electronic device 1101 of FIG. 11.
  • the electronic device 1201 communicates with the electronic device 1202 through a first network 1298 (for example, a short-range wireless communication network), or a second network 1299 It is possible to communicate with the electronic device 1204 or the server 1208 through (eg, a long-distance wireless communication network).
  • the electronic device 1201 may communicate with the electronic device 1204 through the server 1208.
  • the electronic device 1201 includes a processor 1220, a memory 1230, an input device 1250, an audio output device 1255, a display device 1260, an audio module 1270, and a sensor module ( 1276), interface 1277, haptic module 1279, camera module 1280, power management module 1288, battery 1289, communication module 1290, subscriber identification module 1296, or antenna module 1297 ) Can be included.
  • at least one of these components (for example, the display device 1260 or the camera module 1280) may be omitted or one or more other components may be added to the electronic device 1201.
  • some of these components may be implemented as one integrated circuit.
  • the sensor module 1276 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 1260 eg, a display.
  • the processor 1220 for example, executes software (eg, a program 1240) to configure at least one other component (eg, a hardware or software component) of the electronic device 1201 connected to the processor 1220. It can be controlled and can perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 1220 may store commands or data received from other components (eg, the sensor module 1276 or the communication module 1290) to the volatile memory 1232 The command or data stored in the volatile memory 1232 may be processed, and result data may be stored in the nonvolatile memory 1234.
  • software eg, a program 1240
  • the processor 1220 may store commands or data received from other components (eg, the sensor module 1276 or the communication module 1290) to the volatile memory 1232
  • the command or data stored in the volatile memory 1232 may be processed, and result data may be stored in the nonvolatile memory 1234.
  • the processor 1220 includes a main processor 1221 (eg, a central processing unit or an application processor), and a coprocessor 1223 (eg, a graphics processing unit, an image signal processor) that can be operated independently or together. , A sensor hub processor, or a communication processor). Additionally or alternatively, the coprocessor 1223 may be configured to use lower power than the main processor 1221 or to be specialized for a designated function.
  • the secondary processor 1223 may be implemented separately from or as a part of the main processor 1221.
  • the coprocessor 1223 is, for example, on behalf of the main processor 1221 while the main processor 1221 is in an inactive (eg, sleep) state, or the main processor 1221 is active (eg, an application execution). ), together with the main processor 1221, at least one of the components of the electronic device 1201 (for example, the display device 1260, the sensor module 1276, or the communication module 1290) It is possible to control at least some of the functions or states associated with it.
  • the coprocessor 1223 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, a camera module 1280 or a communication module 1290). have.
  • the memory 1230 may store various data used by at least one component of the electronic device 1201 (eg, the processor 1220 or the sensor module 1276).
  • the data may include, for example, software (eg, the program 1240) and input data or output data for commands related thereto.
  • the memory 1230 may include a volatile memory 1232 or a nonvolatile memory 1234.
  • the program 1240 may be stored as software in the memory 1230, and may include, for example, an operating system 1242, middleware 1244, or an application 1246.
  • the input device 1250 may receive a command or data to be used for a component of the electronic device 1201 (eg, the processor 1220) from an external device (eg, a user) of the electronic device 1201.
  • the input device 1250 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 1255 may output an sound signal to the outside of the electronic device 1201.
  • the sound output device 1255 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of the speaker.
  • the display device 1260 may visually provide information to the outside of the electronic device 1201 (eg, a user).
  • the display device 1260 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 1260 may include a touch circuitry set to sense a touch, or a sensor circuit (eg, a pressure sensor) set to measure the strength of a force generated by the touch. have.
  • the audio module 1270 may convert sound into an electrical signal, or conversely, may convert an electrical signal into sound. According to an embodiment, the audio module 1270 acquires sound through the input device 1250, the sound output device 1255, or an external electronic device (for example, an external electronic device directly or wirelessly connected to the electronic device 1201). Sound may be output through the electronic device 1202) (for example, a speaker or headphone).
  • the sensor module 1276 detects an operating state (eg, power or temperature) of the electronic device 1201, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 1276 includes, for example, a gesture sensor, a gyro sensor, an atmospheric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 1277 may support one or more specified protocols that may be used to connect the electronic device 1201 to an external electronic device (eg, the electronic device 1202) directly or wirelessly.
  • the interface 1277 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • connection terminal 1278 may include a connector through which the electronic device 1201 can be physically connected to an external electronic device (eg, the electronic device 1202 ).
  • the connection terminal 1278 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1279 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that a user can perceive through tactile or motor sensations.
  • the haptic module 1279 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1280 may capture a still image and a video.
  • the camera module 1280 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1288 may manage power supplied to the electronic device 1201.
  • the power management module 388 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 1289 may supply power to at least one component of the electronic device 1201.
  • the battery 1289 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 1290 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 1201 and an external electronic device (eg, electronic device 1202, electronic device 1204, or server 1208). It is possible to support establishment and communication through the established communication channel.
  • the communication module 1290 operates independently of the processor 1220 (eg, an application processor) and may include one or more communication processors supporting direct (eg, wired) communication or wireless communication.
  • the communication module 1290 is a wireless communication module 1292 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1294 (eg : A local area network (LAN) communication module, or a power line communication module) may be included.
  • a corresponding communication module is a first network 1298 (for example, a short-range communication network such as Bluetooth, WiFi direct or IrDA (infrared data association)) or a second network 1299 (for example, a cellular network, the Internet, or It can communicate with external electronic devices through a computer network (for example, a telecommunication network such as a LAN or WAN).
  • the wireless communication module 1292 uses subscriber information stored in the subscriber identification module 1296 (eg, International Mobile Subscriber Identifier (IMSI)) in a communication network such as the first network 1298 or the second network 1299.
  • IMSI International Mobile Subscriber Identifier
  • the electronic device 1201 may be checked and authenticated.
  • the antenna module 1297 may transmit a signal or power to the outside (eg, an external electronic device) or receive from the outside.
  • the antenna module may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 1297 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 1298 or the second network 1299 is, for example, provided by the communication module 1290 from the plurality of antennas. Can be chosen.
  • the signal or power may be transmitted or received between the communication module 1290 and an external electronic device through the selected at least one antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as part of the antenna module 1297.
  • At least some of the components are connected to each other through a communication method (e.g., a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI))) between peripheral devices and a signal ( E.g. commands or data) can be exchanged with each other.
  • a communication method e.g., a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 1201 and the external electronic device 1204 through the server 1208 connected to the second network 1299.
  • Each of the electronic devices 1202 and 1204 may be the same or different types of devices as the electronic device 1201.
  • all or some of the operations executed by the electronic device 1201 may be executed by one or more of the external electronic devices 1202, 1204, or 1208.
  • the electronic device 1201 needs to perform a function or service automatically or in response to a request from a user or another device, the electronic device 1201 does not execute the function or service by itself.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 1201.
  • the electronic device 1201 may process the result as it is or additionally and provide it as at least part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology Can be used.
  • the display device 1260 may include a display 1310 and a display driver IC (DDI) 1330 for controlling the display 1310.
  • the DDI 1330 may include an interface module 1331, a memory 1333 (eg, a buffer memory), an image processing module 1335, or a mapping module 1335.
  • the DDI 1330 receives, for example, image data or image information including an image control signal corresponding to a command for controlling the image data from other components of the electronic device 1201 through the interface module 1331 can do.
  • the image information is a processor 1220 (for example, a main processor 1221 (for example, an application processor) or a co-processor 1223 that operates independently of the function of the main processor 1221) ( Example: may be received from a graphic processing device)
  • the DDI 1330 may communicate with the touch circuit 1350 or the sensor module 1276 through the interface module 1331.
  • the DDI 1330 may be provided with the DDI 1330. At least some of the received image information may be stored in the memory 1333, for example, in a frame unit.
  • the image processing module 1335 may pre-process or post-process at least a portion of the image data based on at least a characteristic of the image data or a characteristic of the display 1310 (eg, resolution, brightness, or size adjustment). You can do it.
  • the mapping module 1337 may generate a voltage value or a current value corresponding to the image data pre-processed or post-processed through the image processing module 1235. According to an embodiment, generation of a voltage value or a current value is at least in accordance with, for example, a property of pixels of the display 1310 (eg, an array of pixels (RGB stripe or pentile structure), or the size of each of the sub-pixels). It can be done on some basis. At least some pixels of the display 1310 are driven based at least in part on the voltage value or the current value, so that visual information (eg, text, image, or icon) corresponding to the image data is displayed on the display 1310. It can be displayed through.
  • visual information eg, text, image, or icon
  • the display device 1260 may further include a touch circuit 1350.
  • the touch circuit 1350 may include a touch sensor 1351 and a touch sensor IC 1352 for controlling the touch sensor 1351.
  • the touch sensor IC 1351 may control the touch sensor 1351 to detect, for example, a touch input or a hovering input for a specific location of the display 1310.
  • the touch sensor IC 1352 may detect a touch input or a hovering input by measuring a change in a signal (eg, voltage, light quantity, resistance, or charge quantity) for a specific location of the display 1310.
  • the touch sensor IC 1352 may provide information (eg, location, area, pressure, or time) on the sensed touch input or hovering input to the processor 1220.
  • At least a part of the touch circuit 1350 is disposed as a display driver IC 1330, a part of the display 1310, or outside the display device 1260 It may be included as part of other components (for example, the co-processor 1223).
  • the display device 1260 may further include at least one sensor of the sensor module 1276 (eg, a fingerprint sensor, an iris sensor, a pressure sensor, or an illuminance sensor), or a control circuit therefor.
  • the at least one sensor or a control circuit therefor may be embedded in a part of the display device 1260 (for example, the display 1310 or DDI 1330) or a part of the touch circuit 1350.
  • the sensor module 1276 embedded in the display device 1260 includes a biometric sensor (eg, a fingerprint sensor)
  • the biometric sensor may provide biometric information related to a touch input through a partial area of the display 1310. (Eg, fingerprint image) can be acquired.
  • the pressure sensor may acquire pressure information related to a touch input through a part or all of the display 1310. I can.
  • the touch sensor 1351 or the sensor module 1276 may be disposed between pixels of a pixel layer of the display 1310 or above or below the pixel layer.
  • the electronic device 1201 may include a plurality of display devices.
  • the electronic device 1201 may further include a display device (not shown) including the sub-display 12 of FIG. 2 in addition to the display device 1260.
  • the electronic device 1201 may include a sub-display 12 of FIG. 2 and a touch circuit IC and a sensor module corresponding to the sub-display 12 in addition to the display 1310 in the display device 1260.
  • the processor 1220 may display first image information by controlling a display driver IC corresponding to the sub-display 12.
  • the processor 1220 displays the second image information to which at least one object generated by an external input acquired using a sensor module corresponding to the sub-display 12 is added, so that the second image information is displayed on the sub-display 12.
  • the display driver IC corresponding to can be controlled.
  • the display area of the display 1310 is divided and the first image information is provided in the first area.
  • the display driver IC 1330 may be controlled to display and display second image information in the second area.
  • the electronic device 10 includes a foldable housing 1500, a hinge cover 1530 covering a foldable portion of the foldable housing, and the foldable housing.
  • a flexible or foldable display 1400 (hereinafter, "display” 1400 for short) disposed in the space formed by 1500 may be included.
  • the surface on which the display 1400 is disposed is defined as the first surface or the front surface of the electronic device 10.
  • the opposite surface of the front surface is defined as the second surface or the rear surface of the electronic device 10.
  • a surface surrounding the space between the front and rear surfaces is defined as a third surface or a side surface of the electronic device 10.
  • the foldable housing 1500 includes a first housing structure 1510, a second housing structure 1520 including a sensor area 1524, a first rear cover 1580, and a second rear surface.
  • a cover 1590 may be included.
  • the foldable housing 1500 of the electronic device 10 is not limited to the shape and combination shown in FIGS. 14 and 15, and may be implemented by a combination and/or combination of other shapes or components.
  • the first housing structure 1510 and the first rear cover 1580 may be integrally formed, and the second housing structure 1520 and the second rear cover 1590 are integrally formed. Can be formed.
  • the first housing structure 1510 and the second housing structure 1520 are disposed on both sides around a folding axis (A axis), and may have a shape that is generally symmetric with respect to the folding axis A. .
  • the first housing structure 1510 and the second housing structure 1520 have different angles or distances depending on whether the electronic device 10 is in an open state, a folded state, or an intermediate state. I can.
  • the second housing structure 1520 unlike the first housing structure 1510, further includes the sensor area 1524 in which various sensors are disposed, but in other areas, the second housing structure 1520 has a mutually symmetric shape. Can have.
  • the first housing structure 1510 and the second housing structure 1520 may form a recess for accommodating the display 1400 together.
  • the recess may have two or more different widths in a direction perpendicular to the folding axis A.
  • the recess is (1) formed at the edge of the sensor region 1524 of the first and second housing structures 1520 and 1510a parallel to the folding axis A of the first housing structure 1510.
  • the first portion 1510a of the first housing structure 1510 having a mutually asymmetric shape and the first portion 1520a of the second housing structure 1520 form the first width w1 of the recess.
  • the second portion 1510b of the first housing structure 1510 having a mutually symmetrical shape and the second portion 1520b of the second housing structure 1520 form a second width w2 of the recess.
  • the first portion 1520a and the second portion 1520b of the second housing structure 1520 may have different distances from the folding axis A.
  • the width of the recess is not limited to the illustrated example.
  • the recess may have a plurality of widths due to the shape of the sensor region 1524 or portions having an asymmetric shape of the first housing structure 1510 and the second housing structure 1520.
  • At least a portion of the first housing structure 1510 and the second housing structure 1520 may be formed of a metal material or a non-metal material having a rigidity of a size selected to support the display 1400.
  • the sensor region 1524 may be formed to have a predetermined region adjacent to one corner of the second housing structure 1520.
  • the arrangement, shape, and size of the sensor area 1524 are not limited to the illustrated example.
  • the sensor region 1524 may be provided at another corner of the second housing structure 1520 or in any region between the upper and lower corners.
  • components for performing various functions embedded in the electronic device 10 are electronically transmitted through the sensor area 1524 or through one or more openings provided in the sensor area 1524. It can be exposed on the front of the device 10.
  • the components may include various types of sensors.
  • the sensor may include, for example, at least one of a front camera, a receiver, and a proximity sensor.
  • the first rear cover 1580 is disposed on one side of the folding shaft on the rear surface of the electronic device, and may have, for example, a substantially rectangular periphery. The edges can be wrapped.
  • the second rear cover 1590 may be disposed on the other side of the folding shaft at the rear of the electronic device, and the edge thereof may be wrapped by the second housing structure 1520.
  • the first rear cover 1580 and the second rear cover 1590 may have substantially symmetrical shapes about the folding axis (A axis). However, the first rear cover 1580 and the second rear cover 1590 do not necessarily have mutually symmetrical shapes.
  • the electronic device 10 includes a first rear cover 1580 having various shapes and A second rear cover 1590 may be included.
  • the first rear cover 1580 may be integrally formed with the first housing structure 1510, and the second rear cover 1590 may be integrally formed with the second housing structure 1520. have.
  • the first rear cover 1580, the second rear cover 1590, the first housing structure 1510, and the second housing structure 1520 are various components of the electronic device 10 (for example, A space in which a printed circuit board or battery) may be disposed may be formed.
  • one or more components may be disposed or visually exposed on the rear surface of the electronic device 10.
  • at least a part of the sub-display 1490 may be visually exposed through the first rear area 1582 of the first rear cover 1580.
  • one or more components or sensors may be visually exposed through the second rear area 1592 of the second rear cover 1590.
  • the sensor may include a proximity sensor and/or a rear camera.
  • the hinge cover 1530 is disposed between the first housing structure 1510 and the second housing structure 1520 to be configured to cover an internal component (eg, a hinge structure). I can.
  • the hinge cover 1530 may include the first housing structure 1510 and the second housing structure ( 1520), or may be exposed to the outside.
  • the hinge cover 1530 when the electronic device 10 is in an open state, the hinge cover 1530 may be covered by the first housing structure 1510 and the second housing structure 1520 and may not be exposed. .
  • the hinge cover 1530 when the electronic device 10 is in a folded state (eg, a fully folded state), the hinge cover 1530 may include the first housing structure 1510 and the second housing. It may be exposed to the outside between the structures 1520.
  • the hinge cover 1530 is the first housing structure. Some may be exposed to the outside between the 1510 and the second housing structure 1520. However, in this case, the exposed area may be less than the fully folded state.
  • the hinge cover 1530 may include a curved surface.
  • the display 1400 may be disposed on a space formed by the foldable housing 1500.
  • the display 1400 is mounted on a recess formed by the foldable housing 1500 and may constitute most of the front surface of the electronic device 10.
  • the front surface of the electronic device 10 may include the display 1400 and a partial region of the first housing structure 1510 adjacent to the display 1400 and a partial region of the second housing structure 1520.
  • the rear surface of the electronic device 10 includes a first rear cover 1580, a partial area of the first housing structure 1510 adjacent to the first rear cover 1580, a second rear cover 1590, and a second rear cover. A partial area of the second housing structure 1520 adjacent to the 1590 may be included.
  • the display 1400 may mean a display in which at least a portion of the area can be transformed into a flat surface or a curved surface.
  • the display 1400 includes a folding area 1403, a first area 1401 and the other side disposed on one side (left side of the folding area 1403 shown in FIG. 14) based on the folding area 1403.
  • a second area 1402 disposed on the right side of the folding area 1403 shown in FIG. 14 may be included.
  • the division of the area of the display 1400 shown in FIG. 14 is exemplary, and the display 1400 may be divided into a plurality of areas (eg, 4 or more or 2) according to a structure or function.
  • the area of the display 1400 may be divided by the folding area 1403 extending parallel to the y-axis or the folding axis (A-axis), but in another embodiment, the display ( The area 1400 may be divided based on another folding area (eg, a folding area parallel to the x-axis) or another folding axis (eg, a folding axis parallel to the x-axis).
  • the first area 1401 and the second area 1402 may have an overall symmetrical shape around the folding area 1403. However, unlike the first area 1401, the second area 1402 may include a notch cut according to the presence of the sensor area 1524. It may have a shape symmetrical to the region 101. In other words, the first region 1401 and the second region 1402 may include a portion having a shape symmetrical to each other and a portion having a shape asymmetrical to each other.
  • the operation of the first housing structure 1510 and the second housing structure 1520 according to the state of the electronic device 10 eg, a flat state and a folded state
  • the display 1400 Each of the areas will be described.
  • the first housing structure 1510 and the second housing structure 1520 form an angle of 180 degrees and move in the same direction. It can be arranged facing.
  • the surface of the first area 1401 and the surface of the second area 1402 of the display 1400 form 180 degrees to each other, and may face the same direction (eg, the front direction of the electronic device).
  • the folding area 1403 may form the same plane as the first area 1401 and the second area 1402.
  • the first housing structure 1510 and the second housing structure 1520 may be disposed to face each other.
  • the surface of the first area 1401 and the surface of the second area 1402 of the display 1400 form a narrow angle (eg, between 0° and 10°) and may face each other.
  • At least a portion of the folding area 1403 may be formed of a curved surface having a predetermined curvature.
  • the first housing structure 1510 and the second housing structure 1520 may be disposed at a certain angle to each other.
  • a surface of the first region 1401 and a surface of the second region 1402 of the display 1400 may form an angle that is larger than the folded state and smaller than the unfolded state.
  • At least a portion of the folding area 1403 may be formed of a curved surface having a predetermined curvature, and the curvature at this time may be smaller than in the case of a folded state.
  • 16 is an exploded perspective view of an electronic device according to an exemplary embodiment.
  • the electronic device 10 includes a display unit 2000, a bracket assembly 3000, a substrate unit 6000, a first housing structure 1510, and a second housing structure 1520. , A first rear cover 1580 and a second rear cover 1590 may be included.
  • the display unit 2000 may be referred to as a display module or a display assembly.
  • the display unit 2000 may include a display 1400 and one or more plates or layers 1440 on which the display 1400 is mounted.
  • the plate 1440 may be disposed between the display 1400 and the bracket assembly 3000.
  • a display 1400 may be disposed on at least a portion of one surface of the plate 1440 (eg, an upper surface with reference to FIG. 16 ).
  • the plate 1440 may be formed in a shape corresponding to the display 1400.
  • a partial region of the plate 1440 may be formed in a shape corresponding to the notch 1404 of the display 1400.
  • the bracket assembly 3000 includes a hinge structure disposed between the first bracket 1610, the second bracket 1620, the first bracket 1610 and the second bracket 1620, and covers the hinge structure when viewed from the outside.
  • a hinge cover 1530 and a wiring member 1630 eg, a flexible circuit board (FPC), a flexible printed circuit
  • FPC flexible circuit board
  • the bracket assembly 3000 may be disposed between the plate 1440 and the substrate part 6000.
  • the first bracket 1610 may be disposed between the first region 1401 of the display 1400 and the first substrate 6100.
  • the second bracket 1620 may be disposed between the second region 1402 of the display 1400 and the second substrate 6200.
  • the wiring member 1630 and the hinge structure 3000 may be disposed inside the bracket assembly 3000.
  • the wiring member 1630 may be disposed in a direction crossing the first bracket 1610 and the second bracket 1620 (eg, in the x-axis direction).
  • the wiring member 1630 may be disposed in a direction perpendicular to the folding axis (eg, the y-axis or the folding axis A of FIG. 14) of the folding area 1403 of the electronic device 10 (eg, the x-axis direction). have.
  • the substrate portion 6000 includes a first substrate 6100 disposed on the first bracket 1610 side and a second substrate 6200 disposed on the second bracket 1620 side.
  • the first and second substrates 6100 and 6200 include a bracket assembly 3000, a first housing structure 1510, a second housing structure 1520, a first rear cover 1580, and a second rear cover. It may be placed inside the space formed by 1590.
  • Components for implementing various functions of the electronic device 10 may be mounted on the first substrate 6100 and the second substrate 6200.
  • the first housing structure 1510 and the second housing structure 1520 may be assembled to each other so as to be coupled to both sides of the bracket assembly 3000 while the display unit 2000 is coupled to the bracket assembly 3000. As will be described later, the first housing structure 1510 and the second housing structure 1520 may slide on both sides of the bracket assembly 3000 to be coupled to the bracket assembly 3000.
  • the first housing structure 1510 may include a first rotation support surface 1512
  • the second housing structure 1520 is a second rotation support corresponding to the first rotation support surface 1512. It may include a cotton 1522.
  • the first rotation support surface 1512 and the second rotation support surface 1522 may include curved surfaces corresponding to the curved surfaces included in the hinge cover 1530.
  • first rotation support surface 1512 and the second rotation support surface 1522 are the hinge cover 1530 when the electronic device 10 is in an open state (eg, the electronic device of FIG. 14 ). Covering the hinge cover 1530 may not be exposed to the rear surface of the electronic device 10 or may be exposed to a minimum. Meanwhile, the first rotation support surface 1512 and the second rotation support surface 1522 are curved surfaces included in the hinge cover 1530 when the electronic device 10 is folded (for example, the electronic device of FIG. 15 ). The hinge cover 1530 may be exposed to the rear side of the electronic device 10 as much as possible by rotating along the line.
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 1236 or external memory 1238) that can be read by a machine (eg, electronic device 1201). It may be implemented as software (for example, the program 1240) including them.
  • the processor eg, the processor 1220 of the device (eg, the electronic device 1201) may call and execute at least one command among one or more commands stored from a storage medium. This enables the device to be operated to perform at least one function according to the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • non-transient only means that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic waves), and this term refers to the case where data is semi-permanently stored in the storage medium. It does not distinguish between temporary storage cases.
  • a signal e.g., electromagnetic waves
  • a method according to various embodiments disclosed in the present document may be provided by being included in a computer program product.
  • Computer program products can be traded between sellers and buyers as commodities.
  • Computer program products are distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or two user devices (e.g., compact disc read only memory (CD-ROM)). It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones).
  • a device e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g., compact disc read only memory (CD-ROM)
  • It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones).
  • at least some of the computer program products may be temporarily stored or temporarily generated in a storage medium that can be read by a device such as a server of a manufacturer,
  • each component (eg, module or program) of the above-described components may include a singular number or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or program
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be sequentially, parallel, repeatedly, or heuristically executed, or one or more of the operations may be executed in a different order or omitted. Or one or more other actions may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

전자 장치가 개시된다. 개시 되는 전자 장치는, 디스플레이, 서브 디스플레이, 적어도 하나 이상의 프로세서, 및 적어도 하나 이상의 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 상기 서브 디스플레이를 제어하여, 제1 영상 정보를 표시하고, 상기 제1 영상 정보에 외부 입력에 의해 생성 된 적어도 하나 이상의 객체가 추가 된 제2 영상 정보를 표시하고, 상기 전자 장치가 제1 상태에서 제2 상태로 변경되는 것을 식별함에 따라, 상기 디스플레이를 제어하여, 상기 디스플레이의 표시 영역을 분할하여 제1 영역에는 상기 제1 영상 정보를 표시하고 제2 영역에는 상기 제2 영상 정보를 표시하도록 설정된 적어도 하나 이상의 인스트럭션을 포함할 수 있다. 그 외 다양한 실시예가 가능하다.

Description

전자 장치 및 전자 장치의 제어 방법
본 개시의 다양한 실시예들은 전자 장치 및 이의 제어 방법에 관한 것으로, 보다 상세하게는, 하나의 디스플레이에서 복수 개의 영상 정보를 표시하는 방법에 관한 것이다.
스마트 폰(smart phone), 태블릿 PC(tablet PC), PMP(portable multimedia player), PDA(personal digital assistant), 랩탑 PC(laptop personal computer) 및 웨어러블 기기(wearable device)와 같은 다양한 전자 장치들이 보급되고 있다.
최근, 대 화면을 구비하는 다양한 전자 장치들이 보급되고 있다. 예를 들면, 디스플레이를 접을 수 있는 폴더블 디스플레이를 포함하는 전자 장치, 디스플레이를 말아서 보관할 수 있는 롤러블 디스플레이를 포함하는 장치가 보급되고 있다.
폴딩 시에 외부로 노출되는 영역에 서브 디스플레이를 더 포함하여, 전자 장치를 폴딩한 상태에서도 사용자에게 정보를 제공하는 폴더블 디스플레이를 포함하는 전자 장치도 등장하고 있다. 이 경우, 서브 디스플레이에서 실행 되는 어플리케이션은 폴더블 디스플레이를 펼치면, 펼쳐진 디스플레이에서 실행될 수 있다.
폴더블 디스플레이를 포함하는 전자 장치의 폴딩 동작에 따라서, 서브 디스플레이에서 실행 되는 어플리케이션은 폴더블 디스플레이에서 실행될 수 있다. 전자 장치는 서브 디스플레이에서 실행 되던 어플리케이션을 펼쳐진 디스플레이에서 동일하게 실행하여 표시할 수 있다.
따라서, 사용자가 폴더블 디스플레이를 포함하는 전자 장치를 사용하는 경우에, 전자 장치의 폴딩 동작에 따라서 서브 디스플레이를 통해 제공되던 영상 정보와는 상이하지만 표시되던 영상 정보와 관련성 있는 영상 정보를 펼쳐진 디스플레이에서 확인하고자 하는 요구가 있을 수 있다.
일 실시예에 따른 전자 장치는, 디스플레이, 서브 디스플레이, 적어도 하나 이상의 프로세서, 및 적어도 하나 이상의 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 상기 서브 디스플레이를 제어하여, 제1 영상 정보를 표시하고, 상기 제1 영상 정보에 외부 입력에 의해 생성 된 적어도 하나 이상의 객체가 추가 된 제2 영상 정보를 표시하고, 상기 전자 장치가 제1 상태에서 제2 상태로 변경되는 것을 식별함에 따라, 상기 디스플레이를 제어하여, 상기 디스플레이의 표시 영역을 분할하여 제1 영역에는 상기 제1 영상 정보를 표시하고 제2 영역에는 상기 제2 영상 정보를 표시하도록 설정된 적어도 하나 이상의 인스트럭션을 포함할 수 있다.
일 실시예에 따른 전자 장치는, 디스플레이, 서브 디스플레이, 적어도 하나 이상의 프로세서, 및 적어도 하나 이상의 메모리를 포함하고, 상기 메모리는, 상기 프로세서가, 상기 디스플레이에 어플리케이션을 표시하는 상황에서, 상기 전자 장치가 제2 상태에서 제1 상태로 변경되는 것을 식별함에 따라, 상기 서브 디스플레이를 제어하여, 외부 입력을 획득하는 사용자 인터페이스를 표시하고, 상기 사용자 인터페이스에 입력되는 외부 입력에 따라, 서브 디스플레이에 적어도 하나 이상의 객체를 표시하고, 상기 전자 장치가 상기 제1 상태에서 상기 제2 상태로 변경되는 것을 식별함에 따라, 상기 객체와 상기 어플리케이션을 이용하여 획득한 정보를 출력하도록 설정된 인스트럭션을 저장할 수 있다.
일 실시예에 따른 전자 장치의 제어 방법은, 서브 디스플레이에 제1 영상 정보를 표시하는 동작, 상기 제1 영상 정보에 외부 입력에 의해 생성된 적어도 하나 이상의 객체가 추가된 제2 영상 정보를 상기 서브 디스플레이에 표시하는 동작, 및 상기 전자 장치가 제1 상태에서 제2 상태로 변경되는 것을 식별함에 따라, 상기 디스플레이의 표시 영역을 분할하여 제1 영역에는 상기 제1 영상 정보를 표시하고, 제2 영역에는 상기 제2 영상 정보를 표시하는 동작을 포함할 수 있다.
일 실시예에 따른 전자 장치의 제어 방법은, 어플리케이션을 실행하여 디스플레이에 표시하는 동작, 상기 전자 장치가 제2 상태에서 제1 상태로 변경되는 것을 식별함에 따라, 서브 디스플레이를 제어하여 외부 입력을 획득하는 사용자 인터페이스를 표시하는 동작, 상기 사용자 인터페이스에 입력되는 외부 입력에 따라, 상기 서브 디스플레이에 적어도 하니 이상의 객체를 표시하는 동작, 및 상기 전자 장치가 상기 제1 상태에서 상기 제2 상태로 변경되는 것을 식별함에 따라, 상기 객체와 상기 어플리케이션을 이용하여 획득한 정보를 출력하는 동작을 포함할 수 있다.
본 개시의 다양한 실시예에 따르면, 전자 장치는 전자 장치의 상태 변화에 따라서, 서브 디스플레이를 통해 순차적으로 제공되던 제1 영상 정보와 제2 영상 정보를 디스플레이에서 함께 표시할 수 있다.
또한, 전자 장치는 제1 영상 정보에 추가되는 적어도 하나 이상의 객체를 개별적으로 저장하고, 사용자 선택에 따라 선택적으로 제공할 수 있다.
또한, 전자 장치는 전자 장치의 상태 변화에 따라서, 실행중인 어플리케이션과 사용자에 의해 입력된 객체를 이용하여 획득한 정보를 사용자에게 제공할 수 있다.
도 1은 일 실시예에 따른 전자 장치가 전자 장치의 상태 변화에 따라서 영상 정보를 표시하는 상황을 설명하는 흐름도이다.
도 2는 일 실시예에 따른 전자 장치가 전자 장치의 상태 변화에 따라서 영상 정보를 표시하는 일 실시예에 대한 도면이다.
도 3은 일 실시예에 따른 전자 장치의 개략적인 블록도이다.
도 4는 일 실시예에 따른 전자 장치가 복수 개의 레이어를 생성하는 상황을 설명하는 도면이다.
도 5는 일 실시예에 따른 전자 장치가 제1 영상 정보와 제2 영상 정보를 표시하는 다양한 실시예를 설명하는 도면이다.
도 6은 일 실시예에 따른 전자 장치가 전자 장치의 상태 변화에 따라서 이미지를 표시하는 다른 실시예를 설명하는 도면이다.
도 7은 일 실시예에 따른 전자 장치가 제1 영상 정보와 제2 영상 정보를 표시하는 실시예를 설명하는 도면이다.
도 8은 일 실시예에 따른 전자 장치가 전자 장치의 상태 변화를 이용하여 검색어를 입력하는 상황을 설명하는 흐름도이다.
도 9는 일 실시예에 따른 전자 장치가 전자 장치의 상태 변화를 이용하여 검색어를 입력하는 일 실시예를 설명하는 도면이다.
도 10은 일 실시예에 따른 전자 장치가 전자 장치의 제1 상태와 제2 상태를 이용하여 컨텐츠를 이용하는 다양한 상황을 설명하는 도면이다.
도 11은 다른 실시예에 따른 전자 장치가 전자 장치의 상태 변화에 따라서 영상 정보를 표시하는 상황을 설명하는 도면이다.
도 12는, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 13은 다양한 실시예들에 따른, 표시 장치의 블록도이다.
도 14는 일 실시 예에 따른 전자 장치의 펼침 상태를 도시한 도면이다.
도 15는 일 실시 예에 따른 전자 장치의 접힘 상태를 도시한 도면이다.
도 16은 일 실시 예에 따른 전자 장치의 분해 사시도이다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다.본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나”, "A, B 또는 C", "A, B 및 C 중 적어도 하나”및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
도 1은 일 실시예에 따른 전자 장치가 전자 장치의 상태 변화에 따라서 영상 정보를 표시하는 상황을 설명하는 흐름도 이고, 도 2는 일 실시예에 따른 전자 장치가 전자 장치의 상태 변화에 따라서 영상 정보를 표시하는 일 실시예에 대한 도면이다.
도 2를 참조하면, 일 실시예에 따른 전자 장치(10)는 디스플레이(11)의 일부가 접히거나 또는 펼쳐지는 폴더블 디스플레이(이하, 디스플레이(11))를 포함할 수 있다. 전자 장치(10)는 디스플레이(11)를 수용하는 제1 하우징 구조물(210)과 제2 하우징 구조물(220)을 포함할 수 있다. 제1 하우징 구조물(210)의 일단과 제2 하우징 구조물(220)의 일단은 힌지 구조물(미도시)에 체결될 수 있다. 제1 하우징 구조물(210)과 제2 하우징 구조물(220)이 힌지 구조물을 기준으로 회전하면서, 제1 하우징 구조물(210)과 제2 하우징 구조물(220)에 수용된 디스플레이(11)의 일 영역이 접히거나 펼쳐질 수 있다. 디스플레이(11)의 일 영역이 접혀서 마주보는 상태를 제1 상태(또는, 접힘 상태)라고 정의하고, 디스플레이(11)가 펼쳐진 상태를 제2 상태(또는, 펼침 상태)라고 정의할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 서브 디스플레이(12)를 포함할 수 있다. 서브 디스플레이(12)는 제1 하우징 구조물(210)이 디스플레이(11)를 수용한 영역의 반대되는 영역에 마련될 수 있다. 즉, 제2 상태(또는, 펼침 상태)에서, 디스플레이(11)와 서브 디스플레이(12)는 서로 반대되는 방향을 향하게 배치될 수 있다.
일 실시예에 따르면, 디스플레이(11)와 서브 디스플레이(12)는 각각 외부의 터치 입력을 획득하는 터치 센서, 터치 센서 IC(integrated circuit) 등을 포함할 수 있다. 이 경우, 디스플레이(11)와 서브 디스플레이(12)는 입력 장치와 출력 장치의 역할을 동시에 수행할 수 있다.
도 1을 참조하면, 동작 110에서, 전자 장치(10)는 서브 디스플레이(12)에 제1 영상 정보를 표시할 수 있다.
도 2의 식별기호 2-a를 참조하면, 일 실시예에 따른 전자 장치(10)는 제1 상태에서, 제1 영상 정보(30)를 서브 디스플레이(12)에 표시할 수 있다. 예를 들면, 전자 장치(10)는 외부 입력에 따라 영상 편집 어플리케이션을 실행하고 이미지(230), 영상 편집 객체들(232)을 포함하는 제1 영상 정보(30)를 서브 디스플레이(12)에 표시할 수 있다. 또는, 전자 장치(10)는 웹 서버와 통신을 수립하고, 웹 서버로부터 다운되는 데이터를 이용하여 이미지(230), 영상 편집 객체들(232)을 포함하는 제1 영상 정보(30)를 서브 디스플레이(12)에 표시할 수 있다.
일 실시예에 따르면, 이미지(230)는 전자 장치(10)가 외부 장치로부터 획득하여 기 저장했던 정지 영상, 또는 동영상일 수 있다. 또는, 이미지(230)는, 전자 장치(10)가 전자 장치(10)에 포함된 카메라 모듈(미도시)를 이용하여 촬영 된 정지 영상, 또는 동영상 일 수 있다. 또는, 이미지(230)는 전자 장치(10)가 웹 서버와 통신을 수립하여 획득 된 영상 데이터를 정지 영상, 또는 동영상 형태로 표시하는 것일 수 있다.
도 1을 참조하면, 동작 120에서, 전자 장치(10)는 제1 영상 정보에 외부 입력에 의해 생성 된 적어도 하나 이상의 객체가 추가 된 제2 영상 정보를 서브 디스플레이에 표시할 수 있다.
도 2의 식별 기호 2-b를 참조하면, 사용자는 이미지(230)를 편집할 수 있다. 예를 들어, 사용자는 스타일러스 펜(40)을 이용하여 서브 디스플레이(12)에 다양한 터치 입력(예: 터치 입력, 터치 앤 드래그 입력 또는 호버링 입력)을 추가할 수 있다. 전자 장치(10)는 사용자의 터치 입력에 대응하여 서브 디스플레이(12)에 표시 된 제1 영상 정보(30)를 제2 영상 정보(50)로 갱신(또는, 변경)하여 표시할 수 있다.
예를 들면, 전자 장치(10)는 다양한 터치 입력이 감지 된 서브 디스플레이(12)의 일 영역에 기 설정된 객체를 표시할 수 있다. 도 2의 식별 기호 2-b를 참조하면, 전자 장치(10)는 사용자의 터치 입력에 대응하여, 서브 디스플레이(12)의 일 영역에 적어도 하나 이상의 선(240)을 표시할 수 있다. 전자 장치(10)는 사용자의 입력에 의해 생성 된 적어도 하나 이상의 선(240)이 이미지(230)에 중첩 되어 출력되는 제2 영상 정보(50)를 표시할 수 있다.
도 1을 참조하면, 동작 130에서, 전자 장치(10)는 전자 장치(10)가 제1 상태에서 제2 상태로 변경되는 것을 식별함에 따라, 디스플레이의 표시 영역을 분할하여 제1 영역에는 상기 제1 영상 정보를 표시하고, 제2 영역에는 상기 제2 영상 정보를 표시할 수 있다.
도 2의 식별 기호 2-c를 참조하면, 전자 장치(10)는 상태가 변경될 수 있다. 예를 들면, 전자 장치(10)는 제1 하우징 구조물(210)과 제2 하우징 구조물(220)의 움직임에 따라서 디스플레이(11)의 적어도 일부가 구부러진 제1 상태(또는, 접힘 상태)에서 디스플레이(11)가 펼쳐진 제2 상태(또는, 펼침 상태)로 변경될 수 있다.
일 실시예에 따르면, 전자 장치(10)는 전자 장치(10)에 포함된 홀 센서, 가속도 센서 또는 제1 하우징 구조물(210) 및 제2 하우징 구조물(220)과 체결되어 제1 하우징 구조물(210) 및 제2 하우징 구조물(220)의 회전 운동을 가이드하는 힌지 구조물에 포함된 센서를 이용하여 제1 하우징 구조물(210)과 제2 하우징 구조물(220)의 위치 변화를 감지할 수 있다. 전자 장치(10)는 제1 하우징 구조물(210)과 제2 하우징 구조물(220)의 위치 변화를 감지한 결과를 이용하여 전자 장치(10)의 상태 변화(예: 제1 상태에서 제2 상태로의 변화, 또는 제2 상태에서 제1 상태로의 변화)를 식별할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 상태에서 제2 상태로 변경되는 것에 따라, 비 활성화되어 있던 디스플레이(11)를 활성화할 수 있다. 전자 장치(10)는 활성화 된 디스플레이(11)의 표시 영역을 분할할 수 있다. 예를 들면, 전자 장치(10)는 디스플레이(11)가 접히는 축(A)를 기준으로 좌측과 우측을 구분하여 우측을 제1 영역(11a)으로 식별하고, 좌측을 제2 영역(11b)으로 식별할 수 있다.
일 실시예에 따른 전자 장치(10)는 제1 영역(11a)에는 제1 영상 정보(30)를 표시하고, 제2 영역(11b)에는 제2 영상 정보(50)를 표시할 수 있다. 다양한 실시예에 따르면, 전자 장치(10)는 제2 영상 정보(50)를 표시하는 경우에 이미지(230) 및 사용자 입력의 의하여 입력된 객체(예: 적어도 하나 이상의 선(240))만 표시할 수 있다.
다양한 실시예에 따르면, 서브 디스플레이(12)의 표시 영역과 디스플레이(11)의 제1 영역(11a) 또는 제2 영역(11b)은 크기가 상이할 수 있다. 이 경우, 전자 장치(10)는 서브 디스플레이(12)의 표시 영역의 가로/세로 비율과 제1 영역(11a) 또는 제2 영역(11b)의 가로/세로 비율을 이용하여 제1 영상 정보(30) 및 제2 영상 정보(50)가 제1 영역(11a) 또는 제2 영역(11b)에 표시되는 크기를 보정할 수 있다.
이와 같이, 본 개시의 일 실시예에 따르면, 전자 장치(10)는 사용자가 서브 디스플레이(12)를 이용하여 입력 한 결과에 따라 획득된 영상 정보를 디스플레이(11)가 활성화 되면, 디스플레이(11)의 표시 영역을 분할하여 표시할 수 있다. 특히, 전자 장치(10)는 사용자의 입력이 없던 상태의 영상 정보(예: 제1 영상 정보)와 사용자의 입력이 반영 된 영상 정보(예: 제2 영상 정보)를 별개의 영상 정보로 식별하고, 필요 시 함께 제공하여 사용자가 추가적인 작업을 용이하게 진행할 수 있는 편의를 제공할 수 있다.
도 2의 식별 기호 2-d를 참조하면, 전자 장치(10)는 사용자 입력에 대응하여 디스플레이(11)에 제1 영상 정보(30) 및 제2 영상 정보(50) 중 하나를 표시할 수 있다. 예를 들면, 전자 장치(11)는 표시 전환 객체(250)를 디스플레이(11)의 일 영역에 표시할 수 있다. 전자 장치(10)는 표시 전환 객체(250)를 선택하는 사용자 입력에 대응하여 제1 영상 정보(30) 및 제2 영상 정보(50) 중 하나의 영상 정보 만을 디스플레이(11)에 표시할 수 있다. 예를 들어, 전자 장치(10)는 사용자 입력에 대응하여 제2 영상 정보(50)를 디스플레이(11)에 표시할 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 제1 영상 정보(30) 및 제2 영상 정보(50) 중 하나의 영상 정보가 디스플레이(11)에 표시된 상태에서, 표시 전환 객체(250)를 선택하는 사용자 입력에 대응하여, 도 2의 식별 기호 2-c와 같이, 디스플레이(11)의 표시 영역을 분할하여, 제1 영역(11a)에는 제1 영상 정보(30)를 표시하고, 제2 영역(11b)에는 제2 영상 정보(50)를 표시할 수 있다.
이와 같이, 전자 장치(10)는 사용자의 의도에 따라 표시 되는 영상 정보를 변경할 수 있다.
도 3은 일 실시예에 따른 전자 장치의 개략적인 블록도이다.
도 3을 참조하면, 전자 장치(10)는 프로세서(310), 디스플레이(320), 서브 디스플레이(330) 및 메모리(340)를 포함할 수 있다. 그러나, 이에 한정되는 것은 아니다. 전자 장치(10)는 일부 구성 요소들을 생략하거나, 또는 일부 구성 요소들을 더 포함할 수 있다. 예를 들면, 전자 장치(10)는 센서 모듈(350)을 더 포함할 수 있다.
일 실시예에 따르면, 디스플레이(320) 또는 서브 디스플레이(330)는 다양한 영상 정보를 표시할 수 있다. 디스플레이(320)는 도1 의 디스플레이(11)를 포함할 수 있고, 서브 디스플레이(330)는 도 1의 서브 디스플레이(12)를 포함할 수 있다. 디스플레이(320) 또는 서브 디스플레이(330)는 터치 입력을 획득하는 터치 센서, 터치 센서 IC 등을 포함하여, 외부의 터치 입력을 획득할 수 있다.다양한 실시예에 따르면, 디스플레이(320) 또는 서브 디스플레이(330)는 적어도 일부가 접히거나 또는 펼쳐질 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 서브 디스플레이(330)를 포함하지 않을 수 있다. 이 경우, 전자 장치(10)가 접힘 상태가 되면, 디스플레이(320)는 표시 영역(예: 도 2의 제1 영역(11a) 및 제2 영역(11b))은 서로 마주 보지 않는 상태가 될 수 있다.
일 실시예에 따르면, 메모리(340)는, 전자 장치(10)를 구동하기 위한 다양한 OS(operating system)가 저장될 수 있으며, 전자 장치(10)가 동작하기 위한 각종 소프트웨어 프로그램(또는, 어플리케이션), 전자 장치(10)의 동작을 위한 데이터들 및 명령어들(instruction)을 저장할 수 있다. 이러한, 프로그램의 적어도 일부는 무선 또는 유선 통신을 통해 외부 서버로부터 다운로드 될 수 있다. 메모리(340)는 비휘발성 메모리, 휘발성 메모리, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD) 등으로 구현될 수 있다. 메모리(340)는 프로세서(310)에 의해 액세스 되며, 프로세서(210)에 의한 데이터의 독취/기록/수정/삭제/갱신 등이 수행될 수 있다.
일 실시예에 따르면, 메모리(340)는, 프로세서(310)가, 서브 디스플레이(330)를 제어하여, 제1 영상 정보를 표시하고, 제1 영상 정보에 외부 입력에 의해 생성 된 적어도 하나 이상의 객체가 추가 된 제2 영상 정보를 표시하고, 전자 장치(10)가 제1 상태에서 제2 상태로 변경되는 것을 식별함에 따라, 디스플레이(11)의 표시 영역을 분할하여 제1 영역에는 제1 영상 정보를 표시하고, 제2 영역에는 제2 영상 정보를 표시하도록 디스플레이(320)를 제어하도록 설정된 적어도 하나 이상의 인스트럭션을 포함할 수 있다.
일 실시예에 따르면, 프로세서(310)는 전자 장치(10)의 상술한 구성 요소들을 제어할 수 있다. 예를 들어, 프로세서(310)는 메모리(340)에 저장된 복수 개의 소프트웨어들을 이용하여 영상의 특징을 획득하거나, 또는 영상을 변경(또는, 보정)할 수 있다.
일 실시예에 따르면, 프로세서(310)는 메모리(340)에 저장된 각종 프로그램을 램에 복사하고, 실행시켜 각종 동작을 수행할 수 있다. 본 개시에서는 프로세서(310)가 하나의 CPU(central processing unit)만을 포함하는 것으로 설명하였지만, 구현 시에는 복수의 CPU(또는 DSP, SoC 등)으로 구현될 수 있다.
다양한 실시예로, 프로세서(310)는 디지털 신호를 처리하는 디지털 시그널 프로세서(digital signal processor(DSP), 마이크로 프로세서(microprocessor), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(central processing unit(CPU)), MCU(Micro Controller Unit), MPU(micro processing unit), 컨트롤러(controller), 어플리케이션 프로세서(application processor(AP)), 또는 커뮤니케이션 프로세서(communication processor(CP)), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(310)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, FPGA(Field Programmable gate array) 형태로 구현될 수도 있다.
일 실시예에 따르면, 프로세서(310)는 서브 디스플레이(330)를 제어하여, 제1 영상 정보를 표시하고, 제1 영상 정보에 외부 입력에 의해 생성 된 적어도 하나 이상의 객체가 추가 된 제2 영상 정보를 표시하고, 전자 장치(10)가 제1 상태에서 제2 상태로 변경되는 것을 식별함에 따라, 디스플레이(320)의 표시 영역을 분할하여 제1 영역에는 제1 영상 정보를 표시하고, 제2 영역에는 제2 영상 정보를 표시하도록 디스플레이(320)를 제어할 수 있다.
일 실시예에 따르면, 센서 모듈(350)는 제스처 센서, 자이로 센서, 근접 센서, 또는 조도 센서 중 적어도 하나 이상을 포함할 수 있다. 센서 모듈(350)은 전자 장치(10)의 작동 상태, 또는 외부의 환경 상태를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 예를 들어, 센서 모듈(350)은 제1 하우징 구조물과 제2 하우징 구조물의 움직임을 감지할 수 있다.
도 4는 일 실시예에 따른 전자 장치(10)가 복수 개의 레이어를 생성하는 상황을 설명하는 도면이다.
도 4의 식별 기호 4-a를 참조하면, 전자 장치(10)는 제1 상태에서, 제1 영상 정보(30)를 서브 디스플레이(12)에 표시할 수 있다. 예를 들면, 전자 장치(10)는 외부 입력에 따라 영상 편집 어플리케이션을 실행하고 이미지(430), 영상 편집 객체들(432)을 포함하는 제1 영상 정보(30)를 서브 디스플레이(12)에 표시할 수 있다.
도 4의 식별 기호 4-b를 참조하면, 전자 장치(10)는 사용자의 입력(예: 스타일러스 펜을 이용한 입력, 손가락을 이용한 입력 등)을 이용하여 서브 디스플레이(12)에 표시된 제1 영상 정보(30)를 갱신하여 제2 영상 정보(50)를 표시할 수 있다.
예를 들면, 전자 장치(10)는 스타일러스 펜(40)에 의한 입력에 대응하여, 서브 디스플레이(12)의 일 영역에 적어도 하나 이상의 선(440)이 이미지(430)에 중첩 되어 출력되는 제2 영상 정보(50)를 표시할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 표시 된 적어도 하나 이상의 선(440)을 저장할 수 있다. 예를 들면, 전자 장치(10)는 표시 된 적어도 하나 이상의 선(440)을 저장할 것을 요청하는 사용자 입력에 따라 표시 된 적어도 하나 이상의 선(440)을 저장할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 스타일러스 펜(40)을 이용하여 서브 디스플레이(12)를 터치 앤 드래그 하는 외부 입력에 따라 선을 생성하고 서브 디스플레이(12)에 표시할 수 있다.
예를 들면, 사용자는 제1 굵기를 갖는 선이 표시되도록 전자 장치(10)를 설정하고, 디스플레이(11)에 적어도 하나 이상의 선들을 추가할 수 있다. 이 상태에서, 전자 장치(10)는 표시 된 적어도 하나 이상의 선(440)을 저장할 것을 요청하는 사용자 입력에 따라 표시 된 적어도 하나 이상의 선(440)을 제1 객체(440)로 저장할 수 있다. 이 경우, 전자 장치(10)는 제1 객체(440)를 제1 레이어(layer)로 식별할 수 있다.
또한, 사용자는 제2 굵기를 갖는 선이 표시되도록 전자 장치(10)를 설정하고, 디스플레이(11)에 적어도 하나 이상의 선들을 추가할 수 있다. 이 상태에서, 전자 장치(10)는 표시 된 적어도 하나 이상의 선(442)을 저장할 것을 요청하는 사용자 입력에 따라 표시된 적어도 하나 이상의 선(442)을 제2 객체(442)로 저장할 수 있다. 이 경우, 전자 장치(10)는 제2 객체(442)를 제2 레이어로 식별하여 저장할 수 있다.
다양한 실시예에 따르면, 사용자는 서브 디스플레이(12)(또는, 디스플레이)에 다양한 굵기와 색을 갖는 적어도 하나 이상의 선을 입력한 후, 저장할 수 있다. 이 경우, 전자 장치(10)는 서브 디스플레이(12)에 표시된 적어도 하나 이상의 선을 제1 객체(440)로 저장하고 하나의 제1 레이어로 식별할 수 있다. 사용자는 제1 객체(440)를 저장한 후, 제1 객체(440)가 표시된 상태에서 다양한 굵기와 색을 갖는 적어도 하나 이상의 선을 입력하고 저장할 수 있다. 이 경우, 전자 장치(10)는 기 저장된 제1 객체(440)와 별개로 추가로 입력 된 적어도 하나 이상의 선을 제2 객체(442)로 저장하고 제2 레이어로 식별할 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 외부 입력에 의해 서브 디스플레이(또는, 디스플레이)에 표시된 다양한 컨텐츠(예를 들면, 아이콘, 스티커, 텍스트 등)을 제1 객체 또는 제2 객체로 저장할 수 있다.
즉, 전자 장치(10)는 사용자의 입력(또는, 외부 입력)에 대응하여 생성 되어 표시되는 객체를 저장하는 동작에 의해 하나의 레이어를 획득하고, 이와 같은 동작을 반복하면서 복수 개의 레이어들을 획득할 수 있다.
도 4의 식별 기호 4-c를 참조하면, 전자 장치(10)는 상태가 변경될 수 있다. 예를 들면, 전자 장치(10)는 제1 하우징 구조물(210)과 제2 하우징 구조물(220)의 움직임에 따라서 디스플레이(11)의 적어도 일부가 구부러진 제1 상태(또는, 접힘 상태)에서 디스플레이(11)가 펼쳐진 제2 상태(또는, 펼침 상태)로 변경될 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 상태에서 제2 상태로 변경되는 것에 따라, 비 활성화되어 있던 디스플레이(11)를 활성화할 수 있다. 전자 장치(10)는 활성화 된 디스플레이(11)의 표시 영역을 분할할 수 있다. 예를 들면, 전자 장치(10)는 디스플레이(11)가 접히는 축(A)를 기준으로 좌측과 우측을 구분하여 우측을 제1 영역(11a)으로 식별하고, 좌측을 제2 영역(11b)으로 식별할 수 있다.
일 실시예에 따른 전자 장치(10)는 제1 영역(11A)에는 제1 영상 정보(30)를 표시하고, 제2 영역(11b)에는 제2 영상 정보(50)를 표시할 수 있다. 예를 들면, 전자 장치(10)는 제1 영역(11a)에는 사용자에 의해 편집 되지 않은 이미지(430)를 포함하는 제1 영상 정보(30)를 표시하고, 제2 영역(11b)에는 이미지(230), 제1 레이어로 식별 된 제1 객체(440), 및 제2 레이어로 식별 된 제2 객체(442)가 중첩되어 출력되는 제2 영상 정보(50)를 표시할 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 제1 레이어, 제2 레이어 및 이미지를 선별적으로 표시할 수 있는 레이어 표시 객체(401)를 표시할 수 있다.
전자 장치(10)는 레이어 표시 객체(401)를 선택하는 사용자 입력에 따라, 이미지(230), 각 레이어들을 선택할 수 있는 팝업창(405)를 표시할 수 있다.
도 4의 식별 기호 4-d를 참조하면, 전자 장치(10)는 상기 팝업창(405)에서 이미지(407)와 제2 레이어(420)를 선택하는 사용자의 입력에 따라, 제1 레이어를 제외하고, 이미지(430)와 제2 레이어로 식별된 제2 객체(442)를 포함하는 제2 영상 정보(50)를 디스플레이(11)의 제2 영역(11b)에 표시할 수 있다.
도 5는 일 실시예에 따른 전자 장치가 제1 영상 정보와 제2 영상 정보를 표시하는 다양한 실시예를 설명하는 도면이다.
일 실시예에 따르면, 전자 장치(10)는 제1 영역(11a)에 제1 영상 정보(30)를 표시한 상태에서, 제2 영상 정보에 포함된 이미지 또는 외부 입력에 의해 생성된 객체를 표시하는 방법을 다르게 구현할 수 있다.
도 5의 식별 기호 5-a를 참조하면, 전자 장치(10)는 외부 입력에 의해 생성된 객체와 이미지를 반전하여 표시할 수 있다. 예를 들면, 전자 장치(10)는 좌우 방향이 반전 된 이미지(510)와 좌우 방향이 반전 되고, 외부 입력에 의해 추가된 적어도 하나 이상의 선(520)을 포함하는 제2 영상 정보(50)를 디스플레이(11)의 제2 영역(11b)에 표시할 수 있다.
도 5의 식별 기호 5-b를 참조하면, 전자 장치(10)는 외부 입력에 의해 생성된 객체를 색상을 반전하여 표시할 수 있다. 예를 들면, 전자 장치(10)는 좌우 방향 및 색상이 반전 된 이미지(530), 외부 입력에 의해 추가되고, 색상 및 방향이 반전 된 적어도 하나 이상의 선(540)만을 포함하는 제2 영상 정보(50)를 디스플레이(11)의 제2 영역(11b)에 표시할 수 있다.
도 6은 일 실시예에 따른 전자 장치가 전자 장치의 상태 변화에 따라서 이미지를 표시하는 다른 실시예를 설명하는 도면이다.
도 6의 식별 기호 6-a를 참조하면, 전자 장치(10)는 서브 디스플레이(12)에 제1 영상 정보를 표시할 수 있다. 예를 들면, 전자 장치(10)는 텍스트 편집 어플리케이션을 실행하고, 텍스트(610), 텍스트 편집 객체들(612)을 포함하는 제1 영상 정보(30)를 서브 디스플레이(12)에 표시할 수 있다. 또는, 전자 장치(10)는 웹 서버와 통신을 수립하고, 웹 서버로부터 다운되는 데이터를 이용하여 텍스트(610), 텍스트 편집 객체들(612)을 포함하는 제1 영상 정보(30)를 서브 디스플레이(12)에 표시할 수 있다.
도 6의 식별 기호 6-b를 참조하면, 사용자는 텍스트(610)를 편집할 수 있다. 예를 들면, 사용자는 스타일러스 펜(40)을 이용하여 서브 디스플레이(12)에 다양한 터치 입력을 추가할 수 있다. 전자 장치(10)는 사용자의 터치 입력에 대응하여 서브 디스플레이(12)에 표시된 제1 영상 정보(30)를 제2 영상 정보(50)로 갱신(또는, 변경)하여 표시할 수 있다.
예를 들면, 전자 장치(10)는 사용자의 터치 입력에 대응하여, 적어도 하나 이상의 선(620)을 표시할 수 있다. 전자 장치(10)는 사용자의 입력에 의해 생성 된 적어도 하나 이상의 선(620)이 텍스트(610)에 중첩 되어 출력되는 제2 영상 정보(50)를 표시할 수 있다.
도 6의 식별 기호 6-c를 참조하면, 전자 장치(10)는 상태가 변경될 수 있다. 예를 들면, 전자 장치(10)는 제1 하우징 구조물(210)과 제2 하우징 구조물(220)의 움직임에 따라서 디스플레이(11)의 적어도 일부가 구부러진 제1 상태(또는, 접힘 상태)에서 디스플레이(11)가 펼쳐진 제2 상태(또는, 펼침 상태)로 변경될 수 있다.
일 실시예에 따른 전자 장치(10)는 제1 영역(11a)에는 텍스트(610)를 포함하는 제1 영상 정보(30)를 표시하고, 제2 영역(11b)에는 텍스트(610) 및 외부 입력에 의해 추가된 적어도 하나 이상의 선(620)를 포함하는 제2 영상 정보(50)를 표시할 수 있다.
도 6의 식별 기호 6-d를 참조하면, 전자 장치(10)는 사용자 입력에 대응하여 디스플레이(11)에 제1 영상 정보(30) 및 제2 영상 정보(50) 중 하나를 표시할 수 있다. 예를 들면, 전자 장치(10)는 표시 전환 객체(630)를 디스플레이(11)의 일 영역에 표시할 수 있다. 전자 장치(10)는 표시 전환 객체(630)를 선택하는 사용자 입력에 대응하여 제1 영상 정보(30) 및 제2 영상 정보(50) 중 하나의 영상 정보 만을 디스플레이(11)에 표시할 수 있다. 예를 들면, 전자 장치(10)는 사용자의 입력에 따라 제2 영상 정보(50)를 디스플레이(11)에 표시할 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 제1 영상 정보(30) 및 제2 영상 정보(50) 중 하나의 영상 정보가 디스플레이(11)에 표시된 상태에서, 표시 전환 객체(630)를 선택하는 사용자 입력에 대응하여, 도 6의 식별 기호 6-c와 같이, 디스플레이(11)의 표시 영역을 분할하여, 제1 영역(11a)에는 제1 영상 정보(30)를 표시하고, 제2 영역(11b)에는 제2 영상 정보(50)를 표시할 수 있다.
도 7은 일 실시예에 따른 전자 장치가 제1 영상 정보와 제2 영상 정보를 표시하는 실시예를 설명하는 도면이다.
도 7의 식별 기호 7-a를 참조하면, 전자 장치(10)는 사용자의 터치 입력에 대응하여, 적어도 하나 이상의 선(720)을 표시할 수 있다. 전자 장치(10)는 사용자의 입력에 의해 생성 된 적어도 하나 이상의 선(720)이 텍스트(710)에 중첩 되어 출력되는 제2 영상 정보(50)를 표시할 수 있다.
도 7의 식별 기호 7-b를 참조하면, 전자 장치(10)는 상태가 변경될 수 있다. 예를 들면, 전자 장치(10)는 제1 하우징 구조물(210)과 제2 하우징 구조물(220)의 움직임에 따라서 디스플레이(11)의 적어도 일부가 구부러진 제1 상태(또는, 접힘 상태)에서 디스플레이(11)가 펼쳐진 제2 상태(또는, 펼침 상태)로 변경될 수 있다.
전자 장치(10)는 제1 영역(11a)에는 제1 영상 정보(30)를 표시할 수 있다. 또한, 전자 장치(10)는 좌우 방향이 반전 된 텍스트(710＇) 및 좌우 방향이 반전 되고, 외부 입력에 의해 추가된 적어도 하나 이상의 선(720＇)을 포함하는 제2 영상 정보(50)를 디스플레이(11)의 제2 영역(11b)에 표시할 수 있다. 이 경우, 전자 장치(10)는 좌우 방향이 반전 된 텍스트(710＇) 및 좌우 방향이 반전 되고, 외부 입력에 의해 추가된 적어도 하나 이상의 선(720＇)의 투명도가 낮아 지도록 조절할 수 있다.
이로 인해, 전자 장치(10)는 책장을 넘겼을 때 책장의 앞면에 표시된 텍스트가 뒷면에 비추어 보이는 것과 같은 효과를 제공할 수 있다.
도 8은 일 실시예에 따른 전자 장치가 전자 장치의 상태 변화를 이용하여 검색어를 입력하는 상황을 설명하는 흐름도이고, 도 9는 일 실시예에 따른 전자 장치가 전자 장치의 상태 변화를 이용하여 검색어를 입력하는 일 실시예를 설명하는 도면이다.
도 8을 참조하면, 동작 810에서, 전자 장치(10)는 디스플레이에 어플리케이션을 실행하여 표시할 수 있다.
도 9의 식별 기호 9-a를 참조하면, 전자 장치(10)는 지도 어플리케이션을 실행하여 디스플레이(11)에 지도(910)를 표시할 수 있다.
도 8을 참조하면, 동작 820에서, 전자 장치(10)는 제2 상태에서 제1 상태로 변경되는 것을 감지함에 따라, 서브 디스플레이에 외부 입력을 획득하는 사용자 인터페이스를 표시할 수 있다. 일 실시예에 따르면, 제2 상태는 디스플레이(12)가 펼쳐진 상태를 의미하고, 제1 상태는 디스플레이(12)의 일 영역이 접혀서 마주보는 상태를 의미할 수 있다.
동작 830에서, 전자 장치(10)는 외부 입력에 따라 서브 디스플레이에 적어도 하나 이상의 객체를 추가하여 표시할 수 있다.
도 9의 식별 기호 9-b를 참조하면, 전자 장치(10)는 전자 장치(10)가 제2 상태(예: 열림 상태)에서 제1 상태(예: 닫힘 상태)로 변경되는 것을 감지하면, 서브 디스플레이(12)에 반투명한 검은색을 표시할 수 있다. 이 상태에서, 전자 장치(10)는 서브 디스플레이(12)을 이용하여 스타일러스 펜(40)을 통한 사용자의 입력을 획득할 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 서브 디스플레이(12)에 디스플레이(11)에서 표시하던 지도 어플리케이션을 실행하여 표시한 후, 서브 디스플레이(12)에 반투명한 검은색을 표시할 수 있다.
도 8을 참조하면, 동작 840에서, 전자 장치(10)는 제1 상태에서 제2 상태로 변경되는 것을 감지함에 따라, 입력된 객체와 실행 중인 어플리케이션을 이용하여 획득한 정보를 출력할 수 있다.
도 9의 식별 기호 9-c를 참조하면, 사용자가 서브 디스플레이(12)에 텍스트를 입력한 경우에, 전자 장치(10)는 필기 인식 기술을 이용하여 텍스트를 인식할 수 있다. 예를 들어, 전자 장치(10)는 사용자에 의해 입력된 필기를"cafι nearby"(920)로 식별할 수 있다. 전자 장치(10)는 인식된 텍스트에 기반하여 지도 어플리케이션(910)에서 "cafι(카페)"와 관련되는 정보를 획득할 수 있다.
전자 장치(10)는 전자 장치(10)가 제1 상태에서 제2 상태로 변경되는 것을 식별함에 따라, 디스플레이(11)에 획득된 정보를 표시할 수 있다. 예를 들면, 전자 장치(10)는 디스플레이(11)의 표시 영역을 3개로 분할할 수 있다. 전자 장치(10)는 제1 영역(931)에 사용자 입력을 텍스트로 인식한 결과(940)를 표시하고, 디스플레이(11)에서 표시하던 지도의 적어도 일부(942)를 표시하고, 표시된 지도의 적어도 일부(942)에 "카페"와 관련되어 검색된 위치를 알리는 객체(944)를 표시할 수 있다. 예를 들면, 전자 장치(10)는 "카페"가 위치한 곳에 검색된 위치를 알리는 객체(944)를 표시할 수 있다. 또한, 전자 장치(10)는 제2 영역(932)에 "카페"와 관련되어 검색된 이미지 정보(950)를 디스플레이(11)에 표시할 수 있다. 예를 들면, 전자 장치(10)는 웹 검색을 통해 검색 된 "카페"와 관련된 정보(950)를 디스플레이(11)의 제2 영역(932)에 표시할 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 제3 영역(933)에 제2 상태에서 디스플레이(11)에 표시하던 지도(910)를 표시할 수 있다. 이 경우, 전자 장치(10)는 제3 영역(933)의 크기에 맞추어 지도(910)가 표시하는 영역을 조정하거나, 또는 표시하는 지도의 배율을 조정할 수 있다.
다양한 실시예에 따르면, 전자 장치(10)는 제1 상태에서 상술한 검색 결과를 획득한 후, 전자 장치(10)가 제2 상태가 되면, 디스플레이(11)에 출력할 수 있다. 이로 인해, 전자 장치(10)는 디스플레이(11)를 활성화하는 것과 활성화 된 디스플레이(11)에 실행 된 어플리케이션을 표시하는 것의 시간 차이를 줄일 수 있다.
도 9의 식별 기호 9-d를 참조하면, 전자 장치(10)는 사용자 입력에 대응하여 디스플레이(11)에 표시되는 컨텐츠를 변경할 수 있다. 일 실시예에 따르면, 전자 장치(10)는 표시 전환 객체(960)를 디스플레이(11)의 일 영역에 표시할 수 있다. 전자 장치(10)는 표시 전환 객체(960)를 선택하는 사용자 입력에 대응하여 디스플레이(11)의 표시 영역을 2개로 분할할 수 있다. 예를 들면, 전자 장치(10)는 디스플레이(11)의 표시 영역을 2개로 분할하고, 디스플레이(11)의 상측에 도 9의 식별 기호 9-c에서 설명한 제1 영역(931)에 표시되던 정보를 표시할 수 있다. 전자 장치(10)는 디스플레이(11)의 하측에 도 9의 식별 기호 9-c에서 설명한 제2 영역(932)에 표시되던 정보를 표시할 수 있다. 이를 위해, 전자 장치(10)는 디스플레이(11)에서 표시하던 지도(942)의 크기를 변경 수 있다.
도 10은 일 실시예에 따른 전자 장치가 전자 장치의 제1 상태와 제2 상태를 이용하여 컨텐츠를 이용하는 다양한 상황을 설명하는 도면이다.
도 10의 식별 기호 10-a는, 일 실시예에 따른 전자 장치(10)를 이용하여 컨텐츠를 생성하는 상황을 설명하는 도면이다.
도 10의 식별 기호 10-a를 참조하면, 전자 장치(10)는 제2 상태에서 사전 어플리케이션을 실행하여 디스플레이(11)에 표시할 수 있다. 예를 들면, 전자 장치(10)는 영어 단어 "TODAY"(1010)와 영어 단어에 대응되는 한국어 단어 "오늘"(1012)을 디스플레이(11)에 표시할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 상태가 되면, 사전 어플리케이션을 편집할 수 있는 화면을 서브 디스플레이(12)에 표시할 수 있다. 예를 들면, 사용자는 스타일러스 펜(40)을 이용하여 "오늘"(1012)이 보이지 않도록 객체(1020)(예를 들면, 짙은 색을 가지는 사각형의 객체)를 추가할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 "오늘"(1012)이 사용자에게 보이지 않고 "TODAY"(1010)만 표시되는 화면을 저장할 수 있다. 전자 장치(10)는 사용자의 입력에 따라 상기와 같이 일부 정보가 가려진 상태로 제공되는 영상 정보를 서브 디스플레이(12)에 출력할 수 있다. 예를 들면, 전자 장치(10)는 제1 상태에서는 일부 정보가 가려진 이미지를 포함하는 제1 영상 정보를 표시하고, 제2 상태에서는 일부 정보가 가려지지 않은 이미지를 포함하는 제2 영상 정보를 제공할 수 있다.
도 10의 식별 기호 10-b는, 일 실시예에 따른 전자 장치(10)를 이용하여 컨텐츠를 활용하는 상황을 설명하는 도면이다.
도 10의 식별 기호 10-b를 참조하면, 전자 장치(10)는 제2 상태에서 숫자 학습 어플리케이션을 실행하여 디스플레이(11)에 표시할 수 있다. 예를 들면, 전자 장치(10)는 "1+1=□"와 같은 제1 수식(1030)을 디스플레이(11)에 표시할 수 있다. 상기 제1 수식(1030)은 "□"를 포함하는 미완성 상태 일 수 있다.
일 실시예에 따르면, 전자 장치(10)는 제1 상태가 되면, 상기 제1 수식(1030)의 "□"에 해당하는 숫자를 기재한 "1+1=2"와 같은 제2 수식(1032)을 표시할 수 있다. 이와 같이, 전자 장치(10)는 제2 상태에서 사용자에게 제1 수식(1030)을 제공하고, 제1 상태에서 제1 수식(1030)을 완성한 제2 수식(1032)을 제공할 수 있다.
도 11은 다른 실시예에 따른 전자 장치가 전자 장치의 상태 변화에 따라서 영상 정보를 표시하는 상황을 설명하는 도면이다.
도 11을 참조하면, 전자 장치(1101)는 제1 하우징 구조물(1121), 제2 하우징 구조물(1122), 및 디스플레이(1130)를 포함할 수 있다.
도 11의 식별 기호 11-a와 같이, 디스플레이(1130)의 중심부가 접혀서, 제1 하우징 구조물(1121)의 일면과 제2 하우징 구조물(1122)의 일면이 마주보도록 배치되는 상태가 전자 장치(1101)의 제1 상태일 수 있다. 또한, 도 11의 식별 기호 11-b와 같이, 제1 하우징 구조물(1121)과 제2 하우징 구조물(1122)이 연속되도록 배치되는 상태가 전자 장치(1101)의 제2 상태일 수 있다.
다양한 실시예에 따르면, 제1 상태에서, 전자 장치(1101)는 디스플레이(1130)의 일 영역만을 활성화할 수 있다. 예를 들면, 전자 장치(1101)는 가속도 센서를 이용하여 지상 방향을 향하는 디스플레이(1130)의 일 영역(1132)만을 활성화하거나 카메라 센서를 이용하여 사용자를 향하는 디스플레이(1130)의 일 영역(1132)만을 활성화 할 수 있다.
도 11의 식별 기호 11-a를 참조하면, 전자 장치(1101)는 디스플레이(1130)의 활성화 된 영역(1132)에 사용자의 터치 입력에 대응하여 적어도 하나 이상의 선(1140)을 표시할 수 있다. 전자 장치(1101)는 사용자의 입력에 의해 생성된 적어도 하나 이상의 선(1140)이 이미지(1150)에 중첩 되어 출력되는 제2 영상 정보(50)를 표시할 수 있다.
도 11의 식별 기호 11-b를 참조하면, 전자 장치(1101)는 상태가 변경될 수 있다. 예를 들면, 전자 장치(1101)는 제1 하우징 구조물(1121)과 제2 하우징 구조물(1122)의 움직임에 따라서 디스플레이(1130)의 적어도 일부가 구부러진 제1 상태(또는, 접힘 상태)에서 디스플레이(1130)가 펼쳐진 제2 상태(또는, 펼침 상태)로 변경될 수 있다.
전자 장치(1101)는 활성화 된 디스플레이(1130)의 표시 영역을 분할할 수 있다. 예를 들면, 전자 장치(1101)는 디스플레이(1130)가 접히는 축(A)를 기준으로 좌측과 우측을 구분하여 우측을 제1 영역(1130a)으로 식별하고, 좌측을 제2 영역(1130b)으로 식별할 수 있다.
일 실시예에 따른 전자 장치(1101)는 제1 영역(1130a)에는 외부 입력에 의해 객체가 추가되기 전의 이미지를 포함하는 제1 영상 정보(30)를 표시하고, 제2 영역(1130b)에는 제2 영상 정보(50)를 표시할 수 있다.
도 12는, 다양한 실시예들에 따른, 네트워크 환경(1200) 내의 전자 장치(1201)의 블럭도이다. 도 12의 전자 장치(1201)는 도 2의 전자 장치(10), 도 11의 전자 장치(1101)를 포함할 수 있다. 도 12를 참조하면, 네트워크 환경(1200)에서 전자 장치(1201)는 제 1 네트워크(1298)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1202)와 통신하거나, 또는 제 2 네트워크(1299)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1204) 또는 서버(1208)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(1201)는 서버(1208)를 통하여 전자 장치(1204)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(1201)는 프로세서(1220), 메모리(1230), 입력 장치(1250), 음향 출력 장치(1255), 표시 장치(1260), 오디오 모듈(1270), 센서 모듈(1276), 인터페이스(1277), 햅틱 모듈(1279), 카메라 모듈(1280), 전력 관리 모듈(1288), 배터리(1289), 통신 모듈(1290), 가입자 식별 모듈(1296), 또는 안테나 모듈(1297)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(1201)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(1260) 또는 카메라 모듈(1280))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(1276)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(1260)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(1220)는, 예를 들면, 소프트웨어(예: 프로그램(1240))를 실행하여 프로세서(1220)에 연결된 전자 장치(1201)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1220)는 다른 구성요소(예: 센서 모듈(1276) 또는 통신 모듈(1290))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1232)에 로드하고, 휘발성 메모리(1232)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1234)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(1220)는 메인 프로세서(1221)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1223)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(1223)은 메인 프로세서(1221)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1223)는 메인 프로세서(1221)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1223)는, 예를 들면, 메인 프로세서(1221)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1221)를 대신하여, 또는 메인 프로세서(1221)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1221)와 함께, 전자 장치(1201)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(1260), 센서 모듈(1276), 또는 통신 모듈(1290))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(1223)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(1280) 또는 통신 모듈(1290))의 일부로서 구현될 수 있다.
메모리(1230)는, 전자 장치(1201)의 적어도 하나의 구성요소(예: 프로세서(1220) 또는 센서모듈(1276))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1240)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1230)는, 휘발성 메모리(1232) 또는 비휘발성 메모리(1234)를 포함할 수 있다.
프로그램(1240)은 메모리(1230)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1242), 미들 웨어(1244) 또는 어플리케이션(1246)을 포함할 수 있다.
입력 장치(1250)는, 전자 장치(1201)의 구성요소(예: 프로세서(1220))에 사용될 명령 또는 데이터를 전자 장치(1201)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(1250)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(1255)는 음향 신호를 전자 장치(1201)의 외부로 출력할 수 있다. 음향 출력 장치(1255)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(1260)는 전자 장치(1201)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(1260)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 표시 장치(1260)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(1270)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(1270)은, 입력 장치(1250)를 통해 소리를 획득하거나, 음향 출력 장치(1255), 또는 전자 장치(1201)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1202)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(1276)은 전자 장치(1201)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(1276)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1277)는 전자 장치(1201)이 외부 전자 장치(예: 전자 장치(1202))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(1277)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1278)는, 그를 통해서 전자 장치(1201)가 외부 전자 장치(예: 전자 장치(1202))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(1278)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1279)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(1279)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1280)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(1280)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1288)은 전자 장치(1201)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1289)는 전자 장치(1201)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(1289)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1290)은 전자 장치(1201)와 외부 전자 장치(예: 전자 장치(1202), 전자 장치(1204), 또는 서버(1208))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1290)은 프로세서(1220)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(1290)은 무선 통신 모듈(1292)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1294)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(1298)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(1299)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1292)은 가입자 식별 모듈(1296)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(1298) 또는 제 2 네트워크(1299)와 같은 통신 네트워크 내에서 전자 장치(1201)를 확인 및 인증할 수 있다.
안테나 모듈(1297)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(1297)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(1298) 또는 제 2 네트워크(1299)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1290)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1290)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(1297)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(1299)에 연결된 서버(1208)를 통해서 전자 장치(1201)와 외부의 전자 장치(1204)간에 송신 또는 수신될 수 있다. 전자 장치(1202, 1204) 각각은 전자 장치(1201)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(1201)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(1202, 1204, or 1208) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1201)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1201)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1201)로 전달할 수 있다. 전자 장치(1201)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다.. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 13은 다양한 실시예들에 따른, 표시 장치(1260)의 블록도(1300)이다. 도 13을 참조하면, 표시 장치(1260)는 디스플레이(1310), 및 이를 제어하기 위한 디스플레이 드라이버 IC(DDI)(1330)를 포함할 수 있다. DDI(1330)는 인터페이스 모듈(1331), 메모리(1333)(예: 버퍼 메모리), 이미지 처리 모듈(1335), 또는 맵핑 모듈(1337)을 포함할 수 있다. DDI(1330)은, 예를 들면, 영상 데이터, 또는 상기 영상 데이터를 제어하기 위한 명령에 대응하는 영상 제어 신호를 포함하는 영상 정보를 인터페이스 모듈(1331)을 통해 전자 장치 1201의 다른 구성요소로부터 수신할 수 있다. 예를 들면, 일 실시예에 따르면, 영상 정보는 프로세서(1220)(예: 메인 프로세서(1221)(예: 어플리케이션 프로세서) 또는 메인 프로세서(1221)의 기능과 독립적으로 운영되는 보조 프로세서(1223)(예: 그래픽 처리 장치)로부터 수신될 수 있다. DDI(1330)는 터치 회로(1350) 또는 센서 모듈(1276) 등과 상기 인터페이스 모듈(1331)을 통하여 커뮤니케이션 할 수 있다. 또한, DDI(1330)는 상기 수신된 영상 정보 중 적어도 일부를 메모리(1333)에, 예를 들면, 프레임 단위로 저장할 수 있다.
이미지 처리 모듈(1335)은, 예를 들면, 상기 영상 데이터의 적어도 일부를 상기 영상 데이터의 특성 또는 디스플레이(1310)의 특성에 적어도 기반하여 전처리 또는 후처리(예: 해상도, 밝기, 또는 크기 조정)를 수행할 수 있다. 맵핑 모듈(1337)은 이미지 처리 모듈(1235)를 통해 전처리 또는 후처리된 상기 영상 데이터에 대응하는 전압 값 또는 전류 값을 생성할 수 있다. 일 실시예에 따르면, 전압 값 또는 전류 값의 생성은 예를 들면, 디스플레이(1310)의 픽셀들의 속성(예: 픽셀들의 배열(RGB stripe 또는 pentile 구조), 또는 서브 픽셀들 각각의 크기)에 적어도 일부 기반하여 수행될 수 있다. 디스플레이(1310)의 적어도 일부 픽셀들은, 예를 들면, 상기 전압 값 또는 전류 값에 적어도 일부 기반하여 구동됨으로써 상기 영상 데이터에 대응하는 시각적 정보(예: 텍스트, 이미지, 또는 아이콘)가 디스플레이(1310)를 통해 표시될 수 있다.
일 실시예에 따르면, 표시 장치(1260)는 터치 회로(1350)를 더 포함할 수 있다. 터치 회로(1350)는 터치 센서(1351) 및 이를 제어하기 위한 터치 센서 IC(1353)를 포함할 수 있다. 터치 센서 IC(1353)는, 예를 들면, 디스플레이(1310)의 특정 위치에 대한 터치 입력 또는 호버링 입력을 감지하기 위해 터치 센서(1351)를 제어할 수 있다. 예를 들면, 터치 센서 IC(1353)는 디스플레이(1310)의 특정 위치에 대한 신호(예: 전압, 광량, 저항, 또는 전하량)의 변화를 측정함으로써 터치 입력 또는 호버링 입력을 감지할 수 있다. 터치 센서 IC(1353)는 감지된 터치 입력 또는 호버링 입력에 관한 정보(예: 위치, 면적, 압력, 또는 시간)를 프로세서(1220) 에 제공할 수 있다. 일 실시예에 따르면, 터치 회로(1350)의 적어도 일부(예: 터치 센서 IC(1353))는 디스플레이 드라이버 IC(1330), 또는 디스플레이(1310)의 일부로, 또는 표시 장치(1260)의 외부에 배치된 다른 구성요소(예: 보조 프로세서(1223))의 일부로 포함될 수 있다.
일 실시예에 따르면, 표시 장치(1260)는 센서 모듈(1276)의 적어도 하나의 센서(예: 지문 센서, 홍채 센서, 압력 센서 또는 조도 센서), 또는 이에 대한 제어 회로를 더 포함할 수 있다. 이 경우, 상기 적어도 하나의 센서 또는 이에 대한 제어 회로는 표시 장치(1260)의 일부(예: 디스플레이(1310) 또는 DDI(1330)) 또는 터치 회로(1350)의 일부에 임베디드 될 수 있다. 예를 들면, 표시 장치(1260)에 임베디드된 센서 모듈(1276)이 생체 센서(예: 지문 센서)를 포함할 경우, 상기 생체 센서는 디스플레이(1310)의 일부 영역을 통해 터치 입력과 연관된 생체 정보(예: 지문 이미지)를 획득할 수 있다. 다른 예를 들면, 표시 장치(1260)에 임베디드된 센서 모듈(1276)이 압력 센서를 포함할 경우, 상기 압력 센서는 디스플레이(1310)의 일부 또는 전체 영역을 통해 터치 입력과 연관된 압력 정보를 획득할 수 있다. 일 실시예에 따르면, 터치 센서(1351) 또는 센서 모듈(1276)은 디스플레이(1310)의 픽셀 레이어의 픽셀들 사이에, 또는 상기 픽셀 레이어의 위에 또는 아래에 배치될 수 있다.
다양한 실시예에 따르면, 전자 장치(1201)는 복수 개의 표시 장치를 포함할 수 있다. 예를 들면, 전자 장치(1201)는 표시 장치(1260)외에 도 2의 서브 디스플레이(12)를 포함하는 표시 장치(미도시)를 더 포함할 수 있다. 또는, 전자 장치(1201)는 표시 장치(1260)에 디스플레이(1310)외에 도 2의 서브 디스플레이(12)와 서브 디스플레이(12)에 대응되는 터치 회로 IC, 센서 모듈을 포함할 수 있다.
일 실시예에 따르면, 프로세서(1220)는 서브 디스플레이(12)에 대응되는 디스플레이 드라이버 IC를 제어하여 제1 영상 정보를 표시할 수 있다. 프로세서(1220)는 서브 디스플레이(12)에 대응되는 센서 모듈을 이용하여 획득한 외부 입력에 의해 생성된 적어도 하나 이상의 객체가 추가 된 제2 영상 정보가 서브 디스플레이(12)에 표시되도록 서브 디스플레이(12)에 대응되는 디스플레이 드라이버 IC를 제어할 수 있다.
일 실시예에 따르면, 프로세서(1220)는 전자 장치(1201)가 제1 상태에서 제2 상태로 변경되는 것을 식별함에 따라, 디스플레이(1310)의 표시 영역을 분할하여 제1 영역에는 제1 영상 정보를 표시하고, 제2 영역에는 제2 영상 정보를 표시하도록 디스플레이 드라이버 IC(1330)를 제어할 수 있다.
도 14 및 도 15을 참조하면, 일 실시 예에서, 전자 장치(10)는, 폴더블 하우징(1500), 상기 폴더블 하우징의 접힘가능한 부분을 커버하는 힌지 커버(1530), 및 상기 폴더블 하우징(1500)에 의해 형성된 공간 내에 배치된 플렉서블(flexible) 또는 폴더블(foldable) 디스플레이(1400)(이하, 줄여서, “디스플레이”(1400))를 포함할 수 있다. 본 문서에서는 디스플레이(1400)가 배치된 면을 제1 면 또는 전자 장치(10)의 전면으로 정의한다. 그리고, 전면의 반대 면을 제2 면 또는 전자 장치(10)의 후면으로 정의한다. 또한 전면과 후면 사이의 공간을 둘러싸는 면을 제3 면 또는 전자 장치(10)의 측면으로 정의한다.
일 실시 예에서, 상기 폴더블 하우징(1500)은, 제1 하우징 구조물(1510), 센서 영역(1524)을 포함하는 제2 하우징 구조물(1520), 제1 후면 커버(1580), 및 제2 후면 커버(1590)를 포함할 수 있다. 전자 장치(10)의 폴더블 하우징(1500)은 도 14 및 15에 도시된 형태 및 결합으로 제한되지 않으며, 다른 형상이나 부품의 조합 및/또는 결합에 의해 구현될 수 있다. 예를 들어, 다른 실시 예에서는, 제1 하우징 구조물(1510)과 제1 후면 커버(1580)가 일체로 형성될 수 있고, 제2 하우징 구조물(1520)과 제2 후면 커버(1590)가 일체로 형성될 수 있다.
도시된 실시 예에서, 제1 하우징 구조물(1510)과 제2 하우징 구조물(1520)은 폴딩 축(A 축)을 중심으로 양측에 배치되고, 상기 폴딩 축 A에 대하여 전체적으로 대칭인 형상을 가질 수 있다. 후술하는 바와 같이 제1 하우징 구조물(1510) 및 제2 하우징 구조물(1520)은 전자 장치(10)의 상태가 펼침 상태인지, 접힘 상태인지, 또는 중간 상태인지 여부에 따라 서로 이루는 각도나 거리가 달라질 수 있다. 도시된 실시 예에서, 제2 하우징 구조물(1520)은, 제1 하우징 구조물(1510)과 달리, 다양한 센서들이 배치되는 상기 센서 영역(1524)을 추가로 포함하지만, 이외의 영역에서는 상호 대칭적인 형상을 가질 수 있다.
일 실시 예에서, 도 14에 도시된 것과 같이, 제1 하우징 구조물(1510)과 제2 하우징 구조물(1520)은 디스플레이(1400)를 수용하는 리세스를 함께 형성할 수 있다. 도시된 실시 예에서는, 상기 센서 영역(1524)으로 인해, 상기 리세스는 폴딩 축 A에 대해 수직한 방향으로 서로 다른 2개 이상의 폭을 가질 수 있다.
예를 들어, 상기 리세스는 (1) 제1 하우징 구조물(1510) 중 폴딩 축 A에 평행한 제1 부분(1510a)과 제2 하우징 구조물(1520) 중 센서 영역(1524)의 가장자리에 형성되는 제1 부분(1520a) 사이의 제1 폭(w1), 및 (2) 제1 하우징 구조물(1510)의 제2 부분(1510b)과 제2 하우징 구조물(1520) 중 센서 영역(1524)에 해당하지 않으면서 폴딩 축 A에 평행한 제2 부분(1520b)에 의해 형성되는 제2 폭(w2)을 가질 수 있다. 이 경우, 제2 폭(w2)은 제1 폭(w1)보다 길게 형성될 수 있다. 다시 말해서, 상호 비대칭 형상을 갖는 제1 하우징 구조물(1510)의 제1 부분(1510a)과 제2 하우징 구조물(1520)의 제1 부분(1520a)은 상기 리세스의 제1 폭(w1)을 형성하고, 상호 대칭 형상을 갖는 제1 하우징 구조물(1510)의 제2 부분(1510b)과 제2 하우징 구조물(1520)의 제2 부분(1520b)은 상기 리세스의 제2 폭(w2)을 형성할 수 있다. 일 실시 예에서, 제2 하우징 구조물(1520)의 제1 부분(1520a) 및 제2 부분(1520b)은 상기 폴딩 축 A로부터의 거리가 서로 상이할 수 있다. 리세스의 폭은 도시된 예시로 한정되지 아니한다. 다양한 실시 예에서, 센서 영역(1524)의 형태 또는 제1 하우징 구조물(1510) 및 제2 하우징 구조물(1520)의 비대칭 형상을 갖는 부분에 의해 리세스는 복수 개의 폭을 가질 수 있다.
일 실시 예에서, 제1 하우징 구조물(1510) 및 제2 하우징 구조물(1520)의 적어도 일부는 디스플레이(1400)를 지지하기 위해 선택된 크기의 강성을 갖는 금속 재질이나 비금속 재질로 형성될 수 있다.
일 실시 예에서, 상기 센서 영역(1524)은 제2 하우징 구조물(1520)의 일 코너에 인접하여 소정 영역을 가지도록 형성될 수 있다. 다만 센서 영역(1524)의 배치, 형상, 및 크기는 도시된 예시에 한정되지 아니한다. 예를 들어, 다른 실시 예에서 센서 영역(1524)은 제2 하우징 구조물(1520)의 다른 코너 혹은 상단 코너와 하단 코너 사이의 임의의 영역에 제공될 수 있다. 일 실시 예에서, 전자 장치(10)에 내장된 다양한 기능을 수행하기 위한 부품들(components)이 센서 영역(1524)을 통해, 또는 센서 영역(1524)에 마련된 하나 이상의 개구(opening)를 통해 전자 장치(10)의 전면에 노출될 수 있다. 다양한 실시 예에서, 상기 부품들은 다양한 종류의 센서들을 포함할 수 있다. 상기 센서는, 예를 들어, 전면 카메라, 리시버 또는 근접 센서 중 적어도 하나를 포함할 수 있다.
상기 제1 후면 커버(1580)는 상기 전자장치의 후면에 상기 폴딩 축의 일편에 배치되고, 예를 들어, 실질적으로 직사각형인 가장자리(periphery)를 가질 수 있으며, 제1 하우징 구조물(1510)에 의해 상기 가장자리가 감싸질 수 있다. 유사하게, 상기 제2 후면 커버(1590)는 상기 전자장치의 후면의 상기 폴딩 축의 다른편에 배치되고, 제2 하우징 구조물(1520)에 의해 그 가장자리가 감싸질 수 있다.
도시된 실시 예에서, 제1 후면 커버(1580) 및 제2 후면 커버(1590)는 상기 폴딩 축(A 축)을 중심으로 실질적으로 대칭적인 형상을 가질 수 있다. 다만, 제1 후면 커버(1580) 및 제2 후면 커버(1590)가 반드시 상호 대칭적인 형상을 가지는 것은 아니며, 다른 실시 예에서, 전자 장치(10)는 다양한 형상의 제1 후면 커버(1580) 및 제2 후면 커버(1590)를 포함할 수 있다. 또 다른 실시 예에서, 제1 후면 커버(1580)는 제1 하우징 구조물(1510)과 일체로 형성될 수 있고, 제2 후면 커버(1590)는 제2 하우징 구조물(1520)과 일체로 형성될 수 있다.
일 실시 예에서, 제1 후면 커버(1580), 제2 후면 커버(1590), 제1 하우징 구조물(1510), 및 제2 하우징 구조물(1520)은 전자 장치(10)의 다양한 부품들(예: 인쇄회로기판, 또는 배터리)이 배치될 수 있는 공간을 형성할 수 있다. 일 실시 예에서, 전자 장치(10)의 후면에는 하나 이상의 부품(components)이 배치되거나 시각적으로 노출될 수 있다. 예를 들어, 제1 후면 커버(1580)의 제1 후면 영역(1582)을 통해 서브 디스플레이(1490)의 적어도 일부가 시각적으로 노출될 수 있다. 다른 실시 예에서, 제2 후면 커버(1590)의 제2 후면 영역(1592)을 통해 하나 이상의 부품 또는 센서가 시각적으로 노출될 수 있다. 다양한 실시 예에서 상기 센서는 근접 센서 및/또는 후면 카메라를 포함할 수 있다.
도 15를 참조하면, 상기 힌지 커버(1530)는, 제1 하우징 구조물(1510)과 제2 하우징 구조물(1520) 사이에 배치되어, 내부 부품 (예를 들어, 힌지 구조)을 가릴 수 있도록 구성될 수 있다. 일 실시 예에서, 힌지 커버(1530)는, 상기 전자 장치(10)의 상태(펼침 상태(flat state) 또는 접힘 상태(folded state)에 따라, 제1 하우징 구조물(1510) 및 제2 하우징 구조물(1520)의 일부에 의해 가려지거나, 외부로 노출될 수 있다.
일례로, 도 14에 도시된 바와 같이 전자 장치(10)가 펼침 상태인 경우, 힌지 커버(1530)는 제1 하우징 구조물(1510) 및 제2 하우징 구조물(1520)에 의해 가려져 노출되지 않을 수 있다. 일례로, 도 15에 도시된 바와 같이 전자 장치(10)가 접힘 상태(예: 완전 접힘 상태(fully folded state))인 경우, 힌지 커버(1530)는 제1 하우징 구조물(1510) 및 제2 하우징 구조물(1520) 사이에서 외부로 노출될 수 있다. 일례로, 제1 하우징 구조물(1510) 및 제2 하우징 구조물(1520)이 소정의 각도를 이루는(folded with a certain angle) 중간 상태(intermediate state)인 경우, 힌지 커버(1530)는 제1 하우징 구조물(1510) 및 제2 하우징 구조물(1520)의 사이에서 외부로 일부 노출될 수 있다. 다만 이 경우 노출되는 영역은 완전히 접힌 상태보다 적을 수 있다. 일 실시 예에서, 힌지 커버(1530)는 곡면을 포함할 수 있다.
상기 디스플레이(1400)는, 상기 폴더블 하우징(1500)에 의해 형성된 공간 상에 배치될 수 있다. 예를 들어, 디스플레이(1400)는 폴더블 하우징(1500)에 의해 형성되는 리세스(recess) 상에 안착되며, 전자 장치(10)의 전면의 대부분을 구성할 수 있다.
따라서, 전자 장치(10)의 전면은 디스플레이(1400) 및 디스플레이(1400)에 인접한 제1 하우징 구조물(1510)의 일부 영역 및 제2 하우징 구조물(1520)의 일부 영역을 포함할 수 있다. 그리고, 전자 장치(10)의 후면은 제1 후면 커버(1580), 제1 후면 커버(1580)에 인접한 제1 하우징 구조물(1510)의 일부 영역, 제2 후면 커버(1590) 및 제2 후면 커버(1590)에 인접한 제2 하우징 구조물(1520)의 일부 영역을 포함할 수 있다.
상기 디스플레이(1400)는, 적어도 일부 영역이 평면 또는 곡면으로 변형될 수 있는 디스플레이를 의미할 수 있다. 일 실시 예에서, 디스플레이(1400)는 폴딩 영역(1403), 폴딩 영역(1403)을 기준으로 일측(도 14에 도시된 폴딩 영역(1403)의 좌측)에 배치되는 제1 영역(1401) 및 타측(도 14에 도시된 폴딩 영역(1403)의 우측)에 배치되는 제2 영역(1402)을 포함할 수 있다.
상기 도 14에 도시된 디스플레이(1400)의 영역 구분은 예시적인 것이며, 디스플레이(1400)는 구조 또는 기능에 따라 복수 (예를 들어, 4개 이상 혹은 2개)의 영역으로 구분될 수도 있다. 일례로, 도 14에 도시된 실시 예에서는 y축에 평행하게 연장되는 폴딩 영역(1403) 또는 폴딩 축(A축)에 의해 디스플레이(1400)의 영역이 구분될 수 있으나, 다른 실시 예에서 디스플레이(1400)는 다른 폴딩 영역(예: x 축에 평행한 폴딩 영역) 또는 다른 폴딩 축(예: x 축에 평행한 폴딩 축)을 기준으로 영역이 구분될 수도 있다.
제1 영역(1401)과 제2 영역(1402)은 폴딩 영역(1403)을 중심으로 전체적으로 대칭인 형상을 가질 수 있다. 다만, 제2 영역(1402)은, 제1 영역(1401)과 달리, 센서 영역(1524)의 존재에 따라 컷(cut)된 노치(notch)를 포함할 수 있으나, 이외의 영역에서는 상기 제 1 영역(101)과 대칭적인 형상을 가질 수 있다. 다시 말해서, 제1 영역(1401)과 제2 영역(1402)은 서로 대칭적인 형상을 갖는 부분과, 서로 비대칭적인 형상을 갖는 부분을 포함할 수 있다.
이하, 전자 장치(10)의 상태(예: 펼침 상태(flat state) 및 접힘 상태(folded state))에 따른 제1 하우징 구조물(1510) 및 제2 하우징 구조물(1520)의 동작과 디스플레이(1400)의 각 영역을 설명한다.
일 실시 예에서, 전자 장치(10)가 펼침 상태(flat state)(예: 도 14)인 경우, 제1 하우징 구조물(1510) 및 제2 하우징 구조물(1520)은 180도의 각도를 이루며 동일 방향을 향하도록 배치될 수 있다. 디스플레이(1400)의 제1 영역(1401)의 표면과 제2 영역(1402)의 표면은 서로 180도를 형성하며, 동일한 방향(예: 전자 장치의 전면 방향)을 향할 수 있다. 폴딩 영역(1403)은 제1 영역(1401) 및 제2 영역(1402)과 동일 평면을 형성할 수 있다.
일 실시 예에서, 전자 장치(10)가 접힘 상태(folded state)(예: 도 15)인 경우, 제1 하우징 구조물(1510) 및 제2 하우징 구조물(1520)은 서로 마주보게 배치될 수 있다. 디스플레이(1400)의 제1 영역(1401)의 표면과 제2 영역(1402)의 표면은 서로 좁은 각도(예: 0도에서 10도 사이)를 형성하며, 서로 마주볼 수 있다. 폴딩 영역(1403)은 적어도 일부가 소정의 곡률을 가지는 곡면으로 이루어질 수 있다.
일 실시 예에서, 전자 장치(10)가 중간 상태(folded state)인 경우, 제1 하우징 구조물(1510) 및 제2 하우징 구조물(1520)은 서로 소정의 각도(a certain angle)로 배치될 수 있다. 디스플레이(1400)의 제1 영역(1401)의 표면과 제2 영역(1402)의 표면은 접힘 상태보다 크고 펼침 상태보다 작은 각도를 형성할 수 있다. 폴딩 영역(1403)은 적어도 일부가 소정의 곡률을 가지는 곡면으로 이루어질 수 있으며, 이 때의 곡률은 접힘 상태(folded state)인 경우보다 작을 수 있다.
도 16은 일 실시 예에 따른 전자 장치의 분해 사시도이다.
도 16을 참조하면, 일 실시 예에서, 전자 장치(10)는 디스플레이부(2000), 브라켓 어셈블리(3000), 기판부(6000), 제1 하우징 구조물(1510), 제2 하우징 구조물(1520), 제1 후면 커버(1580) 및 제2 후면 커버(1590)를 포함할 수 있다. 본 문서에서, 디스플레이부(display unit)(2000)는 디스플레이 모듈(module) 또는 디스플레이 어셈블리(assembly)로 불릴 수 있다.
상기 디스플레이부(2000)는 디스플레이(1400)와, 디스플레이(1400)가 안착되는 하나 이상의 플레이트 또는 층(1440)을 포함할 수 있다. 일 실시 예에서, 플레이트(1440)는 디스플레이(1400)와 브라켓 어셈블리(3000) 사이에 배치될 수 있다. 플레이트(1440)의 일면(예: 도 16을 기준으로 상부면)의 적어도 일부에는 디스플레이(1400)가 배치될 수 있다. 플레이트(1440)는 디스플레이(1400)와 대응되는 형상으로 형성될 수 있다. 예를 들어, 플레이트(1440)의 일부 영역은 디스플레이(1400)의 노치(1404)에 대응되는 형상으로 형성될 수 있다.
상기 브라켓 어셈블리(3000)는 제1 브라켓(1610), 제2 브라켓(1620), 제1 브라켓(1610) 및 제2 브라켓(1620) 사이에 배치되는 힌지 구조물, 힌지 구조물을 외부에서 볼 때 커버하는 힌지 커버(1530), 및 제1 브라켓(1610)과 제2 브라켓(1620)을 가로지르는 배선 부재(1630)(예: 연성 회로 기판(FPC), flexible printed circuit)를 포함할 수 있다.
일 실시 예에서, 상기 플레이트(1440)와 상기 기판부(6000) 사이에, 상기 브라켓 어셈블리(3000)가 배치될 수 있다. 일례로, 제1 브라켓(1610)은, 디스플레이(1400)의 제1 영역(1401) 및 제1 기판(6100) 사이에 배치될 수 있다. 제2 브라켓(1620)은, 디스플레이(1400)의 제2 영역(1402) 및 제2 기판(6200) 사이에 배치될 수 있다.
일 실시 예에서, 브라켓 어셈블리(3000)의 내부에는 배선 부재(1630)와 힌지 구조물(3000)의 적어도 일부가 배치될 수 있다. 배선 부재(1630)는 제1 브라켓(1610)과 제2 브라켓(1620)을 가로지르는 방향(예: x축 방향)으로 배치될 수 있다. 배선 부재(1630)는 전자 장치(10)의 폴딩 영역(1403)의 폴딩 축(예: y축 또는 도 14의 폴딩 축(A))에 수직한 방향(예: x축 방향)으로 배치될 수 있다.
상기 기판부(6000)는, 위에서 언급된 바와 같이, 제1 브라켓(1610) 측에 배치되는 제1 기판(6100)과 제2 브라켓(1620) 측에 배치되는 제2 기판(6200)을 포함할 수 있다. 상기 제1 기판(6100)과 제2 기판(6200)은, 브라켓 어셈블리(3000), 제1 하우징 구조물(1510), 제2 하우징 구조물(1520), 제1 후면 커버(1580) 및 제2 후면 커버(1590)에 의해 형성되는 공간의 내부에 배치될 수 있다. 제1 기판(6100)과 제2 기판(6200)에는 전자 장치(10)의 다양한 기능을 구현하기 위한 부품들이 실장될 수 있다.
상기 제1 하우징 구조물(1510) 및 제2 하우징 구조물(1520)은 브라켓 어셈블리(3000)에 디스플레이부(2000)가 결합된 상태에서, 브라켓 어셈블리(3000)의 양측으로 결합되도록 서로 조립될 수 있다. 후술하는 바와 같이, 제1 하우징 구조물(1510)과 제2 하우징 구조물(1520)은 브라켓 어셈블리(3000)의 양 측에서 슬라이딩 되어 브라켓 어셈블리(3000)와 결합될 수 있다.
일 실시 예에서, 제1 하우징 구조물(1510)은 제1 회전 지지면(1512)을 포함할 수 있고, 제2 하우징 구조물(1520)은 제1 회전 지지면(1512)에 대응되는 제2 회전 지지면(1522)을 포함할 수 있다. 제1 회전 지지면(1512)과 제2 회전 지지면(1522)은 힌지 커버(1530)에 포함된 곡면과 대응되는 곡면을 포함할 수 있다.
일 실시 예에서, 제1 회전 지지면(1512)과 제2 회전 지지면(1522)은, 전자 장치(10)가 펼침 상태(예: 도 14의 전자 장치)인 경우, 상기 힌지 커버(1530)를 덮어 힌지 커버(1530)가 전자 장치(10)의 후면으로 노출되지 않거나 최소한으로 노출될 수 있다. 한편, 제1 회전 지지면(1512)과 제2 회전 지지면(1522)은, 전자 장치(10)가 접힘 상태(예: 도 15의 전자 장치)인 경우, 힌지 커버(1530)에 포함된 곡면을 따라 회전하여 힌지 커버(1530)가 전자 장치(10)의 후면으로 최대한 노출될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(1201)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1236) 또는 외장 메모리(1238))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1240))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1201))의 프로세서(예: 프로세서(1220))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    서브 디스플레이;
    적어도 하나 이상의 프로세서; 및
    적어도 하나 이상의 메모리; 를 포함하고,
    상기 메모리는, 상기 프로세서가,
    상기 서브 디스플레이를 제어하여, 제1 영상 정보를 표시하고, 상기 제1 영상 정보에 외부 입력에 의해 생성 된 적어도 하나 이상의 객체가 추가 된 제2 영상 정보를 표시하고,
    상기 전자 장치가 제1 상태에서 제2 상태로 변경되는 것을 식별함에 따라, 상기 디스플레이를 제어하여, 상기 디스플레이의 표시 영역을 분할하여 제1 영역에는 상기 제1 영상 정보를 표시하고 제2 영역에는 상기 제2 영상 정보를 표시하도록 설정된 적어도 하나 이상의 인스트럭션을 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 인스트럭션은, 상기 프로세서가,
    적어도 하나의 이미지를 상기 제1 영상 정보로 표시하고, 상기 적어도 하나 이상의 객체를 상기 적어도 하나의 이미지와 중첩하여 제2 영상 정보로 표시하도록 설정된, 전자 장치.
  3. 제1항에 있어서,
    상기 외부 입력은,
    상기 서브 디스플레이에 대한 터치 입력, 호버링 입력, 또는 상기 전자 장치에 마련된 물리 키를 이용한 입력 중 적어도 하나를 포함하는, 전자 장치.
  4. 제1항에 있어서,
    상기 제1 상태는 상기 디스플레이의 적어도 일부가 구부러진 상태이고, 상기 제2 상태는 상기 디스플레이가 펼쳐진 상태인, 전자 장치.
  5. 제1항에 있어서,
    상기 인스트럭션은, 상기 프로세서가,
    상기 서브 디스플레이에 표시된 객체를 저장할 것을 요청하는 외부 입력에 대응하여, 상기 표시된 객체를 제1 객체로 저장하고 제1 레이어로 식별하도록 설정된, 전자 장치.
  6. 제5항에 있어서,
    상기 인스트럭션은, 상기 프로세서가,
    상기 제1 객체가 저장된 후, 상기 서브 디스플레이에서 외부 입력을 감지하면, 상기 제1 객체와 상기 외부 입력에 대응하여 생성된 객체를 함께 표시하도록 설정된, 전자 장치.
  7. 제6항에 있어서,
    상기 인스트럭션은, 상기 프로세서가,
    상기 서브 디스플레이에 표시된 객체를 저장할 것을 요청하는 외부 입력에 대응하여, 상기 제1 객체가 저장된 후 상기 서브 디스플레이에 표시된 객체를 제2 객체로 저장하고 제2 레이어로 식별하도록 설정된, 전자 장치.
  8. 제7항에 있어서,
    상기 인스트럭션은, 상기 프로세서가,
    상기 이미지, 상기 제1 레이어, 및 상기 제2 레이어 중 표시하고 싶은 대상을 선택하는 사용자 인터페이스를 제공하는, 전자 장치.
  9. 전자 장치에 있어서,
    디스플레이;
    서브 디스플레이;
    적어도 하나 이상의 프로세서; 및
    적어도 하나 이상의 메모리; 를 포함하고,
    상기 메모리는, 상기 프로세서가,
    상기 디스플레이에 어플리케이션을 표시하는 상황에서, 상기 전자 장치가 제2 상태에서 제1 상태로 변경되는 것을 식별함에 따라, 상기 서브 디스플레이를 제어하여, 외부 입력을 획득하는 사용자 인터페이스를 표시하고,
    상기 사용자 인터페이스에 입력되는 외부 입력에 따라, 서브 디스플레이에 적어도 하나 이상의 객체를 표시하고,
    상기 전자 장치가 상기 제1 상태에서 상기 제2 상태로 변경되는 것을 식별함에 따라, 상기 객체와 상기 어플리케이션을 이용하여 획득한 정보를 출력하도록 설정된 인스트럭션을 저장하는, 전자 장치.
  10. 제9항에 있어서,
    상기 인스트럭션은, 상기 프로세서가,
    상기 객체가 텍스트로 인식되면, 상기 어플리케이션에 대하여 상기 인식된 텍스트와 관련되는 정보를 획득하여 출력하도록 설정된, 전자 장치.
  11. 전자 장치의 제어 방법에 있어서,
    서브 디스플레이에 제1 영상 정보를 표시하는 동작;
    상기 제1 영상 정보에 외부 입력에 의해 생성된 적어도 하나 이상의 객체가 추가된 제2 영상 정보를 상기 서브 디스플레이에 표시하는 동작; 및
    상기 전자 장치가 제1 상태에서 제2 상태로 변경되는 것을 식별함에 따라, 상기 디스플레이의 표시 영역을 분할하여 제1 영역에는 상기 제1 영상 정보를 표시하고, 제2 영역에는 상기 제2 영상 정보를 표시하는 동작; 을 포함하는, 전자 장치의 제어 방법.
  12. 제11항에 있어서,
    상기 전자 장치의 제어 방법은,
    적어도 하나의 이미지를 상기 제1 영상 정보로 표시하고, 상기 적어도 하나 이상의 객체를 상기 적어도 하나의 이미지와 중첩하여 제2 영상 정보로 표시하는 동작; 을 포함하는, 전자 장치의 제어 방법.
  13. 제11항에 있어서,
    상기 외부 입력은,
    상기 서브 디스플레이에 대한 터치 입력, 호버링 입력, 또는 상기 전자 장치에 마련된 물리 키를 이용한 입력 중 적어도 하나를 포함하는, 전자 장치의 제어 방법.
  14. 제11항에 있어서,
    상기 제1 상태는 상기 디스플레이의 적어도 일부가 구부러진 상태이고, 상기 제2 상태는 상기 디스플레이가 펼쳐진 상태인, 전자 장치의 제어 방법.
  15. 제11항에 있어서,
    상기 제1 영상 정보에 외부 입력에 의해 생성 된 적어도 하나 이상의 객체가 추가 된 제2 영상 정보를 표시하는 동작은,
    상기 서브 디스플레이에 표시된 객체를 저장할 것을 요청하는 외부 입력에 대응함에 따라, 상기 표시된 객체를 제1 객체로 저장하고 제1 레이어로 식별하는 동작; 을 포함하는, 전자 장치의 제어 방법.
PCT/KR2020/013776 2019-10-08 2020-10-08 전자 장치 및 전자 장치의 제어 방법 WO2021071301A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2019-0124411 2019-10-08
KR1020190124411A KR20210041768A (ko) 2019-10-08 2019-10-08 전자 장치 및 전자 장치의 제어 방법

Publications (1)

Publication Number Publication Date
WO2021071301A1 true WO2021071301A1 (ko) 2021-04-15

Family

ID=75437987

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/013776 WO2021071301A1 (ko) 2019-10-08 2020-10-08 전자 장치 및 전자 장치의 제어 방법

Country Status (2)

Country Link
KR (1) KR20210041768A (ko)
WO (1) WO2021071301A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220157208A (ko) * 2021-05-20 2022-11-29 삼성전자주식회사 복수의 지문 센서를 포함하는 폴더블 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150011103A (ko) * 2013-07-22 2015-01-30 엘지전자 주식회사 이미지 레이어를 제공하는 폴더블 디스플레이 디바이스 및 그 제어 방법
KR20160032079A (ko) * 2014-05-23 2016-03-23 삼성전자주식회사 폴더블 디바이스 및 그 제어 방법
KR20160057225A (ko) * 2014-11-13 2016-05-23 엘지전자 주식회사 이동 단말기 및 그 제어 방법
US20160321969A1 (en) * 2015-04-29 2016-11-03 Intel Corporation Imaging for Foldable Displays
KR20170086470A (ko) * 2014-11-17 2017-07-26 엘지전자 주식회사 디스플레이 폴딩을 통해 화면을 고정시킬 수 있는 폴더블 디스플레이 디바이스 및 그 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150011103A (ko) * 2013-07-22 2015-01-30 엘지전자 주식회사 이미지 레이어를 제공하는 폴더블 디스플레이 디바이스 및 그 제어 방법
KR20160032079A (ko) * 2014-05-23 2016-03-23 삼성전자주식회사 폴더블 디바이스 및 그 제어 방법
KR20160057225A (ko) * 2014-11-13 2016-05-23 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20170086470A (ko) * 2014-11-17 2017-07-26 엘지전자 주식회사 디스플레이 폴딩을 통해 화면을 고정시킬 수 있는 폴더블 디스플레이 디바이스 및 그 제어 방법
US20160321969A1 (en) * 2015-04-29 2016-11-03 Intel Corporation Imaging for Foldable Displays

Also Published As

Publication number Publication date
KR20210041768A (ko) 2021-04-16

Similar Documents

Publication Publication Date Title
WO2020226294A1 (en) Foldable device and method for controlling image capturing by using plurality of cameras
WO2019209041A1 (ko) 플렉서블 디스플레이 및 이를 구비하는 전자 장치
WO2020235885A1 (en) Electronic device controlling screen based on folding event and method for controlling the same
WO2020013528A1 (ko) 플렉서블 디스플레이 및 이를 포함하는 전자 장치
WO2020230982A1 (ko) 전자 장치 및 그의 알림 제공 방법
WO2021034047A1 (en) Electronic device and method for controlling operation mode based on state of electronic device
WO2021118061A1 (ko) 전자 장치 및 이를 이용한 레이아웃 구성 방법
WO2020218742A1 (ko) 폴더블 전자 장치 및 그 동작 방법
WO2020130550A1 (en) Foldable electronic device and method for detecting touch input in foldable electronic device
WO2020085628A1 (en) Method for displaying objects and electronic device using the same
WO2021015505A1 (en) Foldable electronic device and photographing method using multiple cameras in foldable electronic device
WO2019103396A1 (en) Method for configuring input interface and electronic device using same
WO2020171562A1 (ko) 복수의 윈도우를 포함하는 폴더블 전자 장치
WO2021066468A1 (en) Electronic device and control method thereof
WO2020256463A1 (en) Electronic device including sub display and method of operating same
WO2020017743A1 (ko) 디스플레이 상에서 복수의 어플리케이션의 실행 화면을 표시하는 전자 장치 및 상기 전자 장치의 구동 방법
WO2019160347A1 (ko) 터치 입력 처리 방법 및 이를 지원하는 전자 장치
WO2021033925A1 (en) Electronic device having foldable display and method of generating content thereof
WO2020032720A1 (en) Electronic device including button and method for operation in electronic device
WO2022097862A1 (en) Method of controlling display and electronic device supporting the same
WO2021107682A1 (en) Foldable device and controlling method thereof
WO2021118201A1 (ko) 폴더블 전자 장치 및 상기 폴더블 전자 장치에서 사용자 인터페이스를 표시하는 방법
WO2021145692A1 (ko) 폴더블 전자 장치 및 화면 표시 방법
WO2021080360A1 (en) Electronic device and method for controlling display operation thereof
WO2020222428A1 (ko) 전자 장치 및 그 영상을 출력하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20873453

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20873453

Country of ref document: EP

Kind code of ref document: A1