WO2023204438A1 - 전자 장치 및 컨트롤 어포던스 객체 표시 방법 - Google Patents

전자 장치 및 컨트롤 어포던스 객체 표시 방법 Download PDF

Info

Publication number
WO2023204438A1
WO2023204438A1 PCT/KR2023/003011 KR2023003011W WO2023204438A1 WO 2023204438 A1 WO2023204438 A1 WO 2023204438A1 KR 2023003011 W KR2023003011 W KR 2023003011W WO 2023204438 A1 WO2023204438 A1 WO 2023204438A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
screen
control
function
item
Prior art date
Application number
PCT/KR2023/003011
Other languages
English (en)
French (fr)
Inventor
김민화
김유경
정진영
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220090532A external-priority patent/KR20230149190A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2023204438A1 publication Critical patent/WO2023204438A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Definitions

  • Various embodiments relate to an electronic device and a method of displaying a control affordance object in the electronic device. For example, when it is determined that the user changed from holding the electronic device with one hand to holding it with both hands, the electronic device's The present invention relates to a control affordance object that can be used for motion control, an electronic device displayed on a screen of an electronic device, and a method of displaying such a control affordance object.
  • One aspect of the present disclosure is a control affordance object for motion control that can be used to control the change in size (expansion/contraction) of the viewable screen of an externally exposed display or to control the execution of some functions when the user's grip with both hands is detected.
  • Another aspect of the present disclosure is to change the size of the viewable screen of the electronic device and/or execute some functions through manipulation of a control affordance object for motion control displayed on the display screen of the electronic device in response to detection of the user's two-handed grip.
  • the goal is to provide an electronic device that performs this.
  • an electronic device includes a flexible display capable of changing the size of a viewable screen exposed to the outside through electronic control, a processor electrically connected to the flexible display, and one or more electrically connected to the processor.
  • a processor electrically connected to the flexible display, and one or more electrically connected to the processor.
  • the one or more instructions when executed by the electronic device, cause the processor to detect a current state of the electronic device, determine whether the user is holding the electronic device with both hands, and determine whether the user is holding the electronic device with both hands.
  • a control affordance object may be created and displayed on the viewable screen of the flexible display, based at least in part on the detected current state of the electronic device.
  • a method of displaying a control affordance object on the viewable screen which is performed in an electronic device equipped with a flexible display in which the size of the viewable screen exposed to the outside can be changed by electronic control, includes: Detecting a touch occurring on the flexible display, determining whether two touches exist on the flexible display at the same time based on the detected touches, and operating the electronic device in response to the determination that the two touches exist at the same time. Displaying the control affordance object including items for control on the viewable screen of the flexible display, obtaining a user operation for the control affordance object, and based on the obtained user operation, It may include actions that control movement.
  • An electronic device determines the user's implicit intention regarding active manipulation of the electronic device based on the form in which the user holds the electronic device (e.g., holding the electronic device with both hands) and provides a separate explicit and additional information.
  • Electronic devices when a user selects to execute a predetermined function according to an application running on the electronic device in a control affordance object for motion control displayed on a display screen, executes the corresponding function and simultaneously performs the corresponding function. It can be operated to change the externally exposed screen size of the flexible display provided in the electronic device according to what is determined for each characteristic, thereby simplifying the user's operation procedure.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • FIG. 2 is a diagram schematically showing the appearance of an electronic device in a slide-in state, according to one embodiment.
  • FIG. 3 is a diagram schematically showing the appearance of an electronic device in a slide-out state, according to one embodiment.
  • FIG. 4 is a diagram schematically showing each cross section of the electronic device shown in FIGS. 2 and 3.
  • Figure 5 is a diagram showing an exploded perspective view of an electronic device, according to one embodiment.
  • FIG. 6 is a block diagram of a display module, according to various embodiments.
  • FIG. 7 is a functional block diagram of an electronic device according to various embodiments.
  • FIGS. 8 and 9 show various example situations in which various types of control affordance objects for motion control generated by the control affordance display unit 740 of FIG. 7 are displayed on the display screen of the display unit 710.
  • FIG. 10 is an exemplary procedural flowchart illustrating a process for displaying and manipulating a control affordance object for motion control performed by an electronic device, according to an embodiment.
  • FIG. 11 is a diagram illustrating example situations in which various types of control affordance objects for motion control are displayed and utilized while an electronic device is running a message application in portrait mode, according to an embodiment.
  • FIG. 12 is a diagram illustrating example situations in which various types of control affordance objects for motion control are displayed and utilized while an electronic device is running a video playback/sharing application in landscape mode, according to an embodiment.
  • FIG. 13 is a diagram illustrating example situations in which various types of control affordance objects for motion control are displayed and utilized while the home screen is displayed on the display screen while the electronic device is in portrait mode, according to one embodiment.
  • FIG. 14 is a diagram illustrating example situations in which various types of control affordance objects for motion control are displayed and utilized while an electronic device is running a gallery application in portrait mode, according to an embodiment.
  • FIG. 15 is a diagram illustrating example situations in which various types of control affordance objects for motion control are displayed and utilized while running a health care application in a portrait mode of an electronic device, according to an embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to various embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a second network 199.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted, or one or more other components may be added.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or operations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 may include a main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 (e.g., a graphics processing unit, a neural network processing unit) that can operate independently or together with the main processor 121. It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 121 e.g., a central processing unit or an application processor
  • auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit
  • the main processor 121 may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the auxiliary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself, where processing of the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the display module 160 may include a flexible display, for example, a rollable display, in which the size of the viewable screen exposed to the outside can be expanded or reduced according to an electronic control signal.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • Battery 189 may supply power to at least one component of electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 may be a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 to communicate within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band), for example, to achieve a high data rate.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is, for example, connected to the plurality of antennas by the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side)
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a diagram schematically showing the appearance of the electronic device 200 when in a slide-in state, according to one embodiment.
  • FIG. 3 is a diagram schematically showing the appearance of the electronic device 200 in a slide-out state, according to one embodiment.
  • FIGS. 2 (a) and (b) are diagrams showing the front and rear sides of the electronic device 200 in an inserted state, respectively, according to an embodiment
  • FIGS. 3 (a) and (b) are diagrams, respectively.
  • This is a diagram illustrating the front and back sides of the electronic device 200 in a pulled out state according to one embodiment.
  • FIG. 4 is a diagram schematically showing each cross section of the electronic device 200 shown in FIGS. 2 and 3 .
  • FIG. 4(a) is a diagram illustrating an exemplary cross section along line AA-AA' of the electronic device 200 of FIG. 2(a).
  • FIG. 4 (b) is a diagram illustrating an exemplary cross section along line BB-BB' of the electronic device 200 in FIG. 3 (a).
  • the electronic device 200 of FIGS. 2 to 4 may represent an electronic device corresponding to the electronic device 101 of FIG. 1 .
  • the electronic device 200 includes a first housing 210 (e.g., base housing), a second housing 220 (e.g., slide housing), and a flexible display (flexible display) 230. (eg, expandable display or stretchable display), and a bendable member or bendable support member 240 (eg, multi-joint hinge module or multi-bar assembly).
  • the second housing 220 is connected to the first housing 210 within a predetermined distance range along a predetermined direction (eg, Y-axis direction). ) can be moved (moved in the +y direction or -y direction).
  • the flexible display 230 includes a first display area 230a supported by the second housing 220, and a bendable member 240 extending from the first display area 230a. It may include a supported second display area 230b.
  • the “retracted state” refers to a state in which the second housing 220 of the electronic device 200 is slid in a direction (e.g., -y direction) toward the first housing 210, It may be referred to by various other terms, such as “closed state,” “closed state,” “retracted state,” or “slide-in state.”
  • the “draw-out state” refers to a state in which the second housing 220 of the electronic device 200 is slid in a direction (e.g., +y direction) away from the first housing 210, It may be referred to by various other terms, such as “opened state,” “open state,” or “slide-out state.”
  • the first display area 230a supported by the second housing 220 may always be exposed to the outside and be visually recognizable regardless of whether the electronic device 200 is in a retracted or withdrawn state. there is.
  • the electronic device 200 when the electronic device 200 is in a retracted state, at least a portion of the bendable member 240 and the corresponding display area 230b are accommodated in the internal space 250 of the electronic device 200. , the corresponding display area 230b may not be visually recognizable from the outside.
  • the internal space of the electronic device 200 during the retracted state (A display area ( 230b) may be arranged to be visually recognizable from the outside together with the display area 230a supported by at least a portion of the second housing 220.
  • the electronic device 200 transitions from a drawn-out state to a retracted state (e.g., the second housing 220 moves in the -y direction) it is arranged to be visually recognizable from the outside during the drawn-out state.
  • the display area 230b and the corresponding portion of the bendable member 240 supporting it may be wound and moved to be accommodated in the internal space 250 of the electronic device 200 again.
  • the second housing 220 slides along a specified direction (e.g., +y direction or -y direction along the Y axis) with respect to the first housing 210, so that the electronic device 200 is in the retracted state and the withdrawn state.
  • a specified direction e.g., +y direction or -y direction along the Y axis
  • the externally exposed screen size of the flexible display 230 may be expanded. Or it can be reduced.
  • the first housing 210 of the electronic device 200 is located at the rear, both sides, and/or bottom of the internal space 250 of the electronic device 200. It may include a first support member 211 configured to surround the side surface, and a rear plate 212 covering the rear surface of the first support member 211. According to one embodiment, the rear plate 212 may be seated on one surface 211a of the first support member 211 facing the outside of the internal space 250 of the electronic device 200. According to one embodiment, as will be described later, a battery 251 is provided in the internal space 250 on the other side 211b opposite to one side 211a of the first support member 211, and a drive module 270 to be described later. Part of may be placed. According to one embodiment, the first support member 211 may be formed in a shape with one side open to accommodate at least a portion of the second housing 220 .
  • the second housing 220 of the electronic device 200 includes a second support member configured to surround the front, both sides, and/or the top side of the internal space 250 of the electronic device 200. It may include (221) and a rear cover 222 and a slide cover 223 coupled to the second support member 221.
  • one surface 221a of the second support member 221 facing the outside opposite the internal space 250 of the electronic device 200 is the second display area 230a of the flexible display 230. can be supported against.
  • various electronic components of the electronic device 200 e.g., the processor of FIG. 1 are stored in the internal space 250 on the other surface 221b opposite the one surface 221a of the second support member 221.
  • a printed circuit board 252 (120)), a camera module 253, and/or a sensor module (not shown), etc. may be disposed.
  • the camera module 253 may include one or a plurality of lenses, an image sensor, and/or an image signal processor.
  • the camera module 253 opens the opening 224 formed in the rear cover 222 and the slide cover 223 of the second housing 220. It may be exposed to the outside of the electronic device 200.
  • an opening is not formed in the first support member 211 and/or the rear plate 222, and the camera module 253 is connected to the first support member (253) while the electronic device 200 is in the retracted state. 211) and/or may be covered by the rear plate 212 and not exposed to the outside.
  • the camera module 253 when the electronic device 200 is in the retracted state, the camera module 253 includes openings (not shown) formed in the first support member 211 and the rear plate 222, respectively, It may be exposed to the outside of the electronic device 200 through the opening 224 formed in the rear cover 222 and the slide cover 223 of the second housing 220.
  • a sensor module may detect the operating state of the electronic device 200 or the external environmental state and generate an electrical signal or data value corresponding thereto.
  • the sensor module may include, for example, at least one of a proximity sensor, an ultrasonic sensor, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a color sensor, an infrared sensor, a biometric sensor, a temperature sensor, or a humidity sensor. It can be included.
  • at least some sensor modules of the electronic device 200 may be visually exposed to the outside through a partial area of the flexible display 230.
  • the rear cover 222 is disposed opposite to the other surface 221b of the second support member 221 with various electronic components in the internal space 250 of the electronic device 200 interposed therebetween. and can be coupled to the second support member 221.
  • the slide cover 223 may be disposed on one side of the rear cover 222 opposite the internal space 250.
  • the slide cover 223 is coupled to one side of the rear cover 222 and/or the second support member 221, and forms the second housing 220 together with the second support member 221. can form the outer surface of.
  • the electronic device 200 may include a driving module 270 that drives the sliding movement of the second housing 220 .
  • the drive module 270 may include a pinion gear 271, a motor 272 coupled to the pinion gear 271, and a rack gear 273 meshed with the pinion gear 271.
  • the driving module 270 is installed in the internal space 250 of the electronic device 200 on the other surface 211b of the first support member 211 of the first housing 210. Parts of, for example, the pinion gear 271 and the motor 272 may be disposed.
  • the second housing 220 slides in a direction away from the first housing 210, for example, in the +y direction, and transitions to a drawn-out state (for example, from the state (a) in FIG. 4 to (in FIG. 4) While transitioning to state b), as shown in (a) and (b) of FIGS. 4, the pinion gear 271 and the motor 272 may maintain their positions relative to the first housing 210.
  • another part of the driving module 270 for example, the rack gear 273, is attached to the electronic device 200 on one side 221b of the second support member 221 of the second housing 220. It may be placed in the internal space 250.
  • the rack gear 273 maintains its position with respect to the second housing 220 and can move with respect to the first housing 210.
  • the motor 272 may receive power from the battery 251 and provide driving force for the sliding movement of the second housing 220.
  • the pinion gear 271 is coupled to the motor 272 and may rotate clockwise or counterclockwise by the driving force provided from the motor 272.
  • the rack gear 273 is engaged with the pinion gear 271 and may reciprocate linearly along the -y direction or the +y direction according to the rotation of the pinion gear 271.
  • the rack gear 273 may move in the +y direction.
  • the second housing 220 coupled to the rack gear 273 may move along the +y direction.
  • the second display area 230b is exposed to the outside as described above, and the area of the display 230 that can be visually recognized from the outside of the electronic device 200 can be expanded.
  • the rack gear 273 can move in the -y direction.
  • the second housing 220 coupled with the rack gear 273 may move along the -y direction.
  • the second display area 230b is wrapped and accommodated in the internal space 250 and is visually recognizable from the outside of the electronic device 200.
  • the area of the display 230 may be reduced.
  • the electronic device 200 may drive the motor 271 of the driving module 270 when detecting a trigger event that causes sliding movement of the second housing 220.
  • a trigger event includes various user inputs, such as a touch input for a control affordance object for motion control displayed on the flexible display 230 of the electronic device 200, a gesture input detected from various sensors, a voice input, And/or it may include a manipulation input to a certain physical button (not shown) disposed on the electronic device 200.
  • a trigger event may include a predetermined operating state within a device (eg, detection of a predetermined condition by a sensor module).
  • FIG. 5 is a diagram illustrating an exploded perspective view of the electronic device 200 according to one embodiment. Referring to FIG. 5 along with FIGS. 2 to 4 , the configuration of the electronic device 200 according to one embodiment can be better understood.
  • the rear plate 212 may be disposed on the rear of the first support member 211. As described above, the first support member 211 and the rear plate 212 may be combined to form the first housing 210. According to one embodiment, a rear cover 222 and a slide cover 223 may be disposed on the rear of the second support member 221. As described above, the second support member 221, the rear cover 222, and the slide cover 223 may be combined to form the second housing 220. According to one embodiment, a printed circuit board 252 and a camera module 253 may be disposed on one surface (one surface 221b facing the rear cover 222) of the second support member 221.
  • a rack gear 273 may be disposed on one side of the second support member 221 along the Y-axis direction. Therefore, according to one embodiment, when the second housing 220 including the second support member 221, the rear cover 222, and the slide cover 223 slides with respect to the first housing 210, the second housing 220 The printed circuit board 252, camera module 253, and rack gear 273 disposed on the support member 221 may move together with the second housing 220.
  • a support member 213 may be disposed.
  • the additional support member 213 includes a battery 251, a motor 272, and a pinion gear 271 disposed in recesses and/or holes formed on the additional support member 213. can do.
  • the pinion gear 271 can maintain its position relative to the first housing 210 without moving, together with the first housing 210.
  • the bendable member 240 extends from the second support member 221 and includes a further support member 213 within the internal space 250 on one side 211b of the first support member 211. ) can be arranged to surround part of the.
  • the flexible display 230 may be arranged to surround one side 221a of the second support member 221 and the bendable member 240. As described above, a part of the flexible display 230, such as the first display area 230a, is supported by one side 221a of the second support member 221, and the other part, such as the second display area 230b ) may be supported by the bendable member 240.
  • the bendable member 240 includes a plurality of bars coupled to each other and may have a shape corresponding to the shape of the second display area 230b. According to one embodiment, the bendable member 240 may move together with the flexible display 230 as the second housing 220 moves. As described above, according to one embodiment, for example, when the second housing 220 slides in the retracted state shown in (a) of FIG. 4 and transitions to the withdrawn state shown in (b) of FIG. 4 , the second display area 230b of the flexible display 230 can be moved from being accommodated in the internal space 250 and hidden from the outside to being exposed to the outside while forming the same plane as the first display area 230a. , the bendable member 240 supporting the second display area 230b may also move together with the second display area 230b.
  • the electronic device 200 includes a bendable member 240 that occurs along with the movement of the second housing 210 and a pair of guide rails 214 for guiding the movement of the flexible display 230.
  • a bendable member 240 that occurs along with the movement of the second housing 210 and a pair of guide rails 214 for guiding the movement of the flexible display 230.
  • each of the pair of guide rails 214 may be disposed on both sides along the X-axis direction with the bendable member 240 and the flexible display 230 interposed therebetween.
  • the guide rail 214 may be coupled to the additional support member 213 or the first support member 211, and the present disclosure is not limited thereto.
  • FIG. 6 is a block diagram of the display module 160, according to various embodiments.
  • the display module 160 may include a display 610 and a display driver IC (DDI) 630 for controlling the display 610.
  • the DDI 630 may include an interface module 631, a memory 633 (eg, buffer memory), an image processing module 635, or a mapping module 637.
  • the DDI 630 transmits image information, including image data or an image control signal corresponding to a command for controlling the image data, to other components of the electronic device 101 through the interface module 631. It can be received from.
  • the image information is stored in the processor 120 (e.g., the main processor 121 (e.g., an application processor) or the auxiliary processor 123 ( For example: a graphics processing unit).
  • the DDI 630 can communicate with the touch circuit 650 or the sensor module 176, etc. through the interface module 631.
  • the DDI 630 can communicate with the touch circuit 650 or the sensor module 176, etc.
  • At least a portion of the received image information may be stored, for example, in frame units, in the memory 633.
  • the image processing module 635 may, for example, store at least a portion of the image data in accordance with the characteristics or characteristics of the image data.
  • Preprocessing or postprocessing may be performed based at least on the characteristics of the display 610.
  • the mapping module 637 performs preprocessing or postprocessing through the image processing module 135.
  • a voltage value or a current value corresponding to the image data may be generated.
  • the generation of the voltage value or the current value may be performed by, for example, an attribute of the pixels of the display 610 (e.g., an array of pixels ( RGB stripe or pentile structure), or the size of each subpixel). At least some pixels of the display 610 may be performed at least in part based on, for example, the voltage value or the current value.
  • visual information eg, text, image, or icon
  • corresponding to the image data may be displayed through the display 610.
  • the display module 160 may further include a touch circuit 650.
  • the touch circuit 650 may include a touch sensor 651 and a touch sensor IC 653 for controlling the touch sensor 651.
  • the touch sensor IC 653 may control the touch sensor 651 to detect a touch input or a hovering input for a specific position of the display 610.
  • the touch sensor IC 653 may detect a touch input or hovering input by measuring a change in a signal (e.g., voltage, light amount, resistance, or charge amount) for a specific position of the display 610.
  • the touch sensor IC 653 may provide information (e.g., location, area, pressure, or time) about the detected touch input or hovering input to the processor 120.
  • At least a portion of the touch circuit 650 is disposed as part of the display driver IC 630, the display 610, or outside the display module 160. It may be included as part of other components (e.g., auxiliary processor 123).
  • the display module 160 may further include at least one sensor (eg, a fingerprint sensor, an iris sensor, a pressure sensor, or an illumination sensor) of the sensor module 176, or a control circuit therefor.
  • the at least one sensor or a control circuit therefor may be embedded in a part of the display module 160 (eg, the display 610 or the DDI 630) or a part of the touch circuit 650.
  • the sensor module 176 embedded in the display module 160 includes a biometric sensor (e.g., a fingerprint sensor)
  • the biometric sensor records biometric information associated with a touch input through a portion of the display 610. (e.g. fingerprint image) can be obtained.
  • the pressure sensor may acquire pressure information associated with a touch input through part or the entire area of the display 610. You can.
  • the touch sensor 651 or the sensor module 176 may be disposed between pixels of a pixel layer of the display 610, or above or below the pixel layer.
  • FIG. 7 is a functional block diagram of an electronic device 700 according to various embodiments.
  • the electronic device 700 includes a display unit 710, a device context determination unit 720, a two-hand grip determination unit 730, a control affordance display unit 740, a control affordance manipulation detection unit 750, and a screen It includes a size expansion/reduction driver 760 and a function execution unit 770.
  • the electronic device 700 of FIG. 7 may represent an electronic device corresponding to the electronic device 101 of FIG. 1 and/or the electronic device 200 of FIGS. 2 to 5 .
  • the display unit 710 may include a flexible display device that is exposed to the outside and can display an image for the user, that is, the size of the viewable display screen can be changed. You can.
  • the display unit 710 moves the display according to relative movement between housings constituting the electronic device 700. A portion may be arranged to be introduced into the inner space of the housing, i.e., rolled in and not exposed to the outside, or may be operated to be drawn out from the inner space of the housing, i.e., to be spread out and exposed to the outside, and the present disclosure is not limited thereto. .
  • the display unit 710 for example, similar to the display module 160 shown in FIG. 4, includes a touch circuit and performs touch input (e.g., tap, swipe, and drag) made on the display screen. input, etc.) and obtain information about such touch input (e.g., touch location, number of simultaneous touches, area, pressure, or time).
  • touch input e.g., tap, swipe, and drag
  • information about such touch input e.g., touch location, number of simultaneous touches, area, pressure, or time.
  • the device context determination unit 720 displays the current context (state) of the electronic device 700, for example, an image currently running on the electronic device 700 and related to the execution of the display unit 710. Through the viewable screen, it is possible to determine what application is being displayed and/or whether the current display mode of the display unit 710 is landscape mode or portrait mode.
  • the electronic device 700 supports various types of applications (e.g., various messaging applications such as SMS, MMS, and IMS, address book applications, email applications, home screens, gallery applications, various health care applications, and YouTube).
  • Video playback/sharing applications, various music playback/sharing applications, Internet browser applications, various electronic card/payment applications, and/or various memo/note applications may be included, and the present disclosure is not limited thereto) to be executed. Images for services provided through each application may be displayed on the viewable screen of the display unit 710.
  • the two-handed grip determination unit 730 may determine whether the user is holding the electronic device 700 with both hands. According to one embodiment, as described above, when the display unit 710 is configured to detect a touch input made on the display screen, the two-hand grip determination unit 730 provides information about the touch input detected by the display unit 710. can be obtained, and based on it, it can be determined whether the user is holding the electronic device 700 with both hands. For example, when touches are simultaneously detected at two locations on the display screen of the display unit 710 (here, the two touches detected simultaneously may occur simultaneously or occur sequentially to maintain the touch state). The two-handed holding determination unit 730 may determine that the user is holding the electronic device 700 with both hands. According to another embodiment, the two-handed grip determination unit 730 may determine whether to grip with both hands based on another method, for example, a detection result of a separate contact sensor provided in the electronic device 700.
  • the two-hand grip determination unit 730 sequentially generates two touches simultaneously detected on the screen of the display unit 710 (for example, a right-hand touch followed by a left-hand touch or a left-hand touch followed by a right-hand touch). occurs), the location and occurrence order of each touch can be obtained.
  • the two-handed grip determination unit 730 detects two touches simultaneously on the screen of the display unit 710 and determines that the user is holding the electronic device 700 with both hands, and then determines that the user is holding the electronic device 700 with both hands. If one of the touches ends (or disappears) (that is, when the user releases the touch of one hand while touching both the right and left hands), information regarding the termination (or extinction) of such touches can be obtained.
  • the control affordance display unit 740 creates a control affordance object for motion control and displays the control affordance object. It can be displayed on the display screen of unit 710.
  • a predetermined period of time is provided to prevent malfunction and ensure that an operation that matches the user's intention is properly performed. After an interval of (eg, 0.5 seconds) elapses, a control affordance object for motion control may be created and displayed.
  • control affordance object for action control created and displayed by the control affordance display unit 740 is a screen size control item that can be used to expand or reduce the size of the viewable display screen of the display unit 710.
  • a button display or touch dot that the user can select to expand/reduce the viewable screen
  • It may include function control items that can be used to control execution of the function (for example, a button display or touch point that the user can select to execute the function).
  • the above-described screen size control items and function control items may each constitute separate affordance objects (i.e., separate screen size change control objects and function control objects), and these separate affordance objects may be configured separately.
  • Affordance objects may be displayed at positions spaced apart from each other on the screen of the display unit 710 (for example, different positions close to each of the two hands touching the screen).
  • the control affordance display unit 740 displays a screen size change control object near the location of the touch that occurred first, based on the order of occurrence of each of the two touches acquired by the two-hand grip determination unit 730.
  • Function control objects may be displayed near the positions of other remaining touches, and the present disclosure is not limited thereto.
  • each of the screen size change control object and the function control object may be displayed at designated positions on the screen.
  • the screen size change control object described above may be arranged along the direction in which the screen of the display unit 710 is expanded or reduced.
  • the control affordance display unit 740 creates and displays a screen size change control object arranged in the horizontal direction (i.e., left and right direction).
  • a screen size change control object arranged vertically i.e., up and down
  • the function control object allows the above-described function control items to form a predetermined shape (e.g., -shape, l-shape, diagonal shape, triangle, square, circle, cross shape, grid shape or any other shape). It may have a cluster arrangement, and the present disclosure is not limited thereto.
  • a predetermined shape e.g., -shape, l-shape, diagonal shape, triangle, square, circle, cross shape, grid shape or any other shape. It may have a cluster arrangement, and the present disclosure is not limited thereto.
  • FIGS. 8 and 9 show various example situations in which various types of control affordance objects for motion control generated by the control affordance display unit 740 are displayed on the display screen of the display unit 710. .
  • a screen size change control object 811 Including screen size control items 812 and 813 are displayed and a function control object 814 is displayed near the right hand touch position (in this drawing, each function control item 815 and 816 is arranged to form a diagonal line (/)
  • FIG. 8 shows various example situations in which various types of control affordance objects for motion control generated by the control affordance display unit 740 displayed on the display screen of the display unit 710.
  • a screen size change control object 811 Including screen size control items 812 and 813
  • a function control object 814 is displayed near the right hand touch position
  • each function control item 815 and 816 is arranged to form a diagonal line (/)
  • a control object 831 (including screen size control items 832 and 833) is displayed, and a function control object 834 (in this figure, each function control item 835 and 836) is displayed near the left hand touch position.
  • ⁇ is arranged to form a shape, and the present disclosure is not limited thereto) is shown.
  • a control object 841 (including screen size control items 842 and 844) is displayed, and a function control object 844 (in this figure, each function control item 845 and 846) is displayed near the left hand touch location.
  • ⁇ is arranged to form a shape, and the present disclosure is not limited thereto) is shown.
  • control affordance display unit 740 configures one integrated control affordance object including all of the screen size control items and function control items described above, and displays the display screen of the display unit 710. It can be displayed at a location on the screen (for example, a location near one of the two hands touching the screen).
  • the integrated control affordance object displayed on the screen may have the form of a navigation menu in which screen size control items and function control items are each arranged in a circle, and the present disclosure is not limited thereto.
  • screen size control items may be arranged along the direction in which the screen of the display unit 710 is expanded or contracted.
  • the control affordance display unit 740 determines that the user is holding the electronic device 700 with both hands, for example, when the two-hand holding determination unit 730 determines that the user is holding the electronic device 700 with both hands based on two touches simultaneously existing on the display screen.
  • an integrated control affordance object may be displayed near the location of either touch, and the present disclosure is not limited thereto.
  • the control affordance display unit 740 determines that the user is holding the electronic device 700 with both hands based on two touches simultaneously present on the display screen, the control affordance display unit 740 displays the above-mentioned As described above, when separate screen size change control objects and function control objects are displayed on the screen, and then it is detected that one of the two touches existing on the display screen has ended (or disappears), By changing the display screen, the integrated control affordance object described above can be displayed near the location of the touch being maintained.
  • the control affordance display unit 740 displays the integrated control affordance object 910. A case in which is created and displayed on the display screen is shown.
  • the screen size change control is first performed. After displaying the object 920 and the function control object 930 as separate objects on the display screen, when one of the two touches existing on the display screen is terminated (or disappears), the integrated control affordance A situation for displaying an object 940 is shown.
  • FIG. 9 when the electronic device 700 is in portrait mode, integrated control affordance objects 910 and 940 in the form of a navigation menu are displayed on the right side of the display screen.
  • screen size control is performed in the vertical direction (i.e., the direction in which the screen size of the electronic device 700 is expanded or reduced) of the integrated control affordance objects 910 and 940.
  • Items 912, 913, 942, and 943 are arranged, and items 914, 915, 945, and 946 for function control are arranged in the left and right directions, respectively, but the present disclosure is not limited thereto. .
  • control affordance display unit 740 creates and displays separate screen size change control objects and function control objects (see (a) to (d) of FIG. 8), or creates and displays an integrated control affordance object
  • screen size control items (812, 813, 822, 823, 832, 833, 842) for controlling the expansion or contraction of the viewable display screen size , 843, 912, 913, 922, 923, 942, 943) are explicitly described as being displayed on the screen, but the present disclosure is not limited thereto.
  • control affordance display unit 740 creates and displays a control affordance object for motion control consisting only of function control items specifying the execution of functions of the electronic device, and displays a predetermined number of items of the control affordance object for motion control.
  • Items e.g., function control items arranged in a direction that expands or reduces the display screen size, or predetermined function control items that are predetermined to be desirable in parallel with the expansion or reduction of the screen size due to the characteristics of other functions
  • execute the corresponding function execute the corresponding function. It can be configured to support controls for expanding or reducing the viewable display screen size along with controls for viewing.
  • Figure 9(c) shows a display screen in which a control affordance object 950 for operation control including only function control items is created and displayed.
  • the control affordance object 950 for motion control is similar to the function control objects 814, 824, 834, and 844 shown in (a) to (d) of FIG. 8,
  • the context of the electronic device 900 determined by the device context determination unit 720, for example, the function control items 955 and 956 for controlling each of the functions related to the application running on the electronic device 700 are indicated with a slash (/). It may have a form arranged in a shape.
  • a predetermined function control item for example, the direction in which the screen size of the electronic device 700 is expanded or reduced (upward in the case of (c) of FIG. 9)
  • the function control item 955 placed in the direction (direction) may support control of expanding or reducing the screen size along with execution of the corresponding function.
  • execution of the corresponding function e.g., input panel for writing
  • the screen size of the electronic device 700 may be controlled to be expanded.
  • expanding or reducing the screen size, or executing each function means expanding or reducing the screen size, or although it has been described above that the execution of each function relies on selecting each designated item, the present disclosure is not limited thereto.
  • the screen size change control object and the function control object are each displayed as separate control affordance objects or screen size control
  • the screen size may be expanded or reduced in parallel as determined in advance.
  • control affordance manipulation detection unit 750 may detect a user's manipulation of a control affordance object for motion control displayed on a display screen. According to one embodiment, the user moves the finger touching the display screen of the display unit 710 to change the desired screen size (expand or reduce) and/or execute the function, and selects each item of the control affordance object for motion control.
  • screen size control items e.g., items 812, 813, 822, 823, 832, 833, 842 shown in (a) to (d) of Figure 8 or (a) or (b) of Figure 9, 843, 912, 913, 922, 923, 942, 943)
  • a function control item e.g., the item 815 shown in (a) to (d) of FIG. 8 or (a) to (c) of FIG. 9 816, 825, 826, 835, 836, 845, 846, 914, 915, 935, 936, 945, 946)
  • a function control item e.g., the item 815 shown in (a) to (d) of FIG. 8 or (a) to (c) of FIG. 9 816, 825, 826, 835, 836, 845, 846, 914, 915, 935, 936, 945, 946
  • the control affordance manipulation detection unit 750 may detect the movement direction and/or selection of the user's finger. According to one embodiment, the user moves the finger touching the display screen of the display unit 710 to change the desired screen size (expand or reduce) and/or execute the function, for example, (c) in FIG. 9. Items 955 and 956 on the control affordance object 950 for motion control can be selected (e.g., selection by dragging or swiping), and the manipulation detection unit 750 detects the movement direction and/or selection of the user's finger. It can be detected.
  • the screen size expansion/reduction driver 760 and the function execution unit 770 may detect user manipulation detected by the control affordance manipulation detection unit 750, such as which item the user selected, and/ Or, based on the direction of the user's finger movement (e.g., drag direction) to select the corresponding item, drive the electronic device 700 to expand or reduce the size of the viewable screen of the display unit 710, and/ Alternatively, a predetermined function can be executed.
  • the user manipulation detected by the control affordance manipulation detection unit 750 is, for example, a screen size control item shown in (a) to (d) of FIG. 8 or (a) to (c) of FIG. 9.
  • the driving unit 750 may drive the electronic device 700 to expand or reduce the viewable screen size of the display unit 710 according to the selected item.
  • the user operation detected by the control affordance operation detection unit 750 is, for example, the function control item shown in (a) to (d) of FIG. 8 or (a) to (c) of FIG. 9 ( 815, 816, 825, 826, 835, 836, 845, 846, 914, 915, 935, 936, 945, 946, 955, 956)
  • the function execution unit 770 executes the function according to the selected item.
  • the electronic device 700 can be controlled to execute.
  • the user operation detected by the control affordance operation detection unit 750 is, for example, the function control item shown in (a) to (d) of FIG. 8 or (a) to (c) of FIG. 9 ( 815, 816, 825, 826, 835, 836, 845, 846, 914, 915, 935, 936, 945, 946, 955, 956), and such selection is made in a predetermined manner on the electronic device 700.
  • the function execution unit 760 executes a function according to the selected item (e.g., The electronic device 700 may be driven to expand or reduce the viewable screen size of the display unit 710 while executing an input panel display for writing.
  • FIG. 10 is an exemplary procedure flowchart illustrating a process for displaying and manipulating a control affordance object for motion control performed by the electronic device 700, according to an embodiment.
  • step 1002 it may be determined whether two simultaneous touches are detected on the display screen of the electronic device 700.
  • the presence of two touches by the user's finger on the display screen at the same time may be detected by a touch sensor provided in the display unit 710.
  • a control affordance object for controlling an operation may be created and displayed on the display screen in step 1004.
  • a control affordance object for motion control is created and displayed. It can be displayed on the screen. This is to prevent cases in which two touches are momentarily detected even when the user does not intend to hold and operate the electronic device 700 with both hands and a control affordance object for motion control is created and displayed inconsistently with the user's intention.
  • the screen size change control object including items for controlling the expansion or reduction of the size of the viewable screen and the function control object including items for controlling the execution of functions of the electronic device are separate and spaced apart from each other. It can be displayed on the display screen as a graphic object (see Figures 8 (a) to (d)). According to one embodiment, when two touches that exist simultaneously on the display screen are detected in step 1002, a screen size change control object is displayed near the touch position of the touch that occurred first among the two touches, and the other touch. A function control object may be displayed near the touch position (see (a) to (d) of FIGS. 8), but the present disclosure is not limited thereto.
  • an integrated control affordance object including both items for controlling the expansion or contraction of the size of the viewable screen and items for controlling the execution of functions of the electronic device is displayed as a single graphic object on the display screen. (see (a) of FIG. 9).
  • an integrated control affordance object may be displayed near the touch position of the touch that occurred first among the two touches, but the present disclosure is not limited thereto.
  • control affordance objects for motion control including screen size change control objects, function control objects, and integrated control affordance objects
  • the luminance of the image being displayed on the display screen is reduced. and only the control affordance object for motion control displayed thereon is brightly displayed, so that the user's perception can be focused on the control affordance object for motion control, and the present disclosure is not limited thereto.
  • step 1006 it is determined whether there is only one touch present on the display screen, i.e., whether the user has removed one of his or her hands from the display screen and one of the two touches previously determined in step 1002 has disappeared. can do.
  • the procedure may proceed to step 1008 to modify the control affordance object for motion control, as needed.
  • a screen size change control object including items for controlling expansion or contraction of the size of the viewable screen, and a function including items for controlling execution of functions of the electronic device.
  • the integrated control affordance object includes screen size control items arranged in both directions in which the size of the viewable screen of the display is expanded or reduced, and the current state of the electronic device 700.
  • Function control items may be included to control the execution of functions according to status.
  • step 1006 if one of the two touches that existed on the display screen is not determined to have disappeared (i.e., both hands maintain touch), the procedure can proceed directly to step 1010.
  • step 1010 it may be determined whether a user selection has occurred for a given item of a control affordance object for motion control. If it is determined at step 1010 that such a user selection has occurred, the process proceeds to step 1012 to obtain information regarding that selection, such as what the selected item was and/or the direction in which the user operation for selecting the item occurred (e.g. For example, information about the direction in which the drag was performed may be obtained.
  • control of a corresponding operation on the electronic device 700 may be performed based on the information obtained in step 1012.
  • the electronic device 700 may be controlled to expand or reduce the screen size according to a predefined definition.
  • the electronic device 700 may be controlled to execute the corresponding function according to a predefined function.
  • the electronic device ( 700) may be controlled to expand or reduce the screen size while executing the corresponding function, according to such predefined conditions.
  • the information obtained in step 1012 is a selection for a specific function control item and the direction in which such selection is made corresponds to the direction of expansion of the display screen (e.g., dragging in the direction of expansion)
  • the electronic device 700 The operation may be controlled so that the display screen is expanded while executing the corresponding function according to predefined conditions.
  • the operation may be controlled so that the display screen is reduced while simultaneously executing the corresponding function according to a predefined definition.
  • the control generated in step 1004 or step 1008 and displayed on the display screen of the electronic device 700 An affordance object can be removed from the display screen. According to one embodiment, as described above, if the luminance of the image below the control affordance object is displayed to decrease while the control affordance object is displayed, the display of the control affordance object is removed and the luminance of the image is restored to its original state. may be possible, and the present disclosure is not limited thereto.
  • FIG. 11 is a diagram illustrating example situations in which various types of control affordance objects for operation control are displayed and utilized while the electronic device 700 is running a message application in portrait mode, according to an embodiment.
  • the screen size change control object 11121 is displayed near the touch position of the side on which the touch was made first (e.g., the left hand), and the function control object 11125 is displayed on the side on which the touch was made later (e.g., the left hand). For example, it may be displayed near the touch position of the right hand, and the present disclosure is not limited thereto.
  • the screen size change control object 11121 is arranged up and down along the direction in which the viewable screen of the electronic device 700 is expanded or reduced, for example, vertically, with a screen expansion item 11122 at the top. It is placed and a screen reduction item (11123) is placed at the bottom.
  • the function control object 11125 includes function control items (i.e., items that control the execution of each function determined according to the currently running application), such as a message writing item 11126 and an emoji/sticker insertion item. (11127), but the present disclosure is not limited thereto.
  • the function control object displayed when the message application is executed may further include various function control items, including replying to a received message and attaching a file. According to various embodiments, more or fewer function control items may be included for each running application.
  • a message creation item 11126 is placed in the upper right (e.g., the side where the screen is expanded or reduced in portrait mode) to form a diagonal shape, and in the lower left.
  • An emoji/sticker insertion item 11127 is disposed, but the present disclosure is not limited thereto.
  • a diverse number of function control items determined to be included in the function control object for each running application may be clustered and arranged in various forms, and the present disclosure is not limited to a specific form.
  • there is a function control item for a predetermined function that is preferably combined with the expansion or contraction of the viewable screen of the electronic device due to the nature of the function.
  • the function control object may be arranged along the direction in which the screen is expanded or reduced, and the present disclosure is not limited to a specific form.
  • an integrated control affordance object 11130 is created and displayed.
  • integrated control affordance object 11130 may be displayed near the touch location on the side on which the touch is being maintained (e.g., right hand).
  • the integrated control affordance object 11130 has the form of a circular navigation menu, with a screen expansion item 11132 displayed at the top of the menu, a screen reduction item 11133 displayed at the bottom, and a screen expansion item 11133 displayed on the left and right sides, respectively.
  • Items for executing functions related to the running message application that is, an emoji/sticker insertion item 11137 and a message creation item 11136, are displayed, but the present disclosure is not limited thereto.
  • manipulation of integrated control affordance object 11130 occurs by the user.
  • the user can move the touch position of the right hand (e.g., by dragging in an upward direction) toward the upper menu item of the integrated control affordance object 11130, that is, the screen expansion item 11132, The disclosure is not limited thereto), and the screen expansion item 11132 may be selected.
  • the electronic device 700 may be controlled to expand the viewable screen, and in situation 1115, the viewable screen may be expanded to display the image of the message application (the message shown in situation 1111) through a wide screen. area (including message areas that were not shown) are being displayed.
  • the viewable screen of the electronic device 700 is expanded (e.g., situation 1115 in (a) of FIG. 11).
  • the screen is touched by the hand.
  • the screen touch by both hands may be performed in the order of left hand to right hand, and the present disclosure is not limited thereto.
  • separate screen size change control objects 11222 and function control objects 11225 are used for left and right hands, respectively. It is displayed on the screen near the touch location.
  • the screen size change control object 11221 is displayed near the touch position of the side on which the touch was made first (e.g., the left hand), and the control affordance 11223 for controlling the function operation is displayed on the side on which the touch was made later. It may be displayed near the touch location of the left hand (eg, right hand), and the present disclosure is not limited thereto.
  • the screen size change control object 11221 is arranged up and down along the vertical direction in which the viewable screen of the electronic device 700 is expanded or contracted, and is located at the top. A screen expansion item (11222) is placed and a screen reduction item (11223) is placed at the bottom.
  • the function control object 11225 includes a message creation item 11226 and an emoji/sticker insertion item 11227, and the message creation item 11226 is placed at the top to form a diagonal shape, and the emoji/sticker insertion item is on the left.
  • the insertion item 11227 is placed.
  • the user manipulates the screen size change control object 11222 while maintaining touch with both hands.
  • the user can move the touch position (e.g., by dragging in the downward direction) toward the lower menu item of the screen size change control object 11221, that is, the screen reduction item 11223, and the present disclosure is not limited thereto), and thus the screen reduction item 11223 can be selected.
  • the electronic device 700 may be controlled to reduce the viewable screen, and in situation 1124, with the viewable screen reduced, the image of the message application (in situation 1121) is displayed through the narrow screen. (including some of the visible areas) is being shown.
  • the function control object 11325 includes two function control items, that is, a message creation item 11326 and an emoji/sticker insertion item 11327, and the message creation item 11326 is arranged at the top to form a diagonal shape. and an emoji/sticker insertion item 11327 is placed on the left, but the present disclosure is not limited thereto.
  • situation 1133 the user manipulates the function control object 11325 while maintaining touch with both hands. As shown, the user moves the touch position (e.g., drags in the upward direction) toward a predetermined item among the function control items of the function control object 11325, for example, the message creation item 11326 (i.e., upward direction). It can be moved through, and the present disclosure is not limited thereto.
  • the message writing item 11326 is selected in situation 1133
  • situation 1134 the viewable screen of the electronic device 700 is expanded and a screen for writing a message is provided through a wide screen, that is, an input panel (text input field) (11342) and keyboard display (11344)) are displayed. In the expanded viewable screen of the situation 1115 in (a) of FIG.
  • a predetermined function item (e.g., a message creation item 11326 and/or an emoji/sticker insertion item 11327) ) may result in expansion or reduction of the screen size, along with execution of the corresponding function.
  • any of the function control items included in the control affordance for motion control implicitly controls the expansion or contraction of the viewable screen of the electronic device 700 along with the execution of the function when the corresponding item is selected. It may be determined that will be accomplished.
  • a predetermined function item (e.g., the message creation item 11326 and/or the emoji/sticker insertion item 11327 shown in FIG.
  • the description is focused on the case where a control affordance object for motion control is displayed and manipulated on the message display while a message application is executed and a message with a specific person is displayed on the display screen, but the present disclosure is not limited thereto.
  • the control affordance object for motion control can be displayed and manipulated by the various user operations described above, and accordingly, the electronic device 700 ), appropriate operation control can be achieved.
  • the list of incoming or outgoing messages is displayed, if the screen size of the display is expanded or reduced by manipulating the control affordance object for motion control, more or fewer messages are displayed on the list accordingly. can be displayed.
  • FIG. 12 illustrates an example situation in which various types of control affordance objects for motion control are displayed and utilized while the electronic device 700 is running a video playback/sharing application in landscape mode, according to an embodiment of the present disclosure.
  • FIG. 12 shows that the electronic device shown in FIG. 12 is in landscape mode (portrait mode in FIG. 11) and the application running on the electronic device is a video playback/sharing application (message application in FIG. 11). It is differentiated in that respect and shows similar content overall.
  • FIG. 11 can also be applied to FIG. 12, and the following description will mainly focus on differences in FIG. 12.
  • a comment writing item 12127 is arranged in the lower left corner (e.g., the side where the screen is expanded or reduced in landscape mode) to form a diagonal shape. and an image aspect ratio conversion item 12126 is placed in the upper right, but the present disclosure is not limited thereto.
  • a variety of function control items determined to be included in the function control object for each running application may be clustered and arranged in various forms, and the present disclosure is not limited to a specific form.
  • the function control object 12125 includes function control items (i.e., items that control the execution of each function determined according to the currently running application), such as the video aspect ratio conversion item 12126 and the comment writing item 12127. It includes, but the present disclosure is not limited thereto.
  • the function control object displayed on the screen when running a video playback/sharing application may further include various function control items, including a comment writing item while watching a video, a video search item, and a video link sharing item.
  • the function control object includes a function item that requires entering a certain text/number/image or inputting search information for searching other information, such as a comment writing item or an image search item, and such function item
  • an input panel eg, including a keyboard display
  • display of a sharing information selection panel for selecting such video link to share and/or object to share on the display screen. may be provided.
  • the screen size change control object 12121 is manipulated by the user.
  • the user can move the touch position of the left hand (e.g., by dragging in the left direction) toward the left item of the screen size change control object 12121, that is, the screen expansion item 12122.
  • the screen expansion item 12122 may be selected.
  • the electronic device 700 may be controlled to expand the viewable screen, and in situation 1214, with the viewable screen expanded, the image of the video play/share application is displayed on the wide screen (situation 1211 ) is shown (including the image area that was visible and the image area that was not shown in the image shown in ).
  • the viewable screen of the electronic device 700 is expanded (e.g., situation 1214 in (a) of FIG. 12).
  • the screen is touched by the hand.
  • situation 1222 separate screen size change control objects 12221 and function control objects 12225 are displayed on the screen near the left and right hand touch locations, respectively.
  • the screen size change control object 12221 is arranged left and right along the horizontal direction in which the viewable screen of the electronic device 700 is expanded or reduced, so that the screen size change control object 12221 is on the left.
  • a screen expansion item (12222) is placed and a screen reduction item (12223) is placed on the right.
  • the function control object 12225 includes an image aspect ratio conversion item 12226 and a comment writing item 12227, and the video aspect ratio conversion item 12226 is placed in the upper right to form a diagonal shape, and a comment writing item is located in the lower left. (12237) is placed.
  • an integrated control affordance object 12230 is created and displayed.
  • integrated control affordance object 12230 may be displayed near the touch location on the side on which the touch is being maintained (e.g., right hand).
  • the integrated control affordance object 12230 has the form of a circular navigation menu, with a screen expansion item 12232 displayed on the left side of the menu, a screen reduction item 12233 displayed at the bottom, and a screen expansion item 12233 displayed on the upper and lower sides, respectively.
  • Items for executing functions related to the running messaging application that is, video aspect ratio conversion item 12236 and comment writing item 12237, are displayed, but the present disclosure is not limited thereto.
  • situation 1224 manipulation of integrated control affordance object 12230 occurs by the user.
  • the user can move the touch position of the right hand (e.g., by dragging in the right direction) toward the menu right item of the integrated control affordance object 12230, that is, the screen reduction item 12233.
  • the screen reduction item 12233 may be selected.
  • the electronic device 700 may be controlled to reduce the viewable screen, and in situation 1225, with the viewable screen reduced, the image of the video playback/sharing application is displayed through the narrow screen (situation ( (including some of the areas shown in 1221) are shown.
  • situation 1233 the user manipulates the function control object 12325 while maintaining touch with both hands. As shown, the user can move the touch position (e.g., by dragging in an upward direction) toward a predetermined item among the function control items of the function control object 12325, for example, the image aspect ratio conversion item 12326. , the present disclosure is not limited thereto).
  • the video aspect ratio conversion item 12326 is selected in situation 1233
  • situation 1234 the viewable screen of the electronic device 700 is expanded and the converted aspect ratio (e.g., 16:9) is displayed through a wide screen. Video is being displayed.
  • a predetermined function item e.g., video aspect ratio conversion item 12326 and/or comment writing item 12327
  • Selection may result in expansion or contraction of the screen size, along with execution of the corresponding function, but the present disclosure is not limited thereto.
  • any item among the function execution items included in the control affordance for motion control implicitly controls the expansion or contraction of the viewable screen of the electronic device 700 along with the execution of the function when the item is selected. It may be determined that will be accomplished.
  • a predetermined function item e.g., the video aspect ratio conversion item 12326 and/or the comment writing item 12327 shown in FIG.
  • FIG. 13 illustrates an example situation in which various types of control affordance objects for motion control are displayed and utilized while the home screen is displayed on the display screen while the electronic device 700 is in portrait mode, according to an embodiment of the present disclosure.
  • FIG. 14 is a diagram illustrating example situations in which various types of control affordance objects for motion control are displayed and utilized while the electronic device 700 is running a gallery application in portrait mode, according to an embodiment.
  • FIG. 15 is a diagram illustrating example situations in which various types of control affordance objects for motion control are displayed and utilized while the electronic device 700 is running a health care application in portrait mode, according to an embodiment.
  • Figures 13 to 15 are different from Figure 11 in that they are in the home screen state or a gallery application or health management application is running (in Figure 11, a message application is running), and overall show similar content. there is. Unless otherwise stated, the description regarding FIG. 11 can also be applied to FIGS. 13 to 15, and the following description will mainly focus on differences in FIGS. 13 to 15.
  • the screen size change control object 13121 according to the detection of the user's touch with both hands 1311 and 1411. 14121) and function control objects 13125 and 14125 are displayed (1312 and 1412) on the screen near the left and right hand touch positions, respectively.
  • the screen size change control objects 13121 and 14121 are arranged up and down along the direction in which the viewable screen of the electronic device 700 is expanded or reduced, for example, vertically, and the screen expansion items 13122 and 14122 are arranged at the top. and screen reduction items (13123, 14123) are placed at the bottom.
  • the function control object 14125 in (a) of FIG. 14 includes an image search item 14126 (e.g., upon execution, displaying a search information input panel for entering/selecting a search term or search indicator) and an image editing item 14127.
  • each function control object may include a varying number of function control items depending on the state of the electronic device, and such function control items depend on the number of function control items included in the function control object. Accordingly, they may be arranged in groups to form various shapes (eg, -shaped, l-shaped, diagonal, triangular, square, circular, cross-shaped, grid-shaped or any other shape).
  • an integrated control affordance object 15120 is created and displayed (1512) according to detection (1511) of the user's touch with both hands.
  • the integrated control affordance object 15120 in (a) of Figure 15 has two screen expansion or reduction items and two function control items arranged in all directions, that is, the screen expansion item 15122 is displayed at the top of the menu, A screen reduction item 15123 is displayed at the bottom of the menu, and the above-mentioned function control items are displayed on the left and right, respectively, namely a diet input item 15126 (e.g., when running, displaying an information input panel for entering diet information) and information details. It may have the form of a circular navigation menu displaying a view item 15127 (e.g., displaying a detailed information screen for the selected item).
  • the user removes his left hand from the screen and only touches with his right hand are maintained, and accordingly, the screen size change control object 13121 displayed on both sides of the screen , 14121) and integrated control affordance objects (13130, 14130) are being created and displayed (1313, 1413) instead of the function control objects (13125, 14125).
  • the integrated control affordance object 13130 in (a) of FIG. 13 has a screen expansion or reduction item and two function control items arranged in all directions, that is, the screen expansion item 13132 is displayed at the top of the menu, and the screen expansion item 13132 is displayed at the bottom of the menu.
  • a screen reduction item 13133 is displayed, and may have the form of a circular navigation menu with the above-mentioned function control items 13126 and 13127 displayed on the left and right sides, respectively.
  • the integrated control affordance object 14130 in (a) of Figure 14 displays a screen expansion item 14132 at the top of the menu, a screen reduction item 14133 at the bottom of the menu, and an image search item 14126 on the right. and image sharing items (14128) are displayed, and the emoji/sticker insertion item (14129) and image editing item (14127) are displayed on the left.
  • integrated control affordance objects 13130 and 15120 have four selections on all sides, whereas integrated control affordance object 14130 in Figure 14 has a larger number (i.e., four) of functions. It is configured to have six selection items to accommodate the control items, but the present disclosure is not limited thereto.
  • the integrated control affordance object includes screen size control items arranged toward opposite directions (e.g., respective directions in which the screen is expanded or contracted) based on a predetermined center, and screens arranged on both sides. It may be configured to include function control items arranged to surround the above-described center among the control items, but the present disclosure is not limited thereto.
  • the user moves the touch position of the right hand (e.g., in an upward direction) toward the upper menu items of the integrated control affordance objects 13130, 14130, and 15120, i.e., the screen expansion items 13132, 14132, and 15122. It can be moved by dragging (the present disclosure is not limited thereto), and thus the screen expansion items 13132, 14132, and 15122 can be selected (1314, 1414, 1513). Accordingly, the electronic device 700 can be controlled to expand the viewable screen, and with the viewable screen expanded, images of each execution application are displayed through the wide screen (1315, 1415, 1514). ).
  • the screen is touched by both hands of the user while the viewable screen of the electronic device 700 is expanded (1321, 1421). .
  • Separate screen size change control objects 13221 and 14221 and function control objects 13225 and 14225 are displayed on the screen near the left and right hand touch positions, respectively (1322 and 1422).
  • the user manipulates the screen size change control object (13221, 14221) while maintaining touch with both hands (1323, 1423).
  • the user can move the touch position (e.g., by dragging in the downward direction) toward the bottom menu items of the screen size change control objects 13221 and 14221, that is, the screen reduction items 13223 and 14223.
  • the screen reduction items 13223 and 14223 may be selected. Accordingly, the electronic device 700 may be controlled to reduce the viewable screen, and while the viewable screen is reduced, the image of each running message application (among the areas shown before reduction) is displayed through the narrow screen. (including some areas) is shown (1324, 1424).
  • the screen is touched by both hands of the user while the viewable screen of the electronic device 700 is expanded (1521), and the integrated screen is touched with both hands held by the user.
  • a control affordance object 15220 is displayed on the screen (1522).
  • the user manipulates the integrated control affordance object 15220 while maintaining touch with both hands (1523). As shown, the user moves the touch position toward the lower menu item of the integrated control affordance object 15220, that is, the screen reduction item 15223, thereby selecting the screen reduction item 15223.
  • the electronic device 700 may be controlled to reduce the viewable screen, and while the viewable screen is reduced, the image of the health care application running through the narrow screen (the upper part of the area shown before reduction) may be controlled to reduce the viewable screen. (including some areas) is shown (1524).
  • the screen is touched by both hands of the user while the viewable screen of the electronic device 700 is reduced. (1331, 1431, 1531), and accordingly, separate screen size change control objects (13321, 14321, 15321) and function control objects (13325, 14325, 15325) are displayed on the screen (1332, 1432, 1532). .
  • the user manipulates the function control objects 13325, 14325, and 15325 while maintaining touch with both hands.
  • the user selects a certain item among the function control items of the function control objects 13325, 14325, and 15325, for example, the screen split item 13326 in (c) of FIG.
  • the touch position can be moved (e.g., moved by dragging in an upward direction, and the present disclosure is not limited thereto) toward the diet input item 15326. there is.
  • each function control item i.e., screen split item 13326, image search item 14326, and diet input item 15326
  • each function corresponding thereto is executed while simultaneously watching the electronic device 700.
  • the available screen is expanded and the corresponding image is displayed on a wide screen (1334, 1434, 1534).
  • the existing screen is divided into two screens through the expanded viewable screen, and in Figure 14 (c), image search is performed on the expanded viewable screen.
  • a screen e.g., a screen including a search information input panel for entering search-related information, such as entering a search word or selecting a person's face as a search criterion
  • search-related information such as entering a search word or selecting a person's face as a search criterion
  • Figure 15 (c) a screen for entering a diet
  • a screen including an information input panel for character input is displayed (1334, 1434, 1534).
  • various forms of A control affordance object for controlling the operation of is displayed, and according to user manipulation, the viewable screen may be expanded/contracted, a predetermined function related to the current state may be executed, or a predetermined function may be executed in parallel with the expansion/contraction of the viewable screen.
  • an information input function that allows an application running on an electronic device to input or edit text, numbers, or images (e.g., creating or editing a message/email or memo/note, entering/editing an address or phone number) , image input/editing, etc.) and the control affordance object includes such an information input function item, when the user selects the item, the screen for information input (e.g., a keyboard display) is displayed while expanding the size of the screen. information input panel) may be provided.
  • an information search function (e.g., message/e-mail or memo/note search, address search, image search, image search) allows an application running on an electronic device to search for specific information among information stored in connection with the application.
  • Search, file search, etc.) or information sharing functions that support the sharing of specific information among the information stored in connection with the application e.g., image sharing, current screen sharing, address book sharing, etc.
  • information retrieval functions e.g., image sharing, current screen sharing, address book sharing, etc.
  • the screen is expanded in size and a screen for retrieving such information is displayed (e.g., for entering a search word or entering/selecting search criteria information).
  • a search information input panel) or a screen display for information sharing (eg, a shared information selection panel for selecting information to be shared and/or a sharing target) may be provided.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one element from another, and may be used to distinguish such elements in other respects, such as importance or order) is not limited.
  • One (e.g. first) component is said to be “coupled” or “connected” to another (e.g. second) component, with or without the terms “functionally” or “communicatively”.
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a storage medium e.g., built-in memory 136 or external memory 138
  • a machine e.g., electronic device 101, 200, 500
  • a machine e.g., electronic device 101, 200, 500
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

다양한 실시예들에 따라서, 전자 장치는, 전자적 제어에 의해 외부로 노출되는 시청 가능 화면의 크기의 변경이 가능한 플렉서블 디스플레이, 상기 플렉서블 디스플레이와 전기적으로 연결된 프로세서, 및 상기 프로세서와 전기적으로 연결되고 하나 이상의 명령어들을 저장한 메모리를 포함한다. 상기 하나 이상의 명령어는, 상기 전자 장치에 의해 실행되는 경우, 상기 프로세서로 하여금, 상기 전자 장치의 현재 상태를 검출하고, 상기 전자 장치를 사용자가 양손으로 파지하고 있는지를 결정하고, 상기 사용자가 양손으로 파지하고 있다고 결정된 경우, 상기 검출된 전자 장치의 현재 상태에 적어도 부분적으로 기초하여, 컨트롤 어포던스 객체를 생성하여 상기 플렉서블 디스플레이의 상기 시청 가능 화면 상에 표시하도록 할 수 있다. 그 외에도 다양한 실시예들이 가능하다.

Description

전자 장치 및 컨트롤 어포던스 객체 표시 방법
다양한 실시예는 전자 장치 및 전자 장치에서 컨트롤 어포던스 객체를 표시하는 방법에 관한 것으로서, 예를 들면 사용자가 해당 전자 장치를 한손으로 파지한 상태에서 양손으로 바꾸어 파지한 것이 판정된 경우, 해당 전자 장치의 동작 제어에 이용될 수 있는 컨트롤 어포던스 객체가, 전자 장치의 화면 상에 표시되는 전자 장치 및 그러한 컨트롤 어포던스 객체의 표시 방법에 관한 것이다.
높은 휴대성을 제공하면서도 필요에 따라 더 큰 크기의 화면을 제공할 수 있도록 구성된 플렉서블 디스플레이를 구비한 전자 장치가 주목받고 있다. 특히, 플렉서블 디스플레이의 일부분이 전자 장치의 하우징 내부로 말려들어 가 작은 크기를 유지하고 있다가, 필요한 때 전자 장치의 하우징 내부로 말려들어 가 있던 플렉서블 디스플레이의 부분이 외부로 펼쳐져서 사용자에게 더 큰 크기의 화면을 제공하도록 동작 가능한 롤러블 디스플레이를 구비한 전자 장치에 대한 관심이 높아지고 있다.
디스플레이를 구비한 전자 장치를 이용할 때, 사용자는, 디스플레이에 표시된 정보를 단순히 보기만 하는 경우에는 주로 한손으로 해당 전자 장치를 파지한 채 이용하는 경향이 있고, 반대로 디스플레이에 표시된 정보를 보는 것에 더하여 좀 더 적극적인 조작 행위, 예컨대 전자 장치에서 실행 중인 애플리케이션과 관련된 정보의 입력, 편집, 검색 등의 다양한 조작 행위를 하고자 하는 경우에는 양손을 모두 사용하여 해당 전자 장치를 파지하는 경향이 있다. 한편, 외부로 노출되는 디스플레이의 시청 가능 화면의 크기가 확장 또는 축소 가능한 플렉서블 디스플레이(예컨대, 롤러블 디스플레이)를 구비한 전자 장치의 경우, 전술한 해당 전자 장치에 관한 적극적 조작 행위는, 그 시청 가능 화면의 크기의 확장 또는 축소를 필요로 하는 경우가 많다.
본 개시의 일 측면은, 사용자의 양손 파지가 검출된 경우, 외부로 노출되는 디스플레이의 시청 가능 화면의 크기 변경(확장/축소) 제어 또는 일부 기능의 실행 제어에 이용될 수 있는 동작 제어용 컨트롤 어포던스 객체가 화면 상에 표시되도록 구성된 전자 장치 및 그러한 전자 장치에서의 동작 제어용 컨트롤 어포던스 객체 표시 방법을 제공하는 것이다.
본 개시의 다른 측면은, 사용자의 양손 파지 검출에 응답하여 전자 장치의 디스플레이 화면에 표시된 동작 제어용 컨트롤 어포던스 객체에 대한 조작을 통해 해당 전자 장치의 시청 가능 화면의 크기를 변경하고/하거나 일부 기능의 실행이 수행되는 전자 장치를 제공하는 것이다.
다양한 실시예들에 따라서, 전자 장치는, 전자적 제어에 의해 외부로 노출되는 시청 가능 화면의 크기의 변경이 가능한 플렉서블 디스플레이, 상기 플렉서블 디스플레이와 전기적으로 연결된 프로세서, 및 상기 프로세서와 전기적으로 연결되고 하나 이상의 명령어들을 저장한 메모리를 포함한다. 상기 하나 이상의 명령어는, 상기 전자 장치에 의해 실행되는 경우, 상기 프로세서로 하여금, 상기 전자 장치의 현재 상태를 검출하고, 상기 전자 장치를 사용자가 양손으로 파지하고 있는지를 결정하고, 상기 사용자가 양손으로 파지하고 있다고 결정된 경우, 상기 검출된 전자 장치의 현재 상태에 적어도 부분적으로 기초하여, 컨트롤 어포던스 객체를 생성하여 상기 플렉서블 디스플레이의 상기 시청 가능 화면 상에 표시하도록 할 수 있다.
다양한 실시예들에 따라서, 전자적 제어에 의해 외부로 노출되는 시청 가능 화면의 크기가 변경 가능한 플렉서블 디스플레이를 구비한 전자 장치에서 수행되는, 상기 시청 가능 화면 상에 컨트롤 어포던스 객체를 표시하는 방법은, 상기 플렉서블 디스플레이 상에서 발생한 터치를 검출하고, 상기 검출된 터치에 기초하여, 동시에 두 개의 터치가 상기 플렉서블 디스플레이 상에 존재하는지를 판정하고, 상기 동시에 두 개의 터치가 존재한다는 판정에 응답하여, 상기 전자 장치의 동작 제어를 위한 항목들을 포함하는 상기 컨트롤 어포던스 객체를 상기 플렉서블 디스플레이의 상기 시청 가능 화면 상에 표시하며, 상기 컨트롤 어포던스 객체에 대한 사용자 조작을 획득하고, 상기 획득된 사용자 조작에 기초하여, 상기 전자 장치의 동작을 제어하는 동작들을 포함할 수 있다.
다양한 실시예들에 따른 전자 장치는, 사용자가 전자 장치를 파지한 형태(예들 들어, 양손 파지)에 기초하여, 해당 전자 장치의 적극적 조작에 관한 사용자의 묵시적 의도를 파악하고, 별도의 명시적이고 부가적인 사용자의 요청 없이도, 그러한 사용자의 묵시적 의도에 부합하는 전자 장치의 동작 제어용 컨트롤 어포던스 객체를 디스플레이 화면 상에 제공함으로써, 사용자에 의한 장치 사용 절차를 간소화하고 사용 편의성을 향상시킬 수 있다.
다양한 실시예들에 따른 전자 장치는, 사용자가 디스플레이 화면에 표시된 동작 제어용 컨트롤 어포던스 객체에서, 전자 장치 상에서 실행 중인 애플리케이션에 따른 소정 기능을 실행시키기 위한 선택을 한 경우, 해당 기능을 실행하는 동시에 해당 기능의 특성별로 정해진 바에 따라 전자 장치에 구비된 플렉서블 디스플레이의 외부 노출 화면 크기를 변경시키도록 동작할 수 있고, 이로써 사용자의 조작 절차를 간소화할 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는, 일 실시예에 따른, 인입 상태(slide-in state)일 때 전자 장치의 외관을 개략적으로 도시한 도면이다.
도 3은, 일 실시예에 따른, 인출 상태(slide-out state)일 때 전자 장치의 외관을 개략적으로 도시한 도면이다.
도 4는, 도 2 및 도 3에 도시된 전자 장치의 각 단면을 개략적으로 도시한 도면이다.
도 5는, 일 실시예에 따른, 전자 장치의 분해 사시도를 도시한 도면이다.
도 6은 다양한 실시예들에 따른, 디스플레이 모듈의 블록도이다.
도 7은, 다양한 실시예들에 따른 전자 장치의 기능 블록도이다.
도 8 및 도 9는, 도 7의 컨트롤 어포던스 표시부(740)에 의해 생성된 다양한 형태의 동작 제어용 컨트롤 어포던스 객체들이 디스플레이부(710)의 디스플레이 화면 상에 표시되는 다양한 예시적 상황들을 도시하고 있다.
도 10은, 일 실시예에 따라, 전자 장치에 의해 수행되는 동작 제어용 컨트롤 어포던스 객체의 표시 및 조작 처리 과정을 나타내는 예시적 절차 흐름도이다.
도 11은, 일 실시예에 따라, 전자 장치가 세로 모드인 상태에서 메시지 애플리케이션을 실행 중인 동안, 다양한 형태의 동작 제어용 컨트롤 어포던스 객체들이 표시 및 활용되는 예시적 상황들을 보여주는 도면이다.
도 12는, 일 실시예에 따라, 전자 장치가 가로 모드인 상태에서 영상 재생/공유 애플리케이션을 실행 중인 동안, 다양한 형태의 동작 제어용 컨트롤 어포던스 객체들이 표시 및 활용되는 예시적인 상황들을 보여주는 도면이다.
도 13은, 일 실시예에 따라, 전자 장치가 세로 모드인 상태에서 홈스크린을 디스플레이 화면에 표시하는 동안, 다양한 형태의 동작 제어용 컨트롤 어포던스 객체들이 표시 및 활용되는 예시적 상황들을 보여주는 도면이다.
도 14는, 일 실시예에 따라, 전자 장치가 세로 모드인 상태에서 갤러리 애플리케이션을 실행 중인 동안, 다양한 형태의 동작 제어용 컨트롤 어포던스 객체들이 표시 및 활용되는 예시적 상황들을 보여주는 도면이다.
도 15는, 일 실시예에 따라, 전자 장가 세로 모드인 상태에서 건강관리 애플리케이션을 실행 중인 동안, 다양한 형태의 동작 제어용 컨트롤 어포던스 객체들이 표시 및 활용되는 예시적 상황들을 보여주는 도면이다.
이하 첨부된 도면을 참고하여 다양한 실시예들을 상세히 설명한다. 후술될 설명에서, 상세한 구성 및 구성 요소와 같은 특정 세부 사항은 단지 본 개시의 실시예들에 대한 전반적인 이해를 돕기 위해 제공될 것이다. 따라서, 본 명세서에 설명된 실시예들의 다양한 변경 및 수정이 본 개시의 범위 및 사상을 벗어나지 않고 이루어질 수 있음이 당업자에게 명백해야 할 것이다. 또한, 잘 알려진 기능 및 구성에 대한 설명은 명확성과 간결성을 위해 생략될 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에서는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))이 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델의 처리가 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다. 일 실시예에 의하면, 디스플레이 모듈(160)은, 전자적 제어 신호에 따라, 외부로 노출되는 시청 가능 화면의 크기가 확장 또는 축소될 수 있는 플렉서블 디스플레이, 예컨대 롤러블 디스플레이를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예들에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는, 일 실시예에 따른, 인입 상태(slide-in state)일 때 전자 장치(200)의 외관을 개략적으로 도시한 도면이다. 도 3은, 일 실시예에 따른, 인출 상태(slide-out state)일 때 전자 장치(200)의 외관을 개략적으로 도시한 도면이다. 구체적으로, 도 2의 (a) 및 (b)는 각각 일 실시예에 따른 인입 상태의 전자 장치(200)의 전면 및 후면을 도시한 도면이고, 도 3의 (a) 및 (b)는 각각 일 실시예에 따른 인출 상태의 전자 장치(200)의 전면 및 후면을 도시한 도면이다. 도 4는, 도 2 및 도 3에 도시된 전자 장치(200)의 각 단면을 개략적으로 도시한 도면이다. 구체적으로, 도 4의 (a)는, 도 2의 (a)의 전자 장치(200)의 라인 AA-AA'를 따른 예시적 일 단면을 도시한 도면이다. 도 4의 (b)는, 도 3의 (a)의 전자 장치(200)의 라인 BB-BB'를 따른 예시적 일 단면을 도시한 도면이다. 도 2 내지 4의 전자 장치(200)는, 도 1의 전자 장치(101)에 상응하는 전자 장치를 나타낼 수 있다.
도 2 내지 도 4를 참조하면, 전자 장치(200)는 제1 하우징(210)(예컨대, 베이스 하우징), 제2 하우징(220)(예컨대, 슬라이드 하우징), 플렉서블 디스플레이(flexible display)(230)(예컨대, expandable display 또는 stretchable display), 및 벤딩 가능 부재(bendable member 또는 bendable support member)(240)(예컨대, 다관절 힌지 모듈 또는 멀티바 조립체)를 포함할 수 있다. 일 실시예에 의하면, 전자 장치(200)가 인입 상태 또는 인출 상태로 천이하는 동안, 제2 하우징(220)은 소정 방향(예컨대, Y축 방향)을 따라 소정 거리 범위 내에서 제1 하우징(210)에 대해 슬라이딩 이동(+y 방향 또는 -y방향으로 이동)할 수 있다. 일 실시예에 의하면, 플렉서블 디스플레이(230)는, 제2 하우징(220)에 의해 지지되는 제1 디스플레이 영역(230a)과, 제1 디스플레이 영역(230a)으로부터 연장되고 벤딩 가능 부재(240)에 의해 지지되는 제2 디스플레이 영역(230b)을 포함할 수 있다.
다양한 실시예와 관련하여, “인입 상태”는 전자 장치(200)의 제2 하우징(220)이 제1 하우징(210)을 향한 방향(예컨대, -y방향)으로 슬라이딩 이동한 상태를 의미하고, “닫힌 상태(closed state)”“폐쇄 상태”, “수축 상태”, 또는 “슬라이드-인 상태”와 같은 다양한 다른 용어로 지칭될 수 있다. 다양한 실시예와 관련하여, "인출 상태"는 전자 장치(200)의 제2 하우징(220)이 제1 하우징(210)으로부터 멀어지는 방향(예컨대, +y 방향)으로 슬라이딩 이동한 상태를 의미하고, “열린 상태(opened state)”“개방 상태”, 또는 “슬라이드-아웃 상태(slide-out state)”와 같은 다양한 다른 용어로 지칭될 수 있다.
일 실시예에 의하면, 제2 하우징(220)에 의해 지지되는 제1 디스플레이 영역(230a)은 전자 장치(200)가 인입 상태에 있거나 인출 상태에 있거나 무관하게 항상 외부로 노출되어 시각적으로 인식 가능할 수 있다. 일 실시예에 의하면, 전자 장치(200)가 인입 상태에 있을 때, 벤딩 가능 부재(240)의 적어도 일부와 그에 대응하는 디스플레이 영역(230b)은 전자 장치(200)의 내부 공간(250)으로 수용되고, 해당 디스플레이 영역(230b)이 외부로부터 시각적으로 인식 가능하지 않을 수 있다. 일 실시예에 의하면, 전자 장치(200)가 인입 상태로부터 인출 상태로 천이(예컨대, 제2 하우징(220)이 +y 방향으로 이동)하는 경우, 인입 상태 동안에 전자 장치(200)의 내부 공간(250)에 수용되어 있었던 벤딩 가능 부재(240)의 적어도 일부가 제2 하우징(220)의 적어도 일부와 동일 평면을 이루도록 이동할 수 있고, 벤딩 가능 부재(240)의 적어도 일부에 의해 지지되는 디스플레이 영역(230b)이 제2 하우징(220)의 적어도 일부에 의해 지지되는 디스플레이 영역(230a)과 함께 외부로부터 시각적으로 인식 가능하게 배치될 수 있다. 일 실시예에 의하면, 전자 장치(200)가 인출 상태로부터 인입 상태로 천이(예컨대, 제2 하우징(220)이 -y 방향으로 이동)하는 경우, 인출 상태 동안에 외부로부터 시각적으로 인식 가능하게 배치되어 있었던 디스플레이 영역(230b)과 이를 지지하는 벤딩 가능 부재(240)의 대응하는 부분이 감겨지면서 다시 전자 장치(200)의 내부 공간(250)으로 수용되도록 이동할 수 있다. 이와 같이, 제2 하우징(220)이 제1 하우징(210)에 대해 지정된 방향(예컨대, Y축을 따라 +y방향 또는 -y방향)을 따라 슬라이딩 이동하여, 전자 장치(200)가 인입 상태와 인출 상태 사이를 천이함에 따라, 제2 디스플레이 영역(230b)의 적어도 일부가 외부로부터 시각적으로 인식 가능하거나 가능하지 않은 상태 사이를 천이할 수 있고, 플렉서블 디스플레이(230)의 외부로 노출되는 화면 크기가 확장 또는 축소될 수 있다.
도 2 내지 도 4를 참조하면, 일 실시예에 있어서, 전자 장치(200)의 제1 하우징(210)은, 전자 장치(200)의 내부 공간(250)의 후면, 양 측면, 및/또는 하측면을 둘러싸도록 구성된 제1 지지 부재(211)와, 제1 지지 부재(211)의 후면을 덮는 후면 플레이트(212)를 포함할 수 있다. 일 실시예에 의하면, 전자 장치(200)의 내부 공간(250)의 반대쪽 외부를 향한 제1 지지 부재(211)의 일 면(211a)에 후면 플레이트(212)가 안착될 수 있다. 일 실시예에 의하면, 후술하는 바와 같이, 제1 지지 부재(211)의 일 면(211a)의 반대쪽 타면(211b) 상의 내부 공간(250)에 배터리(251)와, 후술하는 구동 모듈(270)의 일부가 배치될 수 있다. 일 실시예에 의하면, 제1 지지 부재(211)는 제2 하우징(220)의 적어도 일부를 수용하도록 일 측이 열린 형상으로 형성될 수 있다.
일 실시예에 의하면, 전자 장치(200)의 제2 하우징(220)은, 전자 장치(200)의 내부 공간(250)의 전면, 양 측면, 및/또는 상측면을 둘러싸도록 구성된 제2 지지 부재(221)와, 제2 지지 부재(221)에 결합하는 후면 커버(222) 및 슬라이드 커버(223)를 포함할 수 있다. 일 실시예에 의하면, 전자 장치(200)의 내부 공간(250)의 반대쪽 외부를 향한 제2 지지 부재(221)의 일 면(221a)은, 플렉서블 디스플레이(230)의 제2 디스플레이 영역(230a)을 대향하여 지지할 수 있다. 일 실시예에 의하면, 제2 지지 부재(221)의 일 면(221a)의 반대쪽 타면(221b) 상의 내부 공간(250)에는, 전자 장치(200)의 각종 전자 부품들(예컨대, 도 1의 프로세서(120))이 배치된 인쇄회로기판(252), 카메라 모듈(253), 및/또는 센서 모듈(미도시) 등)이 배치될 수 있다.
일 실시예에 의하면, 카메라 모듈(253)(예컨대, 도 1의 카메라 모듈(188)에 대응할 수 있음)은, 하나 또는 복수의 렌즈들, 이미지 센서 및/또는 이미지 시그널 프로세서를 포함할 수 있다. 일 실시예에 의하면, 카메라 모듈(253)은, 전자 장치(200)가 인출 상태에 있는 경우, 제2 하우징(220)의 후면 커버(222) 및 슬라이드 커버(223)에 형성된 개구부(224)를 통하여 전자 장치(200)의 외부로 노출될 수 있다. 일 실시예에 의하면, 제1 지지 부재(211) 및/또는 후면 플레이트(222)에 개구가 형성되지 않고, 전자 장치(200)가 인입 상태에 있는 동안 카메라 모듈(253)이 제1 지지 부재(211) 및/또는 후면 플레이트(212)에 의해 가려져서 외부로 노출되지 않을 수 있다. 다른 일 실시예에 의하면, 카메라 모듈(253)은, 전자 장치(200)가 인입 상태에 있는 경우, 제1 지지 부재(211)와 후면 플레이트(222)에 각각 형성된 개구(도시되지 않음)와, 제2 하우징(220)의 후면 커버(222) 및 슬라이드 커버(223)에 형성된 개구부(224)를 통해, 전자 장치(200)의 외부로 노출될 수 있다.
일 실시예에 따르면, 센서 모듈(도시되지 않음)은, 전자 장치(200)의 작동 상태 또는 외부의 환경 상태를 검출하고 그에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 센서 모듈은, 예를 들어 근접 센서, 초음파 센서, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 컬러 센서, 적외선 센서, 생체 센서, 온도 센서, 또는 습도 센서 중 적어도 하나를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(200)의 적어도 일부 센서 모듈은, 플렉서블 디스플레이(230)의 일부 영역을 통해 외부에 대해 시각적으로 노출될 수 있다.
일 실시예에 따르면, 후면 커버(222)는, 전술한 전자 장치(200)의 내부 공간(250)의 각종 전자 부품들을 사이에 두고, 제2 지지 부재(221)의 타면(221b)에 대향 배치되어 제2 지지 부재(221)에 결합될 수 있다. 일 실시예에 따르면, 슬라이드 커버(223)는, 내부 공간(250)의 반대쪽 후면 커버(222)의 일 면 상에 배치될 수 있다. 일 실시예에 의하면, 슬라이드 커버(223)는, 후면 커버(222)의 일 면 및/또는 제2 지지 부재(221)에 결합되어, 제2 지지 부재(221)와 함께 제2 하우징(220)의 외부 표면을 형성할 수 있다.
도 4에 도시된 바와 같이, 일 실시예에 따르면, 전자 장치(200)는, 제2 하우징(220)의 슬라이딩 이동을 구동하는 구동 모듈(270)을 포함할 수 있다. 일 실시예에 따르면, 구동 모듈(270)은, 피니언 기어(271), 피니언 기어(271)에 결합된 모터(272), 및 피니언 기어(271)와 맞물리는 랙 기어(273)를 포함할 수 있다. 일 실시예에 따르면, 전술한 바와 같이, 제1 하우징(210)의 제1 지지 부재(211)의 타 면(211b) 상의, 전자 장치(200)의 내부 공간(250)에 구동 모듈(270)의 일부, 예컨대 피니언 기어(271)와 모터(272)가 배치될 수 있다. 일 실시예에 의하면, 제2 하우징(220)이 제1 하우징(210)으로부터 멀어지는 방향, 예컨대 +y 방향으로 슬라이딩 이동하여 인출 상태로 천이(예컨대, 도 4의 (a) 상태에서 도 4의 (b) 상태로 천이)하는 동안, 도 4의 (a) 및 (b)에 도시된 바와 같이, 피니언 기어(271)와 모터(272)는 제1 하우징(210)에 대한 위치를 유지할 수 있다. 일 실시예에 의하면, 구동 모듈(270)의 다른 일부, 예컨대 랙 기어(273)는 제2 하우징(220)의 제2 지지 부재(221)의 일 면(221b) 상의, 전자 장치(200)의 내부 공간(250)에 배치될 수 있다. 일 실시예에 의하면, 제2 하우징(220)이 슬라이딩 이동하여 인출 상태로 천이(예컨대, 도 4의 (a) 상태에서 도 4의 (b) 상태로 천이)하는 경우, 도 4의 (a) 및 (b)에 도시된 바와 같이, 랙 기어(273)는 제2 하우징(220)에 대한 위치를 유지하며 제1 하우징(210)에 대해 이동할 수 있다.
일 실시예에 의하면, 모터(272)는, 배터리(251)로부터 전력을 공급받아, 제2 하우징(220)의 슬라이딩 이동을 위한 구동력을 제공할 수 있다. 일 실시예에 따르면, 피니언 기어(271)는, 모터(272)에 결합되고, 모터(272)로부터 제공된 구동력에 의해 시계 방향 또는 반시계 방향으로 회전할 수 있다. 일 실시예에 따르면, 랙 기어(273)는, 피니언 기어(271)와 맞물려서, 피니언 기어(271)의 회전에 따라 -y 방향 또는 +y 방향을 따라 직선 왕복 운동할 수 있다. 일 실시예에 따르면, 피니언 기어(271)가, 예컨대 도 4의 (a)에서 반시계 방향을 따라 회전하면, 랙 기어(273)는, +y 방향으로 이동할 수 있다. 랙 기어(273)가 +y 방향을 따라 이동하면, 랙 기어(273)와 결합된 제2 하우징(220)이, +y 방향을 따라 이동할 수 있다. 제2 하우징(220)이 +y 방향을 따라 이동함에 따라, 전술한 바와 같이 제2 디스플레이 영역(230b)이 외부로 노출되고 전자 장치(200)의 외부에서 시각적으로 인식 가능한 디스플레이(230)의 면적은 확장될 수 있다. 피니언 기어(271)가, 예컨대 도 4의 (b)에서 시계 방향으로 회전하면, 랙 기어(273)는, -y 방향으로 이동할 수 있다. 랙 기어(273)가 -y 방향을 따라 이동하면, 랙 기어(273)와 결합된 제2 하우징(220)은, -y 방향을 따라 이동할 수 있다. 제2 하우징(220)이 -y 방향을 따라 이동함에 따라, 전술한 바와 같이 제2 디스플레이 영역(230b)이 내부 공간(250)으로 감겨져서 수용되고 전자 장치(200)의 외부에서 시각적으로 인식 가능한 디스플레이(230)의 면적은 축소될 수 있다.
일 실시예에 의하면, 전자 장치(200)는, 제2 하우징(220)의 슬라이딩 이동을 야기하는 트리거 이벤트를 검출한 경우, 구동 모듈(270)의 모터(271)를 구동할 수 있다. 일 실시예에 따르면, 트리거 이벤트는, 각종 사용자 입력, 예컨대 전자 장치(200)의 플렉서블 디스플레이(230)에 표시되는 동작 제어용 컨트롤 어포던스 객체에 대한 터치 입력, 각종 센서로부터 감지된 제스처 입력, 음성 입력, 및/또는 전자 장치(200)에 배치된 소정 물리 버튼(도시되지 않음)에 대한 조작 입력을 포함할 수 있다. 일 실시예에 의하면, 트리거 이벤트는, 미리 정해진 장치 내부의 소정 작동 상태(예컨대, 센서 모듈에 의한 소정 조건 검출)를 포함할 수 있다.
도 5는, 일 실시예에 따른, 전자 장치(200)의 분해 사시도를 도시한 도면이다. 도 2 내지 도 4와 함께 도 5를 참조하면, 일 실시예에 따른 전자 장치(200)의 구성을 좀 더 잘 이해할 수 있다.
일 실시예에 의하면, 제1 지지 부재(211)의 후면에 후면 플레이트(212)가 배치될 수 있다. 전술한 바와 같이, 제1 지지 부재(211)와 후면 플레이트(212)가 결합하여 제1 하우징(210)을 구성할 수 있다. 일 실시예에 의하면, 제2 지지 부재(221)의 후면에 후면 커버(222)와 슬라이드 커버(223)가 배치될 수 있다. 전술한 바와 같이, 제2 지지 부재(221)와, 후면 커버(222) 및 슬라이드 커버(223)가 결합하여 제2 하우징(220)을 구성할 수 있다. 일 실시예에 의하면, 제2 지지 부재(221)의 일 면(후면 커버(222)를 향한 일 면(221b))에, 인쇄회로기판(252)과 카메라 모듈(253)이 배치될 수 있다. 일 실시예에 의하면, 제2 지지 부재(221)의 일 측에는 Y축 방향을 따라 랙 기어(273)가 배치될 수 있다. 따라서, 일 실시예에 의하면, 제2 지지 부재(221), 후면 커버(222) 및 슬라이드 커버(223)을 포함한 제2 하우징(220)이 제1 하우징(210)에 대해 슬라이딩 이동할 때, 제2 지지 부재(221)에 배치된 인쇄회로기판(252), 카메라 모듈(253) 및 랙 기어(273)가 제2 하우징(220)과 함께 이동할 수 있다.
일 실시예에 의하면, 제2 지지 부재(221)의 후면 커버(222)를 향한 일 면(221b)과 제1 지지 부재(211)의 내부 공간(250)을 향한 일 면(211b) 사이에 추가 지지 부재(213)가 배치될 수 있다. 일 실시예에 의하면, 추가 지지 부재(213)는, 추가 지지 부재(213) 상에 형성된 리세스 및/또는 홀에 배치된 배터리(251), 모터(272), 및 피니언 기어(271)를 포함할 수 있다. 일 실시예에 의하면, 제2 하우징(220)이 제1 하우징(210)에 대해 슬라이딩 이동할 때, 추가 지지 부재(213)와, 추가 지지 부재(213) 상에 형성된 배터리(251), 모터(272), 및 피니언 기어(271)는, 제1 하우징(210)과 함께, 이동하지 않고서, 제1 하우징(210)에 대한 위치를 유지할 수 있다.
일 실시예에 의하면, 벤딩 가능 부재(240)가, 제2 지지 부재(221)로부터 연장되며 제1 지지 부재(211)의 일 면(211b) 상의 내부 공간(250) 내에서 추가 지지 부재(213)의 일부를 둘러싸도록 배치될 수 있다. 일 실시예에 의하면, 플렉서블 디스플레이(230)가 제2 지지 부재(221)의 일 면(221a)과 벤딩 가능 부재(240)를 둘러싸도록 배치될 수 있다. 전술한 바와 같이, 플렉서블 디스플레이(230)의 일부, 예컨대 제1 디스플레이 영역(230a)은 제2 지지 부재(221)의 일 면(221a)에 의해 지지되고, 다른 일부, 예컨대 제2 디스플레이 영역(230b)은 벤딩 가능 부재(240)에 의해 지지될 수 있다. 일 실시예에 의하면, 벤딩 가능 부재(240)는, 서로 결합된 복수의 바를 포함하고, 제2디스플레이 영역(230b)의 형상에 상응하는 형상을 가질 수 있다. 일 실시예에 따르면, 벤딩 가능 부재(240)는, 제2 하우징(220)의 이동에 따라, 플렉서블 디스플레이(230)와 함께 이동할 수 있다. 전술한 바와 같이, 일 실시예에 의하면, 예컨대 도 4의 (a)에 도시된 인입 상태에서, 제2 하우징(220)이 슬라이딩 이동하여 도 4의 (b)에 도시된 인출 상태로 천이할 때, 플렉서블 디스플레이(230)의 제2 디스플레이 영역(230b)은, 내부 공간(250)에 수용되어 외부로부터 감춰져 있던 상태로부터, 제1 디스플레이 영역(230a)와 동일한 평면을 이루며 외부로 노출되도록 이동할 수 있고, 제2 디스플레이 영역(230b)을 지지하는 벤딩 가능 부재(240)도 제2 디스플레이 영역(230b)과 함께 이동할 수 있다.
일 실시예에 의하면, 전자 장치(200)는, 제2 하우징(210)의 이동과 함께 이루어지는 벤딩 가능 부재(240) 및 플렉서블 디스플레이(230)의 이동을 가이드하기 위한 한 쌍의 가이드 레일(214)을 포함할 수 있다. 일 실시예에 따르면, 한 쌍의 가이드 레일(214)각각은, X축 방향을 따라 벤딩 가능 부재(240) 및 플렉서블 디스플레이(230)을 사이에 두고 양 측에 각각 배치될 수 있다. 일 실시예에 따르면, 가이드 레일(214)은, 추가 지지 부재(213) 또는 제1 지지 부재(211)에 결합될 수 있고, 본 개시가 이로써 제한되는 것은 아니다.
도 6은 다양한 실시예들에 따른, 디스플레이 모듈(160)의 블록도이다. 도 6을 참조하면, 디스플레이 모듈(160)은 디스플레이(610), 및 이를 제어하기 위한 디스플레이 드라이버 IC(DDI)(630)를 포함할 수 있다. DDI(630)는 인터페이스 모듈(631), 메모리(633)(예: 버퍼 메모리), 이미지 처리 모듈(635), 또는 맵핑 모듈(637)을 포함할 수 있다. DDI(630)은, 예를 들면, 영상 데이터, 또는 상기 영상 데이터를 제어하기 위한 명령에 대응하는 영상 제어 신호를 포함하는 영상 정보를 인터페이스 모듈(631)을 통해 전자 장치(101)의 다른 구성요소로부터 수신할 수 있다. 예를 들면, 일실시예에 따르면, 영상 정보는 프로세서(120)(예: 메인 프로세서(121)(예: 어플리케이션 프로세서) 또는 메인 프로세서(121)의 기능과 독립적으로 운영되는 보조 프로세서(123)(예: 그래픽 처리 장치)로부터 수신될 수 있다. DDI(630)는 터치 회로(650) 또는 센서 모듈(176) 등과 상기 인터페이스 모듈(631)을 통하여 커뮤니케이션할 수 있다. 또한, DDI(630)는 상기 수신된 영상 정보 중 적어도 일부를 메모리(633)에, 예를 들면, 프레임 단위로 저장할 수 있다. 이미지 처리 모듈(635)은, 예를 들면, 상기 영상 데이터의 적어도 일부를 상기 영상 데이터의 특성 또는 디스플레이(610)의 특성에 적어도 기반하여 전처리 또는 후처리(예: 해상도, 밝기, 또는 크기 조정)를 수행할 수 있다. 맵핑 모듈(637)은 이미지 처리 모듈(135)를 통해 전처리 또는 후처리된 상기 영상 데이터에 대응하는 전압 값 또는 전류 값을 생성할 수 있다. 일실시예에 따르면, 전압 값 또는 전류 값의 생성은 예를 들면, 디스플레이(610)의 픽셀들의 속성(예: 픽셀들의 배열(RGB stripe 또는 pentile 구조), 또는 서브 픽셀들 각각의 크기)에 적어도 일부 기반하여 수행될 수 있다. 디스플레이(610)의 적어도 일부 픽셀들은, 예를 들면, 상기 전압 값 또는 전류 값에 적어도 일부 기반하여 구동됨으로써 상기 영상 데이터에 대응하는 시각적 정보(예: 텍스트, 이미지, 또는 아이콘)가 디스플레이(610)를 통해 표시될 수 있다.
일 실시예에 따르면, 디스플레이 모듈(160)은 터치 회로(650)를 더 포함할 수 있다. 터치 회로(650)는 터치 센서(651) 및 이를 제어하기 위한 터치 센서 IC(653)를 포함할 수 있다. 터치 센서 IC(653)는, 예를 들면, 디스플레이(610)의 특정 위치에 대한 터치 입력 또는 호버링 입력을 감지하기 위해 터치 센서(651)를 제어할 수 있다. 예를 들면, 터치 센서 IC(653)는 디스플레이(610)의 특정 위치에 대한 신호(예: 전압, 광량, 저항, 또는 전하량)의 변화를 측정함으로써 터치 입력 또는 호버링 입력을 감지할 수 있다. 터치 센서 IC(653)는 감지된 터치 입력 또는 호버링 입력에 관한 정보(예: 위치, 면적, 압력, 또는 시간)를 프로세서(120) 에 제공할 수 있다. 일 실시예에 따르면, 터치 회로(650)의 적어도 일부(예: 터치 센서 IC(653))는 디스플레이 드라이버 IC(630), 또는 디스플레이(610)의 일부로, 또는 디스플레이 모듈(160)의 외부에 배치된 다른 구성요소(예: 보조 프로세서(123))의 일부로 포함될 수 있다.
일 실시예에 따르면, 디스플레이 모듈(160)은 센서 모듈(176)의 적어도 하나의 센서(예: 지문 센서, 홍채 센서, 압력 센서 또는 조도 센서), 또는 이에 대한 제어 회로를 더 포함할 수 있다. 이 경우, 상기 적어도 하나의 센서 또는 이에 대한 제어 회로는 디스플레이 모듈(160)의 일부(예: 디스플레이(610) 또는 DDI(630)) 또는 터치 회로(650)의 일부에 임베디드될 수 있다. 예를 들면, 디스플레이 모듈(160)에 임베디드된 센서 모듈(176)이 생체 센서(예: 지문 센서)를 포함할 경우, 상기 생체 센서는 디스플레이(610)의 일부 영역을 통해 터치 입력과 연관된 생체 정보(예: 지문 이미지)를 획득할 수 있다. 다른 예를 들면, 디스플레이 모듈(160)에 임베디드된 센서 모듈(176)이 압력 센서를 포함할 경우, 상기 압력 센서는 디스플레이(610)의 일부 또는 전체 영역을 통해 터치 입력과 연관된 압력 정보를 획득할 수 있다. 일실시예에 따르면, 터치 센서(651) 또는 센서 모듈(176)은 디스플레이(610)의 픽셀 레이어의 픽셀들 사이에, 또는 상기 픽셀 레이어의 위에 또는 아래에 배치될 수 있다.
도 7은, 다양한 실시예들에 따른 전자 장치(700)의 기능 블록도이다. 도시된 바에 의하면, 전자 장치(700)는, 디스플레이부(710), 장치 컨텍스트 결정부(720), 양손 파지 결정부(730), 컨트롤 어포던스 표시부(740), 컨트롤 어포던스 조작 검출부(750), 화면 크기 확장/축소 구동부(760), 및 기능 실행부(770)를 포함한다. 도 7의 전자 장치(700)는, 도 1의 전자 장치(101) 및/또는 도 2 내지 도 5의 전자 장치(200)에 상응하는 전자 장치를 나타낼 수 있다.
다양한 실시예들에 의하면, 디스플레이부(710)는, 외부로 노출되어 사용자를 위한 이미지를 표시할 수 있는, 즉 시청 가능(viewable)한 디스플레이 화면의 크기가 가변될 수 있는 플렉서블 디스플레이 장치를 포함할 수 있다. 다양한 실시예들에 의하면, 디스플레이부(710)는, 예컨대 도 2 및 도 3에 도시된 플렉서블 디스플레이(230)와 유사하게, 전자 장치(700)를 구성하는 하우징들 간의 상대적 이동에 따라, 디스플레이의 일부분이 하우징 내부 공간으로 인입, 즉 말려 들어가서 외부로 노출되지 않도록 배치되거나, 하우징 내부 공간으로부터 외부로 인출, 즉 바깥으로 펼쳐져서 외부에 노출 배치되도록 동작할 수 있고, 본 개시가 이로써 제한되는 것은 아니다. 또한, 다양한 실시예에 의하면, 디스플레이부(710)는, 예컨대 도 4에 도시된 디스플레이 모듈(160)과 유사하게, 터치 회로를 포함하여 디스플레이 화면 상에서 이루어지는 터치 입력(예컨대, 탭, 스와이프 및 드래그 입력 등을 포함)을 감지하고, 그러한 터치 입력에 관한 정보(예컨대, 터치 위치, 동시 터치 개수, 면적, 압력 또는 시간)을 획득할 수 있다.
다양한 실시예들에 의하면, 장치 컨텍스트 결정부(720)는, 전자 장치(700)의 현재 컨텍스트(상태), 예컨대 현재 전자 장치(700)에서 실행되고 그 실행과 관련된 이미지를 디스플레이부(710)의 시청 가능 화면을 통해 표시 중인 애플리케이션이 무엇인지, 및/또는 디스플레이부(710)의 현재 표시 모드가 가로(landscape) 모드인지 세로(portrait) 모드인지 여부를 판정할 수 있다. 다양한 실시예에 의하면, 전자 장치(700)에서는 다양한 유형의 애플리케이션들(예를 들어, SMS, MMS, IMS 등 각종 메시지 애플리케이션, 주소록 애플리케이션, 이메일 애플리케이션, 홈스크린, 갤러리 애플리케이션, 각종 건강관리 애플리케이션, 유튜브 등의 영상 재생/공유 애플리케이션, 각종 음악 재생/공유 애플리케이션, 인터넷 브라우저 애플리케이션, 각종 전자 카드/지불 애플리케이션, 및/또는 각종 메모/노트 애플리케이션이 포함될 수 있고, 본 개시가 이로써 제한되는 것은 아님)이 실행될 수 있고, 각 애플리케이션을 통해 제공되는 서비스를 위한 이미지들이 디스플레이부(710)의 시청 가능 화면을 통해 표시될 수 있다.
다양한 실시예들에 의하면, 양손 파지 결정부(730)는, 사용자가 전자 장치(700)를 양손으로 파지하고 있는 상태인지 여부를 결정할 수 있다. 일 실시예에 의하면, 전술한 바와 같이 디스플레이부(710)가 디스플레이 화면 상에서 이루어지는 터치 입력을 감지하도록 구성된 경우, 양손 파지 결정부(730)는, 디스플레이부(710)에서 감지된 터치 입력에 관한 정보를 획득하고, 그에 기초하여 사용자가 전자 장치(700)를 양손으로 파지하고 있는 상태인지를 결정할 수 있다. 예컨대, 디스플레이부(710)의 디스플레이 화면 상 두 개의 위치 각각에 대한 터치가 동시에 검출되는 경우(여기서, 동시에 검출되는 두 개의 터치는, 동시에 함께 발생한 것일 수도 있고, 순차적으로 발생하여 그 터치 상태를 유지하는 것일 수도 있음), 양손 파지 결정부(730)는, 사용자가 전자 장치(700)를 양손으로 파지하고 있다고 결정할 수 있다. 다른 실시예에 의하면, 양손 파지 결정부(730)는, 또 다른 방법, 예컨대 전자 장치(700)에 구비된 별도의 접촉 센서의 감지 결과에 기초하여 양손 파지 여부를 결정할 수 있다.
일 실시예에 의하면, 양손 파지 결정부(730)는, 디스플레이부(710)의 화면 상에서 동시에 검출된 두 개의 터치가 순차적으로 발생(예컨대, 오른손 터치 발생 후 왼손 터치 발생 또는 왼손 터치 발생 후 오른손 터치 발생)한 경우, 각 터치의 위치 및 발생 순서를 획득할 수 있다. 일 실시예에 의하면, 양손 파지 결정부(730)는, 디스플레이부(710)의 화면 상에서 동시에 두 개의 터치가 검출되어 사용자가 전자 장치(700)를 양손으로 파지하고 있다고 결정한 후에, 전술한 두 개의 터치 중 하나가 종료(또는 소멸)된 경우(즉, 사용자가 오른손과 왼손 모두를 터치하는 중에 한 손의 터치를 뗀 경우)에는, 그러한 터치 종료(또는 소멸)에 관한 정보를 획득할 수 있다.
다양한 실시예들에 의하면, 컨트롤 어포던스 표시부(740)는, 양손 파지 결정부(730)에 의해 사용자가 전자 장치(700)를 양손으로 파지하고 있다고 결정된 경우, 동작 제어용 컨트롤 어포던스 객체를 생성하여, 디스플레이부(710)의 디스플레이 화면 상에 표시할 수 있다. 일 실시예에 의하면, 양손 파지 결정부(73)에 의해 사용자가 전자 장치(700)를 양손으로 파지하고 있다고 결정된 경우, 오동작을 방지하고 사용자의 의도에 부합하는 동작이 제대로 이루어질 수 있도록, 소정 시간(예컨대, 0.5초)의 간격이 경과한 후에, 동작 제어용 컨트롤 어포던스 객체를 생성 및 표시할 수 있다. 일 실시예에 의하면, 컨트롤 어포던스 표시부(740)에 의해 생성 및 표시되는 동작 제어용 컨트롤 어포던스 객체는, 디스플레이부(710)의 시청 가능한 디스플레이 화면의 크기를 확장 또는 축소하는데 이용될 수 있는 화면 크기 컨트롤 항목들(예컨대, 시청 가능 화면을 확장/축소하기 위하여 사용자가 선택할 수 있는 버튼 표시나 터치 점 등)과, 전자 장치의 현재 컨텍스트(예컨대, 전자 장치(700)에서 현재 실행 중인 애플리케이션)에 따른 하나 이상의 기능 실행을 제어하는데 이용될 수 있는 기능 컨트롤 항목들(예컨대, 해당 기능의 실행을 위하여 사용자가 선택할 수 있는 버튼 표시나 터치 점)을 포함할 수 있다.
일 실시예에 의하면, 전술한 화면 크기 컨트롤 항목들과 기능 컨트롤 항목들은, 각각 서로 별개의 어포던스 객체들을 구성(즉, 서로 별개인, 화면 크기 변경 제어 객체와 기능 제어 객체)할 수 있고, 이들 별개의 어포던스 객체들이 디스플레이부(710)의 화면 상에서 서로 이격된 위치(예컨대, 화면을 터치하고 있는 양손 각각에 가까운 서로 다른 위치)에 각각 표시될 수 있다. 일 실시예에 의하면, 컨트롤 어포던스 표시부(740)는, 양손 파지 결정부(730)가 획득한 두 개의 터치 각각의 발생 순서에 기초하여, 먼저 발생한 터치의 위치 근처에 화면 크기 변경 제어 객체를 표시하고 나머지 다른 터치의 위치 근처에 기능 제어 객체를 표시할 수 있으며, 본 개시가 이로써 제한되는 것은 아니다. 다른 실시예에 의하면, 두 개의 터치의 발생 순서와 무관하게, 화면 크기 변경 제어 객체와 기능 제어 객체 각각이 화면 상의 정해진 위치에 표시될 수 있다. 일 실시예에 의하면, 전술한 화면 크기 변경 제어 객체는, 디스플레이부(710)의 화면이 확장 또는 축소되는 방향을 따라 배치될 수 있다. 예컨대, 컨트롤 어포던스 표시부(740)는, 장치 컨텍스트 결정부(720)가 결정한 전자 장치(700)의 모드가 가로 모드인 경우 가로 방향(즉, 좌우 방향)으로 배치된 화면 크기 변경 제어 객체를 생성 및 표시하고, 세로 모드인 경우에는 세로 방향(즉, 상하 방향)으로 배치된 화면 크기 변경 제어 객체를 생성 및 표시할 수 있다. 일 실시예에 의하면, 기능 제어 객체는, 전술한 기능 컨트롤 항목들이 소정 형상(예컨대, -자형, l자형, 사선형, 삼각형, 사각형, 원형, 십자형, 격자형 또는 기타 임의의 다른 형상)을 이루도록 군집 배치된 형태를 가질 수 있고, 본 개시가 이로써 제한되는 것은 아니다.
이와 관련하여, 도 8 및 도 9는, 컨트롤 어포던스 표시부(740)에 의해 생성된 다양한 형태의 동작 제어용 컨트롤 어포던스 객체들이 디스플레이부(710)의 디스플레이 화면 상에 표시되는 다양한 예시적 상황들을 도시하고 있다. 도 8의 (a)에는, 전자 장치(700)가 세로 모드일 때 왼손에서 오른손 순서로 양손에 의한 터치가 이루어진 경우, 왼손 터치 위치 가까이에 세로 방향으로 배치된 화면 크기 변경 제어 객체(811)(화면 크기 컨트롤 항목(812, 813)을 포함)가 표시되고 오른손 터치 위치 가까이에 기능 제어 객체(814)(본 도면에서는 각 기능 컨트롤 항목들(815, 816)이 사선(/) 형태를 이루도록 배치되어 있으며, 본 개시가 이로써 제한되는 것은 아님)가 표시된 상황이 도시되어 있다. 도 8의 (b)에는, 전자 장치(700)가 가로 모드일 때 왼손에서 오른손 순서로 양손에 의한 터치가 이루어진 경우, 전자 장치(700)의 왼손 터치 위치 가까이에 가로 방향으로 배치된 화면 크기 변경 제어 객체(821)(화면 크기 컨트롤 항목(822, 823)을 포함)가 표시되고 오른손 터치 위치 가까이에 기능 제어 객체(824)(본 도면에서는 각 기능 컨트롤 항목들(825, 826)이 사선(/) 형태를 이루도록 배치되어 있으며, 본 개시가 이로써 제한되는 것은 아님)가 표시된 상황이 도시되어 있다. 도 8의 (c)에는, 전자 장치(700)가 세로 모드일 때 오른손에서 왼손 순서로 양손에 의한 터치가 이루어진 경우, 전자 장치(700)의 오른손 터치 위치 가까이에 세로 방향으로 배치된 화면 크기 변경 제어 객체(831)(화면 크기 컨트롤 항목(832, 833)을 포함)가 표시되고 왼손 터치 위치 가까이에 기능 제어 객체(834)(본 도면에서는 각 기능 컨트롤 항목들(835, 836)이 역사선(\) 형태를 이루도록 배치되어 있으며, 본 개시가 이로써 제한되는 것은 아님)가 표시된 상황이 도시되어 있다. 도 8의 (d)에는, 전자 장치(700)가 가로 모드일 때 오른손에서 왼손 순서로 양손에 의한 터치가 이루어진 경우, 전자 장치(700)의 오른손 터치 위치 가까이에 가로 방향으로 배치된 화면 크기 변경 제어 객체(841)(화면 크기 컨트롤 항목(842, 844)을 포함)가 표시되고 왼손 터치 위치 가까이에 기능 제어 객체(844)(본 도면에서는 각 기능 컨트롤 항목들(845, 846)이 역사선(\) 형태를 이루도록 배치되어 있으며, 본 개시가 이로써 제한되는 것은 아님)가 표시된 상황이 도시되어 있다.
한편, 다른 일 실시예에 의하면, 컨트롤 어포던스 표시부(740)는, 전술한 화면 크기 컨트롤 항목들과 기능 컨트롤 항목들을 모두 포함하는 하나의 통합형 컨트롤 어포던스 객체를 구성하여, 디스플레이부(710)의 디스플레이 화면 상의 일 위치(예컨대, 화면을 터치하고 있는 양손 중 한쪽 근처 위치)에 표시되도록 할 수 있다. 일 실시예에 의하면, 화면에 표시되는 통합형 컨트롤 어포던스 객체는, 화면 크기 컨트롤 항목들과 기능 컨트롤 항목들 각각이 원형으로 배치된 네비게이션 메뉴 형태를 가질 수 있고, 본 개시가 이로써 제한되는 것은 아니다. 일 실시예에 의하면, 통합형 컨트롤 어포던스 객체의 경우에도, 화면 크기 컨트롤 항목들은, 디스플레이부(710)의 화면이 확장 또는 축소되는 방향을 따라 배치될 수 있다. 예컨대, 장치 컨텍스트 결정부(720)가 결정한 전자 장치(700)의 모드가 가로 모드인 경우에는 네비게이션 메뉴의 중심을 기준으로 좌우측에, 세로 모드인 경우에는 네비게이션 메뉴의 중심을 기준으로 상하 측에 화면 크기 컨트롤 항목들이 각각 배치되고, 화면 크기 컨트롤 항목들 사이의 나머지 영역에 전술한 중심을 둘러싸면서 기능 컨트롤 항목들이 각각 배치될 수 있고, 본 개시가 이로써 제한되는 것은 아니다. 일 실시예에 의하면, 컨트롤 어포던스 표시부(740)는, 양손 파지 결정부(730)가, 예컨대 디스플레이 화면 상에 동시에 존재하는 두 개의 터치로부터 사용자가 전자 장치(700)를 양손으로 파지하고 있다고 결정한 경우, 어느 한쪽 터치의 위치 근처에 통합형 컨트롤 어포던스 객체를 표시할 수 있고, 본 개시가 이로써 제한되는 것은 아니다. 다른 실시예에 의하면, 컨트롤 어포던스 표시부(740)는, 양손 파지 결정부(730)가 디스플레이 화면 상에 동시에 존재하는 두 개의 터치로부터 사용자가 전자 장치(700)를 양손으로 파지하고 있다고 결정한 경우, 전술한 바와 같이 각각 별개인 화면 크기 변경 제어 객체와 기능 제어 객체를 화면 상에 표시하고, 이후 디스플레이 화면 상에 존재하던 두 개의 터치 중 하나의 터치가 종료(또는 소멸)되었음이 검출된 경우에, 기존 디스플레이 화면을 변경하여, 전술한 통합형 컨트롤 어포던스 객체를, 계속해서 유지되고 있는 터치의 위치 근처에 표시할 수 있다.
이와 관련하여, 도 9의 (a)에는, 사용자가 두 손으로 디스플레이 화면을 터치하여 전자 장치(700)를 양손으로 파지하고 있다고 결정된 경우, 컨트롤 어포던스 표시부(740)가 통합형 컨트롤 어포던스 객체(910)를 생성하여 디스플레이 화면 상에 표시한 경우가 도시되어 있다. 도 9의 (b)에는, 도 8의 (c)에 도시된 바와 유사하게, 사용자가 두 손으로 디스플레이 화면을 터치하여 전자 장치(700)를 양손으로 파지하고 있다고 결정된 경우, 먼저 화면 크기 변경 제어 객체(920)와 기능 제어 객체(930)를 각각 별개의 객체로서 디스플레이 화면 상에 표시한 후에, 디스플레이 화면 상에 존재하던 두 개의 터치 중 하나의 터치가 종료(또는 소멸)된 경우, 통합형 컨트롤 어포던스 객체(940)를 표시하는 상황이 도시되어 있다. 도 9의 (a) 및 (b)에 도시된 바에 의하면, 전자 장치(700)가 세로 모드일 때 디스플레이 화면 오른쪽에 네비게이션 메뉴 형태의 통합형 컨트롤 어포던스 객체(910, 940)가 표시되고 있다. 도 9의 (a) 및 (b)에 도시된 바에 의하면, 통합형 컨트롤 어포던스 객체(910, 940)의 상하 방향(즉, 전자 장치(700)의 화면 크기 확장 또는 축소가 이루어지는 방향)으로 화면 크기 컨트롤을 위한 항목들(912, 913, 942, 943)이 배치되어 있고, 좌우 방향으로 기능 컨트롤을 위한 항목들(914, 915, 945, 946)이 각각 배치되어 있는데, 본 개시가 이로써 제한되는 것은 아니다.
한편, 컨트롤 어포던스 표시부(740)가 각각 별개의 화면 크기 변경 제어 객체 및 기능 제어 객체를 생성 및 표시하는 경우(도 8의 (a) 내지 (d) 참조)나, 통합형 컨트롤 어포던스 객체를 생성 및 표시하는 경우(도 9의 (a) 및 (b) 참조) 모두에 있어서, 시청 가능한 디스플레이 화면 크기의 확장 또는 축소 제어를 위한 화면 크기 컨트롤 항목들(812, 813, 822, 823, 832, 833, 842, 843, 912, 913, 922, 923, 942, 943)이 명시적으로 화면 상에 표시되는 것으로 설명되었으나, 본 개시가 이로써 제한되는 것은 아니다. 또 다른 일 실시예에 의하면, 컨트롤 어포던스 표시부(740)는, 전자 장치의 기능 실행을 명시한 기능 컨트롤 항목들만으로 구성된 동작 제어용 컨트롤 어포던스 객체를 생성 및 표시하되, 그러한 동작 제어용 컨트롤 어포던스 객체의 항목들 중 소정 항목(예컨대, 디스플레이 화면 크기의 확장 또는 축소가 이루어지는 방향으로 배치된 기능 컨트롤 항목 또는 기타 기능 특성상 화면 크기의 확장 또는 축소와 병행하는 것이 바람직하다고 미리 정해진 소정의 기능 컨트롤 항목)은 대응하는 기능 실행을 위한 컨트롤과 함께 시청 가능한 디스플레이 화면 크기의 확장 또는 축소에 대한 컨트롤을 병행하여 지원하도록 구성할 수 있다.
이와 관련하여, 도 9의 (c)에는, 기능 컨트롤 항목들 만을 포함한 동작 제어용 컨트롤 어포던스 객체(950)가 생성 및 표시된 디스플레이 화면이 도시되어 있다. 도 9의 (c)에 도시된 바에 의하면, 동작 제어용 컨트롤 어포던스 객체(950)는, 도 8의 (a) 내지 (d)에 도시된 기능 제어 객체(814, 824, 834, 844)와 마찬가지로, 장치 컨텍스트 결정부(720)가 결정한 전자 장치(900)의 컨텍스트, 예컨대 전자 장치(700) 상에서 실행 중인 애플리케이션에 연관된 기능들 각각을 제어하기 위한 기능 컨트롤 항목들(955, 956)이 사선(/) 형상으로 배치된 형태를 가질 수 있다. 일 실시예에 의하면, 동작 제어용 컨트롤 어포던스 객체(950)의 각 항목들 중 소정의 기능 컨트롤 항목, 예컨대 전자 장치(700)의 화면 크기 확장 또는 축소가 이루어지는 방향(도 9의 (c)의 경우 위쪽 방향)에 배치된 기능 컨트롤 항목(955)은, 대응하는 기능의 실행과 함께 화면 크기의 확장 또는 축소 제어를 지원할 수 있다. 예컨대, 일 실시예에 의하면, 도 9의 (c)에 도시된 동작 제어용 컨트롤 어포던스 객체(950)에서, 사용자가 항목(955)을 선택하는 경우, 해당 기능의 실행(예컨대, 글쓰기를 위한 입력 패널 표시 제공)과 함께, 전자 장치(700)의 화면 크기가 확장되도록 제어될 수 있다.
한편, 도 8의 (a) 내지 (d) 및 도 9의 (a) 또는 (b)와 관련해서, 화면 크기의 확장 또는 축소, 또는 각 기능의 실행은, 그러한 화면 크기의 확장, 축소, 또는 각 기능 실행을 위해 각각 지정된 항목을 선택하는 것에 의존하여 이루어지는 것으로 앞서 설명되었으나, 본 개시가 이로써 제한되는 것은 아니다. 도 8의 (a) 내지 (d) 또는 도 9의 (a) 또는 (b)에 도시된 바와 같이, 화면 크기 변경 제어 객체와 기능 제어 객체가 각각 별개의 컨트롤 어포던스 객체로서 표시된 경우 또는 화면 크기 컨트롤 항목들 및 기능 컨트롤 항목들이 하나의 통합형 컨트롤 어포던스 객체에 포함되어 표시된 경우에도, 도 9의 (c)와 관련하여 전술한 바와 유사하게, 특정 기능 컨트롤 항목을 선택할 경우, 해당 기능의 실행과 함께, 미리 정해진 바에 따라 화면 크기의 확장 또는 축소가 병행하여 이루어질 수 있다.
다양한 실시예들에 의하면, 컨트롤 어포던스 조작 검출부(750)는, 디스플레이 화면 상에 표시된 동작 제어용 컨트롤 어포던스 객체에 대한 사용자의 조작을 검출할 수 있다. 일 실시예에 의하면, 사용자는, 원하는 화면 크기의 변경(확장이나 축소) 및/또는 기능 실행을 위해, 디스플레이부(710)의 디스플레이 화면을 터치하고 있는 손가락을 움직여서 동작 제어용 컨트롤 어포던스 객체의 각 항목, 예컨대 화면 크기 컨트롤 항목(예컨대, 도 8의 (a) 내지 (d) 또는 도 9의 (a) 또는 (b)에 도시된 항목들(812, 813, 822, 823, 832, 833, 842, 843, 912, 913, 922, 923, 942, 943)) 또는 기능 컨트롤 항목(예컨대, 도 8의 (a) 내지 (d) 또는 도 9의 (a) 내지 (c)에 도시된 항목(815, 816, 825, 826, 835, 836, 845, 846, 914, 915, 935, 936, 945, 946))을 선택(예컨대, 탭, 드래그, 또는 스와이프에 의한 선택)할 수 있다. 컨트롤 어포던스 조작 검출부(750)는 그러한 사용자 손가락의 움직임 방향 및/또는 선택을 검출할 수 있다. 일 실시예에 의하면, 사용자는, 원하는 화면 크기의 변경(확장이나 축소) 및/또는 기능 실행을 위해, 디스플레이부(710)의 디스플레이 화면을 터치하고 있는 손가락을 움직여서, 예컨대 도 9의 (c)의 동작 제어용 컨트롤 어포던스 객체(950) 상의 항목(955, 956)을 선택(예컨대, 드래그 또는 스와이프에 의한 선택)할 수 있고, 조작 검출부(750)는 그러한 사용자 손가락의 움직임 방향 및/또는 선택을 검출할 수 있다.
다양한 실시예들에 의하면, 화면 크기 확장/축소 구동부(760) 및 기능 실행부(770)는, 컨트롤 어포던스 조작 검출부(750)에 의해 검출된 사용자 조작, 예컨대 사용자가 어느 항목을 선택했는지, 그리고/또는 해당 항목을 선택하기 위한 사용자의 손가락 움직임 방향(예컨대, 드래그 방향)이 무엇인지에 기초하여, 디스플레이부(710)의 시청 가능 화면의 크기가 확장 또는 축소되도록 전자 장치(700)를 구동하고/하거나, 소정의 기능을 실행할 수 있다. 일 실시예에 의하면, 컨트롤 어포던스 조작 검출부(750)에 의해 검출된 사용자 조작이, 예컨대 도 8의 (a) 내지 (d) 또는 도 9의 (a) 내지 (c)에 도시된 화면 크기 컨트롤 항목들(812, 822, 832, 842, 912, 922, 942) 중 하나 또는 화면 크기 컨트롤 항목들(813, 823, 833, 843, 913, 923, 943) 중 하나에 대한 선택인 경우, 화면 크기 확장/축소 구동부(750)는 그 선택된 항목에 따라 디스플레이부(710)의 시청 가능한 화면 크기가 확장 또는 축소되도록 전자 장치(700)를 구동할 수 있다. 일 실시예에 의하면, 컨트롤 어포던스 조작 검출부(750)에 의해 검출된 사용자 조작이, 예컨대 도 8의 (a) 내지 (d) 또는 도 9의 (a) 내지 (c)에 도시된 기능 컨트롤 항목(815, 816, 825, 826, 835, 836, 845, 846, 914, 915, 935, 936, 945, 946, 955, 956) 중 하나인 경우, 기능 실행부(770)는 그 선택된 항목에 따른 기능을 실행하도록 전자 장치(700)를 제어할 수 있다. 다른 실시예에 의하면, 컨트롤 어포던스 조작 검출부(750)에 의해 검출된 사용자 조작이, 예컨대 도 8의 (a) 내지 (d) 또는 도 9의 (a) 내지 (c)에 도시된 기능 컨트롤 항목(815, 816, 825, 826, 835, 836, 845, 846, 914, 915, 935, 936, 945, 946, 955, 956) 중 하나에 대한 선택이고, 그러한 선택이 전자 장치(700) 상에서 소정의 방향(예컨대, 아래에서 위쪽을 향한 디스플레이 화면이 확장되는 방향 또는 위에서 아래로 디스플레이 화면이 축소되는 방향)으로의 드래그에 의해 이루어진 경우, 기능 실행부(760)는 그 선택된 항목에 따른 기능(예컨대, 글쓰기를 위한 입력 패널 표시 제공)을 실행하는 한편 디스플레이부(710)의 시청 가능한 화면 크기가 확장 또는 축소되도록 전자 장치(700)를 구동할 수 있다.
도 10은, 일 실시예에 따라, 전자 장치(700)에 의해 수행되는 동작 제어용 컨트롤 어포던스 객체의 표시 및 조작 처리 과정을 나타내는 예시적 절차 흐름도이다.
도시된 바에 의하면, 먼저 단계(1002)에서, 전자 장치(700)의 디스플레이 화면 상에서 동시에 존재하는 두 개의 터치가 검출되었는지 여부가 판정될 수 있다. 일 실시예에 의하면, 디스플레이부(710)에 구비된 터치 센서에 의해 디스플레이 화면 상에서 사용자 손가락에 의한 터치가 동시에 두 개 존재하는지가 검출될 수 있다.
단계(1002)에서 두 개의 터치가 검출되었다고 판정된 경우, 단계(1004)에서 소정의 동작 제어용 컨트롤 어포던스 객체가 생성되어 디스플레이 화면 상에 표시될 수 있다. 전술한 바와 같이, 일 실시예에 의하면, 두 개의 터치가 검출되었다고 판정된 후 소정 시간(예컨대, 0.5초)의 간격 동안 두 개의 터치 상태가 유지된 경우에, 동작 제어용 컨트롤 어포던스 객체가 생성되어 디스플레이 화면 상에 표시될 수 있다. 사용자가 전자 장치(700)를 양손으로 파지하여 조작하고자 의도한 경우가 아님에도 순간적으로 두 개의 터치가 검출되어 의도에 부합하지 않게 동작 제어용 컨트롤 어포던스 객체가 생성 및 표시되는 경우를 방지하고자 함이다. 일 실시예에 의하면, 시청 가능 화면의 크기의 확장 또는 축소를 제어하기 위한 항목들을 포함한 화면 크기 변경 제어 객체와, 전자 장치의 기능 실행을 제어하기 위한 항목들을 포함한 기능 제어 객체가 각각 별개의 서로 이격된 그래픽 객체로서 디스플레이 화면 상에 표시될 수 있다(도 8의 (a) 내지 (d) 참조). 일 실시예에 의하면, 단계(1002)에서 디스플레이 화면 상에서 동시에 존재하는 두 개의 터치가 검출된 경우, 그 두 개의 터치 중 먼저 발생한 터치의 터치 위치 가까이에 화면 크기 변경 제어 객체가 표시되고, 나머지 다른 터치의 터치 위치 가까이에 기능 제어 객체를 표시될 수 있으며(도 8의 (a) 내지 (d) 참조), 본 개시가 이로써 제한되는 것은 아니다. 다른 일 실시예에 의하면, 시청 가능 화면의 크기의 확장 또는 축소를 제어하기 위한 항목들과, 전자 장치의 기능 실행을 제어하기 위한 항목들을 모두 포함한 통합형 컨트롤 어포던스 객체가 하나의 그래픽 객체로서 디스플레이 화면 상에 표시될 수 있다(도 9의 (a) 참조). 다른 일 실시예에 의하면, 두 개의 터치 중 먼저 발생한 터치의 터치 위치 가까이에 통합형 컨트롤 어포던스 객체가 표시될 수 있으며, 본 개시가 이로써 제한되는 것은 아니다. 일 실시예에 의하면, 디스플레이 화면 상에 동작 제어용 컨트롤 어포던스 객체(화면 크기 변경 제어 객체, 기능 제어 객체, 및 통합형 컨트롤 어포던스 객체를 포함)가 표시되는 경우, 디스플레이 화면 상에 표시 중이던 이미지의 휘도가 감소되고 그 위에 표시되는 동작 제어용 컨트롤 어포던스 객체만이 밝게 표시되어, 사용자의 인지가 해당 동작 제어용 컨트롤 어포던스 객체로 집중되도록 할 수 있으며, 본 개시가 이로써 제한되는 것은 아니다.
단계(1006)에서는, 디스플레이 화면 상에 존재하는 터치가 하나뿐인지, 즉 사용자가 두 손 중 하나를 디스플레이 화면에서 떼어, 앞서 단계(1002)에서 판정된 두 개의 터치 중 하나가 사라졌는지 여부를 판정할 수 있다. 그러한 경우, 절차는 단계(1008)로 진행하여, 필요에 따라, 동작 제어용 컨트롤 어포던스 객체를 변형할 수 있다. 예컨대, 일 실시예에 따라, 단계(1004)에서, 시청 가능 화면의 크기의 확장 또는 축소를 제어하기 위한 항목들을 포함한 화면 크기 변경 제어 객체와, 전자 장치의 기능 실행을 제어하기 위한 항목들을 포함한 기능 제어 객체를 각각 별개의 서로 이격된 그래픽 객체로서 표시한 후, 단계(1008)에서 전술한 화면 크기 변경 제어 객체와 기능 제어 객체의 표시를 대신하여, 하나의 통합형 컨트롤 어포던스 객체를 생성 및 표시할 수 있다. 일 실시예에 의하면, 전술한 바와 같이, 통합형 컨트롤 어포던스 객체는, 디스플레이의 시청 가능 화면의 크기의 확장 또는 축소가 이루어지는 양 방향 각각을 향하여 배치된 화면 크기 컨트롤 항목들과 전자 장치(700)의 현재 상태에 따른 기능의 실행을 제어하기 위한 기능 컨트롤 항목들을 포함할 수 있다. 한편, 단계(1006)에서, 디스플레이 화면 상에 존재하였던 두 개의 터치 중 하나의 터치가 사라진 것으로 판정되지 않은 경우(즉, 양손 터치 유지), 절차는 단계(1010)로 바로 진행할 수 있다.
단계(1010)에서는, 동작 제어용 컨트롤 어포던스 객체의 소정 항목에 대한 사용자 선택이 발생하였는지가 판정될 수 있다. 단계(1010)에서 그러한 사용자 선택이 발생하였다고 판정된 경우, 절차는 단계(1012)로 진행하여 그 선택에 관한 정보, 예컨대 선택된 항목이 무엇인지 및/또는 항목 선택을 위한 사용자 조작의 발생 방향(예를 들어, 드래그가 이루어진 방향)에 관한 정보가 획득될 수 있다.
단계(1014)에서는, 단계(1012)에서 획득된 정보에 기초하여, 전자 장치(700) 상에서 대응하는 동작의 제어가 이루어질 수 있다. 예컨대, 단계(1012)에서 획득된 정보가, 화면 크기 컨트롤 항목에 대한 선택인 경우, 전자 장치(700)는, 미리 정의된 바에 따라 화면 크기를 확장 또는 축소시키도록 동작 제어될 수 있다. 예컨대, 단계(1012)에서 획득된 정보가, 기능 컨트롤 항목에 대한 선택인 경우, 전자 장치(700)는, 미리 정의된 바에 따라 대응하는 기능을 실행하도록 동작 제어될 수 있다. 예컨대, 단계(1012)에서 획득된 정보가, 특정 기능 컨트롤 항목에 대한 선택이고, 그 기능 컨트롤 항목이 해당 기능의 실행과 함께 화면 크기의 확장 또는 축소를 가져오는 것으로 미리 정해져 있는 경우, 전자 장치(700)는, 그러한 미리 정의된 바에 따라, 대응하는 기능을 실행함과 함께 화면 크기를 확장 또는 축소하도록 동작 제어될 수 있다. 예컨대, 단계(1012)에서 획득된 정보가, 특정 기능 컨트롤 항목에 대한 선택이고 그러한 선택이 이루어진 방향이 디스플레이 화면의 확장 방향에 대응(예컨대, 확장 방향으로의 드래그)하는 경우, 전자 장치(700)는, 미리 정의된 바에 따라 대응하는 기능을 실행하면서 동시에 디스플레이 화면이 확장되도록 동작 제어될 수 있다. 예컨대, 단계(1012)에서 획득된 정보가, 기능 컨트롤 항목에 대한 선택이고 그러한 선택이 이루어진 방향이 디스플레이 화면의 축소 방향에 대응(예컨대, 축소 방향으로의 드래그)하는 경우, 전자 장치(700)는, 미리 정의된 바에 따라 대응하는 기능을 실행하면서 동시에 디스플레이 화면이 축소되도록 동작 제어될 수 있다.
본 도면에 명시되지는 않았으나, 일 실시예에 의하면, 단계(1014)에서 동작 제어가 수행된 후, 단계(1004) 또는 단계(1008)에서 생성되어 전자 장치(700)의 디스플레이 화면 상에 표시된 컨트롤 어포던스 객체가 디스플레이 화면으로부터 제거될 수 있다. 일 실시예에 의하면, 전술한 바와 같이, 컨트롤 어포던스 객체가 표시되는 동안 그 아래의 이미지의 휘도가 감소 표시되었던 경우, 컨트롤 어포던스 객체의 표시가 제거되는 것과 함께 해당 이미지의 휘도가 원래 상태로 복원될 수 있고, 본 개시가 이로써 제한되는 것은 아니다.
도 11는, 일 실시예에 따라, 전자 장치(700)가 세로 모드인 상태에서 메시지 애플리케이션을 실행 중인 동안, 다양한 형태의 동작 제어용 컨트롤 어포던스 객체들이 표시 및 활용되는 예시적 상황들을 보여주는 도면이다.
먼저, 도 11의 (a)에 도시된 바에 의하면, 상황(1111)에서, 전자 장치(700)의 시청 가능 화면이 축소(인입)된 상태에서 사용자의 양 손에 의한 화면 터치가 이루어지고 있다. 본 도면에 명시되지는 않았으나, 양 손에 의한 화면 터치는 왼손에서 오른손 순서로 이루어진 것일 수 있고, 본 개시가 이로써 제한되는 것은 아니다. 사용자의 양 손 터치의 검출에 이어서, 상황(1112)에서는, 서로 별개인 화면 크기 변경 제어 객체(11121)와 기능 제어 객체(11125)가 각각 왼손과 오른손 터치 위치 근처의 화면 상에 표시된다. 전술한 바와 같이, 일 실시예에 의하면, 화면 크기 변경 제어 객체(11121)가 먼저 터치가 이루어진 쪽(예컨대, 왼손)의 터치 위치 근처에 표시되고 기능 제어 객체(11125)가 나중에 터치가 이루어진 쪽(예컨대, 오른손)의 터치 위치 근처에 표시될 수 있으며, 본 개시가 이로써 제한되는 것은 아니다. 도시된 바에 의하면, 화면 크기 변경 제어 객체(11121)는, 전자 장치(700)의 시청 가능 화면이 확장 또는 축소되는 방향, 예컨대 세로 방향을 따라 상하로 배치되어, 위쪽에 화면 확장 항목(11122)이 배치되고 아래쪽에 화면 축소 항목(11123)이 배치되어 있다. 도시된 바에 의하면, 기능 제어 객체(11125)는 기능 컨트롤 항목들(즉, 현재 실행 중인 애플리케이션에 따라 정해진 각 기능 실행을 컨트롤하는 항목들), 예컨대 메시지 작성 항목(11126)과 이모지/스티커 삽입 항목(11127)을 포함하며, 본 개시가 이로써 제한되는 것은 아니다. 도시되지는 않았으나, 다른 실시예에 의하면, 메시지 애플리케이션 실행 시 표시되는 기능 제어 객체는, 수신 메시지에 대한 회신하기, 파일 첨부하기를 비롯한 여러가지 기능 컨트롤 항목을 더 포함할 수 있다. 다양한 실시예들에 의하면, 실행 중인 애플리케이션별로 더 많거나 적은 수의 기능 컨트롤 항목이 포함될 수 있다. 또한, 도시된 바에 의하면, 기능 제어 객체(11125)에서, 사선 형상을 이루도록 오른쪽 위쪽(예컨대, 세로 모드에서 화면의 확장 또는 축소가 이루어지는 쪽)에 메시지 작성 항목(11126)이 배치되고, 왼쪽 아래에 이모지/스티커 삽입 항목(11127)이 배치되는데, 본 개시가 이로써 제한되는 것은 아니다. 실행 중인 애플리케이션별로 기능 제어 객체에 포함되도록 정해진 다양한 수의 기능 컨트롤 항목들이 다양한 형태를 이루도록 군집 배치될 수 있고, 본 개시가 특정 형태로 제한되는 것은 아니다. 또한, 일 실시예에 의하면, 실행 중인 애플리케이션별로 정해지는 기능 컨트롤 항목들 중, 해당 기능의 특성상 전자 장치의 시청 가능 화면의 확장 또는 축소와 결합되는 것이 바람직하다고 미리 정해진 소정 기능에 대한 기능 컨트롤 항목이, 기능 제어 객체에서 화면의 확장 또는 축소가 이루어지는 방향을 따라 배치될 수 있고, 본 개시가 특정 형태로 제한되는 것은 아니다.
이어서, 상황(1113)에는, 사용자가 왼손을 화면으로부터 떼어 오른손에 의한 터치만이 유지되고, 그에 따라 상황(1112)에서 화면 양측에 표시되고 있던 화면 크기 변경 제어 객체(11121)와 기능 제어 객체(11125)를 대신해서 통합형 컨트롤 어포던스 객체(11130)가 생성 및 표시되고 있다. 도시된 바와 같이, 통합형 컨트롤 어포던스 객체(11130)는, 터치가 유지되고 있는 쪽(예컨대, 오른손)의 터치 위치 근처에 표시될 수 있다. 도시된 바에 의하면, 통합형 컨트롤 어포던스 객체(11130)는, 원형의 네비게이션 메뉴 형태를 가지며, 메뉴 위쪽에는 화면 확장 항목(11132)이 표시되고, 아래쪽에는 화면 축소 항목(11133)에 표시되고, 좌우 측에는 각각 실행 중인 메시지 애플리케이션에 연관된 기능 실행을 위한 항목들, 즉 이모지/스티커 삽입 항목(11137)과 메시지 작성 항목(11136)이 표시되고 있는데, 본 개시가 이로써 제한되는 것은 아니다.
상황(1114)에서, 사용자에 의한 통합형 컨트롤 어포던스 객체(11130)의 조작이 이루어진다. 도시된 바에 의하면, 사용자는, 통합형 컨트롤 어포던스 객체(11130)의 메뉴 위쪽 항목, 즉 화면 확장 항목(11132)을 향하여 오른손의 터치 위치를 이동(예컨대, 위쪽 방향으로의 드래그를 통해 이동할 수 있고, 본 개시가 이로써 제한되는 것은 아님)시키고, 이로써 화면 확장 항목(11132)이 선택될 수 있다. 그에 따라, 전자 장치(700)는 시청 가능 화면이 확장되도록 동작 제어될 수 있고, 상황(1115)에서, 시청 가능 화면이 확장되어 넓은 화면을 통해 메시지 애플리케이션의 이미지(상황(1111)에서 보여지던 메시지 영역과 보여지지 않던 메시지 영역을 포함함)가 보여지고 있다.
도 11의 (b)에 도시된 바에 의하면, 상황(1121)에서, 전자 장치(700)의 시청 가능 화면이 확장된 상태(예컨대, 도 11의 (a)의 상황(1115))에서 사용자의 양 손에 의한 화면 터치가 이루어지고 있다. 양 손에 의한 화면 터치는, 도 11의 (a)와 관련하여 전술한 바와 같이, 왼손에서 오른손 순서로 이루어졌을 수 있고, 본 개시가 이로써 제한되는 것은 아니다. 사용자의 양 손 터치 이어서, 상황(1122)에서, 도 11의 (a)의 상황(1112)에서와 같이, 별도의 화면 크기 변경 제어 객체(11222)와 기능 제어 객체(11225)가 각각 왼손과 오른손 터치 위치 근처의 화면 상에 표시된다. 전술한 바와 같이, 일 실시예에 의하면, 화면 크기 변경 제어 객체(11221)가 먼저 터치가 이루어진 쪽(예컨대, 왼손)의 터치 위치 근처에 표시되고 기능 동작 제어용 컨트롤 어포던스(11223)가 나중에 터치가 이루어진 쪽(예컨대, 오른손)의 터치 위치 근처에 표시될 수 있으며, 본 개시가 이로써 제한되는 것은 아니다. 도 11의 (a)의 상황(1112)에서와 마찬가지로, 화면 크기 변경 제어 객체(11221)는, 전자 장치(700)의 시청 가능 화면이 확장 또는 축소되는 세로 방향을 따라 상하로 배치되어, 위쪽에 화면 확장 항목(11222)이 배치되고 아래쪽에 화면 축소 항목(11223)이 배치되어 있다. 또한, 기능 제어 객체(11225)는 메시지 작성 항목(11226)과 이모지/스티커 삽입 항목(11227)을 포함하고, 사선 형상을 이루도록 위쪽에는 메시지 작성 항목(11226)이 배치되고 왼쪽에는 이모지/스티커 삽입 항목(11227)이 배치되어 있다.
상황(1123)에서, 사용자가 양 손의 터치를 유지한 채 화면 크기 변경 제어 객체(11222)를 조작한다. 도시된 바에 의하면, 사용자는, 화면 크기 변경 제어 객체(11221)의 메뉴 아래쪽 항목, 즉 화면 축소 항목(11223)을 향하여 터치 위치를 이동(예컨대, 아래쪽 방향으로의 드래그를 통해 이동할 수 있고, 본 개시가 이로써 제한되는 것은 아님)시키고, 이로써 화면 축소 항목(11223)이 선택될 수 있다. 그에 따라, 전자 장치(700)는 시청 가능 화면이 축소되도록 동작 제어될 수 있고, 상황(1124)에서, 시청 가능 화면이 축소된 상태에서, 좁은 화면을 통해 메시지 애플리케이션의 이미지(상황(1121)에서 보여지던 영역 중 일부 영역을 포함함)이 보여지고 있다.
도 11의 (c)에 도시된 바에 의하면, 도 11의 (a)의 상황(1111) 및 상황(1112)에서와 마찬가지로, 상황(1131)과 상황(1132)에서, 전자 장치(700)의 시청 가능 화면이 축소된 상태에서 사용자의 양 손에 의해 화면 터치가 이루어지고, 그에 따라 각각 별개의 화면 크기 변경 제어 객체(11321)와 기능 동작 제어용 컨트롤 어포던스(11325)가 화면 상에 표시된다. 도시된 바에 의하면, 도 11의 (a)의 상황(1112)에서와 유사하게, 화면 크기 변경 제어 객체(11321)는, 전자 장치(700)의 시청 가능 화면이 확장 또는 축소되는 방향, 예컨대 세로 방향을 따라 상하로 배치되어, 위쪽에 화면 확장 항목(11322)이 배치되고 아래쪽에 화면 축소 항목(11323)이 배치되어 있다. 또한, 기능 제어 객체(11325)는 2개의 기능 컨트롤 항목, 즉 메시지 작성 항목(11326)과 이모지/스티커 삽입 항목(11327)을 포함하고, 사선 형상을 이루도록 위쪽에는 메시지 작성 항목(11326)이 배치되고 왼쪽에는 이모지/스티커 삽입 항목(11327)이 배치되는데, 본 개시가 이로써 제한되는 것은 아니다.
상황(1133)에서, 사용자는 양 손의 터치를 유지한 채 기능 제어 객체(11325)를 조작한다. 도시된 바에 의하면, 사용자는, 기능 제어 객체(11325)의 기능 컨트롤 항목들 중 소정 항목, 예컨대 메시지 작성 항목(11326)(즉, 위쪽 방향)을 향하여 터치 위치를 이동(예컨대, 위쪽 방향으로의 드래그를 통해 이동할 수 있고, 본 개시가 이로써 제한되는 것은 아님)시킬 수 있다. 상황(1133)에서 메시지 작성 항목(11326)이 선택됨에 따라, 상황(1134)에서는, 전자 장치(700)의 시청 가능 화면이 확장되고 넓은 화면을 통하여 메시지 작성을 위한 화면, 즉 입력 패널(글 입력란(11342)과 키보드 표시(11344)를 포함함)이 표시되고 있다. 도 11의 (a)의 상황(1115)의 확장된 시청 가능 화면에서는, 상황(1111)에서 기존에 보여지던 영역과 보여지지 않던 영역을 포함한 넓은 영역이 보여질 뿐인데 비해, 도 11의 (c)의 상황(1134)의 확장된 시청 가능 화면에서는, 메시지 작성 기능 실행에 따라, 넓은 화면을 통하여 입력란(11342)과 키보드(11344)가 표시된다는 점에서 차이가 있다.
도 11의 (c)를 참조하여 전술한 바와 같이, 일 실시예에 의하면, 미리 정해진 바에 따라, 소정의 기능 항목(예컨대, 메시지 작성 항목(11326) 및/또는 이모지/스티커 삽입 항목(11327))의 선택이, 대응하는 기능의 실행과 함께, 화면 크기의 확장 또는 축소를 가져올 수 있다. 일 실시예에 의하면, 동작 제어용 컨트롤 어포던스에 포함된 기능 컨트롤 항목들 중 임의의 항목은, 묵시적으로 해당 항목의 선택 시 그러한 기능의 실행과 함께 전자 장치(700)의 시청 가능 화면의 확장 또는 축소 제어가 이루어지도록 정해져 있을 수 있다. 일 실시예에 의하면, 소정의 기능 항목(예컨대, 도 11에 도시된 메시지 작성 항목(11326) 및/또는 이모지/스티커 삽입 항목(11327), 또는 그 외 도시되지 않은 수신 메시지에 대한 회신하기 항목이나 파일 첨부하기 항목 등)에 대한 선택은, 그러한 선택 자체만으로 또는 그러한 선택이 소정 방식에 따라 이루어진 경우(예컨대, 해당 항목을 향한 방향으로의 드래그 이동에 의하여 항목의 선택이 이루어진 경우)에 한하여, 대응하는 기능의 실행(예컨대, 메시지 입력이나 이모지/스티커 삽입을 위한 정보 입력 패널 표시, 첨부할 파일 선택을 위한 검색 정보 입력 패널의 표시 등)과 함께, 미리 정해진 바에 따라, 시청 가능 화면의 크기의 확장 또는 축소를 가져올 수 있고, 본 개시가 이로써 제한되는 것은 아니다.
본 도면에서는, 메시지 애플리케이션이 실행되어 디스플레이 화면 상에 특정인과의 메시지가 표시되는 동안 그러한 메시지 표시 위에 동작 제어용 컨트롤 어포던스 객체가 표시되고 조작되는 경우를 중심으로 설명되었으나 본 개시가 이로써 제한되는 것은 아니다. 본 개시의 일 실시예에 의하면, 메시지 애플리케이션이 실행되어 수신 또는 발신 메시지 리스트가 표시되는 중에도, 전술한 다양한 사용자 조작에 의해 동작 제어용 컨트롤 어포던스 객체가 표시 및 조작될 수 있으며, 그에 따라 전자 장치(700) 상에서 적절한 동작 제어가 이루어질 수 있다. 일 실시예에 의하면, 수신 또는 발신 메시지 리스트가 표시되는 중에, 동작 제어용 컨트롤 어포던스 객체에 대한 조작에 의해 디스플레이의 화면 크기가 확장 또는 축소된 경우, 그에 따라 더 많거나 적은 수의 메시지들이 리스트 상에 표시될 수 있다.
도 12는, 본 개시의 일 실시예에 따라, 전자 장치(700)가 가로 모드인 상태에서 영상 재생/공유 애플리케이션을 실행 중인 동안, 다양한 형태의 동작 제어용 컨트롤 어포던스 객체들이 표시 및 활용되는 예시적인 상황들을 보여주는 도면이다. 도 12는, 도 11과 비교할 때, 도 12에 도시된 전자 장치가 가로 모드(도 11에서는 세로 모드)인 점과 전자 장치에서 실행 중인 애플리케이션이 영상 재생/공유 애플리케이션(도 11에서는 메시지 애플리케이션)인 점에서 차별되며, 전반적으로 유사한 내용을 도시하고 있다. 별도로 언급하지 않는 한, 도 11에 관한 설명은 도 12에 관하여도 적용될 수 있으며, 이하에서는 주로 도 12에서 차별되는 점을 중심으로 설명할 것이다.
도 12의 (a)에 도시된 바에 의하면, 상황(1211)에서, 전자 장치(700)의 시청 가능 화면이 축소된 상태에서 사용자의 양 손에 의한 화면 터치가 이루어지고 있다. 사용자의 양 손 터치의 검출에 이어서, 상황(1212)에서는, 별도의 화면 크기 변경 제어 객체(12121)와 기능 제어 객체(12125)가 각각 왼손과 오른손 터치 위치 근처의 화면 상에 표시된다. 도시된 바에 의하면, 화면 크기 변경 제어 객체(12121)는, 전자 장치(700)의 시청 가능 화면이 확장 또는 축소되는 방향, 예컨대 가로 방향을 따라 좌우로 배치되어, 왼쪽에 화면 확장 항목(12122)이 배치되고 오른쪽에 화면 축소 항목(12123)이 배치되어 있다. 도 12의 (a)에 도시된 바에 의하면, 기능 제어 객체(12125)에는, 사선 형상을 이루도록 왼쪽 아래(예컨대, 가로 모드에서 화면의 확장 또는 축소가 이루어지는 쪽)에 댓글쓰기 항목(12127)이 배치되고, 오른쪽 위에 영상 종횡비 변환 항목(12126)이 배치되는데, 본 개시가 이로써 제한되는 것은 아니다. 전술한 바와 같이, 실행 중인 애플리케이션별로 기능 제어 객체에 포함되도록 정해진 다양한 수의 기능 컨트롤 항목들이 다양한 형태를 이루도록 군집 배치될 수 있고, 본 개시가 특정 형태로 제한되는 것은 아니다.
도시된 바에 의하면, 기능 제어 객체(12125)는 기능 컨트롤 항목(즉, 현재 실행 중인 애플리케이션에 따라 정해진 각 기능 실행을 컨트롤하는 항목)들, 예컨대 영상 종횡비 변환 항목(12126)과 댓글쓰기 항목(12127)을 포함하며, 본 개시가 이로써 제한되는 것은 아니다. 다른 실시예에 의하면, 영상 재생/공유 애플리케이션 실행 시 화면에 표시되는 기능 제어 객체는, 영상 시청 중 댓글쓰기 항목, 영상 검색 항목, 영상 링크 공유 항목을 비롯한 여러가지 기능 컨트롤 항목을 더 포함할 수 있다. 일 실시예에 의하면, 예컨대 기능 제어 객체에 댓글쓰기 항목이나 영상 검색 항목과 같이 소정의 텍스트/숫자/이미지 입력이나 기타 정보 검색을 위한 검색 정보 입력이 필요로 되는 기능 항목이 포함되고 그러한 기능 항목이 선택(실행)되는 경우, 디스플레이 화면 상에 그러한 텍스트/숫자/이미지 입력이나 검색 정보 입력을 위한 입력 패널(예컨대, 키보드 표시 포함)이 표시될 수 있다. 일 실시예에 의하면, 예컨대 기능 제어 객체에 영상 링크 공유 항목이 포함되고 선택(실행)되는 경우, 디스플레이 화면 상에 그러한 공유할 영상 링크 및/또는 공유할 대상의 선택을 위한 공유 정보 선택 패널의 표시가 제공될 수 있다.
이어서, 상황(1213)에는, 사용자에 의한 화면 크기 변경 제어 객체(12121)의 조작이 이루어진다. 도시된 바에 의하면, 사용자는, 화면 크기 변경 제어 객체(12121)의 왼쪽 항목, 즉 화면 확장 항목(12122)을 향하여 왼손의 터치 위치를 이동(예컨대, 왼쪽 방향으로의 드래그를 통해 이동할 수 있고, 본 개시가 이로써 제한되는 것은 아님)시키고, 이로써 화면 확장 항목(12122)이 선택될 수 있다. 그에 따라, 전자 장치(700)는 시청 가능 화면이 확장되도록 동작 제어될 수 있고, 상황(1214)에서는 시청 가능 화면이 확장된 상태에서, 넓은 화면을 통해 영상 재생/공유 애플리케이션의 이미지(상황(1211)에서 보여지던 영상에서 보이던 영상 영역과 보여지지 않던 영상 영역을 포함함)가 보여지고 있다.
도 12의 (b)에 도시된 바에 의하면, 상황(1221)에서, 전자 장치(700)의 시청 가능 화면이 확장된 상태(예컨대, 도 12의 (a)의 상황(1214))에서 사용자의 양 손에 의한 화면 터치가 이루어지고 있다. 상황(1222)에서, 서로 별개인 화면 크기 변경 제어 객체(12221)와 기능 제어 객체(12225)가 각각 왼손과 오른손 터치 위치 근처의 화면 상에 표시된다. 도 12의 (a)의 상황(1212)에서와 마찬가지로, 화면 크기 변경 제어 객체(12221)는, 전자 장치(700)의 시청 가능 화면이 확장 또는 축소되는 가로 방향을 따라 좌우로 배치되어, 왼쪽에 화면 확장 항목(12222)이 배치되고 오른쪽에 화면 축소 항목(12223)이 배치되어 있다. 또한, 기능 제어 객체(12225)는 영상 종횡비 변환 항목(12226)과 댓글쓰기 항목(12227)을 포함하고, 사선 형상을 이루도록 오른쪽 상방에는 영상 종횡비 변환 항목(12226)이 배치되고 왼쪽 하방에는 댓글쓰기 항목(12237)이 배치되어 있다.
상황(1223)에서, 사용자가 왼손을 화면으로부터 떼어 오른손에 의한 터치만이 유지되고, 그에 따라 상황(1222)에서 화면 양측에 표시되고 있던 화면 크기 변경 제어 객체(12221)와 기능 제어 객체(12225)를 대신해서 통합형 컨트롤 어포던스 객체(12230)가 생성 및 표시되고 있다. 도시된 바와 같이, 통합형 컨트롤 어포던스 객체(12230)는, 터치가 유지되고 있는 쪽(예컨대, 오른손)의 터치 위치 근처에 표시될 수 있다. 도시된 바에 의하면, 통합형 컨트롤 어포던스 객체(12230)는, 원형의 네비게이션 메뉴 형태를 가지며, 메뉴 왼쪽에는 화면 확장 항목(12232)이 표시되고, 아래쪽에는 화면 축소 항목(12233)이 표시되고, 상하 측에는 각각 실행 중인 메시지 애플리케이션에 연관된 기능 실행을 위한 항목들, 즉 영상 종횡비 변환 항목(12236)과 댓글쓰기 항목(12237)이 표시되고 있는데, 본 개시가 이로써 제한되는 것은 아니다.
상황(1224)에서, 사용자에 의한 통합형 컨트롤 어포던스 객체(12230)의 조작이 이루어진다. 도시된 바에 의하면, 사용자는, 통합형 컨트롤 어포던스 객체(12230)의 메뉴 오른쪽 항목, 즉 화면 축소 항목(12233)을 향하여 오른손의 터치 위치를 이동(예컨대, 오른쪽 방향으로의 드래그를 통해 이동할 수 있고, 본 개시가 이로써 제한되는 것은 아님)시키고, 이로써 화면 축소 항목(12233)이 선택될 수 있다. 그에 따라, 전자 장치(700)는 시청 가능 화면이 축소되도록 동작 제어될 수 있고, 상황(1225)에서, 시청 가능 화면이 축소된 상태에서, 좁은 화면을 통해 영상 재생/공유 애플리케이션의 이미지(상황(1221)에서 보여지던 영역 중 일부 영역을 포함함)이 보여지고 있다.
도 12의 (c)에 도시된 바에 의하면, 도 12의 (a)의 상황(1211) 및 상황(1212)에서와 마찬가지로, 상황(1231)과 상황(1232)에서, 전자 장치(700)의 시청 가능 화면이 축소된 상태에서 사용자의 양 손에 의해 화면 터치가 이루어지고, 그에 따라 각각 별개의 화면 크기 변경 제어 객체(12321)와 기능 제어 객체(12325)가 화면 상에 표시된다. 화면 크기 변경 제어 객체(12321)는, 전자 장치(700)의 시청 가능 화면이 확장 또는 축소되는 방향, 예컨대 가로 방향을 따라 좌우로 배치되어, 왼쪽에 화면 확장 항목(12322)이 배치되고 오른쪽에 화면 축소 항목(12323)이 배치되어 있다. 또한, 영상 종횡비 변환 항목(12326)과 댓글쓰기 항목(12327)을 포함한 기능 제어 객체(12325)가 화면 오른쪽에 배치된다.
상황(1233)에서, 사용자는 양 손의 터치를 유지한 채 기능 제어 객체(12325)를 조작한다. 도시된 바에 의하면, 사용자는, 기능 제어 객체(12325)의 기능 컨트롤 항목들 중 소정 항목, 예컨대 영상 종횡비 변환 항목(12326)을 향하여 터치 위치를 이동(예컨대, 위쪽 방향으로의 드래그를 통해 이동할 수 있고, 본 개시가 이로써 제한되는 것은 아님)시킬 수 있다. 상황(1233)에서 영상 종횡비 변환 항목(12326)이 선택됨에 따라, 상황(1234)에서는, 전자 장치(700)의 시청 가능 화면이 확장되고 넓은 화면을 통하여 변환된 종횡비(예컨대, 16:9)의 영상이 표시되고 있다. 도 12의 (a)의 상황(1214)의 확장된 시청 가능 화면에서는, 상황(1211)에서 기존에 보여지던 영역과 보여지지 않던 영역을 포함한 넓은 영역이 보여질 뿐 기존의 종횡비가 유지되는데 비해, 도 12의 (c)의 상황(1234)의 확장된 시청 가능 화면에서는, 영상 종횡비 변환 기능 실행에 따라, 넓은 화면을 통하여 종횡비가 변환된 영상이 표시된다는 점에서 차이가 있는데, 본 개시가 이로써 제한되는 것은 아니다. 일 실시예에 의하면, 전자 장치가 축소된 상태에서 소정의 영상이 재생 중인 동안 동작 제어용 컨트롤 어포던스 객체의 조작에 의해 화면 크기가 확장 또는 축소되는 경우, 그러한 화면 크기의 확장 또는 축소와 함께 그 확장 또는 축소된 화면 크기에 맞도록 영상의 종횡비가 자동으로 변환 표시될 수도 있다.
도 12의 (c)를 참조하여 전술한 바와 같이, 일 실시예에 의하면, 미리 정해진 바에 따라, 소정의 기능 항목(예컨대, 영상 종횡비 변환 항목(12326) 및/또는 댓글쓰기 항목(12327))의 선택이, 대응하는 기능의 실행과 함께, 화면 크기의 확장 또는 축소를 가져올 수 있으나, 본 개시가 이로써 제한되는 것은 아니다. 다양한 실시예에 의하면, 동작 제어용 컨트롤 어포던스에 포함된 기능 실행 항목들 중 임의의 항목은, 묵시적으로 해당 항목의 선택 시 그러한 기능의 실행과 함께 전자 장치(700)의 시청 가능 화면의 확장 또는 축소 제어가 이루어지도록 정해져 있을 수 있다. 일 실시예에 의하면, 소정의 기능 항목(예컨대, 도 12에 도시된 영상 종횡비 변환 항목(12326) 및/또는 댓글쓰기 항목(12327), 또는 그 외 도시되지 않은 영상 검색 항목이나 영상 링크 공유 항목 등)에 대한 선택은, 그러한 선택 자체만으로, 또는 그러한 선택이 소정 방식에 따라 이루어진 경우(예컨대, 해당 항목을 향한 방향으로의 드래그 이동에 의하여 항목의 선택이 이루어진 경우)에 한하여, 대응하는 기능의 실행과 함께, 화면 크기의 확장 또는 축소를 가져올 수 있다.
도 13은, 본 개시의 일 실시예에 따라, 전자 장치(700)가 세로 모드인 상태에서 홈스크린이 디스플레이 화면에 표시되는 동안, 다양한 형태의 동작 제어용 컨트롤 어포던스 객체들이 표시 및 활용되는 예시적 상황들을 보여주는 도면이다. 도 14는, 일 실시예에 따라, 전자 장치(700)가 세로 모드인 상태에서 갤러리 애플리케이션을 실행 중인 동안, 다양한 형태의 동작 제어용 컨트롤 어포던스 객체들이 표시 및 활용되는 예시적 상황들을 보여주는 도면이다. 도 15는, 일 실시예에 따라, 전자 장치(700)가 세로 모드인 상태에서 건강관리 애플리케이션을 실행 중인 동안, 다양한 형태의 동작 제어용 컨트롤 어포던스 객체들이 표시 및 활용되는 예시적 상황들을 보여주는 도면이다. 도 13 내지 15는, 도 11과 비교할 때, 홈스크린 상태에 있거나, 갤러리 애플리케이션 또는 건강관리 애플리케이션이 실행 중(도 11에서는 메시지 애플리케이션이 실행 중)인 점에서 차별되며, 전반적으로 유사한 내용을 도시하고 있다. 별도로 언급하지 않는 한, 도 11에 관한 설명은, 도 13 내지 15에 관하여도 적용될 수 있으며, 이하에서는 주로 도 13 내지 15에서 차별되는 점을 중심으로 설명할 것이다.
도 13의 (a) 및 도 14의 (a) 각각에는, 도 11의 (a)에 도시된 바와 유사하게, 사용자의 양손 터치 검출(1311, 1411)에 따라, 화면 크기 변경 제어 객체(13121, 14121)와 기능 제어 객체(13125, 14125)가 각각 왼손과 오른손 터치 위치 근처의 화면 상에 표시(1312, 1412)된다. 화면 크기 변경 제어 객체(13121, 14121)는, 전자 장치(700)의 시청 가능 화면이 확장 또는 축소되는 방향, 예컨대 세로 방향을 따라 상하로 배치되어, 위쪽에 화면 확장 항목(13122, 14122)이 배치되고 아래쪽에 화면 축소 항목(13123, 14123)이 배치되어 있다. 도시된 바에 의하면, 도 13의 (a)의 기능 제어 객체(13125)는 현재 화면을 분할하는 화면 분할 항목(13126)(예컨대, 실행 시 현재 화면을 분할하여 두 개의 화면으로 표시)과 최근 실행된 애플리케이션들을 위한 멀티 윈도우 항목(13127)(예컨대, 실행 시 최근 실행된 복수의 애플리케이션을 각각의 윈도우를 통해 표시)이 사선(/) 형상을 이루도록 배치되어 있다. 도 14의 (a)의 기능 제어 객체(14125)는, 이미지 검색 항목(14126)(예컨대, 실행 시, 검색어 또는 검색 표시자를 입력/선택하기 위한 검색 정보 입력 패널 표시), 이미지 편집 항목(14127)(예컨대, 실행 시, 이미지 편집을 위한 정보 입력 패널 표시), 이미지 공유 항목(14128)(예컨대, 실행 시, 공유할 이미지와 공유 대상을 선택하기 위한 공유 정보 선택 패널 표시), 및 이모지/스티커 삽입 항목(14129)(예컨대, 실행 시 삽입할 이모지/스티커 선택을 위한 선택 입력 표시)을 포함하며, 이들 각 항목이 상하 좌우로 배치되어 십자 형상을 이루고 있다. 도 12 및 11로부터 알 수 있듯이, 각 기능 제어 객체는 전자 장치의 상태에 따라 다양한 수의 기능 컨트롤 항목들을 포함할 수 있고, 그러한 기능 컨트롤 항목들은, 기능 제어 객체에 포함되는 기능 컨트롤 항목의 수에 따라 다양한 형태(예컨대, -자형, l자형, 사선형, 삼각형, 사각형, 원형, 십자형, 격자형 또는 기타 임의의 다른 형상)을 이루도록 군집 배치될 수 있다.
한편, 도 15의 (a)에서는, 사용자의 양손 터치 검출(1511)에 따라, 통합형 컨트롤 어포던스 객체(15120)가 생성 및 표시(1512)되고 있다. 도 15의 (a)의 통합형 컨트롤 어포던스 객체(15120)는, 두 개의 화면 확장 또는 축소 항목과 두 개의 기능 컨트롤 항목이 사방으로 배치된 형태, 즉 메뉴 위쪽에 화면 확장 항목(15122)이 표시되고, 메뉴 아래쪽에는 화면 축소 항목(15123)이 표시되며, 왼쪽과 오른쪽에 각각 전술한 기능 컨트롤 항목, 즉 식단입력 항목(15126)(예컨대, 실행 시, 식단정보 입력을 위한 정보 입력 패널 표시) 및 정보 상세보기 항목(15127)(예컨대, 선택된 항목에 대한 상세정보 화면 표시)이 표시된 원형의 네비게이션 메뉴 형태를 가질 수 있다.
도 13의 (a) 및 도 14의 (a)에 도시된 바에 의하면, 사용자가 왼손을 화면으로부터 떼어 오른손에 의한 터치만이 유지되고, 그에 따라 화면 양측에 표시되고 있던 화면 크기 변경 제어 객체(13121, 14121)와 기능 제어 객체(13125, 14125)를 대신해서 통합형 컨트롤 어포던스 객체(13130, 14130)가 생성 및 표시(1313, 1413)되고 있다. 도 13의 (a)의 통합형 컨트롤 어포던스 객체(13130)는, 화면 확장 또는 축소 항목과 두 개의 기능 컨트롤 항목이 사방으로 배치된 형태, 즉 메뉴 위쪽에 화면 확장 항목(13132)이 표시되고, 메뉴 아래쪽에는 화면 축소 항목(13133)이 표시되며, 왼쪽과 오른쪽에 각각 전술한 기능 컨트롤 항목들(13126, 13127)이 표시된 원형의 네비게이션 메뉴 형태를 가질 수 있다. 도 14의 (a)의 통합형 컨트롤 어포던스 객체(14130)는, 메뉴 위쪽에 화면 확장 항목(14132)이 표시되고, 메뉴 아래쪽에는 화면 축소 항목(14133)이 표시되며, 오른쪽에 이미지 검색 항목(14126)과 이미지 공유 항목(14128)이 표시되고, 왼쪽에 이모지/스티커 삽입 항목(14129)과 이미지 편집 항목(14127)이 표시된 원형의 네비게이션 메뉴 형태를 가질 수 있다. 도 13 및 도 15의 경우, 통합형 컨트롤 어포던스 객체(13130, 15120)는 사방으로 4개의 선택 항목을 갖는데 비해, 도 14의 통합형 컨트롤 어포던스 객체(14130)는 더 많은 수(즉, 4개)의 기능 컨트롤 항목을 수용하기 위해 6개의 선택 항목을 갖도록 구성되어 있으며, 본 개시가 이로써 제한되는 것은 아니다. 일 실시예에 의하면, 통합형 컨트롤 어포던스 객체는, 소정의 중심을 기준으로 서로 반대 방향(예컨대, 화면이 확장 또는 축소되는 각각의 방향)을 향하여 배치된 화면 크기 컨트롤 항목들과, 양쪽으로 배치된 화면 컨트롤 항목들 사이에서 전술한 중심을 둘러싸도록 배치된 기능 컨트롤 항목들을 포함하도록 구성될 수 있고, 본 개시가 이로써 제한되는 것은 아니다.
도시된 바에 의하면, 사용자는, 통합형 컨트롤 어포던스 객체(13130, 14130, 15120)의 메뉴 위쪽 항목, 즉 화면 확장 항목(13132, 14132, 15122)을 향하여 오른손의 터치 위치를 이동(예컨대, 위쪽 방향으로의 드래그를 통해 이동할 수 있고, 본 개시가 이로써 제한되는 것은 아님)시키고, 이로써 화면 확장 항목(13132, 14132, 15122)이 선택(1314, 1414, 1513)될 수 있다. 그에 따라, 전자 장치(700)는 시청 가능 화면이 확장되도록 동작 제어될 수 있고, 시청 가능 화면이 확장된 상태에서, 넓은 화면을 통해 각각의 실행 애플리케이션의 이미지가 보여지고 있다(1315, 1415, 1514).
도 13의 (b) 및 도 14의 (b)에 도시된 바에 의하면, 전자 장치(700)의 시청 가능 화면이 확장된 상태에서 사용자의 양 손에 의한 화면 터치가 이루어지고 있다(1321, 1421). 각각 서로 별개인 화면 크기 변경 제어 객체(13221, 14221)와 기능 제어 객체(13225, 14225)가 각각 왼손과 오른손 터치 위치 근처의 화면 상에 표시된다(1322, 1422). 사용자가 양 손의 터치를 유지한 채 화면 크기 변경 제어 객체(13221, 14221)를 조작한다(1323, 1423). 도시된 바에 의하면, 사용자는, 화면 크기 변경 제어 객체(13221, 14221)의 메뉴 아래쪽 항목, 즉 화면 축소 항목(13223, 14223)을 향하여 터치 위치를 이동(예컨대, 아래쪽 방향으로의 드래그를 통해 이동할 수 있고, 본 개시가 이로써 제한되는 것은 아님)시키고, 이로써 화면 축소 항목(13223, 14223)이 선택될 수 있다. 그에 따라, 전자 장치(700)는 시청 가능 화면이 축소되도록 동작 제어될 수 있고, 시청 가능 화면이 축소된 상태에서, 좁은 화면을 통해 각각의 실행 중인 메시지 애플리케이션의 이미지(축소 이전에 보여지던 영역 중 일부 영역을 포함함)가 보여지고 있다(1324, 1424).
한편, 도 15의 (b)에는, 전자 장치(700)의 시청 가능 화면이 확장된 상태에서 사용자의 양 손에 의한 화면 터치가 이루어지고(1521), 사용자가 양 손의 터치를 유치한 상태에서 통합형 컨트롤 어포던스 객체(15220)가 화면 상에 표시된다(1522). 사용자는 양 손의 터치를 유지한 채 통합형 컨트롤 어포던스 객체(15220)를 조작한다(1523). 도시된 바에 의하면, 사용자는, 통합형 컨트롤 어포던스 객체(15220)의 메뉴 아래쪽 항목, 즉 화면 축소 항목(15223)을 향하여 터치 위치를 이동시키고, 이로써 화면 축소 항목(15223)이 선택될 수 있다. 그에 따라, 전자 장치(700)는 시청 가능 화면이 축소되도록 동작 제어될 수 있고, 시청 가능 화면이 축소된 상태에서, 좁은 화면을 통해 실행 중인 건강관리 애플리케이션의 이미지(축소 이전에 보여지던 영역 중 위쪽 일부 영역을 포함함)가 보여지고 있다(1524).
도 13의 (c), 도 14의 (c) 및 도 15의 (c)에 도시된 바에 의하면, 전자 장치(700)의 시청 가능 화면이 축소된 상태에서 사용자의 양 손에 의해 화면 터치가 이루어지고(1331, 1431, 1531), 그에 따라 각각 별개의 화면 크기 변경 제어 객체(13321, 14321, 15321)와 기능 제어 객체(13325, 14325, 15325)가 화면 상에 표시된다(1332, 1432, 1532). 여기서, 사용자는 양 손의 터치를 유지한 채 기능 제어 객체(13325, 14325, 15325)를 조작한다. 도시된 바에 의하면, 사용자는, 기능 제어 객체(13325, 14325, 15325)의 기능 컨트롤 항목들 중 소정 항목, 예컨대 도 13의 (c)에서는 화면 분할 항목(13326), 도 14의 (c)에서는 이미지 검색 항목(14326), 도 15의 (a)에서는 식단입력 항목(15326)을 향하여 터치 위치를 이동(예컨대, 위쪽 방향으로의 드래그를 통해 이동할 수 있고, 본 개시가 이로써 제한되는 것은 아님)시킬 수 있다. 각 기능 컨트롤 항목(즉, 화면 분할 항목(13326), 이미지 검색 항목(14326), 및 식단입력 항목(15326))이 선택되면, 그에 대응하는 각각의 기능이 실행되는 동시에 전자 장치(700)의 시청 가능 화면이 확장되어 넓은 화면을 통하여 대응하는 이미지가 표시된다(1334, 1434, 1534). 구체적으로, 도 13의 (c)에서는, 확장된 시청 가능 화면을 통해, 기존 화면이 분할되어 2개의 화면이 각각 표시되고, 도 14의 (c)에서는, 확장된 시청 가능 화면 상에 이미지 검색을 위한 화면(예컨대, 검색어 입력 또는 검색 기준이 될 사람 얼굴 선택 등 검색 관련 정보를 입력하기 위한 검색 정보 입력 패널이 포함된 화면)이 표시되고, 도 15의 (c)에서는, 식단입력을 위한 화면(예컨대, 글자 입력을 위한 정보 입력 패널이 포함된 화면)이 표시된다(1334, 1434, 1534).
본 개시에서는, 도 11 내지 11과 관련하여, 메시지 애플리케이션이 실행 중인 동안 동작 제어용 컨트롤 어포던스 객체를 통해 메시지 작성 항목이 선택된 경우, 영상 재생/공유 애플리케이션이 실행 중인 동안 동작 제어용 컨트롤 어포던스 객체를 통해 영상 종횡비 변환 항목이 선택된 경우, 홈스크린이 표시 중인 동안 컨트롤 어포던스 객체를 통해 화면 분할 항목이 선택된 경우, 갤러리 애플리케이션이 실행 중인 동안 동작 제어용 컨트롤 어포던스 객체를 통해 이미지 검색 항목이 선택된 경우, 그리고 건강관리 애플리케이션이 실행 중인 동안 동작 제어용 컨트롤 어포던스 객체를 통해 식단입력 항목이 선택된 경우, 각 기능의 실행과 관련된 고유의 화면이 제공되면서 화면이 확장되는 경우를 중심으로 설명되었으나, 본 개시가 이로써 제한되는 것은 아니다. 다른 실시예에 의하면, 전자 장치 상에서 동작 제어용 컨트롤 어포던스 객체를 통해 다른 임의의 기능 컨트롤 항목이 선택된 경우, 전자 장치가 확장 또는 축소되면서 해당 기능 컨트롤 항목에 대응하는 기능이 실행될 수 있다.
본 개시에서는, 전자 장치 상에서 메시지 애플리케이션, 영상 재생/공유 애플리케이션, 갤러리 애플리케이션, 또는 건강관리 애플리케이션이 실행 중이거나, 홈스크린이 표시 중인 동안에, 사용자 파지 상태의 변화에 따라, 다양한 형태의 동작 제어용 컨트롤 어포던스 객체가 표시되고, 사용자 조작에 따라, 시청 가능 화면이 확장/축소되거나, 현재 상태에 연관된 소정 기능이 실행되거나, 시청 가능 화면의 확장/축소와 병행하여 소정 기능이 실행되는 경우를 중심으로 설명되었으나 본 개시가 이로써 제한되는 것은 아니다. 다양한 실시예에 의하면, 예컨대, 전자 장치 상에서, 예컨대 주소록 관리 애플리케이션, 이메일 애플리케이션, 음악 재생/공유 애플리케이션, 인터넷 브라우저 애플리케이션, 각종 전자 카드/지불 애플리케이션, 또는 각종 메모/노트 애플리케이션이 실행되는 동안, 다양한 형태의 동작 제어용 컨트롤 어포던스 객체가 표시되고, 사용자 조작에 따라, 시청 가능 화면이 확장/축소되거나, 현재 상태에 연관된 소정 기능이 실행되거나, 시청 가능 화면의 확장/축소와 병행하여 소정 기능이 실행될 수 있다.
전자 장치에서 실행될 수 있는 다양한 애플리케이션들과 관련되어 기능 동작 제어용 컨트롤 어포던스 객체에 포함될 수 있는 다양한 기능들 중 적어도 일부는, 해당 기능의 실행 시 화면 표시 내용의 변경을 가져올 수 있다. 예컨대, 일 실시예에 의하면, 전자 장치에서 실행 중인 애플리케이션이 텍스트, 숫자 또는 이미지를 입력 또는 편집하도록 하는 정보 입력 기능(예컨대, 메시지/이메일 또는 메모/노트 작성 또는 편집, 주소나 전화번호 입력/편집, 이미지 입력/편집 등)을 제공하고 컨트롤 어포던스 객체에 그러한 정보 입력 기능 항목이 포함되는 경우, 사용자가 해당 항목을 선택하면, 화면의 크기를 확장하면서 정보 입력을 위한 화면 표시(예컨대, 키보드 표시를 포함한 정보 입력 패널)가 제공될 수 있다. 일 실시예에 의하면, 전자 장치에서 실행 중인 애플리케이션이, 해당 애플리케이션에 연관되어 저장된 정보 중 특정 정보를 검색하도록 하는 정보 검색 기능(예컨대, 메시지/이메일 또는 메모/노트 검색, 주소 검색, 영상 검색, 이미지 검색, 파일 검색 등) 또는 해당 애플리케이션에 연관되어 저장된 정보 중 특정 정보의 공유를 지원하는 정보 공유 기능(예컨대, 이미지 공유, 현재 화면 공유, 주소록 공유 등)을 제공하고 컨트롤 어포던스 객체에 그러한 정보 검색 기능을 위한 항목 또는 정보 공유 기능을 위한 항목이 포함되는 경우, 사용자가 해당 항목을 선택하면, 화면의 크기를 확장하면서 그러한 정보 검색을 위한 화면 표시(예컨대, 검색어 입력 또는 검색 기준 정보 입력/선택을 위한 검색 정보 입력 패널) 또는 정보 공유를 위한 화면 표시(예컨대, 공유할 정보 및/또는 공유 대상을 선택하기 위한 공유 정보 선택 패널)가 제공될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101, 200, 500)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치로서,
    전자적 제어에 의해 외부로 노출되는 시청 가능 화면의 크기의 변경이 가능한 플렉서블 디스플레이,
    상기 플렉서블 디스플레이와 전기적으로 연결된 프로세서; 및
    상기 프로세서와 전기적으로 연결되고 하나 이상의 명령어들을 저장한 메모리를 포함하고, 상기 하나 이상의 명령어는, 상기 전자 장치에 의해 실행되는 경우, 상기 프로세서로 하여금,
    상기 전자 장치의 현재 상태를 검출하고,
    상기 전자 장치를 사용자가 양손으로 파지하고 있는지를 결정하고,
    상기 사용자가 양손으로 파지하고 있다고 결정된 경우, 상기 검출된 전자 장치의 현재 상태에 적어도 부분적으로 기초하여, 컨트롤 어포던스 객체를 생성하여 상기 플렉서블 디스플레이의 상기 시청 가능 화면 상에 표시하도록 하는, 전자 장치.
  2. 제1항에 있어서,
    상기 하나 이상의 명령어는, 상기 전자 장치에 의해 실행되는 경우, 상기 프로세서로 하여금,
    상기 컨트롤 어포던스 객체에 대한 사용자 조작을 획득하고,
    상기 획득된 사용자 조작에 기초하여, 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기를 변경하거나, 상기 전자 장치의 상기 현재 상태에 따른 소정 기능을 실행하거나, 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기를 변경하면서 상기 전자 장치의 상기 현재 상태에 따른 상기 소정 기능을 실행하도록 하는, 전자 장치.
  3. 제1항에 있어서,
    상기 컨트롤 어포던스 객체를 표시하는 것은, 서로 별개인, 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기를 변경하는데 이용되는 항목들을 포함한 화면 크기 변경 제어 객체와, 상기 전자 장치의 상기 현재 상태에 따른 하나 이상의 기능 각각의 실행을 제어하는데 이용되는 하나 이상의 항목을 포함한 기능 제어 객체를 각각 생성하여, 상기 플렉서블 디스플레이의 상기 시청 가능 화면 상에 이격 표시하는 것을 포함하는, 전자 장치.
  4. 제3항에 있어서,
    상기 전자 장치를 사용자가 양손으로 파지하고 있는지를 결정하는 것은, 상기 플렉서블 디스플레이 상에 동시에 존재하는 두 개의 터치를 검출하는 것을 포함하고,
    상기 두 개의 터치는, 상기 플렉서블 디스플레이의 제1 위치에서 먼저 발생한 제1 터치와 제2 위치에서 나중에 발생한 제2 터치를 포함하며,
    상기 화면 크기 변경 제어 객체는 상기 제2 위치보다 상기 제1 위치 가까이에 표시되고, 상기 기능 제어 객체는 상기 제1 위치보다 상기 제2 위치 가까이에 표시되는, 전자 장치.
  5. 제3항에 있어서,
    상기 전자 장치를 사용자가 양손으로 파지하고 있는지를 결정하는 것은, 상기 플렉서블 디스플레이 상에 동시에 존재하는 두 개의 터치를 검출하는 것을 포함하고,
    상기 하나 이상의 명령어는, 상기 전자 장치에 의해 실행되는 경우, 상기 프로세서로 하여금,
    서로 별개인 상기 화면 크기 변경 제어 객체와 상기 기능 제어 객체를 표시한 후에, 상기 두 개의 터치 중 하나가 종료된 것을 검출한 경우, 상기 화면 크기 변경 제어 객체와 상기 기능 제어 객체의 표시를 대신하여, 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기의 변경이 이루어지는 양 방향 각각을 향하여 배치된 화면 크기 컨트롤 항목들과 상기 전자 장치의 상기 현재 상태에 따른 상기 하나 이상의 기능 각각의 실행을 제어하는데 이용되는 하나 이상의 기능 컨트롤 항목들을 포함한 통합형 컨트롤 어포던스 객체를 생성하여 상기 플렉서블 디스플레이 상에 표시하도록 하는, 전자 장치.
  6. 제5항에 있어서,
    상기 통합형 컨트롤 어포던스 객체는, 상기 두 개의 터치 중에서, 상기 종료된 터치가 존재했던 위치보다, 상기 플렉서블 디스플레이 상에 유지되는 터치의 위치에 가깝게 표시되는, 전자 장치.
  7. 제3항에 있어서,
    상기 전자 장치의 현재 상태를 검출하는 것은, 상기 전자 장치가 가로 모드인지 세로 모드인지 여부를 검출하는 것을 포함하고,
    상기 화면 크기 변경 제어 객체에 포함된 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기를 변경하는데 이용되는 상기 항목들은, 상기 전자 장치가 가로 모드인지 세로 모드인지에 따라 각각 좌우 또는 상하 방향으로 배치되는, 전자 장치.
  8. 제1항에 있어서,
    상기 전자 장치의 현재 상태를 검출하는 것은, 상기 전자 장치에서 현재 실행 중인 애플리케이션이 무엇인지를 검출하는 것을 포함하고,
    상기 컨트롤 어포던스 객체는, 상기 전자 장치에서 현재 실행 중인 상기 애플리케이션에 연관된 하나 이상의 기능 각각의 실행을 제어하는데 이용되는 하나 이상의 기능 컨트롤 항목을 포함한 기능 제어 객체를 포함하며,
    상기 하나 이상의 명령어는, 상기 전자 장치에 의해 실행되는 경우, 상기 프로세서로 하여금,
    상기 기능 제어 객체의 상기 기능 컨트롤 항목 중 소정 항목에 대한 선택을 검출한데 응답하여, 상기 선택에 대응하는 기능의 실행과 함께 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기를 변경하도록 하는, 전자 장치.
  9. 제8항에 있어서,
    상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기는 제1 방향을 향하여 확장되고 제2 방향을 향하여 축소되도록 구성되고,
    상기 하나 이상의 명령어는, 상기 전자 장치에 의해 실행되는 경우, 상기 프로세서로 하여금,
    상기 소정 항목에 대한 선택이 상기 제1 방향을 향한 사용자 터치의 드래그에 의해 이루어진 경우, 상기 대응하는 기능의 실행과 함께 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기를 확장하도록 하고,
    상기 소정 항목에 대한 선택이 상기 제2 방향을 향한 사용자 터치의 드래그에 의해 이루어진 경우, 상기 대응하는 기능의 실행과 함께 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기를 축소하도록 하는, 전자 장치.
  10. 제8항에 있어서,
    상기 전자 장치에서 현재 실행 중인 애플리케이션이, 텍스트, 숫자 또는 이미지를 입력 또는 편집하도록 하는 정보 입력 기능을 제공하는 애플리케이션인 경우, 상기 기능 컨트롤 항목은 상기 정보 입력 기능에 대응한 정보 입력 항목을 포함하고, 상기 하나 이상의 명령어는, 상기 전자 장치에 의해 실행되는 경우, 상기 프로세서로 하여금, 상기 획득된 사용자 조작이 상기 정보 입력 항목에 대한 선택인 경우, 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기를 확장하는 동시에, 상기 시청 가능 화면 상에 정보 입력 패널을 표시하도록 하고,
    상기 전자 장치에서 현재 실행 중인 애플리케이션이, 상기 애플리케이션에 연관되어 저장된 정보 중 특정 정보를 검색하도록 하는 정보 검색 기능 또는 상기 애플리케이션에 연관되어 저장된 정보 중 특정 정보의 공유를 지원하는 정보 공유 기능을 제공하는 애플리케이션인 경우, 상기 기능 컨트롤 항목은 상기 정보 검색 기능에 대응한 정보 검색 항목 또는 상기 정보 공유 기능에 대응한 정보 공유 항목을 포함하고, 상기 하나 이상의 명령어는, 상기 전자 장치에 의해 실행되는 경우, 상기 프로세서로 하여금, 상기 획득된 사용자 조작이 상기 정보 검색 항목에 대한 선택인 경우, 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기를 확장하는 동시에, 상기 시청 가능 화면 상에 상기 정보 검색을 위한 검색 정보 입력 패널을 표시하도록 하고, 상기 획득된 사용자 조작이 상기 정보 공유 항목에 대한 선택인 경우, 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기를 확장하는 동시에, 상기 시청 가능 화면 상에 상기 정보 공유를 위한 공유 정보 선택 패널을 표시하도록 하고,
    상기 전자 장치에서 현재 실행 중인 애플리케이션이, 상기 시청 가능 화면 상에 복수의 화면 표시 창이 생성되도록 하는 화면 분할 기능을 제공하는 애플리케이션인 경우, 상기 기능 컨트롤 항목은 상기 화면 분할 기능에 대응한 화면 분할 항목을 포함하고, 상기 하나 이상의 명령어는, 상기 전자 장치에 의해 실행되는 경우, 상기 프로세서로 하여금, 상기 획득된 사용자 조작이 상기 화면 분할 항목에 대한 선택인 경우, 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기를 확장하는 동시에, 상기 화면 분할 기능을 수행하도록 하고,
    상기 현재 실행 중인 애플리케이션이 영상 재생 애플리케이션인 경우, 상기 기능 컨트롤 항목은 표시 중인 영상의 종횡비 변환을 위한 종횡비 변환 항목을 포함하고, 상기 하나 이상의 명령어는, 상기 전자 장치에 의해 실행되는 경우, 상기 프로세서로 하여금, 상기 획득된 사용자 조작이, 상기 종횡비 변환 항목에 대한 선택인 경우, 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기를 확장 또는 축소하는 동시에, 상기 시청 가능 화면 상에 표시되는 영상의 종횡비를 변환하도록 하는, 전자 장치.
  11. 제1항에 있어서,
    상기 전자 장치는 제1 하우징 및 제2 하우징을 포함하고,
    상기 제2 하우징이 상기 제1 하우징에 대해 슬라이딩 이동함에 따라 상기 플렉서블 디스플레이의 일부가 롤링 되면서 상기 제1 하우징의 내부 공간으로부터 인출되거나 상기 제1 하우징의 내부 공간으로 인입되면서, 상기 시청 가능 화면의 크기가 확장 또는 축소되는, 전자 장치.
  12. 전자적 제어에 의해 외부로 노출되는 시청 가능 화면의 크기가 변경 가능한 플렉서블 디스플레이를 구비한 전자 장치에서 수행되는, 상기 시청 가능 화면 상에 컨트롤 어포던스 객체를 표시하는 방법으로서,
    상기 플렉서블 디스플레이 상에서 발생한 터치를 검출하고,
    상기 검출된 터치에 기초하여, 동시에 두 개의 터치가 상기 플렉서블 디스플레이 상에 존재하는지를 판정하고,
    상기 동시에 두 개의 터치가 존재한다는 판정에 응답하여, 상기 전자 장치의 동작 제어를 위한 항목들을 포함하는 상기 컨트롤 어포던스 객체를 상기 플렉서블 디스플레이의 상기 시청 가능 화면 상에 표시하며,
    상기 컨트롤 어포던스 객체에 대한 사용자 조작을 획득하고,
    상기 획득된 사용자 조작에 기초하여, 상기 전자 장치의 동작을 제어하는 동작들을 포함하는, 컨트롤 어포던스 객체 표시 방법.
  13. 제12항에 있어서,
    상기 컨트롤 어포던스 객체는, 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기의 확장 또는 축소를 제어하기 위한 항목들을 포함한 화면 크기 변경 제어 객체와, 상기 전자 장치에서 실행 중인 애플리케이션에 연관된 기능의 실행을 제어하기 위한 항목들을 포함한 기능 제어 객체를 포함하고,
    상기 플렉서블 디스플레이의 상기 시청 가능 화면 상에 상기 컨트롤 어포던스 객체를 표시하는 동작은, 상기 화면 크기 변경 제어 객체와, 상기 기능 제어 객체를 상기 시청 가능 화면 상에서 서로 이격하여 별개로 표시하는 동작을 포함하는, 컨트롤 어포던스 객체 표시 방법.
  14. 제13항에 있어서,
    상기 화면 크기 변경 제어 객체와, 상기 기능 제어 객체를 상기 시청 가능 화면 상에 표시한 후에, 상기 두 개의 터치 중 하나가 종료된 것을 검출하고,
    서로 별개인 상기 화면 크기 변경 제어 객체와 상기 기능 제어 객체의 표시를 대신하여, 상기 플렉서블 디스플레이의 상기 시청 가능 화면의 크기의 확장 또는 축소가 이루어지는 양 방향 각각을 향하여 배치된 화면 크기 컨트롤 항목들과 상기 전자 장치에서 실행 중인 상기 애플리케이션에 연관된 상기 기능의 실행을 제어하기 위한 기능 컨트롤 항목들을 포함한 통합형 컨트롤 어포던스 객체를 상기 플렉서블 디스플레이 상에 표시하는 동작들을 더 포함하고,
    상기 통합형 컨트롤 어포던스 객체를 표시하는 동작은, 상기 두 개의 터치 중에서, 상기 종료된 터치가 존재했던 위치보다, 상기 플렉서블 디스플레이 상에 유지되는 터치의 위치에 가깝게 상기 통합형 컨트롤 어포던스 객체를 표시하는 동작을 포함하는, 컨트롤 어포던스 객체 표시 방법.
  15. 제13항에 있어서,
    상기 통합형 컨트롤 어포던스 객체는, 소정의 중심을 기준으로 서로 반대 방향을 향하여 배치된 상기 화면 크기 컨트롤 항목들 사이에서, 상기 중심을 둘러싸도록 배치된 상기 기능 컨트롤 항목들을 포함하는, 컨트롤 어포던스 객체 표시 방법.
PCT/KR2023/003011 2022-04-19 2023-03-06 전자 장치 및 컨트롤 어포던스 객체 표시 방법 WO2023204438A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220048194 2022-04-19
KR10-2022-0048194 2022-04-19
KR1020220090532A KR20230149190A (ko) 2022-04-19 2022-07-21 전자 장치 및 컨트롤 어포던스 객체 표시 방법
KR10-2022-0090532 2022-07-21

Publications (1)

Publication Number Publication Date
WO2023204438A1 true WO2023204438A1 (ko) 2023-10-26

Family

ID=88420253

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/003011 WO2023204438A1 (ko) 2022-04-19 2023-03-06 전자 장치 및 컨트롤 어포던스 객체 표시 방법

Country Status (1)

Country Link
WO (1) WO2023204438A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200267246A1 (en) * 2019-02-14 2020-08-20 Lg Electronics Inc. Roll-slide mobile terminal
WO2021251525A1 (ko) * 2020-06-11 2021-12-16 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20220008739A (ko) * 2020-07-14 2022-01-21 삼성전자주식회사 확장 가능한 디스플레이를 포함하는 전자 장치 및 전자 장치의 화면 제어 방법
KR20220014751A (ko) * 2020-07-29 2022-02-07 삼성전자주식회사 슬라이딩 가능한 전자 장치 및 이의 제어 방법
KR20220032875A (ko) * 2020-09-08 2022-03-15 삼성전자주식회사 사용자 인터페이스를 제공하는 전자 장치 및 그 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20200267246A1 (en) * 2019-02-14 2020-08-20 Lg Electronics Inc. Roll-slide mobile terminal
WO2021251525A1 (ko) * 2020-06-11 2021-12-16 엘지전자 주식회사 이동단말기 및 그 제어방법
KR20220008739A (ko) * 2020-07-14 2022-01-21 삼성전자주식회사 확장 가능한 디스플레이를 포함하는 전자 장치 및 전자 장치의 화면 제어 방법
KR20220014751A (ko) * 2020-07-29 2022-02-07 삼성전자주식회사 슬라이딩 가능한 전자 장치 및 이의 제어 방법
KR20220032875A (ko) * 2020-09-08 2022-03-15 삼성전자주식회사 사용자 인터페이스를 제공하는 전자 장치 및 그 방법

Similar Documents

Publication Publication Date Title
WO2021075786A1 (en) Electronic device and method of processing pop-up window using multi-window thereof
KR101661969B1 (ko) 휴대 단말기 및 그 동작 제어방법
WO2022019635A1 (ko) 공유 화면과 비공유 화면을 함께 제공하는 전자 장치 및 그 제어 방법
WO2022114416A1 (ko) 확장이 가능한 디스플레이를 이용하여 멀티 윈도우를 제공하는 전자 장치
WO2022108192A1 (ko) 전자 장치 및 전자 장치의 멀티윈도우 제어방법
WO2022092633A1 (ko) 플렉서블 디스플레이의 촬영 안내 방법 및 장치
WO2020192662A1 (zh) 操作方法及终端设备
WO2023048390A1 (ko) 사용자 인터페이스를 제공하는 방법 및 그 전자 장치
WO2022119319A1 (ko) 플렉서블 디스플레이의 확장에 따라 적어도 하나의 객체를 이동하여 디스플레이 하는 전자 장치 및 그 제어 방법
WO2022086272A1 (ko) 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2022080883A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2023204438A1 (ko) 전자 장치 및 컨트롤 어포던스 객체 표시 방법
WO2022119150A1 (ko) 멀티 이미지 표시 방법 및 전자 장치
WO2022030921A1 (ko) 전자 장치 및 그의 화면을 제어하는 방법
WO2022030933A1 (ko) 전자 장치 및 그의 필기 입력을 처리하는 방법
WO2024063342A1 (ko) 잠금 화면을 표시하는 전자 장치 및 그 동작 방법
KR20230149190A (ko) 전자 장치 및 컨트롤 어포던스 객체 표시 방법
WO2023106622A1 (ko) 플렉서블 디스플레이를 가지는 전자 장치
WO2023191305A1 (ko) 플렉서블 디스플레이를 갖는 전자 장치
WO2023158151A1 (ko) 전자 장치 및 전자 장치에서 객체를 디스플레이하는 방법
WO2024090959A1 (ko) 전자 장치 및 전자 장치에서 멀티 윈도우 기반의 알림 정보 표시 방법
WO2023167551A1 (ko) 가상 키패드를 포함하는 화면을 제어하는 전자 장치 및 그 제어 방법
WO2023204609A1 (ko) 전자 장치의 형태를 변경하여 상태 정보를 제공하는 전자 장치 및 그 제어 방법
WO2023195681A1 (ko) 그립 형태에 따라 한 손 모드 화면의 속성을 제어하는 전자 장치 및 그 제어 방법
WO2023158216A1 (ko) 컨텐츠 디스플레의 영역의 비율에 대응하도록 플렉서블 디스플레이의 노출 영역의 크기를 제어하는 전자 장치 및 그 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23792018

Country of ref document: EP

Kind code of ref document: A1