WO2023033311A1 - 그래픽 어포던스와 매칭된 기능을 수행하는 전자 장치 및 그 전자 장치의 동작 방법 - Google Patents

그래픽 어포던스와 매칭된 기능을 수행하는 전자 장치 및 그 전자 장치의 동작 방법 Download PDF

Info

Publication number
WO2023033311A1
WO2023033311A1 PCT/KR2022/007531 KR2022007531W WO2023033311A1 WO 2023033311 A1 WO2023033311 A1 WO 2023033311A1 KR 2022007531 W KR2022007531 W KR 2022007531W WO 2023033311 A1 WO2023033311 A1 WO 2023033311A1
Authority
WO
WIPO (PCT)
Prior art keywords
graphic
affordance
electronic device
input
function
Prior art date
Application number
PCT/KR2022/007531
Other languages
English (en)
French (fr)
Inventor
유현우
심상원
안은지
이재명
강민구
김창근
박동건
신웅기
오영학
이용구
장은아
최정우
권용
심혜진
유석현
전희경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to EP22864820.0A priority Critical patent/EP4328732A1/en
Priority to CN202280057204.1A priority patent/CN117836749A/zh
Priority to US17/885,947 priority patent/US20230069151A1/en
Publication of WO2023033311A1 publication Critical patent/WO2023033311A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Definitions

  • Various embodiments of the present disclosure relate to an electronic device that performs a function matched with a graphic affordance and an operating method of the electronic device.
  • the electronic device controls the touch display to display a touch display and a first graphic affordance, and displays the first graphic affordance based on an input indicating the first graphic affordance.
  • Controls the touch display to replace with a second graphic affordance controls the touch display to transform the second graphic affordance according to the user's action while the input is maintained, and measures the movement distance of the input and the input and a processor executing a function matched to the first graphic affordance based on whether the graphic affordance is maintained.
  • the processor may compare the movement distance with a first threshold, and further execute the function matched to the first graphic affordance based on the movement distance exceeding the first threshold and release of the input.
  • the processor controls the touch display to maintain display of the second graphic affordance while the moving distance is less than the first threshold and the input is maintained, the moving distance is smaller than the first threshold, and the Control the touch display to return to a screen displaying the first graphic affordance based on the release of the input, and based on the movement distance greater than or equal to the first threshold and the input being maintained, the first graphic affordance is maintained.
  • the touch display may be controlled to change the graphic affordance, and a function matched to the first graphic affordance may be further executed based on the moving distance greater than or equal to the first threshold and the input being released.
  • the processor visually transforms the second graphic affordance. At least one of a phrase and an icon for guiding a function matched to the first graphic affordance may be added to the second graphic affordance, or a sound related to a function matched to the first graphic affordance may be added to the second graphic affordance. ) and haptic, or by displaying a preview screen corresponding to a function matched to the first graphic affordance on the second graphic affordance, thereby increasing the second graphic affordance.
  • the touch display may be further controlled to change.
  • the processor determines that the movement distance exceeds the second threshold while continuing to control the touch display to change the second graphic affordance based on the fact that the movement distance is greater than or equal to the first threshold and the input is maintained.
  • the function corresponding to the first graphic affordance may be performed while the function is changed according to the extent of the graphic affordance.
  • the processor may control the touch display to replace the first graphic affordance with one or more graphic affordances corresponding to the number of functions, based on the number of functions matched to the first graphic affordance.
  • the processor controls the touch display to replace the first graphic affordance with the second graphic affordance based on one function matched to the first graphic affordance, and the two functions matched to the first graphic affordance Based on the above, the touch display is controlled to replace the first graphic affordance with the second graphic affordance and the third graphic affordance corresponding to the two functions, respectively, and the three functions matched with the first graphic affordance. Based on each of the above, the first graphic affordance may be replaced with the second graphic affordance, the third graphic affordance, and the fourth graphic affordance corresponding to each of the three functions.
  • the processor matches each of the graphic affordances based on one or more graphic affordances based on the moving distance, a distance corresponding to each of the one or more graphic affordances, a moving direction of the input, and whether or not the input is maintained. Detailed functions can be executed.
  • the processor determines whether the movement distance, the movement distance corresponding to each of the second graphic affordance and the third graphic affordance, and whether the input is maintained, based on the first function and the second function that match the first graphic affordance. Accordingly, a detailed function matching the second graphic affordance or the third graphic affordance may be further executed.
  • the processor corresponds to the second graphic affordance and, based on the moving distance exceeding the second threshold, executes a detailed function matched to the second graphic affordance, corresponds to the third graphic affordance, and A detailed function matched to the third graphic affordance may be executed based on the movement distance exceeding the second threshold.
  • an operating method of an electronic device includes receiving an input representing a first graphic affordance displayed on a touch display of the electronic device, and replacing the first graphic affordance with a second graphic affordance based on the input. operation, changing the second graphic affordance according to the user's action while maintaining the input, and executing a function matched to the first graphic affordance based on the moving distance of the input and whether or not the input is maintained. action may be included.
  • the operating method of the electronic device further includes comparing the movement distance with a first threshold, and execution of a function matched to the first graphic affordance is performed based on the movement distance exceeding the first threshold. It may include an operation of executing a function matched to 1 graphic affordance and an operation of canceling the input.
  • the operation of executing the function matched with the first graphic affordance includes maintaining the display of the second graphic affordance while the movement distance is less than the first threshold and the input is maintained. smaller than 1 threshold and returning to the display of the first graphic affordance based on the release of the input, based on the movement distance greater than or equal to the first threshold and holding the input, the operation of returning to the display of the second graphic affordance It may include at least one of an operation of changing an affordance and an operation of executing a function matched to the first graphic affordance based on whether the movement distance is greater than or equal to the first threshold and the input is released.
  • the operation of changing the second graphic affordance includes adding at least one of an operation of visually deforming the second graphic affordance and a phrase and an icon for guiding a function matched to the first graphic affordance to the second graphic affordance.
  • the changing of the second graphic affordance may include the movement distance greater than or equal to the first threshold value and the movement distance exceeding the second threshold value while the second graphic affordance is being changed based on the input being maintained.
  • An operation of performing a function corresponding to the first graphic affordance may be further included while changing the function according to a degree of processing.
  • the replacing with the second graphic affordance includes replacing the first graphic affordance with one or more graphic affordances corresponding to the number of functions based on the number of functions matched with the first graphic affordance. can do.
  • Replacing the graphic affordances corresponding to the number of functions may include replacing the first graphic affordance with the second graphic affordance based on one function matched to the first graphic affordance; An operation of replacing the first graphic affordance with the second graphic affordance and the third graphic affordance corresponding to the two functions, respectively, based on the two functions matched to the affordance, and matching the first graphic affordance. and replacing the first graphic affordance with the second graphic affordance, the third graphic affordance, and the fourth graphic affordance corresponding to the three functions, based on the three functions.
  • the operation of executing the function matched with the first graphic affordance may be based on the movement distance, distances corresponding to each of the one or more graphic affordances, a movement direction of the input, and whether or not the input is maintained, based on the graphic affordances.
  • An operation of executing detailed functions matched with each may be included.
  • the operation of executing the detailed function matched to each of the graphic affordances determines the movement distance, the second graphic affordance, and the third graphic affordance, respectively, based on the first function and the second function matched to the first graphic affordance.
  • a non-transitory computer-readable storage medium storing instructions that, when executed by a processor of an electronic device, causes the electronic device to perform operations including the operations on the touch display of the electronic device.
  • an electronic device includes a touch display, a first initial graphic affordance corresponding to a first function adjacent to a first edge of the touch display, and a second function corresponding to a second function adjacent to a second edge of the touch display.
  • Control a touch display to display an initial graphic affordance identify whether an input received through the touch display indicates the first initial graphic affordance or the second initial graphic affordance, and Control the touch display to display a first subsequent graphic affordance corresponding to the first function along a first edge of the touch display based on an input representing a graphic affordance, and based on an input representing the second initial graphic affordance and a processor controlling the touch display to display a second subsequent graphic affordance corresponding to the second function according to a second edge of the touch display.
  • the processor may further control the touch display to maintain display of the first subsequent graphic affordance or the second subsequent graphic affordance while the input is maintained.
  • the processor may further control the touch display to change a displayed position of the first subsequent graphic affordance or the second subsequent graphic affordance according to a movement of the input while the input is maintained.
  • the processor may be further configured to identify whether a difference between a touch start point of the input and a touch end point of the input exceeds a threshold distance, based on the input being released.
  • the processor may be further configured to execute the first function based on the released input, the input corresponding to the first initial graphic affordance, and a difference exceeding the threshold distance.
  • the processor may be further configured to execute the second function based on the released input, the input corresponding to the second initial graphic affordance, and a difference exceeding the threshold distance.
  • the processor displays a first initial graphic affordance adjacent to the first edge and a second initial graphic affordance adjacent to the second edge based on the released input and the difference not exceeding the threshold distance, so as to display the touch display. can control.
  • the processor identifies whether a difference between a touch start point of the input and a current touch point of the input exceeds the threshold distance, and based on the difference between the input corresponding to the first initial graphic affordance and the threshold distance Thus, the first function may be executed while the input is maintained.
  • the processor may be further configured to execute the second function while the input is maintained based on the input corresponding to the second initial graphics affordance and the difference exceeding the threshold distance.
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments.
  • FIG. 2 is a block diagram illustrating a program according to various embodiments.
  • FIG. 3 is a block diagram of an electronic device according to an exemplary embodiment.
  • FIG. 4 is a diagram for describing graphic affordances according to an exemplary embodiment.
  • 5A and 5B illustrate a method of executing a function matched to a first graphic affordance based on a moving distance by a user interaction corresponding to a second graphic affordance and whether contact is maintained with a touch display according to embodiments. It is a drawing for
  • FIG. 6 is a table illustrating examples of functions matched to a first graphic affordance according to various embodiments.
  • FIG. 7 is a diagram for explaining methods of changing a second graphic affordance according to an exemplary embodiment.
  • FIGS. 8A and 8B are diagrams for explaining a process in which a second graphic affordance is changed by a user interaction with respect to the second graphic affordance according to embodiments.
  • FIG. 9 is a diagram for explaining a process of executing an alarm cancellation through a graphic affordance according to an embodiment.
  • 10A and 10B are diagrams for explaining a method of displaying a function corresponding to the number of functions matched to a first graphic affordance according to embodiments.
  • FIG. 11 is a diagram for explaining a method of performing a function matched to a first graphic affordance according to an exemplary embodiment.
  • FIG. 12 is a diagram illustrating form factors according to various embodiments.
  • FIG. 13 is a flowchart illustrating a method of operating an electronic device according to an exemplary embodiment.
  • FIG. 14 is a flowchart illustrating a method of operating an electronic device according to another embodiment.
  • 15 is a flowchart illustrating an operating method of an electronic device according to another embodiment.
  • FIG. 1 is a block diagram of an electronic device 101 within a network environment 100, according to various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or through a second network 199. It may communicate with at least one of the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • the server 108 e.g, a long-distance wireless communication network
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or the antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added.
  • some of these components eg, sensor module 176, camera module 180, or antenna module 197) are integrated into a single component (eg, display module 160). It can be.
  • the processor 120 for example, executes software (eg, the program 140) to cause at least one other component (eg, hardware or software component) of the electronic device 101 connected to the processor 120. It can control and perform various data processing or calculations. According to one embodiment, as at least part of data processing or operation, the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • software eg, the program 140
  • the processor 120 transfers instructions or data received from other components (e.g., sensor module 176 or communication module 190) to volatile memory 132. , processing commands or data stored in the volatile memory 132 , and storing resultant data in the non-volatile memory 134 .
  • the processor 120 includes a main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor).
  • a main processor 121 eg, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit ( NPU: neural processing unit (NPU), image signal processor, sensor hub processor, or communication processor.
  • NPU neural network processing unit
  • the secondary processor 123 may use less power than the main processor 121 or be set to be specialized for a designated function.
  • the secondary processor 123 may be implemented separately from or as part of the main processor 121 .
  • the secondary processor 123 may, for example, take the place of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, running an application). ) state, together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the auxiliary processor 123 eg, image signal processor or communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • AI models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning or reinforcement learning, but in the above example Not limited.
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the foregoing, but is not limited to the foregoing examples.
  • the artificial intelligence model may include, in addition or alternatively, software structures in addition to hardware structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101 .
  • the data may include, for example, input data or output data for software (eg, program 140) and commands related thereto.
  • the memory 130 may include volatile memory 132 or non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used by a component (eg, the processor 120) of the electronic device 101 from the outside of the electronic device 101 (eg, a user).
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • a receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 may visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor set to detect a touch or a pressure sensor set to measure the intensity of force generated by the touch.
  • the audio module 170 may convert sound into an electrical signal or vice versa. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device connected directly or wirelessly to the electronic device 101 (eg: Sound may be output through the electronic device 102 (eg, a speaker or a headphone).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a bio sensor, It may include a temperature sensor, humidity sensor, or fingerprint sensor.
  • the interface 177 may support one or more designated protocols that may be used to directly or wirelessly connect the electronic device 101 to an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 may be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert electrical signals into mechanical stimuli (eg, vibration or motion) or electrical stimuli that a user may perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to one embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as at least part of a power management integrated circuit (PMIC), for example.
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • the battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). Establishment and communication through the established communication channel may be supported.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : a local area network (LAN) communication module or a power line communication module).
  • a corresponding communication module is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, a legacy communication module).
  • the wireless communication module 192 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, NR access technology (new radio access technology).
  • NR access technologies include high-speed transmission of high-capacity data (enhanced mobile broadband (eMBB)), minimization of terminal power and access of multiple terminals (massive machine type communications (mMTC)), or high reliability and low latency (ultra-reliable and low latency (URLLC)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low latency
  • -latency communications can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • the wireless communication module 192 uses various technologies for securing performance in a high frequency band, such as beamforming, massive multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. Technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna may be supported.
  • the wireless communication module 192 may support various requirements defined for the electronic device 101, an external electronic device (eg, the electronic device 104), or a network system (eg, the second network 199).
  • the wireless communication module 192 is a peak data rate for eMBB realization (eg, 20 Gbps or more), a loss coverage for mMTC realization (eg, 164 dB or less), or a U-plane latency for URLLC realization (eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less) may be supported.
  • eMBB peak data rate for eMBB realization
  • a loss coverage for mMTC realization eg, 164 dB or less
  • U-plane latency for URLLC realization eg, Example: downlink (DL) and uplink (UL) each of 0.5 ms or less, or round trip 1 ms or less
  • the antenna module 197 may transmit or receive signals or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator formed of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is selected from the plurality of antennas by the communication module 190, for example. can be set. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one set antenna.
  • other components eg, a radio frequency integrated circuit (RFIC) may be additionally formed as a part of the antenna module 197 in addition to the radiator.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first surface (eg, a lower surface) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, array antennas) disposed on or adjacent to a second surface (eg, a top surface or a side surface) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or part of operations executed in the electronic device 101 may be executed in one or more external electronic devices among the external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 when the electronic device 101 needs to perform a certain function or service automatically or in response to a request from a user or another device, the electronic device 101 instead of executing the function or service by itself.
  • one or more external electronic devices may be requested to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service or an additional function or service related to the request, and deliver the execution result to the electronic device 101 .
  • the electronic device 101 may provide the result as at least part of a response to the request as it is or additionally processed.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to intelligent services (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the program 140 includes an operating system 142, middleware 144, or an application 146 executable in the operating system 142 for controlling one or more resources of the electronic device 101.
  • the operating system 142 may include, for example, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, or BadaTM.
  • At least some of the programs 140 are, for example, preloaded in the electronic device 101 at the time of manufacture, or when used by a user, an external electronic device (eg, the electronic device 102 or 104), or a server ( 108)) can be downloaded or updated.
  • the operating system 142 may control management (eg, allocation or reclamation) of one or more system resources (eg, process, memory, or power) of the electronic device 101 .
  • Operating system 142 may additionally or alternatively include other hardware devices of electronic device 101 , such as input module 150 , sound output module 155 , display module 160 , audio module 170 . , sensor module 176, interface 177, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196, or It may include one or more driver programs for driving the antenna module 197.
  • the middleware 144 may provide various functions to the application 146 so that the function or information provided from one or more resources of the electronic device 101 may be used by the application 146 .
  • the middleware 144 includes, for example, the application manager 201, the window manager 203, the multimedia manager 205, the resource manager 207, the power manager 209, the database manager 211, and the package manager 213. ), connectivity manager 215, notification manager 217, location manager 219, graphics manager 221, security manager 223, call manager 225, or voice recognition manager 227. can
  • the application manager 201 may manage the life cycle of the application 146 , for example.
  • the window manager 203 may manage one or more GUI resources used in a screen, for example.
  • the multimedia manager 205 identifies, for example, one or more formats necessary for reproducing media files, and encodes or decodes a corresponding media file among the media files using a codec suitable for the selected format. can be done
  • the resource manager 207 may manage a source code of the application 146 or a memory space of the memory 130 .
  • the power manager 209 may manage, for example, the capacity, temperature, or power of the battery 189, and determine or provide related information necessary for the operation of the electronic device 101 by using corresponding information among them. . According to an embodiment, the power manager 209 may interoperate with a basic input/output system (BIOS) (not shown) of the electronic device 101 .
  • BIOS basic input/output system
  • the database manager 211 may create, search, or change a database to be used by the application 146, for example.
  • the package manager 213 may manage installation or update of applications distributed in the form of package files, for example.
  • the connectivity manager 215 may manage, for example, a wireless connection or a direct connection between the electronic device 101 and an external electronic device.
  • the notification manager 217 may provide a function for notifying a user of occurrence of a designated event (eg, an incoming call, message, or alarm), for example.
  • the location manager 219 may manage location information of the electronic device 101, for example.
  • the graphic manager 221 may manage, for example, one or more graphic effects to be provided to a user or a user interface related thereto.
  • Security manager 223 may provide system security or user authentication, for example.
  • the telephony manager 225 may manage, for example, a voice call function or a video call function provided by the electronic device 101 .
  • the voice recognition manager 227 transmits, for example, the user's voice data to the server 108, and at least partially based on the voice data, a command corresponding to a function to be performed in the electronic device 101; Alternatively, text data converted at least partially based on the voice data may be received from the server 108 .
  • the middleware 144 may dynamically delete some existing components or add new components.
  • at least part of the middleware 144 may be included as part of the operating system 142 or may be implemented as separate software different from the operating system 142 .
  • the application 146 includes, for example, a home 251, a dialer 253, an SMS/MMS 255, an instant message (IM) 257, a browser 259, a camera 261, and an alarm 263. , Contacts (265), Voice Recognition (267), Email (269), Calendar (271), Media Player (273), Albums (275), Watch (277), Health (279) (e.g. exercise or blood sugar) measurement of biometric information) or environmental information 281 (eg, measurement of atmospheric pressure, humidity, or temperature information). According to an embodiment, the application 146 may further include an information exchange application (not shown) capable of supporting information exchange between the electronic device 101 and an external electronic device.
  • an information exchange application not shown
  • the information exchange application may include, for example, a notification relay application configured to transmit designated information (eg, a call, message, or alarm) to an external electronic device, or a device management application configured to manage an external electronic device.
  • the notification relay application for example, transmits notification information corresponding to a designated event (eg, mail reception) generated in another application (eg, the email application 269) of the electronic device 101 to an external electronic device.
  • the notification relay application may receive notification information from an external electronic device and provide the notification information to the user of the electronic device 101 .
  • the device management application is, for example, a power source (eg, turn-on or turn-off) of an external electronic device that communicates with the electronic device 101 or some component thereof (eg, a display module or a camera module of the external electronic device). ) or functions (eg brightness, resolution, or focus).
  • the device management application may additionally or alternatively support installation, deletion, or update of an application operating in an external electronic device.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • the expression “at least one of A, B, and C” may be understood to include A, B, C, A and B, A and C, B and C, or both A, B and C. .
  • Terms such as “first”, “second”, or “first” or “secondary” may simply be used to distinguish that component from other corresponding components, and may refer to that component in other respects (eg, importance or order) is not limited.
  • a (eg, first) component is said to be “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively.”
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logical blocks, parts, or circuits.
  • a module may be an integrally constructed component or a minimal unit of components or a portion thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a storage medium eg, internal memory 136 or external memory 138
  • a machine eg, electronic device 101 of FIG. 1
  • It may be implemented as software (eg, program 140) comprising one or more instructions.
  • a processor eg, the processor 120
  • a device eg, the electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • the storage medium is a tangible device and does not contain a signal (e.g. electromagnetic wave), and this term refers to the case where data is stored semi-permanently in the storage medium. It does not discriminate when it is temporarily stored.
  • a signal e.g. electromagnetic wave
  • the method according to various embodiments disclosed in this document may be provided by being included in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • a device-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (eg downloaded or uploaded) online, directly between smart phones.
  • at least part of the computer program product may be temporarily stored or temporarily created in a device-readable storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each component (eg, module or program) of the above-described components may include a single object or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is.
  • one or more components or operations among the aforementioned corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg modules or programs
  • the integrated component may perform one or more functions of each of the plurality of components identically or similarly to those performed by a corresponding component of the plurality of components prior to the integration. .
  • the actions performed by a module, program, or other component are executed sequentially, in parallel, iteratively, or heuristically, or one or more of the actions are executed in a different order, or omitted. or one or more other actions may be added.
  • an electronic device 300 includes a touch display 310, a processor 330 (eg, the processor 120 of FIG. 1 ), and a memory 350 (eg, the memory of FIG. 1 ). (130)).
  • the touch display 310 , the processor 330 and the memory 350 may be connected by a bus 370 .
  • the electronic device may be an example of the electronic device 101 .
  • the touch display 310 may display a first graphic affordance (eg, the first graphic affordance 415 of FIG. 4 ) at a preset location and receive a selection for the first graphic affordance 415 . there is.
  • 'graphic affordance' is an object representing possible (eg, inducing) actions of a user and may include various graphic effects and/or various acoustic effects.
  • an icon, a button, or a touch bar may correspond to a form of graphic affordance that induces a user to touch and/or select a corresponding object, but is not necessarily limited thereto.
  • the 'first graphic affordance' is a graphic affordance displayed on a screen (eg, the screen 410 of FIG. 4 ) that first appears on the screen of the user terminal, that is, before an interaction (eg, a touch input) with the touch display 310. may apply.
  • the processor 330 In response to a selection through a touch input input through the touch display 310, the processor 330 converts the first graphic affordance 415 into a second graphic affordance (eg, the second graphic affordance 415 in FIG. It can be replaced with graphic affordances (425, 435, 445).
  • the 'second graphic affordance' (425, 435, 445) replaces the first graphic affordance 415 in response to a selection for the first graphic affordance 415 being input, for example, instead of the first graphic affordance 415. It may correspond to a displayed graphic object.
  • the types of graphic affordance(s) will be described in more detail with reference to FIG. 4 below.
  • the processor 330 assigns the first graphic affordance 1015 to the number of functions based on the number of functions matched to the first graphic affordance (eg, the first graphic affordance 1015 of FIG. 10A ). It can be replaced with corresponding graphic affordances. For example, when there is only one function matched to the first graphic affordance 1015, the processor 330 converts the first graphic affordance 1015 to a second graphic affordance (eg, the second graphic affordance 1025 of FIG. 10A). 1035 and 1045) If there are two functions matched to the first graphic affordance 1015, the processor 330 converts the first graphic affordance 1015 to the second graphic corresponding to each of the two functions.
  • the processor 330 may replace the first graphic affordance with a second graphic affordance, a third graphic affordance, and a fourth graphic affordance corresponding to each of the three functions.
  • a method of replacing the first graphic affordance 1015 with graphic affordances corresponding to the number of functions based on the number of functions matched to the affordance will be described in more detail with reference to FIGS. 10A and 10B below.
  • the processor 330 may execute a function matched to the first graphic affordance 415 based on a moving distance by user interaction corresponding to the second graphic affordance 425 , 435 , and 445 and whether or not contact with the touch display is maintained.
  • the 'moving distance by user interaction' may be understood as a moving distance (or a distance between them) corresponding to the initial position and the final position moved while maintaining contact by user interaction on the touch display 310. there is. For example, when the user moves 3 cm to the right on the touch display 310 by a user interaction such as a drag input and then moves 2 cm to the left again while maintaining the contact, the movement distance by the user interaction may be 1 cm. there is.
  • 'Whether to maintain contact with the touch display' refers to, for example, a user performing a user interaction such as a touch input or a drag input by contacting a body part (eg, a finger) to the touch display 310, and then touching the body part. It may correspond to whether contact is released by dropping from the display 310 or whether contact with the touch display 310 is maintained.
  • a state in which the user separates a part of the body from the touch display 310 may be expressed as 'contact is released', and a state in which a part of the body is in contact with the touch display 310 may be expressed as 'contact maintained'.
  • the 'function matched to the first graphic affordance' includes, for example, a flash function as described in the table 600 of FIG. 6 below, a do not disturb setting function, a phone related function, a timer setting function, a camera shooting function, and a weather It may include at least one of a search function, a voice recording function, and a Bixby function, but is not necessarily limited thereto.
  • the first graphic affordance 415 may have a shape corresponding to (eg, implied by) a function matched to the first graphic affordance.
  • the function matched to the first graphic affordance 415 is a camera photographing function
  • the first graphic affordance 415 may have, for example, a camera shape.
  • the function matched with the first graphic affordance 415 is a weather search function
  • the first graphic affordance 415 may have, for example, a shape including sunlight and rain or an umbrella shape.
  • the processor 330 may execute a function matched to the first graphic affordance 415 based on a result of comparing the moving distance by the user interaction with the first threshold and whether or not the contact is maintained.
  • a method for the processor 330 to execute a function matched to the first graphic affordance 415 based on the comparison result with the first threshold and whether contact is maintained will be described in more detail with reference to FIGS. 5A and 5B below. Explain.
  • the processor 330 may perform at least one method or an algorithm corresponding to at least one method described later with reference to FIGS. 4 to 15 below.
  • the processor 330 may be an electronic device implemented in hardware having a circuit having a physical structure for executing desired operations.
  • desired operations may include codes or instructions included in a program.
  • the processor 330 may include, for example, a Central Processing Unit (CPU), a Graphics Processing Unit (GPU), or a Neural Network Processing Unit (NPU).
  • the electronic device 300 implemented as hardware includes a microprocessor, a central processing unit, a processor core, a multi-core processor, and a multiprocessor ( multiprocessor), Application-Specific Integrated Circuit (ASIC), and Field Programmable Gate Array (FPGA).
  • the processor 330 may execute a program and control the electronic device 300 .
  • Program codes executed by the processor 330 may be stored in the memory 350 .
  • the memory 350 may store computer-executable instructions. In addition, the memory 350 may store various pieces of information generated during processing of the processor 330 to be described later. In addition, the memory 350 may store various data and programs.
  • the memory 350 may include volatile memory or non-volatile memory.
  • the memory 350 may include a mass storage medium such as a hard disk to store various types of data.
  • FIG. 4 is a diagram for describing graphic affordances according to an exemplary embodiment. Referring to FIG. 4 , a screen 410 including a first graphic affordance 415 and screens 420 , 430 , and 440 including a second graphic affordance 425 are illustrated.
  • the 'first graphic affordance' 415 first appears on the screen of an electronic device (eg, the electronic device 101 of FIG. 1 and the electronic device 300 of FIG. 3 ), that is, on the screen 410 before the user touches it. It may correspond to the displayed graphic affordance.
  • the shape or form of the first graphic affordance 415 may be fixed to correspond to the matched function.
  • the 'second graphic affordance' 425 may correspond to a graphic object displayed in place of the first graphic affordance 415 in response to a user selection for the first graphic affordance 415 being input.
  • the second graphic affordance 425 may be transformed and/or changed according to an action on the second graphic affordance 425 (eg, a touch input or a drag input).
  • the second graphic affordance 425 may guide what function the user terminal can perform in a situation in which an interaction with respect to the second graphic affordance is maintained.
  • a selection for the first graphic affordance 415 displayed on the screen 410 may be input.
  • the screen 410 may be, for example, a lock screen.
  • the second graphic affordance 425 in the form of a thin panel displayed on a left portion of the screen 420 may replace the first graphic affordance 415 .
  • the first graphic affordance 415 may disappear from the screen 420 .
  • the changed second graphic affordance 435 may be displayed as shown on the screen 430 .
  • an icon guiding a function eg, a flash function
  • the icon added to the screen 430 may be dimmed in an inactive state, and in a situation where the interaction with the second graphic affordance 435 is maintained, it may be notified that the user terminal can perform the flash function. there is.
  • the width of the panel displayed on the second graphic affordance 425 may widen in proportion to the length of the movement distance by the user interaction in the second graphic affordance 425.
  • the 'movement distance' by user interaction is the distance traveled by dragging from the point 423 where the user first touched the second graphic affordance 425, for example, the distance to the left side where the second graphic affordance 425 was touched. It may correspond to a distance in a horizontal direction, that is, a distance moved in a horizontal direction from a point 423 at which the second graphic affordance 425 is touched and moved.
  • the electronic device 101 or 300 displays an icon included in the second graphic affordance as shown on the screen 440.
  • (445) can be activated.
  • the 'first threshold value' 437 may correspond to, for example, a threshold distance moved in a horizontal direction from a position where the second graphic affordance 425 is triggered by a user's touch.
  • the 'first threshold' 437 corresponds to a moving distance that is a criterion for determining whether to execute a function matched to the first graphic affordance 415 in a touch display (eg, the touch display 310 of FIG. 3 ). can do.
  • the electronic device 101 or 300 may execute a flash function matched to the first graphic affordance 415 .
  • a light-emitting diode (LED) of the electronic device 101 may be turned on.
  • the second graphic affordance 425 can be visually changed in various ways according to a user's action on the second graphic affordance 425. there is.
  • the second graphic affordance 425 is, for example, the screen 430 or the screen ( As shown in 440), the shape, form, color, etc. of the second graphic affordances 435 and 445 may be visually modified in various ways. A method of changing the second graphic affordance 425 by the electronic device 101 or 300 will be described in more detail with reference to FIGS. 7 to 9 below.
  • the second graphic affordance corresponding to the first function is not included in the second graphic affordance.
  • the third graphic affordance corresponding to the function may be displayed on the screen together with the second graphic affordance. An embodiment in which the second graphic affordance and the third graphic affordance are displayed together will be described in more detail with reference to FIGS. 8B and 10B below.
  • 5A and 5B illustrate a method of executing a function matched to a first graphic affordance based on a moving distance by a user interaction corresponding to a second graphic affordance and whether contact is maintained with a touch display according to embodiments. It is a drawing for
  • a function eg, a flash function
  • a function matched to the first graphic affordance 515 is not performed and returns to the screen 560 displaying the first graphic affordance. situation is shown.
  • a first graphic affordance 515 displayed on a lock screen screen 510 of an electronic device is a user's touch
  • the electronic device 101 or 300 may replace the first graphic affordance 515 with a second graphic affordance 525, such as a panel displayed on a left part of the screen 520.
  • the first graphic affordance 515 may disappear as shown on the screen 520 .
  • the electronic device 101 or 300 reacts according to the user interaction to display the second graphic affordance ( 525) can be modified. More specifically, when the user continues the drag input while maintaining contact with the second graphic affordance 525, the electronic device 101 or 300 maintains the display of the second graphic affordance 525, but moves through the drag input. As shown on the screen 530, the size of the second graphic affordance 535 may be increased in proportion to the distance.
  • a user interaction eg, a drag input
  • the electronic device 101 or 300 reacts according to the user interaction to display the second graphic affordance ( 525) can be modified. More specifically, when the user continues the drag input while maintaining contact with the second graphic affordance 525, the electronic device 101 or 300 maintains the display of the second graphic affordance 525, but moves through the drag input. As shown on the screen 530, the size of the second graphic affordance 535 may be increased in proportion to the distance.
  • the electronic device 101 or 300 displays the second graphic affordance 545 as shown on the screen 540. You can clearly activate the icons included in . For example, color and/or contrast or icons may be changed.
  • the electronic devices 101 and 300 send the second graphic affordance 545 with a phrase for guiding a function matched to the first graphic affordance 515 (eg, “The more you continue to drag, the brighter the flash will be set.”) and 1 At least one of icons (eg, a flashlight-shaped icon) for guiding a matched function may be added to the graphic affordance 515 .
  • the electronic device 101 or 300 may add an acoustic affordance including at least one of a sound and a haptic related to a function matched to the first graphic affordance 515 to the second graphic affordance 545 .
  • an acoustic affordance including at least one of a sound and a haptic related to a function matched to the first graphic affordance 515 to the second graphic affordance 545 .
  • the electronic device 101 or 300 may execute a flash function matched to the first graphic affordance 515.
  • the user in the state where the icon is activated, as shown in the screen 550, the user changes the direction of the drag input to the second graphic affordance 555 in the opposite direction (eg, to the left). to) can be switched.
  • the user may release the contact with the touch display (eg, the touch display 310 of FIG. 3 ).
  • the electronic device 101 or 300 may return to the screen 560 displaying the first graphic affordance 515 .
  • the screen 560 may correspond to the same screen as the screen 510 .
  • the electronic device 101 or 300 provides the first graphic affordance 515 according to a comparison result between the final moving distance at the time when the user releases the contact with the second graphic affordance 555 and the first threshold value.
  • the display screen 560 may be returned, or a function matched to the first graphic affordance 515 may be executed.
  • the electronic device 101 or 300 releases the contact in a state where the moving distance by the user interaction is smaller than a threshold value, for example, as the second graphic affordance 535 is displayed on the screen 530, or the screen 550 ), the final movement distance at the time when the movement distance by the user interaction, such as the second graphic affordance 545, exceeds the first threshold, but the contact is released, such as the second graphic affordance 555, through subsequent actions When is smaller than the first threshold value, it is possible to return to the first screen 560 displaying the first graphic affordance 515 .
  • a threshold value for example, as the second graphic affordance 535 is displayed on the screen 530, or the screen 550
  • a first graphic affordance 515 displayed on a lock screen screen 510 of an electronic device 101 or 300 is a second graphic affordance ( 525), a situation in which a function (eg, a flash function) matched to the first graphic affordance is performed as shown on the screens 570, 580, and 590 according to the user interaction corresponding to the second graphic affordance 525. is shown Since the description of the screens 510 to 540 in FIG. 5B is the same as the description of the screens 510 to 540 in FIG. 5A, hereinafter, the screens 570, 580, and 590 different from those of FIG. 5A will be mainly described. .
  • the movement distance is greater than or equal to the first threshold by the drag input to the second graphic affordance 545, and the drag input to the second graphic affordance 545 continues.
  • the electronic device 101 or 300 changes the second graphic affordance 545 and, as shown on the screens 570 , 580 , 590 , the electronic device 101 or 300 changes the first graphic according to the degree to which the movement distance by the drag input exceeds the second threshold.
  • a function corresponding to the affordance 515 may be performed step by step.
  • the 'second threshold' may correspond to a movement distance that is a criterion for adjusting the level of a function corresponding to the first graphic affordance 515 .
  • the extent to which the moving distance exceeds the second threshold' may correspond to a degree of change by a rate proportional to the moving distance when movement occurs according to user interaction.
  • the 'degree of exceeding the second threshold' may be determined differently for each type of various electronic devices, such as, for example, a foldable phone, a smart phone, a wearable device, and a tap.
  • the 'degree of exceeding the second threshold' may be determined based on a predetermined threshold point for each standard of the touch display of each electronic device.
  • the electronic device 101 or 300 provides, for example, a function corresponding to the first graphic affordance 515 as shown on the screen 570 according to the degree to which the moving distance by the drag input exceeds the second threshold (eg, : Flash function) 'brightness level 1' can be executed. Thereafter, in proportion to the gradual increase in the moving distance by the drag input, the electronic device 101 or 300 sets 'brightness level 3' of the flash function corresponding to the first graphic affordance 515 as shown on the screen 580. Alternatively, as shown in the screen 590, 'brightness level 5' of the flash function corresponding to the first graphic affordance 515 may be executed. As described above, as the movement distance changes, various functions can be executed and the second graphic affordance can be changed. However, the embodiment is not limited thereto, and the second graphic affordance may change as the moving distance changes, but the function may not be executed until the sliding input is released.
  • the second threshold eg, : Flash function
  • FIG. 6 is a table illustrating examples of functions matched to a first graphic affordance according to various embodiments.
  • a table 600 showing functions corresponding to a first graphic affordance in an electronic device eg, the electronic device 101 of FIG. 1 and the electronic device 300 of FIG. 3 .
  • table 600 may have three thresholds. If the moving distance is between the first threshold and the second threshold, the function in the first column of table 600 may be executed. If the moving distance is between the second threshold and the third threshold, the function in the second column of table 600 may be executed. When the moving distance exceeds the third threshold, the function in the third column of the table 600 may be executed.
  • the second graphic affordance may be displayed and modified, and a function may be executed by a user interaction (eg, a drag input) corresponding to the first graphic affordance.
  • the functions corresponding to the first graphic affordance may include, for example, at least one of a flash function, a do not disturb setting function, a phone related function, a timer setting function, a camera shooting function, a weather search function, a voice recording function, and a Bixby function. It may include one, but is not necessarily limited thereto.
  • the function corresponding to the first graphic affordance in the table 600 is a 'do not disturb function'.
  • the first graphic affordance representing the 'do not disturb function' is selected, the first graphic affordance may be replaced with the second graphic affordance.
  • the movement distance by the user interaction eg, drag input
  • the second graphic affordance corresponds to the touch display (eg, 40% to 50% of the total width of the touch display 310 of FIG. 3)
  • the former may set the level of the do not disturb function to 'until directly turned off'.
  • the electronic device 101 or 300 sets the do not disturb function to 'for 1 hour'. can be set.
  • the electronic device 101 or 300 sets the do not disturb function to 'during sleep'. can be set to
  • the electronic device 101 or 300 may perform or set various functions disclosed in the table 600 step by step according to the moving distance by the user interaction corresponding to the second graphic affordance.
  • the first graphic affordance may indicate a timer, and the timer may be set to another time period based on a moving distance.
  • the first graphic affordance represents a camera, and the camera may capture an image in a different manner according to a moving distance.
  • the first graphic affordance may represent a weather function, and weather forecasts of different time zones may be displayed based on a moving distance.
  • the first graphic affordance represents a voice recording function, and may start an application or start/stop voice recording according to a moving distance.
  • the first graphic affordance represents Bixby and can be controlled to start an application or listen to Bixby according to a moving distance.
  • FIG. 7 is a diagram for explaining methods of changing a second graphic affordance according to an exemplary embodiment.
  • a screen 710 including a second graphic affordance 715 and screens 720 , 730 , and 740 including the changed second graphic affordances according to an exemplary embodiment are shown.
  • Electronic devices eg, the electronic device 101 of FIG. 1 and the electronic device 300 of FIG. 3
  • a movement distance by a user interaction eg, a drag input
  • the second graphic affordance 715 may be changed.
  • the electronic device 101 or 300 may visually transform the second graphic affordance 715 displayed on the screen 710 like the second graphic affordance 725 displayed on the screen 720 .
  • 'visually deforming the second graphic affordance' may be understood to mean changing at least one of the length, size, shape, form, and color of the second graphic affordance 715 to a visually distinguishable extent. .
  • the electronic device 101 or 300 adds an icon 735 to the second graphic affordance 725 to guide a function matched to the first graphic affordance, and transforms the second graphic affordance as shown on the screen 730.
  • icon 735 may represent a camera.
  • the electronic device 101 or 300 overlays and displays a preview screen 745 corresponding to a function matched to the first graphic affordance on the second graphic affordance 725, thereby displaying the image shown on the screen 740.
  • the second graphic affordance may be modified.
  • the preview screen may correspond to a camera function.
  • the electronic device 101 or 300 may add an acoustic affordance including at least one of a sound and a haptic related to a function matched to the first graphic affordance 725 to the second graphic affordance 725. there is.
  • FIG. 8A and 8B are diagrams for explaining a process of changing a second graphic affordance according to a user interaction with respect to the second graphic affordance according to embodiments.
  • a first graphic affordance 815 matched to an alarm release function is displayed in an electronic device (eg, the electronic device 101 of FIG. 1 and the electronic device 300 of FIG. 3 ) according to an embodiment.
  • the screens 820 and 830 on which the screen 810 and the second graphic affordances 825 , 827 and 835 are displayed, and the lock screen 840 on which the alarm release function corresponding to the first graphic affordance 815 has been performed are shown.
  • the electronic device 101 or 300 converts the first graphic affordance 815 to the second graphic affordance 825 as shown on the screen 820. ) can be replaced with Thereafter, while the first input (eg, touch input) to the second graphic affordance 825 is maintained, a second input (eg, swipe input) may occur. In this case, the electronic device 101 or 300 may change the shape of the second graphic affordance 825 to the same as the second graphic affordance 827 . If the second input (eg, swipe input) for the changed second graphic affordance 827 continues, the electronic device 101 or 300 converts the second graphic affordance 827 to the second graphic affordance displayed on the screen 830. It can be additionally changed as in (835).
  • the function matched with the first graphic affordance 815 may be one alarm release function.
  • a second input eg, a swipe input
  • a second input generated on the screen 830 may continue, and thus a movement distance caused by the second input may exceed the first threshold value.
  • the electronic device 101 or 300 may perform an alarm release function matched to the first graphic affordance 815 when a second input in a concentric direction to the second graphic affordance 835 occurs. For example, when the movement distance exceeds the first threshold and the input is released, the same function may be performed regardless of the up, down, left, or right direction of the second input.
  • the electronic device 101 or 300 may display the lock screen 840 with the alarm function disabled.
  • the first graphic affordance 815 When there are a plurality of functions matched to the first graphic affordance 815, as the user's selection for the first graphic affordance 815 is input, the first graphic affordance 815 is displayed in plurality as shown on the screen 860. It may be replaced with the number of graphic affordances (second graphic affordance 863 and third graphic affordance 865) corresponding to the number of functions.
  • the second graphic affordance 863 is determined based on the movement distance, movement direction, and whether contact is maintained with the touch display by the user interaction corresponding to the second graphic affordance 863 and the third graphic affordance 865, respectively. and detailed functions matched with each of the third graphic affordance 865 may be executed.
  • the user interaction moves from bottom to top ( ⁇ ) while maintaining contact with the second graphic affordance 863, and the movement distance by the user interaction corresponding to the second graphic affordance 863 is Can be greater than or equal to 1 threshold.
  • the electronic device 101 or 300 may perform an alarm stop function, which is a detailed function matched to the second graphic affordance 863 .
  • the user interaction moves from top to bottom ( ⁇ ) while maintaining contact with the third graphic affordance 865, and the moving distance by the user interaction corresponding to the third graphic affordance 865 is greater than the first threshold value. can be greater than or equal to
  • the electronic device 101 or 300 may perform a snooze function, which is a detailed function matched to the third graphic affordance 865 .
  • the electronic device 101 or 300 converts the first graphic affordance 815 to the second graphic affordance as a selection for the first graphic affordance 815 is input. 863 and the third graphic affordance 865, it is possible to indicate to the user that different functions can be performed according to the action direction.
  • the electronic device 101 or 300 further considers the movement direction caused by the user interaction in addition to the movement distance caused by the user interaction and whether or not the contact is maintained to determine the graphic affordances. Detailed functions matched to each can be executed.
  • FIG. 9 is a diagram for explaining a process of executing an alarm cancellation through a graphic affordance according to an embodiment.
  • a first graphic affordance 915 displayed on a lock screen 910 of an electronic device eg, the electronic device 101 of FIG. 1 and the electronic device 300 of FIG. 3
  • screens 930 and 940 showing the process of user interaction with the second graphic affordance 925
  • the lock screen 950 on which the alarm release function is performed may be displayed.
  • the electronic device 101 or 300 converts the first graphic affordance 915 to the second graphic affordance (as shown on the screen 920). 925) can be substituted.
  • the function matched with the first graphic affordance 915 may be, for example, an alarm release function.
  • the electronic device 101 or 300 changes the shape of the second graphic affordance 925 to the second displayed on the screen 930. It can be changed like the graphic affordance 935.
  • the electronic device 101 or 300 converts the second graphic affordance 935 to the second graphic affordance 945 displayed on the screen 940. can be changed like
  • the electronic device 101 or 300 1 An alarm release function corresponding to the graphic affordance 915 can be performed. As the electronic device 101 or 300 performs the alarm release function, the alarm release function is performed and the alarm release lock screen 950 may be displayed.
  • 10A and 10B are diagrams for explaining a method of displaying a function corresponding to the number of functions matched to a first graphic affordance according to embodiments.
  • one function matched to the first graphic affordance 1015 (eg, the electronic device 101 of FIG. 1 and the electronic device 300 of FIG. 3 ) according to an embodiment, one function matched to the first graphic affordance 1015 ( Example: In the case of an incoming call acceptance function), screens 1010, 1020, 1030, 1040, and 1050 illustrating a process of performing a function matched to the first graphic affordance 1015 are shown.
  • the electronic device 101 or 300 displays as shown on the screen 1020.
  • the first graphic affordance 1015 may be replaced with the second graphic affordance 1025 .
  • the electronic device 101 or 300 displays the second graphic affordance 1025. You can keep your mark. At this time, as dragging in the right direction on the second graphic affordance 1025 continues, the electronic device 101 or 300 displays the second graphic affordance 1025 on the screen 1030 in proportion to the moving distance by the dragging. Like the 2 graphic affordance 1035 and the second graphic affordance 1045 on the screen 1040, the shape may be gradually transformed and displayed.
  • the 'moving distance' by dragging may correspond to the moving distance (linear distance) from the point where the user interaction corresponding to the second graphic affordance 1025 starts (1027) to the point where the user interaction ends (1047).
  • the moving distance from the point 1027 of the second graphic affordance 1025 displayed on the screen 1020 to the point 1047 of the second graphic affordance 1045 displayed on the screen 1040 is greater than the first threshold 1043.
  • the first threshold 1043 is, for example, a reference value for comparing the moving distance from the point where the user interaction corresponding to the second graphic affordance 1025 starts (1027) to the point where it ends (1047), ( It may correspond to a predetermined critical distance from the second graphic affordance 1025 (regardless of the direction).
  • the electronic device 101 or 300 may perform an incoming call acceptance function matched to the first graphic affordance 1015 .
  • a call connection screen 1050 may be displayed.
  • the electronic device 101 or 300 can make a call.
  • a first Screens 1010 , 1060 , 1070 , 1075 , 1080 , and 1085 showing a process of performing two functions matched to the graphic affordance 1015 are shown.
  • the electronic devices 101 and 300 display the screen 1060 as shown in FIG.
  • the first graphic affordance 1015 may be replaced with a second graphic affordance 1063 corresponding to an incoming call acceptance function and a third graphic affordance 1066 corresponding to an incoming call rejection function.
  • the electronic device 101 or 300 converts the second graphic affordance 1063 to the second graphic affordance of the screen 1070 ( 1073) can be expanded.
  • the electronic device 101 or 300 displays the image shown on the screen 1075.
  • a detailed function eg, a function of providing a call connection screen
  • the screen 1075 may correspond to a call connection screen indicating that the user will receive a call.
  • the phone-shaped call button 1078 displayed on the call connection screen 1075 the electronic device 101 or 300 can establish a call connection.
  • the electronic device 101 or 300 displays the third graphic affordance 1066 on the screen 1080.
  • the electronic device 101 or 300 displays the third graphic affordance 1066 on the screen 1080.
  • the electronic device 101 or 300 displays a screen 1085.
  • a detailed function eg, a function of providing a call rejection message transmission screen
  • the screen 1085 displays various call rejection messages (eg, "I will call you back", "Can you call back later") indicating that the user will not answer the call. )" or "Please text me”), but is not necessarily limited thereto.
  • the electronic device 101 or 300 may deliver the selected message to the calling party.
  • FIG. 11 is a diagram for explaining a method of performing a function matched to a first graphic affordance according to an exemplary embodiment.
  • a first graphic affordance 1115 displayed on a lock screen 1110 of an electronic device eg, the electronic device 101 of FIG. 1 and the electronic device 300 of FIG. 3
  • Screens 1120 , 1130 , 1140 , and 1150 showing a process of executing a call execution function selected by the user and matched to the first graphic affordance 1115 are shown.
  • a first graphic affordance 1115 matched with an executing call function may be displayed at the bottom right of the lock screen 1110 .
  • the electronic device 101 or 300 replaces the first graphic affordance 1115 with the second graphic affordance 1125 as shown on the screen 1120.
  • the electronic device 101 or 300 displays the second graphic affordance 1125 as shown on the screen 1130.
  • the electronic device 101 or 300 may expand the width of the panel displayed on the second graphic affordance 1125 in proportion to the lengthening of the moving distance by the sustained drag input to the second graphic affordance 1125 .
  • An icon 1137 guiding a call execution function matched with the first graphic affordance 1115 may be added to the second graphic affordance 1135 .
  • the icon 1137 may be dimly displayed in an inactive state.
  • the icon 1137 may guide that the electronic device 101 or 300 can perform a call execution function in a situation in which an interaction with the second graphic affordance 1135 is maintained.
  • the electronic device 101 or 300 displays the second graphic affordance 1145 as shown on the screen 1140.
  • An icon 1147 included in ) can be activated. For example, color and/or contrast or icons may be changed.
  • the electronic device 101 or 300 may display the call execution screen 1150 .
  • the call execution screen 1150 may be a screen corresponding to a call execution function matched to the first graphic affordance 1115 .
  • FIG. 12 is a diagram illustrating form factors representing locations where a first affordance is displayed for each electronic device according to various embodiments.
  • a form factor 1210 showing positions where a first affordance is displayed in an electronic device (eg, the electronic device 101 of FIG. 1 and the electronic device 300 of FIG.
  • the form factor 1230 showing positions where the first affordance is displayed in the flip-type electronic device 101 or 300 and the first affordance displayed in the wearable device-type electronic device 101 or 300
  • a form factor 1250 showing locations where the first affordance is displayed
  • a form factor 1270 showing locations where the first affordance is displayed in the tablet-type electronic devices 101 and 300
  • a fold-type electronic device 101 , 300 a form factor 1290 showing positions where the first affordance is displayed is shown.
  • circles indicated by dotted lines in the drawing on the left indicate first affordances when the electronic devices 101 and 300 are positioned in a portrait direction.
  • circles indicated by dotted lines in the drawing on the right may indicate positions at which the first affordance is displayed when the electronic device 101 or 300 is positioned in a landscape direction.
  • circles indicated by dotted lines in the first drawing of the form factor 1290 place the fold-type electronic devices 101 and 300 in the portrait, and when the foldable display is unfolded and expanded, the first Positions where affordances are displayed may be indicated.
  • Circles indicated by dotted lines in the second drawing of the form factor 1290 place the fold-type electronic devices 101 and 300 in the portrait, and the first affordance is displayed when the foldable display is folded. locations can be indicated.
  • circles indicated by dotted lines in the third drawing of the form factor 1290 place the fold-type electronic devices 101 and 300 in the landscape direction, and when the foldable display is unfolded and expanded, the first Positions where affordances are displayed may be indicated.
  • the electronic device 101 or 300 may determine a form factor such as a folded state or an unfolded state. For example, the electronic device 101 or 300 may determine the pose of the corresponding form factor in consideration of the arrangement and/or rotation of the electronic device or the arrangement state of the electronic device. The electronic device 101 or 300 may control the affordance to be displayed at a preset position on the display of the electronic device 101 or 300 based on the user's gaze.
  • Positions where the first affordance is displayed for each electronic device described with reference to FIG. 12 correspond to an example, but are not necessarily limited thereto. Positions where the first affordance is displayed may also be variously changed.
  • each operation may be performed sequentially, but not necessarily sequentially.
  • the order of each operation may be changed, or at least two operations may be performed in parallel.
  • operations 1310 to 1330 may be performed by a processor (eg, the processor 120 of FIG. 1 or the processor 330 of FIG. 3 ) of the electronic device 300 .
  • the electronic device 101 or 300 may receive a selection for the first graphic affordance displayed at a preset location of the touch display 310.
  • the electronic device 101 or 300 may replace the first graphic affordance with a second graphic affordance that is modified according to the user's action in response to the selection in operation 1310.
  • the electronic device 101 or 300 may replace the first graphic affordance with graphic affordances corresponding to the number of functions, based on the number of functions matched to the first graphic affordance.
  • a method for the electronic device 101 or 300 to replace the first graphic affordance with graphic affordances corresponding to the number of functions will be described in more detail with reference to FIG. 14 below.
  • the electronic device 101 or 300 may execute a function matched to the first graphic affordance based on the moving distance by the user interaction corresponding to the second graphic affordance and whether contact is maintained with the touch display. For example, the electronic device 101 or 300 may execute a function matched to the first graphic affordance based on a result of comparing the moving distance caused by the user interaction with the first threshold and whether or not contact is maintained. A method for the electronic device 101 or 300 to execute a function matched to the first graphic affordance will be described in more detail with reference to FIG. 15 below.
  • operation 1320 when the electronic device 101 or 300 replaces the first graphic affordance with graphic affordances corresponding to the number of functions based on the number of functions matched to the first graphic affordance, operation 1330
  • a detailed function matched to each of the affordances may be executed. For example, when the functions matched with the first graphic affordance are the first function and the second function, the electronic device 101 or 300 provides a second graphic affordance corresponding to the first function and a third graphic affordance corresponding to the second function, respectively.
  • One of the detailed functions matched to the second graphic affordance and the detailed function matched to the third graphic affordance may be executed based on the moving distance by the user interaction corresponding to and whether or not the contact is maintained.
  • each operation may be performed sequentially, but not necessarily sequentially.
  • the order of each operation may be changed, or at least two operations may be performed in parallel.
  • an electronic device (eg, the electronic device 101 of FIG. 1 or the electronic device 300 of FIG. 3 ) transmits a first graphic affordance through operations 1410 to 1460.
  • An operation of replacing with graphic affordances corresponding to the number of functions matched to affordances is shown.
  • operations 1410 to 1460 may be performed by a processor (eg, the processor 120 of FIG. 1 or the processor 330 of FIG. 3 ) of the electronic device 300 .
  • Operations of replacing the first graphic affordance with graphic affordances corresponding to the number of functions matched to the first graphic affordance through operations 1410 to 1460 are illustrated.
  • operations 1410 to 1460 may be performed by processors (eg, processor 120 of FIG. 1 or processor 330 of FIG. 3 ) of the terminals 101 and 300 .
  • the electronic device 101 or 300 may determine whether there is one function matched to the first graphic affordance. If it is determined in operation 1410 that there is only one function matched to the first graphic affordance, in operation 1420 the electronic device 101 or 300 may replace the first graphic affordance with the second graphic affordance.
  • the electronic device 101 or 300 may determine whether there are two functions matched to the first graphic affordance. If it is determined in operation 1430 that there are two functions matched with the first graphic affordance, in operation 1440 the electronic device 101 or 300 converts the first graphic affordance into a second graphic affordance and a third graphic affordance corresponding to the two functions, respectively. can be replaced
  • the electronic device 101 or 300 may determine whether there are three functions matched with the first graphic affordance. If it is determined in operation 1450 that there are three functions matched with the first graphic affordance, in operation 1460 the electronic device 101 or 300 converts the first graphic affordance into a second graphic affordance, a third graphic affordance, and a third graphic affordance corresponding to each of the three functions. It can be replaced with the fourth graphic affordance.
  • each operation may be performed sequentially, but not necessarily sequentially.
  • the order of each operation may be changed, or at least two operations may be performed in parallel.
  • FIG. 15 a function matched to a first graphic affordance through operations 1510 to 1580 of an electronic device (eg, the electronic device 101 of FIG. 1 or the electronic device 300 of FIG. 3 ) according to an embodiment.
  • An operation to perform is shown.
  • operations 1510 to 1580 may be performed by a processor (eg, the processor 120 of FIG. 1 or the processor 330 of FIG. 3 ) of the electronic device 300 .
  • the electronic device 101 or 300 may determine whether the moving distance by the user interaction corresponding to the second graphic affordance is less than a first threshold and whether contact with the touch display is maintained. If it is determined in operation 1510 that the moving distance is not smaller than the first threshold and that contact is not maintained, the electronic device 101 or 300 may perform operation 1530 . In contrast, if it is determined in operation 1510 that the moving distance is smaller than the first threshold and the contact is maintained, the electronic device 101 or 300 may perform operation 1530 while maintaining the display of the second graphic affordance in operation 1520.
  • the electronic device 101 or 300 may determine whether the moving distance is less than a first threshold and the contact is released. If it is determined in operation 1530 that the movement distance is greater than the first threshold or that the contact is not released, the electronic device 101 or 300 may immediately perform operation 1550 . In contrast, if it is determined in operation 1530 that the moving distance is less than the first threshold and the contact is released, in operation 1540, the electronic device 101 or 300 does not perform a function matched to the first graphic affordance and displays the first graphic affordance. You can return to the screen.
  • the electronic device 101 or 300 may determine whether the moving distance is greater than or equal to a first threshold and the contact is maintained. If it is determined in operation 1550 that the movement distance is greater than or equal to the first threshold and that contact is not maintained, the electronic device 101 or 300 may immediately perform operation 1570 . Alternatively, if it is determined in operation 1550 that the movement distance is greater than or equal to the first threshold and that the contact is maintained, in operation 1560, the electronic device 101 or 300 may change the second graphic affordance and then perform operation 1570. In this case, a method for the electronic device 101 or 300 to change the second graphic affordance in operation 1560 is as follows, but is not necessarily limited thereto.
  • the electronic device 101 or 300 may change the second graphic affordance by visually transforming the second graphic affordance, for example.
  • visually deforming may include deforming at least one of the shape, form, and color of the second graphic affordance, but is not necessarily limited thereto.
  • the electronic devices 101 and 300 may include a phrase (eg, "The flash lights up brightly”. "You can take a picture") and a phrase for guiding a function matched to the first graphic affordance to the second graphic affordance.
  • the second graphic affordance may be changed by adding at least one of icons (eg, a flashlight-shaped icon and a camera-shaped icon) for guiding a function matched to the first graphic affordance.
  • the electronic device 101 or 300 may, for example, add an acoustic affordance including at least one of a sound and a haptic related to a function matched to the first graphic affordance to the second graphic affordance, thereby providing the second graphic affordance. Affordance can be changed.
  • the electronic device 101 or 300 may change the second graphic affordance by overlaying and displaying a preview screen corresponding to a function matched to the first graphic affordance on the second graphic affordance, for example.
  • the electronic device 101 or 300 may determine whether the moving distance is greater than or equal to a first threshold and the contact is released. If it is determined in operation 1570 that the movement distance is greater than or equal to the first threshold and that the contact is not released, the electronic device 101 or 300 may end the operation. In contrast, if it is determined in operation 1570 that the movement distance is greater than or equal to the first threshold and the contact is released, the electronic device 101 or 300 may execute a function matched to the first graphic affordance in operation 1580.
  • operation 1550 when the movement distance is greater than or equal to the first threshold and the contact according to the user interaction is maintained, in operation 1560, in addition to changing the second graphic affordance, the electronic device 101 or 300 determines that the movement distance is
  • the function corresponding to the first graphic affordance may be performed step by step according to the degree of exceeding the second threshold.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

일 실시예에 따른 전자 장치는 터치 디스플레이, 및 제1 그래픽 어포던스를 표시하도록 터치 디스플레이를 제어하고, 제1 그래픽 어포던스를 나타내는 입력에 기초하여 제1 그래픽 어포던스의 표시를 제2 그래픽 어포던스로 대체하도록 터치 디스플레이를 제어하고, 입력이 유지되는 동안 사용자의 액션에 따라 제2 그래픽 어포던스를 변형하도록 터치 디스플레이를 제어하며, 입력의 이동 거리 및 입력이 유지되는지 여부를 기초로, 제1 그래픽 어포던스에 매칭된 기능을 실행하는 프로세서를 포함할 수 있다.

Description

그래픽 어포던스와 매칭된 기능을 수행하는 전자 장치 및 그 전자 장치의 동작 방법
본 개시의 다양한 실시예들은 그래픽 어포던스와 매칭된 기능을 수행하는 전자 장치 및 그 전자 장치의 동작 방법에 관한 것이다.
디스플레이 기술이 발전함에 따라 다양한 형태의 확장 가능한 디스플레이들(expandable displays)이 개발되고 있으며, 디스플레이에 표시된 그래픽 어포던스(graphic affordance)에 대한 사용자 인터랙션을 통해 다양한 기능들을 수행할 수 있다. 다양한 그래픽 어포던스에 대한 사용자 인터랙션은 그래픽 어포던스에 매칭된 기능의 수행을 트리거(trigger)할 수 있다.
일 실시예에 따르면, 전자 장치는 터치 디스플레이, 및 제1 그래픽 어포던스(graphic affordance)를 표시하도록 상기 터치 디스플레이를 제어하고, 상기 제1 그래픽 어포던스를 나타내는 입력에 기초하여, 상기 제1 그래픽 어포던스의 표시를 제2 그래픽 어포던스로 대체하도록 상기 터치 디스플레이를 제어하고, 상기 입력이 유지되는 동안 상기 사용자의 액션에 따라 상기 제2 그래픽 어포던스를 변형하도록 상기 터치 디스플레이를 제어하며, 상기 입력의 이동 거리 및 상기 입력이 유지되는지 여부를 기초로, 상기 제1 그래픽 어포던스에 매칭된 기능을 실행하는 프로세서를 포함할 수 있다.
상기 프로세서는 상기 이동 거리와 제1 임계치를 비교하고, 상기 제1 임계치를 초과하는 상기 이동 거리 및 상기 입력이 해제됨에 기초하여 상기 제1 그래픽 어포던스에 매칭된 상기 기능을 더 실행할 수 있다.
상기 프로세서는 상기 이동 거리가 상기 제1 임계치보다 작고, 상기 입력이 유지되는 동안, 상기 제2 그래픽 어포던스의 표시를 유지하도록 상기 터치 디스플레이를 제어하고, 상기 이동 거리가 상기 제1 임계치보다 작고, 상기 입력이 해제됨에 기초하여, 상기 제1 그래픽 어포던스를 표시하는 화면으로 복귀하고도록 상기 터치 디스플레이를 제어하고, 상기 이동 거리가 상기 제1 임계치보다 크거나 같고, 상기 입력이 유지됨에 기초하여, 상기 제2 그래픽 어포던스를 변경하도록 상기 터치 디스플레이를 제어하며, 상기 이동 거리가 상기 제1 임계치보다 크거나 같고, 상기 입력이 해제됨에 기초하여, 상기 제1 그래픽 어포던스에 매칭된 기능을 더 실행할 수 있다.
상기 프로세서는 상기 제2 그래픽 어포던스를 시각적으로 변형하거나. 상기 제2 그래픽 어포던스에, 상기 제1 그래픽 어포던스에 매칭된 기능을 안내하는 문구 및 아이콘 중 적어도 하나를 추가하거나, 상기 제2 그래픽 어포던스에, 상기 제1 그래픽 어포던스에 매칭된 기능과 관련된 사운드(sound) 및 햅틱(haptic) 중 적어도 하나를 포함하는 어쿠스틱 어포던스를 추가하거나, 또는 상기 제2 그래픽 어포던스 위에, 상기 제1 그래픽 어포던스에 매칭된 기능에 대응하는 미리 보기 화면을 표시함으로써 상기 제2 그래픽 어포던스를 변경하도록 상기 터치 디스플레이를 더 제어할 수 있다.
상기 프로세서는 상기 이동 거리가 상기 제1 임계치보다 크거나 같고, 상기 입력이 유지됨에 기초하여, 상기 터치 디스플레이를 계속 제어하여 상기 제2 그래픽 어포던스를 변경하는 동안, 상기 이동 거리가 제2 임계치를 초과하는 정도에 따라 기능을 변경하면서 상기 제1 그래픽 어포던스에 대응하는 기능을 수행하도록 할 수 있다.
상기 프로세서는 상기 제1 그래픽 어포던스에 매칭된 다수의 기능들의 개수를 기초로, 상기 제1 그래픽 어포던스를 상기 기능들의 개수에 대응되는 하나 이상의 그래픽 어포던스들로 대체하도록 상기 터치 디스플레이를 제어할 수 있다.
상기 프로세서는 상기 제1 그래픽 어포던스에 매칭된 하나의 기능에 기초하여 상기 제1 그래픽 어포던스를 상기 제2 그래픽 어포던스로 대체하도록 상기 터치 디스플레이를 제어하고, 상기 제1 그래픽 어포던스에 매칭된 두 개의 기능들에 기초하여, 상기 제1 그래픽 어포던스를 상기 두 개의 기능들 각각에 대응되는 상기 제2 그래픽 어포던스 및 제3 그래픽 어포던스로 대체하도록 상기 터치 디스플레이를 제어하고, 상기 제1 그래픽 어포던스에 매칭된 세 개의 기능들 각각에 기초하여, 상기 제1 그래픽 어포던스를 상기 세 개의 기능들 각각에 대응되는 상기 제2 그래픽 어포던스, 상기 제3 그래픽 어포던스 및 제4 그래픽 어포던스로 대체할 수 있다.
상기 프로세서는 상기 이동 거리에 기반한 하나 이상의 그래픽 어포던스 각각, 상기 하나 이상의 그래픽 어포던스 각각에 대응하는 거리, 상기 입력의 이동 방향, 및 상기 입력이 유지되는지 여부를 기초로, 상기 그래픽 어포던스들 각각에 매칭된 세부 기능을 실행할 수 있다.
상기 프로세서는 상기 제1 그래픽 어포던스에 매칭되는 제1 기능 및 제2 기능에 기초하여, 상기 이동 거리, 상기 제2 그래픽 어포던스 및 상기 제3 그래픽 어포던스 각각에 대응하는 이동 거리 및 상기 입력이 유지되는지 여부에 따라, 상기 제2 그래픽 어포던스 또는 상기 제3 그래픽 어포던스에 매칭되는 세부 기능을 더 실행할 수 있다.
상기 프로세서는 상기 제2 그래픽 어포던스에 대응하고, 상기 제2 임계치를 초과하는 상기 이동 거리에 기초하여, 상기 제2 그래픽 어포던스에 매칭된 세부 기능을 실행하고, 상기 제3 그래픽 어포던스에 대응하고, 상기 제2 임계치를 초과하는 상기 이동 거리에 기초하여, 상기 제3 그래픽 어포던스에 매칭된 세부 기능을 실행할 수 있다.
일 실시예에 따르면, 전자 장치의 동작 방법은 전자 장치의 터치 디스플레이에 표시된 제1 그래픽 어포던스를 나타내는 입력을 수신하는 동작, 상기 입력에 기초하여, 상기 제1 그래픽 어포던스를 제2 그래픽 어포던스로 대체하는 동작, 상기 입력을 유지한 상태에서 사용자의 액션에 따라 제2 그래픽 어포던스를 변경하는 동작, 및 상기 입력의 이동 거리 및 상기 입력의 유지 여부를 기초로, 상기 제1 그래픽 어포던스에 매칭된 기능을 실행하는 동작을 포함할 수 있다.
상기 전자 장치의 동작 방법은 상기 이동 거리를 제1 임계치와 비교하는 동작을 더 포함하고, 상기 제1 그래픽 어포던스에 매칭된 기능의 실행은 상기 제1 임계치를 초과하는 상기 이동 거리를 기초로 상기 제1 그래픽 어포던스에 매칭된 기능을 실행하는 동작, 및 상기 입력을 해제하는 동작을 포함할 수 있다.
상기 제1 그래픽 어포던스에 매칭된 기능을 실행하는 동작은 상기 이동 거리가 상기 제1 임계치보다 작고, 상기 입력이 유지되는 동안, 상기 제2 그래픽 어포던스의 표시를 유지하는 동작, 상기 이동 거리가 상기 제1 임계치보다 작고, 상기 입력이 해제됨에 기초하여, 상기 제1 그래픽 어포던스의 표시로 복귀하는 동작, 상기 이동 거리가 상기 제1 임계치보다 크거나 같고, 상기 입력이 유지됨에 기초하여, 상기 제2 그래픽 어포던스를 변경하는 동작, 및 상기 이동 거리가 상기 제1 임계치보다 크거나 같고, 상기 입력이 해제됨에 기초하여, 상기 제1 그래픽 어포던스에 매칭된 기능을 실행하는 동작 중 적어도 하나를 포함할 수 있다.
상기 제2 그래픽 어포던스를 변경하는 동작은 상기 제2 그래픽 어포던스를 시각적으로 변형하는 동작, 상기 제2 그래픽 어포던스에, 상기 제1 그래픽 어포던스에 매칭된 기능을 안내하는 문구 및 아이콘 중 적어도 하나를 추가하는 동작, 상기 제2 그래픽 어포던스에, 상기 제1 그래픽 어포던스에 매칭된 기능과 관련된 사운드(sound) 및 햅틱(haptic) 중 적어도 하나를 포함하는 어쿠스틱 어포던스를 추가하는 동작, 및 상기 제2 그래픽 어포던스 위에, 상기 제1 그래픽 어포던스에 매칭된 기능에 대응하는 미리 보기 화면을 표시하는 동작 중 적어도 하나를 포함할 수 있다.
상기 제2 그래픽 어포던스를 변경하는 동작은 상기 이동 거리가 상기 제1 임계치보다 크거나 같고, 상기 입력이 유지됨에 기초하여, 상기 제2 그래픽 어포던스가 변경되는 동안, 상기 이동 거리가 제2 임계치를 초과하는 정도에 따라 상기 기능을 변경하면서 상기 제1 그래픽 어포던스에 대응하는 기능을 수행하는 동작을 더 포함할 수 있다.
상기 제2 그래픽 어포던스로 대체하는 동작은 상기 제1 그래픽 어포던스에 매칭된 다수의 기능들의 개수를 기초로, 상기 제1 그래픽 어포던스를 상기 기능들의 개수에 대응되는 하나 이상의 그래픽 어포던스로 대체하는 동작을 포함할 수 있다.
상기 기능의 개수에 대응되는 그래픽 어포던스들로 대체하는 동작은 상기 제1 그래픽 어포던스에 매칭된 하나의 기능에 기초하여, 상기 제1 그래픽 어포던스를 상기 제2 그래픽 어포던스로 대체하는 동작, 상기 제1 그래픽 어포던스에 매칭된 두 개의 기능들에 기초하여, 상기 제1 그래픽 어포던스를 상기 두 개의 기능들 각각에 대응되는 상기 제2 그래픽 어포던스 및 제3 그래픽 어포던스로 대체하는 동작, 및 상기 제1 그래픽 어포던스에 매칭된 세 개의 기능들에 기초하여, 상기 제1 그래픽 어포던스를 상기 세 개의 기능들 각각에 대응되는 상기 제2 그래픽 어포던스, 상기 제3 그래픽 어포던스 및 제4 그래픽 어포던스로 대체하는 동작 중 적어도 하나를 포함할 수 있다.
상기 제1 그래픽 어포던스에 매칭된 기능을 실행하는 동작은 상기 이동 거리, 상기 하나 이상의 그래픽 어포던스 각각에 대응하는 거리들, 상기 입력의 이동 방향, 및 상기 입력의 유지 여부를 기초로, 상기 그래픽 어포던스들 각각에 매칭된 세부 기능을 실행하는 동작을 포함할 수 있다.
상기 그래픽 어포던스들 각각에 매칭된 세부 기능을 실행하는 동작은 상기 제1 그래픽 어포던스에 매칭된 제1 기능 및 제2 기능에 기초하여, 상기 이동 거리, 상기 제2 그래픽 어포던스 및 상기 제3 그래픽 어포던스 각각에 대응하는 거리, 및 상기 입력이 유지되는지 여부에 따라, 상기 제2 그래픽 어포던스 또는 상기 제3 그래픽 어포던스에 매칭된 세부 기능을 실행하는 동작을 포함할 수 있다.
일 실시예에 따르면, 전자 장치의 프로세서에 의해 실행될 때, 상기 전자 장치가 다음을 포함하는 동작들을 수행하도록 하는 명령들을 저장하는 비일시적인 컴퓨터로 판독 가능한 저장 매체에서 상기 동작들은 상기 전자 장치의 터치 디스플레이에 표시된 제1 그래픽 어포던스를 나타내는 입력을 수신하는 동작, 상기 입력에 기초하여, 상기 제1 그래픽 어포던스를 제2 그래픽 어포던스로 대체하는 동작, 상기 입력을 유지한 상태에서 사용자의 액션에 따라 제2 그래픽 어포던스를 변경하는 동작, 및 상기 입력의 이동 거리 및 상기 입력의 유지 여부를 기초로, 상기 제1 그래픽 어포던스에 매칭된 기능을 실행하는 동작을 포함할 수 있다.
일 실시예에 따르면, 전자 장치는 터치 디스플레이, 및 상기 터치 디스플레이의 제1 에지에 인접한 제1 기능에 대응하는 제1 초기 그래픽 어포던스 및 상기 터치 디스플레이의 제2 에지에 인접한 제2 기능에 대응하는 제2 초기 그래픽 어포던스를 표시하도록 터치 디스플레이를 제어하고, 상기 터치 디스플레이를 통해 수신된 입력이 상기 제1 초기 그래픽 어포던스를 나타내는지 또는 상기 제2 초기 그래픽 어포던스를 나타내는지 여부를 식별하고, 상기 제1 초기 그래픽 어포던스를 나타내는 입력에 기초하여 상기 터치 디스플레이의 제1 에지에 따라 상기 제1 기능에 대응하는 제1 후속 그래픽 어포던스를 표시하도록 상기 터치 디스플레이를 제어하고, 상기 제2 초기 그래픽 어포던스를 나타내는 입력에 기초하여 상기 터치 디스플레이의 제2 에지에 따라 상기 제2 기능에 대응하는 제2 후속 그래픽 어포던스를 표시하도록 상기 터치 디스플레이를 제어하는 프로세서를 포함할 수 있다.
상기 프로세서는 상기 입력이 유지되는 동안 상기 제1 후속 그래픽 어포던스 또는 상기 제2 후속 그래픽 어포던스의 표시를 유지하도록 상기 터치 디스플레이를 더 제어할 수 있다.
상기 프로세서는 상기 입력이 유지된 상태에서 상기 입력의 움직임에 따라 상기 제1 후속 그래픽 어포던스 또는 상기 제2 후속 그래픽 어포던스에 표시되는 위치를 변경하도록 상기 터치 디스플레이를 더 제어할 수 있다.
상기 프로세서는 해제되는 상기 입력에 기초하여, 상기 입력의 터치 시작점과 상기 입력의 터치 종료점 간의 차이가 임계 거리를 초과하는지 여부를 식별하도록 더 구성될 수 있다.
상기 프로세서는 상기 해제되는 입력, 상기 제1 초기 그래픽 어포던스에 대응하는 입력, 및 상기 임게 거리를 초과하는 차이에 기초하여, 상기 제1 기능을 실행하도록 더 구성될 수 있다.
상기 프로세서는 상기 해제되는 입력, 상기 제2 초기 그래픽 어포던스에 대응하는 입력, 상기 임계 거리를 초과하는 차이에 기초하여, 상기 제2 기능을 실행하도록 더 구성될 수 있다.
상기 프로세서는 상기 해제되는 입력과 상기 임계 거리를 초과하지 않는 상기 차이에 기초하여, 상기 제1 에지에 인접한 제1 초기 그래픽 어포던스와 상기 제2 에지에 인접한 제2 초기 그래픽 어포던스를 표시하도록 상기 터치 디스플레이를 제어할 수 있다.
상기 프로세서는 상기 입력의 터치 시작점과 상기 입력의 현재 터치 지점 간의 차이가 상기 임계 거리를 초과하는지 여부를 식별하고, 상기 제1 초기 그래픽 어포던스에 대응하는 입력과 상기 임계 거리를 초과하는 상기 차이에 기초하여 상기 입력이 유지되는 동안 상기 제1 기능을 실행할 수 있다.
상기 프로세서는 상기 제2 초기 그래픽 어포던스에 대응하는 입력과 상기 임계 거리를 초과하는 상기 차이에 기초하여 상기 입력이 유지되는 동안 상기 제2 기능을 실행하도록 더 구성될 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 프로그램을 예시하는 블록도이다.
도 3은 일 실시예에 따른 전자 장치의 블록도이다.
도 4는 일 실시예에 따른 그래픽 어포던스들을 설명하기 위한 도면이다.
도 5a 및 도 5b는 실시예들에 따라 제2 그래픽 어포던스에 대응하는 사용자 인터랙션에 의한 이동 거리 및 터치 디스플레이와의 접촉 유지 여부를 기초로, 제1 그래픽 어포던스에 매칭된 기능을 실행하는 방법을 설명하기 위한 도면이다.
도 6은 다양한 실시예들에 따라 제1 그래픽 어포던스에 매칭된 기능들의 예시를 도시한 표이다.
도 7은 일 실시예에 따라 제2 그래픽 어포던스를 변경하는 방법들을 설명하기 위한 도면이다.
도 8a 및 도 8b는 실시예들에 따라 제2 그래픽 어포던스에 대한 사용자 인터랙션에 의해 제2 그래픽 어포던스가 변경되는 과정을 설명하기 위한 도면이다.
도 9는 일 실시예에 따라 그래픽 어포던스를 통해 알람 해제를 실행하는 과정을 설명하기 위한 도면이다.
도 10a 및 도 10b는 실시예들에 따라 제1 그래픽 어포던스에 매칭된 기능의 개수에 대응하는 기능을 표시하는 방법을 설명하기 위한 도면이다.
도 11은 일 실시예에 따라 제1 그래픽 어포던스에 매칭된 기능을 수행하는 방법을 설명하기 위한 도면이다.
도 12는 다양한 실시예들에 따른 폼 팩터들(form factors)을 도시한 도면이다.
도 13은 일 실시예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 14는 다른 실시예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
도 15는 다른 실시예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다.
이하, 실시예들을 첨부된 도면들을 참조하여 상세하게 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고, 이에 대한 중복되는 설명은 생략하기로 한다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 지문 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 설정될 수 있다. 신호 또는 전력은 상기 설정된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다.
일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2은 다양한 실시예에 따른 프로그램(140)을 예시하는 블록도(200)이다. 일실시예에 따르면, 프로그램(140)은 전자 장치(101)의 하나 이상의 리소스들을 제어하기 위한 운영 체제(142), 미들웨어(144), 또는 상기 운영 체제(142)에서 실행 가능한 어플리케이션(146)을 포함할 수 있다. 운영 체제(142)는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다. 프로그램(140) 중 적어도 일부 프로그램은, 예를 들면, 제조 시에 전자 장치(101)에 프리로드되거나, 또는 사용자에 의해 사용 시 외부 전자 장치(예: 전자 장치(102 또는 104), 또는 서버(108))로부터 다운로드되거나 갱신될 수 있다.
운영 체제(142)는 전자 장치(101)의 하나 이상의 시스템 리소스들(예: 프로세스, 메모리, 또는 전원)의 관리(예: 할당 또는 회수)를 제어할 수 있다. 운영 체제(142)는, 추가적으로 또는 대체적으로, 전자 장치(101)의 다른 하드웨어 디바이스, 예를 들면, 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 구동하기 위한 하나 이상의 드라이버 프로그램들을 포함할 수 있다.
미들웨어(144)는 전자 장치(101)의 하나 이상의 리소스들로부터 제공되는 기능 또는 정보가 어플리케이션(146)에 의해 사용될 수 있도록 다양한 기능들을 어플리케이션(146)으로 제공할 수 있다. 미들웨어(144)는, 예를 들면, 어플리케이션 매니저(201), 윈도우 매니저(203), 멀티미디어 매니저(205), 리소스 매니저(207), 파워 매니저(209), 데이터베이스 매니저(211), 패키지 매니저(213), 커넥티비티 매니저(215), 노티피케이션 매니저(217), 로케이션 매니저(219), 그래픽 매니저(221), 시큐리티 매니저(223), 통화 매니저(225), 또는 음성 인식 매니저(227)를 포함할 수 있다.
어플리케이션 매니저(201)는, 예를 들면, 어플리케이션(146)의 생명 주기를 관리할 수 있다. 윈도우 매니저(203)는, 예를 들면, 화면에서 사용되는 하나 이상의 GUI 자원들을 관리할 수 있다. 멀티미디어 매니저(205)는, 예를 들면, 미디어 파일들의 재생에 필요한 하나 이상의 포맷들을 파악하고, 그 중 선택된 해당하는 포맷에 맞는 코덱을 이용하여 상기 미디어 파일들 중 해당하는 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저(207)는, 예를 들면, 어플리케이션(146)의 소스 코드 또는 메모리(130)의 메모리의 공간을 관리할 수 있다. 파워 매니저(209)는, 예를 들면, 배터리(189)의 용량, 온도 또는 전원을 관리하고, 이 중 해당 정보를 이용하여 전자 장치(101)의 동작에 필요한 관련 정보를 결정 또는 제공할 수 있다. 일실시예에 따르면, 파워 매니저(209)는 전자 장치(101)의 바이오스(BIOS: basic input/output system)(미도시)와 연동할 수 있다.
데이터베이스 매니저(211)는, 예를 들면, 어플리케이션(146)에 의해 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저(213)는, 예를 들면, 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다. 커넥티비티 매니저(215)는, 예를 들면, 전자 장치(101)와 외부 전자 장치 간의 무선 연결 또는 직접 연결을 관리할 수 있다. 노티피케이션 매니저(217)는, 예를 들면, 지정된 이벤트(예: 착신 통화, 메시지, 또는 알람)의 발생을 사용자에게 알리기 위한 기능을 제공할 수 있다. 로케이션 매니저(219)는, 예를 들면, 전자 장치(101)의 위치 정보를 관리할 수 있다. 그래픽 매니저(221)는, 예를 들면, 사용자에게 제공될 하나 이상의 그래픽 효과들 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다.
시큐리티 매니저(223)는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 통화(telephony) 매니저(225)는, 예를 들면, 전자 장치(101)에 의해 제공되는 음성 통화 기능 또는 영상 통화 기능을 관리할 수 있다. 음성 인식 매니저(227)는, 예를 들면, 사용자의 음성 데이터를 서버(108)로 전송하고, 그 음성 데이터에 적어도 일부 기반하여 전자 장치(101)에서 수행될 기능에 대응하는 명령어(command), 또는 그 음성 데이터에 적어도 일부 기반하여 변환된 문자 데이터를 서버(108)로부터 수신할 수 있다. 일 실시예에 따르면, 미들웨어(144)는 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. 일 실시예에 따르면, 미들웨어(144)의 적어도 일부는 운영 체제(142)의 일부로 포함되거나, 또는 운영 체제(142)와는 다른 별도의 소프트웨어로 구현될 수 있다.
어플리케이션(146)은, 예를 들면, 홈(251), 다이얼러(253), SMS/MMS(255), IM(instant message)(257), 브라우저(259), 카메라(261), 알람(263), 컨택트(265), 음성 인식(267), 이메일(269), 달력(271), 미디어 플레이어(273), 앨범(275), 와치(277), 헬스(279)(예: 운동량 또는 혈당과 같은 생체 정보를 측정), 또는 환경 정보(281)(예: 기압, 습도, 또는 온도 정보 측정) 어플리케이션을 포함할 수 있다. 일실시예에 따르면, 어플리케이션(146)은 전자 장치(101)와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션(미도시)을 더 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치로 지정된 정보 (예: 통화, 메시지, 또는 알람)를 전달하도록 설정된 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하도록 설정된 장치 관리 어플리케이션을 포함할 수 있다. 노티피케이션 릴레이 어플리케이션은, 예를 들면, 전자 장치(101)의 다른 어플리케이션(예: 이메일 어플리케이션(269))에서 발생된 지정된 이벤트(예: 메일 수신)에 대응하는 알림 정보를 외부 전자 장치로 전달할 수 있다. 추가적으로 또는 대체적으로, 노티피케이션 릴레이 어플리케이션은 외부 전자 장치로부터 알림 정보를 수신하여 전자 장치(101)의 사용자에게 제공할 수 있다.
장치 관리 어플리케이션은, 예를 들면, 전자 장치(101)와 통신하는 외부 전자 장치 또는 그 일부 구성 요소(예: 외부 전자장치의 디스플레이 모듈 또는 카메라 모듈)의 전원(예: 턴-온 또는 턴-오프) 또는 기능(예: 밝기, 해상도, 또는 포커스)을 제어할 수 있다. 장치 관리 어플리케이션은, 추가적으로 또는 대체적으로, 외부 전자 장치에서 동작하는 어플리케이션의 설치, 삭제, 또는 갱신을 지원할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. 예를 들어, "A, B 및 C 중 적어도 하나"라는 표현은 A, B, C, A와 B, A와 C, B와 C, 또는 A, B 및 C 모두를 포함하는 것으로 이해될 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 도 1의 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 3은 일 실시예에 따른 전자 장치의 블록도이다. 도 3을 참조하면, 일 실시예에 따른 전자 장치(300)는 터치 디스플레이(310), 프로세서(330)(예: 도 1의 프로세서(120)) 및 메모리(350)(예: 도 1의 메모리(130))를 포함할 수 있다. 터치 디스플레이(310), 프로세서(330) 및 메모리(350)는 버스(370)에 의해 연결될 수 잇다. 예를 들어, 전자 장치는 전자 장치(101)의 일 예시일 수 있다. 터치 디스플레이(310)는 미리 설정된 위치에 제1 그래픽 어포던스(graphic affordance)(예: 도 4의 제1 그래픽 어포던스(415))를 표시하고, 제1 그래픽 어포던스(415)에 대한 선택을 입력받을 수 있다. 여기서, '그래픽 어포던스(graphic affordance)는 사용자의 가능한(예:유도하는) 행동을 나타내는 객체로서 다양한 그래픽 효과들 및/또는 다양한 어쿠스틱 효과들을 포함할 수 있다. 예를 들어, 아이콘, 버튼, 터치 바는 사용자로 하여금 해당 객체를 터치 및/또는 선택하도록 하는 행동(action)을 유도하는 그래픽 어포던스의 일 형태에 해당할 수 있으며, 반드시 이에 한정되지는 않는다.
'제1 그래픽 어포던스'는 사용자 단말의 화면에 처음 나타나는, 다시 말해 터치 디스플레이(310)에 대한 인터랙션(예: 터치 입력) 전에 나타나는 화면(예: 도 4의 화면(410))에 표시된 그래픽 어포던스에 해당할 수 있다.
프로세서(330)는 터치 디스플레이(310)를 통해 입력된 터치 입력을 통한 선택에 응답하여, 제1 그래픽 어포던스(415)를 사용자의 액션에 따라 변형되는 제2 그래픽 어포던스(예: 도 4의 제2 그래픽 어포던스(425,435,445))로 대체할 수 있다. '제2 그래픽 어포던스'(425,435,445)는 제1 그래픽 어포던스(415)에 대한 선택이 입력됨에 응답하여 제1 그래픽 어포던스(415)를 대체하는, 예를 들어, 제1 그래픽 어포던스(415)를 대신하여 표시되는 그래픽 객체에 해당할 수 있다. 그래픽 어포던스(들)의 유형들에 대하여는 아래의 도 4를 참조하여 보다 구체적으로 설명한다.
실시예에 따라서, 프로세서(330)는 제1 그래픽 어포던스(예: 도 10a의 제1 그래픽 어포던스(1015))에 매칭된 기능의 개수를 기초로, 제1 그래픽 어포던스(1015)를 기능의 개수에 대응되는 그래픽 어포던스들로 대체할 수 있다. 예를 들어, 제1 그래픽 어포던스(1015)에 매칭된 기능이 한 개인 경우, 프로세서(330)는 제1 그래픽 어포던스(1015)를 제2 그래픽 어포던스(예: 도 10a의 제2 그래픽 어포던스(1025, 1035, 1045)로 대체할 수 있다. 제1 그래픽 어포던스(1015)에 매칭된 기능이 두 개인 경우, 프로세서(330)는 제1 그래픽 어포던스(1015)를 두 개의 기능들 각각에 대응되는 제2 그래픽 어포던스(예: 도 10b의 제2 그래픽 어포던스(1063)) 및 제3 그래픽 어포던스(예: 도 10b의 제3 그래픽 어포던스(1066))로 대체할 수 있다. 또는 제1 그래픽 어포던스에 매칭된 기능이 세 개인 경우, 프로세서(330)는 제1 그래픽 어포던스를 세 개의 기능들 각각에 대응되는 제2 그래픽 어포던스, 제3 그래픽 어포던스 및 제4 그래픽 어포던스로 대체할 수 있다. 프로세서(330)가 제1 그래픽 어포던스에 매칭된 기능의 개수를 기초로, 제1 그래픽 어포던스(1015)를 기능의 개수에 대응되는 그래픽 어포던스들로 대체하는 방법은 아래의 도 10a 및 도 10b를 참조하여 보다 구체적으로 설명한다.
프로세서(330)는 제2 그래픽 어포던스(425,435,445)에 대응하는 사용자 인터랙션에 의한 이동 거리 및 터치 디스플레이와의 접촉 유지 여부를 기초로, 제1 그래픽 어포던스(415)에 매칭된 기능을 실행할 수 있다. 여기서, '사용자 인터랙션에 의한 이동 거리'는 터치 디스플레이(310) 상에서 사용자 인터랙션에 의한 접촉을 유지된 상태에서 이동한 초기 위치와 최종 위치에 대응하는 이동 거리(또는 그 사이의 거리)로 이해될 수 있다. 예를 들어, 사용자가 드래그 입력과 같은 사용자 인터랙션에 의해 터치 디스플레이(310) 상에서 우측으로 3cm 이동한 후, 접촉을 유지한 채로 다시 좌측으로 2cm 이동한 경우, 사용자 인터랙션에 의한 이동 거리는 1cm가 될 수 있다. '터치 디스플레이와의 접촉 유지 여부'는 예를 들어, 사용자가 터치 디스플레이(310)에 신체 일부(예: 손가락)를 접촉하여 터치 입력 또는 드래그 입력과 같은 사용자 인터랙션을 수행한 후, 신체 일부를 터치 디스플레이(310)로부터 떨어뜨려 접촉을 해제하였는지 아니면 터치 디스플레이(310)에 대한 접촉을 유지하고 있는지 여부에 해당할 수 있다. 사용자가 신체 일부를 터치 디스플레이(310)로부터 떨어뜨린 상태를 '접촉이 해제'되었다고 표현하고, 신체 일부를 터치 디스플레이(310)에 접촉한 상태를 '접촉이 유지'되었다고 표현할 수 있다.
여기서, '제1 그래픽 어포던스에 매칭된 기능'은 예를 들어, 아래 도 6의 표(600)에 기재된 것과 같은 플래시 기능, 방해 금지 설정 기능, 전화 관련 기능, 타이머 설정 기능, 카메라 촬영 기능, 날씨 검색 기능, 음성 녹음 기능, 빅스비 기능 중 적어도 하나를 포함할 수 있으며, 반드시 이에 한정되지는 않는다.
제1 그래픽 어포던스(415)는 제1 그래픽 어포던스에 매칭된 기능에 대응하는(예: 암시하는) 형상을 가질 수 있다. 제1 그래픽 어포던스(415)에 매칭된 기능이 카메라 촬영 기능인 경우, 제1 그래픽 어포던스(415)는 예를 들어, 카메라 형상을 가질 수 있다. 또는 제1 그래픽 어포던스(415)에 매칭된 기능이 날씨 검색 기능인 경우, 제1 그래픽 어포던스(415)는 예를 들어, 햇빛과 비가 함께 포함된 형상 또는 우산 형상을 가질 수 있다.
프로세서(330)는 예를 들어, 사용자 인터랙션에 의한 이동 거리와 제1 임계치와의 비교 결과 및 접촉 유지 여부를 기초로, 제1 그래픽 어포던스(415)에 매칭된 기능을 실행할 수 있다. 프로세서(330)가 제1 임계치와의 비교 결과 및 접촉 유지 여부를 기초로, 제1 그래픽 어포던스(415)에 매칭된 기능을 실행하는 방법은 아래의 도 5 a 및 도 5b를 참조하여 보다 구체적으로 설명한다.
또한, 프로세서(330)는 아래의 도 4 내지 도 15를 통해 후술하는 적어도 하나의 방법 또는 적어도 하나의 방법에 대응되는 알고리즘을 수행할 수 있다. 프로세서(330)는 목적하는 동작들(desired operations)을 실행시키기 위한 물리적인 구조를 갖는 회로를 가지는 하드웨어로 구현된 전자 장치일 수 있다. 예를 들어, 목적하는 동작들은 프로그램에 포함된 코드(code) 또는 인스트럭션들(instructions)을 포함할 수 있다. 프로세서(330)는 예를 들어, CPU(Central Processing Unit), GPU(Graphics Processing Unit), 또는 NPU(Neural network Processing Unit)으로 구성될 수 있다. 예를 들어, 하드웨어로 구현된 전자 장치(300)는 마이크로프로세서(microprocessor), 중앙 처리 장치(central processing unit), 프로세서 코어(processor core), 멀티-코어 프로세서(multi-core processor), 멀티프로세서(multiprocessor), ASIC(Application-Specific Integrated Circuit), FPGA(Field Programmable Gate Array)를 포함할 수 있다.
프로세서(330)는 프로그램을 실행하고, 전자 장치(300)를 제어할 수 있다. 프로세서(330)에 의하여 실행되는 프로그램 코드는 메모리(350)에 저장될 수 있다.
메모리(350)는 컴퓨터로 실행 가능한 명령어들(computer-executable instructions)을 저장할 수 있다. 이 밖에도, 메모리(350)는 후술하는 프로세서(330)의 처리 과정에서 생성되는 다양한 정보들을 저장할 수 있다. 이 밖에도, 메모리(350)는 각종 데이터와 프로그램 등을 저장할 수 있다. 메모리(350)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 메모리(350)는 하드 디스크 등과 같은 대용량 저장 매체를 구비하여 각종 데이터를 저장할 수 있다.
도 4는 일 실시예에 따른 그래픽 어포던스들을 설명하기 위한 도면이다. 도 4를 참조하면, 일 실시예에 따른 제1 그래픽 어포던스(415)를 포함하는 화면(410) 및 제2 그래픽 어포던스(425)를 포함하는 화면들(420,430,440)이 도시된다.
'제1 그래픽 어포던스'(415)는 전자 장치(예: 도 1의 전자 장치(101) 및 도 3의 전자 장치(300))의 화면에 처음 나타나는, 다시 말해 사용자의 터치 전의 화면(410)에 표시된 그래픽 어포던스에 해당할 수 있다. 제1 그래픽 어포던스(415)는 그 모양 또는 형태가 매칭된 기능에 대응하여 고정될 수 있다.
'제2 그래픽 어포던스'(425)는 제1 그래픽 어포던스(415)에 대한 사용자 선택이 입력됨에 응답하여 제1 그래픽 어포던스(415)를 대체하여 표시되는 그래픽 객체에 해당할 수 있다. 제2 그래픽 어포던스(425)는 제2 그래픽 어포던스(425)에 대한 액션(예: 터치(touch) 입력 또는 드래그(drag) 입력)에 따라 변형 및/또는 변경될 수 있다. 제2 그래픽 어포던스(425)는 제2 그래픽 어포던스에 대한 인터랙션이 유지되는 상황에서 사용자 단말이 어떤 기능을 수행할 수 있는지를 안내할 수 있다.
예를 들어, 화면(410)에 표시된 제1 그래픽 어포던스(415)에 대한 선택이 입력될 수 있다. 화면(410)은 예를 들어, 잠금 화면일 수 있다. 이 경우, 선택에 응답하여, 화면(420)의 좌측 일부에 표시된 얇은 패널 형태의 제2 그래픽 어포던스(425)가 제1 그래픽 어포던스(415)를 대체할 수 있다. 제2 그래픽 어포던스(425)가 제1 그래픽 어포던스(415)를 대체함에 따라 화면(420)에서 제1 그래픽 어포던스(415)는 사라질 수 있다.
이후, 제2 그래픽 어포던스(425)를 처음 터치한 지점(423)으로부터 드래그 입력이 지속됨에 따라 화면(430)에 도시된 것과 같이 변경된 제2 그래픽 어포던스(435)가 표시될 수 있다. 제2 그래픽 어포던스(435)에는 제2 그래픽 어포던스(425)에 더하여, 제1 그래픽 어포던스(415)에 매칭된 기능(예: 플래시 기능)을 안내하는 아이콘이 추가될 수 있다. 이때, 화면(430)에 추가된 아이콘은 비활성화된 상태로 흐리게 표시될 수 있으며, 제2 그래픽 어포던스(435)에 대한 인터랙션이 유지되는 상황에서 사용자 단말이 플래시 기능을 수행할 수 있음을 안내할 수 있다. 이때, 제2 그래픽 어포던스(425)에서 사용자 인터랙션에 의한 이동 거리가 길어짐에 비례하여 제2 그래픽 어포던스(435)에 도시된 것과 같이 제2 그래픽 어포던스(425)에 표시된 패널의 폭이 넓어질 수 있다. 사용자 인터랙션에 의한 '이동 거리'는 사용자가 제2 그래픽 어포던스(425)를 처음 터치한 지점(423)으로부터 드래그하여 이동한 거리로서, 예를 들어, 제2 그래픽 어포던스(425)를 터치한 좌측변의 수평 방향으로의 거리, 다시 말해, 제2 그래픽 어포던스(425)를 터치하여 움직이기 시작한 지점(423)에서부터 수평 방향으로 움직인 거리에 해당할 수 있다.
제2 그래픽 어포던스(435)에서 사용자 인터랙션에 의한 이동 거리가 미리 설정된 제1 임계치(437)를 초과하면, 전자 장치(101,300)는 화면(440)에 도시된 것과 같이 제2 그래픽 어포던스에 포함된 아이콘(445)을 활성화할 수 있다. 예를 들어, 색상 및/또는 대비(contrast) 또는 아이콘이 변경될 수 있다. 여기서, '제1 임계치'(437)는 예를 들어, 제2 그래픽 어포던스(425)가 사용자의 터치를 통해 트리거된 위치에서부터 수평 방향으로 이동한 임계 거리에 해당할 수 있다. '제1 임계치'(437)는 터치 디스플레이(예: 도 3의 터치 디스플레이(310))에서 제1 그래픽 어포던스(415)에 매칭된 기능을 실행할지 여부를 판단하기 위한 기준이 되는 이동 거리에 해당할 수 있다.
화면(440)에서 아이콘(445)이 활성화된 상태에서 터치 입력이 제1 임계치(437)를 초과한 지점(443)에서 해제되면, 지점(423)에서 지점(443)까지의 이동 거리가 제1 임계치(437)를 초과하므로 전자 장치(101,300)는 제1 그래픽 어포던스(415)에 매칭된 플래시 기능을 실행할 수 있다. 예를 들어, 전자 장치(101)의 LED(light-emitting diode)가 켜질 수 있다.
일 실시예에서 제1 그래픽 어포던스(415)는 그 모양 또는 형태가 고정되는 반면, 제2 그래픽 어포던스(425)는 제2 그래픽 어포던스(425)에 대한 사용자의 액션에 따라 시각적으로 다양하게 변경될 수 있다.
제2 그래픽 어포던스(425)는 제2 그래픽 어포던스(425)에 대응하는 사용자 인터랙션에 의한 이동 거리와 제2 그래픽 어포던스(425)에 대한 접촉 유지 여부에 따라 예를 들어, 화면(430) 또는 화면(440)에 도시된 것과 같이 제2 그래픽 어포던스들(435, 445)의 모양, 형태, 색상 등이 시각적으로 다양하게 변형될 수 있다. 전자 장치(101,300)가 제2 그래픽 어포던스(425)를 변경하는 방법은 아래의 도 7 내지 도 9를 참조하여 보다 구체적으로 설명한다.
실시예에 따라서, 제1 그래픽 어포던스(415)에 매칭된 기능이 제1 기능 및 제2 기능과 같이 복수 개(예: 2개)인 경우, 제1 기능에 대응되는 제2 그래픽 어포던스 이외에 제2 기능에 대응되는 제3 그래픽 어포던스가 제2 그래픽 어포던스와 함께 화면에 표시될 수 있다. 제2 그래픽 어포던스와 제3 그래픽 어포던스가 함께 표시되는 실시예는 아래의 도 8b 및 도 10b를 참조하여 보다 구체적으로 설명한다.
도 5a 및 도 5b는 실시예들에 따라 제2 그래픽 어포던스에 대응하는 사용자 인터랙션에 의한 이동 거리 및 터치 디스플레이와의 접촉 유지 여부를 기초로, 제1 그래픽 어포던스에 매칭된 기능을 실행하는 방법을 설명하기 위한 도면이다.
도 5a를 참조하면, 일 실시예에서 따른 락(lock) 스크린 화면(510)에 표시된 제1 그래픽 어포던스(515)가 화면(520)에 도시된 것과 같이 제2 그래픽 어포던스(525)로 대체된 후, 제2 그래픽 어포던스(525)에 대응하는 사용자 인터랙션에 따라 제1 그래픽 어포던스(515)에 매칭된 기능(예: 플래시 기능)이 수행되지 않고 제1 그래픽 어포던스를 표시하는 화면(560)으로 복귀하는 상황이 도시된다.
예를 들어, 전자 장치(예: 도 1의 전자 장치(101) 및 도 3의 전자 장치(300))의 락(lock) 스크린 화면(510)에 표시된 제1 그래픽 어포던스(515)가 사용자의 터치 입력에 의해 선택되면, 전자 장치(101,300)는 제1 그래픽 어포던스(515)를 화면(520)의 좌측 일부에 표시된 패널과 같은 제2 그래픽 어포던스(525)로 대체할 수 있다. 제1 그래픽 어포던스(515)가 제2 그래픽 어포던스(525)로 대체됨에 따라 화면(520)에 도시된 것과 같이 제1 그래픽 어포던스(515)는 사라질 수 있다.
이후, 사용자가 제2 그래픽 어포던스(525)에 대한 접촉을 유지한 상태로 사용자 인터랙션(예: 드래그 입력)을 수행하면, 전자 장치(101, 300)는 사용자 인터랙션에 따라 반응하여 제2 그래픽 어포던스(525)를 변형할 수 있다. 보다 구체적으로 사용자가 제2 그래픽 어포던스(525)에 대한 접촉을 유지한 채로 드래그 입력을 지속하는 경우, 전자 장치(101,300)는 제2 그래픽 어포던스(525)의 표시를 유지하되, 드래그 입력을 통한 이동 거리에 비례하여 화면(530)에 도시된 것과 같이 제2 그래픽 어포던스(535)의 크기를 증가시킬 수 있다.
제2 그래픽 어포던스(535)에 대한 드래그 입력에 의해 이동 거리가 점차 증가하여 제1 임계치보다 크거나 같아지면, 전자 장치(101,300)는 화면(540)에 도시된 것과 같이 제2 그래픽 어포던스(545)에 포함된 아이콘을 선명하게 활성화할 수 있다. 예를 들어, 색상 및/또는 대비(contrast) 또는 아이콘이 변경될 수 있다. 이때, 전자 장치(101,300)는 제2 그래픽 어포던스(545)에, 제1 그래픽 어포던스(515)에 매칭된 기능을 안내하는 문구(예: "드래그를 계속할수록 플래시가 밝게 설정됩니다.") 및 제1 그래픽 어포던스(515)에 매칭된 기능을 안내하는 아이콘(예: 손전등 형태의 아이콘) 중 적어도 하나를 추가할 수 있다. 또는, 전자 장치(101,300)는 제2 그래픽 어포던스(545)에, 제1 그래픽 어포던스(515)에 매칭된 기능과 관련된 사운드(sound) 및 햅틱(haptic) 중 적어도 하나를 포함하는 어쿠스틱 어포던스를 추가할 수 있다. 화면(540)에 도시된 것과 같이 아이콘이 활성화된 상태에서 사용자가 드래그 입력에 의한 접촉을 해제하면, 전자 장치(101, 300)는 제1 그래픽 어포던스(515)에 매칭된 플래시 기능을 실행할 수 있다.
이와 달리, 화면(540)에 도시된 것과 같이 아이콘이 활성화된 상태에서 화면(550)에 도시된 것과 같이 사용자가 제2 그래픽 어포던스(555)에 대한 드래그 입력의 방향을 반대 방향으로(예: 왼쪽으로) 전환할 수 있다. 반대 방향의 드래그 입력에 의해 이동 거리가 제1 임계치 이내의 거리로 되돌아 간 후에 사용자가 터치 디스플레이(예: 도 3의 터치 디스플레이(310))에 대한 접촉을 해제할 수 있다. 이 경우, 전자 장치(101, 300)는 제1 그래픽 어포던스(515)를 표시하는 화면(560)으로 복귀할 수 있다. 이때, 화면(560)은 화면(510)과 동일한 화면에 해당할 수 있다.
일 실시예에 따른 전자 장치(101, 300)는 사용자가 제2 그래픽 어포던스(555)와의 접촉을 해제하는 시점의 최종적인 이동 거리와 제1 임계치의 비교 결과에 따라 제1 그래픽 어포던스(515)를 표시하는 화면(560)으로 복귀할 수도 있고, 또는 제1 그래픽 어포던스(515)에 매칭된 기능을 실행할 수도 있다.
전자 장치(101, 300)는 예를 들어, 제2 그래픽 어포던스(535)가 스크린(530)에 표시된 것과 같이 사용자 인터랙션에 의한 이동 거리가 임계치보다 작은 상태에서 접촉을 해제한 경우, 또는 스크린(550)에서 제2 그래픽 어포던스(545)와 같이 사용자 인터랙션에 의한 이동 거리가 제1 임계치를 초과하였으나 이후의 연속적인 액션을 통해 제2 그래픽 어포던스(555)와 같이 접촉을 해제하는 시점의 최종적인 이동 거리가 제1 임계치보다 작은 경우에 제1 그래픽 어포던스(515)를 표시하는 맨 처음의 화면(560)으로 복귀할 수 있다.
도 5b를 참조하면, 일 실시예에서 따른 전자 장치(101,300)의 락(lock) 스크린 화면(510)에 표시된 제1 그래픽 어포던스(515)가 화면(520)에 도시된 것과 같이 제2 그래픽 어포던스(525)로 대체된 후, 제2 그래픽 어포던스(525)에 대응하는 사용자 인터랙션에 따라 화면들(570,580,590)에 도시된 것과 같이 제1 그래픽 어포던스에 매칭된 기능(예: 플래시 기능)이 수행되는 상황이 도시된다. 도 5b에서 화면(510) 내지 화면(540)에 대한 설명은 도 5a에서의 화면(510) 내지 화면(540)에 대한 설명과 동일하므로 이하에서는 도 5a와 상이한 화면들(570,580,590)을 위주로 설명한다.
예를 들어, 화면(540)에 도시된 것과 같이 제2 그래픽 어포던스(545)에 대한 드래그 입력에 의해 이동 거리가 제1 임계치보다 크거나 같고, 제2 그래픽 어포던스(545)에 대한 드래그 입력이 지속되는 경우, 전자 장치(101,300)는 제2 그래픽 어포던스(545)의 변경에 더하여, 화면들(570,580,590)에 도시된 것과 같이 드래그 입력에 의한 이동 거리가 제2 임계치를 초과하는 정도에 따라 제1 그래픽 어포던스(515)에 대응하는 기능을 단계 별로 수행할 수 있다. 여기서, '제2 임계치'는 제1 그래픽 어포던스(515)에 대응하는 기능의 단계를 조정하기 위한 판단 기준이 되는 이동 거리에 해당할 수 있다. 또한, '이동 거리가 제2 임계치를 초과하는 정도'는 사용자 인터랙션에 따른 이동이 발생하는 경우에 이동 거리에 비례하는 비율만큼의 변화 정도에 해당할 수 있다. '제2 임계치를 초과하는 정도'는 예를 들어, 폴더블 폰, 스마트 폰, 웨어러블 디바이스, 및 탭 등과 같은 다양한 전자 장치들의 유형 별로 상이하게 결정될 수 있다. '제2 임계치를 초과하는 정도'는 각 전자 장치의 터치 디스플레이의 규격 별로 미리 설정된 임계점을 기준으로 결정될 수 있다.
전자 장치(101, 300)는 예를 들어, 드래그 입력에 의한 이동 거리가 제2 임계치를 초과하는 정도에 따라 화면(570)에 도시된 것과 같이 제1 그래픽 어포던스(515)에 대응하는 기능(예: 플래시 기능)의 '밝기 1 단계'를 실행할 수 있다. 이후, 드래그 입력에 의한 이동 거리가 점차 증가함에 비례하여 전자 장치(101, 300)는 화면(580)에 도시된 것과 같이 제1 그래픽 어포던스(515)에 대응하는 플래시 기능의 '밝기 3 단계'를 실행하거나, 또는 화면(590)에 도시된 것과 같이 제1 그래픽 어포던스(515)에 대응하는 플래시 기능의 '밝기 5 단계'를 실행할 수 있다. 전술한 바와 같이, 이동 거리가 변화됨에 따라 함에 따라 기능이 다양하게 실행될 수 있고, 제2 그래픽 어포던스가 변경될 수 있다. 다만, 실시예가 이에 한정되는 것은 아니며, 이동 거리가 변화함에 따라 제2 그래픽 어포던스가 변경될 수 있으나, 슬라이딩 입력이 해제될 때까지 기능이 실행되지 않을 수도 있다
사용자 인터랙션에 의한 이동 거리가 임계치를 초과하는 정도에 따라 전자 장치(101, 300)가 제1 그래픽 어포던스(515)에 대응하는 세부 기능을 단계 별로 수행하는 방법은 아래의 도 6을 참조하여 보다 구체적으로 설명한다.
도 6은 다양한 실시예들에 따라 제1 그래픽 어포던스에 매칭된 기능들의 예시를 도시한 표이다. 도 6을 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 및 도 3의 전자 장치(300))에서 제1 그래픽 어포던스에 대응하는 기능들을 나타낸 표(600)이 도시된다.
예를 들어, 표(600)는 3개의 임계치들을 가질 수 있다. 이동 거리가 제1 임계치와 제2 임계치 사이에 있는 경우 표(600)에서 첫 번째 열의 기능이 실행될 수 있다. 이동 거리가 제2 임계치와 제3 임계치 사이에 있는 경우 표(600)에서 두 번째 열의 기능이 실행될 수 있다. 이동 거리가 제3 임계치를 초과하는 경우, 표(600)에서 세 번째 열의 기능이 실행될 수 있다. 이와 관련하여, 제1 그래픽 어포던스에 대응하는 사용자 인터랙션(예: 드래그 입력)에 의해 제2 그래픽 어포던스가 표시 및 수정되고, 기능이 실행될 수 있다.
일 실시예에서 제1 그래픽 어포던스에 대응하는 기능들은 예를 들어, 플래시 기능, 방해 금지 설정 기능, 전화 관련 기능, 타이머 설정 기능, 카메라 촬영 기능, 날씨 검색 기능, 음성 녹음 기능, 빅스비 기능 중 적어도 하나를 포함할 수 있으며, 반드시 이에 한정되지는 않는다.
예를 들어, 표(600)에서 제1 그래픽 어포던스에 대응하는 기능이 '방해 금지 기능'이라고 가정하자. 이때, '방해 금지 기능'을 나타내는 제1 그래픽 어포던스가 선택되면, 제1 그래픽 어포던스는 제2 그래픽 어포던스로 대체될 수 있다. 제2 그래픽 어포던스에 대응하는 사용자 인터랙션(예: 드래그 입력)에 의한 이동 거리가 터치 디스플레이(예: 도 3의 터치 디스플레이(310)) 전체 폭 대비 40%~50% 구간)에 해당하는 경우, 전자 장치(101, 300)는 방해 금지 기능의 단계를 '직접 끄기 전까지'로 설정할 수 있다. 이후, 드래그 입력이 지속되어 이동 거리가 터치 디스플레이(310)의 전체 폭 대비 51%~60% 구간에 해당하는 경우, 전자 장치(101, 300)는 방해 금지 기능의 단계를 '1시간 동안'으로 설정할 수 있다. 또한, 드래그 입력이 지속되어 이동 거리가 터치 디스플레이(310)의 전체 폭 대비 61%~70% 구간)에 해당하는 경우, 전자 장치(101, 300)는 방해 금지 기능의 단계를 '수면 시간 동안'으로 설정할 수 있다.
이 밖에도, 전자 장치(101, 300)는 제2 그래픽 어포던스에 대응하는 사용자 인터랙션에 의한 이동 거리에 따라, 표(600)에 개시된 다양한 기능들을 단계 별로 수행 또는 설정할 수 있다. 예를 들어, 제1 그래픽 어포던스는 타이머를 지시할 수 있고, 타이머는 이동 거리에 기초하여 다른 시간 주기로 설정될 수 있다. 제1 그래픽 어포던스는 카메라를 나타내며, 카메라는 이동 거리에 따라 다른 방식으로 영상을 촬영할 수 있다. 제1 그래픽 어포던스는 날씨 기능을 나타낼 수 있으며, 이동 거리를 기반으로 서로 다른 시간대의 기상 예보가 표시될 수 있다. 제1 그래픽 어포던스는 음성 녹음 기능을 나타내며, 이동 거리에 따라 애플리케이션을 시작하거나 음성 녹음을 시작/종료할 수 있다. 제1 그래픽 어포던스는 빅스비(Bixby)를 나타내며, 이동 거리에 따라 애플리케이션을 시작하거나 빅스비가 청취하도록 제어될 수 있다.
도 7은 일 실시예에 따라 제2 그래픽 어포던스를 변경하는 방법들을 설명하기 위한 도면이다. 도 7을 참조하면, 일 실시예에 따른 제2 그래픽 어포던스(715)를 포함하는 화면(710) 및 변경된 제2 그래픽 어포던스들을 포함하는 화면들(720,730,740)이 도시된다.
전자 장치(예: 도 1의 전자 장치(101) 및 도 3의 전자 장치(300))는 제2 그래픽 어포던스(715)에 대응하는 사용자 인터랙션(예: 드래그 입력)에 의한 이동 거리가 제1 임계치보다 크거나 같고, 터치 디스플레이(예: 도 3의 터치 디스플레이(310))와의 접촉이 유지되는 경우, 제2 그래픽 어포던스(715)를 변경할 수 있다.
전자 장치(101, 300)는 화면(710)에 표시된 제2 그래픽 어포던스(715)를 화면(720)에 표시된 제2 그래픽 어포던스(725)와 같이 시각적으로 변형할 수도 있다. 여기서, '제2 그래픽 어포던스를 시각적으로 변형한다는 것'은 제2 그래픽 어포던스(715)의 길이, 크기, 모양, 형태, 및 색상 중 적어도 하나를 시각적으로 구분 가능한 정도로 변경한다는 의미로 이해될 수 있다.
전자 장치(101, 300)는 제2 그래픽 어포던스(725)에, 제1 그래픽 어포던스에 매칭된 기능을 안내하는 아이콘(735)을 추가하여 화면(730)에 도시된 것과 같이 제2 그래픽 어포던스를 변형할 수도 있다. 예를 들어, 아이콘(735)은 카메라를 나타낼 수 있다.
또는 전자 장치(101, 300)는 제2 그래픽 어포던스(725)에, 제1 그래픽 어포던스에 매칭된 기능에 대응하는 미리 보기 화면(745)을 오버레이(overlay)하여 표시함으로써 화면(740)에 도시된 것과 같이 제2 그래픽 어포던스를 변형할 수도 있다. 예를 들어, 미리 보기 화면은 카메라 기능에 대응될 수 있다.
또한, 전자 장치(101, 300)는 제2 그래픽 어포던스(725)에, 제1 그래픽 어포던스에 매칭된 기능과 관련된 사운드(sound) 및 햅틱(haptic) 중 적어도 하나를 포함하는 어쿠스틱 어포던스를 추가할 수도 있다.
도 8a 및 도 8b는 실시예들에 따라 제2 그래픽 어포던스에 대한 사용자 인터랙션에 따라 제2 그래픽 어포던스가 변경되는 과정을 설명하기 위한 도면이다. 도 8a를 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 및 도 3의 전자 장치(300))에서 알람 해제 기능에 매칭된 제1 그래픽 어포던스(815)가 표시된 화면(810) 및 제2 그래픽 어포던스들(825,827,835)이 표시된 화면들(820, 830) 및 제1 그래픽 어포던스(815)에 대응하는 알람 해제 기능이 수행된 잠금 화면(840)이 도시된다.
화면(810)에서 제1 그래픽 어포던스(815)에 대한 선택이 입력되면, 전자 장치(101, 300)는 화면(820)에 도시된 것과 같이 제1 그래픽 어포던스(815)를 제2 그래픽 어포던스(825)로 대체할 수 있다. 이후, 제2 그래픽 어포던스(825)에 대한 제1 입력(예: 터치 입력)이 유지된 채, 제2 입력(예: 스와이프 입력)이 발생할 수 있다. 이 경우, 전자 장치(101, 300)는 제2 그래픽 어포던스(825)의 형태를 제2 그래픽 어포던스(827)과 같이 변경할 수 있다. 변경된 제2 그래픽 어포던스(827)에 대한 제2 입력(예: 스와이프 입력)이 지속되면, 전자 장치(101, 300)는 제2 그래픽 어포던스(827)를 화면(830)에 표시된 제2 그래픽 어포던스(835)와 같이 추가적으로 변경할 수 있다.
도 8a에서 제1 그래픽 어포던스(815)에 매칭된 기능이 알람 해제 기능 하나일 수 있다. 화면(830)에서 발생한 제2 입력(예: 스와이프 입력)이 지속되어 제2 입력에 의한 이동 거리가 제1 임계치를 초과할 수 있다.
이 경우, 전자 장치(101, 300)는 제2 그래픽 어포던스(835)에 대한 동심원 방향의 제2 입력이 발생하면, 제1 그래픽 어포던스(815)에 매칭된 알람 해제 기능을 수행할 수 있다. 예를 들어, 이동 거리가 제1 임계값을 초과하여 입력이 해제된 경우, 제2 입력의 방향이 상,하,좌,우 어느 방향이든 무관하게 동일한 기능이 수행될 수 있다.
알람 해제 기능이 수행됨에 따라, 전자 장치(101, 300)는 알람 기능이 해제된 잠금 화면(840)을 표시할 수 있다.
도 8b를 참조하면, 일 실시예에 따라 제1 그래픽 어포던스(815)에 매칭된 기능이 두 개(예: 알람 해제(stop) 기능 및 스누즈(snooze) 기능)인 경우, 알람 관련 기능에 매칭된 제1 그래픽 어포던스(815)가 표시된 화면(850), 및 알람 해제 기능에 대응하는 제2 그래픽 어포던스(863) 및 스누즈(snooze) 기능에 대응하는 제3 그래픽 어포던스(865)를 포함하는 화면(860)이 도시된다.
제1 그래픽 어포던스(815)에 매칭된 기능이 복수 개인 경우에 제1 그래픽 어포던스(815)에 대한 사용자의 선택이 입력됨에 따라 제1 그래픽 어포던스(815)는 화면(860)에 도시된 것과 같이 복수 개의 기능들에 대응하는 개수의 그래픽 어포던스들(제2 그래픽 어포던스(863) 및 제3 그래픽 어포던스(865))로 대체될 수 있다.
이때, 제2 그래픽 어포던스(863) 및 제3 그래픽 어포던스(865) 각각에 대응하는 사용자 인터랙션에 의한 이동 거리, 이동 방향, 및 터치 디스플레이와의 접촉 유지 여부를 기초로, 제2 그래픽 어포던스(863) 및 제3 그래픽 어포던스(865) 각각에 매칭된 세부 기능이 실행될 수 있다.
예를 들어, 사용자 인터랙션이 제2 그래픽 어포던스(863)에 대한 접촉이 유지된 채로 아래에서 위쪽(↑) 방향으로 이동하고, 제2 그래픽 어포던스(863)에 대응하는 사용자 인터랙션에 의한 이동 거리가 제1 임계치보다 크거나 같을 수 있다. 이 경우, 전자 장치(101, 300)는 제2 그래픽 어포던스(863)에 매칭된 세부 기능인 알람 해제(stop) 기능을 수행할 수 있다. 또는, 사용자 인터랙션이 제3 그래픽 어포던스(865)에 대한 접촉이 유지된 채로 위에서 아래쪽(↓) 방향으로 이동하고, 제3 그래픽 어포던스(865)에 대응하는 사용자 인터랙션에 의한 이동 거리가 제1 임계치보다 크거나 같을 수 있다. 이 경우, 전자 장치(101, 300)는 제3 그래픽 어포던스(865)에 매칭된 세부 기능인 스누즈(snooze) 기능을 수행할 수 있다.
제1 그래픽 어포던스(815)에 매칭된 기능이 복수 개인 경우, 전자 장치(101, 300)는 제1 그래픽 어포던스(815)에 대한 선택이 입력됨에 따라 제1 그래픽 어포던스(815)를 제2 그래픽 어포던스(863) 및 제3 그래픽 어포던스(865)로 대체함으로써 액션 방향에 따라 서로 다른 기능이 수행될 수 있음을 사용자에게 나타낼 수 있다. 또한, 제1 그래픽 어포던스(815)에 매칭된 기능이 복수 개인 경우, 전자 장치(101, 300)는 사용자 인터랙션에 의한 이동 거리와 접촉 유지 여부 이외에도 사용자 인터랙션에 의한 이동 방향을 더 고려하여 그래픽 어포던스들 각각에 매칭된 세부 기능을 실행할 수 있다.
도 9는 일 실시예에 따라 그래픽 어포던스를 통해 알람 해제를 실행하는 과정을 설명하기 위한 도면이다. 도 9를 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 및 도 3의 전자 장치(300))의 잠금 화면(910)에 표시된 제1 그래픽 어포던스(915)에 대한 사용자의 선택이 입력됨에 따라 대체된 제2 그래픽 어포던스(925)를 표시하는 화면(920), 제2 그래픽 어포던스(925)에 대한 사용자 인터랙션이 진행되는 과정을 나타낸 화면들(930, 940), 및 알람 해제 기능이 수행된 잠금 화면(950)이 표시될 수 있다.
화면(910)에 표시된 제1 그래픽 어포던스(915)에 대한 선택이 입력되면, 전자 장치(101, 300)는 화면(920)에 도시된 것과 같이 제1 그래픽 어포던스(915)를 제2 그래픽 어포던스(925)로 대체할 수 있다. 이때, 제1 그래픽 어포던스(915)에 매칭된 기능은 예를 들어, 알람 해제 기능일 수 있다.
제2 그래픽 어포던스(925)에 대한 접촉이 유지된 채로 사용자 인터랙션이 우측 방향으로 이동된 경우, 전자 장치(101, 300)는 제2 그래픽 어포던스(925)의 형태를 화면(930)에 표시된 제2 그래픽 어포던스(935)와 같이 변경할 수 있다. 변경된 제2 그래픽 어포던스(935)에 대해 지속적으로 우측 방향의 이동이 유지되는 경우, 전자 장치(101, 300)는 제2 그래픽 어포던스(935)를 화면(940)에 표시된 제2 그래픽 어포던스(945)와 같이 변경할 수 있다.
화면(920)에 표시된 제2 그래픽 어포던스(925)로부터 화면(940)에 표시된 제2 그래픽 어포던스(945)까지의 이동 거리가 제1 임계치보다 크거나 같다면, 전자 장치(101, 300)는 제1 그래픽 어포던스(915)에 대응된 기능인 알람 해제 기능을 수행할 수 있다. 전자 장치(101, 300)가 알람 해제 기능을 수행함에 따라, 알람 해제 기능이 수행되어 알람이 해제된 잠금 화면(950)이 표시될 수 있다.
도 10a 및 도 10b는 실시예들에 따라 제1 그래픽 어포던스에 매칭된 기능의 개수에 대응하는 기능을 표시하는 방법을 설명하기 위한 도면이다.
도 10a를 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 및 도 3의 전자 장치(300))에서 제1 그래픽 어포던스(1015)에 매칭된 기능이 한 개(예: 인커밍 콜 수락(incoming call Accept) 기능)인 경우에 제1 그래픽 어포던스(1015)에 매칭된 기능을 수행하는 과정을 나타내 화면들(1010, 1020, 1030, 1040, 1050)이 도시된다.
예를 들어, 착신 호출(incoming call) 화면(1010)에 표시된 제1 그래픽 어포던스(1015)에 대한 사용자의 선택이 입력된 경우, 전자 장치(101, 300)는 화면(1020)에 도시된 것과 같이 제1 그래픽 어포던스(1015)를 제2 그래픽 어포던스(1025)로 대체할 수 있다.
제2 그래픽 어포던스(1025)에 대응하는 사용자 인터랙션(예: 우측 방향의 드래그)이 지점(1027)으로부터 시작하여 점진적으로 지속된 경우, 전자 장치(101, 300)는 제2 그래픽 어포던스(1025)의 표시를 유지할 수 있다. 이때, 제2 그래픽 어포던스(1025)에 대한 우측 방향의 드래그가 지속됨에 따라, 전자 장치(101, 300)는 드래그에 의한 이동 거리에 비례하여 제2 그래픽 어포던스(1025)를 화면(1030)의 제2 그래픽 어포던스(1035) 및 화면(1040)의 제2 그래픽 어포던스(1045)와 같이 점진적으로 그 형태를 변형하여 표시할 수 있다.
여기서, 드래그에 의한 '이동 거리'는 제2 그래픽 어포던스(1025)에 대응하는 사용자 인터랙션이 시작된 지점(1027)으로부터 사용자 인터랙션이 종료된 지점(1047)까지의 움직인 거리(직선 거리)에 해당할 수 있다.
화면(1020)에 표시된 제2 그래픽 어포던스(1025)의 지점(1027)로부터 화면(1040)에 표시된 제2 그래픽 어포던스(1045)의 지점(1047)까지의 이동 거리가 제1 임계치(1043)보다 크거나 같은 상태에서 사용자가 제2 그래픽 어포던스(1045)에 대한 접촉을 해제할 수 있다. 제1 임계치(1043)는 예를 들어, 제2 그래픽 어포던스(1025)에 대응하는 사용자 인터랙션이 시작된 지점(1027)으로부터 종료된 지점(1047)까지의 움직인 거리를 비교하기 위한 기준 값으로, (방향과 관련없이) 제2 그래픽 어포던스(1025)로부터의 일정 임계 거리에 해당할 수 있다. 이 경우, 전자 장치(101, 300)는 제1 그래픽 어포던스(1015)에 매칭된 인커밍 콜 수락 기능을 수행할 수 있다. 전자 장치(101, 300)가 인커밍 콜 수락 기능을 수행함에 따라 통화 연결 화면(1050)이 표시될 수 있다. 통화 연결 화면(1050)에 표시된 전화기 모양의 통화 버튼(1055)이 사용자에 의해 선택됨에 따라 전자 장치(101, 300)는 통화를 수행할 수 있다.
도 10b를 참조하면, 제1 그래픽 어포던스(1015)에 매칭된 기능이 두 개(예: 인커밍 콜 수락(incoming call accept) 기능 및 인커밍 콜 거절(incoming call reject) 기능)인 경우에 제1 그래픽 어포던스(1015)에 매칭된 두 가지 기능들을 수행하는 과정을 나타낸 화면들(1010, 1060, 1070, 1075, 1080,1085)이 도시된다.
예를 들어, 착신 호출(incoming call) 화면(1010)에 표시된 제1 그래픽 어포던스(1015)에 대한 사용자의 선택이 입력된 경우, 전자 장치(101, 300)는 화면(1060)에 도시된 것과 같이 제1 그래픽 어포던스(1015)를 인커밍 콜 수락 기능에 대응되는 제2 그래픽 어포던스(1063) 및 인커밍 콜 거절 기능에 대응되는 제3 그래픽 어포던스(1066)로 대체할 수 있다.
이때, 제2 그래픽 어포던스(1063)에 대하여 위에서 아래쪽(↓) 방향으로 드래그 입력이 발생하면, 전자 장치(101, 300)는 제2 그래픽 어포던스(1063)를 화면(1070)의 제2 그래픽 어포던스(1073)와 같이 확장시킬 수 있다. 제2 그래픽 어포던스(1073)에 대한 드래그 입력이 지속되어 제2 그래픽 어포던스(1073)에 대응하는 이동 거리가 제2 임계치를 초과하는 경우, 전자 장치(101, 300)는 화면(1075)에 도시된 것과 같이 제2 그래픽 어포던스(1063)에 매칭된 세부 기능(예: 통화 연결 화면 제공 기능)을 실행할 수 있다. 이때, 화면(1075)은 사용자가 전화를 받을 것임을 알려주는 통화 연결 화면에 해당할 수 있다. 통화 연결 화면(1075)에 표시된 전화기 모양의 통화 버튼(1078)이 사용자에 의해 선택됨에 따라 전자 장치(101, 300)는 통화 연결을 수행할 수 있다.
또는, 화면(1060)에 표시된 제3 그래픽 어포던스(1066)에 대하여 아래에서 위쪽(↑) 방향으로 드래그 입력이 발생하면, 전자 장치(101, 300)는 제3 그래픽 어포던스(1066)를 화면(1080)의 제3 그래픽 어포던스(1086)와 같이 확장시킬 수 있다. 제3 그래픽 어포던스(1086)에 대한 드래그 입력이 지속되어 제3 그래픽 어포던스(1086)에 대응하는 이동 거리가 제2 임계치를 초과하는 경우, 전자 장치(101, 300)는 화면(1085)에 도시된 것과 같이 제3 그래픽 어포던스(1066)에 매칭된 세부 기능(예: 통화 거절 메시지 전송 화면 제공 기능)을 실행할 수 있다. 이때, 화면(1085)은 사용자가 전화를 받지 않을 것임을 알려주는 다양한 통화 거절 메시지들(예: "다시 전화 드리겠습니다(I will call you back).", "나중에 다시 전화해 주세요(Can you call back later)", 또는 "문자해 주세요(Please text me)") 중 어느 하나를 포함할 수 있으며, 반드시 이에 한정되지는 않는다.
화면(1085)에 표시된 다양한 통화 거절 메시지들 중 어느 하나가 사용자에 의해 선택됨에 따라 전자 장치(101, 300)는 선택된 메시지를 호출한 상대방에게 전달할 수 있다.
도 11은 일 실시예에 따라 제1 그래픽 어포던스에 매칭된 기능을 수행하는 방법을 설명하기 위한 도면이다. 도 11을 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 및 도 3의 전자 장치(300))의 잠금 화면(1110)에 표시된 제1 그래픽 어포던스(1115)가 사용자에 의해 선택되어 제1 그래픽 어포던스(1115)에 매칭된 호출 실행(executing call) 기능이 수행되는 과정을 나타낸 화면들(1120, 1130, 1140, 1150)이 도시된다.
예를 들어, 잠금 화면(1110)의 우측 하단에 호출 실행(executing call) 기능에 매칭된 제1 그래픽 어포던스(1115)가 표시될 수 있다. 제1 그래픽 어포던스(1115)에 대한 선택이 입력됨에 따라, 전자 장치(101, 300)는 화면(1120)에 도시된 것과 같이 제1 그래픽 어포던스(1115)를 제2 그래픽 어포던스(1125)로 대체할 수 있다. 제2 그래픽 어포던스(1125)에 대한 드래그 입력의 이동이 지속됨에 따라, 전자 장치(101, 300)는 화면(1130)에 도시된 것과 같이 제2 그래픽 어포던스(1125)는 제2 그래픽 어포던스(1135)로 변경될 수 있다. 이때, 전자 장치(101, 300)는 제2 그래픽 어포던스(1125)에 대한 지속된 드래그 입력에 의해 이동 거리가 길어짐에 비례하여 제2 그래픽 어포던스(1125)에 표시된 패널의 넓이를 확장할 수 있다. 제2 그래픽 어포던스(1135)에는 제1 그래픽 어포던스(1115)에 매칭된 호출 실행 기능을 안내하는 아이콘(1137)이 추가될 수 있다. 이때, 아이콘(1137)은 비활성화된 상태로 흐리게 표시될 수 있다. 아이콘(1137)은 제2 그래픽 어포던스(1135)에 대한 인터랙션이 유지되는 상황에서 전자 장치(101, 300)이 호출 실행 기능을 수행할 수 있음을 안내할 수 있다.
제2 그래픽 어포던스(1135)에 대한 지속적인 드래그 입력에 의해 이동 거리가 미리 설정된 제1 임계치를 초과함에 따라, 전자 장치(101, 300)는 화면(1140)에 도시된 것과 같이 제2 그래픽 어포던스(1145)에 포함된 아이콘(1147)을 활성화할 수 있다. 예를 들어, 색상 및/또는 대비 또는 아이콘이 변경될 수 있다.
아이콘(1147)이 활성화된 상태에서 사용자가 드래그 입력의 접촉을 해제하는 경우, 전자 장치(101, 300)는 호출 실행 화면(1150)을 표시할 수 있다. 호출 실행 화면(1150)은 제1 그래픽 어포던스(1115)에 매칭된 통화 실행 기능에 대응하는 화면일 수 있다.
도 12는 다양한 실시예들에 따른 전자 장치들 별로 제1 어포던스가 표시되는 위치들을 나타낸 폼 팩터들(form factors)을 도시한 도면이다. 도 12를 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101) 및 도 3의 전자 장치(300))에서 제1 어포던스가 표시되는 위치들을 나타낸 폼 팩터(1210), 플립(flip) 형태의 전자 장치(101, 300)에서 제1 어포던스가 표시되는 위치들을 나타낸 폼 팩터(1230), 웨어러블 디바이스(wearable device) 형태의 전자 장치(101, 300)에서 제1 어포던스가 표시되는 위치들을 나타낸 폼 팩터(1250), 태블릿(tablet) 형태의 전자 장치(101, 300)에서 제1 어포던스가 표시되는 위치들을 나타낸 폼 팩터(1270), 및 폴드(fold) 형태의 전자 장치(101, 300)에서 제1 어포던스가 표시되는 위치들을 나타낸 폼 팩터(1290)가 도시된다.
폼 팩터(1210), 폼 팩터(1230), 및 폼 팩터(1270)에서 좌측 도면에 점선으로 표시된 원형들은 전자 장치(101, 300)를 세로 방향(portrait)으로 위치시킨 경우에 제1 어포던스가 표시되는 위치들을 나타내고, 우측 도면에 점선으로 표시된 원형들을 전자 장치(101, 300)를 가로 방향(landscape)으로 위치시킨 경우에 제1 어포던스가 표시되는 위치들을 나타낼 수 있다.
또한, 폼 팩터(1290)의 첫번째 도면에서 점선으로 표시된 원형들은 폴드(fold) 형태의 전자 장치(101, 300)를 세로 방향(portrait)으로 위치시키고, 폴더블 디스플레이를 펼쳐서 확장한 경우에 제1 어포던스가 표시되는 위치들을 나타낼 수 있다. 폼 팩터(1290)의 두번째 도면에서 점선으로 표시된 원형들은 폴드(fold) 형태의 전자 장치(101, 300)을 세로 방향(portrait)으로 위치시키고, 폴더블 디스플레이를 접은 경우에 제1 어포던스가 표시되는 위치들을 나타낼 수 있다.
또한, 폼 팩터(1290)의 세번째 도면에서 점선으로 표시된 원형들은 폴드(fold) 형태의 전자 장치(101, 300)를 가로 방향(landscape)으로 위치시키고, 폴더블 디스플레이를 펼쳐서 확장한 경우에 제1 어포던스가 표시되는 위치들을 나타낼 수 있다.
전자 장치(101, 300)가 특정 폼 팩터 또는 복수의 폼 팩터들을 가지는 경우, 전자 장치(101, 300)는 접힌 상태 또는 펼친 상태 등의 폼 팩터를 결정할 수 있다. 전자 장치(101, 300)는 예를 들어, 전자 장치의 배치 및/또는 회전, 혹은 전자 장치의 배열 상태를 고려하여 해당 폼 팩터의 포즈를 파악할 수 있다. 전자 장치(101, 300)는 사용자가 바라보는 시선을 기준으로 전자 장치(101, 300)의 디스플레이 상의 미리 설정된 위치에 어포던스가 표시되도록 제어할 수 있다
도 12를 통해 설명한, 전자 장치들 별로 제1 어포던스가 표시되는 위치들은 일 예시에 해당하며, 반드시 이에 한정되지는 않는다. 제1 어포던스가 표시되는 위치들을 이 밖에도 다양하게 변경될 수 있다.
도 13은 일 실시예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 13를 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 3의 전자 장치(300))이 동작 1310 내지 동작 1330을 통해 제1 그래픽 어포던스에 매칭된 기능을 수행하는 동작이 도시된다. 다양한 실시예들에 따르면, 동작 1310 내지 동작 1330은 전자 장치(300)의 프로세서(예: 도 1의 프로세서(120), 도 3의 프로세서(330))에서 수행될 수 있다.
동작 1310에서, 전자 장치(101,300)는 터치 디스플레이(310)의 미리 설정된 위치에 표시된 제1 그래픽 어포던스에 대한 선택을 입력받을 수 있다.
동작 1320에서, 전자 장치(101,300)는 동작 1310에서의 선택에 응답하여, 제1 그래픽 어포던스를 사용자의 액션에 따라 변형되는 제2 그래픽 어포던스로 대체할 수 있다. 전자 장치(101,300)는 예를 들어, 제1 그래픽 어포던스에 매칭된 기능의 개수를 기초로, 제1 그래픽 어포던스를 기능의 개수에 대응되는 그래픽 어포던스들로 대체할 수 있다. 전자 장치(101,300)가 제1 그래픽 어포던스를, 제1 그래픽 어포던스를 기능의 개수에 대응되는 그래픽 어포던스들로 대체하는 방법은 아래의 도 14를 참조하여 보다 구체적으로 설명한다.
동작 1330에서, 전자 장치(101,300)는 제2 그래픽 어포던스에 대응하는 사용자 인터랙션에 의한 이동 거리 및 터치 디스플레이와의 접촉 유지 여부를 기초로, 제1 그래픽 어포던스에 매칭된 기능을 실행할 수 있다. 전자 장치(101,300)는 예를 들어, 사용자 인터랙션에 의한 이동 거리와 제1 임계치와의 비교 결과 및 접촉 유지 여부를 기초로, 제1 그래픽 어포던스에 매칭된 기능을 실행할 수 있다. 전자 장치(101,300)가 제1 그래픽 어포던스에 매칭된 기능을 실행하는 방법은 아래의 도 15를 참조하여 보다 구체적으로 설명한다.
실시예에 따라서, 동작 1320에서, 전자 장치(101,300)가 제1 그래픽 어포던스에 매칭된 기능의 개수를 기초로, 제1 그래픽 어포던스를 기능의 개수에 대응되는 그래픽 어포던스들로 대체한 경우, 동작 1330에서 전자 장치(101,300)는 제1 그래픽 어포던스에 매칭된 기능의 개수에 대응되는 그래픽 어포던스들 각각에 대응하는 사용자 인터랙션에 의한 이동 거리, 이동 방향, 및 터치 디스플레이와의 접촉 유지 여부를 기초로, 그래픽 어포던스들 각각에 매칭된 세부 기능을 실행할 수 있다. 예를 들어, 제1 그래픽 어포던스에 매칭된 기능이 제1 기능 및 제2 기능인 경우, 전자 장치(101,300)는 제1 기능에 대응하는 제2 그래픽 어포던스 및 제2 기능에 대응하는 제3 그래픽 어포던스 각각에 대응하는 사용자 인터랙션에 의한 이동 거리 및 접촉 유지 여부를 기초로, 제2 그래픽 어포던스에 매칭된 세부 기능 및 제3 그래픽 어포던스에 매칭된 세부 기능 중 어느 하나의 세부 기능을 실행할 수 있다.
도 14는 다른 실시예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 14를 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 3의 전자 장치(300))가 동작 1410 내지 동작 1460을 통해 제1 그래픽 어포던스를 제1 그래픽 어포던스에 매칭된 기능의 개수에 대응되는 그래픽 어포던스들로 대체하는 동작이 도시된다. 다양한 실시예들에 따르면, 동작 1410 내지 동작 1460은 전자 장치(300)의 프로세서(예: 도 1의 프로세서(120), 도 3의 프로세서(330))에서 수행될 수 있다. 동작 1410 내지 동작 1460을 통해 제1 그래픽 어포던스를, 제1 그래픽 어포던스에 매칭된 기능의 개수에 대응되는 그래픽 어포던스들로 대체하는 동작이 도시된다. 다양한 실시예들에 따르면, 동작 1410 내지 동작 1460은 단말(101, 300)의 프로세서(예: 도 1의 프로세서(120), 도 3의 프로세서(330))에서 수행될 수 있다.
동작 1410에서, 전자 장치(101,300)는 제1 그래픽 어포던스에 매칭된 기능이 한 개인지 여부를 결정할 수 있다. 동작 1410에서 제1 그래픽 어포던스에 매칭된 기능이 한 개라고 결정되면, 동작 1420에서 전자 장치(101,300)는 제1 그래픽 어포던스를 제2 그래픽 어포던스로 대체할 수 있다.
동작 1410에서 매칭된 기능이 한 개가 아니라고 결정되면, 동작 1430에서, 전자 장치(101,300)는 제1 그래픽 어포던스에 매칭된 기능이 두 개인지 여부를 결정할 수 있다. 동작 1430에서 제1 그래픽 어포던스에 매칭된 기능이 두 개라고 결정되면, 동작 1440에서 전자 장치(101,300)는 제1 그래픽 어포던스를 두 개의 기능들 각각에 대응되는 제2 그래픽 어포던스 및 제3 그래픽 어포던스로 대체할 수 있다.
동작 1430에서 제1 그래픽 어포던스에 매칭된 기능이 두 개가 아니라고 결정되면, 동작 1450에서, 전자 장치(101,300)는 제1 그래픽 어포던스에 매칭된 기능이 세 개인지 여부를 결정할 수 있다. 동작 1450에서 제1 그래픽 어포던스에 매칭된 기능이 세 개라고 결정되면, 동작 1460에서 전자 장치(101,300)는 제1 그래픽 어포던스를 세 개의 기능들 각각에 대응되는 제2 그래픽 어포던스, 제3 그래픽 어포던스 및 제4 그래픽 어포던스로 대체할 수 있다.
도 15는 다른 실시예에 따른 전자 장치의 동작 방법을 나타낸 흐름도이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다.
도 15를 참조하면, 일 실시예에 따른 전자 장치(예: 도 1의 전자 장치(101), 도 3의 전자 장치(300))이 동작 1510 내지 동작 1580을 통해 제1 그래픽 어포던스에 매칭된 기능을 수행하는 동작이 도시된다. 다양한 실시예들에 따르면, 동작 1510 내지 동작 1580은 전자 장치(300)의 프로세서(예: 도 1의 프로세서(120), 도 3의 프로세서(330))에서 수행될 수 있다.
동작 1510에서 전자 장치(101,300)는 제2 그래픽 어포던스에 대응하는 사용자 인터랙션에 의한 이동 거리가 제1 임계치보다 작고, 터치 디스플레이와의 접촉이 유지되는지 여부를 결정할 수 있다. 동작 1510에서 이동 거리가 제1 임계치보다 작지 않고, 접촉이 유지되지 않는다고 결정되면, 전자 장치(101,300)는 동작 1530을 수행할 수 있다. 이와 달리, 동작 1510에서 이동 거리가 제1 임계치보다 작고, 접촉이 유지된다고 결정되면, 동작 1520에서 전자 장치(101,300)는 제2 그래픽 어포던스의 표시를 유지한 채, 동작 1530을 수행할 수 있다.
동작 1530에서, 전자 장치(101,300)는 이동 거리가 제1 임계치보다 작고 접촉이 해제되는지 여부를 결정할 수 있다. 동작 1530에서 이동 거리가 제1 임계치보다 크거나, 또는 접촉이 해제되지 않았다고 결정되면, 전자 장치(101,300)는 바로 동작 1550을 수행할 수 있다. 이와 달리, 동작 1530에서 이동 거리가 제1 임계치보다 작고 접촉이 해제되었다고 결정되면, 동작 1540에서 전자 장치(101,300)는 제1 그래픽 어포던스에 매칭된 기능을 수행하지 않고, 제1 그래픽 어포던스를 표시하는 화면으로 복귀할 수 있다.
동작 1550에서, 전자 장치(101,300)는 이동 거리가 제1 임계치보다 크거나 같고, 접촉이 유지되는지 여부를 결정할 수 있다. 동작 1550에서 이동 거리가 제1 임계치보다 크거나 같고, 접촉이 유지되지 않는다고 결정되면, 전자 장치(101,300)는 바로 동작 1570을 수행할 수 있다. 이와 달리, 동작 1550에서 이동 거리가 제1 임계치보다 크거나 같고, 접촉이 유지된다고 결정되면, 동작 1560에서 전자 장치(101,300)는 제2 그래픽 어포던스를 변경한 후, 동작 1570을 수행할 수 있다. 이때, 전자 장치(101,300)가 동작 1560에서 제2 그래픽 어포던스를 변경하는 방법은 다음과 같으며 반드시 이에 한정되지는 않는다.
동작 1560에서 전자 장치(101,300)는 예를 들어, 제2 그래픽 어포던스를 시각적으로 변형함으로써 제2 그래픽 어포던스를 변경할 수 있다. 여기서, 시각적으로 변형한다는 것은 제2 그래픽 어포던스의 모양, 형태 및 색상 중 적어도 하나를 변형하는 것을 포함할 수 있으며, 반드시 이에 한정되지는 않는다. 전자 장치(101,300)는 예를 들어, 제2 그래픽 어포던스에, 제1 그래픽 어포던스에 매칭된 기능을 안내하는 문구(예: "플래시가 밝게 켜집니다.". "사진을 촬영할 수 있습니다.") 및 제1 그래픽 어포던스에 매칭된 기능을 안내하는 아이콘(예: 손전등 모양의 아이콘, 카메라 모양의 아이콘) 중 적어도 하나를 추가함으로써 제2 그래픽 어포던스를 변경할 수 있다. 또는 전자 장치(101,300)는 예를 들어, 제2 그래픽 어포던스에, 제1 그래픽 어포던스에 매칭된 기능과 관련된 사운드(sound) 및 햅틱(haptic) 중 적어도 하나를 포함하는 어쿠스틱 어포던스를 추가함으로써 제2 그래픽 어포던스를 변경할 수 있다. 이 밖에도, 전자 장치(101,300)는 예를 들어, 제2 그래픽 어포던스에, 제1 그래픽 어포던스에 매칭된 기능에 대응하는 미리 보기 화면을 오버레이(overlay)하여 표시함으로써 제2 그래픽 어포던스를 변경할 수 있다.
동작 1570에서, 전자 장치(101,300)는 이동 거리가 제1 임계치보다 크거나 같고, 접촉이 해제되는지 여부를 결정할 수 있다. 동작 1570에서 이동 거리가 제1 임계치보다 크거나 같고, 접촉이 해제되지 않았다고 결정되면, 전자 장치(101,300)는 동작을 종료할 수 있다. 이와 달리, 동작 1570에서 이동 거리가 제1 임계치보다 크거나 같고, 접촉이 해제되었다고 결정되면, 동작 1580에서 전자 장치(101,300)는 제1 그래픽 어포던스에 매칭된 기능을 실행할 수 있다.
실시예에 따라서, 전자 장치(101,300)는 동작 1550에서 이동 거리가 제1 임계치보다 크거나 같고, 사용자 인터랙션에 따른 접촉이 유지되는 경우, 동작 1560에서 제2 그래픽 어포던스의 변경에 더하여, 이동 거리가 제2 임계치를 초과하는 정도에 따라 제1 그래픽 어포던스에 대응하는 기능을 단계 별로 수행할 수 있다.
실시예의 양태가 특히 도시되고 설명되었지만, 다음 청구범위의 사상 및 범위를 벗어남이 없이 형태 및 세부사항의 다양한 변경이 이루어질 수 있음이 이해될 것이다.

Claims (15)

  1. 전자 장치에 있어서,
    터치 디스플레이; 및
    제1 그래픽 어포던스(graphic affordance)를 표시하도록 상기 터치 디스플레이를 제어하고, 상기 제1 그래픽 어포던스를 나타내는 입력에 기초하여, 상기 제1 그래픽 어포던스의 표시를 제2 그래픽 어포던스로 대체하도록 상기 터치 디스플레이를 제어하고, 상기 입력이 유지되는 동안 상기 사용자의 액션에 따라 상기 제2 그래픽 어포던스를 변형하도록 상기 터치 디스플레이를 제어하며, 상기 입력의 이동 거리 및 상기 입력이 유지되는지 여부를 기초로, 상기 제1 그래픽 어포던스에 매칭된 기능을 실행하는 프로세서
    를 포함하는, 전자 장치.
  2. 제1항에 있어서,
    상기 프로세서는
    상기 이동 거리와 제1 임계치를 비교하고, 상기 제1 임계치를 초과하는 상기 이동 거리 및 상기 입력이 해제됨에 기초하여 상기 제1 그래픽 어포던스에 매칭된 상기 기능을 더 실행하는, 전자 장치.
  3. 제2항에 있어서,
    상기 프로세서는
    상기 이동 거리가 상기 제1 임계치보다 작고, 상기 입력이 유지되는 동안, 상기 제2 그래픽 어포던스의 표시를 유지하도록 상기 터치 디스플레이를 제어하고,
    상기 이동 거리가 상기 제1 임계치보다 작고, 상기 입력이 해제됨에 기초하여, 상기 제1 그래픽 어포던스를 표시하는 화면으로 복귀하고도록 상기 터치 디스플레이를 제어하고,
    상기 이동 거리가 상기 제1 임계치보다 크거나 같고, 상기 입력이 유지됨에 기초하여, 상기 제2 그래픽 어포던스를 변경하도록 상기 터치 디스플레이를 제어하며,
    상기 이동 거리가 상기 제1 임계치보다 크거나 같고, 상기 입력이 해제됨에 기초하여, 상기 제1 그래픽 어포던스에 매칭된 기능을 더 실행하는,
    전자 장치.
  4. 제3항에 있어서,
    상기 프로세서는
    상기 제2 그래픽 어포던스를 시각적으로 변형하거나.
    상기 제2 그래픽 어포던스에, 상기 제1 그래픽 어포던스에 매칭된 기능을 안내하는 문구 및 아이콘 중 적어도 하나를 추가하거나,
    상기 제2 그래픽 어포던스에, 상기 제1 그래픽 어포던스에 매칭된 기능과 관련된 사운드(sound) 및 햅틱(haptic) 중 적어도 하나를 포함하는 어쿠스틱 어포던스를 추가하거나, 또는
    상기 제2 그래픽 어포던스 위에, 상기 제1 그래픽 어포던스에 매칭된 기능에 대응하는 미리 보기 화면을 표시함으로써
    상기 제2 그래픽 어포던스를 변경하도록 상기 터치 디스플레이를 더 제어하는,
    전자 장치.
  5. 제3항에 있어서,
    상기 프로세서는
    상기 이동 거리가 상기 제1 임계치보다 크거나 같고, 상기 입력이 유지됨에 기초하여,
    상기 터치 디스플레이를 계속 제어하여 상기 제2 그래픽 어포던스를 변경하는 동안, 상기 이동 거리가 제2 임계치를 초과하는 정도에 따라 기능을 변경하면서 상기 제1 그래픽 어포던스에 대응하는 기능을 수행하도록 하는,
    전자 장치.
  6. 제1항에 있어서,
    상기 프로세서는
    상기 제1 그래픽 어포던스에 매칭된 다수의 기능들의 개수를 기초로, 상기 제1 그래픽 어포던스를 상기 기능들의 개수에 대응되는 하나 이상의 그래픽 어포던스들로 대체하도록 상기 터치 디스플레이를 제어하는,
    전자 장치.
  7. 제6항에 있어서,
    상기 프로세서는
    상기 제1 그래픽 어포던스에 매칭된 하나의 기능에 기초하여 상기 제1 그래픽 어포던스를 상기 제2 그래픽 어포던스로 대체하도록 상기 터치 디스플레이를 제어하고,
    상기 제1 그래픽 어포던스에 매칭된 두 개의 기능들에 기초하여, 상기 제1 그래픽 어포던스를 상기 두 개의 기능들 각각에 대응되는 상기 제2 그래픽 어포던스 및 제3 그래픽 어포던스로 대체하도록 상기 터치 디스플레이를 제어하고,
    상기 제1 그래픽 어포던스에 매칭된 세 개의 기능들 각각에 기초하여, 상기 제1 그래픽 어포던스를 상기 세 개의 기능들 각각에 대응되는 상기 제2 그래픽 어포던스, 상기 제3 그래픽 어포던스 및 제4 그래픽 어포던스로 대체하는,
    전자 장치.
  8. 제6항에 있어서,
    상기 프로세서는
    상기 이동 거리에 기반한 하나 이상의 그래픽 어포던스 각각, 상기 하나 이상의 그래픽 어포던스 각각에 대응하는 거리, 상기 입력의 이동 방향, 및 상기 입력이 유지되는지 여부를 기초로, 상기 그래픽 어포던스들 각각에 매칭된 세부 기능을 실행하는,
    전자 장치.
  9. 제8항에 있어서,
    상기 프로세서는
    상기 제1 그래픽 어포던스에 매칭되는 제1 기능 및 제2 기능에 기초하여, 상기 이동 거리, 상기 제2 그래픽 어포던스 및 상기 제3 그래픽 어포던스 각각에 대응하는 이동 거리 및 상기 입력이 유지되는지 여부에 따라, 상기 제2 그래픽 어포던스 또는 상기 제3 그래픽 어포던스에 매칭되는 세부 기능을 더 실행하는, 전자 장치.
  10. 제5항에 있어서,
    상기 프로세서는
    상기 제2 그래픽 어포던스에 대응하고, 상기 제2 임계치를 초과하는 상기 이동 거리에 기초하여, 상기 제2 그래픽 어포던스에 매칭된 세부 기능을 실행하고,
    상기 제3 그래픽 어포던스에 대응하고, 상기 제2 임계치를 초과하는 상기 이동 거리에 기초하여, 상기 제3 그래픽 어포던스에 매칭된 세부 기능을 실행하는,
    전자 장치.
  11. 전자 장치의 터치 디스플레이에 표시된 제1 그래픽 어포던스를 나타내는 입력을 수신하는 동작;
    상기 입력에 기초하여, 상기 제1 그래픽 어포던스를 제2 그래픽 어포던스로 대체하는 동작;
    상기 입력을 유지한 상태에서 사용자의 액션에 따라 제2 그래픽 어포던스를 변경하는 동작; 및
    상기 입력의 이동 거리 및 상기 입력의 유지 여부를 기초로, 상기 제1 그래픽 어포던스에 매칭된 기능을 실행하는 동작
    을 포함하는, 전자 장치의 동작 방법.
  12. 제11항에 있어서,
    상기 이동 거리를 제1 임계치와 비교하는 동작
    을 더 포함하고,
    상기 제1 그래픽 어포던스에 매칭된 기능의 실행은 상기 제1 임계치를 초과하는 상기 이동 거리를 기초로 상기 제1 그래픽 어포던스에 매칭된 기능을 실행하는 동작; 및
    상기 입력을 해제하는 동작
    을 포함하며,
    상기 제1 그래픽 어포던스에 매칭된 기능을 실행하는 동작은
    상기 이동 거리가 상기 제1 임계치보다 작고, 상기 입력이 유지되는 동안, 상기 제2 그래픽 어포던스의 표시를 유지하는 동작;
    상기 이동 거리가 상기 제1 임계치보다 작고, 상기 입력이 해제됨에 기초하여, 상기 제1 그래픽 어포던스의 표시로 복귀하는 동작;
    상기 이동 거리가 상기 제1 임계치보다 크거나 같고, 상기 입력이 유지됨에 기초하여, 상기 제2 그래픽 어포던스를 변경하는 동작; 및
    상기 이동 거리가 상기 제1 임계치보다 크거나 같고, 상기 입력이 해제됨에 기초하여, 상기 제1 그래픽 어포던스에 매칭된 기능을 실행하는 동작
    중 적어도 하나를 포함하는, 전자 장치의 동작 방법.
  13. 제12항에 있어서,
    상기 제2 그래픽 어포던스를 변경하는 동작은
    상기 제2 그래픽 어포던스를 시각적으로 변형하는 동작;
    상기 제2 그래픽 어포던스에, 상기 제1 그래픽 어포던스에 매칭된 기능을 안내하는 문구 및 아이콘 중 적어도 하나를 추가하는 동작;
    상기 제2 그래픽 어포던스에, 상기 제1 그래픽 어포던스에 매칭된 기능과 관련된 사운드(sound) 및 햅틱(haptic) 중 적어도 하나를 포함하는 어쿠스틱 어포던스를 추가하는 동작; 및
    상기 제2 그래픽 어포던스 위에, 상기 제1 그래픽 어포던스에 매칭된 기능에 대응하는 미리 보기 화면을 표시하는 동작
    중 적어도 하나를 포함하는, 전자 장치의 동작 방법.
  14. 제12항에 있어서,
    상기 제2 그래픽 어포던스를 변경하는 동작은
    상기 이동 거리가 상기 제1 임계치보다 크거나 같고, 상기 입력이 유지됨에 기초하여,
    상기 제2 그래픽 어포던스가 변경되는 동안, 상기 이동 거리가 제2 임계치를 초과하는 정도에 따라 상기 기능을 변경하면서 상기 제1 그래픽 어포던스에 대응하는 기능을 수행하는 동작
    을 더 포함하는, 전자 장치의 동작 방법.
  15. 제11항에 있어서,
    상기 제2 그래픽 어포던스로 대체하는 동작은
    상기 제1 그래픽 어포던스에 매칭된 하나의 기능에 기초하여, 상기 제1 그래픽 어포던스를 상기 제2 그래픽 어포던스로 대체하는 동작;
    상기 제1 그래픽 어포던스에 매칭된 두 개의 기능들에 기초하여, 상기 제1 그래픽 어포던스를 상기 두 개의 기능들 각각에 대응되는 상기 제2 그래픽 어포던스 및 제3 그래픽 어포던스로 대체하는 동작; 및
    상기 제1 그래픽 어포던스에 매칭된 세 개의 기능들에 기초하여, 상기 제1 그래픽 어포던스를 상기 세 개의 기능들 각각에 대응되는 상기 제2 그래픽 어포던스, 상기 제3 그래픽 어포던스 및 제4 그래픽 어포던스로 대체하는 동작
    중 적어도 하나를 포함하고,
    상기 제1 그래픽 어포던스에 매칭된 기능을 실행하는 동작은
    상기 이동 거리, 상기 하나 이상의 그래픽 어포던스 각각에 대응하는 거리들, 상기 입력의 이동 방향, 및 상기 입력의 유지 여부를 기초로, 상기 그래픽 어포던스들 각각에 매칭된 세부 기능을 실행하는 동작
    을 포함하는, 전자 장치의 동작 방법.
PCT/KR2022/007531 2021-08-31 2022-05-27 그래픽 어포던스와 매칭된 기능을 수행하는 전자 장치 및 그 전자 장치의 동작 방법 WO2023033311A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP22864820.0A EP4328732A1 (en) 2021-08-31 2022-05-27 Electronic device for performing function matched with graphic affordance, and operating method of electronic device
CN202280057204.1A CN117836749A (zh) 2021-08-31 2022-05-27 用于执行与图形示能表示匹配的功能的电子装置以及电子装置的运行方法
US17/885,947 US20230069151A1 (en) 2021-08-31 2022-08-11 Electronic device for performing function matched with graphic affordance and operating method of electronic device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020210115356A KR20230032471A (ko) 2021-08-31 2021-08-31 그래픽 어포던스와 매칭된 기능을 수행하는 전자 장치 및 그 전자 장치의 동작 방법
KR10-2021-0115356 2021-08-31

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/885,947 Continuation US20230069151A1 (en) 2021-08-31 2022-08-11 Electronic device for performing function matched with graphic affordance and operating method of electronic device

Publications (1)

Publication Number Publication Date
WO2023033311A1 true WO2023033311A1 (ko) 2023-03-09

Family

ID=85411515

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/007531 WO2023033311A1 (ko) 2021-08-31 2022-05-27 그래픽 어포던스와 매칭된 기능을 수행하는 전자 장치 및 그 전자 장치의 동작 방법

Country Status (2)

Country Link
KR (1) KR20230032471A (ko)
WO (1) WO2023033311A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100053811A (ko) * 2008-11-13 2010-05-24 엘지전자 주식회사 터치 스크린을 구비한 이동 단말기 및 이를 이용한 데이터 처리 방법
KR101416992B1 (ko) * 2007-05-03 2014-07-08 엘지전자 주식회사 터치 입력 장치를 구비한 이동 단말기 및 이를 이용한아이템 표시 방법
KR20150089813A (ko) * 2014-01-28 2015-08-05 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101844978B1 (ko) * 2014-05-30 2018-04-03 애플 인크. 연속성
KR20190136061A (ko) * 2017-05-16 2019-12-09 애플 인크. 사용자 인터페이스들을 위한 촉각 피드백

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101416992B1 (ko) * 2007-05-03 2014-07-08 엘지전자 주식회사 터치 입력 장치를 구비한 이동 단말기 및 이를 이용한아이템 표시 방법
KR20100053811A (ko) * 2008-11-13 2010-05-24 엘지전자 주식회사 터치 스크린을 구비한 이동 단말기 및 이를 이용한 데이터 처리 방법
KR20150089813A (ko) * 2014-01-28 2015-08-05 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101844978B1 (ko) * 2014-05-30 2018-04-03 애플 인크. 연속성
KR20190136061A (ko) * 2017-05-16 2019-12-09 애플 인크. 사용자 인터페이스들을 위한 촉각 피드백

Also Published As

Publication number Publication date
KR20230032471A (ko) 2023-03-07

Similar Documents

Publication Publication Date Title
WO2022097858A1 (en) Electronic device capable of expanding display region and method for controlling screen thereof
WO2022154264A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022177162A1 (ko) 어플리케이션의 모델 파일을 초기화하는 프로세서 및 이를 포함하는 전자 장치
WO2023018158A1 (ko) 멀티 윈도우를 지원하는 전자 장치 및 이의 제어 방법
WO2022154263A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022098195A1 (ko) 플렉스 모드로 동작하는 전자 장치 및 방법
WO2022154286A1 (ko) 사용자 인터페이스를 제공하는 방법 및 그 전자 장치
WO2022108379A1 (ko) 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법
WO2023033311A1 (ko) 그래픽 어포던스와 매칭된 기능을 수행하는 전자 장치 및 그 전자 장치의 동작 방법
WO2022103019A1 (ko) 전자 장치 및 전자 장치의 어플리케이션 실행 방법
WO2022124659A1 (ko) 사용자 입력을 처리하는 전자 장치 및 방법
WO2024080680A1 (ko) 상황 특정 설정을 위한 사용자 인터페이스를 표시하는 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2023146077A1 (ko) 가상 키보드 상의 터치 입력으로부터 사용자 의도를 인식하기 위한 전자 장치, 방법, 및 비일시적 컴퓨터 판독가능 저장 매체
WO2022119117A1 (ko) 플렉서블 디스플레이를 구비한 전자 장치 및 그의 동작 방법
WO2022154635A1 (ko) 폴더블 디스플레이를 포함하는 전자 장치 및 그 제어 방법
WO2022245173A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2024063564A1 (ko) 폴더블 전자 장치 및 폴더블 전자 장치의 동작 방법
WO2022211307A1 (ko) 올웨이즈 온 디스플레이 컨텐트를 표시를 지원하는 전자 장치 및 이의 제어 방법
WO2022086219A1 (ko) 어플리케이션의 실행 화면을 제공하는 전자 장치, 그 동작 방법 및 저장 매체
WO2022102941A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 화면 제어 방법
WO2023158136A1 (ko) 메모리 제어 방법 및 상기 방법을 수행하는 전자 장치
WO2022103084A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 이를 이용하는 방법
WO2023167418A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 상기 전자 장치의 제어 방법
WO2022177138A1 (ko) 보안 이미지를 표시하는 전자 장치 및 이의 동작 방법
WO2022097992A1 (ko) 가변 디스플레이를 포함하는 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22864820

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2022864820

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2022864820

Country of ref document: EP

Effective date: 20231122

WWE Wipo information: entry into national phase

Ref document number: 202280057204.1

Country of ref document: CN

NENP Non-entry into the national phase

Ref country code: DE