WO2024075987A1 - 화면 제공 방법 및 이를 지원하는 전자 장치 - Google Patents

화면 제공 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
WO2024075987A1
WO2024075987A1 PCT/KR2023/012806 KR2023012806W WO2024075987A1 WO 2024075987 A1 WO2024075987 A1 WO 2024075987A1 KR 2023012806 W KR2023012806 W KR 2023012806W WO 2024075987 A1 WO2024075987 A1 WO 2024075987A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
angle
processor
housing
change
Prior art date
Application number
PCT/KR2023/012806
Other languages
English (en)
French (fr)
Inventor
서민수
서석원
김상헌
임연욱
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220136736A external-priority patent/KR20240047254A/ko
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2024075987A1 publication Critical patent/WO2024075987A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72454—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to context-related or environment-related conditions

Definitions

  • Various embodiments disclosed in this document relate to providing a screen of an electronic device.
  • a portable electronic device may include a display for outputting a screen according to operation.
  • the display is disposed on one side of the portable electronic device, for example, in the front, and can output at least one screen according to the operation of various functions of the portable electronic device.
  • the display may output a communication-related screen according to the operation of the communication function of the portable electronic device.
  • the communication-related screen may include, for example, a voice call screen, a video call screen, and an Internet connection screen.
  • the size of the portable electronic device may be limited for portability. Accordingly, the size of the display may also be limited to a portable size. Portable displays display only a limited screen, which can cause inconvenience to users. To reinforce this, foldable electronic devices have been sold conventionally. A foldable electronic device has a display that can be folded and can provide a relatively large display area compared to a bar-type portable electronic device.
  • this disclosure discloses screen operation of a foldable electronic device including a foldable display.
  • the foldable electronic device of the present disclosure includes a first housing and a second housing, a hinge structure fastening the first housing and the second housing, a display at least partially placed on the first housing and the second housing, and the first housing.
  • At least one sensor that senses an angle between a housing and the second housing, a memory disposed in at least one of the first housing and the second housing and storing a plurality of contents, the at least one sensor and the memory It may include at least one processor functionally connected to.
  • At least one processor detects an angle or an angle change between the first housing and the second housing, and when the angle or the angle change is greater than a specified angle, the content is included in a specific content among the plurality of contents stored in the memory.
  • the display device may include a foldable electronic device configured to extract a plurality of objects, change the depth of at least one object among the extracted plurality of objects according to the angle or a change in the angle, and output the display differently from the previous display state.
  • the method for providing a screen of a foldable electronic device includes detecting an angle or an angle change between a first housing and a second housing of a foldable electronic device, and when the angle or the angle change is greater than or equal to a specified angle, a plurality of images stored in the memory.
  • An operation of extracting a plurality of objects included in specific content among the contents of the content, and an operation of changing the depth of at least one object among the plurality of extracted objects according to the angle or the angle change and outputting the object differently from the previous display state. may include.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to one embodiment.
  • FIG. 2 is a diagram illustrating an example of a first type electronic device to which home screen technology adjusted according to angle information according to an embodiment of the present disclosure is applied.
  • FIG. 3 is a diagram illustrating an example of a second type electronic device to which home screen technology adjusted according to angle information according to an embodiment of the present disclosure is applied.
  • FIG. 4 is a diagram illustrating an example of a third type electronic device to which home screen technology adjusted according to angle information according to an embodiment of the present disclosure is applied.
  • FIG. 5 is a diagram illustrating an example of a configuration related to screen display control according to an angle change of a foldable electronic device according to an embodiment.
  • FIG. 6 is a diagram illustrating an example of a configuration related to screen display control according to an angle change of a foldable electronic device according to an embodiment.
  • FIG. 7 is a diagram illustrating an example of a configuration related to screen display control according to an angle change of a wearable electronic device according to an embodiment.
  • FIG. 8 is a diagram illustrating an example of a configuration related to screen display control according to an angle change of a foldable electronic device according to an embodiment.
  • FIG. 9 is a diagram illustrating an example of a method of operating a foldable electronic device related to providing a screen according to an embodiment.
  • FIG. 10 is a diagram illustrating another example of a method of operating a foldable electronic device related to providing a screen according to an embodiment.
  • FIG. 11 is a diagram illustrating an example of separation of objects in an image according to an embodiment.
  • Figure 12 is a diagram showing an example of a change in depth of a content screen according to an angle change according to an embodiment.
  • Figure 13 is a diagram illustrating an example of a change in zoom of a content screen according to an angle change according to an embodiment.
  • Figure 14 is a diagram illustrating an example of a change in the order of layers of a content screen according to an angle change according to an embodiment.
  • Figure 15 is a diagram illustrating an example of changing the order of layers of a content screen and applying a zoom ratio according to an angle change, according to an embodiment.
  • Figure 16 is a diagram illustrating an example of a change in the order of layers and a change in depth of a content screen according to an angle change according to an embodiment.
  • Figure 17 is a diagram illustrating another example of a screen change function according to an angle change according to an embodiment.
  • FIG. 18 is a diagram illustrating an example of replacement of at least some objects according to an angle change according to an embodiment.
  • FIG. 19 is a diagram illustrating an example of replacement of at least some objects according to an angle change according to an embodiment.
  • FIG. 20 is a diagram illustrating an example of a screen change according to a change in the angle of an auxiliary display according to an embodiment.
  • FIG. 21 is a diagram illustrating an example of obtaining an angle change value from an external electronic device according to an embodiment.
  • the present disclosure focuses on detecting angle changes due to changes in the state of a foldable electronic device, such as an angle change between a plurality of housings, and collects angle changes of other electronic devices whose angles can change, such as wearable electronic devices. And, we present an example that provides screen changes according to the collected roadway changes.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100, according to one embodiment.
  • FIG. 1 may correspond to the configuration of at least one of a portable electronic device, a foldable electronic device, and a wearable electronic device applied to the present substrate.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a long-distance wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores commands or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes a main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • a main processor 121 e.g., a central processing unit or an application processor
  • auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the electronic device 101 includes a main processor 121 and a secondary processor 123
  • the secondary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. For example, such learning may be performed in the electronic device 101 itself on which the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108).
  • Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (e.g., program 140) and instructions related thereto.
  • Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 is a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support high frequency bands (eg, mmWave bands), for example, to achieve high data rates.
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO: full dimensional MIMO), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected to the plurality of antennas by, for example, the communication module 190. can be selected. Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • a mmWave antenna module includes: a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a first side e.g., bottom side
  • a designated high frequency band e.g., mmWave band
  • a plurality of antennas e.g., array antennas
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a diagram illustrating an example of a first type electronic device to which home screen technology adjusted according to angle information according to an embodiment of the present disclosure is applied.
  • a first type electronic device 200 includes a first housing 210 (or a first housing portion), a second housing 220 (or a second housing portion), and a flexible display. It may include (260) (or display). According to one embodiment, the first type electronic device 200 may further include a first camera 270a, but the first camera 270a may be omitted. According to one embodiment, based on the drawing, the first type electronic device 200 may include a flexible display 260 whose length in the vertical direction is longer than the length in the horizontal direction.
  • the first type electronic device 200 connects the first housing 210 and the second housing 220, and the first housing 210 and the second housing 220 have a virtual folded area 21 (or It may further include at least one hinge structure (or hinge unit, hinge module) that moves to be folded up and down based on a virtual fold line.
  • the hinge structure connects the first housing 210 and the second housing 220 and supports the angle between the first housing 210 and the second housing 220 to maintain a constant angle. Based on the hinge structure, the first housing 210 and the second housing 220 are in a folded state (e.g., the first display area 261 and the second display area 262 of the flexible display 260 face each other).
  • first housing 210 and the second housing 220 are mounted at a certain angle, such as 30 degrees, 45 degrees, 90 degrees, 130 degrees, or 150 degrees (e.g., flex mode, tent mode, free stop hinge mode) ) can be maintained.
  • the first type electronic device 200 includes the above-described first housing 210, second housing 220, and flexible display 260, and at least some of the configurations of the electronic device 100 described above with reference to FIG. 1. It can be included.
  • the first type electronic device 200 corresponds to at least one sensor module (or sensor unit, sensor) corresponding to the sensor module 176 (hereinafter described as the sensor module 176) and the processor 120. It may include at least one processor (hereinafter described as processor 120) and at least one memory corresponding to the memory 130 (hereinafter described as memory 130).
  • the sensor module 176 maintains the folded or unfolded state of the first housing 210 and the second housing 220 and a constant mounting angle state between the folded state (e.g., 0 degrees) and the unfolded state (e.g., 180 degrees). Angle information can be collected through sensing.
  • the processor 120 of the first type electronic device 200 determines the image being output on the home screen (or background screen, lock screen) to be output on the flexible display 260 according to the angle information collected by the sensor module 176. At least some of it can be changed. At least a portion of the image displayed on the home screen displayed on the flexible display 260 may be, for example, either a still image or a moving image.
  • the processor 120 may additionally change at least part of the image being displayed on the home screen and output the changed image on the home screen.
  • the home screen outputs one image across the first display area 261 and the second display area 262 of the flexible display 260, or displays the first display area 261 and the second display area. Different images may be output in each area 262. Adjustment of the home screen output image according to the angle information described in this description may be applied, for example, to at least a portion of the image output throughout the first display area 261 and the second display area 262. Alternatively, the adjustment of the home screen output image according to the angle information described in this description may be applied only to at least one image among the images being output to the first display area 261 or the second display area 262, respectively.
  • the processor 120 selects at least one image that meets a specified condition from the memory 130 that stores at least one image that can be output to the flexible display 260. You can select and output multiple objects included in the selected image.
  • the processor 120 may extract a background object and feature objects other than the background object from the image.
  • the processor 120 may adjust the depth of at least some of the extracted plurality of objects according to angle information.
  • the processor 120 may change the order of at least some of the layers corresponding to each of the plurality of extracted objects.
  • the processor 120 may change the zoom ratio of at least some of the extracted plurality of objects according to angle information.
  • the processor 120 may change at least some of the extracted objects as well as remove (or gradually reduce the size of) at least some of the remaining objects from the home screen according to angle information. You can reduce the number of objects to be removed or increase the number of objects to be removed.
  • the first type electronic device 200 performs an unfolding operation in the folded state of the electronic device or changes at least some objects on the home screen while performing a folding operation in the unfolded state to determine user interest.
  • the concentration of information that needs to be confirmed by the user or information that the user is interested in can be increased.
  • FIG. 3 is a diagram illustrating an example of a second type electronic device to which home screen technology adjusted according to angle information according to an embodiment of the present disclosure is applied.
  • the second type electronic device 300 includes a first housing 310, a second housing 320, a first display 360a (or main display), and a second display ( 360b) (or auxiliary display) may be included.
  • the second type electronic device 300 may include a first display 360a that can be folded left and right based on a virtual fold line 31 in the vertical direction.
  • the second display 360b may be disposed in an opposite direction to the first housing 310 (or the second housing 320) where the first display 360a is disposed.
  • the second type electronic device 300 connects the first housing 310 and the second housing 320, and the first housing 310 and the second housing 320 are based on the virtual fold line 21.
  • the hinge structure 350 may further include at least one hinge structure 350 (or hinge portion, hinge module) that moves to be folded up and down.
  • the hinge structure 350 connects the first housing 310 and the second housing 320 and supports the angle between the first housing 310 and the second housing 320 to maintain a certain angle. You can.
  • the hinge structure 350 may include at least one hinge module and a hinge housing surrounding the hinge module.
  • the hinge structure of the first type electronic device 200 previously described in FIG. 2 may also include a hinge housing and at least one hinge module.
  • the second type electronic device 300 includes the first housing 310, the second housing 320, the first display 360a, and the second display 360b, and the electronic device 100 previously described in FIG. 1. ) may include at least some of the configurations.
  • the second type electronic device 300 corresponds to at least one sensor module (or sensor unit, sensor) corresponding to the sensor module 176 (hereinafter described as the sensor module 176) and the processor 120. It may include at least one processor (hereinafter described as processor 120) and at least one memory corresponding to the memory 130 (hereinafter described as memory 130).
  • This second type electronic device 300 differs from the first type electronic device 200 previously described in FIG. 2 except in its folding direction, appearance, and display size, and is substantially a home screen according to the angle information described in this description.
  • the second type electronic device 300 has a processor 120 that adjusts the home screen according to angle information through the same or similar operation as the operation of the processor 120 of the first type electronic device 200 related to FIG. 2. It can be included. Similar to the second type electronic device 300, the first type electronic device 200 has at least a portion of the back side (e.g., the first housing 210 or the second housing 220) opposite to the front side where the flexible display is disposed. It may further include an auxiliary display disposed in.
  • the back side e.g., the first housing 210 or the second housing 220
  • the first display 360a includes a first display area 361 and a second display area 362, and the first display area 361 and the second display area 362 have a virtual fold line 31. It can be connected through .
  • the first display 360a may output one image across the first display area 361 and the second display area 362.
  • the first display 360a may output different images to each of the first display area 361 and the second display area 362.
  • the processor 120 of the second type electronic device 300 may adjust changes in at least some of the plurality of objects included in one image output across the first display 360a according to angle information.
  • a first image including a plurality of objects is displayed on the second display 360b, and the first image may change in response to angle information.
  • the second display 360b stops outputting the first image (or turns off), and the first display 360a ) may output a second image that changes according to the angle change while outputting the second image according to the angle information.
  • a specified angle e.g. 30 degrees
  • the second type electronic device 300 can maintain various mounting angles.
  • the second type electronic device 300 is in an unfolded state 301 and a first angle mounted state 302 (the angle between the first housing 310 and the second housing 320 is 120 degrees). angle formed), second angle mounting state 303 (the angle between the first housing 310 and the second housing 320 is 45 degrees), third angle mounting state 304 (first housing ( The angle between 310) and the second housing 320 may have an angle of 90 degrees.
  • the second type electronic device 300 may maintain more diverse mounting angles.
  • the processor 120 of the second type electronic device 300 receives angle information corresponding to various mounting angle states 301, 302, 303, and 304, the object of the image displayed on the home screen according to the angle information It is possible to control changes in at least some of these objects.
  • FIG. 4 is a diagram illustrating an example of a third type electronic device to which home screen technology adjusted according to angle information according to an embodiment of the present disclosure is applied.
  • the third type electronic device 400 includes a first housing 410, a second housing 420, a third housing 430, a first hinge structure 450a, and a first housing 410. It may include two hinge structures 450b, a first display 460a, a second display 460b, and a third display 460c. According to one embodiment, at least two of the first display 460a, the second display 460b, and the third display 460c may be connected to each other. For example, the first display 460a and the second display 460b may be connected, or the second display 460b and the third display 460c may be connected.
  • the first display 460a and the second display 460b may be in an out-folded state in which they are folded outward with respect to the first hinge structure 450a.
  • the first display 460a and the second display 460b may be arranged to face opposite directions.
  • the second display 460b and the third display 460c may be in an in-folded state in which they are folded inward with respect to the second hinge structure 450b.
  • the second display 460b and the third display 460c may be arranged to face each other.
  • the first display 460a may be arranged toward the front and folded into a z-shape.
  • the third type electronic device 400 includes one side of the first hinge structure 450a and the second hinge structure 450b or the first housing 410, the second housing 420, and the third housing. (430) It may include at least one sensor capable of detecting the folding of the electronic device inside. For example, the at least one sensor may detect an angle change according to an in-folding operation. Additionally, at least one sensor may detect a change in angle due to the out-folding operation. The at least one sensor may correspond to the sensor module 176 previously described in FIG. 1, and the third type electronic device 400 may include at least one processor (hereinafter referred to as processor) corresponding to the processor 120 described previously in FIG. 1.
  • processor hereinafter referred to as processor
  • This third type electronic device 400 displays a home screen according to the angle change information described in this description. Adjustment functions may be applied. For example, the angle change value transmitted from the sensor module 160 including the at least one sensor may be transmitted to the processor 120 disposed in the third type electronic device 400, and the third type electronic device 400 ) The processor 120 may change at least a portion of the home screen displayed on the first display 460a, the second display 460b, and the third display 460c according to the angle change value.
  • the processor 120 of the third type electronic device 400 folds a plurality of objects included in the image output to the first display 460a and the second display 460b. Depth of field can be output differently. Alternatively, the processor 120 of the third type electronic device 400 outputs different depths of a plurality of objects included in the images output to the second display 460b and the third display 460c in response to in-folding. can do.
  • the home screen displayed on the second display 460b may output a changed image corresponding to the out-folding or in-folding situation, or may output a fixed image regardless of the out-folding or in-folding situation.
  • the display area of the second display 460b is divided into a plurality, some display areas display a changed screen in response to out-folding together with the first display 460a, and some remaining display areas display the third display 460c. ), the changed screen can be output in response to in-folding.
  • the function of changing and outputting at least part of the image output on the display in response to the angle change value of the electronic device of the present invention is not limited to the size, connection type or number of housings, number or shape of displays, etc. It may not be possible.
  • At least one sensor of the electronic device described in FIGS. 1 to 4 may include, for example, a gyro sensor, an acceleration sensor, a grip sensor, a hinge event collection sensor, and at least one of a hall sensor and a bezel rotation detection sensor.
  • FIG. 5 is a diagram illustrating an example of a configuration related to screen display control according to an angle change of a foldable electronic device according to an embodiment.
  • the foldable electronic device 500 described in FIG. 5 may correspond to at least one of the electronic devices described previously in FIGS. 1 to 4 .
  • the foldable electronic device 500 may include, for example, at least one device related to screen control of a display (e.g., at least one display among the displays of FIGS. 1 to 4, hereinafter referred to as display 160). It may include a processor 501 (eg, processor 120 described in FIG. 1).
  • the at least one processor 501 may include a first processor 510 for processing data output to the display 160 and a second processor 520 for performing signal processing related to home screen control.
  • a first processor 510 for processing data output to the display 160
  • a second processor 520 for performing signal processing related to home screen control.
  • at least one of the first processor 510 and the second processor 520 may be implemented as a hardware processor or as a software module.
  • the first processor 510 may render and output a home screen image to be displayed on the display 160 based on information received from the second processor 520.
  • the first processor 510 may include a first rendering module 511, an activity module 512, and a resource processing module 513.
  • the activity module 512 (or activity service module) is a main service module for screen configuration, and can process data management and perform operations corresponding to user input. According to one embodiment, the activity module 512 receives information about the home screen image and angle change value from the home screen service module 522 of the second processor 520, and adds the angle change value to the home screen image. You can create (or composite) the applied image or control image creation. In this operation, when the home screen service module 522 provides the memory address value of the image to be used for the home screen, the activity module 512 sends the image to be used for the home screen through the resource processing module 513 to the memory control unit ( 523) can be obtained from memory. The activity module 512 may transmit the home screen image and the angle change value to the first rendering module 511.
  • the activity module 512 may generate a home screen image that changes according to the angle change and transmit the generated image to the first rendering module 511.
  • the activity module 512 may request the home screen renderer 521 of the second processor 520 to generate a home screen image according to the angle change.
  • the first rendering module 511 receives a home screen output request from the home screen renderer 521 of the second processor 520, the first rendering module 511 renders the changed home screen image according to the angle change value transmitted from the activity module 512.
  • the rendered home screen image can be output to the display 160.
  • the second processor 520 may include, for example, a first sensor manager 524, a first device manager 525, a home screen service module 522, a home screen renderer 521, and a memory control unit 523. there is. At least some of the first sensor manager 524, first device manager 525, home screen service module 522, home screen renderer 521, and memory control unit 523 are provided as hardware components or as software modules. It can be implemented.
  • the first sensor manager 524 may control activation and deactivation of at least one sensor disposed in the foldable electronic device 500.
  • the first sensor manager 524 is the power source of a sensor (e.g., Hall sensor) that collects the angle change value that occurs during the folding or unfolding process of the plurality of housings included in the foldable electronic device 500. Supply and sensor operation can be controlled.
  • a sensor e.g., Hall sensor
  • the first device manager 525 collects sensor information and battery information obtained from an electronic device (e.g., a foldable electronic device), and sends the collected information to at least one of the activity module 512 or the home screen service module 522. It can be delivered to . According to one embodiment, the first device manager 525 may collect sensing information of at least one sensor driven by the first sensor manager 524. According to one embodiment, the first device manager 525 may collect the angle change value of the foldable electronic device 500 from a sensor that collects the angle change value. The first device manager 525 may transmit the collected angle change value to the activity module 512 and the home screen service module 522 of the first processor 510.
  • an electronic device e.g., a foldable electronic device
  • the home screen service module 522 checks the angle change value transmitted from the first device manager 525, and requests the home screen renderer 521 to output the home screen if the angle change value is more than a predefined certain value. Meanwhile, the home screen output can be guided to the activity module 512. In the home screen output guidance operation, the home screen service module 522 may transmit address information and an angle change value of the home screen image to be output to the display to the activity module 512. In this process, the home screen service module 522 obtains the address value of at least one image (e.g., still image or video) to be output to the home screen according to a predefined rule from the memory of the foldable electronic device and stores it in the activity module ( 512).
  • the home screen service module 522 obtains the address value of at least one image (e.g., still image or video) to be output to the home screen according to a predefined rule from the memory of the foldable electronic device and stores it in the activity module ( 512).
  • the memory control unit 523 may control a device (eg, memory) that stores images or resources necessary for screen composition, and obtain images or resources (eg, content) necessary for screen composition.
  • the memory control unit 523 may support the home screen service module 522 to select the address value of an image to be used as a home screen. For example, when receiving a request from the home screen service module 522 to provide an address value for an image to be used on the home screen, the memory control unit 523 provides the address value for a specific predefined image to the home screen service module 522, or , one image among a plurality of images that can be used as a home screen can be selected randomly or according to predefined conditions, and the address value of the selected image can be provided to the home screen service module 522.
  • the home screen renderer 521 receives the image to be used for the home screen and the angle change value from the home screen service module 522, and applies the received values to generate (or composite) a home screen image that changes according to the angle change. can do. In this operation, the home screen renderer 521 outputs a plurality of objects included in the image and rearranges the plurality of objects in response to the angle change value to generate a home screen image according to the angle change. The home screen renderer 521 may transmit the generated home screen image according to the angle change to the first processor 510.
  • the foldable electronic device 500 collects the angle change (or the angle change between housings) using the first device manager 525 and transmits it to the activity module 512
  • the activity module 512 Configuration for acquiring an image to be used on the screen, generating a home screen image that changes depending on the angle change, passing it to the first rendering module 511 or the home screen renderer 521 for rendering, and then outputting it to the display 160. It may also include only In this regard, it will be described with reference to FIG. 6.
  • FIG. 6 is a diagram illustrating an example of a configuration related to screen display control according to an angle change of a foldable electronic device according to an embodiment.
  • the configuration of the foldable electronic device shown in FIG. 6 includes some of the processor configurations of the foldable electronic device of FIG. 5 related to output of the home screen image, and the illustrated configurations are replaced with other configurations described in FIG. 5 or are replaced with other configurations. It can also be separated into fine-grained configurations.
  • the first memory 523a of the foldable electronic device 500 may transmit content to be used as a home screen image to the activity module 512 in response to a specified condition.
  • the first memory 523a is accessed by controlling the memory controller 523 described above with reference to FIG. 5 and can provide at least one home screen image.
  • the activity module 512 may correspond to the activity module 512 previously described in FIG. 5.
  • the first memory 523a may transmit a predefined image or a randomly selected image to the activity module 512. there is.
  • the first memory 523a may include a first display 560 (e.g., at least one of the displays previously described in FIGS. 1 to 5 (e.g., 160, 260, 360a, 360b, 460a, 460b, 460c))
  • a first display 560 e.g., at least one of the displays previously described in FIGS. 1 to 5 (e.g., 160, 260, 360a, 360b, 460a, 460b, 460c)
  • the image to be used as the home screen can be transmitted to the activity module 512.
  • the first device manager 525 may transmit angle information to the activity module 512.
  • the first device manager 525 may receive an angle change value from a sensor capable of detecting a change in the angle of the foldable electronic device 500 (or the first sensor manager 524 in FIG. 5).
  • the activity module 512 may transmit a plurality of separated object information and placement information to the first rendering module 511.
  • the activity module 512 may extract a plurality of objects included in the home screen and rearrange the depth of the extracted plurality of objects in response to angle information.
  • the activity module 512 may transmit each of the plurality of objects and the depth information of the plurality of objects or the order information of the plurality of layers in which the plurality of objects are arranged to the first rendering module 511.
  • the first rendering module 511 may perform rendering on the received information. For example, the first rendering module 511 may generate (or synthesize) a rendered home screen image to be output on the first display 560 by applying depth to a plurality of objects.
  • the rendered home screen image has the depth of at least some objects or the order of layers changed according to the angle change value, and may be a different image from the original image stored in the first memory 523a.
  • the first rendering module 511 may provide rendered content to the first display 560.
  • rendered content may be stored in the frame memory of the first display 560.
  • the first display 560 may output rendering content.
  • At least some of operations 531 to 541 described above may be continuously performed in response to changes in the angle of the foldable electronic device 500.
  • the operation 531 is performed only once during a designated time for selecting a home screen image or before a designated home screen image replacement event occurs, and at least some of the operations 533 to 541 described above are performed by the foldable electronic device 500. It can be performed continuously in response to angle changes.
  • FIG. 7 is a diagram illustrating an example of a configuration related to screen display control according to an angle change of a wearable electronic device according to an embodiment.
  • the wearable electronic device 600 includes, for example, at least one processor 120 (e.g., display 160 in FIG. 1, hereinafter referred to as display 160) related to screen control. : May include the processor 120 described in FIG. 1.
  • the at least one processor 120 may include a first processor 610 for processing data output to the display 160 and a second processor 620 for performing signal processing related to watch screen control.
  • at least one of the first processor 610 and the second processor 620 may be implemented as a hardware processor or as a software module.
  • the first processor 610 may render and output a watch screen image to be output on the display 160 based on information received from the second processor 620.
  • the first processor 610 may include a second rendering module 611, a watch service module 612, and a resource processing module 613.
  • the watch service module 612 receives information about the watch screen image and angle change value from the second processor 620, and generates an image that integrates the angle change value and the watch screen image or controls to generate an integrated image. You can. In this operation, the watch service module 612 may request and obtain an image to be used for the watch screen from the memory control unit 623 through the resource processing module 613.
  • the watch screen image may not be stored in the wearable electronic device 600, but may be stored in an external electronic device linked to the wearable electronic device 600.
  • the resource processing module 613 may request the memory control unit 623 to obtain the watch screen image stored in the external electronic device in response to the request from the watch service module 612.
  • the watch service module 612 may transmit the watch screen image and the angle change value to the second rendering module 611.
  • the watch service module 612 may generate a watch screen image that changes according to the angle change and transmit the generated image to the second rendering module 611.
  • the watch service module 612 may request the watch screen renderer 621 of the second processor 620 to generate a watch screen image according to the angle change.
  • the second rendering module 611 may render the received image and output the rendered watch screen image to the display 160.
  • the second processor 620 may include, for example, a second sensor manager 624, a second device manager 625, a watch screen service module 622, a watch screen renderer 621, and a memory control unit 623. there is. At least some of the second sensor manager 624, second device manager 625, watch screen service module 622, watch screen renderer 621, and memory control unit 623 are provided as hardware components or as software modules. It can be implemented.
  • the second sensor manager 624 may manage the operation of at least one sensor included in the wearable electronic device 600.
  • the second sensor manager 624 may manage a sensor capable of detecting the rotation angle of a rotatable bezel disposed on the wearable electronic device 600.
  • the second device manager 625 may receive an angle change value corresponding to the rotation of the rotating bezel of the wearable electronic device 600 from the second sensor manager 624.
  • the second device manager 625 may transmit the received angle change value to the watch screen service module 622 or the watch service module 612.
  • At least some of the watch screen service module 622, watch screen renderer 621, and memory control unit 623 are the home screen service module 522 and home screen renderer 521 described above with reference to FIG. 5. and may have the same or similar configuration as the memory control unit 523.
  • at least one of the watch screen service module 622, the watch screen renderer 621, and the memory control unit 623 may have the roles and functions of each of the components previously described in FIG. 5.
  • the watch screen service module 622 can control the angle change value transmitted by the second device manager 625 to be applied to the home screen image change, and the watch screen renderer 621 creates the changed home screen image. It can be handled.
  • the wearable electronic device 600 collects angle changes (e.g., angle changes due to rotation of the rotating bezel) using the second device manager 625 and transmits the information to the watch service module 612. (612) obtains an image to be used for the watch screen, generates a watch screen image that changes depending on the angle change, transmits it to the second rendering module 611 or the watch screen renderer 621, and renders it, and then displays it on the display 160. It may only include configuration for output to . In this regard, it will be described with reference to FIG. 8.
  • FIG. 8 is a diagram illustrating an example of a configuration related to screen display control according to an angle change of a foldable electronic device according to an embodiment.
  • the configuration of the wearable electronic device shown in FIG. 8 includes some of the processor configurations of the wearable electronic device in FIG. 7 related to the output of the watch screen image, and the illustrated configurations are replaced with or replaced with other configurations described in FIG. 7. It can also be separated into fine-grained configurations.
  • the second device manager 625 of the wearable electronic device 600 may collect angle information.
  • the second device manager 625 may receive angle information from the second sensor manager 624 that detects a change in the angle of the wearable electronic device 600.
  • the second device manager 625 may transmit the collected angle information to the watch service module 612 in operation 803.
  • the watch service module 612 may process event information transmission and output information reception in operation 805.
  • the event information may indicate a situation in which the angle change value of the wearable electronic device 600 changes by more than a specified amount.
  • the wearable electronic device 600 may receive output information, such as a watch screen image, from an external electronic device to be output on the second display 660 (eg, at least one of the displays described in FIGS. 1 to 7).
  • the wearable electronic device 600 may form a communication channel with an external electronic device.
  • the watch service module 612 receives information to be output through the second display 660 from an external electronic device, it can control the received output information to be stored in the second memory 623 in operation 807.
  • the second memory 623 may transmit the stored information to the second rendering module 611 in operation 809.
  • the stored information may include output information received by the watch service module 612 from an external electronic device.
  • the watch service module 612 may directly transmit the output information to the second rendering module 611 without transmitting it to the second memory 623.
  • the watch service module 612 may store the output information in the second memory 623 and transmit it to the second rendering module 611.
  • the storage information delivered after being stored in the second memory 623 or the output information delivered by the watch service module 612 may include angle information.
  • the second rendering module 611 may perform image rendering in operation 811. In this operation, the second rendering module 611 extracts a plurality of objects from the received image and adjusts the depth of the extracted objects differently in response to the angle information to generate a changed image (e.g., a watch screen image). You can. After rendering is completed, the second rendering module 611 may transmit the rendered content to the second display 660 in operation 813. Alternatively, the second rendering module 611 may store the rendered content in the frame memory.
  • the second display 660 may output the rendered content in operation 815.
  • the rendered content output on the second display 660 may include an image in which the original image has been changed in response to a change in the angle of the wearable electronic device 600.
  • the screen image output function detects a change in the angle of the wearable electronic device 600 and displays the image in the image stored in the wearable electronic device 600 or the image received from an external electronic device.
  • a changed image can be created (or a plurality of objects can be combined) and the changed image can be output on the second display 660.
  • the operation of selecting an image to be output on the second display 660 may be performed one-time during a predefined time or may be performed one-time according to user settings.
  • the wearable electronic device 600 changes the image received by the second rendering module 611 based on the angle information transmitted by the second device manager 625. can be updated and output on the second display 660.
  • FIG. 9 is a diagram illustrating an example of a method of operating a foldable electronic device related to providing a screen according to an embodiment.
  • the foldable electronic device (e.g., any one of the electronic devices described in FIGS. 1 to 8, hereinafter referred to as the foldable electronic device 200) is used as an example.
  • the processor 120 e.g., a processor included in the electronic device of FIGS. 1 to 8, hereinafter referred to as the processor 120
  • the processor 120 activates a sensor (e.g., a sensor module in FIG. 1, as an example, a Hall sensor) capable of detecting a change in the angle between the plurality of housings of the foldable electronic device 200, and performs sensor operation. By collecting sensing information at regular intervals, a value corresponding to the angle change can be extracted.
  • a sensor e.g., a sensor module in FIG. 1, as an example, a Hall sensor
  • the processor 120 may check whether a specified condition is satisfied. For example, the processor 120 may check whether the collected angle change value is greater than or equal to a predefined certain size. In relation to this, the processor 120 may check whether the change value of sensing information collected during a specified time is greater than or equal to a certain amount. If the specified condition is not satisfied, the processor 120 may branch to before operation 901 and re-perform the following operations. For example, the processor 120 may maintain the previous state when the change in the included angle of the foldable electronic device 200 does not increase by more than a specified angle (eg, 5 degrees). Alternatively, the processor 120 may check whether the included angle of the foldable electronic device 200 increases by more than a specified angle (eg, 5 degrees). If the angle between the housings of the foldable electronic device 200 is less than a specified angle, the display can be controlled to maintain the turn-off state without separate control of the screen output function, and operation 901 can be maintained.
  • a specified angle e.g, 5 degrees
  • the processor 120 may select content and separate a plurality of objects in operation 905.
  • the processor 120 stores at least one image (e.g., a still image or moving image) stored in the memory 130 (e.g., a memory included in the electronic device of FIGS. 1 to 8, hereinafter referred to as memory 130).
  • the processor 120 may select specific image content selected by user input.
  • the processor 120 may randomly select at least one image from among a plurality of images stored in a specific folder (eg, gallery).
  • the processor 120 may receive a user-selected or randomly selected specific image from a server device that provides content.
  • the processor 120 may extract a plurality of objects by performing analysis on the selected image. For example, the processor 120 may extract a background object of an image and at least one subject object other than the background object (eg, a person, an animal, a specific object, a specific text).
  • a subject object e.g, a person, an animal, a specific object, a specific text.
  • the processor 120 may perform arrangement according to depth according to settings. For example, the processor 120 may change the depth (or focus) of some of the plurality of objects by applying angle information to some of the objects. According to one embodiment, the processor 120 may increase the depth of field (increase the degree of blur) of the background object as the angle information increases. Alternatively, the processor 120 may reduce the depth of field (e.g., increase sharpness) of the background object as the angle information increases. The processor 120 may configure (or synthesize) an image in which the background object with the changed depth is placed as the bottom layer and the subject object is placed on the background object. When the arrangement by depth is completed, the processor 120 may display the image on the display 160 (e.g., at least one display among the displays described in FIGS. 1 to 8, hereinafter referred to as the display 160).
  • the display 160 e.g., at least one display among the displays described in FIGS. 1 to 8, hereinafter referred to as the display 160.
  • the processor 120 may branch to before operation 901 and re-perform the following operations. Operations 901 to 907 described above may be performed until the power of the foldable electronic device 200 is turned off or until a setting input requesting termination of the corresponding function is received through a user input.
  • FIG. 10 is a diagram illustrating another example of a method of operating a foldable electronic device related to providing a screen according to an embodiment.
  • the foldable electronic device 200 (e.g., any one of the electronic devices described in FIGS. 1 to 8, hereinafter referred to as the foldable electronic device 200)
  • the processor 120 e.g., processor included in the electronic device of FIGS. 1 to 8, hereinafter referred to as processor 120
  • Operation 1001 of the processor 120 may be the same or similar to operation 901 described above. Accordingly, operation 1001 may be replaced with operation 901 described above.
  • the processor 120 may check whether a specified condition is satisfied. For example, the processor 120 may check whether the collected angle change value is greater than or equal to a predefined certain size. Alternatively, the processor 120 may check whether the included angle of the foldable electronic device 200 is maintained at a specified angle or more for a certain period of time. Operation 1003 may be the same or similar to operation 903 described above, so detailed description may be replaced with operation 903.
  • the processor 120 may obtain a plurality of separated objects in operation 1005.
  • the processor 120 may obtain a plurality of separate objects stored in the memory 130 of the foldable electronic device 200.
  • the foldable electronic device 200 may previously perform an operation of selecting images to change at least some objects according to the angle between the housings of the foldable electronic device 200 so as to support acquisition of a plurality of separate objects.
  • the foldable electronic device 200 provides a menu for selecting an image to which an angle information change is to be applied, and when selecting the menu, outputs a screen interface for selecting an image, providing the user with an opportunity to make a selection. You can.
  • the processor 120 of the foldable electronic device 200 may analyze the selected images to separate a plurality of objects and store them in the memory 130. If the change in angle information satisfies a specified condition, the processor 120 may check the memory 130 and obtain a plurality of previously stored separate objects.
  • the processor 120 may perform arrangement according to depth according to settings.
  • the operation 1007 may be the same or similar to the operation 907 described above, and may be replaced with the operation 907 accordingly.
  • the processor 120 may perform the corresponding function before the termination event of the screen change function according to the angle information occurs or before the power supply is stopped.
  • the method of operating the foldable electronic device shown in FIGS. 9 and 10 described above may be applied to at least one of the electronic devices shown in FIGS. 1 to 6 described above. Additionally, except for the structure for collecting angle information, the operating method described in FIGS. 9 and 10 may be applied in the same or similar manner to wearable electronic devices.
  • FIG. 11 is a diagram illustrating an example of separation of objects in an image according to an embodiment.
  • the object separation description applied to FIG. 11 is explained based on the foldable electronic device 200 previously described in FIG. 2, but the present description is not limited thereto.
  • the object separation function described in FIG. 11 may be equally applied to the electronic devices described in FIGS. 1 to 8 .
  • a content screen 1110 may be output on the display 260 of the foldable electronic device 200.
  • the content screen 1110 may include, for example, a home screen of the foldable electronic device 200 or a screen displayed when the display 260 changes from a turn-off state to a turn-on state.
  • the content screen 1110 of FIG. 11 may be output on the display 260 when the first housing 210 and the second housing 220 of the foldable electronic device 200 are in the unfolded state.
  • the content screen 1110 may include a lock screen screen of the foldable electronic device 200.
  • the content screen 1110 displayed on the display 260 of the foldable electronic device 200 may include, for example, a subject object 1110a, a background object 1110b, and a text object 1110c.
  • the subject object 1110a may include a person object placed at the center of the content screen 1110.
  • the background object 1110b may include a background image disposed behind the subject object 1110a.
  • the text object 1110c may include time information text or clock text output by the clock display function of the foldable electronic device 200.
  • the text object 1110c can be replaced with an image object that displays time as an image.
  • the subject object 1110a and the background object 1110b included in the content screen 1110 may be separate objects in one image file.
  • the background object 1110b and the subject object 1110a may be composed of images from different sources.
  • the text object 1110c may be an object output by the clock display function (or function) of the foldable electronic device 200. Accordingly, during the process of separating objects in the content screen 1110, the processor 120 of the foldable electronic device 200 checks the sources of the objects constituting the content screen 1110, and selects each object from the confirmed source. can be collected. Alternatively, when a plurality of objects are included in one image, the processor 120 may extract and separate each object from the image.
  • Figure 12 is a diagram showing an example of a change in depth of a content screen according to an angle change according to an embodiment.
  • the processor 120 of the foldable electronic device 200 displays content screen 1110 output on the display 260 in response to various angular states of the foldable electronic device 200. At least some of the included objects can be adjusted. According to one embodiment, the processor 120 of the foldable electronic device 200 may extract the subject object 1110a and the background object 1110b, as shown. The processor 120 may maintain an image output state constant regardless of a change in the angle of the foldable electronic device 200 with respect to the subject object 1110a.
  • the processor 120 gradually changes the depth of field in response to a change in the angle of the foldable electronic device 200 with respect to the background object 1110b (or the effect of changing the focus of the camera, or the effect of changing the aperture value of the camera, or the effect of changing the aperture value of the camera, change effect depending on the value size) can be provided.
  • the processor 120 causes the foldable electronic device 200 to be in a first angular state 1201 (e.g., an unfolded state), where the first housing 210 and the second housing of the foldable electronic device 200
  • a first angular state 1201 e.g., an unfolded state
  • the angle between (220) is 180 degrees
  • an image in focus or an image with sharpness greater than or equal to a first specified value is displayed on the first background object 1110b_11. It can be created with
  • the processor 120 causes the foldable electronic device 200 to be in a second angle state 1202 (e.g., the angle between the first housing 210 and the second housing 220 of the foldable electronic device 200 is 150 degrees).
  • a second angle state 1202 e.g., the angle between the first housing 210 and the second housing 220 of the foldable electronic device 200 is 150 degrees.
  • an image whose sharpness is less than the first specified value and more than the second specified value, or an image whose degree of blurr application is more than the first set value but less than the second set value may be generated as the second background object 1110b_12.
  • the second background object 1110b_12 may be a blurrier image, an image with lower clarity, or an image with a greater degree of blur application than the first background object 1110b_11.
  • the processor 120 sets the foldable electronic device 200 in a third angle state 1203 (e.g., the angle between the first housing 210 and the second housing 220 of the foldable electronic device 200 is 120 degrees).
  • a third angle state 1203 e.g., the angle between the first housing 210 and the second housing 220 of the foldable electronic device 200 is 120 degrees.
  • an image whose sharpness is less than the second specified value and more than the third specified value, or an image whose degree of blurr application is more than the second set value but less than the third set value may be generated as the third background object 1110b_13.
  • the third background object 1110b_13 may be a blurrier image, an image with lower clarity, or an image with a greater degree of blur application than the second background object 1110b_12.
  • the processor 120 causes the foldable electronic device 200 to be in a fourth angle state 1204 (e.g., the angle between the first housing 210 and the second housing 220 of the foldable electronic device 200 is 90 degrees).
  • a fourth angle state 1204 e.g., the angle between the first housing 210 and the second housing 220 of the foldable electronic device 200 is 90 degrees.
  • an image whose sharpness is less than the third specified value and more than the fourth specified value, or an image whose degree of blurr is more than the third set value but less than the fourth set value can be generated as the fourth background object 1110b_14.
  • the fourth background object 1110b_14 may be a blurrier image, an image with lower clarity, or an image with a greater degree of blur application than the third background object 1110b_13.
  • the processor 120 generates background objects 1110b_11, 1110b_12, 1110b_13 for each of the first angle state 1201, the second angle state 1202, the third angle state 1203, and the fourth angle state 1204.
  • An image obtained by applying (or combining) 1110b_14) to the subject object 1110a may be output as a content screen (e.g., background screen, home screen, or lock screen).
  • the processor 120 may adjust the sharpness (or degree of blur application) of the subject object 1110a in response to a change in the angle of the foldable electronic device 200.
  • the processor 120 may apply the sharpness change (or blur application degree change) applied to the subject object 1110a in a manner opposite to the method applied to the background objects 1110b_11, 1110b_12, 1110b_13, and 1110b_14. there is.
  • the clarity of the background objects 1110b_11, 1110b_12, 1110b_13, and 1110b_14 decreases as the degree of folding of the foldable electronic device 200 (e.g., the size of the angle between the first housing 210 and the second housing 220) decreases.
  • the sharpness of the subject objects 1110a may increase as the folding information of the foldable electronic device 200 increases.
  • the clarity of the background objects 1110b_11, 1110b_12, 1110b_13, and 1110b_14 decreases, but the content of the present description is not limited thereto.
  • the change in sharpness of the background objects (1110b_11, 1110b_12, 1110b_13, 1110b_14) varies depending on the folding angle. According to one embodiment, as the folding angle decreases, the sharpness of the background objects (1110b_11, 1110b_12, 1110b_13, 1110b_14) increases. Change can be big.
  • the foldable electronic device 200 of the present disclosure includes a first housing and a second housing, a hinge structure for fastening the first housing and the second housing, and at least a structure on the first housing and the second housing.
  • a display on which a portion is placed at least one sensor that senses an angle between the first housing and the second housing, a memory disposed in at least one of the first housing and the second housing and storing a plurality of contents, and at least one processor functionally connected to the at least one sensor and the memory, wherein the at least one processor detects an angle or an angle change between the first housing and the second housing, and detects the angle or the angle change.
  • the change is greater than or equal to a specified angle
  • a plurality of objects included in a specific content among the plurality of contents stored in the memory are extracted, and the depth of at least one object among the extracted plurality of objects is adjusted to the angle or the angle change. It can be changed accordingly and set to output differently from the previous display state.
  • Figure 13 is a diagram illustrating an example of a change in zoom of a content screen according to an angle change according to an embodiment.
  • the processor 120 of the foldable electronic device 200 displays a content screen 1110 displayed on the display 260 in response to various angle states (or angle changes) of the foldable electronic device 200. ) can control at least some of the objects included in it.
  • the processor 120 of the foldable electronic device 200 may extract the subject object 1110a and the background object 1110b, as shown. The processor 120 may gradually adjust the degree of zoom in response to a change in the angle of the foldable electronic device 200 with respect to the background object 1110b.
  • the processor 120 causes the foldable electronic device 200 to be in a first angle state 1301 (e.g., between the first housing 210 and the second housing 220 of the foldable electronic device 200).
  • a background object in a first zoom-in state e.g., a state in which the zoom-in function is not applied
  • the first background object 1110b_21 may be created as the first background object 1110b_21.
  • the processor 120 determines the folding angle of the foldable electronic device 200 in the second angle state 1302 (e.g., the angle between the first housing 210 and the second housing 220 of the foldable electronic device 200). 150 degrees), the background object in the second zoomed-in state (e.g., zoomed-in 1.2 magnification applied) may be created as the second background object 1110b_22.
  • the second background object 1110b_22 may be an image enlarged from a portion of the first background object 1110b_21 based on a point of the first background object 1110b_21.
  • the processor 120 sets the foldable electronic device 200 in a third angle state 1303 (e.g., the angle between the first housing 210 and the second housing 220 of the foldable electronic device 200 is 120 degrees).
  • the background object in the third zoom-in state e.g., with the zoom-in 1.5 magnification applied
  • the third background object 1110b_23 may be an image enlarged from a portion of the second background object 1110b_22 based on a point of the second background object 1110b_22.
  • the processor 120 causes the foldable electronic device 200 to be in a fourth angle state 1304 (e.g., the angle between the first housing 210 and the second housing 220 of the foldable electronic device 200 is 90 degrees).
  • the background object in the fourth zoom-in state e.g., with zoom-in 2 magnification applied
  • the fourth background object 1110b_24 may be an image enlarged from a portion of the third background object 1110b_23 based on a point of the third background object 1110b_23.
  • the content screen e.g., : You can control the output of the background screen, home screen, or lock screen.
  • the processor 120 generates an image by applying (or combining) the subject object 1110a on the second background object 1110b_22 when in the second angle state 1302, and when in the third angle state 1303.
  • an image is created by applying (or compositing) the subject object 1110a on the third background object 1110b_23, and in the fourth angle state 1304, the subject object ( Images to which 1110a) is applied (or synthesized) can be generated and output to the display 260, respectively.
  • the processor 120 may differently adjust the zoom degree (or size ratio) of the subject object 1110a in response to a change in the angle of the foldable electronic device 200.
  • the processor 120 may control the subject object 1110a to be displayed gradually smaller or gradually larger in response to changes in the angular state of the foldable electronic device 200.
  • the size change of the subject object 1110a described above may be combined with the change in magnification of the background object 1110b.
  • the zoom-in ratio of the background object 1110b increases, but the content of the present description is not limited thereto.
  • the zoom-in ratio of the background object 1110b may decrease.
  • the zoom-out ratio of the background object 1110b may increase.
  • the foldable electronic device 200 of the present disclosure includes a first housing and a second housing, a hinge structure for fastening the first housing and the second housing, and at least a structure on the first housing and the second housing.
  • a display on which a portion is placed at least one sensor that senses an angle between the first housing and the second housing, a memory disposed in at least one of the first housing and the second housing and storing a plurality of contents, and at least one processor functionally connected to the at least one sensor and the memory, wherein the at least one processor detects an angle or an angle change between the first housing and the second housing, and detects the angle or the angle change.
  • the change is greater than a specified angle, extract a plurality of objects included in specific content among the plurality of contents stored in the memory, and change the zoom-in ratio (or zoom-out ratio) of at least one object among the extracted plurality of objects. It may be set to change according to the angle or the change in angle and output differently from the previous display state.
  • Figure 14 is a diagram illustrating an example of a change in the order of layers of a content screen according to an angle change according to an embodiment.
  • the processor 120 of the foldable electronic device 200 may analyze the content screen to be output on the display 260 and classify a plurality of objects, as described above. . In this process, the processor 120 may suggest the number of objects to be classified or separate them to a certain number or more according to predefined settings. According to one embodiment, the processor 120 may extract the subject object 1110a, the text object 1110c, and the background object 1110b, as shown.
  • the foldable electronic device 200 When the folding angle (e.g., the angle between the first housing 210 and the second housing 220) of the foldable electronic device 200 is in the first angle state (e.g., unfolded state), the foldable electronic device 200
  • the processor 120 places the text object 1110c as the highest layer in the first z-axis arrangement (or virtual z-axis layer order based on the direction perpendicular to the front of the display) based on 3D layering of the extracted objects. (or first layer), the subject object 1110a may be placed as the next highest layer (or second layer), and the background object 1110b may be placed as the lowest layer (or third layer).
  • the folding angle of the foldable electronic device 200 may be changed by external pressure, and in response to this, the folding angle of the foldable electronic device 200 (e.g., between the first housing 210 and the second housing 220) may be changed.
  • the processor 120 of the foldable electronic device 200 extracts the objects.
  • the subject object 1110a is placed as the highest layer (or first layer) in the second z-axis array
  • the text object 1110c is placed as the second highest layer (or second layer)
  • the background The object 1110b may be placed as the lowest layer (or third layer).
  • the order of layers including each object is changed when the foldable electronic device 200 changes from the unfolded state to the folded state, but the processor changes the folded state from the unfolded state to the unfolded state. Even when this happens, you can similarly change the order of layers containing each object.
  • the background object 1110b is fixed and only the order of the subject object 1110a and the text object 1110c is changed, but the present description is not limited thereto.
  • the background object 1110b may also be placed on top of the text object 1110c or the subject object 1110a.
  • the processor 120 of the foldable electronic device 200 may perform an operation to determine a content-based subject.
  • the content can be selected using a category-based learning network model.
  • the foldable electronic device 200 may use an artificial intelligence system to determine the user's pattern (e.g., lifestyle pattern, electronic device usage pattern) of using the device, and provide personalized services tailored to the user's pattern.
  • information about the subject may be generated by an artificial intelligence (AI) system.
  • An artificial intelligence system may be a rule-based system or a neural network-based system (e.g., a feedforward neural network (FNN), a recurrent neural network (RNN)). ))) It could be. Alternatively, it may be a combination of the above or a different artificial intelligence system.
  • FNN feedforward neural network
  • RNN recurrent neural network
  • the foldable electronic device 200 of the present disclosure includes a first housing and a second housing, a hinge structure for fastening the first housing and the second housing, and at least a structure on the first housing and the second housing.
  • a display on which a portion is placed at least one sensor that senses an angle between the first housing and the second housing, a memory disposed in at least one of the first housing and the second housing and storing a plurality of contents, and at least one processor functionally connected to the at least one sensor and the memory, wherein the at least one processor detects an angle or an angle change between the first housing and the second housing, and detects the angle or the angle change.
  • the change is greater than or equal to a specified angle
  • a plurality of objects included in specific content among the plurality of contents stored in the memory are extracted, and the order of layers corresponding to each of the extracted plurality of objects is changed according to the angle or the angle change. It can be changed accordingly and set to output differently from the previous display state.
  • Figure 15 is a diagram illustrating an example of changing the order of layers of a content screen and applying a zoom ratio according to an angle change, according to an embodiment.
  • the processor 120 of the foldable electronic device 200 is in a first angular state 1501 (e.g., the first housing 210 and the second housing 210 of the foldable electronic device 200).
  • a first angular state 1501 e.g., the first housing 210 and the second housing 210 of the foldable electronic device 200.
  • the first content screen 1510 can be output on the display 260.
  • the first content screen 1510 may correspond to a state in which the first background object 1110b_21 is placed as the lowest layer, the subject object 1110a is placed as the next highest layer, and the text object 1110c is placed as the highest layer. there is.
  • the first background object 1110b_21 is placed on the lowest layer, at least part of the first background object 1110b_21 may be obscured by objects included in layers placed above it.
  • the area of the first background object 1110b_21 corresponding to the person display area of the subject object 1110a and the text display area of the text object 1110c may be obscured by the text display area and the person display area.
  • the zoom-in ratio of the first background object 1110b_21 may be 1x (the same ratio as the original).
  • the processor 120 of the foldable electronic device 200 is in the second angle state 1502 (e.g., the angle between the first housing 210 and the second housing 220 of the foldable electronic device 200 is 150 degrees).
  • the second content screen 1520 can be output on the display 260.
  • the second content screen 1520 may correspond to a state in which the second background object 1110b_22 is placed as the lowest layer, the subject object 1110a is placed as the next highest layer, and the text object 1110c is placed as the highest layer. there is.
  • the zoom-in ratio of the second background object 1110b_22 may be 1xa magnification (a is an integer or a finite decimal number).
  • the processor 120 of the foldable electronic device 200 is in the third angle state 1503 (e.g., the angle between the first housing 210 and the second housing 220 of the foldable electronic device 200 is 120 degrees).
  • the third content screen 1530 can be output on the display 260.
  • the third content screen 1530 may correspond to a state in which the third background object 1110b_23 is placed as the lowest layer, the subject object 1110a is placed as the highest layer, and the text object 1110c is placed as the next highest layer. there is.
  • the zoom-in ratio of the third background object 1110b_23 may be a 1xb magnification (the b value is an integer or a finite decimal whose absolute value is greater than a).
  • the processor 120 of the foldable electronic device 200 is in the fourth angle state 1504 (e.g., the angle between the first housing 210 and the second housing 220 of the foldable electronic device 200 is 90 degrees).
  • the fourth content screen 1540 can be output on the display 260.
  • the fourth content screen 1540 may correspond to a state in which the fourth background object 1110b_24 is placed as the lowest layer, the subject object 1110a is placed as the highest layer, and the text object 1110c is placed as the next highest layer. there is.
  • the zoom-in ratio of the fourth background object 1110b_24 may be 1xc magnification (the c value is an integer or a finite decimal whose absolute value is greater than b).
  • the screen change function according to the angle change of the present device not only changes the layer order of the content screen displayed on the display according to the angle change of the foldable electronic device 200, but also comprehensively adjusts the zoom ratio of the background object. You can. Meanwhile, in the above description, it is exemplified that the order of layers including objects is changed when the folding angle of the foldable electronic device 200 is 120 degrees. However, the angle at which the order of layers is changed varies depending on settings or user input. It may vary.
  • Figure 16 is a diagram illustrating an example of a change in the order of layers and a change in depth of a content screen according to an angle change according to an embodiment.
  • the processor 120 of the foldable electronic device 200 is in a first angular state 1601 (e.g., the first housing 210 and the second housing 210 of the foldable electronic device 200).
  • a first angular state 1601 e.g., the first housing 210 and the second housing 210 of the foldable electronic device 200.
  • the first content screen 1610 can be output on the display 260.
  • the first content screen 1610 may correspond to a state in which the first background object 1110b is placed as the lowest layer, the subject object 1110a is placed as the next highest layer, and the text object 1110c is placed as the highest layer. there is.
  • This content screen display state may be the same or similar to the display state of the first content screen 1510 previously described in FIG. 15.
  • the first background object 1110b may include an image whose sharpness is equal to or greater than a specified first value.
  • the processor 120 of the foldable electronic device 200 is in the second angle state 1603 (e.g., the angle between the first housing 210 and the second housing 220 of the foldable electronic device 200 is 120 degrees).
  • the second content screen 1630 can be output on the display 260.
  • the second content screen 1630 may correspond to a state in which the second background object 1110b_13 is placed as the lowest layer, the subject object 1110a is placed as the highest layer, and the text object 1110c is placed as the next highest layer. there is.
  • the layer corresponding to the subject object 1110a is placed on top of the layer corresponding to the text object 1110c, a part of the text display area corresponding to the text object 1110c is divided by the person display area.
  • the second background object 1110b_13 may have a sharpness value less than a specified second value that is lower than that of the first background object 1110b.
  • the second background object 1110b_13 may include a relatively blurrier image than the first background object 1110b.
  • the screen change function according to the angle change of the present device not only changes the layer order of the content screen displayed on the display according to the angle change of the foldable electronic device 200, but also comprehensively adjusts the change in clarity of the background object. You can. Meanwhile, in the above description, it is exemplified that the order of layers including objects is changed when the folding angle of the foldable electronic device 200 is 120 degrees. However, the angle at which the order of layers is changed varies depending on settings or user input. It may vary.
  • Figure 17 is a diagram illustrating another example of a screen change function according to an angle change according to an embodiment.
  • the processor 120 of the foldable electronic device 200 operates in a first angular state 1701 (e.g., between the first housing 210 and the second housing 220).
  • the first content screen 1710 can be output with the included angle being 180 degrees.
  • the first content screen 1710 may include a first subject object 1110a, a first background object 1110b, and a text object 1110c.
  • the processor 120 of the foldable electronic device 200 displays a second content screen (e.g., a state in which the angle between the first housing 210 and the second housing 220 is 150 degrees) in the second angle state 1703. 1730) can be output.
  • the second content screen 1730 may include, for example, a text object 1110c, a second subject object 1110a_3, and a second background object 1110b_3.
  • the second subject object 1110a_3 may be an object whose x-axis width of the first subject object 1110a is changed in response to the folding angle of the foldable electronic device 200.
  • the second background object 1110b_3 may be an object whose x-axis width of the first background object 1110b is changed in response to the folding angle of the foldable electronic device 200.
  • the text object 1110c may be maintained constant regardless of a change in the folding angle of the foldable electronic device 200.
  • the processor 120 of the foldable electronic device 200 uses at least one sensor (e.g., a gyro sensor, an acceleration sensor) to move the foldable electronic device 200 in at least one direction among up, down, left, right, front and back. Sensing information about the tilt motion can be collected.
  • the processor 120 of the foldable electronic device 200 may modify the first content screen 1710 and the second content screen 1730 that are currently being displayed based on the collected sensing information.
  • at least one of the x-axis width or the y-axis width of the displayed content screen changes according to the amount of tilt. It can be transformed.
  • the size applied may vary depending on the state of the screen of the content being displayed on the display 260 of the foldable electronic device 200.
  • the change in the first content screen 1710 e.g., the amount by which the left and right width or the x-axis width is reduced
  • the change in the second content screen 1730 may appear larger (or smaller) than the change in the second content screen 1730.
  • the tilt of the content screen displayed on the display 260 of the foldable electronic device 200 may change depending on the angle change, and the degree of change in tilt of the content screen may vary depending on the size of the folding angle.
  • the processor 120 may control the screen being displayed on the display 260 to display a screen change that tilts the screen to the left by the first size according to the occurrence of the left tilt of the first size.
  • the processor 120 controls the screen being displayed on the display 260 to display a screen change that tilts the screen to the left of a second size smaller than the first size according to the occurrence of left tilt of the first size. You can.
  • FIG. 18 is a diagram illustrating an example of replacement of at least some objects according to an angle change according to an embodiment
  • FIG. 19 is a diagram illustrating an example of replacement of at least some objects according to an angle change according to an embodiment. am.
  • the processor 120 of the foldable electronic device 200 operates in a first angular state 1801 (e.g., between the first housing 210 and the second housing 220).
  • the first content screen 1810 can be output with the included angle being 150 degrees.
  • the first content screen 1810 may include a first subject object 1110a_8 and a first background object 1110b_8a.
  • the processor 120 of the foldable electronic device 200 displays a second content screen (e.g., a state in which the angle between the first housing 210 and the second housing 220 is 180 degrees) in the second angle state 1802. 1830) can be printed.
  • the second content screen 1830 may include, for example, a first subject object 1110a_8 and a second background object 1110b_8b.
  • the second background object 1110b_8b may be a different object from the first background object 1110b_8a.
  • the processor 120 of the foldable electronic device 200 may obtain an image containing only a background object without a subject object from a folder (e.g., gallery) of the foldable electronic device 200 or an external electronic device. .
  • the processor 120 of the foldable electronic device 200 applies at least one of a depth change, a zoom change, and a layer order change to the first background object 1110b_8a until a certain angle change point, and then If the above change occurs, the first background object 1110b_8a may be removed and the second background object 1110b_8b may be output on the display 260.
  • the processor 120 of the foldable electronic device 200 changes from the second angle state 1802 back to the first angle state 1801, the processor 120 displays the first content screen 1810 in the second content screen 1830 output state. ) can return to the output state.
  • the processor 120 of the foldable electronic device 200 After outputting the second background object 1110b_8b in the second angle state 1802, while the angle is changed again to the first angle state 1801, the processor 120 of the foldable electronic device 200 At least one of depth change, zoom change, and layer order change may be applied to the second background object 1110b_8b. Additionally, while changing from the first angle state 1801 to a third angle state in which the folding angle is further reduced, the processor 120 of the foldable electronic device 200 changes the depth of the first background object 1110b_8a, At least one of zoom change and layer order change can be applied. Here, when a layer order change is applied, the order of at least part of the background object and at least part of the subject object may be changed.
  • the first background object 1110b_8a or the second background object 1110b_8b may be selected by user input or randomly selected by the processor 120.
  • the processor 120 of the foldable electronic device 200 operates in a first angle state 1901 (e.g., between the first housing 210 and the second housing 220).
  • the first content screen 1910 can be output with the included angle being 150 degrees.
  • the first content screen 1910 may include a first subject object 1110a_9a and a first background object 1110b_9.
  • the processor 120 of the foldable electronic device 200 displays a second content screen (e.g., a state in which the angle between the first housing 210 and the second housing 220 is 180 degrees) in the second angle state 1902. 1930) can be printed.
  • the second content screen 1930 may include, for example, a second subject object 1110a_9b and a first background object 1110b_9.
  • the second subject object 1110a_9b may be an object that includes a subject different from the first subject object 1110a_9a.
  • the processor 120 of the foldable electronic device 200 may acquire at least one subject object included in another content screen or acquire a subject from other content according to a user input.
  • the processor 120 of the foldable electronic device 200 removes the first subject object 1110a_9a and replaces the first background object 1110b_9 with the first subject object 1110a_9a.
  • the second subject object 1110a_9b may be output on the image.
  • the processor 120 may output the second subject object 1110a_9b so that at least part of the area overlaps the area where the first subject object 1110a_9a is located.
  • the processor 120 of the foldable electronic device 200 changes the depth, zoom, and layer of at least one of the first subject object 1110a_9a and the first background object 1110b_9 until a certain angle change point. While applying at least one of the order changes, if the change exceeds the specified angle, the first subject object 1110a_9a is removed, and the second subject object 1110a_9b and the first background object 1110b_9 are output to the display 260. You can.
  • the processor 120 changes the state of the first background object 1110b_9 to its original state (or original state, or depth change, zoom change, or layer order change) at the time the second subject object 1110a_9b is output to the display 260. It can be restored to the state before application.
  • the processor 120 of the foldable electronic device 200 changes from the second angle state 1902 back to the first angle state 1901, the first content screen 1910 is displayed in the second content screen 1930 output state. ) can return to the output state. During the return process, the processor 120 may output the first subject object 1110a_9a so that at least part of the area overlaps the area where the second subject object 1110a_9b is located.
  • the processor 120 of the foldable electronic device 200 After outputting the second subject object 1110a_9b in the second angle state 1902, while the angle is changed again to the first angle state 1901, the processor 120 of the foldable electronic device 200 At least one of a depth of field change, a zoom change, and a layer order change may be applied to at least one of the second subject object 1110a_9b and the first background object 1110b_9. Additionally, while changing from the first angle state 1901 to the third angle state in which the folding angle is further reduced, the processor 120 of the foldable electronic device 200 controls the first subject object 1110a_9a and the first background. At least one of a depth change, a zoom change, and a layer order change can be applied to the object 1110b_9.
  • the foldable electronic device 200 of the present disclosure includes a first housing and a second housing, a hinge structure for fastening the first housing and the second housing, and at least a structure on the first housing and the second housing.
  • a display on which a portion is placed at least one sensor that senses an angle between the first housing and the second housing, a memory disposed in at least one of the first housing and the second housing and storing a plurality of contents, and at least one processor functionally connected to the at least one sensor and the memory, wherein the at least one processor detects an angle or an angle change between the first housing and the second housing, and detects the angle or the angle change.
  • a plurality of objects included in a specific content among the plurality of contents stored in the memory are extracted, and at least one object among the extracted plurality of objects is changed to the angle or to another object according to the angle change. It can be set to output by replacing it with an object included in the content.
  • the screen providing method of the present disclosure includes the operation of detecting an angle or an angle change between a first housing and a second housing constituting a foldable electronic device, and when the angle or the angle change is more than a specified angle, the plurality of images stored in the memory
  • the method may include an operation of replacing at least one object among a plurality of objects included in a specific content among the contents with an object included in another content according to the angle or a change in the angle and outputting the object.
  • objects may be extracted from content or objects previously stored in memory may be acquired.
  • FIG. 20 is a diagram illustrating an example of a screen change according to a change in the angle of an auxiliary display according to an embodiment.
  • the foldable electronic device 200 may include a display 260, an auxiliary display 260b, and a second camera 270b, as shown.
  • the second camera 270b may be omitted from the foldable electronic device 200.
  • the display 260 may remain turned-off when the foldable electronic device 200 is opened less than a specified angle, and may be turned on when the foldable electronic device 200 is opened more than a specified angle.
  • the auxiliary display 260b can be turned on even when the foldable electronic device 200 is below a specified angle.
  • the foldable electronic device 200 may be arranged so that the first housing 210 and the second housing 220 face opposite directions in the first angle state 2001.
  • the processor 120 of the foldable electronic device 200 may turn on the auxiliary display 260b.
  • the processor 120 of the foldable electronic device 200 may turn on the auxiliary display 260b when an event of touching the auxiliary display 260b occurs.
  • the processor 120 of the foldable electronic device 200 may turn on the auxiliary display 260b when an input for holding the device occurs.
  • the processor 120 may output the first content screen 2010_1 to the auxiliary display 260b.
  • the first content screen 2010_1 may be a screen including a subject object 2010a and a text object 2010b.
  • the subject object 2010a may be placed in a higher layer than the text object 2010b.
  • at least a portion of the text display area included in the text object 2010b may be obscured by the subject object 2010a.
  • the foldable electronic device 200 may be in a second angle state 2002 in which the angle between the first housing 210 and the second housing 220 is greater than or equal to a certain angle.
  • the processor 120 may output a second content screen 2010_2 in which the layer order of objects being displayed on the auxiliary display 260b is changed.
  • the processor 120 changes the layer order of the subject object 2010a and the text object 2010b to create the second content screen 2010_2 in which the text object 2010b is placed on top of the subject object 2010a. Can be controlled to output.
  • the processor 120 when the foldable electronic device 200 changes from the second angle state 2002 to the first angle state 2001, the processor 120 generates a subject object 2010a and a text object 2010b. It can be controlled to output the first content screen (2010_1) with the layer order changed again. Alternatively, even if the foldable electronic device 200 changes from the second angle state 2002 to the first angle state 2001, the processor 120 changes the layer order of the subject object 2010a and the text object 2010b. Control can also be made to output the second content screen 2010_2 maintained in its previous state.
  • the text object 2010b is placed on top of the subject object 2010a and then the text object 2010b is placed below the subject object 2010a according to the angle change; however, the contents of this description It is not limited to this.
  • the processor 120 of the foldable electronic device 200 controls the text object 2010b to be placed below the subject object 2010a, and then controls the text object 2010b to be placed above the subject object 2010a according to the angle change. You may.
  • the state of the foldable electronic device 200 is a third angle state (e.g., a state in which the first housing 210 and the second housing 220 are further apart than the second angle state, e.g., 30 (or more than 45 degrees)
  • the processor 120 can control the auxiliary display 260b to output the screen being displayed on the auxiliary display 260b to the display 260.
  • the processor 120 may control the auxiliary display 260b to turn off or maintain the turn on state for a certain period of time.
  • FIG. 21 is a diagram illustrating an example of obtaining an angle change value from an external electronic device according to an embodiment.
  • a user can use the foldable electronic device 200 while wearing the wearable electronic device 2100.
  • the wearable electronic device 2100 and the foldable electronic device 200 can form a communication channel and transmit their status information to the other device.
  • a change in the state of the wearable electronic device 2100 (or a change in the rotation angle according to the rotation of the wrist of the user wearing the wearable electronic device 2100 or a change in the state in which the rotating bezel of the wearable electronic device 2100 rotates) is a change in the state of the wearable electronic device 2100. It is detected by a sensor disposed in the device 2100, and the detected sensor value may be transmitted to the foldable electronic device 200.
  • the wearable electronic device 2100 may have a state in which the first content screen 2101a, in which the first subject object 2110a is placed in an upper layer than the first text object 2110b, is output to the watch display 2160. .
  • the foldable electronic device 200 may output a second content screen 2102a in which the second subject object 2120a is placed in an upper layer than the second text object 2120b on the auxiliary display 260b.
  • the foldable electronic device 200 transmits the second content screen 2102a being output on the auxiliary display 260b to the wearable electronic device 2100, and displays the first content on the watch display 2160. It can support output as a screen 2101a.
  • the wearable electronic device 2100 may collect sensor information according to angle changes by the gesture of the user wearing the wearable electronic device 2100.
  • the wearable electronic device 2100 may provide the collected sensor information to the foldable electronic device 200.
  • the foldable electronic device 200 may change the second content screen 2102a being displayed on the auxiliary display 260b in response to the received sensor information.
  • the foldable electronic device 200 may output a third content screen 2101b in which the second subject object 2120a is placed in a lower layer than the second text object 2120b.
  • the foldable electronic device 200 may transmit information about the updated third content screen 2101b to the wearable electronic device 2100.
  • the wearable electronic device 2100 outputs a fourth content screen 2102b in which the first subject object 2110a is placed below the first text object 2110b, and displays the screen display state of the auxiliary display 260b. It can be controlled to match the (output state of the third content screen 2101b).
  • the content displayed on the watch display 2160 of the wearable electronic device 2100 is based on the second or third content screens 2102a and 2101b being output on the auxiliary display 260b of the foldable electronic device 200. Synchronization of the output first or fourth content screens 2101a and 2102b has been illustrated, but the content of this description is not limited thereto.
  • the foldable electronic device 200 can change the screen of the auxiliary display 260b by synchronizing the state of the content screen being displayed on the wearable electronic device 2100.
  • the wearable electronic device 2100 may update the content screen by directly processing sensor information and transmit the updated information to the foldable electronic device 200.
  • the wearable electronic device 2100 may share only sensor information and update the content screen for each device.
  • a change in depth of at least one object among objects based on a plurality of objects included in the content described in FIGS. 11 to 20 before the watch display 2160 of the wearable electronic device 2100 , at least one of changing the zoom ratio, changing the order of layers containing objects, and replacing them with other objects may be applied.
  • the electronic device displays content output on the display in response to the bezel rotation speed of the wearable electronic device 2100.
  • the speed of change can be varied.
  • the electronic device may receive angle change and change speed values and control content screen changes based on the received values.
  • the electronic device may speed up at least one change speed among depth change, zoom ratio change, and z-axis order change of layers to match the received change speed.
  • the electronic device may slow the change speed of at least one of depth change, zoom ratio change, and z-axis order change of layers according to the received change speed.
  • the foldable electronic device 200 of the present disclosure includes a first housing and a second housing, a hinge structure for fastening the first housing and the second housing, and at least a structure on the first housing and the second housing.
  • a display on which a portion is placed at least one sensor that senses an angle between the first housing and the second housing, a memory disposed in at least one of the first housing and the second housing and storing a plurality of contents, and at least one processor functionally connected to a communication circuit capable of communicating with an external electronic device, the at least one sensor, the communication circuit, and the memory, wherein the at least one processor is connected to the first housing and the second housing.
  • the electronic device of the present disclosure includes a communication circuit capable of communicating with an external electronic device, a display, and at least one processor functionally connected to the communication circuit and the display, wherein the at least one processor includes: Receives an angle change value from the external electronic device through the communication circuit, and when the angle change value is greater than or equal to a specified angle, extracts a plurality of objects included in the content being displayed on the display, and extracts the plurality of objects extracted. It may be set to change at least one of depth, zoom-in rate or zoom-out rate, and layer order of at least one object according to each change, and output content including the changed object to the display.
  • the screen provision method of the present disclosure includes the operation of receiving an angle change value from an external electronic device through a communication circuit, and when the angle change value is greater than or equal to a specified angle, the content being output to the display (or content to be output, stored in memory)
  • a content screen change for an angle change between 180 and 90 degrees is exemplified, but the screen transformation technology according to an angle change of the present disclosure outputs a content screen between 90 degrees and 5 degrees.
  • the same or similar application may be applied in the process as well.
  • a depth change function of a specific object described in FIG. 12, a zoom ratio change function described in FIG. 13, a layer order change function described in FIG. 14, a size or tilt change function of an object described in FIG. 15, and FIG. 18 and the function of replacing at least one object described in FIG. 19 has been described, respectively, but the electronic device of the present disclosure (e.g., at least one of the foldable electronic device 200 and the wearable electronic device 2100 or in FIGS. 1 to 8 At least one of the described electronic devices) may independently apply at least one function, a plurality of functions, or each function among the above-described functions.
  • the present description is not limited to embodiments related to a specific function, but is provided in a form that includes the driving operation of a processor of an electronic device that provides a specific function and the driving operation of a processor that can perform the various functions described above in complex form. It must be understood. Additionally, the processor driving operation described in a specific embodiment may be replaced or supplemented by the processor driving operation described in another embodiment. Accordingly, a specific processor operation in at least one of the above-described embodiments may be omitted or replaced by a processor operation described in another embodiment.
  • the screen control according to the angle change of the present device goes beyond a simple fun element and can provide an intuitive feeling by reflecting the change in depth according to the angle change.
  • this description can provide React-animation, Animated-affordance, and micro-animation.
  • the React-animation can provide immediate visual feedback and an interesting experience by providing animation for each user state
  • Animated-affordance provides an affordance element that helps with usability by inducing the user's next action
  • micro-animation An enjoyable user experience can be provided by expanding icon animation elements within the app (or applications).
  • This device can maximize animation effects by reflecting at least one of depth, zoom ratio, and z-axis layer order changes based on changes in physical angle.
  • an electronic device includes a first housing and a second housing, a hinge structure for fastening the first housing and the second housing, and at least a portion of the first housing and the second housing.
  • a display on which a display is placed at least one sensor that senses an angle between the first housing and the second housing, a memory disposed in at least one of the first housing and the second housing and storing a plurality of contents, the It may include at least one sensor and at least one processor functionally connected to the memory.
  • At least one processor detects an angle or an angle change between the first housing and the second housing, and when the angle or the angle change is greater than a specified angle, the at least one processor is included in a specific content among the plurality of contents stored in the memory. It may be set to extract a plurality of objects, change the depth of at least one object among the plurality of extracted objects according to the angle or a change in the angle, and output it differently from the previous display state.
  • the specific content may be set to be output on the home screen of the display.
  • At least one processor may extract a subject object and a background object from among a plurality of objects included in the specific content, and differently adjust the depth of the background object according to the angle change.
  • At least one processor may be set to adjust the depth of field of the background object to increase to lower the sharpness of the background object as the angle between the first housing and the second housing increases.
  • At least one processor may be set to differently adjust the zoom ratio for at least one of the subject object or the background object according to the angle change.
  • At least one processor may be set to replace the subject object with a subject object extracted from other content according to the angle change.
  • At least one processor may be set to replace the background object with a background object extracted from other content according to the angle change.
  • At least one processor may be set to extract a text object corresponding to a subject object, a background object, and time information from among a plurality of objects included in the specific content.
  • At least one processor may be set to fix the subject object and the text object and adjust the depth of the background object differently according to the angle change.
  • At least one processor adjusts the depth of the background object differently according to the angle change, and sets a display order of the layer including the subject object and the layer including the text object according to the angle change. You can control to change .
  • the at least one sensor includes a tilt detection sensor that detects a tilt of the foldable electronic device, and the at least one processor fixes the text object and detects the tilt detected by the tilt detection sensor.
  • the screen displayed on the display is tilted, and in the operation of tilting the screen, the degree of tilt of the screen is adjusted for the same tilt size according to the size of the angle between the first housing and the second housing. It can be set to do this differently.
  • At least one processor may be set to select the specific content to be output on the display among the plurality of contents according to a specified condition and extract a plurality of objects included in the selected specific content.
  • At least one processor receives at least one content from an external electronic device through a communication circuit and stores it in the memory, and selects specific content from among the at least one content received and stored in the memory, It can be set to separate a plurality of objects included in the selected specific content.
  • At least one processor may be configured to detect an angle change while the foldable electronic device changes from a folded state to an unfolded state.
  • At least one processor may be set to detect the angle change while the display is turned off.
  • the foldable electronic device further includes a communication circuit that forms a communication channel with an external electronic device, wherein at least one processor receives an angle change from the external electronic device, and operates the foldable electronic device according to the received angle information. It can be set to further adjust the depth of objects being output.
  • At least one processor may be set to transmit content with the depth adjusted additionally to the external electronic device.
  • the foldable electronic device further includes a communication circuit that forms a communication channel with an external electronic device, and at least one processor may be configured to transmit the angle change to the external electronic device.
  • the foldable electronic device further includes a communication circuit that forms a communication channel with an external electronic device, and at least one processor is set to transmit content including the object with the changed depth to the external electronic device. It can be.
  • the foldable electronic device further includes a communication circuit that forms a communication channel with an external electronic device, and at least one processor changes the layer order of each of the plurality of objects according to the angle change, It may be configured to transmit content including an object with the changed layer order and the changed depth to the external electronic device.
  • the screen providing method of the present disclosure includes detecting an angle or an angle change between a first housing and a second housing of a foldable electronic device, when the angle or the angle change is greater than or equal to a specified angle. , an operation of extracting a plurality of objects included in a specific content among the plurality of contents stored in the memory, changing the depth of at least one object among the plurality of extracted objects according to the angle or a change in the angle to display the previous It may include operations that output information differently from the status.
  • the screen provision method may be driven based on at least one operation corresponding to the processor operation of the electronic device described above.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, wearable devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one component from another, and to refer to that component in other respects (e.g., importance or order) is not limited.
  • One (e.g., first) component is said to be “coupled” or “connected” to another (e.g., second) component, with or without the terms “functionally” or “communicatively.”
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. Alternatively, one or more other operations may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Environmental & Geological Engineering (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 기재는 접이식 전자 장치의 제1 하우징과 제2 하우징 사이의 각도 또는 각도 변화를 검출하는 동작, 상기 각도 또는 상기 각도 변화가 지정된 각도 이상인 경우, 상기 메모리에 저장된 복수의 컨텐츠들 중 특정 컨텐츠에 포함된 복수개의 객체들을 추출하는 동작, 상기 추출된 복수개의 객체들 중 적어도 하나의 객체의 심도를 상기 각도 또는 상기 각도 변화에 따라 변경하여 이전 표시 상태와 다르게 출력하는 동작을 포함하는 접이식 전자 장치의 화면 제공 방법 및 이를 지원하는 전자 장치를 개시한다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

화면 제공 방법 및 이를 지원하는 전자 장치
본 문서에서 개시되는 다양한 실시 예들은, 전자 장치의 화면 제공에 관한 것이다.
휴대용 전자 장치는 구동에 따른 화면을 출력하기 위한 디스플레이를 포함할 수 있다. 상기 디스플레이의 휴대용 전자 장치의 일면 예컨대, 전면에 배치되고, 휴대용 전자 장치의 다양한 기능 운용에 따른 적어도 하나의 화면을 출력할 수 있다. 예컨대, 상기 디스플레이는 휴대용 전자 장치의 통신 기능 운용에 따른 통신 관련 화면을 출력할 수 있다. 상기 통신 관련 화면은 예컨대, 음성 통화 화면, 비디오 통화 화면, 인터넷 접속 화면과 같은 화면을 포함할 수 있다.
상기 휴대용 전자 장치는 휴대와 관련하여 그 크기가 제한될 수 있다. 이에 따라 디스플레이 역시 그 크기가 휴대가 가능할 정도의 크기로 제한될 수 있다. 휴대가 가능한 디스플레이는 제한된 화면만을 표시하고 있어 사용자에게 불편함을 줄 수 있다. 이를 보강하기 위하여, 종래에는 접을 수 있는 접이식 전자 장치가 판매되고 있다. 접이식 전자 장치는 디스플레이를 접을 수 있도록 마련되어, 바 타입 휴대용 전자 장치에 비하여 상대적으로 큰 표시 영역을 제공할 수 있다.
이하에서, 본 기재는, 접힐 수 있는 디스플레이를 포함하는 접이식 전자 장치의 화면 운용을 개시한다.
본 기재의 접이식 전자 장치에서는, 제1 하우징 및 제2 하우징, 상기 제1 하우징과 상기 제2 하우징을 체결하는 힌지 구조물, 상기 제1 하우징 및 제2 하우징 상에 적어도 일부가 놓이는 디스플레이, 상기 제1 하우징과 상기 제2 하우징 사이의 각도를 센싱하는 적어도 하나의 센서, 상기 제1 하우징 및 상기 제2 하우징 중 적어도 하나의 하우징 내에 배치되며 복수의 컨텐츠를 저장하는 메모리, 상기 적어도 하나의 센서 및 상기 메모리와 기능적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 상기 제1 하우징과 상기 제2 하우징 사이의 각도 또는 각도 변화를 검출하고, 상기 각도 또는 상기 각도 변화가 지정된 각도 이상인 경우, 상기 메모리에 저장된 복수의 컨텐츠들 중 특정 컨텐츠에 포함된 복수개의 객체들을 추출하고, 상기 추출된 복수개의 객체들 중 적어도 하나의 객체의 심도를 상기 각도 또는 상기 각도 변화에 따라 변경하여 이전 표시 상태와 다르게 출력하도록 설정된 접이식 전자 장치를 포함할 수 있다.
본 기재의 접이식 전자 장치의 화면 제공 방법은 접이식 전자 장치의 제1 하우징과 제2 하우징 사이의 각도 또는 각도 변화를 검출하는 동작, 상기 각도 또는 상기 각도 변화가 지정된 각도 이상인 경우, 상기 메모리에 저장된 복수의 컨텐츠들 중 특정 컨텐츠에 포함된 복수개의 객체들을 추출하는 동작, 상기 추출된 복수개의 객체들 중 적어도 하나의 객체의 심도를 상기 각도 또는 상기 각도 변화에 따라 변경하여 이전 표시 상태와 다르게 출력하는 동작을 포함할 수 있다.
도 1은, 일 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 2는 본 기재의 일 실시 예에 따른 각도 정보에 따라 조절되는 홈 화면 기술이 적용되는 제1 타입 전자 장치의 한 예를 나타낸 도면이다.
도 3은 본 기재의 일 실시 예에 따른 각도 정보에 따라 조절되는 홈 화면 기술이 적용되는 제2 타입 전자 장치의 한 예를 나타낸 도면이다.
도 4는 본 기재의 일 실시 예에 따른 각도 정보에 따라 조절되는 홈 화면 기술이 적용되는 제3 타입 전자 장치의 한 예를 나타낸 도면이다.
도 5는 일 실시 예에 따른 접이식 전자 장치의 각도 변화에 따른 화면 표시 제어와 관련한 구성의 한 예를 나타낸 도면이다.
도 6은 일 실시 예에 따른 접이식 전자 장치의 각도 변화에 따른 화면 표시 제어와 관련한 구성의 한 예를 나타낸 도면이다.
도 7은 일 실시 예에 따른 웨어러블 전자 장치의 각도 변화에 따른 화면 표시 제어와 관련한 구성의 한 예를 나타낸 도면이다.
도 8은 일 실시 예에 따른 접이식 전자 장치의 각도 변화에 따른 화면 표시 제어와 관련한 구성의 한 예를 나타낸 도면이다.
도 9는 일 실시 예에 따른 화면 제공과 관련한 접이식 전자 장치 운영 방법의 한 예를 나타낸 도면이다.
도 10은 일 실시 예에 따른 화면 제공과 관련한 접이식 전자 장치 운영 방법의 다른 예를 나타낸 도면이다.
도 11은 일 실시 예에 따른 이미지의 객체들의 분리에 관한 일 예를 나타낸 도면이다.
도 12는 일 실시 예에 따른 각도 변화에 따른 컨텐츠 화면의 심도 변화의 한 예를 나타낸 도면이다.
도 13은 일 실시 예에 따른 각도 변화에 따른 컨텐츠 화면의 줌 변화의 한 예를 나타낸 도면이다.
도 14는 일 실시 예에 따른 각도 변화에 따른 컨텐츠 화면의 레이어들의 순서 변화의 한 예를 나타낸 도면이다.
도 15는 일 실시 예에 따른 각도 변화에 따른 컨텐츠 화면의 레이어들의 순서 변화 및 줌 비율 적용의 예를 나타낸 도면이다.
도 16은 일 실시 예에 따른 각도 변화에 따른 컨텐츠 화면의 레이어들의 순서 변화 및 심도 변화의 한 예를 나타낸 도면이다.
도 17은 일 실시 예에 따른 각도 변화에 따른 화면 변화 기능의 다른 예를 나타낸 도면이다.
도 18은 일 실시 예에 따른 각도 변화에 따른 적어도 일부 객체의 교체에 관한 일 예를 나타낸 도면이다.
도 19는 일 실시 예에 따른 각도 변화에 따른 적어도 일부 객체의 교체에 관한 일 예를 나타낸 도면이다.
도 20은 일 실시 예에 따른 보조 디스플레이의 각도 변화에 따른 화면 변화의 한 예를 나타낸 도면이다.
도 21은 일 실시 예에 따른 각도 변화 값을 외부 전자 장치에서 획득하는 실시 예를 나타낸 도면이다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
접이식 전자 장치의 접힌 디스플레이를 이용하기 위해서 접힘 상태의 접이식 전자 장치를 펼침 상태로 변경할 필요가 있다. 또는, 접이식 전자 장치의 보관 및 휴대와 관련하여 펼침 상태의 전자 장치를 접힘 상태로 변경할 필요가 있다. 본 기재는 이러한 접이식 전자 장치의 접힘 상태에서 펼침 상태로의 변경 또는 펼침 상태에서 접힘 상태로의 변경 과정에서 사용자에게 보다 유용한 정보를 제공하거나 또는 사용자의 화면 집중도를 높이거나, 사용자에게 재미의 요소를 제공함으로써, 접이식 전자 장치 이용에 관한 흥미를 유지할 수 있도록 지원한다. 이외, 본 기재는 접이식 전자 장치의 상태 변경에 따른 각도 변화 예컨대, 복수의 하우징들 사이의 각도 변화를 검출하는데 착안하여, 각도가 변화될 수 있는 다른 전자 장치 예컨대, 웨어러블 전자 장치의 각도 변화를 수집하고, 수집된 가도 변화에 따른 화면 변화를 제공하는 실시 예를 제시한다.
도 1은, 일 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1은 본 기재에 적용되는 휴대용 전자 장치, 접이식 전자 장치, 또는 웨어러블 전자 장치 중 적어도 하나의 장치 구성에 대응될 수 있다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 본 기재의 일 실시 예에 따른 각도 정보에 따라 조절되는 홈 화면 기술이 적용되는 제1 타입 전자 장치의 한 예를 나타낸 도면이다.
도 2를 참조하면, 일 실시 예에 따른 제1 타입 전자 장치(200)는 제1 하우징(210)(또는 제1 하우징 부분), 제2 하우징(220)(또는 제2 하우징 부분), 플렉서블 디스플레이(260)(또는 디스플레이)를 포함할 수 있다. 일 실시 예에 따르면, 제1 타입 전자 장치(200)는 제1 카메라(270a)를 더 포함할 수 있으나, 제1 카메라(270a)는 생략될 수 있다. 일 실시 예에 따르면, 도시된 도면을 기준으로 제1 타입 전자 장치(200)는 세로 방향의 길이가 가로 방향의 길이보다 더 긴 형태의 플렉서블 디스플레이(260)를 포함할 수 있다. 상기 제1 타입 전자 장치(200)는 제1 하우징(210) 및 제2 하우징(220)을 연결하면서, 제1 하우징(210) 및 제2 하우징(220)이 가상의 접힘 영역(21)(또는 가상의 접힘선)을 기준으로 상하로 접힐 수 있도록 운동하는 적어도 하나의 힌지 구조물(또는 힌지부, 힌지 모듈)을 더 포함할 수 있다. 상기 힌지 구조물은 제1 하우징(210) 및 제2 하우징(220)을 연결하면서, 제1 하우징(210) 및 제2 하우징(220) 사이의 사잇각이 일정 각도를 유지될 수 있도록 지지할 수 있다. 상기 힌지 구조물을 기준으로 제1 하우징(210) 및 제2 하우징(220)은 접힘 상태(예: 플렉서블 디스플레이(260)의 제1 표시 영역(261)과 제2 표시 영역(262)이 서로 마주보도록 배치된 상태), 펼침 상태(예: 플렉서블 디스플레이(260)의 제1 표시 영역(261)과 제2 표시 영역(262)이 동일한 방향을 향하도록 배치된 상태)를 가질 수 있다. 또는, 제1 하우징(210)과 제2 하우징(220)은 일정 각도 예컨대, 30도, 45도, 90도, 130도, 150도로 거치된 상태(예: 플렉스 모드, 텐트 모드, 프리 스탑 힌지 모드)를 유지할 수 있다.
상기 제1 타입 전자 장치(200)는 상술한 제1 하우징(210), 제2 하우징(220) 및 플렉서블 디스플레이(260)와, 앞서 도 1에서 설명한 전자 장치(100)의 구성 중 적어도 일부 구성을 포함할 수 있다. 예컨대, 상기 제1 타입 전자 장치(200)는 센서 모듈(176)에 대응하는 적어도 하나의 센서 모듈(또는 센서부, 센서)(이하, 센서 모듈(176)으로 설명), 프로세서(120)에 대응하는 적어도 하나의 프로세서(이하, 프로세서(120)로 설명), 메모리(130)에 대응하는 적어도 하나의 메모리(이하, 메모리(130)로 설명)를 포함할 수 있다. 센서 모듈(176)은 제1 하우징(210) 및 제2 하우징(220)의 접힘 또는 펼침 상태와, 접힘 상태(예: 0도)와 펼침 상태(예: 180도) 사이의 일정한 거치 각도 상태를 센싱하여 각도 정보를 수집할 수 있다. 상기 제1 타입 전자 장치(200)의 프로세서(120)는 센서 모듈(176)이 수집한 각도 정보에 따라 플렉서블 디스플레이(260)에 출력할 홈 화면(또는 배경 화면, 잠금 화면)에 출력 중인 이미지의 적어도 일부를 변경할 수 있다. 상기 플렉서블 디스플레이(260)에 출력되는 홈 화면에 출력되는 이미지의 적어도 일부는 예컨대, 정지 영상 또는 동영상 중 어느 하나일 수 있다. 상기 프로세서(120)는 각도 정보가 갱신되는 경우, 홈 화면에 출력 중인 이미지의 적어도 일부를 추가로 변경하고, 변경된 이미지를 홈 화면에 출력할 수 있다. 일 실시 예에 따르면, 홈 화면은 플렉서블 디스플레이(260)의 제1 표시 영역(261)과 제2 표시 영역(262)에 걸쳐 하나의 이미지가 출력되거나, 제1 표시 영역(261)과 제2 표시 영역(262) 각각에 서로 다른 이미지가 출력될 수 있다. 본 기재에서 설명하는 각도 정보에 따른 홈 화면 출력 이미지의 조절은 예컨대, 제1 표시 영역(261)과 제2 표시 영역(262) 전체에 걸쳐 출력되는 이미지의 적어도 일부에 적용될 수 있다. 또는, 본 기재에서 설명하는 각도 정보에 따른 홈 화면 출력 이미지의 조절은 제1 표시 영역(261) 또는 제2 표시 영역(262)에 각각 출력 중인 이미지들 중 적어도 하나의 이미지에만 적용될 수 있다.
일 실시 예에 따르면, 프로세서(120)는 각도 정보가 수집되면, 플렉서블 디스플레이(260)에 출력될 수 있는 적어도 하나의 이미지를 저장하는 메모리(130)에서, 지정된 조건에 부합하는 적어도 하나의 이미지를 선택하고, 선택된 이미지에 포함된 복수개의 객체들을 출력할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 이미지에서 배경 객체 및 배경 객체 이외의 특징 객체를 추출할 수 있다. 상기 프로세서(120)는 추출된 복수개의 객체들 중 적어도 일부 객체들의 심도를 각도 정보에 따라 조절할 수 있다. 일 실시 예에 따르면, 상기 프로세서(120)는 추출된 복수개의 객체들 각각에 해당하는 레이어들 중 적어도 일부 레이어들의 순서를 변경할 수 있다. 일 실시 예에 따르면, 상기 프로세서(120)는 추출된 복수개의 객체들 중 적어도 일부 객체들의 줌 비율을 각도 정보에 따라 변경할 수 있다. 일 실시 예에 따르면, 상기 프로세서(120)는 추출된 복수개의 객체들 중 적어도 일부 객체들의 변화와 더불어 나머지 객체들 중 적어도 일부 객체를 각도 정보에 따라 홈 화면에서 제거할 수(또는 점진적으로 크기를 줄여서 제거하거나, 제거하는 객체의 객수를 늘릴 수) 있다.
상술한 동작을 기반으로, 상기 제1 타입 전자 장치(200)는 전자 장치의 접힘 상태에서 펼침 동작을 수행하거나 또는 펼침 상태에서 접힘 동작을 수행하는 동안 홈 화면의 적어도 일부 객체를 변경함으로써, 사용자 흥미를 제공하면서, 사용자가 확인이 필요한 정보 또는 사용자가 관심이 있는 정보의 집중도를 높일 수 있다.
도 3은 본 기재의 일 실시 예에 따른 각도 정보에 따라 조절되는 홈 화면 기술이 적용되는 제2 타입 전자 장치의 한 예를 나타낸 도면이다.
도 3을 참조하면, 일 실시 예에 따른 제2 타입 전자 장치(300)는 제1 하우징(310), 제2 하우징(320), 제1 디스플레이(360a)(또는 메인 디스플레이) 및 제2 디스플레이(360b)(또는 보조 디스플레이)를 포함할 수 있다. 일 실시 예에 따르면, 도시된 도면을 기준으로 제2 타입 전자 장치(300)는 세로 방향의 가상의 접힘선(31)을 기준으로 좌우로 접힐 수 있는 제1 디스플레이(360a)를 포함할 수 있다. 제2 디스플레이(360b)는 제1 디스플레이(360a)가 배치된 제1 하우징(310)(또는 제2 하우징(320))의 반대 방향에 배치될 수 있다. 상기 제2 타입 전자 장치(300)는 제1 하우징(310) 및 제2 하우징(320)을 연결하면서, 제1 하우징(310) 및 제2 하우징(320)이 가상의 접힘선(21)을 기준으로 상하로 접힐 수 있도록 운동하는 적어도 하나의 힌지 구조물(350)(또는 힌지부, 힌지 모듈)을 더 포함할 수 있다. 상기 힌지 구조물(350)은 제1 하우징(310) 및 제2 하우징(320)을 연결하면서, 제1 하우징(310) 및 제2 하우징(320) 사이의 사잇각이 일정 각도를 유지될 수 있도록 지지할 수 있다. 상기 힌지 구조물(350)은 예컨대, 적어도 하나의 힌지 모듈과 힌지 모듈을 감싸는 힌지 하우징을 포함할 수 있다. 앞서 도 2에서 설명한 제1 타입 전자 장치(200)의 힌지 구조물 역시 힌지 하우징과 적어도 하나의 힌지 모듈을 포함할 수 있다.
상기 제2 타입 전자 장치(300)는 상술한 제1 하우징(310), 제2 하우징(320), 제1 디스플레이(360a), 제2 디스플레이(360b)와, 앞서 도 1에서 설명한 전자 장치(100)의 구성 중 적어도 일부 구성을 포함할 수 있다. 예컨대, 상기 제2 타입 전자 장치(300)는 센서 모듈(176)에 대응하는 적어도 하나의 센서 모듈(또는 센서부, 센서)(이하, 센서 모듈(176)으로 설명), 프로세서(120)에 대응하는 적어도 하나의 프로세서(이하, 프로세서(120)으로 설명), 메모리(130)에 대응하는 적어도 하나의 메모리(이하, 메모리(130)로 설명)를 포함할 수 있다. 이러한 제2 타입 전자 장치(300)는 앞서 도 2에서 설명한 제1 타입 전자 장치(200)와 비교하여 접히는 방향과 외형 및 디스플레이의 크기가 다를 뿐 실질적으로 본 기재에서 설명하는 각도 정보에 따른 홈 화면 조절 기능이 적용될 수 있다. 예컨대, 제2 타입 전자 장치(300)는 앞서 도 2와 관련한 제1 타입 전자 장치(200)의 프로세서(120) 동작과 동일 또는 유사한 동작을 통해 각도 정보에 따른 홈 화면 조절하는 프로세서(120)을 포함할 수 있다. 제2 타입 전자 장치(300)와 유사하게 제1 타입 전자 장치(200)는 플렉서블 디스플레이가 배치된 전면과 반대의 후면(예: 제1 하우징(210) 또는 제2 하우징(220))의 적어도 일부에 배치되는 보조 디스플레이를 더 포함할 수 있다.
상기 제1 디스플레이(360a)는 제1 표시 영역(361) 및 제2 표시 영역(362)을 포함하고, 제1 표시 영역(361) 및 제2 표시 영역(362)은 가상의 접힘선(31)을 통해 연결될 수 있다. 일 실시 예에 따르면, 제1 디스플레이(360a)는 제1 표시 영역(361)과 제2 표시 영역(362) 전체에 걸쳐 하나의 이미지를 출력할 수 있다. 일 실시 예에 따르면, 제1 디스플레이(360a)는 제1 표시 영역(361)과 제2 표시 영역(362) 각각에 서로 다른 이미지를 출력할 수 있다. 상기 제2 타입 전자 장치(300)의 프로세서(120)는 제1 디스플레이(360a) 전체 걸쳐 출력되는 하나의 이미지에 포함된 복수개의 객체들 중 적어도 일부 객체의 변화를 각도 정보에 따라 조절할 수 있다. 일 실시 예에 따르면, 제2 디스플레이(360b)에 복수개의 객체가 포함된 제1 이미지가 출력되고, 제1 이미지는 각도 정보에 대응하여 변화될 수 있다. 제2 타입 전자 장치(300)의 각도 정보가 지정된 각도 이상(예: 30도)이 되는 경우 제2 디스플레이(360b)는 제1 이미지 출력을 중지(또는 턴-오프)하고, 제1 디스플레이(360a)는 각도 정보에 따른 제2 이미지를 출력하면서, 각도 변화에 따라 변화된 제2 이미지를 출력할 수 있다.
일 실시 예에 따르면, 도시된 바와 같이, 상기 제2 타입 전자 장치(300)는 다양한 거치 각도를 유지할 수 있다. 일 실시 예에 따르면, 제2 타입 전자 장치(300)는 펼침 상태(301), 제1 각도 거치 상태(302)(제1 하우징(310)과 제2 하우징(320) 사이의 각도가 120도를 이루는 각도), 제2 각도 거치 상태(303)(제1 하우징(310)과 제2 하우징(320) 사이의 각도가 45도를 이루는 각도), 제3 각도 거치 상태(304)(제1 하우징(310)과 제2 하우징(320) 사이의 각도가 90도를 이루는 각도)를 가질 수 있다. 또한, 제2 타입 전자 장치(300)는 보다 다양한 거치 각도를 유지할 수도 있다. 상기 제2 타입 전자 장치(300)의 프로세서(120)는 다양한 거치 각도 상태들(301, 302, 303, 304)에 해당하는 각도 정보를 수신하면, 각도 정보에 따라 홈 화면에 출력되는 이미지의 객체들 중 적어도 일부 객체들의 변화를 조절할 수 있다.
도 4는 본 기재의 일 실시 예에 따른 각도 정보에 따라 조절되는 홈 화면 기술이 적용되는 제3 타입 전자 장치의 한 예를 나타낸 도면이다.
도 4를 참조하면, 일 실시 예에 따른 제3 타입 전자 장치(400)는 제1 하우징(410), 제2 하우징(420), 제3 하우징(430), 제1 힌지 구조물(450a), 제2 힌지 구조물(450b), 제1 디스플레이(460a), 제2 디스플레이(460b), 제3 디스플레이(460c)를 포함할 수 있다. 일 실시 예에 따르면, 상기 제1 디스플레이(460a), 제2 디스플레이(460b), 제3 디스플레이(460c) 중 적어도 2개는 서로 연결될 수 있다. 예컨대, 제1 디스플레이(460a) 및 제2 디스플레이(460b)가 연결되거나, 제2 디스플레이(460b) 및 제3 디스플레이(460c)가 연결될 수 있다. 상기 제1 디스플레이(460a)와 제2 디스플레이(460b)는 제1 힌지 구조물(450a)을 기준으로 바깥쪽으로 접히는 아웃 폴딩 상태를 가질 수 있다. 아웃 폴딩 상태일 때, 상기 제1 디스플레이(460a)와 제2 디스플레이(460b)는 서로 반대된 방향을 향하도록 배치될 수 있다. 상기 제2 디스플레이(460b) 및 제3 디스플레이(460c)는 제2 힌지 구조물(450b)을 기준으로 안쪽으로 접히는 인 폴딩 상태를 가질 수 있다. 인 폴딩 상태일 때, 제2 디스플레이(460b)과 제3 디스플레이(460c)를 서로 마주보도록 배치될 수 있다. 상술한 제3 타입 전자 장치(400)는 인 폴딩 및 아웃 폴딩 동작을 각각 수행함에 따라, 제1 디스플레이(460a)가 전면 방향으로 배치되면서 z자 형태로 접힐 수 있다.
일 실시 예에 따르면, 상기 제3 타입 전자 장치(400)는 제1 힌지 구조물(450a) 및 제2 힌지 구조물(450b) 일측 또는 제1 하우징(410), 제2 하우징(420) 및 제3 하우징(430) 내측에 전자 장치의 접힘을 검출할 수 있는 적어도 하나의 센서를 포함할 수 있다. 상기 적어도 하나의 센서는 예컨대, 인 폴딩 동작에 따른 각도 변화를 검출할 수 있다. 또한, 적어도 하나의 센서는 아웃 폴딩 동작에 따른 각도 변화를 검출할 수 있다. 상기 적어도 하나의 센서는 앞서 도 1에서 설명한 센서 모듈(176)에 대응할 수 있으며, 제3 타입 전자 장치(400)는 앞서 도 1에서 설명한 프로세서(120)에 대응하는 적어도 하나의 프로세서(이하, 프로세서(120)으로 설명), 메모리(130)에 대응하는 적어도 하나의 메모리(이하, 메모리(130)로 설명)를 더 포함할 수 있다. 이러한 제3 타입 전자 장치(400)는 앞서 도 2 또는 도 3에서 설명한 제1 타입 전자 장치(200) 또는 제2 타입 전자 장치(300)와 유사하게 본 기재에서 설명하는 각도 변화 정보에 따른 홈 화면 조절 기능이 적용될 수 있다. 예컨대, 상기 적어도 하나의 센서를 포함하는 센서 모듈(160)로부터 전달된 각도 변화 값은 제3 타입 전자 장치(400)에 배치된 프로세서(120)에 전달될 수 있고, 제3 타입 전자 장치(400)의 프로세서(120)는 각도 변화 값에 따라, 제1 디스플레이(460a), 제2 디스플레이(460b) 및 제3 디스플레이(460c)에 출력된 홈 화면의 적어도 일부를 변경할 수 있다. 일 실시 예에 따르면, 제3 타입 전자 장치(400)의 프로세서(120)는 아웃 폴딩에 대응하여, 제1 디스플레이(460a) 및 제2 디스플레이(460b)에 출력된 이미지에 포함된 복수개의 객체들의 심도를 다르게 출력할 수 있다. 또는, 제3 타입 전자 장치(400)의 프로세서(120)는 인 폴딩에 대응하여, 제2 디스플레이(460b) 및 제3 디스플레이(460c)에 출력된 이미지에 포함된 복수개의 객체들의 심도를 다르게 출력할 수 있다. 제2 디스플레이(460b)에 출력되는 홈 화면은 아웃 폴딩 또는 인 폴딩 상황에 대응하여 모두 변경된 이미지를 출력하거나, 또는 아웃 폴딩 또는 인 폴딩 상황과 관련 없이 고정 이미지를 출력할 수도 있다. 또는, 제2 디스플레이(460b)의 표시 영역이 복수개로 분리되고, 일부 표시 영역은 제1 디스플레이(460a)와 함께 아웃 폴딩에 대응하여 변경된 화면을 출력하고, 나머지 일부 표시 영역은 제3 디스플레이(460c)와 함께 인 폴딩에 대응하여 변경된 화면을 출력할 수 있다.
이상에서 설명한 바와 같이, 본 기재의 전자 장치의 각도 변화 값에 대응하여 디스플레이에 출력되는 이미지의 적어도 일부를 변경하여 출력하는 기능은 하우징들의 크기와 연결 형태 또는 개수, 디스플레이의 개수나 형태 등에 제한되지 않을 수 있다.
상기 도 1 내지 도 4에서 설명한 전자 장치의 적어도 하나의 센서는 예컨대, 자이로 센서, 가속도 센서, 그립 센서, 힌지 이벤트 수집 센서로서 홀 센서, 베젤 회전 검출 센서 중 적어도 하나를 포함할 수 있다.
도 5는 일 실시 예에 따른 접이식 전자 장치의 각도 변화에 따른 화면 표시 제어와 관련한 구성의 한 예를 나타낸 도면이다. 설명에 앞서, 도 5에서 설명한 접이식 전자 장치(500)는 앞서 도 1 내지 도 4에서 설명한 전자 장치들 중 적어도 하나에 대응할 수 있다. 도 5를 참조하면, 상기 접이식 전자 장치(500)는 예컨대, 디스플레이(예: 도 1 내지 도 4의 디스플레이들 중 적어도 하나의 디스플레이, 이하 디스플레이(160)로 기재)의 화면 제어와 관련한 적어도 하나의 프로세서(501)(예: 도 1에서 설명한 프로세서(120))를 포함할 수 있다. 상기 적어도 하나의 프로세서(501)는 디스플레이(160)에 출력되는 데이터 처리를 위한 제1 프로세서(510) 및 홈 화면 제어와 관련한 신호 처리를 수행하는 제2 프로세서(520)를 포함할 수 있다. 여기서, 상기 제1 프로세서(510) 및 제2 프로세서(520) 중 적어도 하나는 하드웨어 프로세서로 구현되거나 또는 소프트웨어 모듈로 구현될 수 있다.
상기 제1 프로세서(510)는 제2 프로세서(520)로부터 전달된 정보를 토대로 디스플레이(160)에 출력할 홈 화면 이미지를 랜더링하여 출력할 수 있다. 이와 관련하여, 제1 프로세서(510)는 제1 랜더링 모듈(511), 액티비티 모듈(512) 및 리소스 처리 모듈(513)을 포함할 수 있다.
상기 액티비티 모듈(512)(또는 액티비티 서비스 모듈)은 화면 구성을 위한 메인 서비스 모듈로서, 데이터 관리 및 사용자 입력에 대응하는 동작 수행을 처리할 수 있다. 일 실시 예에 따르면, 상기 액티비티 모듈(512)은 제2 프로세서(520)의 홈 화면 서비스 모듈(522)로부터 홈 화면 이미지 및 각도 변화 값에 대한 정보를 수신하고, 각도 변화 값을 홈 화면 이미지에 적용한 이미지를 생성(또는 합성)하거나 이미지 생성을 제어할 수 있다. 이 동작에서, 홈 화면 서비스 모듈(522)이 홈 화면에 사용할 이미지의 메모리 주소 값을 제공한 경우, 액티비티 모듈(512)은 상기 리소스 처리 모듈(513)을 통해 홈 화면에 사용할 이미지를 메모리 제어부(523)에 요청하여 메모리에서 획득할 수 있다. 액티비티 모듈(512)은 홈 화면 이미지와 각도 변화 값을 제1 랜더링 모듈(511)에 전달할 수 있다. 또는, 액티비티 모듈(512)은 각도 변화에 따라 변경되는 홈 화면 이미지를 생성하고, 생성된 이미지를 제1 랜더링 모듈(511)에 전달할 수 있다. 또는, 액티비티 모듈(512)은 각도 변화에 따른 홈 화면 이미지 생성을 제2 프로세서(520)의 홈 화면 랜더러(521)에 요청할 수도 있다. 상기 제1 랜더링 모듈(511)는 제2 프로세서(520)의 홈 화면 랜더러(521)로부터 홈 화면 출력을 요청 받으면, 액티비티 모듈(512)로부터 전달된 각도 변화 값에 따라 변경된 홈 화면 이미지를 랜더링하고, 랜더링된 홈 화면 이미지를 디스플레이(160)에 출력할 수 있다.
상기 제2 프로세서(520)는 예컨대, 제1 센서 매니저(524), 제1 장치 매니저(525), 홈 화면 서비스 모듈(522), 홈 화면 랜더러(521) 및 메모리 제어부(523)를 포함할 수 있다. 상기 제1 센서 매니저(524), 제1 장치 매니저(525), 홈 화면 서비스 모듈(522), 홈 화면 랜더러(521) 및 메모리 제어부(523) 중 적어도 일부는 하드웨어 구성으로 마련되거나 또는 소프트웨어 모듈로 구현될 수 있다.
상기 제1 센서 매니저(524)는 접이식 전자 장치(500)에 배치된 적어도 하나의 센서들의 활성화 및 비활성화를 제어할 수 있다. 일 실시 예에 따르면, 상기 제1 센서 매니저(524)는 접이식 전자 장치(500)에 포함된 복수개의 하우징들의 접힘 또는 펼침 과정에서 발생하는 각도 변화 값을 수집하는 센서(예: 홀 센서)의 전원 공급 및 센서의 운용을 제어할 수 있다.
상기 제1 장치 매니저(525)는 전자 장치(예: 접이식 전자 장치)에서 획득되는 센서 정보, 배터리 정보를 수집하고, 수집된 정보를 액티비티 모듈(512) 또는 홈 화면 서비스 모듈(522) 중 적어도 하나에 전달할 수 있다. 일 실시 예에 따르면, 제1 장치 매니저(525)는 상기 제1 센서 매니저(524)에 의해 구동되는 적어도 하나의 센서들의 센싱 정보를 수집할 수 있다. 일 실시 예에 따르면, 상기 제1 장치 매니저(525)는 각도 변화 값을 수집하는 센서로부터 접이식 전자 장치(500)의 각도 변화 값을 수집할 수 있다. 상기 제1 장치 매니저(525)는 수집된 각도 변화 값을 제1 프로세서(510)의 액티비티 모듈(512) 및 홈 화면 서비스 모듈(522)에 전달할 수 있다.
상기 홈 화면 서비스 모듈(522)은 제1 장치 매니저(525)로부터 전달된 각도 변화 값을 확인하고, 각도 변화 값이 사전 정의된 일정 값 이상인 경우 홈 화면을 출력하도록 홈 화면 랜더러(521)에 요청하는 한편, 액티비티 모듈(512)에 홈 화면 출력을 안내할 수 있다. 홈 화면 출력 안내 동작에서, 상기 홈 화면 서비스 모듈(522)은 디스플레이에 출력할 홈 화면 이미지의 주소 정보와, 각도 변화 값을 액티비티 모듈(512)에 전달할 수 있다. 이 과정에서, 홈 화면 서비스 모듈(522)은 사전 정의된 룰에 따라 홈 화면으로 출력할 적어도 하나의 이미지(예: 정지 영상 또는 동영상)의 주소 값을 접이식 전자 장치의 메모리에서 획득하여 액티비티 모듈(512)에 전달할 수 있다.
상기 메모리 제어부(523)는 화면 구성에 필요한 이미지 또는 리소스를 저장하는 장치(예: 메모리)를 제어하여, 화면 구성에 필요한 이미지 또는 리소스(예: 컨텐츠)를 획득할 수 있다. 일 실시 예에 따르면, 상기 메모리 제어부(523)는 홈 화면 서비스 모듈(522)이 홈 화면으로 사용할 이미지의 주소 값을 선택할 수 있도록 지원할 수 있다. 예컨대, 홈 화면 서비스 모듈(522)로부터 홈 화면에 사용할 이미지의 주소 값 제공을 요청받으면, 메모리 제어부(523)는 사전 정의된 특정 이미지에 대한 주소 값을 홈 화면 서비스 모듈(522)에 제공하거나 또는, 홈 화면으로 사용할 수 있는 복수개의 이미지들 중 어느 하나의 이미지를 랜덤하게 또는 사전 정의된 조건에 따라 선택하고, 선택 이미지의 주소 값을 홈 화면 서비스 모듈(522)에 제공할 수 있다.
상기 홈 화면 랜더러(521)는 홈 화면 서비스 모듈(522)로부터 홈 화면에 사용할 이미지 및 각도 변화 값을 수신하고, 수신된 값들을 적용하여 각도 변화에 따라 변화하는 홈 화면 이미지를 생성(또는 합성)할 수 있다. 이 동작에서, 상기 홈 화면 랜더러(521)는 이미지에 포함된 복수개의 객체를 출력하고, 복수개의 객체들을 각도 변화 값에 대응하여 재배치하여 각도 변화에 따른 홈 화면 이미지를 생성할 수 있다. 상기 홈 화면 랜더러(521)는 생성된 각도 변화에 따른 홈 화면 이미지를 제1 프로세서(510)에 전달할 수 있다.
한편, 상술한 설명에서는, 제1 프로세서(510) 및 제2 프로세서(520)가 각도 변화에 따른 홈 화면 이미지를 생성하여 출력하는 동안 데이터 처리를 수행하는 동작들을 설명하였으나, 본 기재의 내용이 이에 한정되는 것은 아니다. 예컨대, 상기 접이식 전자 장치(500)는 각도 변화(또는 하우징들의 사잇 각 변화)를 제1 장치 매니저(525)를 이용하여 수집하고, 액티비티 모듈(512)에 전달하면, 액티비티 모듈(512)이 홈 화면에 사용할 이미지를 획득하고, 각도 변화에 따라 변화되는 홈 화면 이미지를 생성하여 제1 랜더링 모듈(511) 또는 홈 화면 랜더러(521)에 전달하여 랜더링한 후, 디스플레이(160)에 출력하기 위한 구성만을 포함할 수도 있다. 이와 관련하여, 도 6을 참조하여 설명하기로 한다.
도 6은 일 실시 예에 따른 접이식 전자 장치의 각도 변화에 따른 화면 표시 제어와 관련한 구성의 한 예를 나타낸 도면이다. 도 6에 도시된 접이식 전자 장치의 구성은 홈 화면 이미지의 출력과 관련한 도 5의 접이식 전자 장치의 프로세서 구성 중 일부 구성을 포함한 것으로, 도시된 구성들은 도 5에서 설명한 다른 구성들로 대체되거나 또는 보다 세분화된 구성으로 분리될 수도 있다.
도 5 및 도 6을 참조하면, 531 동작에서, 접이식 전자 장치(500)의 제1 메모리(523a)는 지정된 조건에 대응하여 홈 화면 이미지로 사용할 컨텐츠를 액티비티 모듈(512)에 전달할 수 있다. 상기 제1 메모리(523a)는 예컨대, 앞서 도 5에서 설명한 메모리 제어부(523) 제어에 의해 액세스되고 적어도 하나의 홈 화면 이미지를 제공할 수 있다. 상기 액티비티 모듈(512)은 앞서 도 5에서 설명한 액티비티 모듈(512)에 대응될 수 있다. 상기 제1 메모리(523a)는 예컨대, 도 5에서 설명한 제1 장치 매니저(525)가 수집한 각도 변화가 지정된 값 이상인 경우, 사전 정의된 이미지 또는 랜덤하게 선택된 이미지를 액티비티 모듈(512)에 전달할 수 있다. 또는, 상기 제1 메모리(523a)는 제1 디스플레이(560)(예: 앞서 도 1 내지 도 5에서 설명한 디스플레이들(예: 160, 260, 360a, 360b, 460a, 460b, 460c) 중 적어도 하나)가 턴-오프 상태에서 턴-온 상태로 변경되는 경우 홈 화면으로 사용할 이미지를 액티비티 모듈(512)에 전달할 수 있다.
533 동작에서, 제1 장치 매니저(525)는 각도 정보를 액티비티 모듈(512)에 전달할 수 있다. 이와 관련하여, 제1 장치 매니저(525)는 접이식 전자 장치(500)의 각도 변화를 검출할 수 있는 센서(또는 도 5의 제1 센서 매니저(524))로부터 각도 변화 값을 수신할 수 있다.
535 동작에서, 액티비티 모듈(512)은 복수의 분리된 객체 정보 및 배치 정보를 제1 랜더링 모듈(511)에 전달할 수 있다. 이와 관련하여, 액티비티 모듈(512)은 홈 화면에 포함된 복수개의 객체를 추출하고, 추출된 복수개의 객체들의 심도를 각도 정보에 대응하여 재배치할 수 있다. 또는, 액티비티 모듈(512)은 각각의 복수개의 객체들 및 복수개의 객체들의 심도 정보 또는 복수개의 객체들이 배치된 복수개의 레이어들의 순서 정보를 제1 랜더링 모듈(511)에 전달할 수 있다.
537 동작에서, 상기 제1 랜더링 모듈(511)은 수신된 정보들에 대한 랜더링을 수행할 수 있다. 예컨대, 제1 랜더링 모듈(511)은 복수개의 객체들에 대한 심도를 적용하여 제1 디스플레이(560)에 출력할 랜더링된 홈 화면 이미지를 생성(또는 합성)할 수 있다. 여기서 랜더링된 홈 화면 이미지는 각도 변화 값에 따라 적어도 일부 객체의 심도 또는 레이어들의 순서가 변경된 것으로서, 제1 메모리(523a)에 저장된 원본 이미지와는 다른 이미지가 될 수 있다.
539 동작에서 제1 랜더링 모듈(511)은 랜더링된 컨텐츠를 제1 디스플레이(560)에 제공할 수 있다. 예컨대, 랜더링된 컨텐츠는 제1 디스플레이(560)의 프레임 메모리에 저장될 수 있다. 541 동작에서, 제1 디스플레이(560)는 랜더링 컨텐츠를 출력할 수 있다.
상술한 531 동작 내지 541 동작 중 적어도 일부 동작은 접이식 전자 장치(500)의 각도 변화에 대응하여 지속적으로 수행될 수 있다. 또는, 상기 531 동작은 홈 화면 이미지 선택을 위하여 지정된 시간 또는 지정된 홈 화면 이미지 교체 이벤트가 발생하기 이전 동안 1회만 수행되고, 상술한 533 동작 내지 541 동작 중 적어도 일부 동작은 접이식 전자 장치(500)의 각도 변화에 대응하여 지속적으로 수행될 수 있다.
도 7은 일 실시 예에 따른 웨어러블 전자 장치의 각도 변화에 따른 화면 표시 제어와 관련한 구성의 한 예를 나타낸 도면이다.
도 7을 참조하면, 상기 웨어러블 전자 장치(600)는 예컨대, 디스플레이(예: 도 1의 디스플레이(160), 이하 디스플레이(160)로 기재)의 화면 제어와 관련한 적어도 하나의 프로세서(120)(예: 도 1에서 설명한 프로세서(120))를 포함할 수 있다. 상기 적어도 하나의 프로세서(120)는 디스플레이(160)에 출력되는 데이터 처리를 위한 제1 프로세서(610) 및 와치 화면 제어와 관련한 신호 처리를 수행하는 제2 프로세서(620)를 포함할 수 있다. 여기서, 상기 제1 프로세서(610) 및 제2 프로세서(620) 중 적어도 하나는 하드웨어 프로세서로 구현되거나 또는 소프트웨어 모듈로 구현될 수 있다.
상기 제1 프로세서(610)는 제2 프로세서(620)로부터 전달된 정보를 토대로 디스플레이(160)에 출력할 와치 화면 이미지를 랜더링하여 출력할 수 있다. 이와 관련하여, 제1 프로세서(610)는 제2 랜더링 모듈(611), 와치 서비스 모듈(612) 및 리소스 처리 모듈(613)을 포함할 수 있다. 상기 와치 서비스 모듈(612)은 제2 프로세서(620)로부터 와치 화면 이미지 및 각도 변화 값에 대한 정보를 수신하고, 각도 변화 값과 와치 화면 이미지를 통합한 이미지를 생성하거나 통합 이미지를 생성하도록 제어할 수 있다. 이 동작에서 와치 서비스 모듈(612)은 리소스 처리 모듈(613)을 통해 와치 화면에 사용할 이미지를 메모리 제어부(623)에 요청하여 획득할 수 있다. 상기 와치 화면 이미지는 웨어러블 전자 장치(600)에 저장되어 있지 않고, 웨어러블 전자 장치(600)와 연계된 외부 전자 장치에 저장되어 있을 수 있다. 이 경우, 리소스 처리 모듈(613)은 와치 서비스 모듈(612)의 요청에 대응하여 외부 전자 장치에 저장된 와치 화면 이미지를 획득하도록 메모리 제어부(623)에 요청할 수 있다. 와치 서비스 모듈(612)은 와치 화면 이미지와 각도 변화 값을 제2 랜더링 모듈(611)에 전달할 수 있다. 또는, 와치 서비스 모듈(612)은 각도 변화에 따라 변경되는 와치 화면 이미지를 생성하고, 생성된 이미지를 제2 랜더링 모듈(611)에 전달할 수 있다. 또는, 와치 서비스 모듈(612)은 각도 변화에 따른 와치 화면 이미지 생성을 제2 프로세서(620)의 와치 화면 랜더러(621)에 요청할 수도 있다. 상기 제2 랜더링 모듈(611)는 각도 변화 값에 따라 변경된 와치 화면 이미지를 수신하면, 수신된 이미지를 랜더링하고, 랜더링된 와치 화면 이미지를 디스플레이(160)에 출력할 수 있다.
상기 제2 프로세서(620)는 예컨대, 제2 센서 매니저(624), 제2 장치 매니저(625), 와치 화면 서비스 모듈(622), 와치 화면 랜더러(621) 및 메모리 제어부(623)를 포함할 수 있다. 상기 제2 센서 매니저(624), 제2 장치 매니저(625), 와치 화면 서비스 모듈(622), 와치 화면 랜더러(621) 및 메모리 제어부(623) 중 적어도 일부는 하드웨어 구성으로 마련되거나 또는 소프트웨어 모듈로 구현될 수 있다.
상기 제2 센서 매니저(624)는 웨어러블 전자 장치(600)에 포함된 적어도 하나의 센서의 운용을 관리할 수 있다. 예컨대, 상기 제2 센서 매니저(624)는 웨어러블 전자 장치(600)에 배치된 회동 가능하게 마련된 베젤의 회전 각도를 검출할 수 있는 센서를 관리할 수 있다.
상기 제2 장치 매니저(625)는 상기 제2 센서 매니저(624)로부터 상기 웨어러블 전자 장치(600)의 회전 베젤의 회전에 대응하는 각도 변화 값을 수신할 수 있다. 상기 제2 장치 매니저(625)는 수신된 각도 변화 값을 와치 화면 서비스 모듈(622) 또는 와치 서비스 모듈(612)에 전달할 수 있다.
일 실시 예에 따르면, 상기 와치 화면 서비스 모듈(622), 와치 화면 랜더러(621) 및 메모리 제어부(623) 중 적어도 일부는 앞서 도 5에서 설명한 홈 화면 서비스 모듈(522), 홈 화면 랜더러(521) 및 메모리 제어부(523)와 동일 또는 유사한 구성일 수 있다. 이에 대응하여, 와치 화면 서비스 모듈(622), 와치 화면 랜더러(621) 및 메모리 제어부(623) 중 적어도 하나는 앞서 도 5에서 설명한 각 구성들의 역할과 기능을 가질 수 있다. 일 예로서, 와치 화면 서비스 모듈(622)은 제2 장치 매니저(625)가 전달한 각도 변화 값을 홈 화면 이미지 변화에 적용하도록 제어할 수 있으며, 와치 화면 랜더러(621)는 변화된 홈 화면 이미지 생성을 처리할 수 있다.
한편, 상술한 설명에서는, 제1 프로세서(610) 및 제2 프로세서(620)가 웨어러블 전자 장치(600)의 각도 변화에 따른 와치 화면 이미지를 생성하여 출력하는 동안 데이터 처리를 수행하는 동작들을 설명하였으나, 본 기재의 내용이 이에 한정되는 것은 아니다. 예컨대, 상기 웨어러블 전자 장치(600)는 각도 변화(예: 회전 베젤의 회전에 따른 각도 변화) 제2 장치 매니저(625)를 이용하여 수집하고, 와치 서비스 모듈(612)에 전달하면, 와치 서비스 모듈(612)이 와치 화면에 사용할 이미지를 획득하고, 각도 변화에 따라 변화되는 와치 화면 이미지를 생성하여 제2 랜더링 모듈(611) 또는 와치 화면 랜더러(621)에 전달하여 랜더링한 후, 디스플레이(160)에 출력하기 위한 구성만을 포함할 수도 있다. 이와 관련하여, 도 8을 참조하여 설명하기로 한다.
도 8은 일 실시 예에 따른 접이식 전자 장치의 각도 변화에 따른 화면 표시 제어와 관련한 구성의 한 예를 나타낸 도면이다. 도 8에 도시된 웨어러블 전자 장치의 구성은 와치 화면 이미지의 출력과 관련한 도 7의 웨어러블 전자 장치의 프로세서 구성 중 일부 구성을 포함한 것으로, 도시된 구성들은 도 7에서 설명한 다른 구성들로 대체되거나 또는 보다 세분화된 구성으로 분리될 수도 있다.
도 7 및 도 8을 참조하면, 801 동작에서, 웨어러블 전자 장치(600)의 제2 장치 매니저(625)는 각도 정보를 수집할 수 있다. 이와 관련하여, 제2 장치 매니저(625)는 웨어러블 전자 장치(600)의 각도 변화를 감지하는 제2 센서 매니저(624)로부터 각도 정보를 수신할 수 있다. 상기 제2 장치 매니저(625)는 수집된 각도 정보를 803 동작에서 와치 서비스 모듈(612)에 전달할 수 있다.
상기 와치 서비스 모듈(612)은 805 동작에서 이벤트 정보 전송 및 출력 정보 수신을 처리할 수 있다. 상기 이벤트 정보는 상기 웨어러블 전자 장치(600)의 각도 변화 값이 지정된 크기 이상 변경된 상황을 지시할 수 있다. 상기 웨어러블 전자 장치(600)는 제2 디스플레이(660)(예: 도 1 내지 도 7에서 설명한 디스플레이들 중 적어도 하나)에 출력할 출력 정보 예컨대, 와치 화면 이미지를 외부 전자 장치로부터 수신할 수 있다. 이와 관련하여, 상기 웨어러블 전자 장치(600)는 외부 전자 장치와 통신 채널을 형성할 수 있다. 상기 와치 서비스 모듈(612)은 제2 디스플레이(660)를 통해 출력할 정보를 외부 전자 장치로부터 수신하면, 807 동작에서 수신된 출력 정보를 제2 메모리(623)에 저장하도록 제어할 수 있다. 제2 메모리(623)는 809 동작에서 저장된 정보를 제2 랜더링 모듈(611)에 전송할 수 있다. 상기 저장 정보는 와치 서비스 모듈(612)은 외부 전자 장치로부터 수신된 출력 정보를 포함할 수 있다. 상술한 동작에서, 와치 서비스 모듈(612)은 출력 정보를 제2 메모리(623)에 전달하지 않고, 제2 랜더링 모듈(611)로 직접 전달할 수 있다. 또는 일 실시 예에 따르면, 와치 서비스 모듈(612)은 출력 정보를 제2 메모리(623)에 저장하는 한편, 제2 랜더링 모듈(611)에 전달할 수도 있다. 일 실시 예에 따르면, 상기 제2 메모리(623)에 저장된 후 전달된 저장 정보 또는 와치 서비스 모듈(612)이 전달하는 출력 정보는 각도 정보를 포함할 수 있다.
상기 제2 랜더링 모듈(611)은 811 동작에서 이미지 랜더링을 수행할 수 있다. 이 동작에서, 상기 제2 랜더링 모듈(611)은 수신된 이미지에서 복수개의 객체를 추출하고, 추출된 객체들의 심도를 각도 정보에 대응하여 다르게 조절하여 변경된 이미지(예: 와치 화면 이미지)를 생성할 수 있다. 상기 제2 랜더링 모듈(611)은 랜더링이 완료된 후, 813 동작에서 랜더링된 컨텐츠를 제2 디스플레이(660)에 전달할 수 있다. 또는, 제2 랜더링 모듈(611)은 랜더링된 컨텐츠를 프레임 메모리에 저장할 수 있다.
제2 디스플레이(660)는 815 동작에서 랜더링된 컨텐츠를 출력할 수 있다. 제2 디스플레이(660)에 출력되는 랜더링된 컨텐츠는 웨어러블 전자 장치(600)의 각도 변화에 대응하여 원본 이미지가 변화된 이미지를 포함할 수 있다.
상술한 바와 같이, 본 기재의 일 실시 예에 따른 화면 이미지 출력 기능은 웨어러블 전자 장치(600)의 각도 변화를 검출하고, 웨어러블 전자 장치(600)에 저장된 이미지 또는 외부 전자 장치로부터 수신된 이미지에 상기 각도 변화를 적용하여, 변경된 이미지를 생성(또는 복수의 객체들을 합성을 통해 생성)하고, 상기 변경된 이미지를 제2 디스플레이(660)에 출력하도록 지원할 수 있다.
일 실시 예에 따르면, 상기 제2 디스플레이(660)에 출력할 이미지를 선택하는 동작은 사전 정의된 시간 동안 1회성으로 수행되거나 또는 사용자 설정에 따라 1회성으로 수행될 수 있다. 제2 디스플레이(660)에 출력할 이미지가 고정되면, 이후, 웨어러블 전자 장치(600)는 제2 장치 매니저(625)가 전달하는 각도 정보를 토대로 제2 랜더링 모듈(611)이 수신된 이미지의 변화를 갱신하여 제2 디스플레이(660)에 출력할 수 있다.
도 9는 일 실시 예에 따른 화면 제공과 관련한 접이식 전자 장치 운영 방법의 한 예를 나타낸 도면이다.
도 9를 참조하면, 일 실시 예에 따른 접이식 전자 장치 운영 방법과 관련하여, 상기 접이식 전자 장치(예: 도 1 내지 도 8에서 설명한 전자 장치 중 어느 하나, 이하 접이식 전자 장치(200)을 예시하여 기재)의 프로세서(120)(예: 도 1 내지 도 8의 전자 장치에 포함된 프로세서, 이하 프로세서(120)으로 기재)는 901 동작에서 각도 정보를 수집할 수 있다. 이와 관련하여, 프로세서(120)는 접이식 전자 장치(200)의 복수개의 하우징들의 사잇각 변화를 검출할 수 있는 센서(예: 도 1의 센서 모듈, 일 예로서 홀 센서)를 활성화하고, 센서 운용에 따른 센싱 정보를 일정 주기로 수집하여, 각도 변화에 대응하는 값을 추출할 수 있다.
903 동작에서, 상기 프로세서(120)는 지정 조건이 만족되는지 확인할 수 있다. 예컨대, 프로세서(120)는 수집된 각도 변화 값이 사전 정의된 일정 크기 이상인지 확인할 수 있다. 이와 관련하여, 프로세서(120)는 지정된 시간 동안 수집되는 센싱 정보의 변화 값이 일정 크기 이상인지 확인할 수 있다. 지정 조건을 만족하지 못하는 경우, 프로세서(120)는 901 동작 이전으로 분기하여 이하 동작을 재수행할 수 있다. 예컨대, 프로세서(120)는 접이식 전자 장치(200)의 사잇각의 변화가 지정 각도(예: 5도) 이상 커지지 않는 경우, 이전 상태를 유지할 수 있다. 또는, 프로세서(120)는 접이식 전자 장치(200)의 사잇각이 지정된 각도(예: 5도) 이상 커지는지 확인할 수 있다. 접이식 전자 장치(200)의 하우징들의 사잇각이 지정된 각도 미만인 경우, 별도의 화면 출력 기능의 제어 없이 디스플레이의 턴-오프 상태를 유지하도록 제어하고, 901 동작을 유지할 수 있다.
지정 조건을 만족하는 경우, 프로세서(120)는 905 동작에서 컨텐츠 선택 및 복수개의 객체 분리를 수행할 수 있다. 이 동작에서, 프로세서(120)는 메모리(130)(예: 도 1 내지 도 8의 전자 장치에 포함된 메모리, 이하 메모리(130)으로 기재)에 저장된 적어도 하나의 이미지(예: 정지 영상 또는 동영상)를 지정된 조건에 따라 선택할 수 있다. 예컨대, 프로세서(120)는 사용자 입력에 의해 선택된 특정 이미지 컨텐츠를 선택할 수 있다. 또는, 프로세서(120)는 특정 폴더(예: 갤러리)에 저장된 복수의 이미지들 중 적어도 하나의 이미지를 랜덤하게 선택할 수 있다. 또는, 프로세서(120)는 컨텐츠를 제공하는 서버 장치로부터 특정 이미지를 사용자 선택 또는 랜덤하게 선택하여 수신할 수 있다. 상기 프로세서(120)는 이미지가 선택되면, 선택된 이미지에 대한 분석을 수행하여 복수개의 객체들을 추출할 수 있다. 예컨대, 상기 프로세서(120)는 이미지의 배경 객체 및 배경 객체 이외의 적어도 하나의 피사체(예: 사람, 동물, 특정 사물, 특정 텍스트) 객체를 추출할 수 있다.
907 동작에서, 복수개의 객체가 분리된 이미지에 대하여, 프로세서(120)는 설정에 따른 심도별 배치를 수행할 수 있다. 예컨대, 프로세서(120)는 복수개의 객체들 중 일부 객체에 대하여 각도 정보를 적용하여 일부 객체의 심도(또는 초점)을 변경할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 각도 정보가 클수록 배경 객체의 심도를 크게(흐림 정도를 크게)할 수 있다. 또는, 프로세서(120)는 각도 정보가 클수록 배경 객체의 심도를 작게(예: 샤프니스를 크게)할 수 있다. 상기 프로세서(120)는 심도가 변경된 배경 객체를 바닥 레이어로 배치하고, 피사체 객체를 배경 객체 위에 배치한 이미지를 구성(또는 합성)할 수 있다. 상기 프로세서(120)는 심도별 배치가 완료되면 이미지를 디스플레이(160)(예: 도 1 내지 도 8에서 설명한 디스플레이들 중 적어도 하나의 디스플레이, 이하 디스플레이(160)로 기재)에 기재할 수 있다.
상기 프로세서(120)는 설정에 따른 심도 배치를 완료하여 이미지를 출력한 이후, 901 동작 이전으로 분기하여 이하 동작을 재수행할 수 있다. 상술한 901 동작 내지 907 동작은 접이식 전자 장치(200)의 전원이 턴-오프될 때까지 수행되거나, 사용자 입력에 의해 해당 기능 종료를 요청하는 설정 입력이 수신될 때까지 수행될 수 있다.
도 10은 일 실시 예에 따른 화면 제공과 관련한 접이식 전자 장치 운영 방법의 다른 예를 나타낸 도면이다.
도 10을 참조하면, 일 실시 예에 따른 접이식 전자 장치 운영 방법과 관련하여, 상기 접이식 전자 장치(200)(예: 도 1 내지 도 8에서 설명한 전자 장치 중 어느 하나, 이하 접이식 전자 장치(200)을 예시하여 기재)의 프로세서(120)(예: 도 1 내지 도 8의 전자 장치에 포함된 프로세서, 이하 프로세서(120)으로 기재)는 1001 동작에서 각도 정보를 수집할 수 있다. 상기 프로세서(120)의 1001 동작은 앞서 설명한 901 동작과 동일 또는 유사한 동작일 수 있다. 이에 따라, 1001 동작은 앞서 설명한 901 동작으로 대체될 수 있다.
1003 동작에서, 상기 프로세서(120)는 지정 조건이 만족되는지 확인할 수 있다. 예컨대, 프로세서(120)는 수집된 각도 변화 값이 사전 정의된 일정 크기 이상인지 확인할 수 있다. 또는, 프로세서(120)는 접이식 전자 장치(200)의 사잇각이 지정된 각도 이상으로 일정 시간 이상 유지되는지 확인할 수 있다. 1003 동작은 앞서 설명한 903 동작과 동일 또는 유사한 동작일 수 있어, 상세한 설명은 903 동작으로 대체될 수 있다.
지정 조건을 만족하는 경우, 프로세서(120)는 1005 동작에서 복수개의 분리된 객체들을 획득할 수 있다. 이와 관련하여, 상기 프로세서(120)는 접이식 전자 장치(200)의 메모리(130)에 저장된 복수개의 분리된 객체들을 획득할 수 있다. 상기 접이식 전자 장치(200)는 복수개의 분리된 객체 획득을 지원할 수 있도록, 접이식 전자 장치(200)의 하우징들의 사잇각에 따라 적어도 일부 객체를 변경할 이미지를 선택하는 동작을 사전에 수행할 수 있다. 이와 관련하여, 접이식 전자 장치(200)는 각도 정보 변화를 적용할 이미지를 선택하는 메뉴를 제공하고, 해당 메뉴 선택 시, 이미지를 선택하는 화면 인터페이스를 출력하여, 사용자가 선택할 수 있는 기회를 제공할 수 있다. 상기 접이식 전자 장치(200)의 프로세서(120)는 특정 이미지가 선택되면, 선택된 이미지들을 분석하여 복수개의 객체들을 분리하여 메모리(130)에 저장 관리할 수 있다. 상기 프로세서(120)는 상기 각도 정보 변화가 지정된 조건을 만족하는 경우, 상기 메모리(130)를 확인하여 이전 저장된 복수개의 분리된 객체들을 획득할 수 있다.
1007 동작에서, 복수개의 객체가 분리된 이미지에 대하여, 프로세서(120)는 설정에 따른 심도별 배치를 수행할 수 있다. 상기 1007 동작은 앞서 설명한 907 동작과 동일 또는 유사한 동작이 될 수 있으며, 이에 따라 907 동작으로 대체될 수 있다. 이후 동작으로, 상기 프로세서(120)는 각도 정보에 따른 화면 변경 기능의 종료 이벤트 발생 이전 또는 전원 공급 중지 이전까지 해당 기능을 수행할 수 있다.
상술한 도 9 및 도 10에서의 접이식 전자 장치의 운영 방법의 경우, 앞서 설명한 도 1 내지 도 6의 전자 장치 중 적어도 하나에 적용될 수 있다. 또한, 각도 정보를 수집하는 구조를 제외하고, 도 9 및 도 10에서 설명한 운영 방법은 웨어러블 전자 장치에도 동일 또는 유사하게 적용될 수 있다.
도 11은 일 실시 예에 따른 이미지의 객체들의 분리에 관한 일 예를 나타낸 도면이다. 설명에 앞서, 도 11에 적용된 객체 분리 설명은 앞서 도 2에서 설명한 접이식 전자 장치(200)를 기준으로 설명한 것이나, 본 기재가 이에 한정되는 것은 아니다. 예컨대, 도 11에서 설명하는 객체 분리 기능은 도 1 내지 도 8에서 설명한 전자 장치들에 동일하게 적용될 수 있다.
도 1, 도 2 및 도 11을 참조하면, 접이식 전자 장치(200)의 디스플레이(260)에는 컨텐츠 화면(1110)이 출력될 수 있다. 상기 컨텐츠 화면(1110)은 예컨대, 접이식 전자 장치(200)의 홈 화면 또는 디스플레이(260)가 턴-오프 상태에서 턴-온 상태로 변경될 때 출력되는 화면을 포함할 수 있다. 또는, 상기 도 11의 컨텐츠 화면(1110)은 접이식 전자 장치(200)의 제1 하우징(210) 및 제2 하우징(220)이 펼침 상태일 때, 디스플레이(260)에 출력될 수 있다. 또는, 컨텐츠 화면(1110)은 접이식 전자 장치(200)의 락 스크린 화면을 포함할 수 있다.
상기 접이식 전자 장치(200)의 디스플레이(260)에 출력되는 컨텐츠 화면(1110)은 예컨대, 피사체 객체(1110a), 배경 객체(1110b), 텍스트 객체(1110c)를 포함할 수 있다. 상기 피사체 객체(1110a)는 컨텐츠 화면(1110)의 중심부에 배치된 인물 객체를 포함할 수 있다. 상기 배경 객체(1110b)는 상기 피사체 객체(1110a)의 후면에 배치되는 배경 이미지를 포함할 수 있다. 상기 텍스트 객체(1110c)는 접이식 전자 장치(200)의 시계 표시 기능에 의해 출력되는 시간 정보 텍스트 또는 시계 텍스트를 포함할 수 있다. 상기 텍스트 객체(1110c)는 이미지로 시간을 표시하는 이미지 객체로 대체될 수 있다. 일 실시 예에 따르면, 상기 컨텐츠 화면(1110)에 포함되는 피사체 객체(1110a)와 배경 객체(1110b)는 하나의 이미지 파일에서 분리된 객체들일 수 있다. 또는, 상기 배경 객체(1110b)와 피사체 객체(1110a)는 소스가 다른 이미지들로 구성될 수 있다. 상기 텍스트 객체(1110c)는 접이식 전자 장치(200)의 시계 표시 기능(또는 함수)에 의해 출력되는 객체일 수 있다. 이에 따라, 상기 접이식 전자 장치(200)의 프로세서(120)는 컨텐츠 화면(1110)에서 객체들을 분리하는 과정 중에, 컨텐츠 화면(1110)을 구성하는 객체들의 소스를 확인하고, 확인된 소스로부터 각 객체들을 수집할 수 있다. 또는, 프로세서(120)는 하나의 이미지 내에 복수개의 객체들이 포함된 경우, 이미지에서 각각의 객체들을 추출하여 분리할 수도 있다.
도 12는 일 실시 예에 따른 각도 변화에 따른 컨텐츠 화면의 심도 변화의 한 예를 나타낸 도면이다.
도 2, 도 11 및 도 12를 참조하면, 접이식 전자 장치(200)의 프로세서(120)는 접이식 전자 장치(200)의 다양한 각도 상태에 대응하여 디스플레이(260)에 출력되는 컨텐츠 화면(1110)에 포함된 적어도 일부 객체를 조절할 수 있다. 일 실시 예에 따르면, 접이식 전자 장치(200)의 프로세서(120)는 도시된 바와 같이, 피사체 객체(1110a)와 배경 객체(1110b)를 추출할 수 있다. 상기 프로세서(120)는 피사체 객체(1110a)에 대해서 접이식 전자 장치(200)의 각도 변화에 관계 없이 이미지 출력 상태를 일정하게 유지할 수 있다. 상기 프로세서(120)는 배경 객체(1110b)에 대하여 접이식 전자 장치(200)의 각도 변화에 대응하여 점진적으로 심도를 변화(또는 카메라의 초점 변화 효과, 또는 카메라의 조리개 값의 변화 효과, 카메라의 F 값 크기에 따른 변화 효과)를 제공할 수 있다.
일 실시 예에 따르면, 상기 프로세서(120)는 접이식 전자 장치(200)가 제1 각도 상태(1201)(예: 펼침 상태로서, 접이식 전자 장치(200)의 제1 하우징(210)과 제2 하우징(220) 사이의 각도가 180도)일 때, 초점이 맞는 이미지 또는 선명도가 제1 지정된 값 이상인 이미지(또는 블러(blurr) 적용 정도가 제1 설정 값 미만인 이미지)를 제1 배경 객체(1110b_11)로 생성할 수 있다.
상기 프로세서(120)는 접이식 전자 장치(200)가 제2 각도 상태(1202)(예: 접이식 전자 장치(200)의 제1 하우징(210)과 제2 하우징(220) 사이의 각도가 150도)일 때, 선명도가 제1 지정된 값 미만이면서 제2 지정된 값 이상인 이미지 또는 블러(blurr) 적용 정도가 제1 설정 값 이상에서 제2 설정 값 미만인 이미지를 제2 배경 객체(1110b_12)로 생성할 수 있다. 제2 배경 객체(1110b_12)는 예컨대, 제1 배경 객체(1110b_11)에 비하여 좀더 흐린 이미지, 선명도가 더 낮은 이미지, 또는 블러 적용 정도가 더 큰 이미지가 될 수 있다.
상기 프로세서(120)는 접이식 전자 장치(200)가 제3 각도 상태(1203)(예: 접이식 전자 장치(200)의 제1 하우징(210)과 제2 하우징(220) 사이의 각도가 120도)일 때, 선명도가 제2 지정된 값 미만이면서 제3 지정된 값 이상인 이미지 또는 블러(blurr) 적용 정도가 제2 설정 값 이상에서 제3 설정 값 미만인 이미지를 제3 배경 객체(1110b_13)로 생성할 수 있다. 제3 배경 객체(1110b_13)는 예컨대, 제2 배경 객체(1110b_12)에 비하여 좀더 흐린 이미지, 선명도가 더 낮은 이미지, 또는 블러 적용 정도가 더 큰 이미지가 될 수 있다.
상기 프로세서(120)는 접이식 전자 장치(200)가 제4 각도 상태(1204)(예: 접이식 전자 장치(200)의 제1 하우징(210)과 제2 하우징(220) 사이의 각도가 90도)일 때, 선명도가 제3 지정된 값 미만이면서 제4 지정된 값 이상인 이미지 또는 블러(blurr) 적용 정도가 제3 설정 값 이상에서 제4 설정 값 미만인 이미지를 제4 배경 객체(1110b_14)로 생성할 수 있다. 제4 배경 객체(1110b_14)는 예컨대, 제3 배경 객체(1110b_13)에 비하여 좀더 흐린 이미지, 선명도가 더 낮은 이미지, 또는 블러 적용 정도가 더 큰 이미지가 될 수 있다.
상기 프로세서(120)는 제1 각도 상태(1201), 제2 각도 상태(1202), 제3 각도 상태(1203) 및 제4 각도 상태(1204) 별로 생성한 배경 객체들(1110b_11, 1110b_12, 1110b_13, 1110b_14)을 피사체 객체(1110a)에 적용(또는 합성)한 이미지를 컨텐츠 화면(예: 배경 화면 또는 홈 화면, 잠금 화면)으로 출력할 수 있다.
일 실시 예에 따르면, 상기 프로세서(120)는 접이식 전자 장치(200)의 각도 변화에 대응하여 피사체 객체(1110a)의 선명도(또는 블러 적용도)를 조절할 수도 있다. 예컨대, 상기 프로세서(120)는 상기 피사체 객체(1110a)에 대하여 적용되는 선명도 변화(또는 블러 적용도 변화)를 배경 객체들(1110b_11, 1110b_12, 1110b_13, 1110b_14)에 적용되는 방식과 반대되게 적용할 수 있다. 예컨대, 배경 객체들(1110b_11, 1110b_12, 1110b_13, 1110b_14)은 접이식 전자 장치(200)의 접힘 정도(예: 제1 하우징(210)과 제2 하우징(220) 사이의 사잇각 크기)가 작아질수록 선명도가 낮아지고(또는 블러의 적용도가 커지고), 피사체 객체들(1110a)은 접이식 전자 장치(200)의 접힘 정보가 커질수록 선명도가 커질 수 있다. 다양한 실시 예에 따르면, 상술한 설명에서는, 접힘 각도가 작아질수록 배경 객체들(1110b_11, 1110b_12, 1110b_13, 1110b_14)의 선명도가 낮아지는 것으로 예시하였으나, 본 기재의 내용이 이에 한정되는 것은 아니다. 상기 배경 객체들(1110b_11, 1110b_12, 1110b_13, 1110b_14)의 선명도 변화는 접힘 각도에 따라 달라지는 것으로, 일 실시 예에 따르면, 접힘 각도가 작아질수록 배경 객체들(1110b_11, 1110b_12, 1110b_13, 1110b_14)의 선명도 변화는 커질 수 있다.
일 실시 예에 따르면, 본 기재의 접이식 전자 장치(200)는 제1 하우징 및 제2 하우징, 상기 제1 하우징과 상기 제2 하우징을 체결하는 힌지 구조물, 상기 제1 하우징 및 제2 하우징 상에 적어도 일부가 놓이는 디스플레이, 상기 제1 하우징과 상기 제2 하우징 사이의 각도를 센싱하는 적어도 하나의 센서, 상기 제1 하우징 및 상기 제2 하우징 중 적어도 하나의 하우징 내에 배치되며 복수의 컨텐츠를 저장하는 메모리, 상기 적어도 하나의 센서 및 상기 메모리와 기능적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 제1 하우징과 제2 하우징 사이의 각도 또는 각도 변화를 검출하고, 상기 각도 또는 상기 각도 변화가 지정된 각도 이상인 경우, 상기 메모리에 저장된 복수의 컨텐츠들 중 특정 컨텐츠에 포함된 복수개의 객체들을 추출하고, 상기 추출된 복수개의 객체들 중 적어도 하나의 객체의 심도를 상기 각도 또는 상기 각도 변화에 따라 변경하여 이전 표시 상태와 다르게 출력하도록 설정될 수 있다.
도 13은 일 실시 예에 따른 각도 변화에 따른 컨텐츠 화면의 줌 변화의 한 예를 나타낸 도면이다.
도 2 및 도 13을 참조하면, 접이식 전자 장치(200)의 프로세서(120)는 접이식 전자 장치(200)의 다양한 각도 상태(또는 각도 변화)에 대응하여 디스플레이(260)에 출력되는 컨텐츠 화면(1110)에 포함된 적어도 일부 객체를 조절할 수 있다. 일 실시 예에 따르면, 접이식 전자 장치(200)의 프로세서(120)는 도시된 바와 같이, 피사체 객체(1110a)와 배경 객체(1110b)를 추출할 수 있다. 상기 프로세서(120)는 배경 객체(1110b)에 대하여 접이식 전자 장치(200)의 각도 변화에 대응하여 점진적으로 줌 정도를 조절할 수 있다.
일 실시 예에 따르면, 상기 프로세서(120)는 접이식 전자 장치(200)가 제1 각도 상태(1301)(예: 접이식 전자 장치(200)의 제1 하우징(210)과 제2 하우징(220) 사이의 각도가 180도로 펼침 상태)일 때, 제1 줌인 상태(예: 줌인 기능이 적용되지 않은 상태)의 배경 객체를 제1 배경 객체(1110b_21)로 생성할 수 있다.
상기 프로세서(120)는 접이식 전자 장치(200)의 접힘 각도가 제2 각도 상태(1302)(예: 접이식 전자 장치(200)의 제1 하우징(210)과 제2 하우징(220) 사이의 각도가 150도)일 때, 제2 줌인 상태(예: 줌인 1.2 배율이 적용된 상태)의 배경 객체를 제2 배경 객체(1110b_22)로 생성할 수 있다. 예컨대, 제2 배경 객체(1110b_22)는 제1 배경 객체(1110b_21)의 일 지점을 기준으로 제1 배경 객체(1110b_21)의 일 부분을 확대한 이미지가 될 수 있다.
상기 프로세서(120)는 접이식 전자 장치(200)가 제3 각도 상태(1303)(예: 접이식 전자 장치(200)의 제1 하우징(210)과 제2 하우징(220) 사이의 각도가 120도)일 때, 제3 줌인 상태(예: 줌인 1.5 배율이 적용된 상태)의 배경 객체를 제3 배경 객체(1110b_23)로 생성할 수 있다. 예컨대, 제3 배경 객체(1110b_23)는 제2 배경 객체(1110b_22)의 일 지점을 기준으로 제2 배경 객체(1110b_22)의 일 부분을 확대한 이미지가 될 수 있다.
상기 프로세서(120)는 접이식 전자 장치(200)가 제4 각도 상태(1304)(예: 접이식 전자 장치(200)의 제1 하우징(210)과 제2 하우징(220) 사이의 각도가 90도)일 때, 제4 줌인 상태(예: 줌인 2 배율이 적용된 상태)의 배경 객체를 제4 배경 객체(1110b_24)로 생성할 수 있다. 예컨대, 제4 배경 객체(1110b_24)는 제3 배경 객체(1110b_23)의 일 지점을 기준으로 제3 배경 객체(1110b_23)의 일 부분을 확대한 이미지가 될 수 있다.
상기 프로세서(120)는 제1 각도 상태(1301)일 때, 제1 배경 객체(1110b_21) 상에 피사체 객체(1110a)를 적용(또는 합성)한 이미지를 디스플레이(260)에 출력할 컨텐츠 화면(예: 배경 화면 또는 홈 화면, 잠금 화면)을 출력하도록 제어할 수 있다. 상기 프로세서(120)는 제2 각도 상태(1302)일 때, 제2 배경 객체(1110b_22) 상에 피사체 객체(1110a)를 적용(또는 합성)한 이미지를 생성하고, 제3 각도 상태(1303)일 때, 제3 배경 객체(1110b_23) 상에 피사체 객체(1110a)를 적용(또는 합성)한 이미지를 생성하고, 제4 각도 상태(1304)일 때, 제4 배경 객체(1110b_24) 상에 피사체 객체(1110a)를 적용(또는 합성)한 이미지를 생성하여 각각 디스플레이(260)에 출력할 수 있다.
일 실시 예에 따르면, 상기 프로세서(120)는 접이식 전자 장치(200)의 각도 변화에 대응하여 피사체 객체(1110a)의 줌 정도(또는 크기 비율)을 다르게 조절할 수도 있다. 예컨대, 상기 프로세서(120)는 접이식 전자 장치(200)의 각도 상태 변화에 대응하여 상기 피사체 객체(1110a)를 점진적으로 작게 표시하거나 또는 점진적으로 크게 표시하도록 제어할 수 있다. 상술한 피사체 객체(1110a)의 크기 변화는 상기 배경 객체(1110b)의 확대 변화에 합성될 수 있다.
한편, 상술한 설명에서는, 접이식 전자 장치(200)의 접힘 각도가 작아질수록 배경 객체(1110b)의 줌인 비율이 커지는 것으로 설명하였으나, 본 기재의 내용이 이에 한정되는 것은 아니다. 예컨대, 접이식 전자 장치(200)의 접힘 각도가 작아질수록 배경 객체(1110b)의 줌인 비율이 작아질 수도 있다. 또는, 접이식 전자 장치(200)의 접힘 각도가 작아질수록 배경 객체(1110b)의 줌 아웃 비율이 커질 수 있다.
일 실시 예에 따르면, 본 기재의 접이식 전자 장치(200)는 제1 하우징 및 제2 하우징, 상기 제1 하우징과 상기 제2 하우징을 체결하는 힌지 구조물, 상기 제1 하우징 및 제2 하우징 상에 적어도 일부가 놓이는 디스플레이, 상기 제1 하우징과 상기 제2 하우징 사이의 각도를 센싱하는 적어도 하나의 센서, 상기 제1 하우징 및 상기 제2 하우징 중 적어도 하나의 하우징 내에 배치되며 복수의 컨텐츠를 저장하는 메모리, 상기 적어도 하나의 센서 및 상기 메모리와 기능적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 제1 하우징과 제2 하우징 사이의 각도 또는 각도 변화를 검출하고, 상기 각도 또는 상기 각도 변화가 지정된 각도 이상인 경우, 상기 메모리에 저장된 복수의 컨텐츠들 중 특정 컨텐츠에 포함된 복수개의 객체들을 추출하고, 상기 추출된 복수개의 객체들 중 적어도 하나의 객체의 줌인 비율(또는 줌 아웃 비율)을 상기 각도 또는 상기 각도 변화에 따라 변경하여 이전 표시 상태와 다르게 출력하도록 설정될 수 있다.
도 14는 일 실시 예에 따른 각도 변화에 따른 컨텐츠 화면의 레이어들의 순서 변화의 한 예를 나타낸 도면이다.
도 2, 도 11 및 도 14를 참조하면, 접이식 전자 장치(200)의 프로세서(120)는 앞서 설명한 바와 같이, 디스플레이(260)에 출력할 컨텐츠 화면을 분석하여, 복수개의 객체들을 분류할 수 있다. 이 과정에서, 상기 프로세서(120)는 사전 정의된 설정에 따라, 분류하는 객체들의 개수를 제안하거나 일정 개수 이상 분리할 수 있다. 일 실시 예에 따르면, 프로세서(120)는 도시된 바와 같이, 피사체 객체(1110a), 텍스트 객체(1110c) 및 배경 객체(1110b)를 추출할 수 있다.
접이식 전자 장치(200)의 접힘 각도(예: 제1 하우징(210) 및 제2 하우징(220) 사이의 사잇각)가 제1 각도 상태(예: 펼침 상태)일 때, 접이식 전자 장치(200)의 상기 프로세서(120)는 추출된 객체들에 대하여 3D 레이어링(layering) 기준으로 제1 z축 배열(또는 디스플레이의 전면에 수직한 방향 기준 가상의 z축 레이어 순서)에서 텍스트 객체(1110c)를 최상위 레이어(또는 제1 레이어)로 배치하고, 피사체 객체(1110a)를 차상위 레이어(또는 제2 레이어)로 배치하고, 배경 객체(1110b)를 최하위 레이어(또는 제3 레이어)로 배치할 수 있다.
외부 압력에 의하여 접이식 전자 장치(200)의 접힘 각도는 변경될 수 있으며, 이에 대응하여, 접이식 전자 장치(200)의 접힘 각도(예: 제1 하우징(210) 및 제2 하우징(220) 사이의 사잇각)가 제2 각도 상태(예: 펼침 상태보다 작은 각도를 형성하는 상태 또는 사전 정의된 일정 각도 이상으로 접힘 상태)일 때, 접이식 전자 장치(200)의 상기 프로세서(120)는 추출된 객체들에 대하여 3D 레이어링을 기준으로 제2 z축 배열에서 피사체 객체(1110a)를 최상위 레이어(또는 제1 레이어)로 배치하고, 텍스트 객체(1110c)를 차상위 레이어(또는 제2 레이어)로 배치하고, 배경 객체(1110b)를 최하위 레이어(또는 제3 레이어)로 배치할 수 있다.
한편, 상술한 설명에서는, 접이식 전자 장치(200)가 펼침 상태에서 접힘 상태로 변경될 때, 각각의 객체들을 포함한 레이어들의 순서가 변경되는 것을 예시하였으나, 상기 프로세서는, 접힘 상태에서 펼침 상태로 변경될 때에도, 유사하게 각각의 객체들을 포함한 레이어들의 순서를 변경할 수 있다. 또한, 위 설명에서, 배경 객체(1110b)는 고정되고, 피사체 객체(1110a)와 텍스트 객체(1110c)의 순서 변경만을 예시하였으나, 본 기재가 이에 한정되는 것을 아니다. 예컨대, 접이식 전자 장치(200)의 각도 상태 변화에 따라 상기 배경 객체(1110b)도 상기 텍스트 객체(1110c) 또는 상기 피사체 객체(1110a) 상부에 놓일 수도 있다.
피사체 분류와 관련하여, 접이식 전자 장치(200)의 프로세서(120)는 컨텐츠 기반 피사체를 결정하는 동작을 수행할 수 있다. 상기 컨텐츠는 카테고리 기반 학습 네트워크 모델을 이용하여 선택할 수 있다. 접이식 전자 장치(200)는 인공지능 시스템을 이용하여 장치를 이용하는 사용자의 패턴(예: 생활 패턴, 전자 장치 사용 패턴)을 결정하고, 사용자의 패턴에 맞는 개인화된 서비스를 제공할 수 있다. 일 실시 예에 따르면, 피사체의 정보는 인공 지능(artificial intelligent)(AI) 시스템에 의해 생성될 수 있다. 인공지능 시스템은 룰 베이스 시스템(rule-based system) 일 수도 있고, 신경망 베이스 시스템(neural network-based system)(예: 피드포워드 신경망(feedforward neural network(FNN)), 순환 신경망(recurrent neural network(RNN))) 일 수도 있다. 또는, 전술한 것의 조합 또는 이와 다른 인공지능 시스템일 수도 있다.
일 실시 예에 따르면, 본 기재의 접이식 전자 장치(200)는 제1 하우징 및 제2 하우징, 상기 제1 하우징과 상기 제2 하우징을 체결하는 힌지 구조물, 상기 제1 하우징 및 제2 하우징 상에 적어도 일부가 놓이는 디스플레이, 상기 제1 하우징과 상기 제2 하우징 사이의 각도를 센싱하는 적어도 하나의 센서, 상기 제1 하우징 및 상기 제2 하우징 중 적어도 하나의 하우징 내에 배치되며 복수의 컨텐츠를 저장하는 메모리, 상기 적어도 하나의 센서 및 상기 메모리와 기능적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 제1 하우징과 제2 하우징 사이의 각도 또는 각도 변화를 검출하고, 상기 각도 또는 상기 각도 변화가 지정된 각도 이상인 경우, 상기 메모리에 저장된 복수의 컨텐츠들 중 특정 컨텐츠에 포함된 복수개의 객체들을 추출하고, 상기 추출된 복수개의 객체들 각각에 대응하는 레이어들의 순서를 상기 각도 또는 상기 각도 변화에 따라 변경하여 이전 표시 상태와 다르게 출력하도록 설정될 수 있다.
도 15는 일 실시 예에 따른 각도 변화에 따른 컨텐츠 화면의 레이어들의 순서 변화 및 줌 비율 적용의 예를 나타낸 도면이다.
도 2, 도 11 및 도 15를 참조하면, 접이식 전자 장치(200)의 프로세서(120)는 제1 각도 상태(1501)(예: 접이식 전자 장치(200)의 제1 하우징(210)과 제2 하우징(220) 사이의 각도가 180도)일 때, 제1 컨텐츠 화면(1510)을 디스플레이(260)에 출력할 수 있다. 상기 제1 컨텐츠 화면(1510)은 제1 배경 객체(1110b_21)가 최하위 레이어로 배치되고, 피사체 객체(1110a)가 차상위 레이어로 배치되고, 텍스트 객체(1110c)가 최상위 레이어로 배치된 상태에 대응할 수 있다. 일 실시 예에 따르면, 상기 제1 배경 객체(1110b_21)는 최하위 레이어에 배치됨에 따라, 그 위에 배치되는 레이어들에 포함된 객체들에 의해 적어도 일부가 가려질 수 있다. 예컨대, 피사체 객체(1110a)의 인물 표시 영역과 텍스트 객체(1110c)의 텍스트 표시 영역에 대응하는 제1 배경 객체(1110b_21)의 영역은 텍스트 표시 영역 및 인물 표시 영역에 의해 가려질 수 있다. 일 실시 예에 따르면, 피사체 객체(1110a)에 대응하는 레이어 상부에 텍스트 객체(1110c)에 대응하는 레이어가 놓임에 따라, 피사체 객체(1110a)에 해당하는 인물 표시 영역의 일부가 텍스트 표시 영역에 의해 가려질 수 있다. 제1 각도 상태(1501)에서, 제1 배경 객체(1110b_21)의 줌인 비율은 1배율(원본과 동일한 비율)인 상태일 수 있다.
접이식 전자 장치(200)의 프로세서(120)는 제2 각도 상태(1502)(예: 접이식 전자 장치(200)의 제1 하우징(210)과 제2 하우징(220) 사이의 각도가 150도)일 때, 제2 컨텐츠 화면(1520)을 디스플레이(260)에 출력할 수 있다. 상기 제2 컨텐츠 화면(1520)은 제2 배경 객체(1110b_22)가 최하위 레이어로 배치되고, 피사체 객체(1110a)가 차상위 레이어로 배치되고, 텍스트 객체(1110c)가 최상위 레이어로 배치된 상태에 대응할 수 있다. 제2 각도 상태(1502)에서, 제2 배경 객체(1110b_22)의 줌인 비율은 1xa 배율(a는 정수 또는 유한소수)인 상태일 수 있다.
접이식 전자 장치(200)의 프로세서(120)는 제3 각도 상태(1503)(예: 접이식 전자 장치(200)의 제1 하우징(210)과 제2 하우징(220) 사이의 각도가 120도)일 때, 제3 컨텐츠 화면(1530)을 디스플레이(260)에 출력할 수 있다. 상기 제3 컨텐츠 화면(1530)은 제3 배경 객체(1110b_23)가 최하위 레이어로 배치되고, 피사체 객체(1110a)가 최상위 레이어로 배치되고, 텍스트 객체(1110c)가 차상위 레이어로 배치된 상태에 대응할 수 있다. 일 실시 예에 따르면, 텍스트 객체(1110c)에 대응하는 레이어 상부에 피사체 객체(1110a)에 대응하는 레이어가 놓임에 따라, 텍스트 객체(1110c)에 해당하는 텍스트 표시 영역의 일부가 인물 표시 영역에 의해 가려질 수 있다. 제3 각도 상태(1503)에서, 제3 배경 객체(1110b_23)의 줌인 비율은 1xb 배율(b 값은 절대값이 a보다 큰 정수 또는 유한소수)인 상태일 수 있다.
접이식 전자 장치(200)의 프로세서(120)는 제4 각도 상태(1504)(예: 접이식 전자 장치(200)의 제1 하우징(210)과 제2 하우징(220) 사이의 각도가 90도)일 때, 제4 컨텐츠 화면(1540)을 디스플레이(260)에 출력할 수 있다. 상기 제4 컨텐츠 화면(1540)은 제4 배경 객체(1110b_24)가 최하위 레이어로 배치되고, 피사체 객체(1110a)가 최상위 레이어로 배치되고, 텍스트 객체(1110c)가 차상위 레이어로 배치된 상태에 대응할 수 있다. 제4 각도 상태(1504)에서, 제4 배경 객체(1110b_24)의 줌인 비율은 1xc 배율(c 값은 절대값이 b보다 큰 정수 또는 유한소수)인 상태일 수 있다.
상술한 바와 같이, 본 기재의 각도 변화에 따른 화면 변화 기능은, 접이식 전자 장치(200)의 각도 변화에 따라 디스플레이에 출력되는 컨텐츠 화면의 레이어 순서 변경뿐만 아니라, 배경 객체의 줌 비율을 종합적으로 조절할 수 있다. 한편, 상술한 설명에서는, 접이식 전자 장치(200)의 접힘 각도가 120도일 때, 객체들을 포함한 레이어들의 순서가 변경되는 것으로 예시하였으나, 레이어들의 순서가 변경되는 각도는 설정에 따라 또는 사용자 입력에 따라 달라질 수 있다.
도 16은 일 실시 예에 따른 각도 변화에 따른 컨텐츠 화면의 레이어들의 순서 변화 및 심도 변화의 한 예를 나타낸 도면이다.
도 2, 도 11 및 도 16을 참조하면, 접이식 전자 장치(200)의 프로세서(120)는 제1 각도 상태(1601)(예: 접이식 전자 장치(200)의 제1 하우징(210)과 제2 하우징(220) 사이의 각도가 180도)일 때, 제1 컨텐츠 화면(1610)을 디스플레이(260)에 출력할 수 있다. 상기 제1 컨텐츠 화면(1610)은 제1 배경 객체(1110b)가 최하위 레이어로 배치되고, 피사체 객체(1110a)가 차상위 레이어로 배치되고, 텍스트 객체(1110c)가 최상위 레이어로 배치된 상태에 대응할 수 있다. 이러한 컨텐츠 화면 표시 상태는 앞서 도 15에서 설명한 제1 컨텐츠 화면(1510) 표시 상태와 동일 또는 유사할 수 있다. 제1 배경 객체(1110b)는 선명도가 지정된 제1 값 이상인 이미지를 포함할 수 있다.
접이식 전자 장치(200)의 프로세서(120)는 제2 각도 상태(1603)(예: 접이식 전자 장치(200)의 제1 하우징(210)과 제2 하우징(220) 사이의 각도가 120도)일 때, 제2 컨텐츠 화면(1630)을 디스플레이(260)에 출력할 수 있다. 상기 제2 컨텐츠 화면(1630)은 제2 배경 객체(1110b_13)가 최하위 레이어로 배치되고, 피사체 객체(1110a)가 최상위 레이어로 배치되고, 텍스트 객체(1110c)가 차상위 레이어로 배치된 상태에 대응할 수 있다. 일 실시 예에 따르면, 텍스트 객체(1110c)에 대응하는 레이어 상부에 피사체 객체(1110a)에 대응하는 레이어가 놓임에 따라, 텍스트 객체(1110c)에 해당하는 텍스트 표시 영역의 일부가 인물 표시 영역에 의해 가려질 수 있다. 제2 각도 상태(1603)에서, 제2 배경 객체(1110b_13)는 선명도 제1 배경 객체(1110b)에 비하여 낮은 지정된 제2 값 미만인 값을 가질 수 있다. 또는, 제2 배경 객체(1110b_13)는 제1 배경 객체(1110b)에 비하여 상대적으로 더 흐린 이미지를 포함할 수 있다.
상술한 바와 같이, 본 기재의 각도 변화에 따른 화면 변화 기능은, 접이식 전자 장치(200)의 각도 변화에 따라 디스플레이에 출력되는 컨텐츠 화면의 레이어 순서 변경뿐만 아니라, 배경 객체의 선명도 변화를 종합적으로 조절할 수 있다. 한편, 상술한 설명에서는, 접이식 전자 장치(200)의 접힘 각도가 120도일 때, 객체들을 포함한 레이어들의 순서가 변경되는 것으로 예시하였으나, 레이어들의 순서가 변경되는 각도는 설정에 따라 또는 사용자 입력에 따라 달라질 수 있다.
도 17은 일 실시 예에 따른 각도 변화에 따른 화면 변화 기능의 다른 예를 나타낸 도면이다.
도 2, 도 11 및 도 17을 참조하면, 상기 접이식 전자 장치(200)의 프로세서(120)는 제1 각도 상태(1701)(예: 제1 하우징(210) 및 제2 하우징(220) 사이의 사잇각이 180도인 상태)에서 제1 컨텐츠 화면(1710)을 출력할 수 있다. 상기 제1 컨텐츠 화면(1710)은 제1 피사체 객체(1110a), 제1 배경 객체(1110b) 및 텍스트 객체(1110c)를 포함할 수 있다.
상기 접이식 전자 장치(200)의 프로세서(120)는 제2 각도 상태(1703)(예: 제1 하우징(210) 및 제2 하우징(220) 사이의 사잇각이 150도인 상태)에서 제2 컨텐츠 화면(1730)을 출력할 수 있다. 상기 제2 컨텐츠 화면(1730)은 예컨대, 텍스트 객체(1110c)와 제2 피사체 객체(1110a_3) 및 제2 배경 객체(1110b_3)를 포함할 수 있다. 상기 제2 피사체 객체(1110a_3)는 접이식 전자 장치(200)의 접힘 각도에 대응하여 제1 피사체 객체(1110a)의 x축 폭이 변경된 객체일 수 있다. 또한, 제2 배경 객체(1110b_3)는 접이식 전자 장치(200)의 접힘 각도에 대응하여 제1 배경 객체(1110b)의 x축 폭이 변경된 객체일 수 있다. 상기 텍스트 객체(1110c)는 예컨대, 접이식 전자 장치(200)의 접힘 각도 변화에 관계 없이 일정하게 유지될 수 있다.
일 실시 예에 따르면, 상기 접이식 전자 장치(200)의 프로세서(120)는 적어도 하나의 센서(예: 자이로 센서, 가속도 센서)를 이용하여 접이식 전자 장치(200)의 상하좌우앞뒤 중 적어도 한 방향으로의 기울기 동작에 대한 센싱 정보를 수집할 수 있다. 상기 접이식 전자 장치(200)의 프로세서(120)는 수집되는 센싱 정보를 기준으로 현재 출력 중인 제1 컨텐츠 화면(1710) 및 제2 컨텐츠 화면(1730)을 변형할 수 있다. 일 실시 예에 따르면, 접이식 전자 장치(200)가 좌 또는 우(다른 예로 앞 또는 뒤)로 기울어지는 경우, 기울어짐의 양에 따라 표시되는 컨텐츠 화면의 x축 폭 또는 y축 폭 중 적어도 하나가 변형될 수 있다.
일 실시 예에 따르면, 좌 또는 우, 앞 또는 뒤로 기울어지는 양이 동일하더라도, 접이식 전자 장치(200)의 디스플레이(260)에 출력 중인 컨텐츠의 화면의 상태에 따라 적용되는 크기가 달라질 수 있다. 예컨대, 동일한 기울기 변화에 대하여 제1 컨텐츠 화면(1710)의 변화(예: 좌우 폭 또는 x축 폭이 줄어드는 양)가 제2 컨텐츠 화면(1730)의 변화보다 크게(또는 작게) 나타날 수 있다.
일 실시 예에 따르면, 상기 접이식 전자 장치(200)는 각도 변화에 따라 디스플레이(260)에 출력되는 컨텐츠 화면의 기울기가 변화될 수 있으며, 접힘 각도의 크기에 따라 컨텐츠 화면의 기울기 변화 정도가 다를 수 있다. 예컨대, 제1 각도 상태(1701)에서, 프로세서(120)는 제1 크기의 좌측 기울임 발생에 따라 디스플레이(260)에 출력 중인 화면을 제1 크기만큼 좌측으로 기울이는 화면 변화를 표시하도록 제어할 수 있다. 제2 각도 상태(1703)에서, 프로세서(120)는 제1 크기의 좌측 기울임 발생에 따라 디스플레이(260)에 출력 중인 화면을 제1 크기보다 작은 제2 크기 좌측으로 기울이는 화면 변화를 표시하도록 제어할 수 있다.
도 18은 일 실시 예에 따른 각도 변화에 따른 적어도 일부 객체의 교체에 관한 일 예를 나타낸 도면이며, 도 19는 일 실시 예에 따른 각도 변화에 따른 적어도 일부 객체의 교체에 관한 일 예를 나타낸 도면이다.
도 2, 도 11 및 도 18을 참조하면, 상기 접이식 전자 장치(200)의 프로세서(120)는 제1 각도 상태(1801)(예: 제1 하우징(210) 및 제2 하우징(220) 사이의 사잇각이 150도인 상태)에서 제1 컨텐츠 화면(1810)을 출력할 수 있다. 상기 제1 컨텐츠 화면(1810)은 제1 피사체 객체(1110a_8) 및 제1 배경 객체(1110b_8a)를 포함할 수 있다.
상기 접이식 전자 장치(200)의 프로세서(120)는 제2 각도 상태(1802)(예: 제1 하우징(210) 및 제2 하우징(220) 사이의 사잇각이 180도인 상태)에서 제2 컨텐츠 화면(1830)을 출력할 수 있다. 상기 제2 컨텐츠 화면(1830)은 예컨대, 제1 피사체 객체(1110a_8) 및 제2 배경 객체(1110b_8b)를 포함할 수 있다. 상기 제2 배경 객체(1110b_8b)는 상기 제1 배경 객체(1110b_8a)와 다른 객체일 수 있다. 이와 관련하여, 상기 접이식 전자 장치(200)의 프로세서(120)는 피사체 객체가 없이 배경 객체만을 포함하는 이미지를 접이식 전자 장치(200)의 폴더(예: 갤러리) 또는 외부 전자 장치로부터 획득할 수 있다.
일 실시 예에 따르면, 상기 접이식 전자 장치(200)의 프로세서(120)는 일정 각도 변화 시점까지 제1 배경 객체(1110b_8a)의 심도 변화, 줌 변화, 레이어 순서 변화 중 적어도 하나를 적용하다가, 지정된 각도 이상의 변화가 되면, 제1 배경 객체(1110b_8a)를 제거하고, 제2 배경 객체(1110b_8b)를 디스플레이(260)에 출력할 수 있다. 상기 접이식 전자 장치(200)의 프로세서(120)는 제2 각도 상태(1802)에서 다시 제1 각도 상태(1801)로 변경되는 경우, 제2 컨텐츠 화면(1830) 출력 상태에서 제1 컨텐츠 화면(1810) 출력 상태로 복귀할 수 있다. 상기 제2 배경 객체(1110b_8b)를 제2 각도 상태(1802)에서 출력한 이후, 다시 각도가 변경되어 제1 각도 상태(1801)가 되는 동안, 상기 접이식 전자 장치(200)의 프로세서(120)는 제2 배경 객체(1110b_8b)에 대한 심도 변화, 줌 변화, 레이어 순서 변화 중 적어도 하나를 적용할 수 있다. 추가로, 상기 제1 각도 상태(1801)에서 접힘 각도가 더 줄어드는 제3 각도 상태로 변경되는 동안, 상기 접이식 전자 장치(200)의 프로세서(120)는 제1 배경 객체(1110b_8a)의 심도 변화, 줌 변화, 레이어 순서 변화 중 적어도 하나를 적용할 수 있다. 여기서, 레이어 순서 변화가 적용될 경우, 배경 객체의 적어도 일부와 피사체 객체의 적어도 일부의 순서가 변경될 수 있다. 상기 제1 배경 객체(1110b_8a) 또는 상기 제2 배경 객체(1110b_8b)는 사용자 입력에 의해 선택되거나 또는 프로세서(120)에 의해 랜덤하게 선택될 수 있다.
도 2, 도 11 및 도 19를 참조하면, 상기 접이식 전자 장치(200)의 프로세서(120)는 제1 각도 상태(1901)(예: 제1 하우징(210) 및 제2 하우징(220) 사이의 사잇각이 150도인 상태)에서 제1 컨텐츠 화면(1910)을 출력할 수 있다. 상기 제1 컨텐츠 화면(1910)은 제1 피사체 객체(1110a_9a) 및 제1 배경 객체(1110b_9)를 포함할 수 있다.
상기 접이식 전자 장치(200)의 프로세서(120)는 제2 각도 상태(1902)(예: 제1 하우징(210) 및 제2 하우징(220) 사이의 사잇각이 180도인 상태)에서 제2 컨텐츠 화면(1930)을 출력할 수 있다. 상기 제2 컨텐츠 화면(1930)은 예컨대, 제2 피사체 객체(1110a_9b) 및 제1 배경 객체(1110b_9)를 포함할 수 있다. 상기 제2 피사체 객체(1110a_9b)는 상기 제1 피사체 객체(1110a_9a)와 다른 피사체를 포함하는 객체일 수 있다. 이와 관련하여, 상기 접이식 전자 장치(200)의 프로세서(120)는 다른 컨텐츠 화면에 포함된 적어도 하나의 피사체 객체를 획득하거나 또는 사용자 입력에 따라 다른 컨텐츠에서 피사체를 획득할 수 있다. 상기 접이식 전자 장치(200)의 프로세서(120)는 접이식 전자 장치(200)의 상태가 제2 각도 상태(1902)가 되면, 제1 피사체 객체(1110a_9a)를 제거하고, 제1 배경 객체(1110b_9) 상에 제2 피사체 객체(1110a_9b)를 출력할 수 있다. 이때, 프로세서(120)는 제1 피사체 객체(1110a_9a)가 위치한 영역에 적어도 일부가 중첩되도록 제2 피사체 객체(1110a_9b)를 출력할 수 있다.
일 실시 예에 따르면, 상기 접이식 전자 장치(200)의 프로세서(120)는 일정 각도 변화 시점까지 제1 피사체 객체(1110a_9a) 및 제1 배경 객체(1110b_9) 중 적어도 하나의 심도 변화, 줌 변화, 레이어 순서 변화 중 적어도 하나를 적용하다가, 지정된 각도 이상의 변화가 되면, 제1 피사체 객체(1110a_9a)를 제거하고, 제2 피사체 객체(1110a_9b)와 제1 배경 객체(1110b_9)를 디스플레이(260)에 출력할 수 있다. 프로세서(120)는 제2 피사체 객체(1110a_9b)가 디스플레이(260)에 출력되는 시점에 제1 배경 객체(1110b_9)의 상태를 원래 상태(또는 원본 상태, 또는 심도 변화, 줌 변화, 레이어 순서 변화를 적용하기 이전 상태)로 복원할 수 있다.
상기 접이식 전자 장치(200)의 프로세서(120)는 제2 각도 상태(1902)에서 다시 제1 각도 상태(1901)로 변경되는 경우, 제2 컨텐츠 화면(1930) 출력 상태에서 제1 컨텐츠 화면(1910) 출력 상태로 복귀할 수 있다. 복귀 과정에서, 프로세서(120)는 제2 피사체 객체(1110a_9b)가 위치한 영역에 적어도 일부가 중첩되도록 제1 피사체 객체(1110a_9a)를 출력할 수 있다. 상기 제2 피사체 객체(1110a_9b)를 제2 각도 상태(1902)에서 출력한 이후, 다시 각도가 변경되어 제1 각도 상태(1901)가 되는 동안, 상기 접이식 전자 장치(200)의 프로세서(120)는 제2 피사체 객체(1110a_9b) 및 제1 배경 객체(1110b_9) 중 적어도 하나에 대한 심도 변화, 줌 변화, 레이어 순서 변화 중 적어도 하나를 적용할 수 있다. 추가로, 상기 제1 각도 상태(1901)에서 접힘 각도가 더 줄어드는 제3 각도 상태로 변경되는 동안, 상기 접이식 전자 장치(200)의 프로세서(120)는 제1 피사체 객체(1110a_9a) 및 제1 배경 객체(1110b_9)의의 심도 변화, 줌 변화, 레이어 순서 변화 중 적어도 하나를 적용할 수 있다.
일 실시 예에 따르면, 본 기재의 접이식 전자 장치(200)는 제1 하우징 및 제2 하우징, 상기 제1 하우징과 상기 제2 하우징을 체결하는 힌지 구조물, 상기 제1 하우징 및 제2 하우징 상에 적어도 일부가 놓이는 디스플레이, 상기 제1 하우징과 상기 제2 하우징 사이의 각도를 센싱하는 적어도 하나의 센서, 상기 제1 하우징 및 상기 제2 하우징 중 적어도 하나의 하우징 내에 배치되며 복수의 컨텐츠를 저장하는 메모리, 상기 적어도 하나의 센서 및 상기 메모리와 기능적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 제1 하우징과 제2 하우징 사이의 각도 또는 각도 변화를 검출하고, 상기 각도 또는 상기 각도 변화가 지정된 각도 이상인 경우, 상기 메모리에 저장된 복수의 컨텐츠들 중 특정 컨텐츠에 포함된 복수개의 객체들을 추출하고, 상기 추출된 복수개의 객체들 중 적어도 하나의 객체를 상기 각도 또는 상기 각도 변화에 따라 다른 컨텐츠에 포함된 객체로 대체하여 출력하도록 설정될 수 있다.
본 기재는 상기 전자 장치(예: 접이식 전자 장치(200))의 프로세서 구동을 기반으로 하는 화면 제공 방법을 개시할 수 있다. 예컨대, 본 기재의 화면 제공 방법은 접이식 전자 장치를 구성하는 제1 하우징과 제2 하우징 사이의 각도 또는 각도 변화를 검출하는 동작, 상기 각도 또는 상기 각도 변화가 지정된 각도 이상인 경우, 상기 메모리에 저장된 복수의 컨텐츠들 중 특정 컨텐츠에 포함된 복수개의 객체들 중 적어도 하나의 객체를 상기 각도 또는 상기 각도 변화에 따라 다른 컨텐츠에 포함된 객체로 대체하여 출력하는 동작을 포함할 수 있다. 여기서, 상기 출력하는 동작에서 객체 획득은 컨텐츠에서 추출하거나 메모리에 기 저장된 객체들을 획득할 수 있다.
도 20은 일 실시 예에 따른 보조 디스플레이의 각도 변화에 따른 화면 변화의 한 예를 나타낸 도면이다.
도 2, 도 11, 및 도 20을 참조하면, 접이식 전자 장치(200)는 도시된 바와 같이, 디스플레이(260) 및 보조 디스플레이(260b), 제2 카메라(270b)를 포함할 수 있다. 상기 제2 카메라(270b)는 상기 접이식 전자 장치(200) 구성에서 생략될 수 있다. 디스플레이(260)는 접이식 전자 장치(200)가 지정된 각도 미만으로 개방된 상태일 때, 턴-오프 상태를 유지하다가, 지정된 각도 이상으로 개방될 경우, 턴-온될 수 있다. 상기 보조 디스플레이(260b)는 접이식 전자 장치(200)가 지정된 각도 미만인 상태에서도 턴-온될 수 있다. 예컨대, 접이식 전자 장치(200)는 제1 각도 상태(2001)에서, 제1 하우징(210)과 제2 하우징(220)이 서로 반대된 방향을 향하도록 배치된 상태일 수 있다. 제1 하우징(210)과 제2 하우징(220) 사이의 거리가 이격되기 시작할 경우, 상기 접이식 전자 장치(200)의 프로세서(120)는 보조 디스플레이(260b)를 턴-온할 수 있다. 또는, 일 실시 예에 따르면, 접이식 전자 장치(200)의 프로세서(120)는 보조 디스플레이(260b)를 터치하는 이벤트가 발생할 경우, 보조 디스플레이(260b)를 턴-온시킬 수 있다. 일 실시 예에 따르면, 접이식 전자 장치(200)의 프로세서(120)는 장치를 파지하는 입력이 발생하는 경우, 보조 디스플레이(260b)를 턴-온시킬 수 있다. 상기 보조 디스플레이(260b)가 턴-온되는 경우, 프로세서(120)는 제1 컨텐츠 화면(2010_1)을 보조 디스플레이(260b)에 출력할 수 있다. 상기 제1 컨텐츠 화면(2010_1)은 예컨대, 피사체 객체(2010a)와 텍스트 객체(2010b)가 포함된 화면일 수 있다. 상기 제1 컨텐츠 화면(2010_1)은 피사체 객체(2010a)가 텍스트 객체(2010b)보다 상위 레이어로 배치될 수 있다. 이에 대응하여, 텍스트 객체(2010b)에 포함된 텍스트 표시 영역의 적어도 일부는 피사체 객체(2010a)에 의해 가려질 수 있다.
일 실시 예에 따르면, 접이식 전자 장치(200)는 제1 하우징(210)과 제2 하우징(220) 사이의 사잇각이 일정 각도 이상인 제2 각도 상태(2002)일 수 있다. 상기 프로세서(120)는 접이식 전자 장치(200)가 제2 각도 상태(2002)가 되면, 보조 디스플레이(260b)에 출력 중인 객체들의 레이어 순서를 변경한 제2 컨텐츠 화면(2010_2)을 출력할 수 있다. 예컨대, 프로세서(120)는 피사체 객체(2010a)와 텍스트 객체(2010b)의 레이어 순서를 변경하여, 텍스트 객체(2010b)가 피사체 객체(2010a) 상부에 놓이도록 배치한 제2 컨텐츠 화면(2010_2)을 출력하도록 제어할 수 있다.
일 실시 예에 따르면, 상기 접이식 전자 장치(200)가 제2 각도 상태(2002)에서 제1 각도 상태(2001)로 변경되면, 상기 프로세서(120)는 피사체 객체(2010a)와 텍스트 객체(2010b)의 레이어 순서를 다시 변경한 제1 컨텐츠 화면(2010_1)을 출력하도록 제어할 수 있다. 또는, 상기 접이식 전자 장치(200)가 제2 각도 상태(2002)에서 제1 각도 상태(2001)로 변경되더라도, 상기 프로세서(120)는 피사체 객체(2010a)와 텍스트 객체(2010b)의 레이어 순서를 이전 상태로 유지한 제2 컨텐츠 화면(2010_2)을 출력하도록 제어할 수도 있다.
한편, 상술한 설명에서는, 텍스트 객체(2010b)가 피사체 객체(2010a) 상부에 놓이다가 각도 변화에 따라 피사체 객체(2010a) 아래에 텍스트 객체(2010b)가 배치되는 것을 예시하였으나, 본 기재의 내용이 이에 한정되는 것은 아니다. 예컨대, 상기 접이식 전자 장치(200)의 프로세서(120)는 텍스트 객체(2010b)가 피사체 객체(2010a) 하부에 놓이다가 각도 변화에 따라 피사체 객체(2010a) 상부에 텍스트 객체(2010b)가 배치되도록 제어할 수도 있다.
일 실시 예에 따르면, 상기 접이식 전자 장치(200)의 상태가 제3 각도 상태(예: 제2 각도 상태보다 제1 하우징(210)과 제2 하우징(220)이 더 벌어진 상태로서, 예컨대, 30도 또는 45도 이상으로 벌어진 상태)에서, 프로세서(120)는 보조 디스플레이(260b)를 보조 디스플레이(260b)에 출력 중인 화면을 디스플레이(260)에 출력하도록 제어할 수 있다. 이 동작에서, 상기 프로세서(120)는 상기 보조 디스플레이(260b)를 턴-오프하거나 또는 일정 시간 동안 턴-온 상태를 유지하도록 제어할 수 있다.
도 21은 일 실시 예에 따른 각도 변화 값을 외부 전자 장치에서 획득하는 실시 예를 나타낸 도면이다.
도 2, 도 11, 및 도 21을 참조하면, 사용자는 웨어러블 전자 장치(2100)를 착용한 상태에서 접이식 전자 장치(200)를 사용할 수 있다. 상기 웨어러블 전자 장치(2100)와 상기 접이식 전자 장치(200)는 통신 채널을 형성하여, 자신의 상태 정보를 상대 장치에 전달할 수 있다. 예컨대, 웨어러블 전자 장치(2100)의 상태 변화(또는 웨어러블 전자 장치(2100)를 착용한 사용자의 손목 회전에 따라 회전 각도 변화하거나 웨어러블 전자 장치(2100)의 회전 베젤이 회전하는 상태 변화)는 웨어러블 전자 장치(2100)에 배치된 센서에 의해 검출되고, 검출된 센서 값은 접이식 전자 장치(200)에 전달될 수 있다.
상기 웨어러블 전자 장치(2100)는 제1 피사체 객체(2110a)가 제1 텍스트 객체(2110b)보다 상부 레이어로 배치된 제1 컨텐츠 화면(2101a)을 와치 디스플레이(2160)에 출력한 상태를 가질 수 있다. 상기 접이식 전자 장치(200)는 제2 피사체 객체(2120a)가 제2 텍스트 객체(2120b)보다 상부 레이어로 배치된 제2 컨텐츠 화면(2102a)을 보조 디스플레이(260b)에 출력한 상태를 가질 수 있다. 상술한 상태와 관련하여, 상기 접이식 전자 장치(200)는 보조 디스플레이(260b)에 출력 중인 제2 컨텐츠 화면(2102a)을 웨어러블 전자 장치(2100)에 전송하여, 와치 디스플레이(2160)에 제1 컨텐츠 화면(2101a)로서 출력하도록 지원할 수 있다.
웨어러블 전자 장치(2100)를 착용한 사용자의 제스처에 의해, 웨어러블 전자 장치(2100)는 각도 변화에 따른 센서 정보를 수집할 수 있다. 상기 웨어러블 전자 장치(2100)는 수집된 센서 정보를 접이식 전자 장치(200)에 제공할 수 있다. 상기 접이식 전자 장치(200)는 수신된 센서 정보에 대응하여 보조 디스플레이(260b)에 출력 중인 제2 컨텐츠 화면(2102a)을 변경할 수 있다. 예컨대, 접이식 전자 장치(200)는 제2 피사체 객체(2120a)를 제2 텍스트 객체(2120b)보다 하위 레이어로 배치된 제3 컨텐츠 화면(2101b)을 출력할 수 있다. 제3 컨텐츠 화면(2101b)에서, 제2 피사체 객체(2120a)의 적어도 일부는 제2 텍스트 객체(2120b)에 의해 가려질 수 있다. 상기 접이식 전자 장치(200)는 갱신된 제3 컨텐츠 화면(2101b)에 대한 정보를 웨어러블 전자 장치(2100)에 전달할 수 있다. 이에 대응하여, 웨어러블 전자 장치(2100)는 제1 피사체 객체(2110a)를 제1 텍스트 객체(2110b) 하부에 배치한 제4 컨텐츠 화면(2102b)을 출력하여, 보조 디스플레이(260b)의 화면 표시 상태(제3 컨텐츠 화면(2101b) 출력 상태)와 일치되도록 제어할 수 있다.
한편, 상술한 설명에서는, 접이식 전자 장치(200)의 보조 디스플레이(260b)에 출력 중인 제2 또는 제3 컨텐츠 화면(2102a, 2101b)을 기준으로 웨어러블 전자 장치(2100)의 와치 디스플레이(2160)에 출력되는 제1 또는 제4 컨텐츠 화면(2101a, 2102b)을 동기화하는 것을 예시하였으나, 본 기재의 내용이 이에 한정되는 것은 아니다. 예컨대, 상기 웨어러블 전자 장치(2100)에 출력 중인 컨텐츠 화면의 상태를 접이식 전자 장치(200)가 동기화하여 보조 디스플레이(260b)의 화면을 변경할 수 있다. 이 경우, 상기 웨어러블 전자 장치(2100)는 센서 정보의 처리를 직접 처리하여 컨텐츠 화면을 갱신하고, 갱신된 정보를 접이식 전자 장치(200)에 전송할 수 있다. 또는, 상기 웨어러블 전자 장치(2100)는 센서 정보만을 공유하고, 컨텐츠 화면에 대한 갱신은 각각의 장치들의 처리할 수도 있다.
일 실시 예에 따르면, 상기 웨어러블 전자 장치(2100)의 와치 디스플레이(2160)에도 앞서 도 11 내지 도 20에서 설명한 컨텐츠에 포함된 복수개의 객체들을 기반으로 하는 객체들 중 적어도 하나의 객체에 대한 심도 변화, 줌 비율 변화, 객체들을 포함하는 레이어들의 순서 변경, 다른 객체로의 대체 중 적어도 하나가 적용될 수 있다.
일 실시 예에 따르면, 상기 전자 장치(예: 웨어러블 전자 장치(2100) 및 접이식 전자 장치(200) 중 적어도 하나)는 상기 웨어러블 전자 장치(2100)의 베젤 회전 속도에 대응하여 디스플레이에 출력되는 컨텐츠의 변화 속도를 다르게 할 수 있다. 이와 관련하여, 전자 장치는 각도 변화 및 변화 속도 값을 수신하고, 수신된 값들을 기반으로 컨텐츠 화면 변화를 제어할 수 있다. 일 실시 예에 따르면, 전자 장치는 수신된 변화 속도가 빠른 경우, 심도 변화, 줌 비율 변화, 레이어들의 z축 순서 변화 중 적어도 하나의 변화 속도를 상기 수신된 변화 속도에 맞추어 빠르게 할 수 있다. 또는, 전자 장치는 변화 속도가 느린 경우, 심도 변화, 줌 비율 변화, 레이어들의 z축 순서 변화 중 적어도 하나의 변화 속도를 상기 수신된 변화 속도에 맞추어 느리게 할 수 있다.
일 실시 예에 따르면, 본 기재의 접이식 전자 장치(200)는 제1 하우징 및 제2 하우징, 상기 제1 하우징과 상기 제2 하우징을 체결하는 힌지 구조물, 상기 제1 하우징 및 제2 하우징 상에 적어도 일부가 놓이는 디스플레이, 상기 제1 하우징과 상기 제2 하우징 사이의 각도를 센싱하는 적어도 하나의 센서, 상기 제1 하우징 및 상기 제2 하우징 중 적어도 하나의 하우징 내에 배치되며 복수의 컨텐츠를 저장하는 메모리, 외부 전자 장치와 통신할 수 있는 통신 회로, 상기 적어도 하나의 센서, 상기 통신 회로 및 상기 메모리와 기능적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 제1 하우징과 제2 하우징 사이의 각도 또는 각도 변화를 검출하고, 상기 각도 또는 상기 각도 변화가 지정된 각도 이상인 경우, 상기 메모리에 저장된 복수의 컨텐츠들 중 특정 컨텐츠에 포함된 복수개의 객체들을 추출하고, 상기 추출된 복수개의 객체들 중 적어도 하나의 객체의 심도, 줌인 비율 또는 줌아웃 비율, 및 레이어 순서 중 적어도 하나를 상기 각도 또는 상기 각도 변화에 따라 변경하고, 상기 변경된 객체를 포함하는 컨텐츠를 상기 외부 전자 장치에 전송하도록 설정될 수 있다.
일 실시 예에 따르면, 본 기재의 전자 장치는 외부 전자 장치와 통신할 수 있는 통신 회로, 디스플레이 및 상기 통신 회로와 상기 디스플레이에 기능적으로 연결된 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 통신 회로를 통하여 상기 외부 전자 장치로부터 각도 변화 값을 수신하고, 상기 각도 변화 값이 지정된 각도 이상인 경우, 상기 디스플레이에 출력 중인 컨텐츠에 포함된 복수개의 객체들을 추출하고, 상기 추출된 복수개의 객체들 중 적어도 하나의 객체의 심도, 줌인 비율 또는 줌아웃 비율, 및 레이어 순서 중 적어도 하나를 상기 각 변화에 따라 변경하고, 상기 변경된 객체를 포함하는 컨텐츠를 상기 디스플레이에 출력하도록 설정될 수 있다.
본 기재는 상기 전자 장치의 동작을 기반으로 하는 화면 제공 방법을 개시할 수 있다. 예컨대, 본 기재의 화면 제공 방법은 통신 회로를 통하여 외부 전자 장치로부터 각도 변화 값을 수신하는 동작, 상기 각도 변화 값이 지정된 각도 이상인 경우, 상기 디스플레이에 출력 중인 컨텐츠(또는 출력할 컨텐츠, 메모리에 저장된 컨텐츠, 외부 전자 장치로부터 수신한 컨텐츠 중 적어도 하나)에 포함된 복수개의 객체들 중 적어도 하나의 객체의 심도, 줌인 비율 또는 줌아웃 비율, 및 레이어 순서 중 적어도 하나를 상기 각 변화에 따라 변경하는 동작, 상기 변경된 객체를 포함하는 컨텐츠를 상기 디스플레이에 출력하는 동작을 포함할 수 있다.
한편, 상술한 설명에서는 일부 실시 예에서, 180~90도 사이의 각도 변화에 대한 컨텐츠 화면 변화를 예시하였으나, 본 기재의 각도 변화에 따른 화면 변형 기술은 90도~5도 사이에 컨텐츠 화면을 출력하는 과정에서도 동일 또는 유사하게 적용될 수 있다.
또한, 상술한 실시 예 중 도 12에서 설명한 특정 객체의 심도 변화 기능, 도 13에서 설명한 줌 비율 변화 기능, 도 14에서 설명한 레이어 순서 변화 기능, 도 15에서 설명한 객체의 크기 또는 기울기 변화 기능, 도 18 및 도 19에서 설명한 적어도 하나의 객체를 대체시키는 기능에 대해 각각 설명하였으나, 본 기재의 전자 장치(예: 접이식 전자 장치(200) 및 웨어러블 전자 장치(2100) 중 적어도 하나 또는 도 1 내지 도 8에서 설명한 전자 장치들 중 적어도 하나)는 상술한 각각의 기능들 중 적어도 하나의 기능 또는 복수개의 기능, 또는 각각의 기능을 독립적으로 적용할 수 있다. 이에 따라, 본 기재를 특정 기능과 관련한 실시 예로서 한정되는 것이 아니라, 특정 기능을 제공하는 전자 장치의 프로세서 구동 동작 및 상술한 다양한 기능들을 복합적으로 수행할 수 있는 프로세서의 구동 동작을 포함하는 형태로 이해되어야 할 것이다. 또한, 특정 실시 예에 기재된 프로세서 구동 동작은 다른 실시 예에 기재된 프로세서 구동 동작에 의해 대체되거나 보완될 수 있다. 따라서, 앞서 설명한 실시 예들 중 적어도 하나의 실시 예에서의 특정 프로세서 동작은 생략되거나 다른 실시 예에서 설명한 프로세서 동작에 의해 대체될 수 있다.
이상에서 설명한, 본 기재의 각도 변화에 따른 화면 제어는 단순 재미요소를 넘어서 각도 변화에 따른 심도 변화를 반영하여 직관 감성을 제공할 수 있다. 예를 들어, 본 기재에서는 React-animation, Animated-affordance, micro-animation을 제공할 수 있다. 상기 React-animation은 사용자 상태 별 Animation을 제공하여 즉각적인 시각 피드백과 흥미로운 경험을 제공할 수 있으며, Animated-affordance는 사용자의 다음 행동을 유도하여 사용성에 도움을 주는 affordance 요소를 제공하고, micro-animation은 앱(또는 어플리케이션)내 아이콘 애니메이션 요소 확대 적용으로 즐거운 사용자 경험을 제공할 수 있다. 본 기재는 물리적인 각도의 변화에 기반하여 심도, 줌 비율, z축 레이어 순서 변경 중 적어도 하나를 반영하여 애니메이션 효과를 극대화할 수 있다.
상술한 다양한 실시 예들 중 일 실시 예에 따르면, 전자 장치는 제1 하우징 및 제2 하우징, 상기 제1 하우징과 상기 제2 하우징을 체결하는 힌지 구조물, 상기 제1 하우징 및 제2 하우징 상에 적어도 일부가 놓이는 디스플레이, 상기 제1 하우징과 상기 제2 하우징 사이의 각도를 센싱하는 적어도 하나의 센서, 상기 제1 하우징 및 상기 제2 하우징 중 적어도 하나의 하우징 내에 배치되며 복수의 컨텐츠를 저장하는 메모리, 상기 적어도 하나의 센서 및 상기 메모리와 기능적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 적어도 하나의 프로세서는, 상기 제1 하우징과 제2 하우징 사이의 각도 또는 각도 변화를 검출하고, 상기 각도 또는 상기 각도 변화가 지정된 각도 이상인 경우, 상기 메모리에 저장된 복수의 컨텐츠들 중 특정 컨텐츠에 포함된 복수개의 객체들을 추출하고, 상기 추출된 복수개의 객체들 중 적어도 하나의 객체의 심도를 상기 각도 또는 상기 각도 변화에 따라 변경하여 이전 표시 상태와 다르게 출력하도록 설정될 수 있다.
상기 특정 컨텐츠는 상기 디스플레이의 홈 화면에 출력되도록 설정될 수 있다.
일 실시 예에 따르면, 적어도 하나의 프로세서는, 상기 특정 컨텐츠에 포함된 복수개의 객체들 중 피사체 객체와 배경 객체를 추출하고, 상기 각도 변화에 따라 상기 배경 객체의 심도를 다르게 조절할 수 있다.
일 실시 예에 따르면, 적어도 하나의 프로세서는 상기 제1 하우징과 상기 제2 하우징 사이의 사잇각이 커질수록 상기 배경 객체의 심도를 높여서 상기 배경 객체의 선명도를 낮추도록 조절하도록 설정될 수 있다.
일 실시 예에 따르면, 적어도 하나의 프로세서는 상기 각도 변화에 따라 상기 피사체 객체 또는 상기 배경 객체 중 적어도 하나의 객체에 대한 줌 비율을 다르게 조절하도록 설정될 수 있다.
일 실시 예에 따르면, 적어도 하나의 프로세서는 상기 각도 변화에 따라 상기 피사체 객체를 다른 컨텐츠에서 추출한 피사체 객체로 대체하도록 설정될 수 있다.
일 실시 예에 따르면, 적어도 하나의 프로세서는 상기 각도 변화에 따라 상기 배경 객체를 다른 컨텐츠에서 추출한 배경 객체로 대체하도록 설정될 수 있다.
일 실시 예에 따르면, 적어도 하나의 프로세서는, 상기 특정 컨텐츠에 포함된 복수개의 객체들 중 피사체 객체, 배경 객체 및 시간 정보에 대응하는 텍스트 객체를 추출하도록 설정될 수 있다.
일 실시 예에 따르면, 적어도 하나의 프로세서는, 상기 피사체 객체 및 상기 텍스트 객체를 고정하고, 상기 각도 변화에 따라 상기 배경 객체의 심도를 다르게 조절하도록 설정될 수 있다.
일 실시 예에 따르면, 적어도 하나의 프로세서는, 상기 각도 변화에 따라 상기 배경 객체의 심도를 다르게 조절하면서, 상기 각도 변화에 따라 상기 피사체 객체를 포함하는 레이어와 상기 텍스트 객체를 포함하는 레이어의 표시 순서를 변경하도록 제어할 수 있다.
일 실시 예에 따르면, 상기 적어도 하나의 센서는 상기 접이식 전자 장치의 기울기를 검출하는 기울기 검출 센서를 포함하고, 적어도 하나의 프로세서는, 상기 텍스트 객체를 고정하고, 상기 기울기 검출 센서가 검출한 상기 기울기에 대응하여 상기 디스플레이에 출력 중인 화면을 기울이도록 표시하고, 상기 화면을 기울여 표시하는 동작에서, 상기 제1 하우징 및 상기 제2 하우징의 사잇각의 크기에 따라, 동일한 기울기 크기에 대해 화면의 기울임 정도를 다르게 하도록 설정될 수 있다.
일 실시 예에 따르면, 적어도 하나의 프로세서는, 지정된 조건에 따라 상기 복수개의 컨텐츠 중 상기 디스플레이에 출력할 상기 특정 컨텐츠를 선택하고, 상기 선택된 특정 컨텐츠에 포함된 복수개의 객체들을 추출하도록 설정될 수 있다.
일 실시 예에 따르면, 적어도 하나의 프로세서는 통신 회로를 통해 외부 전자 장치로부터 적어도 하나의 컨텐츠를 수신하여 상기 메모리에 저장하고, 상기 수신하여 상기 메모리에 저장된 적어도 하나의 컨텐츠 중 특정 컨텐츠를 선택하고, 상기 선택된 특정 컨텐츠에 포함된 복수개의 객체들을 분리하도록 설정될 수 있다.
일 실시 예에 따르면, 적어도 하나의 프로세서는 상기 접이식 전자 장치가 접힘 상태에서 펼침 상태로 변경되는 동안의 각도 변화를 검출하도록 설정될 수 있다.
일 실시 예에 따르면, 적어도 하나의 프로세서는 상기 디스플레이가 턴-오프된 상태에서 상기 각도 변화를 검출하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 접이식 전자 장치는 외부 전자 장치와 통신 채널을 형성하는 통신 회로를 더 포함하고, 적어도 하나의 프로세서는 외부 전자 장치로부터 각도 변화를 수신하고, 상기 수신된 각도 정보에 따라 상기 출력 중인 객체들의 심도를 추가로 조정하도록 설정될 수 있다.
일 실시 예에 따르면, 적어도 하나의 프로세서는, 상기 심도를 추가로 조정한 컨텐츠를 상기 외부 전자 장치로 전송하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 접이식 전자 장치는 외부 전자 장치와 통신 채널을 형성하는 통신 회로를 더 포함하고, 적어도 하나의 프로세서는 상기 각도 변화를 상기 외부 전자 장치에 전송하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 접이식 전자 장치는 외부 전자 장치와 통신 채널을 형성하는 통신 회로를 더 포함하고, 적어도 하나의 프로세서는 상기 심도가 변경된 객체를 포함하는 컨텐츠를 상기 외부 전자 장치에 전송하도록 설정될 수 있다.
일 실시 예에 따르면, 상기 접이식 전자 장치는 외부 전자 장치와 통신 채널을 형성하는 통신 회로를 더 포함하고, 적어도 하나의 프로세서는 상기 각도 변화에 따라 상기 복수개의 객체들 각각의 레이어 순서들을 변경하고, 상기 변경된 레이어 순서를 가지며 상기 심도가 변경된 객체를 포함하는 컨텐츠를 상기 외부 전자 장치에 전송하도록 설정될 수 있다.
본 기재의 일 실시 예에 따르면, 본 기재의 화면 제공 방법은, 접이식 전자 장치의 제1 하우징과 제2 하우징 사이의 각도 또는 각도 변화를 검출하는 동작, 상기 각도 또는 상기 각도 변화가 지정된 각도 이상인 경우, 상기 메모리에 저장된 복수의 컨텐츠들 중 특정 컨텐츠에 포함된 복수개의 객체들을 추출하는 동작, 상기 추출된 복수개의 객체들 중 적어도 하나의 객체의 심도를 상기 각도 또는 상기 각도 변화에 따라 변경하여 이전 표시 상태와 다르게 출력하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상기 화면 제공 방법은, 앞서 설명한 전자 장치의 프로세서 동작에 대응하는 적어도 하나의 동작을 기반으로 구동될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 접이식 전자 장치에 있어서,
    제1 하우징 및 제2 하우징;
    상기 제1 하우징과 상기 제2 하우징을 체결하는 힌지 구조물;
    상기 제1 하우징 및 제2 하우징 상에 적어도 일부가 놓이는 디스플레이;
    상기 제1 하우징과 상기 제2 하우징 사이의 각도를 센싱하는 적어도 하나의 센서;
    상기 제1 하우징 및 상기 제2 하우징 중 적어도 하나의 하우징 내에 배치되며 복수의 컨텐츠를 저장하는 메모리;
    상기 적어도 하나의 센서 및 상기 메모리와 기능적으로 연결된 적어도 하나의 프로세서;를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 제1 하우징과 상기 제2 하우징 사이의 각도 또는 각도 변화를 검출하고,
    상기 각도 또는 상기 각도 변화가 지정된 각도 이상인 경우, 상기 메모리에 저장된 복수의 컨텐츠들 중 특정 컨텐츠에 포함된 복수개의 객체들을 추출하고, 상기 추출된 복수개의 객체들 중 적어도 하나의 객체의 심도를 상기 각도 또는 상기 각도 변화에 따라 변경하여 이전 표시 상태와 다르게 출력하도록 설정된 접이식 전자 장치.
  2. 제1항에 있어서,
    상기 특정 컨텐츠는
    상기 디스플레이의 홈 화면에 출력되도록 설정된 접이식 전자 장치.
  3. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 특정 컨텐츠에 포함된 복수개의 객체들 중 피사체 객체와 배경 객체를 추출하고,
    상기 각도 변화에 따라 상기 배경 객체의 심도를 다르게 조절하는 접이식 전자 장치.
  4. 제3항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 제1 하우징과 상기 제2 하우징 사이의 각도 변화에 따라 상기 배경 객체의 심도를 높여서 상기 배경 객체의 선명도를 낮추도록 조절하거나,
    상기 각도 변화에 따라 상기 피사체 객체 또는 상기 배경 객체 중 적어도 하나의 객체에 대한 줌 비율을 다르게 조절하거나,
    상기 각도 변화에 따라 상기 피사체 객체를 다른 컨텐츠에서 추출한 피사체 객체로 대체하거나,
    상기 각도 변화에 따라 상기 배경 객체를 다른 컨텐츠에서 추출한 배경 객체로 대체하도록 설정된 접이식 전자 장치.
  5. 제2항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 특정 컨텐츠에 포함된 복수개의 객체들 중 피사체 객체, 배경 객체 및 시간 정보에 대응하는 텍스트 객체를 추출하도록 설정된 접이식 전자 장치.
  6. 제5항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 피사체 객체 및 상기 텍스트 객체를 고정하고, 상기 각도 변화에 따라 상기 배경 객체의 심도를 다르게 조절하도록 설정된 접이식 전자 장치.
  7. 제5항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 각도 변화에 따라 상기 배경 객체의 심도를 다르게 조절하면서, 상기 각도 변화에 따라 상기 피사체 객체를 포함하는 레이어와 상기 텍스트 객체를 포함하는 레이어의 표시 순서를 변경하도록 제어하는 접이식 전자 장치.
  8. 제5항에 있어서,
    상기 적어도 하나의 센서는 상기 접이식 전자 장치의 기울기를 검출하는 기울기 검출 센서;를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 텍스트 객체를 고정하고, 상기 기울기 검출 센서가 검출한 상기 기울기에 대응하여 상기 디스플레이에 출력 중인 화면을 기울이도록 표시하고,
    상기 화면을 기울여 표시하는 동작에서, 상기 제1 하우징 및 상기 제2 하우징의 사잇각의 크기에 따라, 동일한 기울기 크기에 대해 화면의 기울임 정도를 다르게 하도록 설정된 접이식 전자 장치.
  9. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    지정된 조건에 따라 상기 복수개의 컨텐츠 중 상기 디스플레이에 출력할 상기 특정 컨텐츠를 선택하고,
    상기 선택된 특정 컨텐츠에 포함된 복수개의 객체들을 추출하도록 설정된 접이식 전자 장치.
  10. 제1항에 있어서,
    상기 적어도 하나의 프로세서는 통신 회로를 통해 외부 전자 장치로부터 적어도 하나의 컨텐츠를 수신하여 상기 메모리에 저장하고, 상기 수신하여 상기 메모리에 저장된 적어도 하나의 컨텐츠 중 특정 컨텐츠를 선택하고, 상기 선택된 특정 컨텐츠에 포함된 복수개의 객체들을 분리하도록 설정된 접이식 전자 장치.
  11. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 접이식 전자 장치가 접힘 상태에서 펼침 상태로 변경되는 동안의 각도 변화를 검출하도록 설정된 접이식 전자 장치.
  12. 제1항에 있어서,
    상기 적어도 하나의 프로세서는
    상기 디스플레이가 턴-오프된 상태에서 상기 각도 변화를 검출하도록 설정된 접이식 전자 장치.
  13. 제1항에 있어서,
    외부 전자 장치와 통신 채널을 형성하는 통신 회로;를 더 포함하고,
    상기 적어도 하나의 프로세서는
    외부 전자 장치로부터 각도 변화를 수신하고,
    상기 수신된 각도 정보에 따라 상기 출력 중인 객체들의 심도를 추가로 조정하도록 설정된 접이식 전자 장치.
  14. 제1항에 있어서,
    외부 전자 장치와 통신 채널을 형성하는 통신 회로;를 더 포함하고,
    상기 적어도 하나의 프로세서는
    상기 각도 변화를 상기 외부 전자 장치에 전송하도록 설정되거나,
    상기 심도가 변경된 객체를 포함하는 컨텐츠를 상기 외부 전자 장치에 전송하도록 설정된 접이식 전자 장치.
  15. 제1항에 있어서,
    외부 전자 장치와 통신 채널을 형성하는 통신 회로;를 더 포함하고,
    상기 적어도 하나의 프로세서는
    상기 각도 변화에 따라 상기 복수개의 객체들 각각의 레이어 순서들을 변경하고, 상기 변경된 레이어 순서를 가지며 상기 심도가 변경된 객체를 포함하는 컨텐츠를 상기 외부 전자 장치에 전송하도록 설정된 접이식 전자 장치.
PCT/KR2023/012806 2022-10-04 2023-08-29 화면 제공 방법 및 이를 지원하는 전자 장치 WO2024075987A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20220126158 2022-10-04
KR10-2022-0126158 2022-10-04
KR10-2022-0136736 2022-10-21
KR1020220136736A KR20240047254A (ko) 2022-10-04 2022-10-21 화면 제공 방법 및 이를 지원하는 전자 장치

Publications (1)

Publication Number Publication Date
WO2024075987A1 true WO2024075987A1 (ko) 2024-04-11

Family

ID=90608629

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/012806 WO2024075987A1 (ko) 2022-10-04 2023-08-29 화면 제공 방법 및 이를 지원하는 전자 장치

Country Status (1)

Country Link
WO (1) WO2024075987A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150009125A1 (en) * 2013-07-04 2015-01-08 Lg Electronics Inc. Mobile terminal and control method for the mobile terminal
KR20160016521A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 플렉서블 디바이스의 인터페이싱 방법 및 플렉서블 디바이스
KR20200126232A (ko) * 2019-04-29 2020-11-06 삼성전자주식회사 전자 장치 및 그 영상을 출력하는 방법
KR20220047962A (ko) * 2015-11-18 2022-04-19 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20220077846A (ko) * 2020-12-02 2022-06-09 삼성전자주식회사 전자 장치 및 이의 동작 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150009125A1 (en) * 2013-07-04 2015-01-08 Lg Electronics Inc. Mobile terminal and control method for the mobile terminal
KR20160016521A (ko) * 2014-07-31 2016-02-15 삼성전자주식회사 플렉서블 디바이스의 인터페이싱 방법 및 플렉서블 디바이스
KR20220047962A (ko) * 2015-11-18 2022-04-19 삼성전자주식회사 전자 장치 및 이의 제어 방법
KR20200126232A (ko) * 2019-04-29 2020-11-06 삼성전자주식회사 전자 장치 및 그 영상을 출력하는 방법
KR20220077846A (ko) * 2020-12-02 2022-06-09 삼성전자주식회사 전자 장치 및 이의 동작 방법

Similar Documents

Publication Publication Date Title
WO2021066468A1 (en) Electronic device and control method thereof
WO2022031051A1 (ko) 캡쳐 기능 제공 방법 및 그 전자 장치
WO2023282563A1 (ko) 복수의 터치스크린 디스플레이를 포함하는 전자 장치 및 화면 분할 방법
WO2022055322A1 (ko) 폴더블 전자 장치의 디스플레이 화면 제어 방법 및 그 폴더블 전자 장치
WO2022154423A1 (ko) 전자 장치 및 전자 장치에서 스타일러스 펜의 입력을 처리하는 방법
WO2022086068A1 (ko) 전자 장치 및 전자 장치의 동작 방법
WO2022108379A1 (ko) 확장 가능한 디스플레이를 포함하는 전자 장치 및 컨텐츠 제공 방법
WO2022092652A1 (ko) 사용자 인터페이스를 제공하는 전자 장치
WO2022114885A1 (ko) 스타일러스를 이용한 전자 장치의 제어 방법 및 그 방법을 이용하여 스타일러스로부터 입력을 받는 전자 장치
WO2024075987A1 (ko) 화면 제공 방법 및 이를 지원하는 전자 장치
WO2022114548A1 (ko) 플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치
WO2022030955A1 (ko) 홈 화면을 복원하는 방법 및 이를 적용한 전자 장치
WO2022097930A1 (ko) 전자 장치 및 이의 디스플레이 방법
WO2022025400A1 (ko) 전자 펜과 연동된 화면 분할 제공 방법 및 이를 이용한 폴더블 전자 장치
WO2024054038A1 (ko) 폴더블 전자 장치 및 폴더블 전자 장치의 활용 방법
WO2024054043A1 (ko) 이미지 및 텍스트의 표시 배율을 조절하여 표시하는 전자 장치 및 그 제어 방법
WO2022119055A1 (ko) 폴더블 디스플레이를 갖는 전자 장치 및 이의 제어 방법
WO2024122861A1 (ko) 사용자 정보를 위한 복수의 화면들을 표시하기 위한 전자 장치 및 방법
WO2024025082A1 (ko) 플렉서블 디스플레이를 통해 화면을 표시하기 위한 전자 장치 및 방법
WO2024080727A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 동작 방법 및 비 일시적 저장 매체
WO2024063564A1 (ko) 폴더블 전자 장치 및 폴더블 전자 장치의 동작 방법
WO2023191303A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 이의 제어 방법
WO2024034838A1 (ko) 복수의 디스플레이들을 통해 화면을 표시하기 위한 전자 장치 및 방법
WO2024034852A1 (ko) 전자 장치의 멀티 윈도우 제어 방법 및 그 전자 장치
WO2022119117A1 (ko) 플렉서블 디스플레이를 구비한 전자 장치 및 그의 동작 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23875056

Country of ref document: EP

Kind code of ref document: A1