WO2024029732A1 - 시각적 왜곡 보정을 위한 전자 장치 및 방법 - Google Patents

시각적 왜곡 보정을 위한 전자 장치 및 방법 Download PDF

Info

Publication number
WO2024029732A1
WO2024029732A1 PCT/KR2023/008319 KR2023008319W WO2024029732A1 WO 2024029732 A1 WO2024029732 A1 WO 2024029732A1 KR 2023008319 W KR2023008319 W KR 2023008319W WO 2024029732 A1 WO2024029732 A1 WO 2024029732A1
Authority
WO
WIPO (PCT)
Prior art keywords
display area
display
user
coordinate information
housing
Prior art date
Application number
PCT/KR2023/008319
Other languages
English (en)
French (fr)
Inventor
김홍준
이응주
정우영
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020220115765A external-priority patent/KR20240018993A/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of WO2024029732A1 publication Critical patent/WO2024029732A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets

Definitions

  • the descriptions below relate to an electronic device and method for correcting visual distortion due to a change in display state in a flexible display.
  • An electronic device including a flexible display may change state. Depending on changes in the state of the flexible display and the user's gaze position, the screen displayed on the flexible display may be visually distorted. The method for correcting visual distortion of the screen is described below.
  • an electronic device may include a first housing including a first surface and a second surface opposite to the first surface.
  • the electronic device may include a second housing including a third side and a fourth side opposite to the third side.
  • the electronic device may include at least one processor, at least one camera, at least one distance sensor, and a flexible display.
  • the electronic device rotatably connects the first housing and the second housing about a folding axis, so that the first and third surfaces are in an unfolded state facing the same direction, and the first and third surfaces are in an unfolded state.
  • a hinge structure configured to provide a folded state in which the sides face each other, or an intermediate state in which the first side and the third side form an angle between the angle in the unfolded state and the angle in the folded state.
  • the electronic device may include a folding detection sensor for detecting the angle between the first surface and the third surface of the flexible display.
  • the at least one processor may display a first image on the first display area of the flexible display in the unfolded state.
  • the at least one processor may obtain first coordinate information of the first display area of the flexible display corresponding to the unfolded state.
  • the at least one processor may obtain folding information corresponding to an angle between the first side and the third side of the flexible display based on detecting the intermediate state.
  • the at least one processor may obtain user gaze information based on the at least one distance sensor and the at least one camera. Second coordinate information of the second display area corresponding to the intermediate state may be obtained based on the user gaze information, the folding information, and the first coordinate information of the first display area.
  • the at least one processor may generate a second image based on the first image and the second coordinate information of the second display area.
  • the at least one processor may display the second image on the second display area of the flexible display in the intermediate state.
  • a method performed by an electronic device may include displaying a first image on a first display area of a flexible display in an unfolded state.
  • the method may include acquiring first coordinate information of the first display area of the flexible display corresponding to the unfolded state.
  • the method may include obtaining folding information corresponding to an angle between the first and third sides of the flexible display based on detecting the intermediate state.
  • the method may include obtaining user gaze information based on at least one distance sensor and at least one camera.
  • the method includes the operation of obtaining second coordinate information of the second display area corresponding to the intermediate state based on the user gaze information, the folding information, and the first coordinate information of the first display area. can do.
  • the method may include generating a second image based on the first image and the second coordinate information of the second display area.
  • the method may include displaying the second image on the second display area of the flexible display in the intermediate state.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to one embodiment.
  • FIG 2 shows an example of an unfolded state of an electronic device, according to one embodiment.
  • Figure 3 shows an example of a folded state of an electronic device, according to one embodiment.
  • FIG. 4 shows an example of distortion correction of a display, according to one embodiment.
  • Figure 5A shows an example of distortion correction performed based on the user's gaze located on the central axis of the display, according to one embodiment.
  • FIG. 5B shows an example of x-axis distortion correction performed based on the user's gaze located at the center axis of the display, according to one embodiment.
  • Figure 5C shows an example of y-axis distortion correction performed based on the user's gaze located on the central axis of the display, according to one embodiment.
  • Figure 5d shows an example of a distortion-corrected screen performed based on the user's gaze located on the central axis of the display, according to one embodiment.
  • FIG. 6A shows an example of distortion correction performed based on a projection plane having the same angle with the first housing and the second housing, according to one embodiment.
  • FIG. 6B shows an example of x-axis distortion correction performed based on a projection plane having the same angle with the first housing and the second housing, according to one embodiment.
  • FIG. 6C shows an example of a distortion-corrected screen performed based on a projection plane having the same angle with the first housing and the second housing, according to one embodiment.
  • FIG. 7A illustrates an example of distortion correction of an electronic device based on a projection plane perpendicular to the user's gaze, according to an embodiment.
  • FIG. 7B shows an example of x-axis distortion correction performed based on a projection plane perpendicular to the user's gaze, according to one embodiment.
  • FIG. 7C shows an example of a distortion-corrected screen performed based on a projection plane perpendicular to the user's gaze, according to an embodiment.
  • Figure 8 shows an example of using a blank space by distortion correction to display information, according to an embodiment.
  • Figure 9 shows an example of image loss that may occur during distortion correction.
  • Figure 10 shows an example of a notification indicating image loss during distortion correction, according to one embodiment.
  • Figure 11 shows an example of image reduction during distortion correction, according to one embodiment.
  • Figure 12 shows an example of image enlargement during distortion correction, according to one embodiment.
  • Figure 13 shows an example of distortion correction applied to only a portion of the display area, according to one embodiment.
  • FIG. 14 illustrates an example of selecting a display area to apply distortion correction, according to an embodiment.
  • FIG. 15 illustrates an example of whether distortion correction is changed based on a change in user gaze, according to an embodiment.
  • FIG. 16 illustrates a flow of an operation for displaying a distortion-corrected image based on user gaze information, folding information, and a first display area, according to an embodiment.
  • Terms referring to distortion compensation used in the following description e.g., distortion compensation, changing, switching
  • terms referring to the first display area e.g., 1 Display area, display area before distortion compensation, display area displaying the first image, display area displaying image before distortion compensation
  • a term referring to the second display area display area displaying after distortion compensation, display area displaying the second image, Display area displaying image after distortion compensation, a term referring to the image before distortion compensation (the first image, original image)
  • distortion compensation A term referring to image after distortion compensation (the second image, compensation image, changing image, switching image), the blank portion of the display
  • Terms referring to the margin part of display e.g., margin part, surplus part
  • the expressions greater than or less than may be used to determine whether a specific condition is satisfied or fulfilled, but this is only a description for expressing an example, and the description of more or less may be used. It's not exclusion. Conditions written as ‘more than’ can be replaced with ‘more than’, conditions written as ‘less than’ can be replaced with ‘less than’, and conditions written as ‘more than and less than’ can be replaced with ‘greater than and less than’.
  • 'A' to 'B' means at least one of the elements from A to (including A) and B (including B).
  • 'C' and/or 'D' means including at least one of 'C' or 'D', i.e. ⁇ 'C', 'D', 'C' and 'D' ⁇ .
  • a foldable electronic device may refer to an electronic device that includes a hinge structure configured to provide a folded state, an unfolded state, and an intermediate state.
  • the foldable electronic device may include a flexible display.
  • the foldable electronic device may include a first housing including a first side and a second side opposite to the first side.
  • the foldable electronic device may include a second housing including a third side and a fourth side.
  • the unfolded state of the foldable electronic device may refer to a structure of the electronic device that is completely unfolded such that the first side and the third side face in the same direction.
  • the folded state of the foldable electronic device may refer to the structure of the electronic device in which the first side and the third side face in the same direction. This may refer to a structure of an electronic device that is folded so that one side and the third side face each other.
  • the intermediate state may refer to a structure of an electronic device in which the first surface and the third surface are folded to form an angle between the angle in the unfolded state and the angle in the folded state.
  • the first display area may refer to the display area of the display in an unfolded state.
  • the first display area may refer to the display area of the display before distortion correction based on perspective.
  • the second display area may refer to the display area of the display after distortion correction based on perspective.
  • First coordinate information may mean coordinates that can specify the first display area.
  • the first coordinate information may mean the coordinates of the vertices of the first display area and the coordinates of the ends of the folding axis.
  • Second coordinate information may refer to coordinates that can specify the second display area.
  • the second coordinate information may mean the coordinates of the vertices of the second display area and the coordinates of the ends of the folding axis.
  • the folding axis may refer to an axis along which the first housing and the second housing are folded.
  • the central axis may refer to a plane that is perpendicular to the flexible display in an unfolded state and includes the folding axis.
  • the user's gaze may refer to a point corresponding to the user's eyes observing the display.
  • the user's gaze may mean a point corresponding to the pupil of the side of the eye that the user mainly uses.
  • the user's gaze may mean a point corresponding to the pupil of the eye designated by the user.
  • the user's gaze may mean a point corresponding to the pupil on the side closest to the display.
  • the user's gaze may refer to a point corresponding to the center of both pupils of the user.
  • User gaze information may include coordinates of the user's gaze.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to embodiments.
  • the electronic device 101 communicates with the electronic device 102 through a first network 198 (e.g., a short-range wireless communication network) or a second network 199. It is possible to communicate with at least one of the electronic device 104 or the server 108 through (e.g., a long-distance wireless communication network). According to one embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • a first network 198 e.g., a short-range wireless communication network
  • a second network 199 e.g., a long-distance wireless communication network.
  • the electronic device 101 may communicate with the electronic device 104 through the server 108.
  • the electronic device 101 includes a processor 120, a memory 130, an input module 150, an audio output module 155, a display module 160, an audio module 170, and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or may include an antenna module 197.
  • at least one of these components eg, the connection terminal 178) may be omitted or one or more other components may be added to the electronic device 101.
  • some of these components e.g., sensor module 176, camera module 180, or antenna module 197) are integrated into one component (e.g., display module 160). It can be.
  • the processor 120 for example, executes software (e.g., program 140) to operate at least one other component (e.g., hardware or software component) of the electronic device 101 connected to the processor 120. It can be controlled and various data processing or calculations can be performed. According to one embodiment, as at least part of data processing or computation, the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132. The commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • software e.g., program 140
  • the processor 120 stores instructions or data received from another component (e.g., sensor module 176 or communication module 190) in volatile memory 132.
  • the commands or data stored in the volatile memory 132 can be processed, and the resulting data can be stored in the non-volatile memory 134.
  • the processor 120 includes the main processor 121 (e.g., a central processing unit or an application processor) or an auxiliary processor 123 that can operate independently or together (e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 e.g., a central processing unit or an application processor
  • an auxiliary processor 123 e.g., a graphics processing unit, a neural network processing unit ( It may include a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor.
  • the auxiliary processor 123 may be set to use lower power than the main processor 121 or be specialized for a designated function. You can.
  • the auxiliary processor 123 may be implemented separately from the main processor 121 or as part of it.
  • the auxiliary processor 123 may, for example, act on behalf of the main processor 121 while the main processor 121 is in an inactive (e.g., sleep) state, or while the main processor 121 is in an active (e.g., application execution) state. ), together with the main processor 121, at least one of the components of the electronic device 101 (e.g., the display module 160, the sensor module 176, or the communication module 190) At least some of the functions or states related to can be controlled.
  • co-processor 123 e.g., image signal processor or communication processor
  • may be implemented as part of another functionally related component e.g., camera module 180 or communication module 190. there is.
  • the auxiliary processor 123 may include a hardware structure specialized for processing artificial intelligence models.
  • Artificial intelligence models can be created through machine learning. This learning may be performed, for example, in the electronic device 101 itself where the artificial intelligence model is performed, or may be performed through a separate server (e.g., server 108). Learning algorithms may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but It is not limited.
  • An artificial intelligence model may include multiple artificial neural network layers.
  • Artificial neural networks include deep neural network (DNN), convolutional neural network (CNN), recurrent neural network (RNN), restricted boltzmann machine (RBM), belief deep network (DBN), bidirectional recurrent deep neural network (BRDNN), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the examples described above.
  • artificial intelligence models may additionally or alternatively include software structures.
  • the memory 130 may store various data used by at least one component (eg, the processor 120 or the sensor module 176) of the electronic device 101. Data may include, for example, input data or output data for software (eg, program 140) and instructions related thereto. Memory 130 may include volatile memory 132 or non-volatile memory 134.
  • the program 140 may be stored as software in the memory 130 and may include, for example, an operating system 142, middleware 144, or application 146.
  • the input module 150 may receive commands or data to be used in a component of the electronic device 101 (e.g., the processor 120) from outside the electronic device 101 (e.g., a user).
  • the input module 150 may include, for example, a microphone, mouse, keyboard, keys (eg, buttons), or digital pen (eg, stylus pen).
  • the sound output module 155 may output sound signals to the outside of the electronic device 101.
  • the sound output module 155 may include, for example, a speaker or a receiver. Speakers can be used for general purposes such as multimedia playback or recording playback.
  • the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display module 160 can visually provide information to the outside of the electronic device 101 (eg, a user).
  • the display module 160 may include, for example, a display, a hologram device, or a projector, and a control circuit for controlling the device.
  • the display module 160 may include a touch sensor configured to detect a touch, or a pressure sensor configured to measure the intensity of force generated by the touch.
  • the audio module 170 can convert sound into an electrical signal or, conversely, convert an electrical signal into sound. According to one embodiment, the audio module 170 acquires sound through the input module 150, the sound output module 155, or an external electronic device (e.g., directly or wirelessly connected to the electronic device 101). Sound may be output through the electronic device 102 (e.g., speaker or headphone).
  • the electronic device 102 e.g., speaker or headphone
  • the sensor module 176 detects the operating state (e.g., power or temperature) of the electronic device 101 or the external environmental state (e.g., user state) and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 176 includes, for example, a gesture sensor, a gyro sensor, an air pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, humidity sensor, or light sensor.
  • the interface 177 may support one or more designated protocols that can be used to connect the electronic device 101 directly or wirelessly with an external electronic device (eg, the electronic device 102).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 can convert electrical signals into mechanical stimulation (e.g., vibration or movement) or electrical stimulation that the user can perceive through tactile or kinesthetic senses.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 can capture still images and moving images.
  • the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 can manage power supplied to the electronic device 101.
  • the power management module 188 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101.
  • the battery 189 may include, for example, a non-rechargeable primary battery, a rechargeable secondary battery, or a fuel cell.
  • Communication module 190 is configured to provide a direct (e.g., wired) communication channel or wireless communication channel between electronic device 101 and an external electronic device (e.g., electronic device 102, electronic device 104, or server 108). It can support establishment and communication through established communication channels. Communication module 190 operates independently of processor 120 (e.g., an application processor) and may include one or more communication processors that support direct (e.g., wired) communication or wireless communication.
  • processor 120 e.g., an application processor
  • the communication module 190 may be a wireless communication module 192 (e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (e.g., : LAN (local area network) communication module, or power line communication module) may be included.
  • a wireless communication module 192 e.g., a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module
  • GNSS global navigation satellite system
  • wired communication module 194 e.g., : LAN (local area network) communication module, or power line communication module
  • the corresponding communication module is a first network 198 (e.g., a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (e.g., legacy It may communicate with an external electronic device 104 through a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (e.g., LAN or WAN).
  • a telecommunication network such as a cellular network, a 5G network, a next-generation communication network
  • the wireless communication module 192 uses subscriber information (e.g., International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 to communicate within a communication network such as the first network 198 or the second network 199.
  • subscriber information e.g., International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the wireless communication module 192 may support 5G networks after 4G networks and next-generation communication technologies, for example, NR access technology (new radio access technology).
  • NR access technology provides high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low latency). -latency communications)) can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band), for example, to achieve a high data transfer rate.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 uses various technologies to secure performance in high frequency bands, for example, beamforming, massive array multiple-input and multiple-output (MIMO), and full-dimensional multiplexing. It can support technologies such as input/output (FD-MIMO (full dimensional MIMO)), array antenna, analog beam-forming, or large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101, an external electronic device (e.g., electronic device 104), or a network system (e.g., second network 199).
  • the wireless communication module 192 supports Peak data rate (e.g., 20 Gbps or more) for realizing eMBB, loss coverage (e.g., 164 dB or less) for realizing mmTC, or U-plane latency (e.g., 164 dB or less) for realizing URLLC.
  • Peak data rate e.g., 20 Gbps or more
  • loss coverage e.g., 164 dB or less
  • U-plane latency e.g., 164 dB or less
  • the antenna module 197 may transmit or receive signals or power to or from the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a radiator made of a conductor or a conductive pattern formed on a substrate (eg, PCB).
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for the communication method used in the communication network, such as the first network 198 or the second network 199, is connected to the plurality of antennas by, for example, the communication module 190. can be selected Signals or power may be transmitted or received between the communication module 190 and an external electronic device through the at least one selected antenna.
  • other components eg, radio frequency integrated circuit (RFIC) may be additionally formed as part of the antenna module 197.
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side) of the printed circuit board and capable of transmitting or receiving signals in the designated high frequency band. can do.
  • a mmWave antenna module includes a printed circuit board, an RFIC disposed on or adjacent to a first side (e.g., bottom side) of the printed circuit board and capable of supporting a designated high-frequency band (e.g., mmWave band); And a plurality of antennas (e.g., array antennas) disposed on or adjacent to the second side (e.g., top or side)
  • peripheral devices e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • signal e.g. commands or data
  • commands or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199.
  • Each of the external electronic devices 102 or 104 may be of the same or different type as the electronic device 101.
  • all or part of the operations performed in the electronic device 101 may be executed in one or more of the external electronic devices 102, 104, or 108.
  • the electronic device 101 may perform the function or service instead of executing the function or service on its own.
  • one or more external electronic devices may be requested to perform at least part of the function or service.
  • One or more external electronic devices that have received the request may execute at least part of the requested function or service, or an additional function or service related to the request, and transmit the result of the execution to the electronic device 101.
  • the electronic device 101 may process the result as is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology can be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of Things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or server 108 may be included in the second network 199.
  • the electronic device 101 may be applied to intelligent services (e.g., smart home, smart city, smart car, or healthcare) based on 5G communication technology and IoT-related technology.
  • FIG 2 shows an example of an unfolded state of an electronic device, according to embodiments.
  • FIG 3 shows an example of a folded state of an electronic device, according to embodiments.
  • a foldable electronic device may provide various states.
  • the electronic device 101 may provide an unfolded state, an intermediate state, and a folded state.
  • the electronic device 101 is completely (i.e., the first housing 220 and the second housing 210) via a hinge structure included in a folding housing (e.g., the folding housing 303 in FIG. 3). It may be in a fully unfolded (folded out) state (200).
  • the first housing 220 has a first side 221, a second side (not shown) opposite to the first side 221, and a second side between the first side 221 and the second side. It may include a first side 233 and a second side 234.
  • the second housing 210 has a third side 211, a fourth side opposite to the third side 211 (e.g., the fourth side 307 in FIG. 3), and a third side ( It may include a third side 231 and a fourth side 232 between 211) and the fourth side.
  • the folding housing has the first side 233 of the first housing 220 and the third side 231 of the second housing 210 facing the first side 233 on the folding axis 235.
  • the state 200 is such that the first direction 202 toward which the first side 221 of the first housing 220 faces is the second direction toward which the third side 211 of the second housing 210 faces. It may mean a state corresponding to the direction 201.
  • first direction 202 may be substantially parallel to second direction 201.
  • first direction 202 may be the same as second direction 201.
  • the first surface 221 and the third surface 211 may substantially form one flat surface.
  • the angle 203 between the first surface 221 and the third surface 211 may be 180 degrees.
  • state 200 may mean a state in which the entire display area of the first display 240 can be provided on substantially one plane.
  • the display area of the first display 240 may not include a curved surface.
  • the unfolding state may be referred to as an outspread state or outspreading state.
  • the electronic device e.g., the electronic device 101 of FIG. 1 has a first housing 220 and a second housing 210 folded in through a hinge structure in the folding housing 303.
  • a state 300 in a folded state may be provided.
  • the folding state including the state 300 has a first direction 202 toward which the first side (e.g., the first side 221 in FIG. 2) (not shown in FIG. 3) faces. It may refer to a state in which the third side (e.g., the third side 211 of FIG. 2) (not shown in FIG. 3) is distinct from the second direction 201 toward which it faces.
  • the angle between the first direction 202 and the second direction 201 is substantially 180 degrees, and the first direction 202 and the second direction 201 can be distinguished from each other. there is.
  • angle 305 between first surface 221 and third surface 211 may be substantially 0 degrees.
  • the folded state may be referred to as a folded state.
  • the electronic device 101 has a first display corresponding to the first side 221 by having the first side 221 and the third side 211 face each other through a hinge structure in the folding housing 303.
  • a state 300 may be provided in which the display area of the first display 240 corresponding to the third side 211 substantially completely overlaps the display area of 240 .
  • the electronic device 101 may provide a state 300 in which the first direction 202 is substantially opposite to the second direction 201.
  • the display area of the first display 240 may be obscured within the user's field of view looking at the electronic device 101. However, it is not limited to this.
  • the first display 240 can be bent by rotation provided through a hinge structure in the folding housing 303.
  • a portion of the display area of the first display 240 may be curved.
  • the portion of the display area of the first display 240 may be in a curved state to prevent damage to the first display 240 in the folded state.
  • it is not limited to this.
  • the processor 120 may have a first direction 202 in which the first side 221 of the first housing 220 faces and a second direction in which the third side 211 of the second housing 210 faces.
  • the angle between the directions 201 is determined by at least one of a Hall sensor in the electronic device 101, a first sensor in the electronic device 101, a rotation sensor in the folding housing 303, and a stretch sensor in the electronic device 101. Through one, it can be identified.
  • the second housing 210 may include a second display 350 on the fourth side 307 opposite the third side 211 .
  • the second display 350 may be used to provide visual information in a folded state in which the display area of the first display 240 is not visible.
  • the electronic device 101 may include at least one antenna formed in at least a portion of the second side 234 of the first housing 220.
  • the electronic device 101 may include at least one antenna formed within at least a portion of the fourth side 232 of the second housing 210 .
  • at least one antenna formed within at least a portion of the second side 234 of the first housing 220 may include the first antenna.
  • At least one antenna formed within at least a portion of the fourth side 232 of the second housing 210 may include a second antenna.
  • An electronic device may perform distortion correction of a display (eg, display module 160) depending on the state of the electronic device 101.
  • the state of the electronic device 101 may be an unfolded state (eg, state 200), an intermediate state, or a folded state (eg, state 300).
  • the display may be a flexible display.
  • the state change diagram 400 shows the screens of the foldable electronic devices 411 and 431 depending on whether or not the display is distorted.
  • the foldable electronic device 411 and the foldable electronic device 431 exemplify the electronic device 101 of FIG. 1 .
  • the foldable electronic device 411 may display an image before distortion correction in the unfolded state 410.
  • the foldable electronic device 411 may include a hinge structure for forming an unfolded state (e.g., state 200 in FIG. 2), a folded state (e.g., state 300 in FIG. 3), or an intermediate state. You can.
  • the image 413 before distortion correction in the unfolded state 410 may be displayed on the display of the foldable electronic device 411 in the unfolded state 410.
  • the image 413 before distortion correction may be referred to as the first image.
  • the foldable electronic device 411 may display an image before distortion correction in the intermediate state 420.
  • a user looking at the foldable electronic device 411 from the front can see the image projected on the projection surface.
  • the image 413 before distortion correction may be visually distorted due to perspective as the foldable electronic device 411 is folded. Accordingly, a user looking at the scene of the foldable electronic device 411 may observe an image distorted by perspective.
  • a screen portion of the display that is close to the user's line of sight e.g., both ends of a car
  • a portion of the screen of the display that is close to the user's line of sight e.g., the middle portion of a car
  • the foldable electronic device 431 can perform a distortion correction function.
  • the foldable electronic device 431 may display the image 413 before distortion correction in the unfolded state 430.
  • the foldable electronic device 431 may include a hinge structure for forming an unfolded state, a folded state, or an intermediate state. If the state of the foldable electronic device 431 changes from an unfolded state to an intermediate state or a folded state, distortion may occur in the image 413 before distortion correction, as described above. Accordingly, the foldable electronic device 431 can perform distortion correction.
  • the foldable electronic device 431 may change the image 413 before distortion correction into the image 433 after correction of distortion through distortion correction.
  • the image after distortion correction 433 is an image after distortion correction and may be referred to as a second image.
  • the foldable electronic device 431 may display an image 433 after distortion correction in an intermediate state 440.
  • a user looking at the foldable electronic device 431 can see the image projected on the projection surface.
  • the image 433 after distortion correction may be visually distorted compared to the image 413 before distortion correction due to perspective.
  • the foldable electronic device 431 distorts the image 413 before distortion correction in advance, the image 433 after distortion correction displayed in the intermediate state 440 may not be distorted from the user's perspective. That is, through pre-distortion, the foldable electronic device 431 can provide a relatively less distorted or undistorted image to the user.
  • the user may observe the same view from the image 433 after distortion correction as the view for the image 413 before distortion correction in the unfolded state 430.
  • the image 433 may be generated based on folding information corresponding to the angle formed by the first side of the first housing and the third side of the second housing of the foldable electronic device 101.
  • the folding information may be a folding angle, which is the angle formed by the first surface and the third surface.
  • the at least one processor 120 may obtain the folding information through a folding angle recognition sensor.
  • the folding angle recognition sensor may be a plurality of 6-axis sensors or a strain sensor.
  • the plurality of 6-axis sensors may be sensors that detect tilt.
  • the plurality of 6-axis sensors may be respectively disposed on a printed circuit board (PCB) in the first housing and second housing areas. Folding information of the foldable electronic device 101 may be obtained based on the difference in tilt measured by the plurality of 6-axis sensors. Strain sensors can be connected via a flexible printed circuit board (FPCB). When the foldable electronic device 101 is folded, the flexible printed circuit board (FPCB) may be bent. The foldable electronic device 101 can obtain the bending angle of a flexible printed circuit board (FPCB) through the strain sensor. Therefore, the at least one processor can obtain folding information through the strain sensor.
  • FPCB flexible printed circuit board
  • Figure 5A shows an example of distortion correction performed based on the user's gaze located on the central axis of the display, according to one embodiment.
  • An electronic device eg, electronic device 101
  • the display may be a flexible display.
  • the distortion correction method performed based on the user's gaze located on the central axis of the display may be referred to as the first distortion correction method 500.
  • the foldable electronic device 501 may perform the first distortion correction method 500 .
  • the principle of distortion correction performed based on the user's gaze located at the central axis of the display of the foldable electronic device 501 is shown.
  • the foldable electronic device 501 (e.g., foldable electronic device 431) in an intermediate state (e.g., intermediate state 440) has the first side of the first housing 507 and the second housing 509.
  • the third side may be folded to form an angle between an angle in the unfolded state (eg, 180 degrees) and an angle in the folded state (eg, 0 degrees).
  • the folding axis 521 may be an axis along which the foldable electronic device 501 is folded.
  • the user's gaze 505 may be located at the central axis of the display included in the foldable electronic device 501.
  • the central axis is perpendicular to the display in the unfolded state and may be a plane including the folding axis 521.
  • the foldable electronic device 501 may display the first display area.
  • the first display area may be specified by first coordinate information.
  • the first coordinate information may include longitudinal coordinates of the first display area.
  • the first coordinate information may include coordinates 513, 515, 517, and 519.
  • the first coordinate information may include longitudinal coordinates of the folding axis.
  • the first coordinate information may include coordinates 531 and 533.
  • the foldable electronic device 501 may display the second display area.
  • the second display area may be specified by second coordinate information.
  • the second coordinate information may include longitudinal coordinates of the second display area.
  • the second coordinate information may include coordinates 523, 525, 527, and 529.
  • the second coordinate information may include longitudinal coordinates of the folding axis.
  • the second coordinate information may include coordinates 531 and 533.
  • the first coordinate information and the second coordinate information may share the coordinates of the folding axis (eg, coordinates 531 and 533).
  • the foldable electronic device 501 (e.g., foldable electronic device 431) in an unfolded state (e.g., unfolded state 430) includes the first side of the first housing 507 and the second housing 509. The third side of may face the same direction.
  • the angle 511 may be a value formed by the first housing and a surface that is perpendicular to the display and includes the folding axis in the unfolded state.
  • the angle 511 may be a value formed by the second housing and a surface that is perpendicular to the display and includes the folding axis in the unfolded state.
  • an image may be displayed on the second display area within the second coordinate information.
  • the user's gaze 505 may be a point corresponding to the pupil of the user observing the display.
  • the user's gaze 505 may be a point corresponding to the pupil of the side of the eye that the user mainly uses.
  • the user's gaze 505 may point to a point corresponding to the pupil of the left eye.
  • the user's gaze 505 may point to a point corresponding to the pupil of the right eye.
  • the user's gaze 505 may be a point corresponding to the pupil of the eye designated by the user.
  • the user's gaze 505 may be a point corresponding to the pupil on the side closest to the display. As the distance from the display increases, the degree of change in the display area for distortion correction increases, resulting in more blank areas. According to one embodiment, the user's gaze 505 may be a point corresponding to between both pupils of the user (eg, the center).
  • the processor 120 of the electronic device 101 may obtain second coordinate information based on the user's gaze 505 and first coordinate information of the first display area.
  • the user's gaze 505 may be directed to the vertex of the first display area.
  • the coordinates of may be determined as the coordinates of the second display area.
  • the foldable electronic device 501 may identify the coordinates 523 of a point where a line connecting the user's gaze 505 and the coordinates 513 meets the first surface.
  • the foldable electronic device 501 can identify the coordinates 525 of the point where the line connecting the user's gaze 505 and the coordinates 515 intersects the first surface.
  • the foldable electronic device 501 can identify the coordinates 527 of the point where the line connecting the user's gaze 505 and the coordinates 517 intersects the third side.
  • the foldable electronic device 501 can identify the coordinates 529 of the point where the line connecting the user's gaze 505 and the coordinates 519 intersects the third side.
  • the second coordinate information includes the surface connecting the vertices of the first display area of the foldable electronic device 501 in the unfolded state and the user's line of sight, and the first and third sides of the foldable electronic device 501 in the intermediate state. These may be the coordinates of the meeting points.
  • User gaze information may include coordinates of the user's gaze 505.
  • the user gaze information may be obtained through a camera and a distance sensor.
  • the user's gaze information can determine the location of the user's gaze (e.g., x-axis and y-axis coordinates) through the camera, and determine the distance to the user's gaze (e.g., z-axis coordinates) through the distance detection sensor.
  • the distance detection sensor may be a time of flight (TOF) sensor.
  • the distance detection sensor may be Lidar (light detection and ranging).
  • FIG. 5B shows an example 540 of x-axis distortion correction performed based on the user's gaze located at the center axis of the display, according to one embodiment.
  • FIG. 5B may be a result of the first distortion correction method 500 when a user views it in the y-axis direction.
  • the first value 541 (eg, x) may correspond to the length from the folding axis to the ends 551 and 553 of the first display area.
  • the first value 541 may be a given value.
  • the second value 543 (eg, a) is perpendicular to the display in the unfolded state and may correspond to a first angle formed between the first housing and the plane including the folding axis.
  • the second value 543 may be obtained based on a folding detection sensor.
  • a third value 545 (e.g. b) is perpendicular to the display in the unfolded state and in a direction including the folding axis and the end 551 of the first display area within the first housing in the unfolded state in the user's line of sight.
  • the third value 545 may be obtained based on the first value and the fifth value.
  • the fourth value 547 e.g., b
  • the fourth value 547 is the value of the first display area within the second housing in the unfolded state in a direction perpendicular to the flexible display in the unfolded state and including the folding axis and in the user's line of sight. It can correspond to the angle formed by the direction facing the longitudinal end 553.
  • the fourth value 547 may be obtained through at least one camera and at least one distance detection sensor.
  • the fifth value 549 (eg, z) may mean the vertical distance between the user's gaze and the display in the unfolded state.
  • the fifth value 549 can be obtained through a camera and a distance detection sensor.
  • the x1 value 555 may be the distance between a projected point of the end point of the second display area in the second housing in the intermediate state and the end point of the first display area in the unfolded state.
  • the x2 value 557 may be the distance between the projected point of the end point of the second display area in the second housing in the intermediate state and the projected point of the folding axis of the foldable electronic device.
  • the x3 value 559 may be the distance between the folding axis of the foldable electronic device and an end of the second display area within the second housing in the intermediate state.
  • the x4 value 561 may be the vertical distance between the projection surface and the end point of the second display area within the second housing in the intermediate state.
  • the x1 value (555), the x2 value (557), the x3 value (559), and the x4 value (561) can be obtained.
  • the x3 value 559 may be the distance between the end of the second display area of the second housing and the folding axis of the foldable electronic device in the intermediate state. In other words, the x3 value 559 may be the x-axis coordinate of the second display area of the second housing in an intermediate state.
  • the x3 value can be derived as in Equation 7.
  • the x4 value can be derived as in Equation 8.
  • the x-axis distortion correction coordinate may be the x3 value.
  • the x4 value can be used when calculating y-axis distortion correction coordinates.
  • FIG. 5C shows an example of y-axis distortion correction performed based on the user's gaze located on the central axis of the display, according to one embodiment.
  • FIG. 5C may be a user's view of the first distortion correction method 500 from the x-axis direction.
  • the coordinates 571 of the user's gaze may be determined by the position of the user's gaze looking at the display.
  • the projection surface 573 may be a surface on which the screen of the foldable electronic device in the intermediate state (e.g., intermediate state 440) is projected.
  • the projection surface may be a surface formed by a foldable electronic device in an unfolded state (eg, the foldable electronic device 501 in an unfolded state in FIG. 5A).
  • the first value 575 (eg, z) may be the vertical distance between the user's gaze and the display in an unfolded state.
  • the first value 575 (e.g., the fifth value 549 in FIG. 5B) may be obtained through a camera and a distance detection sensor.
  • the second value 577 (e.g., x4 value 561 in FIG. 5B) (e.g., x4) may be the vertical distance between the projection plane and the termination point of the second display area within the second housing in the intermediate state.
  • the third value 579 (e.g., y1) may be the distance between the end of the projection surface in the folding axis direction and the point where the user's gaze is projected.
  • the third value 579 can be obtained through a camera and a distance detection sensor.
  • the y2 value 581 may be the distance from one end of the folding axis direction of the second display area of the foldable electronic device in the intermediate state to the point where the user's gaze is projected.
  • the y3 value 583 may be the distance from the other end of the folding axis direction of the second display area of the foldable electronic device in the intermediate state to the point where the user's gaze is projected.
  • the y2 value (581) and the y3 value (583) can be obtained.
  • the y2 value 581 may be the y-axis coordinate of one vertex of the second display area in the intermediate state.
  • the y3 value 583 may be the y-axis coordinate of the other vertex of the second display area in the intermediate state.
  • the foldable electronic device 101 can obtain the range of the second display area after distortion correction using FIGS. 5B and 5C.
  • Figure 5d shows an example of a distortion-corrected screen performed based on the user's gaze located on the central axis of the display, according to one embodiment.
  • the display area change diagram 590 may show a first display area and a second display area before and after distortion correction.
  • the first display area may be the display area of the foldable electronic device before distortion correction.
  • the second display area may be a display area of the foldable electronic device after distortion correction.
  • the coordinates of the vertices of the first display area (coordinates 591, 592, 593, and 594) and the coordinates of the ends of the folding axis 599 are the first coordinates of the first display area before distortion correction. It may be included in coordinate information.
  • the vertices of the display area are selected from the coordinates (coordinates 591, 592, 593, and 594) of the vertices of the first display area based on the first distortion correction method. 2
  • the coordinates of the vertices of the display area can be changed to coordinates (coordinates 595, 596, 597, and 598).
  • the coordinates of the vertices of the second display area (coordinates 595, 596, 597, and 598) and the coordinates of the ends of the folding axis 599 are the second coordinates of the second display area after distortion correction. It may be included in coordinate information.
  • the second display area may be left-right symmetrical.
  • FIG. 6A shows an example of distortion correction performed based on a projection plane having the same angle with the first housing and the second housing, according to one embodiment.
  • An electronic device eg, electronic device 101
  • the user's gaze is not on the central axis and may be at any position.
  • the display may be a flexible display.
  • the distortion correction method performed based on the user's gaze at an arbitrary position may be referred to as the second distortion correction method 600.
  • the foldable electronic device 601 may perform the second distortion correction method 600.
  • the second distortion correction method 600 illustrates the principle of distortion correction of the foldable electronic device 601, which is performed based on a projection plane where the angle formed by the first housing and the second housing is the same.
  • the foldable electronic device 601 (e.g., foldable electronic device 431) in an intermediate state (e.g., intermediate state 440) has the first side of the first housing 607 and the first side of the second housing 609.
  • the three sides can be folded to form an angle between the angle in the unfolded state (e.g., 180 degrees) and the angle in the folded state (e.g., 0 degrees).
  • the folding axis 621 may refer to the axis along which the foldable electronic device 601 is folded.
  • the user's gaze 605 may be located at any position.
  • the foldable electronic device 601 may display the first display area.
  • the first display area may be specified by first coordinate information.
  • the first coordinate information may include longitudinal coordinates of the first display area.
  • the first coordinate information may include coordinates 613, 615, 617, and 619.
  • the first coordinate information may include longitudinal coordinates of the folding axis.
  • the first coordinate information may include coordinates 631 and 633.
  • the foldable electronic device 601 may display the second display area.
  • the second display area may be specified by second coordinate information.
  • the second coordinate information may include longitudinal coordinates of the second display area.
  • the second coordinate information may include coordinates 623, 625, 627, and 629.
  • the second coordinate information may include longitudinal coordinates of the folding axis.
  • the second coordinate information may include coordinates 631 and 633.
  • the first coordinate information and the second coordinate information may share coordinates of the folding axis (eg, coordinates 631 and 633).
  • the foldable electronic device 601 (e.g., the foldable electronic device 431) in the unfolded state (e.g., the unfolded state 410 and the unfolded state 430 of FIG. 4) is located in the first housing 607.
  • the first side and the third side of the second housing 609 may face the same direction.
  • Angle a (611) may be a value formed by the first housing and a surface that is perpendicular to the display and includes the folding axis in the unfolded state.
  • Angle a (611) may be a value formed by the second housing and a surface that is perpendicular to the display and includes the folding axis in the unfolded state.
  • an image may be displayed on the second display area within the second coordinate information.
  • the user's gaze 605 may be a point corresponding to the pupil of the user observing the display.
  • the user's gaze 605 may be a point corresponding to the pupil of the side of the eye that the user mainly uses.
  • the user's gaze 605 may point to a point corresponding to the pupil of the left eye.
  • the user's gaze 605 may point to a point corresponding to the pupil of the right eye.
  • the user's gaze 605 may be a point corresponding to the pupil of the eye designated by the user.
  • the user's gaze 605 may be a point corresponding to the pupil on the side closest to the display. As the distance from the display increases, the degree of change in the display area for distortion correction increases, resulting in more blank areas. According to one embodiment, the user's gaze 605 may be a point corresponding to between both pupils of the user (eg, the center).
  • the processor 120 of the electronic device 101 may obtain second coordinate information based on the user's gaze 605 and first coordinate information of the first display area.
  • the user's gaze 605 may be directed to the vertex of the first display area.
  • the coordinates of the point where the line connecting the user's line of sight 605 and the vertex of the first display area and the flexible display of the foldable electronic device 601 meet may be determined as the coordinates of the second display area.
  • the foldable electronic device 601 may identify the coordinates 623 of a point where a line connecting the user's gaze 605 and the coordinates 613 meets the first surface.
  • the foldable electronic device 601 can identify the coordinates 625 of the point where the line connecting the user's gaze 605 and the coordinates 615 intersects the first surface.
  • the foldable electronic device 601 can identify the coordinates 627 of the point where the line connecting the user's gaze 605 and the coordinates 617 intersects the third side.
  • the foldable electronic device 601 can identify the coordinates 629 of the point where the line connecting the user's gaze 605 and the coordinates 619 intersects the third side.
  • the second coordinate information includes the vertices (coordinates 613, 615, 617, and 619) of the first display area of the foldable electronic device 601 in the unfolded state and the user's gaze 605. ) may be the coordinates of points where the line connecting the first and third sides of the foldable electronic device 601 in the intermediate state meets.
  • User gaze information may include coordinates of the user's gaze.
  • the user gaze information may be obtained through a camera and a distance sensor.
  • the user's gaze information can determine the location of the user's gaze (e.g., x-axis and y-axis coordinates) through the camera, and determine the distance to the user's gaze (e.g., z-axis coordinates) through the distance detection sensor.
  • the distance detection sensor may be a time of flight (TOF) sensor.
  • the distance detection sensor may be Lidar (light detection and ranging).
  • FIG. 6B shows an example of x-axis distortion correction performed based on a projection plane having the same angle with the first housing and the second housing, according to one embodiment.
  • the second distortion correction method 600 may be viewed by the user from the y-axis direction.
  • the first value 641 (eg, x) may correspond to the length from the folding axis to the ends 651 and 653 of the first display area.
  • the first value 641 may be a given value.
  • the second value 643 (eg, a) is perpendicular to the display in the unfolded state and may correspond to a first angle formed between the plane including the folding axis and the second housing.
  • the second value 643 may be obtained based on a folding detection sensor.
  • a third value 645 (e.g. b1) is an end 651 of the first display area within the first housing in the unfolded state in a direction perpendicular to the display in the unfolded state and including the folding axis and in the user's line of sight.
  • the third value 645 may be obtained based on the first value 641, the fifth value 649, and the x5 value 673.
  • a fourth value 647 e.g., b2 is a direction perpendicular to the flexible display in the unfolded state and including the folding axis, and in the user's line of sight, of the first display area in the second housing in the unfolded state. It can correspond to the angle formed by the direction facing the longitudinal end 653.
  • the fifth value 649 (eg, z) may be the vertical distance between the user's gaze and the display in an unfolded state.
  • the fifth value 649 can be obtained through a camera and a distance detection sensor.
  • the sixth value 648 may be a vertical distance between the first virtual user's line of sight for obtaining second coordinate information of the first housing and the display in an unfolded state.
  • the seventh value 650 may be the vertical distance between the second virtual user's line of sight for obtaining second coordinate information of the second housing and the display in an unfolded state.
  • the x-axis coordinate of the distortion-corrected second display area in the first housing is derived.
  • the x1 value 665 may be the distance between a projected point of the end point of the second display area in the first housing in the intermediate state and the end point of the first display area in the unfolded state.
  • the x2 value 667 may be the distance between the projected point of the end point of the second display area in the second housing in the intermediate state and the projected point of the folding axis of the foldable electronic device.
  • the x3 value 669 may be the distance between the folding axis of the foldable electronic device and an end of the second display area within the second housing in the intermediate state.
  • the x4 value 671 may be the vertical distance between the projection surface and the end point of the second display area within the second housing in the intermediate state. By trigonometric functions, the following equations can be derived.
  • the z' value 648 may mean the vertical distance between the first virtual user's gaze 652 and the display in an unfolded state.
  • the x5 value 673 may mean the distance between the user's gaze and the central axis of the display.
  • the x1 value (665), the x2 value (667), the x3 value (669), the x4 value (671), the x5 value (673), and the b1 value (645) It can be obtained.
  • the x3 value 669 may be the distance between the end of the second display area of the second housing and the folding axis of the foldable electronic device in the intermediate state.
  • the x3 value 669 may be an absolute value of the x-axis coordinate of the second display area of the second housing in an intermediate state.
  • the x3 value can be derived as in Equation 7.
  • the x4 value can be derived as in Equation 8.
  • the x-axis distortion correction coordinate may be a value of -x3.
  • the x4 value can be used when calculating y-axis distortion correction coordinates.
  • the x5 value is the x value, in Equation 11, the z' value cannot be obtained. Therefore, the -x3 value, which is the x-axis distortion correction coordinate, cannot be obtained. Therefore, when the x5 value is an x value, at least one processor may obtain distortion correction coordinates by substituting an adjacent value for the x5 value instead of the x value.
  • the y-axis coordinates of the distortion-corrected second display area in the first housing and the second housing can be derived in the same manner as the y-axis distortion correction method (e.g., FIG. 5C) performed based on the user's gaze located on the folding axis. there is.
  • the virtual user's line of sight may be a virtual line of sight on the central axis of the foldable electronic device, which is assumed to derive the second distortion correction method 600 from the first distortion correction method 500.
  • the coordinates after distortion correction of the first housing may be the same as the coordinates after distortion correction when the user's gaze is at the position of the first virtual user's gaze 652. Accordingly, the second coordinate information of the second display area of the first housing can be obtained by changing the fifth value (eg, z) in the first distortion correction method 500.
  • the coordinates after distortion correction of the second housing may be the same as the coordinates after distortion correction when the user's gaze is at the position of the second virtual user's gaze 654. Accordingly, the second coordinate information of the second display area of the second housing can be obtained by changing the z value in the first distortion correction method 500.
  • the x-axis coordinate of the distortion-corrected second display area in the second housing is derived.
  • the x1 value 655 may be the distance between a projected point of the end point of the second display area in the first housing in the intermediate state and the end point of the first display area in the unfolded state.
  • the x2 value 657 may be the distance between the projected point of the end point of the second display area in the second housing in the intermediate state and the projected point of the folding axis of the foldable electronic device.
  • the x3 value 659 may be the distance between the folding axis of the foldable electronic device and an end of the second display area within the second housing in the intermediate state.
  • the x4 value 661 may be the vertical distance between the projection surface and the end point of the second display area within the second housing in the intermediate state. By trigonometric functions, the following equations can be derived.
  • the z' value 650 may mean the vertical distance between the second virtual user's gaze 654 and the display in an unfolded state.
  • the x5 value 663 may mean the distance between the user's gaze and the central axis of the display.
  • the x1 value (655), the x2 value (657), the x3 value (659), the x4 value (661), the x5 value (663), and the b2 value (647) It can be obtained.
  • the x3 value 659 may be the distance between the end of the second display area of the second housing and the folding axis of the foldable electronic device in the intermediate state. In other words, the x3 value 659 may be the x-axis coordinate of the second display area of the second housing in an intermediate state.
  • the x3 value can be derived as in Equation 7.
  • the x4 value can be derived as in Equation 8.
  • the x-axis distortion correction coordinate may be the x3 value.
  • the x4 value can be used when calculating y-axis distortion correction coordinates.
  • the x5 value is a -x value
  • the z' value cannot be obtained in Equation 12. Therefore, the x3 value, which is the x-axis distortion correction coordinate, cannot be obtained. Therefore, when the x5 value is a -x value, at least one processor may obtain distortion correction coordinates by substituting an adjacent value instead of the -x value for the x5 value.
  • FIG. 6C shows an example of a distortion-corrected screen performed based on a projection plane having the same angle with the first housing and the second housing, according to one embodiment.
  • the display area change diagram 690 may illustrate a first display area before distortion correction and a second display area after distortion correction.
  • the first display area may be the display area of the foldable electronic device before distortion correction.
  • the second display area may be a display area of the foldable electronic device after distortion correction.
  • the coordinates of the vertices of the first display area (coordinates 691, 692, 693, and 694) and the coordinates of the ends of the folding axis 699 are the first coordinates of the first display area before distortion correction. It may be included in coordinate information.
  • the vertices of the display area are divided into second coordinates (coordinates 691, 692, 693, and 694) of the vertices of the first display area based on the first distortion correction method.
  • the coordinates of the vertices of the display area can be changed to coordinates (coordinates 695, 696, coordinates 697, and 698).
  • the coordinates of the vertices of the second display area (coordinates 695, 696, 697, and 698) and the coordinates of the ends of the folding axis 699 are the second coordinates of the second display area after distortion correction. It may be included in coordinate information.
  • the second display area may not be left-right symmetrical.
  • FIG. 7A illustrates an example of distortion correction of an electronic device based on a projection plane perpendicular to the user's gaze, according to an embodiment.
  • An electronic device eg, electronic device 101
  • the user's gaze is not on the central axis and may be at any position.
  • the display may be a flexible display.
  • the distortion correction method performed based on the user's gaze at an arbitrary position may be referred to as the third distortion correction method 700.
  • the foldable electronic device 701 may perform the third distortion correction method 700.
  • the third distortion correction method 700 the principle of distortion correction performed based on a projection plane perpendicular to the user's gaze is shown.
  • the foldable electronic device 701 (e.g., the foldable electronic device 431 of FIG. 4) in an intermediate state (e.g., the intermediate state 440 of FIG. 4) is formed by combining the first side and the second side of the first housing 707.
  • the third side of the housing 709 may be folded to form an angle between an angle in the unfolded state (eg, 180 degrees) and an angle in the folded state (eg, 0 degrees).
  • the folding axis 721 may be an axis along which the foldable electronic device 701 is folded.
  • the user's gaze 705 may be located at any position.
  • the foldable electronic device 701 may display the first display area.
  • the first display area may be specified by first coordinate information.
  • the first coordinate information may include longitudinal coordinates of the first display area.
  • the first coordinate information may include coordinates 713, coordinates 715, coordinates 717, and coordinates 719.
  • the first coordinate information may include longitudinal coordinates of the folding axis.
  • the first coordinate information may include coordinates 731 and 733.
  • the foldable electronic device 701 may display the second display area.
  • the second display area may be specified by second coordinate information.
  • the second coordinate information may include longitudinal coordinates of the second display area.
  • the second coordinate information may include coordinates 723, 725, 727, and 729.
  • the second coordinate information may include longitudinal coordinates of the folding axis.
  • the second coordinate information may include coordinates 731 and 733.
  • the first coordinate information and the second coordinate information may share coordinates of the folding axis (eg, coordinates 731 and 733).
  • the projection plane may be perpendicular to the user's line of sight.
  • the projection surface may be an electronic device in an unfolded state perpendicular to the user's line of sight.
  • Angle a (711) may be half of the angle formed by the first housing and the second housing.
  • the angle c 735 may be an angle value between a plane including the folding axis and a plane including the folding axis and a plane including the user's line of sight, which is perpendicular to the projection plane in which the angles formed by the first housing and the second housing are the same.
  • an image may be displayed on the second display area within the second coordinate information.
  • the user's gaze 705 may be a point corresponding to the pupil of the user observing the display.
  • the user's gaze 705 may be a point corresponding to the pupil of the side of the eye that the user mainly uses.
  • the user's gaze 705 may point to a point corresponding to the pupil of the left eye.
  • the user's gaze 705 may point to a point corresponding to the pupil of the right eye.
  • the user's gaze 705 may be a point corresponding to the pupil of the eye designated by the user.
  • the user's gaze 705 may be a point corresponding to the pupil on the side closest to the display. As the distance from the display increases, the degree of change in the display area for distortion correction increases, resulting in more blank areas. According to one embodiment, the user's gaze 705 may be a point corresponding to between both pupils of the user (eg, the center).
  • the processor 120 of the electronic device 101 may obtain second coordinate information based on the user's gaze 705 and first coordinate information of the first display area.
  • the user's gaze 705 may be directed to the vertex of the first display area.
  • the coordinates of the point where the line connecting the user's gaze 705 and the vertex of the first display area and the flexible display of the foldable electronic device 701 meet may be determined as the coordinates of the second display area.
  • the foldable electronic device 701 may identify the coordinates 723 of a point where a line connecting the user's gaze 705 and the coordinates 713 meets the first surface.
  • the foldable electronic device 701 can identify the coordinates 725 of a point where a line connecting the user's gaze 705 and the coordinates 715 intersects the first surface.
  • the foldable electronic device 701 can identify the coordinates 727 of the point where the line connecting the user's gaze 705 and the coordinates 717 intersects the third side.
  • the foldable electronic device 701 can identify the coordinates 729 of the point where the line connecting the user's gaze 705 and the coordinates 719 intersects the third side.
  • the second coordinate information includes the vertices (coordinates 713, 715, 717, and 719) of the first display area of the foldable electronic device 701 in the unfolded state and the user's gaze 705. ) may be coordinate information of points where the line connecting the first and third sides of the foldable electronic device 701 in the intermediate state meets.
  • User gaze information may include coordinates of the user's gaze 705.
  • the user gaze information may be obtained through a camera and a distance sensor.
  • the user's gaze information can determine the location of the user's gaze (e.g., x-axis and y-axis coordinates) through the camera, and determine the distance to the user's gaze (e.g., z-axis coordinates) through the distance detection sensor.
  • the distance detection sensor may be a time of flight (TOF) sensor.
  • the distance detection sensor may be Lidar (light detection and ranging).
  • FIG. 7B shows an example 740 of x-axis distortion correction performed based on a projection plane perpendicular to the user's gaze, according to one embodiment.
  • the second distortion correction method 700 may be viewed by the user from the y-axis direction.
  • the first value 741 (eg, x) may correspond to the length from the folding axis to the ends 751 and 753 of the first display area.
  • the first value 741 may be a given value.
  • the second value 743 (e.g., a-c or a+c) is perpendicular to the projection plane in which the angle formed by the first housing and the second housing is the same and corresponds to the first angle formed by the second housing and the plane containing the folding axis. You can.
  • the second value 743 may be obtained based on a folding detection sensor, at least one camera, and at least one distance detection sensor.
  • the third value 745 (e.g., b) is perpendicular to a projection plane in which the angle formed by the first housing and the second housing is the same and is the first housing in the unfolded second housing in the plane including the folding axis and the user's line of sight. It may correspond to the angle formed by the direction facing the end 753 of the display area.
  • the third value 745 may be obtained based on the first value, the fifth value, and the angle c.
  • the fourth value 749 (eg, z) may mean the vertical distance between the user's gaze and the display in an unfolded state.
  • the fourth value 749 can be obtained through a camera and a distance detection sensor.
  • the foldable electronic device may obtain the second coordinate information of the second display area of the second housing by changing the second value in the first distortion correction method 500.
  • the coordinates after distortion correction of the first housing may be the same as the coordinates after distortion correction when the second value is the sum of the a value and the c value and the user's gaze is on the central axis. Accordingly, the second coordinate information of the second display area of the first housing can be obtained by changing the second value in the first distortion correction method 500.
  • the x1 value 755 may be the distance between a projected point of the end point of the second display area in the first housing in the intermediate state and the end point of the first display area in the unfolded state.
  • the x2 value 757 may be the distance between the projected point of the end point of the second display area in the second housing in the intermediate state and the projected point of the folding axis of the foldable electronic device.
  • the x3 value 759 may be the distance between the folding axis of the foldable electronic device and an end of the second display area within the second housing in the intermediate state.
  • the x4 value 761 may be the vertical distance between the projection surface and the end point of the second display area within the second housing in the intermediate state.
  • the x1 value (755), the x2 value (757), the x3 value (759), the x4 value (761), the b value (745), and the c value (747) It can be obtained.
  • the x3 value 759 may be the distance between the end of the second display area of the second housing and the folding axis of the foldable electronic device in the intermediate state. In other words, the x3 value 759 may be the x-axis coordinate of the second display area of the second housing in an intermediate state.
  • the x3 value can be derived as in Equation 7.
  • the x4 value can be derived as in Equation 8.
  • the x-axis distortion correction coordinate may be the x3 value.
  • the x4 value can be used when calculating y-axis distortion correction coordinates.
  • the y-axis coordinates of the distortion-corrected second display area in the first housing and the second housing can be derived in the same way as the y-axis distortion correction method (e.g., FIG. 5C) performed based on the user's gaze located on the folding axis. there is.
  • FIG. 7C shows an example of a distortion-corrected screen performed based on a projection plane perpendicular to the user's gaze, according to an embodiment.
  • the display area change diagram 790 may show a first display area and a second display area before and after distortion correction.
  • the first display area may be the display area of the foldable electronic device before distortion correction.
  • the second display area may be a display area of the foldable electronic device after distortion correction.
  • the coordinates of the vertices of the first display area (coordinates 791, 792, 793, and 794) and the coordinates of the ends of the folding axis 799 are the first coordinates of the first display area before distortion correction. It may be included in coordinate information.
  • the coordinates of the vertices of the first display area are the coordinates of the vertices of the second display area based on the first distortion correction method. It can be changed to (coordinates (795), coordinates (796), coordinates (797), coordinates (798)).
  • the coordinates of the vertices of the second display area (coordinates 795, 796, 797, and 798) and the coordinates of the ends of the folding axis 799 are the second coordinates of the second display area after distortion correction. It may be included in coordinate information.
  • the second display area may not be left-right symmetrical.
  • Figure 8 shows an example of using a blank space by distortion correction to display information, according to an embodiment.
  • the foldable electronic device 800 in an unfolded state may display an image 801 (eg, a first image) before distortion correction.
  • the foldable electronic device 803 in the intermediate state may include an image 805 (eg, a second image) after distortion correction.
  • the blank portion 807 of the display may be created by distortion correction.
  • the blank portion 807 of the display may refer to a portion of the display that is both within the first display area and outside the second display area.
  • text, an image, or a user interface (UI) for displaying information about the distortion-corrected image 805 may be displayed in the blank portion 807.
  • text for displaying information about the distortion-corrected image 805 may be displayed in the blank portion 807.
  • the text may indicate the shooting time and capacity of the image 805 after distortion correction.
  • an image for displaying information about the distortion-corrected image 805 may be displayed in the blank portion 807.
  • the image may represent the type of image 805 after distortion correction.
  • a user interface (UI) for displaying information about the distortion-corrected image 805 may be displayed in the blank portion 807.
  • the user interface (UI) may be a button to search the Internet for the distortion-corrected image 805.
  • text, images, or UI can be displayed in the blank portion 807 only to display information about the image after distortion correction, but the embodiment of the present disclosure is not limited to this.
  • text, an image, or a user interface (UI) for displaying information related to the distortion-corrected image 805 may be displayed in the blank portion 807.
  • the distortion-corrected image 805 is a sky photo
  • information about the weather on the shooting date may be displayed.
  • text, an image, or a user interface (UI) may be displayed in the blank portion 807 to display information unrelated to the image 805 after distortion correction.
  • text, an image, or a user interface (UI) for displaying the remaining battery capacity may be displayed in the blank portion 807.
  • Figure 9 shows an example of image loss that may occur during distortion correction.
  • the first display area 901 may be a display area before distortion correction of a foldable electronic device in an unfolded state.
  • the virtual display area 903 may be an area inside a line where a surface connecting the user's line of sight to an end of the first display area and the surface of the first housing or the surface of the second housing meet.
  • the image loss portion 905 may occur when the length from the folding axis to the end of the virtual display area is greater than the length from the folding axis to the end of the first display area.
  • FIGS. 10 and 11 we will look at how to handle the image loss portion 905 when it occurs.
  • Figure 10 shows an example of a notification indicating image loss during distortion correction, according to one embodiment.
  • the foldable electronic device 1001 can display a distortion-corrected image 1003 on the display in an intermediate state.
  • Notification 1005 may indicate image loss.
  • the foldable electronic device 1001 causes image loss on the display of the foldable electronic device 1001 closest to the image loss portion 905.
  • a notification 1005 can be displayed for pointing.
  • the notification 1005 to indicate image loss may be displayed in color.
  • the notification 1005 to indicate image loss may be displayed by repeatedly blinking the indicated color on the display of the foldable electronic device 1001 closest to the image loss portion 905. there is.
  • the notification 1005 indicating image loss may be displayed through a notification window displayed on the display of the foldable electronic device 1001 closest to the image loss portion 905.
  • Figure 11 shows an example of image reduction during distortion correction, according to one embodiment. If the virtual display area is wider than the area of the display included in the foldable electronic device in the intermediate state, the foldable electronic device may obtain a second display area by reducing the virtual display area to display the entire image on the display. there is.
  • the foldable electronic device 1101 can display a distortion-corrected image on the display in an intermediate state.
  • the first display area may be a portion of the display area before distortion correction of the display.
  • the virtual display area 1103 may be an area where a surface connecting the user's line of sight to an end of the first display area meets a surface including the first housing or a surface including the second housing.
  • the second display areas 1105, 1107, and 1109 may be a portion of the display area after distortion correction of the display.
  • the second display areas 1105, 1107, and 1109 may be obtained based on the virtual display area.
  • the at least one processor operates when the length from the folding axis to the end of the virtual display area 1103 is longer than the length from the folding axis to the end of the display area of the foldable electronic device 1101. , the entire image can be zoomed out to be displayed on the display.
  • the at least one processor may reduce the length from the end of the virtual display area 1103 to the folding axis to the length from the folding axis of the foldable electronic device to the end of the display area.
  • the at least one processor may obtain second display areas 1105, 1107, and 1109 by reducing the virtual display area 1103 at the same rate for the X and Y axes.
  • the second display area may vary depending on the arrangement positions of parts other than the second display area on the folding axis. For example, when a part other than the second display area on the folding axis is placed at the bottom of the folding axis, the second display area 1105 may be obtained. For example, when parts other than the second display area on the folding axis are evenly disposed at the top and bottom of the folding axis, the second display area 1107 can be obtained. For example, when a part other than the second display area on the folding axis is placed at the top of the folding axis, the second display area 1109 may be obtained.
  • the change in the second display area may be performed gradually to reduce the sense of heterogeneity caused by the sudden change in size.
  • a notification may be displayed to indicate the change in the display area.
  • Figure 12 shows an example of image enlargement during distortion correction, according to one embodiment.
  • the foldable electronic device 1201 in an intermediate state can display an image after distortion correction on the display.
  • the first display area of the foldable electronic device 1201 before distortion correction may be a display area of the foldable electronic device in an unfolded state.
  • the virtual display area 1203 may be an area where a surface connecting the user's line of sight to an end of the first display area meets a surface including the first housing or a surface including the second housing.
  • the second display areas 1205, 1207, and 1209 may be portions of the display that display images after distortion correction.
  • the second display areas 1205, 1207, and 1209 after distortion correction of the electronic device may be display areas in an intermediate state. Due to distortion correction, the length in a direction perpendicular to the folding axis of the second display area may be smaller than the length in the direction perpendicular to the folding axis of the first display area.
  • the usability of the display is increased. You can enlarge the image for .
  • the at least one processor may enlarge the length from the end of the virtual display area 1203 to the folding axis to be the length from the folding axis of the foldable electronic device to the end of the display area.
  • the at least one processor may obtain second display areas 1205, 1207, and 1209 by enlarging the virtual display area 1203 at the same rate for the X and Y axes.
  • the at least one processor acquires a second display area in which the virtual display area 1203 is enlarged
  • a blank portion of the enlarged virtual display area may occur on the folding axis.
  • a blank portion of the enlarged virtual display area may not be displayed on the display. This is because the blank portion of the enlarged virtual display area is outside the display area.
  • the second display area may vary depending on the arrangement position of the blank portion of the enlarged virtual display area. For example, when the blank portion of the enlarged virtual display area is placed at the bottom of the folding axis, the second display area 1205 can be obtained. For example, when the blank portion of the enlarged virtual display area is evenly disposed at the top and bottom of the folding axis, the second display area 1207 can be obtained.
  • the at least one processor may minimize a blank portion of the enlarged virtual display area.
  • the at least one processor may identify the width of a blank portion of the enlarged virtual display area to obtain a second display area in which the width of the blank portion is minimized.
  • the width of the blank portion lost in the second display area 1205 may be smaller than the width of the blank portion lost in the second display area 1207.
  • the width of the blank portion lost in the second display area 1205 may be smaller than the width of the blank portion lost in the second display area 1209.
  • the at least one processor may display the image in the second display area 1205 where the width of the lost blank portion is minimized.
  • Figure 13 shows an example of distortion correction applied to only a portion of the display area, according to one embodiment.
  • the foldable electronic device 1301 in an intermediate state may display an image before distortion correction on the first display area 1303 and the third display area 1305.
  • the foldable electronic device 1301 in the intermediate state may display an image after distortion correction (e.g., a second image) in the second display area 1311 where the first display area has been changed.
  • the foldable electronic device 1301 in the intermediate state may display an image before distortion correction on the third display area 1313, which is the same before and after distortion correction.
  • the third image when a third image is displayed in the third display area of the display in the unfolded state, the third image may be displayed in the third display area of the display in the intermediate state.
  • the third image of the third display area 1305 may have lower visibility importance than the image of the first display area 1303.
  • the at least one processor may perform distortion correction on the image in the first display area 1303.
  • the at least one processor may not perform distortion correction on the image of the third display area 1305 where multimedia is not displayed.
  • the third image of the third display area 1305 may have a higher importance of receiving touch input than the image of the first display area 1303.
  • the at least one processor may not perform distortion correction on the image in the third display area 1305.
  • the at least one processor may perform distortion correction on an image of the first display area 1303 including content with a low frequency of touch input.
  • processor efficiency can be increased.
  • FIG. 14 illustrates an example of selecting a display area to apply distortion correction, according to an embodiment.
  • the user can select the display area to which distortion correction will be applied through user input.
  • a foldable electronic device (eg, electronic device 101 of FIG. 1) may display a first image on the display in an unfolded state.
  • the user may select (1405) a first display area 1407 for correcting distortion in the intermediate state and a third display area 1409 for not correcting distortion in the intermediate state.
  • the foldable electronic device 101 may change the first display area 1407 into the second display area 1413 through distortion correction.
  • the foldable electronic device 101 may not perform distortion correction on the third display area 1415.
  • the at least one processor may identify the first display area 1407 and the third display area 1409 in an intermediate state according to specified settings.
  • the at least one processor may perform distortion correction on the first display area 1407 in an intermediate state according to designated settings.
  • the specified settings may be set according to visibility importance.
  • the at least one processor may identify the first display area 1407 and the third display area 1409 according to visibility importance. When multimedia such as images and/or videos are displayed in the first display area 1407, the at least one processor may perform distortion correction on the image in the first display area 1303. The at least one processor may not perform distortion correction on the image of the third display area 1409 where multimedia is not displayed.
  • the specified setting may be set according to the frequency of touch input.
  • the at least one processor may identify the first display area 1407 and the third display area 1409 according to the touch input frequency. When an image including content with a high touch frequency is displayed in the third display area 1409, the at least one processor may not perform distortion correction on the image in the third display area 1409. The at least one processor may perform distortion correction on an image of the first display area 1407 that includes content with a low frequency of touch input.
  • the specified settings may be set by a software application.
  • the software application may set standards for designating the first display area 1407 and the third display area 1409 according to visibility importance.
  • the software application may set standards for designating the first display area 1407 and the third display area 1409 according to the frequency of touch input.
  • Figure 15 shows an example of whether or not distortion correction is changed based on a change in user gaze, according to an embodiment.
  • the foldable electronic device 1501 may be in an intermediate state. While the foldable electronic device 1501 is in an intermediate state, a change 1503 in the user's gaze may occur. After the foldable electronic device 1501 displays the second image based on the first user gaze information, the foldable electronic device 1501 may obtain the second user gaze information.
  • the foldable electronic device 1501 may perform distortion correction based on a designated user's gaze, such as the second display area 1511 after distortion correction. Regardless of the change in user gaze (1503), the second image changed based on the first user gaze information may continue to be displayed.
  • the foldable electronic device 1501 may display a second image generated based on each user's gaze information according to the user's gaze change 1503.
  • the second display area after distortion correction of the foldable electronic device 1501 is divided into the second display area 1521, the second display area 1523, and the second display area 1525 according to the user's gaze change (1503). can be changed.
  • the second display area 1521 may correspond to the first user gaze information 1505.
  • the second display area 1523 may correspond to the second user gaze information 1507.
  • the second display area 1525 may correspond to the third user gaze information 1509.
  • FIG. 15 only the case where the user's gaze changes while the foldable electronic device 1501 is in an intermediate state is shown, but the embodiment of the present disclosure is not limited thereto.
  • folding information may be changed while the user's gaze is maintained.
  • the folding information may be a folding angle, which is the angle formed between the first surface of the first housing and the third surface of the second housing of the foldable electronic device 101.
  • the folding angle can be changed from 10 degrees to 20 degrees.
  • the at least one processor 120 may display a second display area (e.g., a second display area) based on changed folding information (e.g., folding angle change from 10 degrees to 20 degrees) and a fixed user gaze. 1523)) can be changed.
  • FIG. 16 illustrates a flow of an operation for displaying a distortion-corrected image based on user gaze information, folding information, and a first display area, according to an embodiment.
  • At least one processor may display a first image on a first display area of the flexible display in an unfolded state.
  • the at least one processor 120 may obtain first coordinate information of the first display area of the flexible display corresponding to the unfolded state.
  • the at least one processor 120 may obtain folding information corresponding to the angle between the first and third sides of the flexible display based on detecting an intermediate state.
  • the at least one processor 120 obtains second coordinate information of the second display area based on user gaze information, the folding information, and the first coordinate information of the first display area. can do.
  • the at least one processor 120 may generate a second image based on the first image and the second coordinate information of the second display area. In operation 1611, the at least one processor 120 may display the second image on the second display area of the flexible display in an intermediate state.
  • an electronic device including a flexible display seeks to correct screen distortion due to a change in the state of the electronic device, rather than based on an external camera that photographs the electronic device.
  • Visual distortion due to changes in the state of the flexible display can be corrected by using the user's gaze information and coordinate information without using a separate camera.
  • the distortion correction the user experience can be enhanced by correcting visual distortion that occurs due to changes in the state of the flexible display. Additionally, efficient use of the flexible display may be possible by utilizing the blank screen that occurs during the visual distortion correction process.
  • the user gaze information is described as being obtained based on at least one camera and at least one distance detection sensor, but embodiments of the present disclosure are not limited thereto.
  • the user can manually input the user's gaze coordinates.
  • an electronic device may include a first housing including a first surface and a second surface opposite to the first surface.
  • the electronic device may include a second housing including a third side and a fourth side opposite to the third side.
  • the electronic device may include at least one processor, at least one camera, at least one distance sensor, and a flexible display.
  • the electronic device rotatably connects the first housing and the second housing about a folding axis, so that the first and third surfaces are in an unfolded state facing the same direction, and the first and third surfaces are in an unfolded state.
  • the electronic device may include a folding detection sensor for detecting the angle between the first surface and the third surface of the flexible display.
  • the at least one processor may display a first image on the first display area of the flexible display in the unfolded state.
  • the at least one processor may obtain first coordinate information of the first display area of the flexible display corresponding to the unfolded state.
  • the at least one processor may obtain folding information corresponding to an angle between the first side and the third side of the flexible display based on detecting the intermediate state.
  • the at least one processor may obtain user gaze information based on the at least one distance sensor and the at least one camera. Based on the user gaze information, the folding information, and the first coordinate information of the first display area, second coordinate information of the second display area corresponding to the intermediate state may be obtained. The at least one processor may generate a second image based on the first image and the second coordinate information of the second display area. The at least one processor may display the second image on the second display area of the flexible display in the intermediate state.
  • the first coordinate information includes first coordinates and second coordinates with respect to the folding axis, and, in the unfolded state, third coordinates with respect to vertices of the first display area within the first housing. and a fourth coordinate, and, in the unfolded state, a fifth coordinate and a sixth coordinate with respect to vertices of the first display area within the second housing.
  • the second coordinate information includes a first coordinate and a second coordinate with respect to the folding axis, a seventh coordinate corresponding to a vertex of the second display area within the first housing in the intermediate state, and It may include an eighth coordinate, and a ninth and tenth coordinates corresponding to vertices of the second display area within the second housing.
  • the second coordinate information of the second display area may be obtained based on a first value corresponding to the length from the folding axis to the end of the first display area.
  • the second coordinate information of the second display area is based on a second value corresponding to a first angle formed by the first housing and a plane that is perpendicular to the flexible display and includes the folding axis in the unfolded state. can be obtained.
  • the second coordinate information of the second display area is, in the unfolded state, the first display area in the first housing in the unfolded state in a direction perpendicular to the flexible display and including the folding axis and in the user's line of sight. It can be obtained based on the third value corresponding to the angle formed by the direction looking at the end of .
  • the second coordinate information of the second display area is, in the unfolded state, the first display area in the second housing in the unfolded state in a direction perpendicular to the flexible display and including the folding axis and in the user's line of sight. It can be obtained based on the fourth value corresponding to the angle formed by the direction facing the end of .
  • the second coordinate information of the second display area may be obtained based on a fifth value that is the vertical distance between the user's gaze and the flexible display in an unfolded state.
  • the second coordinate information of the second display area is perpendicular to the flexible display in the unfolded state, and is an angle formed by a direction including the folding axis and a direction from the folding axis to the user's gaze. It can be obtained based on the sixth value corresponding to .
  • the at least one processor in order to obtain the second coordinate information, the at least one processor, based on the user gaze information, the folding information, and the first coordinate information of the first display area, 1 Third coordinate information of the virtual display area, which is a change in the display area, can be obtained.
  • the virtual display area may be an area where a surface connecting the user's line of sight to an end of the first display area meets a surface including the first housing or a surface including the second housing.
  • the at least one processor stores the third coordinate information of the virtual display area.
  • the second coordinate information can be obtained by changing it closer to the folding axis.
  • the at least one processor in order to obtain the second coordinate information, the at least one processor, based on the user gaze information, the folding information, and the first coordinate information of the first display area, 1 Third coordinate information of the virtual display area, which is a change in the display area, can be obtained.
  • the virtual display area may be an area where a surface connecting the user's line of sight to an end of the first display area meets a surface including the first housing or a surface including the second housing.
  • the length from the folding axis to the end of the virtual display area is smaller than the length from the folding axis to the end of the first display area, the length from the folding axis to the end of the virtual display area is from the folding axis to the end of the virtual display area.
  • the second coordinate information may be obtained by converting the third coordinate information of the virtual display area to be the length of the end of the first display area.
  • the at least one processor is configured to change a virtual display area of the first display area based on the user gaze information, the folding information, and the first coordinate information of the first display area. Third coordinate information can be obtained.
  • the virtual display area of the at least one processor may be an area where a surface connecting the user's gaze to an end of the first display area meets a surface of the first housing or a surface of the second housing. If the length from the folding axis to the end of the virtual display area is greater than the length from the folding axis to the end of the first display area, a notification to indicate image loss may be additionally displayed.
  • the at least one processor may include text for displaying information about the second image on a portion of the flexible display within the first display area and a portion of the flexible display outside the second display area; An image or UI (user interface) can be additionally displayed.
  • the at least one processor may additionally display a third image on the third display area of the flexible display in the unfolded state.
  • the at least one processor may additionally display the third image on the third display area of the flexible display in the intermediate state.
  • the at least one processor may obtain first user gaze information based on the at least one distance detection sensor and the at least one camera.
  • the at least one processor acquires the second coordinate information of the second display area corresponding to the intermediate state based on the first user gaze information, the folding information, and the first coordinate information of the first display area. can do.
  • the at least one processor may generate the second image based on the first image and the second coordinate information of the second display area. In the intermediate state, the second image may be displayed on the second display area of the flexible display.
  • the at least one processor may additionally obtain second user gaze information based on the at least one distance sensor and the at least one camera.
  • the at least one processor generates the second coordinate information of the second display area corresponding to the intermediate state based on the first user gaze information, the folding information, and the first coordinate information of the first display area. It can be obtained additionally.
  • the at least one processor may additionally generate the second image based on the first image and the second coordinate information of the second display area.
  • the at least one processor may additionally display the second image on the second display area of the flexible display in the intermediate state.
  • a method performed by an electronic device may include displaying a first image on the first display area of the flexible display in an unfolded state.
  • the method may include acquiring first coordinate information of the first display area of the flexible display corresponding to the unfolded state.
  • the method may include obtaining folding information corresponding to an angle between a first side and a third side of the flexible display based on detecting an intermediate state.
  • the method may include obtaining user gaze information based on at least one distance sensor and at least one camera.
  • the method includes the operation of obtaining second coordinate information of the second display area corresponding to the intermediate state based on the user gaze information, the folding information, and the first coordinate information of the first display area. can do.
  • the method may include generating a second image based on the first image and the second coordinate information of the second display area.
  • the method may include displaying the second image on the second display area of the flexible display in the intermediate state.
  • the first coordinate information may include first coordinates and second coordinates with respect to the folding axis.
  • the first coordinate information may include third coordinates and fourth coordinates for vertices of the first display area within the first housing in the unfolded state.
  • the first coordinate information may include fifth and sixth coordinates for vertices of the first display area within the second housing in the unfolded state.
  • the second coordinate information may include first coordinates and second coordinates with respect to the folding axis.
  • the second coordinate information may include a seventh coordinate and an eighth coordinate corresponding to a vertex of the second display area within the first housing in the intermediate state.
  • the second coordinate information may include a ninth coordinate and a tenth coordinate corresponding to a vertex of the second display area within the second housing.
  • the second coordinate information of the second display area may be obtained based on a first value corresponding to the length from the folding axis to the end of the first display area.
  • the second coordinate information of the second display area may be obtained based on a second value corresponding to a first angle formed by the first housing and a plane that is perpendicular to the flexible display and includes the folding axis in the unfolded state. You can.
  • the second coordinate information of the second display area is, in the unfolded state, the first display area in the first housing in the unfolded state in a direction perpendicular to the flexible display and including the folding axis and in the user's line of sight.
  • the second coordinate information of the second display area is perpendicular to the flexible display in the unfolded state and includes a direction including the folding axis and an end of the first display area in the second housing in the unfolded state in the user's line of sight. It can be obtained based on the fourth value corresponding to the angle formed by the viewing direction.
  • the second coordinate information of the second display area may be obtained based on a fifth value that is the vertical distance between the user's gaze and the flexible display in an unfolded state.
  • the second coordinate information of the second display area is perpendicular to the flexible display in the unfolded state and is at an angle formed by a direction including the folding axis and the direction from the folding axis to the user's gaze. It may be obtained based on the corresponding sixth value.
  • the operation of acquiring the second coordinate information is a virtual change of the first display area based on the user gaze information, the folding information, and the first coordinate information of the first display area. It may include an operation of acquiring third coordinate information of the display area.
  • the virtual display area may be an area where a surface connecting the user's line of sight to an end of the first display area meets a surface including the first housing or a surface including the second housing.
  • the operation of acquiring the second coordinate information may be performed when the length from the folding axis to the end of the virtual display area is greater than the length from the folding axis to the end of the first display area. It may include an operation of obtaining the second coordinate information by changing the coordinate information to be closer to the folding axis.
  • the operation of acquiring the second coordinate information includes changing the first display area based on the user gaze information, the folding information, and the first coordinate information of the first display area. It may include an operation of acquiring third coordinate information of the virtual display area.
  • the virtual display area may be an area where a surface connecting the user's line of sight to an end of the first display area meets a surface including the first housing or a surface including the second housing.
  • the operation of acquiring the second coordinate information may be performed when the length from the folding axis to the end of the virtual display area is smaller than the length from the folding axis to the end of the first display area.
  • the method may include obtaining the second coordinate information by converting the third coordinate information of the virtual display area such that the length from the end of the virtual display area is the length from the folding axis to the end of the first display area.
  • the method includes, based on the user gaze information, the folding information, and the first coordinate information of the first display area, a third coordinate of a virtual display area that is a change of the first display area.
  • An operation to obtain information may additionally be included.
  • the virtual display area may be an area where a surface connecting the user's line of sight to an end of the first display area meets a surface of the first housing or a surface of the second housing.
  • the method includes an operation of displaying a notification to indicate image loss when the length from the folding axis to the end of the virtual display area is greater than the length from the folding axis to the end of the first display area. Additional information may be included.
  • the method includes text, an image, or a UI (UI) for displaying information about the second image on a portion of the flexible display within a first display area and a portion of the flexible display outside the second display area.
  • UI UI
  • An operation that displays a user interface may be additionally included.
  • the method may additionally include displaying a third image on the third display area of the flexible display in the unfolded state.
  • the method may additionally include an operation of displaying the third image on the third display area of the flexible display in the intermediate state.
  • the method may additionally include an operation of acquiring first user gaze information based on the at least one distance detection sensor and the at least one camera.
  • the method includes obtaining the second coordinate information of the second display area corresponding to the intermediate state based on the first user gaze information, the folding information, and the first coordinate information of the first display area. Additional information may be included.
  • the method may additionally include generating the second image based on the first image and the second coordinate information of the second display area.
  • the method may additionally include displaying the second image on the second display area of the flexible display in the intermediate state.
  • the method may additionally include obtaining second user gaze information based on the at least one distance sensor and the at least one camera.
  • the method includes obtaining the second coordinate information of the second display area corresponding to the intermediate state based on the first user gaze information, the folding information, and the first coordinate information of the first display area. may additionally be included.
  • the method may additionally include generating the second image based on the first image and the second coordinate information of the second display area.
  • the method may additionally include displaying the second image on the second display area of the flexible display in the intermediate state.
  • Electronic devices may be of various types.
  • Electronic devices may include, for example, portable communication devices (e.g., smartphones), computer devices, portable multimedia devices, portable medical devices, cameras, electronic devices, or home appliances.
  • Electronic devices according to embodiments of this document are not limited to the above-described devices.
  • first, second, or first or second may be used simply to distinguish one element from another, and may be used to distinguish such elements in other respects, such as importance or order) is not limited.
  • One (e.g. first) component is said to be “coupled” or “connected” to another (e.g. second) component, with or without the terms “functionally” or “communicatively”.
  • any of the components can be connected to the other components directly (e.g. wired), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as logic, logic block, component, or circuit, for example. It can be used as A module may be an integrated part or a minimum unit of the parts or a part thereof that performs one or more functions. For example, according to one embodiment, the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document are one or more instructions stored in a storage medium (e.g., built-in memory 136 or external memory 138) that can be read by a machine (e.g., electronic device 101). It may be implemented as software (e.g., program 140) including these.
  • a processor e.g., processor 120
  • the one or more instructions may include code generated by a compiler or code that can be executed by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not contain signals (e.g. electromagnetic waves), and this term refers to cases where data is semi-permanently stored in the storage medium. There is no distinction between temporary storage cases.
  • Computer program products are commodities and can be traded between sellers and buyers.
  • the computer program product may be distributed in the form of a machine-readable storage medium (e.g. compact disc read only memory (CD-ROM)) or through an application store (e.g. Play StoreTM) or on two user devices (e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • a machine-readable storage medium e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g. downloaded or uploaded) directly between smart phones) or online.
  • at least a portion of the computer program product may be at least temporarily stored or temporarily created in a machine-readable storage medium, such as the memory of a manufacturer's server, an application store's server, or a relay server.
  • each component (e.g., module or program) of the above-described components may include a single or plural entity, and some of the plurality of entities may be separately placed in other components. there is.
  • one or more of the components or operations described above may be omitted, or one or more other components or operations may be added.
  • multiple components eg, modules or programs
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar manner as those performed by the corresponding component of the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, iteratively, or heuristically, or one or more of the operations may be executed in a different order, or omitted. or one or more other operations may be added.

Abstract

일 실시예에 따른, 전자 장치(electronic device)는, 제1 면 및 상기 제1 면과 반대인 제2 면을 포함하는 제1 하우징을 포함할 수 있다. 상기 전자 장치는, 제3 면 및 상기 제3 면과 반대인 제4 면을 포함하는 제2 하우징을 포함할 수 있다. 상기 전자 장치는 적어도 하나의 프로세서를, 적어도 하나의 카메라, 적어도 하나의 거리 감지 센서, 플렉서블 디스플레이를 포함할 수 있다. 상기 전자 장치는 폴딩 축을 기준으로 상기 제1 하우징과 상기 제2 하우징을 회전 가능하게 연결함으로써, 상기 제1 면과 상기 제3 면이 동일한 방향을 향하는 언폴딩 상태, 상기 제1 면과 상기 제3 면이 마주보는 폴딩 상태, 또는 상기 제1 면과 상기 제3 면이, 상기 언폴딩 상태에서의 각도와 상기 폴딩 상태에서의 각도 사이의, 각도를 형성하는 중간 상태를 제공하도록 구성된 힌지 구조를 포함할 수 있다.

Description

시각적 왜곡 보정을 위한 전자 장치 및 방법
아래의 설명들은, 플렉서블 디스플레이에서 디스플레이의 상태 변경에 따른 시각적 왜곡을 보정하기 위한 전자 장치 및 방법에 관한 것이다.
플렉서블 디스플레이가 포함된 전자 장치는, 상태가 변경될 수 있다. 플렉서블 디스플레이의 상태 변경과 사용자의 시선 위치에 따라, 상기 플렉서블 디스플레이에 표시되는 화면은 시각적으로 왜곡될 수 있다. 화면의 시각적 왜곡을 보정하는 방식에 대해 이하 기술한다.
상술한 정보는 본 개시에 대한 이해를 돕기 위한 목적으로 하는 배경 기술(related art)로 제공될 수 있다. 상술한 내용 중 어느 것도 본 개시와 관련된 종래 기술(prior art)로서 적용될 수 있는지에 대하여 어떠한 주장이나 결정이 제기되지 않는다.
일 실시예에 따른, 전자 장치는(electronic device)는, 제1 면 및 상기 제1 면과 반대인 제2 면을 포함하는 제1 하우징을 포함할 수 있다. 상기 전자 장치는, 제3 면 및 상기 제3 면과 반대인 제4 면을 포함하는 제2 하우징을 포함할 수 있다. 상기 전자 장치는 적어도 하나의 프로세서를, 적어도 하나의 카메라, 적어도 하나의 거리 감지 센서, 플렉서블 디스플레이를 포함할 수 있다. 상기 전자 장치는 폴딩 축을 기준으로 상기 제1 하우징과 상기 제2 하우징을 회전 가능하게 연결함으로써, 상기 제1 면과 상기 제3 면이 동일한 방향을 향하는 언폴딩 상태, 상기 제1 면과 상기 제3 면이 마주보는 폴딩 상태, 또는 상기 제1 면과 상기 제3 면이, 상기 언폴딩 상태에서의 각도와 상기 폴딩 상태에서의 각도 사이의, 각도를 형성하는 중간 상태를 제공하도록 구성된 힌지 구조를 포함할 수 있다. 상기 전자 장치는, 상기 플렉서블 디스플레이의 상기 제1 면과 상기 제3 면 사이의 각도를 검출하기 위한 접힘 감지 센서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 언폴딩 상태에서, 상기 플렉서블 디스플레이의 제1 표시 영역 상에 제1 이미지를 표시할 수 있다. 상기 적어도 하나의 프로세서는, 상기 언폴딩 상태에 대응하는 상기 플렉서블 디스플레이의 상기 제1 표시 영역의 제1 좌표 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서는, 상기 중간 상태를 감지하는 것에 기반하여, 상기 플렉서블 디스플레이의 상기 제1 면과 상기 제3 면 간의 각도에 대응하는 폴딩 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 거리 감지 센서 및 상기 적어도 하나의 카메라에 기반하여, 사용자 시선 정보를 획득할 수 있다. 상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여 상기 중간 상태에 대응하는 제2 표시 영역의 제2 좌표 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 이미지 및 상기 제2 표시 영역의 상기 제2 좌표 정보에 기반하여 제2 이미지를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 중간 상태에서, 상기 플렉서블 디스플레이의 상기 제2 표시 영역에 상기 제2 이미지를 표시할 수 있다.
일 실시예에 따른, 전자 장치(electronic device)에 의해 수행되는 방법은 언폴딩 상태에서, 플렉서블 디스플레이의 제1 표시 영역 상에 제1 이미지를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 언폴딩 상태에 대응하는 상기 플렉서블 디스플레이의 상기 제1 표시 영역의 제1 좌표 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 중간 상태를 감지하는 것에 기반하여, 상기 플렉서블 디스플레이의 제1 면과 제3 면 간의 각도에 대응하는 폴딩 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은, 적어도 하나의 거리 감지 센서 및 적어도 하나의 카메라에 기반하여, 사용자 시선 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여, 상기 중간 상태에 대응하는 제2 표시 영역의 제2 좌표 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 이미지 및 상기 제2 표시 영역의 상기 제2 좌표 정보에 기반하여 제2 이미지를 생성하는 동작을 포함할 수 있다. 상기 방법은, 상기 중간 상태에서, 상기 플렉서블 디스플레이의 상기 제2 표시 영역에 상기 제2 이미지를 표시하는 동작을 포함할 수 있다.
도 1은 일 실시예에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 일 실시예에 따른, 전자 장치의 언폴딩 상태의 예를 도시한다.
도 3은 일 실시예에 따른, 전자 장치의 폴딩 상태의 예를 도시한다.
도 4는 일 실시예에 따른, 디스플레이의 왜곡 보정의 예를 도시한다.
도 5a는 일 실시예에 따른, 디스플레이의 중심 축에 위치한 사용자 시선에 기반하여 수행되는 왜곡 보정의 예를 도시한다.
도 5b는 일 실시예에 따른, 디스플레이의 중심 축에 위치한 사용자 시선에 기반하여 수행되는 x축 왜곡 보정의 예를 도시한다.
도 5c는 일 실시예에 따른, 디스플레이의 중심 축에 위치한 사용자 시선에 기반하여 수행되는 y축 왜곡 보정의 예를 도시한다.
도 5d는 일 실시예에 따른, 디스플레이의 중심 축에 위치한 사용자 시선에 기반하여 수행되는 왜곡 보정된 화면의 예를 도시한다.
도 6a는 일 실시예에 따른, 제1 하우징 및 제2 하우징과 이루는 각도가 동일한 투영면에 기반하여 수행되는 왜곡 보정의 예를 도시한다.
도 6b는 일 실시예에 따른, 제1 하우징 및 제2 하우징과 이루는 각도가 동일한 투영면에 기반하여 수행되는 x축 왜곡 보정의 예를 도시한다.
도 6c는 일 실시예에 따른, 제1 하우징 및 제2 하우징과 이루는 각도가 동일한 투영면에 기반하여 수행되는 왜곡 보정된 화면의 예를 도시한다.
도 7a는 일 실시예에 따른, 사용자 시선과 수직한 투영면을 기준으로 한 전자 장치의 왜곡 보정의 예를 도시한다.
도 7b는 일 실시예에 따른, 사용자 시선과 수직한 투영면에 기반하여 수행되는 x축 왜곡 보정의 예를 도시한다.
도 7c는 일 실시예에 따른, 사용자 시선과 수직한 투영면에 기반하여 수행되는 왜곡 보정된 화면의 예를 도시한다.
도 8은 일 실시예에 따른, 정보를 표시하기 위한, 왜곡 보정에 의한 여백 활용의 예를 도시한다.
도 9는 왜곡 보정 시 발생할 수 있는 이미지 손실의 예를 도시한다.
도 10은 일 실시예에 따른, 왜곡 보정 시 이미지 손실을 가리키기 위한 알림의 예를 도시한다.
도 11은 일 실시예에 따른, 왜곡 보정 시 이미지 축소의 예를 도시한다.
도 12는 일 실시예에 따른, 왜곡 보정 시 이미지 확대의 예를 도시한다.
도 13은 일 실시예에 따른, 표시 영역의 일부만 적용되는 왜곡 보정의 예를 도시한다.
도 14는 일 실시예에 따른, 왜곡 보정을 적용할 표시 영역 선택의 예를 도시한다.
도 15는 일 실시예에 따른, 사용자 시선 변경에 기반하여 수행되는 왜곡 보정 변경 여부의 예를 도시한다.
도 16은 일 실시예에 따른, 사용자 시선 정보, 폴딩 정보, 및 제1 표시 영역에 기반하여 왜곡 보정 이미지를 표시하는 동작의 흐름을 도시한다.
본 개시에서 사용되는 용어들은 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 다른 실시예의 범위를 한정하려는 의도가 아닐 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다. 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 개시에 기재된 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가질 수 있다. 본 개시에 사용된 용어들 중 일반적인 사전에 정의된 용어들은, 관련 기술의 문맥상 가지는 의미와 동일 또는 유사한 의미로 해석될 수 있으며, 본 개시에서 명백하게 정의되지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. 경우에 따라서, 본 개시에서 정의된 용어일지라도 본 개시의 실시예들을 배제하도록 해석될 수 없다.
이하에서 설명되는 본 개시의 다양한 실시예들에서는 하드웨어적인 접근 방법을 예시로서 설명한다. 하지만, 본 개시의 다양한 실시예들에서는 하드웨어와 소프트웨어를 모두 사용하는 기술을 포함하고 있으므로, 본 개시의 다양한 실시예들이 소프트웨어 기반의 접근 방법을 제외하는 것은 아니다.
이하 설명에서 사용되는 왜곡 보정(distortion compensation)을 지칭하는 용어(예: 왜곡 보정, 변경(changing), 전환(switching)), 제1 표시 영역(the first display area)을 지칭하는 용어(예: 제1 표시 영역, 왜곡 보정 전의 표시 영역(display area before distortion compensation), 제1 이미지가 표시되는 영역(display area displaying the first image), 왜곡 보정 전의 이미지가 표시되는 영역(display area displaying image before distortion compensation)), 제2 표시 영역(the second display area)을 지칭하는 용어(왜곡 보정 후의 표시 영역(display area displaying after distortion compensation), 제2 이미지가 표시되는 영역(display area displaying the second image), 왜곡 보정 후의 이미지가 표시되는 영역(display area displaying image after distortion compensation)), 왜곡 보정 전 이미지(image before distortion compensation)를 지칭하는 용어(제1 이미지(the first image), 원래 이미지(original image)), 왜곡 보정 후 이미지(image after distortion compensation)를 지칭하는 용어(제2 이미지(the second image), 보정 이미지(compensation image), 변경된 이미지(changing image), 전환된 이미지(switching image)), 디스플레이의 여백 부분(margin part of display)을 지칭하는 용어(예: 여백 부분(margin part), 잉여 부분(surplus part)) 등은 설명의 편의를 위해 예시된 것이다. 따라서, 본 개시가 후술되는 용어들에 한정되는 것은 아니며, 동등한 기술적 의미를 가지는 다른 용어가 사용될 수 있다. 또한, 이하 사용되는 '...부', '...기', '...물', '...체' 등의 용어는 적어도 하나의 형상 구조를 의미하거나 또는 기능을 처리하는 단위를 의미할 수 있다.
또한, 본 개시에서, 특정 조건의 만족(satisfied), 충족(fulfilled) 여부를 판단하기 위해, 초과 또는 미만의 표현이 사용될 수 있으나, 이는 일 예를 표현하기 위한 기재일 뿐 이상 또는 이하의 기재를 배제하는 것이 아니다. '이상'으로 기재된 조건은 '초과', '이하'로 기재된 조건은 '미만', '이상 및 미만'으로 기재된 조건은 '초과 및 이하'로 대체될 수 있다. 또한, 이하, 'A' 내지 'B'는 A부터(A 포함) B까지의(B 포함) 요소들 중 적어도 하나를 의미한다. 이하, 'C' 및/또는 'D'는 'C' 또는 'D' 중 적어도 하나, 즉, {'C', 'D', 'C'와 'D'}를 포함하는 것을 의미한다.
본 개시의 실시예들을 설명하기에 앞서, 실시예들에 따른 전자 장치의 동작들을 설명하기 위해 필요한 용어들이 정의된다. 폴더블 전자 장치는 폴딩 상태, 언폴딩 상태, 중간 상태를 제공하도록 구성되는 힌지 구조를 포함하는 전자 장치를 의미할 수 있다. 상기 폴더블 전자 장치는 플렉서블 디스플레이를 포함할 수 있다. 상기 폴더블 전자 장치는 제1 면 및 제1 면과 반대인 제2 면을 포함하는 제1 하우징을 포함할 수 있다. 상기 폴더블 전자 장치는 제3 면 및 제4 면을 포함하는 제2 하우징을 포함할 수 있다. 상기 폴더블 전자 장치의 언폴딩 상태는 상기 제1 면과 상기 제3 면이 동일한 방향을 향하도록, 완전히 펼쳐진 전자 장치의 구조를 의미할 수 있다 상기 폴더블 전자 장치의 상기 폴딩 상태는 상기 제1 면과 상기 제3 면이 마주보도록 접혀진 전자 장치의 구조를 의미할 수 있다. 상기 중간 상태는 상기 제1 면과 상기 제3 면이, 상기 언폴딩 상태에서의 각도와 상기 폴딩 상태에서의 각도 사이의 각도를 형성하도록 접혀진 전자 장치의 구조를 의미할 수 있다. 제1 표시 영역은 언폴딩 상태인 디스플레이의 표시 영역을 의미할 수 있다. 제1 표시 영역은 원근법에 의한 왜곡 보정 전의 상기 디스플레이의 표시 영역을 의미할 수 있다. 제2 표시 영역은 원근법에 의한 왜곡 보정 후의 상기 디스플레이의 표시 영역을 의미할 수 있다. 제1 좌표 정보는 제1 표시 영역을 특정할 수 있는 좌표들을 의미할 수 있다. 예를 들면, 제1 좌표 정보는 제1 표시 영역의 꼭지점의 좌표들과 폴딩 축의 끝단의 좌표들을 의미할 수 있다. 제2 좌표 정보는 제2 표시 영역을 특정할 수 있는 좌표들을 의미할 수 있다. 예를 들면, 제2 좌표 정보는 제2 표시 영역의 꼭지점의 좌표들과 폴딩 축의 끝단의 좌표들을 의미할 수 있다. 폴딩 축은 제1 하우징 및 제2 하우징이 접히는 축을 의미할 수 있다. 중심 축은 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 면을 의미할 수 있다. 사용자 시선은 디스플레이를 관찰하는 사용자의 눈동자에 대응되는 지점을 의미할 수 있다. 일 실시예에 따르면, 상기 사용자 시선은 사용자가 주로 사용하는 쪽의 눈동자에 대응되는 지점을 의미할 수 있다. 일 실시예에 따르면, 상기 사용자 시선은 사용자가 지정하는 쪽의 눈동자에 대응되는 지점을 의미할 수 있다. 일 실시예에 따르면, 상기 사용자 시선은 디스플레이에 가까운 쪽의 눈동자에 대응되는 지점을 의미할 수 있다. 상기 디스플레이에서 멀어질수록 왜곡 보정을 위한 표시 영역의 변경 정도가 커져 여백 부분이 많이 발생할 수 있다. 일 실시예에 따르면, 상기 사용자 시선은 사용자의 양쪽 눈동자의 가운데 부분에 대응되는 지점을 의미할 수 있다. 사용자 시선 정보는 상기 사용자 시선의 좌표를 포함할 수 있다.
도 1은 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108) 중 적어도 하나와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))을 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들면, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))과 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들면, 인공지능 모델이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들면, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들면, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들면, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들면, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들면, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO(full dimensional MIMO)), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제1 네트워크(198) 또는 제2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들면, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 실시예들에 따른, 전자 장치의 언폴딩 상태의 예를 도시한다.
도 3은 실시예들에 따른, 전자 장치의 폴딩 상태의 예를 도시한다.
일 실시예에 따르면, 폴더블 전자 장치(예: 도 1의 전자 장치(101))는 다양한 상태들을 제공할 수 있다. 예를 들면, 전자 장치(101)는 언폴딩 상태, 중간 상태, 및 폴딩 상태를 제공할 수 있다.
도 2를 참조하면, 전자 장치(101)는, 제1 하우징(220)과 제2 하우징(210)이 폴딩 하우징(예: 도 3의 폴딩 하우징(303)) 내에 포함된 힌지 구조를 통해 완전히(fully) 펼쳐진(folded out) 언폴딩 상태인 상태(200) 내에서 있을 수 있다.
일 실시예에 따르면, 제1 하우징(220)은 제1 면(221), 제1 면(221)과 반대인 제2 면(미도시), 제1 면(221)과 제2 면 사이의 제1 측면(233) 및 제2 측면(234)을 포함할 수 있다.
일 실시예에 따르면, 제2 하우징(210)은 제3 면(211), 제3 면(211)과 반대인 제4 면(예: 도 3의 제4 면(307)), 제3 면(211)과 제4 면 사이의 제3 측면(231) 및 4 측면(232)을 포함할 수 있다.
일 실시예에 따르면, 폴딩 하우징은 제1 하우징(220)의 제1 측면(233) 및 제1 측면(233)과 마주하는 제2 하우징(210)의 제3 측면(231)을 폴딩 축(235)을 기준으로 회전 가능하게 연결하는 힌지 구조를 포함할 수 있다.
일 실시예에 따르면, 상태(200)는 제1 하우징(220)의 제1 면(221)이 향하는 제1 방향(202)이 제2 하우징(210)의 제3 면(211)이 향하는 제2 방향(201)에 대응하는 상태를 의미할 수 있다. 예를 들면, 상태(200) 내에서 제1 방향(202)은 제2 방향(201)에 실질적으로 평행일 수 있다. 예를 들면, 상태(200) 내에서 제1 방향(202)은 제2 방향(201)과 동일할 수 있다.
일 실시예에 따르면, 상태(200) 내에서 제1 면(221)은 제3 면(211)과 실질적으로 하나의 평면(flat surface)을 형성할 수 있다. 예를 들면, 상태(200) 내에서 제1 면(221)과 제3 면(211) 사이의 각도(203)는 180도(degrees)일 수 있다. 예를 들면, 상태(200)는 제1 디스플레이(240)의 전체 표시 영역(entire display area)을 실질적으로 하나의 평면 상에서 제공할 수 있는 상태를 의미할 수 있다. 일 실시예에 따르면, 상태(200) 내에서, 제1 디스플레이(240)의 표시 영역은 굴곡진 영역(curved surface)을 포함하지 않을 수 있다. 언폴딩 상태는, 펼침 상태(outspread state 또는 outspreading state)로 참조될 수 있다.
도 3을 참조하면, 전자 장치(예: 도 1의 전자 장치(101))는 제1 하우징(220)과 제2 하우징(210)이 폴딩 하우징(303) 내의 힌지 구조를 통해 접힌(folded in) 폴딩 상태인 상태(300)를 제공할 수 있다.
일 실시예에 따르면, 상태(300)를 포함하는 폴딩 상태는, 제1 면(예: 도 2의 제1 면(221))(도 3 내에서 미도시)이 향하는 제1 방향(202)이 제3 면(예: 도 2의 제3 면(211))(도 3 내에서 미도시)이 향하는 제2 방향(201)과 구별되는 상태를 의미할 수 있다. 예를 들면, 상태(300)에서, 제1 방향(202)과 제2 방향(201) 사이의 각도는 실질적으로 180도로, 제1 방향(202)과 제2 방향(201)은 서로 구별될 수 있다. 예를 들면, 상태(300)에서, 제1 면(221)과 제3 면(211) 사이의 각도(305)는, 실질적으로 0도일 수 있다. 폴딩 상태는, 접힘 상태(folded state)로 참조될 수 있다. 예를 들면, 전자 장치(101)는, 폴딩 하우징(303) 내의 힌지 구조를 통해 제1 면(221) 및 제3 면(211)이 서로 마주함으로써 제1 면(221)에 대응하는 제1 디스플레이(240)의 표시 영역 상에 제3 면(211)에 대응하는 제1 디스플레이(240)의 표시 영역이 실질적으로 완전히 중첩되는 상태(300)를 제공할 수 있다. 예를 들면, 전자 장치(101)는, 제1 방향(202)이 제2 방향(201)에 실질적으로 반대인 상태(300)를 제공할 수 있다. 또 다른 예를 들면, 상태(300)에서, 전자 장치(101)를 바라보는 사용자의 시야 안에서 제1 디스플레이(240)의 표시 영역이 가려질 수 있다. 하지만, 이에 제한되지 않는다.
일 실시예에서, 제1 디스플레이(240)는 폴딩 하우징(303) 내의 힌지 구조를 통해 제공되는 회전에 의해 굽혀질 수 있다. 예를 들면, 상태(300) 내에서, 제1 디스플레이(240)의 표시 영역의 일부는, 굽어질 수 있다. 예를 들면, 제1 디스플레이(240)의 표시 영역의 상기 일부는, 상기 폴딩 상태 내에서 제1 디스플레이(240)의 파손을 방지하기 위해, 만곡하게 굽혀진 상태 내에 있을 수 있다. 하지만, 이에 제한되지 않는다.
예를 들면, 프로세서(120)는, 제1 하우징(220)의 제1 면(221)이 향하는 제1 방향(202)과 제2 하우징(210)의 제3 면(211)이 항하는 제2 방향(201) 사이의 각도를, 전자 장치(101) 내의 홀 센서, 전자 장치(101) 내의 제1 센서, 폴딩 하우징(303) 내의 회전 센서 및 전자 장치(101) 내의 스트레치(stretch) 센서 중 적어도 하나를 통해, 식별할 수 있다.
한편, 일 실시예에서, 제2 하우징(210)은, 제3 면(211)에 반대인 제4 면(307) 상에서, 제2 디스플레이(350)를 포함할 수 있다. 예를 들면, 제2 디스플레이(350)는, 제1 디스플레이(240)의 표시 영역이 시인되지 않는 폴딩 상태 내에서, 시각적 정보를 제공하기 위해, 이용될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 제1 하우징(220)의 제2 측면(234)의 적어도 일부 내에 형성된 적어도 하나의 안테나를 포함할 수 있다. 전자 장치(101)는 제2 하우징(210)의 제4 측면(232)의 적어도 일부 내에 형성된 적어도 하나의 안테나를 포함할 수 있다. 예를 들면, 제1 하우징(220)의 제2 측면(234)의 적어도 일부 내에 형성된 적어도 하나의 안테나는 제1 안테나를 포함할 수 있다. 제2 하우징(210)의 제4 측면(232)의 적어도 일부 내에 형성된 적어도 하나의 안테나는 제2 안테나를 포함할 수 있다.
도 4는 일 실시예에 따른, 디스플레이의 왜곡 보정의 예를 도시한다. 전자 장치(예: 전자 장치(101))는, 전자 장치(101)의 상태에 따라, 디스플레이(예: 디스플레이 모듈(160))의 왜곡 보정을 수행할 수 있다. 전자 장치(101)의 상태는 언폴딩 상태(예: 상태(200))와 중간 상태, 또는 폴딩 상태(예: 상태(300))일 수 있다. 디스플레이는 플렉서블 디스플레이일 수 있다.
도 4를 참조하면, 상태 변경도(400)는 디스플레이의 왜곡 보정 여부에 따른 폴더블 전자 장치(411, 431)의 화면을 도시한다. 폴더블 전자 장치(411) 및 폴더블 전자 장치(431)는 도 1의 전자 장치(101)를 예시한다.
폴더블 전자 장치(411)는, 언폴딩 상태(410)에서, 왜곡 보정 전의 이미지를 표시할 수 있다. 상기 폴더블 전자 장치(411)는 언폴딩 상태(예: 도 2의 상태(200)), 폴딩 상태(예: 도 3의 상태(300)), 또는 중간 상태를 형성하기 위한 힌지 구조를 포함할 수 있다. 언폴딩 상태(410)의 왜곡 보정 전 이미지(413)는 언폴딩 상태(410)에서 상기 폴더블 전자 장치(411)의 디스플레이에 표시될 수 있다. 이하에서, 왜곡 보정 전 이미지(413)는 제1 이미지로 지칭될 수 있다.
폴더블 전자 장치(411)는, 중간 상태(420)에서, 왜곡 보정 전 이미지를 표시할 수 있다. 전방에서 상기 폴더블 전자 장치(411)를 바라보는 사용자는 투영면에 투영된 이미지를 볼 수 있다. 왜곡 보정 전 이미지(413)는 상기 폴더블 전자 장치(411)가 접힘에 따라, 원근법에 의해 시각적으로 왜곡될 수 있다. 따라서, 상기 폴더블 전자 장치(411)의 화면(scene)을 바라보는 사용자는, 원근법에 의해 왜곡된 이미지를 관찰할 수 있다. 사용자 시선으로부터 거리가 가까운 상기 디스플레이의 화면 부분(예: 자동차의 양 끝 부분)은 상대적으로 크게 보일 수 있다. 사용자 시선으로부터 거리가 가까운 상기 디스플레이의 화면 부분(예: 자동차의 중간 부분)은 상대적으로 작게 보일 수 있다.
폴더블 전자 장치(431)는, 상기 폴더블 전자 장치(411)와 달리, 왜곡 보정 기능을 수행할 수 있다. 상기 폴더블 전자 장치(431)는 언폴딩 상태(430)에서, 상기 왜곡 보정 전 이미지(413)를 표시할 수 있다. 상기 폴더블 전자 장치(431)는 언폴딩 상태, 폴딩 상태, 또는 중간 상태를 형성하기 위한 힌지 구조를 포함할 수 있다. 상기 폴더블 전자 장치(431)의 상태가 언폴딩 상태로부터 중간 상태 혹은 폴딩 상태로 변경된다면, 전술한 바와 같이, 상기 왜곡 보정 전 이미지(413)에 왜곡이 발생할 수 있다. 따라서, 상기 폴더블 전자 장치(431)는 왜곡 보정을 수행할 수 있다. 상기 폴더블 전자 장치(431)는 왜곡 보정을 통해 상기 왜곡 보정 전 이미지(413)를 왜곡 보정 후 이미지(433)로 변경할 수 있다. 이하에서, 상기 왜곡 보정 후 이미지(433)는 왜곡 보정 후의 이미지로, 제2 이미지로 지칭될 수 있다.
상기 폴더블 전자 장치(431)는, 중간 상태(440)에서 왜곡 보정 후 이미지(433)를 표시할 수 있다. 상기 폴더블 전자 장치(431)를 바라보는 사용자는 투영면에 투영된 이미지를 볼 수 있다. 왜곡 보정 후 이미지(433)는 상기 폴더블 전자 장치가 접힘에 따라, 원근법에 의해 상기 왜곡 보정 전 이미지(413) 대비 시각적으로 왜곡될 수 있다. 그러나, 폴더블 전자 장치(431)가 왜곡 보정 전 이미지(413)를 미리 왜곡하기 때문에, 중간 상태(440)에서 표시되는 왜곡 보정 후 이미지(433)는, 사용자 시점에서 왜곡되지 않을 수 있다. 즉, 사전 왜곡을 통해, 폴더블 전자 장치(431)는 상대적으로 사용자에게 덜 왜곡된 혹은 왜곡되지 않은 이미지를 제공할 수 있다. 사용자는, 왜곡 보정 후 이미지(433)로부터, 상기 언폴딩 상태(430)의 왜곡 보정 전 이미지(413)에 대한 뷰(view)와 동일한 뷰를 관찰할 수 있다.
이하, 폴더블 전자 장치(101)가, 왜곡 보정 전 이미지(413)(예: 제1 이미지)를 왜곡 보정 후 이미지(433)(예: 제2 이미지)로 변경하는 왜곡 보정 방법들에 대해 기술한다. 왜곡 보정 후 이미지(433)는 상기 폴더블 전자 장치(101)의 제1 하우징의 제1 면과 제2 하우징의 제3 면이 이루는 각도에 대응하는 폴딩 정보에 기반하여 생성될 수 있다. 상기 폴딩 정보는 상기 제1 면과 상기 제3 면이 이루는 각도인 폴딩 각도일 수 있다. 상기 적어도 하나의 프로세서(120)는, 폴딩 각도 인식 센서를 통해 상기 폴딩 정보를 획득할 수 있다. 폴딩 각도 인식 센서는 복수의 6축 센서 또는 스트레인 센서일 수 있다. 상기 복수의 6축 센서는 기울기를 감지하는 센서일 수 있다. 상기 복수의 6축 센서는 제1 하우징 및 제2 하우징 영역의 PCB(printed circuit board)에 각각 배치될 수 있다. 상기 폴더블 전자 장치(101)의 폴딩 정보는 상기 복수의 6축 센서에서 측정되는 기울기의 차이에 기반하여 획득될 수 있다. 스트레인 센서는 FPCB(flexible printed circuit board)를 통해 연결될 수 있다. 상기 폴더블 전자 장치(101)가 폴딩 시, FPCB(flexible printed circuit board)는 휘어질 수 있다. 상기 폴더블 전자 장치(101)는 상기 스트레인 센서를 통해 FPCB(flexible printed circuit board)가 휘어지는 각도를 획득할 수 있다. 그러므로, 상기 적어도 하나의 프로세서는, 상기 스트레인 센서를 통해 폴딩 정보를 획득할 수 있다.
도 5a는 일 실시예에 따른, 디스플레이의 중심 축에 위치한 사용자 시선에 기반하여 수행되는 왜곡 보정의 예를 도시한다. 전자 장치(예: 전자 장치(101))는, 전자 장치의 상태(예: 중간 상태)에서 디스플레이(예: 디스플레이 모듈(160))의 왜곡 보정을 수행할 수 있다. 이하, 디스플레이는 플렉서블 디스플레이일 수 있다. 디스플레이의 중심 축에 위치한 사용자 시선에 기반하여 수행되는 왜곡 보정 방법은, 제1 왜곡 보정 방법(500)으로 지칭될 수 있다.
도 5a를 참조하면, 폴더블 전자 장치(501)(예: 도 1의 전자 장치(101))는 제1 왜곡 보정 방법(500)을 수행할 수 있다. 제1 왜곡 보정 방법(500)을 통해, 폴더블 전자 장치(501)의 디스플레이의 중심축에 위치한 사용자 시선에 기반하여 수행되는 왜곡 보정의 원리를 도시한다.
중간 상태(예: 중간 상태(440))의 폴더블 전자 장치(501)(예: 폴더블 전자 장치(431))는, 제1 하우징(507)의 제1 면과 제2 하우징(509)의 제3 면이 언폴딩 상태에서의 각도(예: 180도)와 폴딩 상태에서의 각도(예: 0도) 사이의 각도를 형성하도록 접힐 수 있다. 폴딩 축(521)은 상기 폴더블 전자 장치(501)가 접히는 축일 수 있다. 사용자 시선(505)은 상기 폴더블 전자 장치(501)에 포함된 디스플레이의 중심 축에 위치할 수 있다. 상기 중심 축은 언폴딩 상태의 디스플레이와 수직이고, 폴딩 축(521)을 포함하는 면일 수 있다.
언폴딩 상태에서, 폴더블 전자 장치(501)는 제1 표시 영역을 표시할 수 있다. 제1 표시 영역은 제1 좌표 정보에 의해 특정될 수 있다. 제1 좌표 정보는, 제1 표시 영역의 종단 좌표들을 포함할 수 있다. 제1 좌표 정보는 좌표(513), 좌표(515), 좌표(517), 및 좌표(519)를 포함할 수 있다. 제1 좌표 정보는, 폴딩 축의 종단 좌표들을 포함할 수 있다. 제1 좌표 정보는 좌표(531) 및 좌표(533)를 포함할 수 있다. 중간 상태에서, 폴더블 전자 장치(501)는 제2 표시 영역을 표시할 수 있다. 제2 표시 영역은 제2 좌표 정보에 의해 특정될 수 있다. 제2 좌표 정보는, 제2 표시 영역의 종단 좌표들을 포함할 수 있다. 제2 좌표 정보는 좌표(523), 좌표(525), 좌표(527), 및 좌표(529)를 포함할 수 있다. 제2 좌표 정보는, 폴딩 축의 종단 좌표들을 포함할 수 있다. 제2 좌표 정보는 좌표(531) 및 좌표(533)를 포함할 수 있다. 제1 좌표 정보와 제2 좌표 정보는, 폴딩 축의 좌표들(예: 좌표(531) 및 좌표(533))를 공유할 수 있다.
언폴딩 상태(예: 언폴딩 상태(430))의 폴더블 전자 장치(501)(예: 폴더블 전자 장치(431))는 제1 하우징(507)의 제1 면과 제2 하우징(509)의 제3 면이 동일한 방향을 향할 수 있다. 각도(511)는 언폴딩 상태에서 상기 디스플레이와 수직이고 상기 폴딩 축을 포함하는 면과 제1 하우징이 형성하는 값일 수 있다. 각도(511)는 언폴딩 상태에서 상기 디스플레이와 수직이고 상기 폴딩 축을 포함하는 면과 제2 하우징이 형성하는 값일 수 있다.
사용자 시선(505)에서 발생되는 원근법에 의한 시각적 왜곡을 보정하기 위해, 제2 좌표 정보 내부의 제2 표시 영역 상에 이미지가 표시될 수 있다. 상기 사용자 시선(505)은 디스플레이를 관찰하는 사용자의 눈동자에 대응되는 지점일 수 있다. 일 실시예에 따르면, 상기 사용자 시선(505)은 사용자가 주로 사용하는 쪽의 눈동자에 대응되는 지점일 수 있다. 예를 들어, 상기 사용자 시선(505)은 왼쪽 눈의 눈동자에 대응하는 지점을 가리킬 수 있다. 다른 예를 들어, 상기 사용자 시선(505)은 오른쪽 눈의 눈동자에 대응하는 지점을 가리킬 수 있다. 일 실시예에 따르면, 상기 사용자 시선(505)은 사용자가 지정하는 쪽의 눈동자에 대응되는 지점일 수 있다. 일 실시예에 따르면, 상기 사용자 시선(505)은 디스플레이에 가까운 쪽의 눈동자에 대응되는 지점일 수 있다. 상기 디스플레이에서 멀어질수록 왜곡 보정을 위한 표시 영역의 변경 정도가 커져 여백 부분이 많이 발생할 수 있다. 일 실시예에 따르면, 상기 사용자 시선(505)은 사용자의 양쪽 눈동자들 사이(예: 가운데)에 대응되는 지점일 수 있다.
일 실시예에 따라, 전자 장치(101)의 프로세서(120)는 상기 사용자 시선(505) 및 제1 표시 영역의 제1 좌표 정보에 기반하여 제2 좌표 정보를 획득할 수 있다. 상기 사용자 시선(505)은 제1 표시 영역의 꼭지점을 향할 수 있다. 사용자 시선(505)과 제1 표시 영역의 꼭지점을 연결(좌표(513), 좌표(515), 좌표(517), 좌표(519))하는 선과 폴더블 전자 장치(501)의 플렉서블 디스플레이가 만나는 점의 좌표는 제2 표시 영역의 좌표로 결정될 수 있다. 예를 들어, 폴더블 전자 장치(501)는 사용자 시선(505)과 좌표(513)를 연결하는 선이 제1 면과 만나는 점의 좌표(523)를 식별할 수 있다. 폴더블 전자 장치(501)는 사용자 시선(505)과 좌표(515)를 연결하는 선이 제1 면과 만나는 점의 좌표(525)를 식별할 수 있다. 폴더블 전자 장치(501)는 사용자 시선(505)과 좌표(517)를 연결하는 선이 제3 면과 만나는 점의 좌표(527)를 식별할 수 있다. 폴더블 전자 장치(501)는 사용자 시선(505)과 좌표(519)를 연결하는 선이 제3 면과 만나는 점의 좌표(529)를 식별할 수 있다.
제2 좌표 정보는 언폴딩 상태의 폴더블 전자 장치(501)의 제1 표시 영역의 꼭지점들과 사용자 시선을 연결하는 면과 중간 상태의 폴더블 전자 장치(501)의 제1 면 및 제3 면이 만나는 지점들의 좌표들일 수 있다.
사용자 시선 정보는 상기 사용자 시선(505)의 좌표를 포함할 수 있다. 일 실시예에 따르면, 상기 사용자 시선 정보는 카메라 및 거리 감지 센서를 통해 획득될 수 있다. 상기 사용자 시선 정보는 상기 카메라를 통해, 사용자 시선의 위치(예: x축 및 y축 좌표)를 파악하고, 상기 거리 감지 센서를 통해 사용자 시선까지의 거리(예: z축 좌표)를 파악할 수 있다. 상기 거리 감지 센서는 TOF(time of flight)일 수 있다. 상기 거리 감지 센서는 Lidar(light detection and ranging)일 수 있다.
도 5b는 일 실시예에 따른, 디스플레이의 중심 축에 위치한 사용자 시선에 기반하여 수행되는 x축 왜곡 보정의 예(540)를 도시한다. 도 5b는 제1 왜곡 보정 방법(500)을 사용자가 y축 방향에서 바라본 결과일 수 있다.
도 5b를 참조하면, 제1 값(541)(예: x)은 폴딩 축으로부터 제1 표시 영역의 종단(551, 553)까지에 해당하는 길이에 대응할 수 있다. 제1 값(541)은 주어진 값일 수 있다. 제2 값(543)(예: a)은 언폴딩 상태에서 디스플레이와 수직이고, 상기 폴딩 축을 포함하는 면과 제1 하우징이 형성하는 제1 각도에 대응할 수 있다. 제2 값(543)은 접힘 감지 센서에 기반하여 획득될 수 있다. 제3 값(545)(예: b)은 상기 언폴딩 상태에서 디스플레이와 수직이고 상기 폴딩 축을 포함하는 방향과 사용자 시선에서 상기 언폴딩 상태의 제1 하우징 내의 상기 제1 표시 영역의 종단(551)을 바라보는 방향이 이루는 각도에 대응할 수 있다. 제3 값(545)은 제1 값과 제5 값에 기반하여 획득될 수 있다. 제4 값(547)(예: b)은 상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 방향과 사용자의 시선에서 상기 언폴딩 상태의 상기 제2 하우징 내의 상기 제1 표시 영역의 종단(553)을 바라보는 방향이 이루는 각도에 대응할 수 있다. 제4 값(547)은 적어도 하나의 카메라 및 적어도 하나의 거리 감지 센서를 통해 획득될 수 있다. 제5 값(549)(예: z)은 사용자의 시선과 언폴딩 상태의 상기 디스플레이 사이의 수직거리를 의미할 수 있다. 제5 값(549)은 카메라 및 거리 감지 센서를 통해 획득될 수 있다.
x1 값(555)은 상기 중간 상태의 상기 제2 하우징 내의 상기 제2 표시 영역의 종단 지점이 투영된 지점과 상기 언폴딩 상태의 상기 제1 표시 영역의 종단 사이 거리일 수 있다. x2 값(557)은 상기 중간 상태의 상기 제2 하우징 내의 상기 제2 표시 영역의 종단 지점이 투영된 지점과 상기 폴더블 전자 장치의 상기 폴딩 축이 투영된 지점 사이의 거리일 수 있다. x3 값(559)은 상기 폴더블 전자 장치의 상기 폴딩 축과 상기 중간 상태의 상기 제2 하우징 내의 상기 제2 표시 영역의 종단 사이의 거리일 수 있다. x4 값(561)은 상기 중간 상태의 상기 제2 하우징 내의 상기 제2 표시 영역의 종단 지점에서 투영면 사이의 수직 거리일 수 있다. 삼각함수에 의해, 하기의 수학식들이 유도될 수 있다.
Figure PCTKR2023008319-appb-img-000001
Figure PCTKR2023008319-appb-img-000002
Figure PCTKR2023008319-appb-img-000003
Figure PCTKR2023008319-appb-img-000004
Figure PCTKR2023008319-appb-img-000005
Figure PCTKR2023008319-appb-img-000006
상기 수학식들을 연립하여 상기 x1 값(555), 상기 x2 값(557), 상기 x3 값(559), 및 상기 x4 값(561)을 획득할 수 있다. 상기 x3 값(559)은 상기 제2 하우징의 상기 제2 표시 영역의 종단과 상기 중간 상태의 폴더블 전자 장치의 상기 폴딩 축 사이의 거리일 수 있다. 다시 말해, 상기 x3 값(559)은 중간 상태에서 상기 제2 하우징의 상기 제2 표시 영역의 x축 좌표일 수 있다. x3 값은 수학식 7과 같이 도출될 수 있다. x4 값은 수학식 8과 같이 도출될 수 있다.
Figure PCTKR2023008319-appb-img-000007
Figure PCTKR2023008319-appb-img-000008
폴딩 축을 y축으로 할 때, x축 왜곡 보정 좌표는 x3 값일 수 있다. x4 값은 y축 왜곡 보정 좌표 계산 시, 이용될 수 있다.
도 5c는 일 실시예에 따른, 디스플레이의 중심 축에 위치한 사용자 시선에 기반하여 수행되는 y축 왜곡 보정의 예를 도시한다. 도 5c는 제1 왜곡 보정 방법(500)을 사용자가 x축 방향에서 바라본 것일 수 있다.
도 5c를 참조하면, 사용자 시선의 좌표(571)는 디스플레이를 바라보는 사용자의 시선의 위치에 의해 결정될 수 있다. 투영면(573)은 상기 중간 상태(예: 중간 상태(440))의 폴더블 전자 장치의 화면이 투영되는 면일 수 있다. 상기 투영면은 언폴딩 상태의 폴더블 전자 장치가 형성하는 면(예: 도 5a의 언폴딩 상태의 폴더블 전자 장치(501))일 수 있다.
제1 값(575)(예: z)은 사용자의 시선과 언폴딩 상태의 상기 디스플레이 사이의 수직 거리일 수 있다. 상기 제1 값(575)(예: 도 5b의 제5 값(549))은 카메라 및 거리 감지 센서를 통해 획득될 수 있다. 제2 값(577)(예: 도 5b의 x4 값(561))(예: x4)은 상기 중간 상태의 상기 제2 하우징 내의 상기 제2 표시 영역의 종단 지점에서 투영면 사이의 수직 거리일 수 있다. 제3 값(579)(예: y1) 폴딩 축 방향의 투영면의 종단과 사용자 시선이 투영된 지점 사이의 거리일 수 있다. 제3 값(579)은 카메라 및 거리 감지 센서를 통해 획득될 수 있다. y2 값(581)은 중간 상태인 폴더블 전자 장치의 제2 표시 영역의 폴딩 축 방향의 한 쪽 종단으로부터 사용자 시선이 투영된 지점까지 거리일 수 있다. y3 값(583)은 중간 상태인 폴더블 전자 장치의 제2 표시 영역의 폴딩 축 방향의 다른 쪽 종단으로부터 사용자 시선이 투영된 지점까지 거리일 수 있다. 비례식에 의해, 하기의 수학식들이 유도될 수 있다.
Figure PCTKR2023008319-appb-img-000009
Figure PCTKR2023008319-appb-img-000010
상기 수학식9와 수학식 10에 의해, 상기 y2 값(581) 및 상기 y3 값(583)을 획득할 수 있다. 상기 y2 값(581)은 중간 상태에서 제2 표시 영역의 한 쪽 꼭지점의 y축 좌표일 수 있다. 상기 y3 값(583)은 중간 상태에서 제2 표시 영역의 다른 쪽 꼭지점의 y축 좌표일 수 있다.
그러므로, 상기 폴더블 전자 장치(101)는 도 5b와 도 5c를 이용하면 왜곡 보정 후 제2 표시 영역의 범위를 획득할 수 있다.
도 5d는 일 실시예에 따른, 디스플레이의 중심 축에 위치한 사용자 시선에 기반하여 수행되는 왜곡 보정된 화면의 예를 도시한다.
도 5d를 참조하면, 표시 영역 변경도(590)는 왜곡 보정 전후의 제1 표시 영역 및 제2 표시 영역을 도시할 수 있다. 제1 표시 영역은 왜곡 보정 전의 폴더블 전자 장치의 표시 영역일 수 있다. 제2 표시 영역은 왜곡 보정 후의 폴더블 전자 장치의 표시 영역일 수 있다. 제1 표시 영역의 꼭지점들의 좌표들(좌표(591), 좌표(592), 좌표(593), 좌표(594))과 폴딩 축(599) 종단의 좌표들은 왜곡 보정 전의 제1 표시 영역의 제1 좌표 정보에 포함될 수 있다. 중간 상태에서, 표시 영역의 꼭지점들은, 제1 왜곡 보정 방법에 기반하여 제1 표시영역의 꼭지점 들의 좌표들(좌표(591), 좌표(592), 좌표(593), 좌표(594))에서 제2 표시 영역의 꼭지점들의 좌표들(좌표(595), 좌표(596), 좌표(597), 좌표(598))로 변경될 수 있다. 제2 표시 영역의 꼭지점들의 좌표들(좌표(595), 좌표(596), 좌표(597), 좌표(598))과 폴딩 축(599) 종단의 좌표들은 왜곡 보정 후의 제2 표시 영역의 제2 좌표 정보에 포함될 수 있다.
이하에서 검토할 표시 영역 변경도들(690,790)과 달리, 사용자 시선의 위치가 중심 축에 있으므로, 제2 표시 영역은 좌우 대칭일 수 있다.
도 6a는 일 실시예에 따른, 제1 하우징 및 제2 하우징과 이루는 각도가 동일한 투영면에 기반하여 수행되는 왜곡 보정의 예를 도시한다. 전자 장치(예: 전자 장치(101))는, 전자 장치의 상태(예: 중간 상태)에서 디스플레이(예: 디스플레이 모듈(160))의 왜곡 보정을 수행할 수 있다. 도 6a에서 사용자 시선은 중심 축에 있지 않고, 임의의 위치에 있을 수 있다. 이하, 디스플레이는 플렉서블 디스플레이일 수 있다. 임의의 위치의 상기 사용자 시선에 기반하여 수행되는 왜곡 보정 방법은, 제2 왜곡 보정 방법(600)으로 지칭될 수 있다.
도 6a를 참조하면, 폴더블 전자 장치(601)(예: 도 1의 전자 장치(101))는 제2 왜곡 보정 방법(600)을 수행할 수 있다. 제2 왜곡 보정 방법(600)을 통해, 제1 하우징 및 제2 하우징과 이루는 각도가 동일한 투영면에 기반하여 수행되는 폴더블 전자 장치(601)의 왜곡 보정의 원리를 도시한다.
중간 상태(예: 중간 상태(440))의 폴더블 전자 장치(601)(예; 폴더블 전자 장치(431))는 제1 하우징(607)의 제1 면과 제2 하우징(609)의 제3 면이 언폴딩 상태에서의 각도(예: 180도)와 폴딩 상태에서의 각도(예: 0도) 사이의 각도를 형성하도록 접힐 수 있다. 폴딩 축(621)은 상기 폴더블 전자 장치(601)가 접히는 축을 의미할 수 있다. 사용자 시선(605)은 임의의 위치에 위치할 수 있다.
언폴딩 상태에서, 폴더블 전자 장치(601)는 제1 표시 영역을 표시할 수 있다. 제1 표시 영역은 제1 좌표 정보에 의해 특정될 수 있다. 제1 좌표 정보는, 제1 표시 영역의 종단 좌표들을 포함할 수 있다. 제1 좌표 정보는 좌표(613), 좌표(615), 좌표(617), 및 좌표(619)를 포함할 수 있다. 제1 좌표 정보는, 폴딩 축의 종단 좌표들을 포함할 수 있다. 제1 좌표 정보는 좌표(631) 및 좌표(633)를 포함할 수 있다. 중간 상태에서, 폴더블 전자 장치(601)는 제2 표시 영역을 표시할 수 있다. 제2 표시 영역은 제2 좌표 정보에 의해 특정될 수 있다. 제2 좌표 정보는, 제2 표시 영역의 종단 좌표들을 포함할 수 있다. 제2 좌표 정보는 좌표(623), 좌표(625), 좌표(627), 및 좌표(629)를 포함할 수 있다. 제2 좌표 정보는, 폴딩 축의 종단 좌표들을 포함할 수 있다. 제2 좌표 정보는 좌표(631) 및 좌표(633)를 포함할 수 있다. 제1 좌표 정보와 제2 좌표 정보는, 폴딩 축의 좌표들(예: 좌표(631) 및 좌표(633))을 공유할 수 있다.
언폴딩 상태(예: 도 4의 언폴딩 상태(410), 언폴딩 상태(430))의 폴더블 전자 장치(601)(예: 폴더블 전자 장치(431))는 제1 하우징(607)의 제1 면과 제2 하우징(609)의 제3 면이 동일한 방향을 향할 수 있다. 각도 a(611)는 언폴딩 상태에서 상기 디스플레이와 수직이고 상기 폴딩 축을 포함하는 면과 제1 하우징이 형성하는 값일 수 있다. 각도 a(611)는 언폴딩 상태에서 상기 디스플레이와 수직이고 상기 폴딩 축을 포함하는 면과 제2 하우징이 형성하는 값일 수 있다.
사용자 시선(605)에서 발생되는 원근법에 의한 시각적 왜곡을 보정하기 위해, 제2 좌표 정보 내부의 제2 표시 영역 상에 이미지가 표시될 수 있다. 상기 사용자 시선(605)은 디스플레이를 관찰하는 사용자의 눈동자에 대응되는 지점일 수 있다. 일 실시예에 따르면, 상기 사용자 시선(605)은 사용자가 주로 사용하는 쪽의 눈동자에 대응되는 지점일 수 있다. 예를 들어, 상기 사용자 시선(605)은 왼쪽 눈의 눈동자에 대응하는 지점을 가리킬 수 있다. 다른 예를 들어, 상기 사용자 시선(605)은 오른쪽 눈의 눈동자에 대응하는 지점을 가리킬 수 있다. 일 실시예에 따르면, 상기 사용자 시선(605)은 사용자가 지정하는 쪽의 눈동자에 대응되는 지점일 수 있다. 일 실시예에 따르면, 상기 사용자 시선(605)은 디스플레이에 가까운 쪽의 눈동자에 대응되는 지점일 수 있다. 상기 디스플레이에서 멀어질수록 왜곡 보정을 위한 표시 영역의 변경 정도가 커져 여백 부분이 많이 발생할 수 있다. 일 실시예에 따르면, 상기 사용자 시선(605)은 사용자의 양쪽 눈동자들 사이(예: 가운데)에 대응되는 지점일 수 있다.
일 실시예에 따라, 전자 장치(101)의 프로세서(120)는 상기 사용자 시선(605) 및 제1 표시 영역의 제1 좌표 정보에 기반하여 제2 좌표 정보를 획득할 수 있다. 상기 사용자 시선(605)은 제1 표시 영역의 꼭지점을 향할 수 있다. 사용자 시선(605)과 제1 표시 영역의 꼭지점을 연결하는 선과 폴더블 전자 장치(601)의 플렉서블 디스플레이가 만나는 점의 좌표는 제2 표시 영역의 좌표로 결정될 수 있다. 예를 들어, 폴더블 전자 장치(601)는 사용자 시선(605)과 좌표(613)를 연결하는 선이 제1 면과 만나는 점의 좌표(623)를 식별할 수 있다. 폴더블 전자 장치(601)는 사용자 시선(605)과 좌표(615)를 연결하는 선이 제1 면과 만나는 점의 좌표(625)를 식별할 수 있다. 폴더블 전자 장치(601)는 사용자 시선(605)과 좌표(617)를 연결하는 선이 제3 면과 만나는 점의 좌표(627)를 식별할 수 있다. 폴더블 전자 장치(601)는 사용자 시선(605)과 좌표(619)를 연결하는 선이 제3 면과 만나는 점의 좌표(629)를 식별할 수 있다.
제2 좌표 정보는 언폴딩 상태의 폴더블 전자 장치(601)의 제1 표시 영역의 꼭지점들(좌표(613), 좌표(615), 좌표(617), 좌표(619))과 사용자 시선(605)을 연결하는 선이 중간 상태의 폴더블 전자 장치(601)의 제1 면 및 제3 면과 만나는 지점들의 좌표들일 수 있다.
사용자 시선 정보는 상기 사용자 시선의 좌표를 포함할 수 있다. 일 실시예에 따르면, 상기 사용자 시선 정보는 카메라 및 거리 감지 센서를 통해 획득될 수 있다. 상기 사용자 시선 정보는 상기 카메라를 통해, 사용자 시선의 위치(예: x축 및 y축 좌표)를 파악하고, 상기 거리 감지 센서를 통해 사용자 시선까지의 거리(예: z축 좌표)를 파악할 수 있다. 상기 거리 감지 센서는 TOF(time of flight)일 수 있다. 상기 거리 감지 센서는 Lidar(light detection and ranging)일 수 있다.
도 6b는 일 실시예에 따른, 제1 하우징 및 제2 하우징과 이루는 각도가 동일한 투영면에 기반하여 수행되는 x축 왜곡 보정의 예를 도시한다. 제2 왜곡 보정 방법(600)을 사용자가 y축 방향에서 바라본 것일 수 있다.
도 6b를 참조하면, 제1 값(641)(예: x)은 폴딩 축으로부터 제1 표시 영역의 종단(651, 653)까지에 해당하는 길이에 대응할 수 있다. 제1 값(641)은 주어진 값일 수 있다. 제2 값(643)(예: a)은 언폴딩 상태에서 디스플레이와 수직이고, 상기 폴딩 축을 포함하는 면과 제2 하우징이 형성하는 제1 각도에 대응할 수 있다. 제2 값(643)은 접힘 감지 센서에 기반하여 획득될 수 있다. 제3 값(645)(예: b1)은 상기 언폴딩 상태에서 디스플레이와 수직이고 상기 폴딩 축을 포함하는 방향과 사용자 시선에서 상기 언폴딩 상태의 제1 하우징 내의 상기 제1 표시 영역의 종단(651)을 바라보는 방향이 이루는 각도에 대응할 수 있다. 제3 값(645)은 상기 제1 값(641), 제5 값(649), 및 x5 값(673)에 기반하여 획득될 수 있다. 제4 값(647)(예: b2)은 상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 방향과 사용자의 시선에서 상기 언폴딩 상태의 상기 제2 하우징 내의 상기 제1 표시 영역의 종단(653)을 바라보는 방향이 이루는 각도에 대응할 수 있다. 제5 값(649)(예: z)은 사용자의 시선과 언폴딩 상태의 상기 디스플레이 사이의 수직거리일 수 있다. 제5 값(649)은 카메라 및 거리 감지 센서를 통해 획득될 수 있다. 제6 값(648)은 제1 하우징의 제2 좌표 정보를 구하기 위한 제1 가상 사용자 시선과 언폴딩 상태의 상기 디스플레이 사이의 수직 거리일 수 있다. 제7 값(650)은 제2 하우징의 제2 좌표 정보를 구하기 위한 제2 가상 사용자 시선과 언폴딩 상태의 상기 디스플레이 사이의 수직 거리일 수 있다.
이하, 제1 하우징에서의 왜곡 보정된 제2 표시 영역의 x축 좌표가 도출된다. x1 값(665)은 상기 중간 상태의 상기 제1 하우징 내의 상기 제2 표시 영역의 종단 지점이 투영된 지점과 상기 언폴딩 상태의 상기 제1 표시 영역의 종단 사이 거리일 수 있다. x2 값(667)은 상기 중간 상태의 상기 제2 하우징 내의 상기 제2 표시 영역의 종단 지점이 투영된 지점과 상기 폴더블 전자 장치의 상기 폴딩 축이 투영된 지점 사이의 거리일 수 있다. x3 값(669)은 상기 폴더블 전자 장치의 상기 폴딩 축과 상기 중간 상태의 상기 제2 하우징 내의 상기 제2 표시 영역의 종단 사이의 거리일 수 있다. x4 값(671)은 상기 중간 상태의 상기 제2 하우징 내의 상기 제2 표시 영역의 종단 지점에서 투영면 사이의 수직 거리일 수 있다. 삼각함수에 의해, 하기의 수학식들이 유도될 수 있다. z' 값(648)은 제1 가상 사용자 시선(652)과 언폴딩 상태인 상기 디스플레이 사이의 수직거리를 의미할 수 있다. x5 값(673)은 사용자 시선과 디스플레이의 중심 축 사이의 거리를 의미할 수 있다.
<수학식 1>
Figure PCTKR2023008319-appb-img-000011
<수학식 2>
Figure PCTKR2023008319-appb-img-000012
<수학식 3>
Figure PCTKR2023008319-appb-img-000013
<수학식 4>
Figure PCTKR2023008319-appb-img-000014
<수학식 5>
Figure PCTKR2023008319-appb-img-000015
<수학식 6>
Figure PCTKR2023008319-appb-img-000016
Figure PCTKR2023008319-appb-img-000017
상기 수학식들을 연립하여 상기 x1 값(665), 상기 x2 값(667), 상기 x3 값(669), 및 상기 x4 값(671), 상기 x5 값(673), 및 상기 b1 값(645)을 획득할 수 있다. 상기 x3 값(669)은 상기 제2 하우징의 상기 제2 표시 영역의 종단과 상기 중간 상태의 폴더블 전자 장치의 상기 폴딩 축 사이의 거리일 수 있다. 다시 말해, 상기 x3 값(669)은 중간 상태에서 상기 제2 하우징의 상기 제2 표시 영역의 x축 좌표의 절댓값일 수 있다. x3 값은 수학식 7와 같이 도출될 수 있다. x4 값은 수학식 8과 같이 도출될 수 있다.
<수학식 7>
Figure PCTKR2023008319-appb-img-000018
<수학식 8>
Figure PCTKR2023008319-appb-img-000019
폴딩 축을 y축으로 할 때, x축 왜곡 보정 좌표는 -x3 값일 수 있다. x4 값은 y축 왜곡 보정 좌표 계산 시, 이용될 수 있다. 다만, x5 값이 x 값인 경우, 수학식 11에서, z' 값이 획득될 수 없다. 따라서, x축 왜곡 보정 좌표인 -x3 값도 획득될 수 없다. 그러므로, 적어도 하나의 프로세서는, x5 값이 x 값인 경우, x5 값에 x값 대신 인접한 값을 대입하여, 왜곡 보정 좌표를 획득할 수 있다.
제1 하우징 및 제2 하우징에서의 왜곡 보정된 제2 표시 영역의 y축 좌표들은 폴딩 축에 위치한 사용자 시선에 기반하여 수행되는 y축 왜곡 보정 방식(예: 도 5c)과 동일한 방식으로 도출될 수 있다.
가상 사용자 시선은 제1 왜곡 보정 방법(500)으로부터 제2 왜곡 보정 방법(600)을 유도하기 위해 가정한, 폴더블 전자 장치의 중심 축 위의 가상의 시선일 수 있다. 제1 하우징의 왜곡 보정 후의 좌표는 제1 가상 사용자 시선(652)의 위치에 사용자 시선이 있는 경우의 왜곡 보정 후의 좌표와 동일할 수 있다. 따라서, 제1 하우징의 제2 표시 영역의 제2 좌표 정보는 제1 왜곡 보정 방법(500)에서 제5 값(예: z)을 변경하여 획득할 수 있다. 제2 하우징의 왜곡 보정 후의 좌표는 제2 가상 사용자 시선(654)의 위치에 사용자 시선이 있는 경우의 왜곡 보정 후의 좌표와 동일할 수 있다. 따라서, 제2 하우징의 제2 표시 영역의 제2 좌표 정보는 제1 왜곡 보정 방법(500)에서 z 값을 변경하여 획득될 수 있다.
이하 제2 하우징에서의 왜곡 보정된 제2 표시 영역의 x축 좌표가 도출된다. x1 값(655)은 상기 중간 상태의 상기 제1 하우징 내의 상기 제2 표시 영역의 종단 지점이 투영된 지점과 상기 언폴딩 상태의 상기 제1 표시 영역의 종단 사이 거리일 수 있다. x2 값(657)은 상기 중간 상태의 상기 제2 하우징 내의 상기 제2 표시 영역의 종단 지점이 투영된 지점과 상기 폴더블 전자 장치의 상기 폴딩 축이 투영된 지점 사이의 거리일 수 있다. x3 값(659)은 상기 폴더블 전자 장치의 상기 폴딩 축과 상기 중간 상태의 상기 제2 하우징 내의 상기 제2 표시 영역의 종단 사이의 거리일 수 있다. x4 값(661)은 상기 중간 상태의 상기 제2 하우징 내의 상기 제2 표시 영역의 종단 지점에서 투영면 사이의 수직 거리일 수 있다. 삼각함수에 의해, 하기의 수학식들이 유도될 수 있다. z' 값(650)은 제2 가상 사용자 시선(654)과 언폴딩 상태인 상기 디스플레이 사이의 수직거리를 의미할 수 있다. x5 값(663)은 사용자 시선과 디스플레이의 중심 축 사이의 거리를 의미할 수 있다.
<수학식 1>
Figure PCTKR2023008319-appb-img-000020
<수학식 2>
Figure PCTKR2023008319-appb-img-000021
<수학식 3>
Figure PCTKR2023008319-appb-img-000022
<수학식 4>
Figure PCTKR2023008319-appb-img-000023
<수학식 5>
Figure PCTKR2023008319-appb-img-000024
<수학식 6>
Figure PCTKR2023008319-appb-img-000025
Figure PCTKR2023008319-appb-img-000026
상기 수학식들을 연립하여 상기 x1 값(655), 상기 x2 값(657), 상기 x3 값(659), 및 상기 x4 값(661), 상기 x5 값(663), 및 상기 b2 값(647)을 획득할 수 있다. 상기 x3 값(659)은 상기 제2 하우징의 상기 제2 표시 영역의 종단과 상기 중간 상태의 폴더블 전자 장치의 상기 폴딩 축 사이의 거리일 수 있다. 다시 말해, 상기 x3 값(659)은 중간 상태에서 상기 제2 하우징의 상기 제2 표시 영역의 x축 좌표일 수 있다. x3 값은 수학식 7와 같이 도출될 수 있다. x4 값은 수학식 8과 같이 도출될 수 있다.
<수학식 7>
Figure PCTKR2023008319-appb-img-000027
<수학식 8>
Figure PCTKR2023008319-appb-img-000028
폴딩 축을 y축으로 할 때, x축 왜곡 보정 좌표는 x3 값일 수 있다. x4 값은 y축 왜곡 보정 좌표 계산 시, 이용될 수 있다. 다만, x5 값이 -x 값인 경우, 수학식 12에서, z' 값이 획득될 수 없다. 따라서, x축 왜곡 보정 좌표인 x3 값도 획득될 수 없다. 그러므로, 적어도 하나의 프로세서는, x5 값이 -x 값인 경우, x5 값에 -x값 대신 인접한 값을 대입하여, 왜곡 보정 좌표를 획득할 수 있다.
도 6c는 일 실시예에 따른, 제1 하우징 및 제2 하우징과 이루는 각도가 동일한 투영면에 기반하여 수행되는 왜곡 보정된 화면의 예를 도시한다.
도 6c를 참조하면, 표시 영역 변경도(690)는 왜곡 보정 전의 제1 표시 영역 및 왜곡 보정 후의 제2 표시 영역을 도시할 수 있다. 제1 표시 영역은 왜곡 보정 전의 폴더블 전자 장치의 표시 영역일 수 있다. 제2 표시 영역은 왜곡 보정 후의 폴더블 전자 장치의 표시 영역일 수 있다. 제1 표시 영역의 꼭지점들의 좌표들(좌표(691), 좌표(692), 좌표(693), 좌표(694))과 폴딩 축(699) 종단의 좌표들은 왜곡 보정 전의 제1 표시 영역의 제1 좌표 정보에 포함될 수 있다. 중간 상태에서, 표시 영역의 꼭지점들은 제1 왜곡 보정 방법에 기반하여 제1 표시 영역의 꼭지점들의 좌표들(좌표(691), 좌표(692), 좌표(693), 좌표(694))에서 제2 표시 영역의 꼭지점들의 좌표들(좌표(695), 좌표(696), 좌표(697), 좌표(698))로 변경될 수 있다. 제2 표시 영역의 꼭지점들의 좌표들(좌표(695), 좌표(696), 좌표(697), 좌표(698))과 폴딩 축(699) 종단의 좌표들은 왜곡 보정 후의 제2 표시 영역의 제2 좌표 정보에 포함될 수 있다.
앞서 검토한 표시 영역 변경도(590)와 달리, 사용자 시선의 위치가 중심 축에 있지 않으므로, 제2 표시 영역은 좌우 대칭이 아닐 수 있다.
도 7a는 일 실시예에 따른, 사용자 시선과 수직한 투영면을 기준으로 한 전자 장치의 왜곡 보정의 예를 도시한다. 전자 장치(예: 전자 장치(101))는, 전자 장치의 상태(예: 중간 상태)에서 디스플레이(예: 디스플레이 모듈(160))의 왜곡 보정을 수행할 수 있다. 도 7a에서 사용자 시선은 중심 축에 있지 않고, 임의의 위치에 있을 수 있다. 이하, 디스플레이는 플렉서블 디스플레이일 수 있다. 임의의 위치의 상기 사용자 시선에 기반하여 수행되는 왜곡 보정 방법은, 제3 왜곡 보정 방법(700)으로 지칭될 수 있다.
도 7a를 참조하면, 폴더블 전자 장치(701)(예: 도 1의 전자 장치(101))는 제3 왜곡 보정 방법(700)을 수행할 수 있다. 제3 왜곡 보정 방법(700)을 통해, 사용자 시선에 수직한 투영면에 기반하여 수행되는 왜곡 보정의 원리를 도시한다.
중간 상태(예: 도 4의 중간 상태(440))의 폴더블 전자 장치(701)(예: 도 4의 폴더블 전자 장치(431))는 제1 하우징(707)의 제1 면과 제2 하우징(709)의 제3 면이 언폴딩 상태에서의 각도(예: 180도)와 폴딩 상태에서의 각도(예: 0도) 사이의 각도를 형성하도록 접힐 수 있다. 폴딩 축(721)은 상기 폴더블 전자 장치(701)가 접히는 축일 수 있다. 사용자 시선(705)은 임의의 위치에 위치할 수 있다.
언폴딩 상태에서, 폴더블 전자 장치(701)는 제1 표시 영역을 표시할 수 있다. 제1 표시 영역은 제1 좌표 정보에 의해 특정될 수 있다. 제1 좌표 정보는, 제1 표시 영역의 종단 좌표들을 포함할 수 있다. 제1 좌표 정보는 좌표(713), 좌표(715), 좌표(717), 및 좌표(719)를 포함할 수 있다. 제1 좌표 정보는, 폴딩 축의 종단 좌표들을 포함할 수 있다. 제1 좌표 정보는 좌표(731) 및 좌표(733)를 포함할 수 있다. 중간 상태에서, 폴더블 전자 장치(701)는 제2 표시 영역을 표시할 수 있다. 제2 표시 영역은 제2 좌표 정보에 의해 특정될 수 있다. 제2 좌표 정보는, 제2 표시 영역의 종단 좌표들을 포함할 수 있다. 제2 좌표 정보는 좌표(723), 좌표(725), 좌표(727), 및 좌표(729)를 포함할 수 있다. 제2 좌표 정보는, 폴딩 축의 종단 좌표들을 포함할 수 있다. 제2 좌표 정보는 좌표(731) 및 좌표(733)를 포함할 수 있다. 제1 좌표 정보와 제2 좌표 정보는, 폴딩 축의 좌표들(예: 좌표(731) 및 좌표(733))을 공유할 수 있다.
투영면은 사용자 시선에 수직일 수 있다. 투영면은 사용자 시선에 수직하도록 펼쳐진 언폴딩 상태의 전자 장치일 수 있다. 각도 a(711)는 제1 하우징과 제2 하우징이 이루는 각도의 절반 일 수 있다. 각도 c(735)는 제1 하우징 및 제2 하우징과 이루는 각도가 동일한 투영면에 수직이고 상기 폴딩 축을 포함하는 면과, 폴딩 축과 사용자 시선이 포함되는 면 사이의 각도 값일 수 있다.
사용자 시선(705)에서 발생되는 원근법에 의한 시각적 왜곡을 보정하기 위해, 제2 좌표 정보 내부의 제2 표시 영역 상에 이미지가 표현될 수 있다. 상기 사용자 시선(705)은 디스플레이를 관찰하는 사용자의 눈동자에 대응되는 지점일 수 있다. 일 실시예에 따르면, 상기 사용자 시선(705)은 사용자가 주로 사용하는 쪽의 눈동자에 대응되는 지점일 수 있다. 예를 들어, 상기 사용자 시선(705)은 왼쪽 눈의 눈동자에 대응하는 지점을 가리킬 수 있다. 다른 예를 들어, 상기 사용자 시선(705)은 오른쪽 눈의 눈동자에 대응하는 지점을 가리킬 수 있다. 일 실시예에 따르면, 상기 사용자 시선(705)은 사용자가 지정하는 쪽의 눈동자에 대응되는 지점일 수 있다. 일 실시예에 따르면, 상기 사용자 시선(705)은 디스플레이에 가까운 쪽의 눈동자에 대응되는 지점일 수 있다. 상기 디스플레이에서 멀어질수록 왜곡 보정을 위한 표시 영역의 변경 정도가 커져 여백 부분이 많이 발생할 수 있다. 일 실시예에 따르면, 상기 사용자 시선(705)은 사용자의 양쪽 눈동자들 사이(예: 가운데)에 대응되는 지점일 수 있다.
일 실시예에 따라, 전자 장치(101)의 프로세서(120)는 상기 사용자 시선(705) 및 제1 표시 영역의 제1 좌표 정보에 기반하여 제2 좌표 정보를 획득할 수 있다. 상기 사용자 시선(705)은 제1 표시 영역의 꼭지점을 향할 수 있다. 상기 사용자 시선(705)과 제1 표시 영역의 꼭지점을 연결하는 선과 폴더블 전자 장치(701)의 플렉서블 디스플레이가 만나는 점의 좌표는 제2 표시 영역의 좌표로 결정될 수 있다. 예를 들어, 상기 폴더블 전자 장치(701)는 상기 사용자 시선(705)과 좌표(713)를 연결하는 선이 제1 면과 만나는 점의 좌표(723)를 식별할 수 있다. 상기 폴더블 전자 장치(701)는 상기 사용자 시선(705)과 좌표(715)를 연결하는 선이 제1 면과 만나는 점의 좌표(725)를 식별할 수 있다. 상기 폴더블 전자 장치(701)는 상기 사용자 시선(705)과 좌표(717)를 연결하는 선이 제3 면과 만나는 점의 좌표(727)를 식별할 수 있다. 상기 폴더블 전자 장치(701)는 상기 사용자 시선(705)과 좌표(719)를 연결하는 선이 제3 면과 만나는 점의 좌표(729)를 식별할 수 있다.
제2 좌표 정보는 언폴딩 상태의 폴더블 전자 장치(701)의 제1 표시 영역의 꼭지점들(좌표(713), 좌표(715), 좌표(717), 좌표(719))과 사용자 시선(705)을 연결하는 선이 중간 상태의 폴더블 전자 장치(701)의 제1 면 및 제3 면과 만나는 지점들의 좌표 정보일 수 있다.
사용자 시선 정보는 상기 사용자 시선(705)의 좌표를 포함할 수 있다. 일 실시예에 따르면, 상기 사용자 시선 정보는 카메라 및 거리 감지 센서를 통해 획득될 수 있다. 상기 사용자 시선 정보는 상기 카메라를 통해, 사용자 시선의 위치(예: x축 및 y축 좌표)를 파악하고, 상기 거리 감지 센서를 통해 사용자 시선까지의 거리(예: z축 좌표)를 파악할 수 있다. 상기 거리 감지 센서는 TOF(time of flight)일 수 있다. 상기 거리 감지 센서는 Lidar(light detection and ranging)일 수 있다.
도 7b는 일 실시예에 따른, 사용자 시선과 수직한 투영면에 기반하여 수행되는 x축 왜곡 보정의 예(740)를 도시한다. 제2 왜곡 보정 방법(700)을 사용자가 y축 방향에서 바라본 것일 수 있다.
도 7b를 참조하면, 제1 값(741)(예: x)은 폴딩 축으로부터 제1 표시 영역의 종단(751, 753)까지에 해당하는 길이에 대응할 수 있다. 제1 값(741)은 주어진 값일 수 있다. 제2 값(743)(예: a-c 또는 a+c)은 제1 하우징 및 제2 하우징과 이루는 각도가 동일한 투영면에 수직이고 상기 폴딩 축을 포함하는 면과 제2 하우징이 형성하는 제1 각도에 대응할 수 있다. 제2 값(743)은 접힘 감지 센서, 적어도 하나의 카메라, 및 적어도 하나의 거리 감지 센서에 기반하여 획득될 수 있다. 제3 값(745)(예: b)은 제1 하우징 및 제2 하우징과 이루는 각도가 동일한 투영면에 수직이고 상기 폴딩 축을 포함하는 면과 사용자 시선에서 상기 언폴딩 상태의 제2 하우징 내의 상기 제1 표시 영역의 종단(753)을 바라보는 방향이 이루는 각도에 대응할 수 있다. 제3 값(745)은 제1 값, 제5 값, 및 각도 c에 기반하여 획득될 수 있다. 제4 값(749)(예: z)은 사용자의 시선과 언폴딩 상태의 상기 디스플레이 사이의 수직 거리를 의미할 수 있다. 제4 값(749)은 카메라 및 거리 감지 센서를 통해 획득될 수 있다.
상기 폴더블 전자 장치는, 제2 하우징의 제2 표시 영역의 제2 좌표 정보는 제1 왜곡 보정 방법(500)에서 제2 값을 변경하여 획득할 수 있다. 제1 하우징의 왜곡 보정 후의 좌표는 제2 값이 a 값과 c값의 합이고, 사용자 시선이 중심 축 상에 있는 경우의 왜곡 보정 후의 좌표와 동일할 수 있다. 따라서, 제1 하우징의 제2 표시 영역의 제2 좌표 정보는 제1 왜곡 보정 방법(500)에서 제2 값을 변경하여 획득할 수 있다.
이하 제2 하우징에서의 왜곡 보정된 제2 표시 영역의 x축 좌표를 계산한다. x1 값(755)은 상기 중간 상태의 상기 제1 하우징 내의 상기 제2 표시 영역의 종단 지점이 투영된 지점과 상기 언폴딩 상태의 상기 제1 표시 영역의 종단 사이 거리일 수 있다. x2 값(757)은 상기 중간 상태의 상기 제2 하우징 내의 상기 제2 표시 영역의 종단 지점이 투영된 지점과 상기 폴더블 전자 장치의 상기 폴딩 축이 투영된 지점 사이의 거리일 수 있다. x3 값(759)은 상기 폴더블 전자 장치의 상기 폴딩 축과 상기 중간 상태의 상기 제2 하우징 내의 상기 제2 표시 영역의 종단 사이의 거리일 수 있다. x4 값(761)은 상기 중간 상태의 상기 제2 하우징 내의 상기 제2 표시 영역의 종단 지점에서 투영면 사이의 수직 거리일 수 있다. 삼각함수에 의해, 하기의 수학식들이 유도될 수 있다.
<수학식 1>
Figure PCTKR2023008319-appb-img-000029
<수학식 2>
Figure PCTKR2023008319-appb-img-000030
<수학식 3>
Figure PCTKR2023008319-appb-img-000031
<수학식 4>
Figure PCTKR2023008319-appb-img-000032
<수학식 5>
Figure PCTKR2023008319-appb-img-000033
<수학식 6>
Figure PCTKR2023008319-appb-img-000034
상기 수학식들을 연립하여 상기 x1 값(755), 상기 x2 값(757), 상기 x3 값(759), 상기 x4 값(761), 및 상기 b 값(745), 및 상기 c값(747)을 획득할 수 있다. 상기 x3 값(759)은 상기 제2 하우징의 상기 제2 표시 영역의 종단과 상기 중간 상태의 폴더블 전자 장치의 상기 폴딩 축 사이의 거리일 수 있다. 다시 말해, 상기 x3 값(759)은 중간 상태에서 상기 제2 하우징의 상기 제2 표시 영역의 x축 좌표일 수 있다. x3 값은 수학식 7과 같이 도출될 수 있다. x4 값은 수학식 8과 같이 도출될 수 있다.
<수학식 7>
Figure PCTKR2023008319-appb-img-000035
<수학식 8>
Figure PCTKR2023008319-appb-img-000036
폴딩 축을 y축으로 할 때, x축 왜곡 보정 좌표는 x3 값일 수 있다. x4 값은 y축 왜곡 보정 좌표 계산 시, 이용될 수 있다.
제1 하우징 및 제2 하우징에서의 왜곡 보정된 제2 표시 영역의 y축 좌표들은 폴딩 축에 위치한 사용자 시선에 기반하여 수행되는 y축 왜곡 보정 방식(예: 도 5c)과 동일한 방식으로 도출될 수 있다.
도 7c는 일 실시예에 따른, 사용자 시선과 수직한 투영면에 기반하여 수행되는 왜곡 보정된 화면의 예를 도시한다.
도 7c를 참조하면, 표시 영역 변경도(790)는 왜곡 보정 전후의 제1 표시 영역 및 제2 표시 영역을 도시할 수 있다. 제1 표시 영역은 왜곡 보정 전의 폴더블 전자 장치의 표시 영역일 수 있다. 제2 표시 영역은 왜곡 보정 후의 폴더블 전자 장치의 표시 영역일 수 있다. 제1 표시 영역의 꼭지점들의 좌표들(좌표(791), 좌표(792), 좌표(793), 좌표(794))과 폴딩 축(799) 종단의 좌표들은 왜곡 보정 전의 제1 표시 영역의 제1 좌표 정보에 포함될 수 있다. 중간 상태에서, 제1 표시 영역의 꼭지점들의 좌표들(좌표(791), 좌표(792), 좌표(793), 좌표(794)) 제1 왜곡 보정 방법에 기반하여 제2 표시 영역의 꼭지점들의 좌표들(좌표(795), 좌표(796), 좌표(797), 좌표(798))로 변경될 수 있다. 제2 표시 영역의 꼭지점들의 좌표들(좌표(795), 좌표(796), 좌표(797), 좌표(798))과 폴딩 축(799) 종단의 좌표들은 왜곡 보정 후의 제2 표시 영역의 제2 좌표 정보에 포함될 수 있다.
앞서 검토한 표시 영역 변경도(590)와 달리, 사용자 시선의 위치가 중심 축에 있지 않으므로, 제2 표시 영역은 좌우 대칭이 아닐 수 있다.
도 8은 일 실시예에 따른, 정보를 표시하기 위한, 왜곡 보정에 의한 여백 활용의 예를 도시한다.
도 8을 참조하면, 언폴딩 상태의 폴더블 전자 장치(800)는 왜곡 보정 전의 이미지(801)(예: 제1 이미지)를 표시할 수 있다. 중간 상태의 폴더블 전자 장치(803)는 왜곡 보정 후의 이미지(805)(예: 제2 이미지)를 포함할 수 있다. 디스플레이의 여백 부분(807)은 왜곡 보정에 의해 발생할 수 있다. 상기 디스플레이의 여백 부분(807)은 제1 표시 영역 내인 동시에 제2 표시 영역 외인 상기 디스플레이의 부분을 의미할 수 있다. 실시예들에 따르면, 상기 여백 부분(807)에는 상기 왜곡 보정 후의 이미지(805)에 대한 정보를 표시하기 위한 텍스트, 이미지, 또는 UI(user interface)를 표시할 수 있다. 실시예들에 따르면, 상기 여백 부분(807)에는 상기 왜곡 보정 후의 이미지(805)에 대한 정보를 표시하기 위한 텍스트를 표시할 수 있다. 예를 들면, 상기 텍스트는 상기 왜곡 보정 후의 이미지(805)의 촬영 시간 및 용량을 표시할 수 있다. 실시예들에 따르면, 상기 여백 부분(807)에는 상기 왜곡 보정 후의 이미지(805)에 대한 정보를 표시하기 위한 이미지를 표시할 수 있다. 예를 들면, 상기 이미지는 상기 왜곡 보정 후의 이미지(805)의 종류를 표현할 수 있다. 실시예들에 따르면, 상기 여백 부분(807)에는 상기 왜곡 보정 후의 이미지(805)에 대한 정보를 표시하기 위한 UI(user interface)를 표시할 수 있다. 예를 들면, 상기 UI(user interface)는 상기 왜곡 보정 후의 이미지(805)를 인터넷에 검색하는 버튼일 수 있다.
도 8에는 여백 부분(807)에 상기 왜곡 보정 후의 이미지에 대한 정보를 표시하기 위해서만 텍스트, 이미지, 또는 UI(user interface)를 표시할 수 있는 것처럼 도시되었으나, 본 개시의 실시예는 이에 한정되지 않는다. 일 실시예에 따르면, 상기 여백 부분(807)에 상기 왜곡 보정 후의 이미지(805)와 관련된 정보를 표시하기 위한 텍스트, 이미지, 또는 UI(user interface)를 표시할 수 있다. 예를 들면, 상기 왜곡 보정 후의 이미지(805)가 하늘 사진인 경우, 촬영 일자의 날씨에 대한 정보를 표시할 수 있다. 일 실시예에 따르면, 여백 부분(807)에 상기 왜곡 보정 후의 이미지(805)와 관련 없는 정보를 표시하기 위해 텍스트, 이미지, 또는 UI(user interface)를 표시할 수 있다. 예를 들면, 상기 여백 부분(807)에 배터리 잔존용량을 표시하기 위한 텍스트, 이미지, 또는 UI(user interface)를 표시할 수 있다.
도 9는 왜곡 보정 시 발생할 수 있는 이미지 손실의 예를 도시한다.
도 9를 참조하면, 제1 표시 영역(901)은 언폴딩 상태의 폴더블 전자 장치의 왜곡 보정 전의 표시 영역일 수 있다. 가상 표시 영역(903)은 사용자 시선으로부터 상기 제1 표시 영역의 종단까지를 연결하는 면과 상기 제1 하우징의 면 또는 상기 제2 하우징의 면이 만나는 선 내부의 영역일 수 있다. 이미지 손실 부분(905)은 상기 폴딩 축으로부터 상기 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이보다 큰 경우, 발생할 수 있다. 이하 도 10과 도 11에서, 이미지 손실 부분(905)이 발생한 경우, 어떻게 처리할 것인지 살펴본다.
도 10은 일 실시예에 따른, 왜곡 보정 시 이미지 손실을 가리키기 위한 알림의 예를 도시한다.
도 10를 참조하면, 폴더블 전자 장치(1001)는 중간 상태에서 왜곡 보정 한 이미지(1003)를 디스플레이에 표시할 수 있다. 알림(1005)(notification)은 이미지 손실을 가리킬 수 있다.
폴더블 전자 장치(1001)는 중간 상태에서, 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 제1 표시 영역의 종단까지의 길이보다 클 수 있다. 따라서 이미지 손실 부분(예: 도 9의 이미지 손실 부분(905))이 발생할 수 있다. 실시예들에 따르면, 상기 폴더블 전자 장치(1001)(예: 도 1의 전자 장치(101))는 이미지 손실 부분(905)에 가장 가까운 폴더블 전자 장치(1001)의 디스플레이 상에 이미지 손실을 가리키기 위한 알림(1005)(notification)을 표시할 수 있다. 예를 들면, 이미지 손실을 가리키기 위한 상기 알림(1005)은 색상을 표기하여 표시될 수 있다. 예를 들면, 이미지 손실을 가리키기 위한 상기 알림(1005)은 이미지 손실 부분(905)에 가장 가까운 폴더블 전자 장치(1001)의 디스플레이 상에 표기된 색상을 반복하여 깜빡이도록(blinking) 하여 표시될 수 있다. 예를 들면, 이미지 손실을 가리키기 위한 상기 알림(1005)은 이미지 손실 부분(905)에 가장 가까운 폴더블 전자 장치(1001)의 디스플레이 상에 뜬 알림창을 통해 표시될 수 있다.
도 11은 일 실시예에 따른, 왜곡 보정 시 이미지 축소의 예를 도시한다. 가상 표시 영역이 중간 상태인 폴더블 전자 장치에 포함된 디스플레이의 면적보다 넓은 경우, 상기 폴더블 전자 장치는 전체 이미지를 상기 디스플레이에 표시하기 위해 가상 표시 영역을 축소하여 제2 표시 영역을 획득할 수 있다.
도 11을 참조하면, 폴더블 전자 장치(1101)는 중간 상태에서 왜곡 보정한 이미지를 디스플레이에 표시할 수 있다. 제1 표시 영역은 상기 디스플레이의 왜곡 보정 전의 표시 영역의 부분일 수 있다. 가상 표시 영역(1103)은 사용자 시선으로부터 제1 표시 영역의 종단까지를 연결하는 면과 제1 하우징을 포함하는 면 또는 제2 하우징을 포함하는 면이 만나는 영역일 수 있다. 제2 표시 영역(1105, 1107, 1109)은 상기 디스플레이의 왜곡 보정 후의 표시 영역의 부분일 수 있다. 제2 표시 영역(1105, 1107, 1109)은 가상 표시 영역에 기반하여 획득되는 부분일 수 있다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 폴딩 축으로부터 상기 가상 표시 영역(1103)의 종단까지의 길이가 폴더블 전자 장치(1101)의 폴딩 축으로부터 표시 영역의 종단까지의 길이보다 긴 경우, 전체 이미지를 상기 디스플레이에 표시하기 위해 축소할 수 있다. 상기 적어도 하나의 프로세서는, 상기 가상 표시 영역(1103)의 종단으로부터 폴딩 축까지의 길이가 상기 폴더블 전자 장치의 폴딩 축으로부터 표시 영역의 종단까지의 길이가 되도록 축소할 수 있다. 상기 적어도 하나의 프로세서는, 가상 표시 영역(1103)을 X축, y축에 대해 동일한 비율로 축소하여 제2 표시 영역(1105, 1107, 1109)을 획득할 수 있다. 상기 적어도 하나의 프로세서가 가상 표시 영역(1103)이 축소된 제2 표시 영역을 획득 시, 폴딩 축 상에 제2 표시 영역 이외의 부분이 발생할 수 있다. 일 실시예에 따르면, 폴딩 축 상의 제2 표시 영역 이외의 부분의 배치 위치에 따라, 제2 표시 영역이 달라질 수 있다. 예를 들면, 폴딩 축 상의 제2 표시 영역 이외의 부분을 폴딩 축 하단에 배치 시, 제2 표시 영역(1105)이 획득될 수 있다. 예를 들면, 폴딩 축 상의 제2 표시 영역 이외의 부분을 폴딩 축 상하단에 균등하게 배치 시, 제2 표시 영역(1107)이 획득될 수 있다. 예를 들면, 폴딩 축 상의 제2 표시 영역 이외의 부분을 폴딩 축 상단에 배치 시, 제2 표시 영역(1109)이 획득될 수 있다.
일 실시예에 따르면, 제2 표시 영역의 변경은 급격한 크기 변경에 따른 이질감을 줄이기 위해 점진적으로 수행될 수 있다. 일 실시예에 따르면, 제2 표시 영역의 변경 시, 표시 영역의 변경을 가리키기 위한 알림(notification)을 표시할 수 있다.
도 12는 일 실시예에 따른, 왜곡 보정 시 이미지 확대의 예를 도시한다.
도 12를 참조하면, 중간 상태의 폴더블 전자 장치(1201)는 왜곡 보정 후의 이미지를 디스플레이에 표시할 수 있다. 상기 폴더블 전자 장치(1201)의 왜곡 보정 전의 제1 표시 영역은 언폴딩 상태인 상기 폴더블 전자 장치의 표시 영역일 수 있다. 가상 표시 영역(1203)은 사용자 시선으로부터 제1 표시 영역의 종단까지를 연결하는 면과, 제1 하우징을 포함하는 면 또는 제2 하우징을 포함하는 면이 만나는 영역일 수 있다. 제2 표시 영역(1205, 1207, 1209)은 왜곡 보정 후의 이미지를 표시하는 디스플레이 상의 부분일 수 있다. 전자 장치의 왜곡 보정 후의 상기 제2 표시 영역(1205, 1207, 1209)은 중간 상태에서의 표시 영역일 수 있다. 왜곡 보정에 의해 제1 표시 영역의 폴딩 축과 수직한 방향의 길이 보다 제2 표시 영역의 폴딩 축과 수직한 방향의 길이가 작을 수 있다.
일 실시예에 따르면, 폴딩 축으로부터 상기 가상 표시 영역(1203)의 종단까지의 길이가 상기 폴더블 전자 장치(1201)의 폴딩 축으로부터 표시 영역의 종단까지의 길이보다 짧은 경우, 디스플레이의 활용성 증대를 위해 이미지를 확대할 수 있다. 상기 적어도 하나의 프로세서는, 상기 가상 표시 영역(1203)의 종단으로부터 폴딩 축까지의 길이가 상기 폴더블 전자 장치의 폴딩 축으로부터 표시 영역의 종단까지의 길이가 되도록 확대할 수 있다. 상기 적어도 하나의 프로세서는, 가상 표시 영역(1203)을 X축, y축에 대해 동일한 비율로 확대하여 제2 표시 영역(1205, 1207, 1209)을 획득할 수 있다. 상기 적어도 하나의 프로세서가 가상 표시 영역(1203)이 확대된 제2 표시 영역을 획득 시, 폴딩 축 상에 확대된 가상 표시 영역의 여백 부분이 발생할 수 있다. 상기 확대된 가상 표시 영역의 여백 부분은 디스플레이 상에 표시되지 않을 수 있다. 상기 확대된 가상 표시 영역의 여백 부분은 디스플레이의 영역을 벗어났기 때문이다. 일 실시예에 따르면, 확대된 가상 표시 영역의 여백 부분의 배치 위치에 따라, 제2 표시 영역이 달라질 수 있다. 예를 들면, 확대된 가상 표시 영역의 여백 부분을 폴딩 축 하단에 배치 시, 제2 표시 영역(1205)이 획득될 수 있다. 예를 들면, 확대된 가상 표시 영역의 여백 부분을 폴딩 축 상하단에 균등하게 배치 시, 제2 표시 영역(1207)이 획득될 수 있다. 예를 들면, 확대된 가상 표시 영역의 여백 부분을 폴딩 축 상단에 배치 시, 제2 표시 영역(1209)이 획득될 수 있다. 또한, 이미지 손실을 최소화하기 위해, 상기 적어도 하나의 프로세서는 상기 확대된 가상 표시 영역의 여백 부분을 최소화할 수 있다. 예를 들면, 상기 적어도 하나의 프로세서는, 확대된 가상 표시 영역의 여백 부분의 너비를 식별하여, 상기 여백 부분의 너비가 최소화되는 제2 표시 영역을 획득할 수 있다. 예를 들면, 제2 표시 영역(1205)에서 손실되는 여백 부분의 너비가 제2 표시 영역(1207)에서 손실되는 여백 부분의 너비보다 작을 수 있다. 또한, 제2 표시 영역(1205)에서 손실되는 여백 부분의 너비가 제2 표시 영역(1209)에서 손실되는 여백 부분의 너비보다 작을 수 있다. 이때, 상기 적어도 하나의 프로세서는, 손실되는 여백 부분의 너비가 최소화되는 제2 표시 영역(1205) 내에 이미지를 표시할 수 있다.
도 13은 일 실시예에 따른, 표시 영역의 일부만 적용되는 왜곡 보정의 예를 도시한다.
도 13을 참조하면, 중간 상태의 폴더블 전자 장치(1301)는 왜곡 보정 전의 이미지를 제1 표시 영역(1303) 및 제3 표시 영역(1305)에 표시할 수 있다. 상기 중간 상태의 상기 폴더블 전자 장치(1301)는 제1 표시영역이 변경된 제2 표시 영역(1311)에 왜곡 보정 후의 이미지(예: 제2 이미지)를 표시할 수 있다. 상기 중간 상태의 폴더블 전자 장치(1301)는 왜곡 보정 전후가 동일한 제3 표시 영역(1313)에 왜곡 보정 전의 이미지를 표시할 수 있다.
실시예들에 따르면, 언폴딩 상태에서, 상기 디스플레이의 제3 표시 영역에 제3 이미지를 표시한 경우, 상기 중간 상태에서, 상기 디스플레이의 상기 제3 표시 영역에 상기 제3 이미지를 표시할 수 있다.
일 실시예에 따르면, 상기 제3 표시 영역(1305)의 상기 제3 이미지는 가시성 중요도가 제1 표시 영역(1303)의 이미지보다 낮을 수 있다. 예를 들면, 제1 표시 영역(1303)에 이미지 및/또는 동영상과 같은 멀티 미디어가 표시될 시, 상기 적어도 하나의 프로세서는 제1 표시 영역(1303)의 이미지에 왜곡 보정을 수행할 수 있다. 상기 적어도 하나의 프로세서는, 멀티미디어가 표시되지 않는 제3 표시 영역(1305)의 이미지에 왜곡 보정을 수행하지 않을 수 있다. 상기 제1 표시 영역(1303)과 제3 표시 영역(1305)을 구분하여, 제1 표시 영역의 이미지만 왜곡 보정 시, 프로세서의 효율이 증가할 수 있다.
일 실시예에 따르면, 상기 제3 표시 영역(1305)의 상기 제3 이미지는 터치 입력 수신의 중요도가 제1 표시 영역(1303)의 이미지보다 높을 수 있다. 예를 들면, 제3 표시 영역(1305)에 터치 빈도가 높은 콘텐츠를 포함한 이미지가 표시될 시, 상기 적어도 하나의 프로세서는 제3 표시 영역(1305)의 이미지에 왜곡보정을 수행하지 않을 수 있다. 상기 적어도 하나의 프로세서는, 터치 입력 빈도가 낮은 콘텐츠를 포함하는 제1 표시 영역(1303)의 이미지에 왜곡 보정을 수행할 수 있다. 상기 적어도 하나의 프로세서가, 상기 제1 표시 영역(1303)과 제3 표시 영역(1305)을 구분하여, 제1 표시 영역의 이미지만 왜곡 보정 시, 프로세서의 효율이 증가할 수 있다.
도 14는 일 실시예에 따른, 왜곡 보정을 적용할 표시 영역 선택의 예를 도시한다. 사용자는 왜곡 보정을 적용할 표시 영역을 사용자 입력을 통해 선택할 수 있다.
도 14를 참조하면, 동작(1401)에서, 폴더블 전자 장치(예: 도 1의 전자 장치(101))는 언폴딩 상태에서 제1 이미지를 디스플레이에 표시할 수 있다.
동작(1403)에서, 사용자는 중간 상태의 왜곡을 보정할 제1 표시영역(1407)과 중간 상태의 왜곡을 보정하지 않을 제3 표시 영역(1409)을 선택(1405)할 수 있다.
동작(1411)에서, 폴더블 전자 장치(101)는 제1 표시 영역(1407)을 왜곡 보정에 의해 제2 표시 영역(1413)으로 변경할 수 있다. 폴더블 전자 장치(101)는 제3 표시 영역(1415)에 왜곡 보정을 하지 않을 수 있다.
도 14에서는, 왜곡 보정을 적용할 표시 영역을 선택하는 경우만을 도시하였으나, 본 개시의 실시예는 이에 한정되지 않는다.
일 실시예에 따르면, 상기 적어도 하나의 프로세서는, 지정된 설정에 따라 중간 상태에서 제1 표시 영역(1407) 및 제3 표시 영역(1409)을 식별할 수 있다. 상기 적어도 하나의 프로세서는, 지정된 설정에 따라, 중간 상태에서 제1 표시 영역(1407)에 왜곡 보정을 수행할 수 있다.
예를 들면, 상기 지정된 설정은 가시성 중요도에 따라 설정된 것일 수 있다. 상기 적어도 하나의 프로세서는, 가시성 중요도에 따라 제1 표시 영역(1407) 및 제3 표시 영역(1409)을 식별할 수 있다. 제1 표시 영역(1407)에 이미지 및/또는 동영상과 같은 멀티미디어가 표시될 시, 상기 적어도 하나의 프로세서는 제1 표시 영역(1303)의 이미지에 왜곡 보정을 수행할 수 있다. 상기 적어도 하나의 프로세서는, 멀티미디어가 표시되지 않는 제3 표시 영역(1409)의 이미지에 왜곡 보정을 수행하지 않을 수 있다.
예를 들면, 상기 지정된 설정은 터치 입력 빈도에 따라 설정된 것일 수 있다. 상기 적어도 하나의 프로세서는, 터치 입력 빈도에 따라 제1 표시 영역(1407) 및 제3 표시 영역(1409)을 식별할 수 있다. 제3 표시 영역(1409)에 터치 빈도가 높은 콘텐츠를 포함한 이미지가 표시될 시, 상기 적어도 하나의 프로세서는 제3 표시 영역(1409)의 이미지에 왜곡보정을 수행하지 않을 수 있다. 상기 적어도 하나의 프로세서는, 터치 입력 빈도가 낮은 콘텐츠를 포함하는 제1 표시 영역(1407)의 이미지에 왜곡 보정을 수행할 수 있다.
예를 들면, 상기 지정된 설정은 소프트웨어 어플리케이션에 의해 설정된 것일 수 있다. 상기 소프트웨어 어플리케이션은, 가시성 중요도에 따라 제1 표시 영역(1407) 및 제3 표시 영역(1409)을 지정하는 기준을 설정할 수 있다. 상기 소프트웨어 어플리케이션은, 터치 입력 빈도에 따라 제1 표시 영역(1407) 및 제3 표시 영역(1409)을 지정하는 기준을 설정할 수 있다.
도 15는 일 실시예에 따른, 사용자 시선 변경에 기반하여 수행되는 왜곡 보정 변경 여부의 예를 도시한다.
도 15를 참조하면, 폴더블 전자 장치(1501)는 중간 상태에 있을 수 있다. 상기 폴더블 전자 장치(1501)가 중간 상태에 있는 동안, 사용자 시선의 변경(1503)이 발생할 수 있다. 상기 폴더블 전자 장치(1501)가 제1 사용자 시선 정보에 기반하여 제2 이미지를 표시한 이후, 상기 폴더블 전자 장치(1501)는 제2 사용자 시선 정보를 획득할 수 있다.
일 실시예에 따르면, 상기 폴더블 전자 장치(1501)는 왜곡 보정 후의 제2 표시 영역(1511)과 같이, 지정된 사용자 시선에 기반하여 왜곡 보정을 할 수 있다. 사용자 시선의 변경(1503)과 무관하게, 제1 사용자 시선 정보에 기반하여 변경된 제2 이미지를 계속 표시할 수 있다.
일 실시예에 따르면, 폴더블 전자 장치(1501)는 사용자 시선 변경(1503)에 따라, 각 사용자 시선 정보에 기반하여 생성된 제2 이미지를 표시할 수 있다. 폴더블 전자 장치(1501)의 왜곡 보정후의 제2 표시 영역은, 사용자 시선 변경(1503)에 따라, 제2 표시영역(1521), 제2 표시 영역(1523), 제2 표시 영역(1525)으로 변경될 수 있다. 일 실시예에 따르면, 제2 표시 영역(1521)은 제1 사용자 시선 정보(1505)에 대응할 수 있다. 제2 표시 영역(1523)은 제2 사용자 시선 정보(1507)에 대응할 수 있다. 제2 표시 영역(1525)은 제3 사용자 시선 정보(1509)에 대응할 수 있다.
도 15에서는, 상기 폴더블 전자 장치(1501)가 중간 상태에 있는 동안, 사용자 시선이 변경되는 경우만을 도시하였으나, 본 개시의 실시예는 이에 한정되지 않는다.
일 실시예에 따르면, 사용자의 시선이 유지된 상태에서 폴딩 정보가 변경될 수 있다. 상기 폴딩 정보는 상기 폴더블 전자 장치(101)의 제1 하우징의 제1 면과 제2 하우징의 제3 면이 이루는 각도인 폴딩 각도일 수 있다. 상기 폴딩 각도는 10도에서 20도로 변경될 수 있다. 예를 들면, 상기 적어도 하나의 프로세서(120)는, 변경된 폴딩 정보(예: 10도에서 20도로 폴딩 각도 변경) 및 고정된 사용자 시선에 기반하여, 제2 표시 영역(예: 제2 표시 영역(1523))을 변경할 수 있다.
도 16은 일 실시예에 따른, 사용자 시선 정보, 폴딩 정보, 및 제1 표시 영역에 기반하여 왜곡 보정 이미지를 표시하는 동작의 흐름을 도시한다.
도 16을 참조하면, 동작(1601)에서, 적어도 하나의 프로세서(예: 도 2의 프로세서(120))는, 언폴딩 상태에서, 플렉서블 디스플레이의 제1 표시 영역 상에 제1 이미지를 표시할 수 있다. 동작(1603)에서, 상기 적어도 하나의 프로세서(120)는, 언폴딩 상태에 대응하는 상기 플렉서블 디스플레이의 상기 제1 표시 영역의 제1 좌표 정보를 획득할 수 있다. 동작(1605)에서, 상기 적어도 하나의 프로세서(120)는, 중간 상태를 감지하는 것에 기반하여 상기 플렉서블 디스플레이의 제1 면과 제3 면 간의 각도에 대응하는 폴딩 정보를 획득할 수 있다. 동작(1607)에서, 상기 적어도 하나의 프로세서(120)는, 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여 제2 표시 영역의 제2 좌표 정보를 획득할 수 있다. 동작(1609)에서, 상기 적어도 하나의 프로세서(120)는, 상기 제1 이미지 및 상기 제2 표시 영역의 상기 제2 좌표 정보에 기반하여 제2 이미지를 생성할 수 있다. 동작(1611)에서, 상기 적어도 하나의 프로세서(120)는, 중간 상태에서 상기 플렉서블 디스플레이의 상기 제2 표시 영역에 상기 제2 이미지를 표시할 수 있다.
실시예들에 따른, 플렉서블 디스플레이가 포함된 전자 장치는, 상기 전자 장치를 촬영하는 외부 카메라에 기반하지 않고, 전자 장치의 상태 변경에 따른 화면의 왜곡을 보정하고자 한다. 별도의 카메라를 이용하지 않고, 사용자의 시선 정보와 좌표 정보를 이용하여, 플렉서블 디스플레이의 상태 변경에 따른 시각적 왜곡이 보정될 수 있다. 상기 왜곡 보정을 통해, 플렉서블 디스플레이의 상태 변경에 따라 발생하는 시각적 왜곡을 보정함으로써 사용자 경험이 강화될 수 있다. 또한, 시각적 왜곡 보정 과정에서 발생하는, 여백 화면을 활용함으로써 플렉서블 디스플레이의 효율적 활용이 가능할 수 있다.
상기 도면들에서 사용자 시선 정보는 적어도 하나의 카메라 및 적어도 하나의 거리 감지 센서에 기반하여 획득되는 것처럼 기재되었으나, 본 개시의 실시예는 이에 한정되지 않는다. 예를 들면, 사용자가 사용자 시선 좌표를 직접 매뉴얼로 입력할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치(electronic device)는, 제1 면 및 상기 제1 면과 반대인 제2 면을 포함하는 제1 하우징을 포함할 수 있다. 상기 전자 장치는, 제3 면 및 상기 제3 면과 반대인 제4 면을 포함하는 제2 하우징을 포함할 수 있다. 상기 전자 장치는 적어도 하나의 프로세서를, 적어도 하나의 카메라, 적어도 하나의 거리 감지 센서, 플렉서블 디스플레이를 포함할 수 있다. 상기 전자 장치는 폴딩 축을 기준으로 상기 제1 하우징과 상기 제2 하우징을 회전 가능하게 연결함으로써, 상기 제1 면과 상기 제3 면이 동일한 방향을 향하는 언폴딩 상태, 상기 제1 면과 상기 제3 면이 마주보는 폴딩 상태, 또는 상기 제1 면과 상기 제3 면이, 상기 언폴딩 상태에서의 각도와 상기 폴딩 상태에서의 각도 사이의, 각도를 형성하는 중간 상태를 제공하도록 구성된 힌지 구조를 포함할 수 있다. 상기 전자 장치는, 상기 플렉서블 디스플레이의 상기 제1 면과 상기 제3 면 사이의 각도를 검출하기 위한 접힘 감지 센서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 상기 언폴딩 상태에서, 상기 플렉서블 디스플레이의 제1 표시 영역 상에 제1 이미지를 표시할 수 있다. 상기 적어도 하나의 프로세서는, 상기 언폴딩 상태에 대응하는 상기 플렉서블 디스플레이의 상기 제1 표시 영역의 제1 좌표 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서는, 상기 중간 상태를 감지하는 것에 기반하여, 상기 플렉서블 디스플레이의 상기 제1 면과 상기 제3 면 간의 각도에 대응하는 폴딩 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 거리 감지 센서 및 상기 적어도 하나의 카메라에 기반하여, 사용자 시선 정보를 획득할 수 있다. 상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여, 상기 중간 상태에 대응하는 제2 표시 영역의 제2 좌표 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 이미지 및 상기 제2 표시 영역의 상기 제2 좌표 정보에 기반하여 제2 이미지를 생성할 수 있다. 상기 적어도 하나의 프로세서는, 상기 중간 상태에서, 상기 플렉서블 디스플레이의 상기 제2 표시 영역에 상기 제2 이미지를 표시할 수 있다.
일 실시예에 따른, 상기 제1 좌표 정보는 상기 폴딩 축에 대한 제1 좌표 및 제2 좌표, 상기 언폴딩 상태에서, 상기 제1 하우징 내에서 상기 제1 표시 영역의 꼭지점들에 대한 제3 좌표 및 제4 좌표, 및 상기 언폴딩 상태에서, 상기 제2 하우징 내에서 상기 제1 표시 영역의 꼭지점들에 대한 제5 좌표 및 제6 좌표를 포함할 수 있다. 일 실시예에 따른, 상기 제2 좌표 정보는 상기 폴딩 축에 대한 제1 좌표 및 제2 좌표, 상기 중간 상태에서, 상기 제1 하우징 내에서 상기 제2 표시 영역의 꼭지점에 대응하는 제7 좌표 및 제8 좌표, 및 상기 제2 하우징 내에서 상기 제2 표시 영역의 꼭지점에 대응하는 제9 좌표 및 제10 좌표를 포함할 수 있다.
일 실시예에 따른, 상기 제2 표시 영역의 상기 제2 좌표 정보는 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이에 대응하는 제1 값에 기반하여 획득될 수 있다. 상기 제2 표시 영역의 상기 제2 좌표 정보는, 상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 면과 상기 제1 하우징이 형성하는 제1 각도에 대응하는 제2 값에 기반하여 획득될 수 있다. 상기 제2 표시 영역의 상기 제2 좌표 정보는, 상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 방향과 사용자의 시선에서 상기 언폴딩 상태의 상기 제1 하우징 내의 상기 제1 표시 영역의 종단을 바라보는 방향이 이루는 각도에 대응하는 제3 값에 기반하여 획득될 수 있다. 상기 제2 표시 영역의 상기 제2 좌표 정보는, 상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 방향과 사용자의 시선에서 상기 언폴딩 상태의 상기 제2 하우징 내의 상기 제1 표시 영역의 종단을 바라보는 방향이 이루는 각도에 대응하는 제4 값에 기반하여 획득될 수 있다. 상기 제2 표시 영역의 상기 제2 좌표 정보는, 및 사용자의 시선과 언폴딩 상태의 상기 플렉서블 디스플레이 사이의 수직 거리인 제5 값에 기반하여 획득될 수 있다.
일 실시예에 따른, 상기 제2 표시 영역의 상기 제2 좌표 정보는 상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고, 상기 폴딩 축을 포함하는 방향과 상기 폴딩 축에서부터 사용자 시선을 바라보는 방향이 이루는 각도에 대응하는 제6 값에 기반하여 획득될 수 있다.
일 실시예에 따른, 상기 제2 좌표 정보를 획득하기 위하여, 상기 적어도 하나의 프로세서는, 상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여, 상기 제1 표시 영역의 변경인 가상 표시 영역의 제3 좌표 정보를 획득할 수 있다. 상기 가상 표시 영역은 사용자 시선으로부터 제1 표시 영역의 종단까지를 연결하는 면과 제1 하우징을 포함하는 면 또는 제2 하우징을 포함하는 면이 만나는 영역일 수 있다. 상기 폴딩 축으로부터 상기 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이보다 큰 경우, 상기 적어도 하나의 프로세서는 상기 가상 표시 영역의 상기 제3 좌표 정보를 상기 폴딩 축에 더욱 가깝게 변경하여 상기 제2 좌표 정보를 획득할 수 있다.
일 실시예에 따른, 상기 제2 좌표 정보를 획득하기 위하여, 상기 적어도 하나의 프로세서는, 상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여, 상기 제1 표시 영역의 변경인 가상 표시 영역의 제3 좌표 정보를 획득할 수 있다. 상기 가상 표시 영역은 사용자 시선으로부터 상기 제1 표시 영역의 종단까지를 연결하는 면과 제1 하우징을 포함하는 면 또는 제2 하우징을 포함하는 면이 만나는 영역일 수 있다. 상기 폴딩 축으로부터 상기 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이보다 작을 경우, 상기 폴딩 축으로부터 상기 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이가 되도록 상기 가상 표시 영역의 상기 제3 좌표 정보를 변환하여 상기 제2 좌표 정보를 획득할 수 있다.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여, 상기 제1 표시 영역의 변경인 가상 표시 영역의 제3 좌표 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서는 상기 가상 표시 영역은 사용자 시선으로부터 상기 제1 표시 영역의 종단까지를 연결하는 면과 상기 제1 하우징의 면 또는 상기 제2 하우징의 면이 만나는 영역일 수 있다. 상기 폴딩 축으로부터 상기 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이보다 큰 경우, 이미지 손실을 가리키기 위한 알림(notification)을 추가적으로 표시할 수 있다.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 제1 표시 영역 내의 상기 플렉서블 디스플레이의 부분과 상기 제2 표시 영역 외의 상기 플렉서블 디스플레이의 부분에 상기 제2 이미지에 대한 정보를 표시하기 위한 텍스트, 이미지, 또는 UI(user interface)를 추가적으로 표시할 수 있다.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 언폴딩 상태에서, 상기 플렉서블 디스플레이의 제3 표시 영역 상에 제3 이미지를 추가적으로 표시할 수 있다. 상기 적어도 하나의 프로세서는, 상기 중간 상태에서, 상기 플렉서블 디스플레이의 상기 제3 표시 영역에 상기 제3 이미지를 추가적으로 표시할 수 있다.
일 실시예에 따른, 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 거리 감지 센서 및 상기 적어도 하나의 카메라에 기반하여, 제1 사용자 시선 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 제1 좌표 정보에 기반하여 상기 중간 상태에 대응하는 제2 표시 영역의 상기 제2 좌표 정보를 획득할 수 있다. 상기 적어도 하나의 프로세서는, 상기 제1 이미지 및 상기 제2 표시 영역의 상기 제2 좌표 정보에 기반하여 상기 제2 이미지를 생성할 수 있다. 상기 중간 상태에서 상기 플렉서블 디스플레이의 상기 제2 표시 영역에 상기 제2 이미지를 표시할 수 있다. 상기 적어도 하나의 프로세서는, 상기 적어도 하나의 거리 감지 센서 및 상기 적어도 하나의 카메라에 기반하여, 제2 사용자 시선 정보를 추가적으로 획득할 수 있다. 상기 적어도 하나의 프로세서는 상기 제1 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여 상기 중간 상태에 대응하는 상기 제2 표시 영역의 상기 제2 좌표 정보를 추가적으로 획득할 수 있다. 상기 적어도 하나의 프로세서는 상기 제1 이미지 및 상기 제2 표시 영역의 상기 제2 좌표 정보에 기반하여 상기 제2 이미지를 추가적으로 생성할 수 있다. 상기 적어도 하나의 프로세서는 상기 중간 상태에서 상기 플렉서블 디스플레이의 상기 제2 표시 영역에 상기 제2 이미지를 추가적으로 표시할 수 있다.
상술한 바와 같이, 일 실시예에 따른, 전자 장치(electronic device)에 의해 수행되는 방법은 언폴딩 상태에서, 플렉서블 디스플레이의 제1 표시 영역 상에 제1 이미지를 표시하는 동작을 포함할 수 있다. 상기 방법은, 상기 언폴딩 상태에 대응하는 상기 플렉서블 디스플레이의 상기 제1 표시 영역의 제1 좌표 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은, 중간 상태를 감지하는 것에 기반하여, 상기 플렉서블 디스플레이의 제1 면과 제3 면 간의 각도에 대응하는 폴딩 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은, 적어도 하나의 거리 감지 센서 및 적어도 하나의 카메라에 기반하여, 사용자 시선 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여, 상기 중간 상태에 대응하는 제2 표시 영역의 제2 좌표 정보를 획득하는 동작을 포함할 수 있다. 상기 방법은, 상기 제1 이미지 및 상기 제2 표시 영역의 상기 제2 좌표 정보에 기반하여 제2 이미지를 생성하는 동작을 포함할 수 있다. 상기 방법은, 상기 중간 상태에서, 상기 플렉서블 디스플레이의 상기 제2 표시 영역에 상기 제2 이미지를 표시하는 동작을 포함할 수 있다.
일 실시예에 따른, 상기 제1 좌표 정보는 폴딩 축에 대한 제1 좌표 및 제2 좌표를 포함할 수 있다. 상기 제1 좌표 정보는 상기 언폴딩 상태에서, 제1 하우징 내에서 상기 제1 표시 영역의 꼭지점들에 대한 제3 좌표 및 제4 좌표를 포함할 수 있다. 상기 1 좌표 정보는 상기 언폴딩 상태에서, 제2 하우징 내에서 상기 제1 표시 영역의 꼭지점들에 대한 제5 좌표 및 제6 좌표를 포함할 수 있다. 상기 제2 좌표 정보는 상기 폴딩 축에 대한 제1 좌표 및 제2 좌표를 포함할 수 있다. 상기 제2 좌표 정보는 상기 중간 상태에서, 상기 제1 하우징 내에서 상기 제2 표시 영역의 꼭지점에 대응하는 제7 좌표 및 제8 좌표를 포함할 수 있다. 상기 제2 좌표 정보는 상기 제2 하우징 내에서 상기 제2 표시 영역의 꼭지점에 대응하는 제9 좌표 및 제10 좌표를 포함할 수 있다.
일 실시예에 따른, 상기 제2 표시 영역의 상기 제2 좌표 정보는 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이에 대응하는 제1 값에 기반하여 획득될 수 있다. 상기 제2 표시 영역의 상기 제2 좌표 정보는 상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 면과 제1 하우징이 형성하는 제1 각도에 대응하는 제2 값에 기반하여 획득될 수 있다. 상기 제2 표시 영역의 상기 제2 좌표 정보는, 상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 방향과 사용자의 시선에서 상기 언폴딩 상태의 상기 제1 하우징 내의 상기 제1 표시 영역의 종단을 바라보는 방향이 이루는 각도에 대응하는 제3 값에 기반하여 획득될 수 있다. 상기 제2 표시 영역의 상기 제2 좌표 정보는 상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 방향과 사용자의 시선에서 상기 언폴딩 상태의 제2 하우징 내의 상기 제1 표시 영역의 종단을 바라보는 방향이 이루는 각도에 대응하는 제4 값에 기반하여 획득될 수 있다. 상기 제2 표시 영역의 상기 제2 좌표 정보는 사용자의 시선과 언폴딩 상태의 상기 플렉서블 디스플레이 사이의 수직 거리인 제5 값에 기반하여 획득될 수 있다.
일 실시예에 따른, 상기 제2 표시 영역의 상기 제2 좌표 정보는 상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고, 폴딩 축을 포함하는 방향과 상기 폴딩 축에서부터 사용자 시선을 바라보는 방향이 이루는 각도에 대응하는 제6 값에 기반하여 획득될 수 있다.
일 실시예에 따른, 상기 제2 좌표 정보를 획득하는 동작은 상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여, 상기 제1 표시 영역의 변경인 가상 표시 영역의 제3 좌표 정보를 획득하는 동작을 포함할 수 있다. 상기 가상 표시 영역은 사용자 시선으로부터 제1 표시 영역의 종단까지를 연결하는 면과 제1 하우징을 포함하는 면 또는 제2 하우징을 포함하는 면이 만나는 영역일 수 있다. 상기 제2 좌표 정보를 획득하는 동작은, 폴딩 축으로부터 상기 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이보다 큰 경우, 상기 가상 표시 영역의 상기 제3 좌표 정보를 상기 폴딩 축에 더욱 가깝게 변경하여 상기 제2 좌표 정보를 획득하는 동작을 포함할 수 있다.
일 실시예에 따른, 상기 제2 좌표 정보를 획득하는 동작은, 상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여, 상기 제1 표시 영역의 변경인 가상 표시 영역의 제3 좌표 정보를 획득하는 동작을 포함할 수 있다. 상기 가상 표시 영역은 사용자 시선으로부터 상기 제1 표시 영역의 종단까지를 연결하는 면과 제1 하우징을 포함하는 면 또는 제2 하우징을 포함하는 면이 만나는 영역일 수 있다. 상기 제2 좌표 정보를 획득하는 동작은, 폴딩 축으로부터 상기 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이보다 작을 경우, 상기 폴딩 축으로부터 상기 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이가 되도록 상기 가상 표시 영역의 상기 제3 좌표 정보를 변환하여 상기 제2 좌표 정보를 획득하는 동작을 포함할 수 있다.
일 실시예에 따른, 상기 방법은, 상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여, 상기 제1 표시 영역의 변경인 가상 표시 영역의 제3 좌표 정보를 획득하는 동작을 추가적으로 포함할 수 있다. 상기 가상 표시 영역은 사용자 시선으로부터 상기 제1 표시 영역의 종단까지를 연결하는 면과 제1 하우징의 면 또는 제2 하우징의 면이 만나는 영역일 수 있다. 상기 방법은, 폴딩 축으로부터 상기 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이보다 큰 경우, 이미지 손실을 가리키기 위한 알림(notification)을 표시하는 동작을 추가적으로 포함할 수 있다.
일 실시예에 따른, 상기 방법은, 제1 표시 영역 내의 상기 플렉서블 디스플레이의 부분과 제2 표시 영역 외의 상기 플렉서블 디스플레이의 부분에 상기 제2 이미지에 대한 정보를 표시하기 위한 텍스트, 이미지, 또는 UI(user interface)를 표시하는 동작을 추가적으로 포함할 수 있다.
일 실시예에 따른, 상기 방법은 상기 언폴딩 상태에서, 상기 플렉서블 디스플레이의 제3 표시 영역 상에 제3 이미지를 표시하는 동작을 추가적으로 포함할 수 있다. 상기 방법은 상기 중간 상태에서, 상기 플렉서블 디스플레이의 상기 제3 표시 영역에 상기 제3 이미지를 표시하는 동작을 추가적으로 포함할 수 있다.
일 실시예에 따른, 상기 방법은 상기 적어도 하나의 거리 감지 센서 및 상기 적어도 하나의 카메라에 기반하여, 제1 사용자 시선 정보를 획득하는 동작을 추가적으로 포함할 수 있다. 상기 방법은, 상기 제1 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 제1 좌표 정보에 기반하여 상기 중간 상태에 대응하는 제2 표시 영역의 상기 제2 좌표 정보를 획득하는 동작을 추가적으로 포함할 수 있다. 상기 방법은 상기 제1 이미지 및 상기 제2 표시 영역의 상기 제2 좌표 정보에 기반하여 상기 제2 이미지를 생성하는 동작을 추가적으로 포함할 수 있다. 상기 방법은 상기 중간 상태에서 상기 플렉서블 디스플레이의 상기 제2 표시 영역에 상기 제2 이미지를 표시하는 동작을 추가적으로 포함할 수 있다. 상기 방법은 상기 적어도 하나의 거리 감지 센서 및 상기 적어도 하나의 카메라에 기반하여, 제2 사용자 시선 정보를 획득하는 동작을 추가적으로 포함할 수 있다. 상기 방법은 상기 제1 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여 상기 중간 상태에 대응하는 상기 제2 표시 영역의 상기 제2 좌표 정보를 획득하는 동작을 추가적으로 포함할 수 있다. 상기 방법은 상기 제1 이미지 및 상기 제2 표시 영역의 상기 제2 좌표 정보에 기반하여 상기 제2 이미지를 생성하는 동작을 추가적으로 포함할 수 있다. 상기 방법은 상기 중간 상태에서 상기 플렉서블 디스플레이의 상기 제2 표시 영역에 상기 제2 이미지를 표시하는 동작을 추가적으로 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 전자 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어™)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다

Claims (15)

  1. 전자 장치(electronic device)에 있어서,
    제1 면 및 상기 제1 면과 반대인 제2 면을 포함하는 제1 하우징;
    제3 면 및 상기 제3 면과 반대인 제4 면을 포함하는 제2 하우징;
    적어도 하나의 프로세서;
    적어도 하나의 카메라;
    적어도 하나의 거리 감지 센서;
    플렉서블 디스플레이;
    폴딩 축을 기준으로 상기 제1 하우징과 상기 제2 하우징을 회전 가능하게 연결함으로써, 상기 제1 면과 상기 제3 면이 동일한 방향을 향하는 언폴딩 상태, 상기 제1 면과 상기 제3 면이 마주보는 폴딩 상태, 또는 상기 제1 면과 상기 제3 면이, 상기 언폴딩 상태에서의 각도와 상기 폴딩 상태에서의 각도 사이의, 각도를 형성하는 중간 상태를 제공하도록 구성된 힌지 구조; 및
    상기 플렉서블 디스플레이의 상기 제1 면과 상기 제3 면 사이의 각도를 검출하기 위한 접힘 감지 센서를 포함하고,
    상기 적어도 하나의 프로세서는,
    상기 언폴딩 상태에서, 상기 플렉서블 디스플레이의 제1 표시 영역 상에 제1 이미지를 표시하고,
    상기 언폴딩 상태에 대응하는 상기 플렉서블 디스플레이의 상기 제1 표시 영역의 제1 좌표 정보를 획득하고,
    상기 중간 상태를 감지하는 것에 기반하여, 상기 플렉서블 디스플레이의 상기 제1 면과 상기 제3 면 간의 각도에 대응하는 폴딩 정보를 획득하고,
    상기 적어도 하나의 거리 감지 센서 및 상기 적어도 하나의 카메라에 기반하여, 사용자 시선 정보를 획득하고,
    상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여 상기 중간 상태에 대응하는 제2 표시 영역의 제2 좌표 정보를 획득하고,
    상기 제1 이미지 및 상기 제2 표시 영역의 상기 제2 좌표 정보에 기반하여 제2 이미지를 생성하고,
    상기 중간 상태에서, 상기 플렉서블 디스플레이의 상기 제2 표시 영역에 상기 제2 이미지를 표시하도록 구성되는 전자 장치.
  2. 청구항 1에서,
    상기 제1 좌표 정보는,
    상기 폴딩 축에 대한 제1 좌표 및 제2 좌표;
    상기 언폴딩 상태에서, 상기 제1 하우징 내에서 상기 제1 표시 영역의 꼭지점들에 대한 제3 좌표 및 제4 좌표; 및
    상기 언폴딩 상태에서, 상기 제2 하우징 내에서 상기 제1 표시 영역의 꼭지점들에 대한 제5 좌표 및 제6 좌표를 포함하고,
    상기 제2 좌표 정보는,
    상기 폴딩 축에 대한 제1 좌표 및 제2 좌표;
    상기 중간 상태에서, 상기 제1 하우징 내에서 상기 제2 표시 영역의 꼭지점에 대응하는 제7 좌표 및 제8 좌표; 및
    상기 제2 하우징 내에서 상기 제2 표시 영역의 꼭지점에 대응하는 제9 좌표 및 제10 좌표를 포함하는,
    전자 장치.
  3. 청구항 1에서,
    상기 제2 표시 영역의 상기 제2 좌표 정보는,
    상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이에 대응하는 제1 값,
    상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 면과 상기 제1 하우징이 형성하는 제1 각도에 대응하는 제2 값,
    상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 방향과 사용자의 시선에서 상기 언폴딩 상태의 상기 제1 하우징 내의 상기 제1 표시 영역의 종단을 바라보는 방향이 이루는 각도에 대응하는 제3 값,
    상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 방향과 사용자의 시선에서 상기 언폴딩 상태의 상기 제2 하우징 내의 상기 제1 표시 영역의 종단을 바라보는 방향이 이루는 각도에 대응하는 제4 값, 및
    사용자의 시선과 언폴딩 상태의 상기 플렉서블 디스플레이 사이의 수직 거리인 제5 값에 기반하여 획득되는,
    전자 장치.
  4. 청구항 3에서,
    상기 제2 표시 영역의 상기 제2 좌표 정보는
    상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고, 상기 폴딩 축을 포함하는 방향과 상기 폴딩 축에서부터 사용자 시선을 바라보는 방향이 이루는 각도에 대응하는 제6 값에 기반하여 획득되는,
    전자 장치.
  5. 청구항 1에서,
    상기 제2 좌표 정보를 획득하기 위하여,
    상기 적어도 하나의 프로세서는,
    상기 사용자 시선 정보 및 상기 폴딩 정보에 기반하여 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여, 상기 제1 표시 영역의 변경인 가상 표시 영역의 제3 좌표 정보를 획득하고,
    상기 가상 표시 영역은 사용자 시선으로부터 제1 표시 영역의 종단까지를 연결하는 면과 제1 하우징을 포함하는 면 또는 제2 하우징을 포함하는 면이 만나는 영역이고,
    상기 폴딩 축으로부터 상기 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이보다 큰 경우, 상기 가상 표시 영역의 상기 제3 좌표 정보를 상기 폴딩 축에 더욱 가깝게 변경하여 상기 제2 좌표 정보를 획득하도록 구성되는,
    전자 장치.
  6. 청구항 1에서,
    상기 제2 좌표 정보를 획득하기 위하여,
    상기 적어도 하나의 프로세서는,
    상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여, 상기 제1 표시 영역의 변경인 가상 표시 영역의 제3 좌표 정보를 획득하고,
    상기 가상 표시 영역은 사용자 시선으로부터 상기 제1 표시 영역의 종단까지를 연결하는 면과 제1 하우징을 포함하는 면 또는 제2 하우징을 포함하는 면이 만나는 영역이고,
    상기 폴딩 축으로부터 상기 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이보다 작을 경우, 상기 폴딩 축으로부터 상기 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이가 되도록 상기 가상 표시 영역의 상기 제3 좌표 정보를 변환하여 상기 제2 좌표 정보를 획득하도록 구성되는,
    전자 장치.
  7. 청구항 1에서,
    상기 적어도 하나의 프로세서는,
    상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여, 상기 제1 표시 영역의 변경인 가상 표시 영역의 제3 좌표 정보를 획득하고,
    상기 가상 표시 영역은 사용자 시선으로부터 상기 제1 표시 영역의 종단까지를 연결하는 면과 상기 제1 하우징의 면 또는 상기 제2 하우징의 면이 만나는 영역이고,
    상기 폴딩 축으로부터 상기 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이보다 큰 경우, 이미지 손실을 가리키기 위한 알림(notification)을 추가적으로 표시하는,
    전자 장치.
  8. 청구항 1에서,
    상기 적어도 하나의 프로세서는,
    상기 제1 표시 영역 내의 상기 플렉서블 디스플레이의 부분과 상기 제2 표시 영역 외의 상기 플렉서블 디스플레이의 부분에 상기 제2 이미지에 대한 정보를 표시하기 위한 텍스트, 이미지, 또는 UI(user interface)를 표시하도록 추가적으로 구성되는, 전자 장치.
  9. 청구항 1에서,
    상기 적어도 하나의 프로세서는,
    상기 언폴딩 상태에서, 상기 플렉서블 디스플레이의 제3 표시 영역 상에 제3 이미지를 표시하고,
    상기 중간 상태에서, 상기 플렉서블 디스플레이의 상기 제3 표시 영역에 상기 제3 이미지를 표시하도록 추가적으로 구성되는,
    전자 장치.
  10. 청구항 1에서,
    상기 적어도 하나의 프로세서는,
    상기 적어도 하나의 거리 감지 센서 및 상기 적어도 하나의 카메라에 기반하여, 제1 사용자 시선 정보를 획득하고,
    상기 제1 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 제1 좌표 정보에 기반하여 상기 중간 상태에 대응하는 제2 표시 영역의 상기 제2 좌표 정보를 획득하고,
    상기 제1 이미지 및 상기 제2 표시 영역의 상기 제2 좌표 정보에 기반하여 상기 제2 이미지를 생성하고,
    상기 중간 상태에서 상기 플렉서블 디스플레이의 상기 제2 표시 영역에 상기 제2 이미지를 표시하고,
    상기 적어도 하나의 거리 감지 센서 및 상기 적어도 하나의 카메라에 기반하여, 제2 사용자 시선 정보를 획득하고,
    상기 제1 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여 상기 중간 상태에 대응하는 상기 제2 표시 영역의 상기 제2 좌표 정보를 획득하고,
    상기 제1 이미지 및 상기 제2 표시 영역의 상기 제2 좌표 정보에 기반하여 상기 제2 이미지를 생성하고,
    상기 중간 상태에서 상기 플렉서블 디스플레이의 상기 제2 표시 영역에 상기 제2 이미지를 표시하도록,
    추가적으로 구성되는,
    전자 장치.
  11. 전자 장치(electronic device)에 의해 수행되는 방법에 있어서,
    언폴딩 상태에서, 플렉서블 디스플레이의 제1 표시 영역 상에 제1 이미지를 표시하는 동작과,
    상기 언폴딩 상태에 대응하는 상기 플렉서블 디스플레이의 상기 제1 표시 영역의 제1 좌표 정보를 획득하는 동작과,
    중간 상태를 감지하는 것에 기반하여, 상기 플렉서블 디스플레이의 제1 면과 제3 면 간의 각도에 대응하는 폴딩 정보를 획득하는 동작과,
    적어도 하나의 거리 감지 센서 및 적어도 하나의 카메라에 기반하여, 사용자 시선 정보를 획득하는 동작과,
    상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여, 상기 중간 상태에 대응하는 제2 표시 영역의 제2 좌표 정보를 획득하는 동작과,
    상기 제1 이미지 및 상기 제2 표시 영역의 상기 제2 좌표 정보에 기반하여 제2 이미지를 생성하는 동작과,
    상기 중간 상태에서, 상기 플렉서블 디스플레이의 상기 제2 표시 영역에 상기 제2 이미지를 표시하는 동작을 포함하는 방법.
  12. 청구항 11에서,
    상기 제1 좌표 정보는,
    폴딩 축에 대한 제1 좌표 및 제2 좌표;
    상기 언폴딩 상태에서, 제1 하우징 내에서 상기 제1 표시 영역의 꼭지점들에 대한 제3 좌표 및 제4 좌표; 및
    상기 언폴딩 상태에서, 제2 하우징 내에서 상기 제1 표시 영역의 꼭지점들에 대한 제5 좌표 및 제6 좌표를 포함하고,
    상기 제2 좌표 정보는,
    상기 폴딩 축에 대한 제1 좌표 및 제2 좌표;
    상기 중간 상태에서, 상기 제1 하우징 내에서 상기 제2 표시 영역의 꼭지점에 대응하는 제7 좌표 및 제8 좌표; 및
    상기 제2 하우징 내에서 상기 제2 표시 영역의 꼭지점에 대응하는 제9 좌표 및 제10 좌표를 포함하는,
    방법.
  13. 청구항 11에서,
    상기 제2 표시 영역의 상기 제2 좌표 정보는,
    폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이에 대응하는 제1 값,
    상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 면과 제1 하우징이 형성하는 제1 각도에 대응하는 제2 값,
    상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 방향과 사용자의 시선에서 상기 언폴딩 상태의 제1 하우징 내의 상기 제1 표시 영역의 종단을 바라보는 방향이 이루는 각도에 대응하는 제3 값,
    상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고 상기 폴딩 축을 포함하는 방향과 사용자의 시선에서 상기 언폴딩 상태의 제2 하우징 내의 상기 제1 표시 영역의 종단을 바라보는 방향이 이루는 각도에 대응하는 제4 값, 및
    사용자의 시선과 언폴딩 상태의 상기 플렉서블 디스플레이 사이의 수직 거리인 제5 값에 기반하여 획득되는,
    방법.
  14. 청구항 13에서,
    상기 제2 표시 영역의 상기 제2 좌표 정보는
    상기 언폴딩 상태에서 상기 플렉서블 디스플레이와 수직이고, 폴딩 축을 포함하는 방향과 상기 폴딩 축에서부터 사용자 시선을 바라보는 방향이 이루는 각도에 대응하는 제6 값에 기반하여 획득되는
    방법.
  15. 청구항 11에서,
    상기 제2 좌표 정보를 획득하는 동작은
    상기 사용자 시선 정보, 상기 폴딩 정보, 및 상기 제1 표시 영역의 상기 제1 좌표 정보에 기반하여, 상기 제1 표시 영역의 변경인 가상 표시 영역의 제3 좌표 정보를 획득하는 동작과
    상기 가상 표시 영역은 사용자 시선으로부터 제1 표시 영역의 종단까지를 연결하는 면과 제1 하우징을 포함하는 면 또는 제2 하우징을 포함하는 면이 만나는 영역이고,
    폴딩 축으로부터 상기 가상 표시 영역의 종단까지의 길이가 상기 폴딩 축으로부터 상기 제1 표시 영역의 종단까지의 길이보다 큰 경우, 상기 가상 표시 영역의 상기 제3 좌표 정보를 상기 폴딩 축에 더욱 가깝게 변경하여 상기 제2 좌표 정보를 획득하는 동작을 포함하는,
    방법.
PCT/KR2023/008319 2022-08-03 2023-06-15 시각적 왜곡 보정을 위한 전자 장치 및 방법 WO2024029732A1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR10-2022-0096876 2022-08-03
KR20220096876 2022-08-03
KR10-2022-0115765 2022-09-14
KR1020220115765A KR20240018993A (ko) 2022-08-03 2022-09-14 시각적 왜곡 보정을 위한 전자 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2024029732A1 true WO2024029732A1 (ko) 2024-02-08

Family

ID=89849078

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2023/008319 WO2024029732A1 (ko) 2022-08-03 2023-06-15 시각적 왜곡 보정을 위한 전자 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2024029732A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4687102B2 (ja) * 2004-12-27 2011-05-25 凸版印刷株式会社 画像表示装置及び画像表示システム
KR20200117638A (ko) * 2019-04-05 2020-10-14 삼성전자주식회사 디스플레이의 굴곡부의 시인성을 향상시키는 전자 장치 및 전자 장치의 동작 방법
KR20220007469A (ko) * 2020-07-10 2022-01-18 삼성전자주식회사 컨텐트를 표시하기 위한 전자 장치 및 그 동작 방법
KR102362741B1 (ko) * 2015-05-27 2022-02-14 삼성전자주식회사 플렉서블 디스플레이 장치 및 플렉서블 디스플레이 장치의 디스플레이 방법
KR20220060926A (ko) * 2020-11-05 2022-05-12 삼성전자주식회사 전자 장치 및 이의 디스플레이 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4687102B2 (ja) * 2004-12-27 2011-05-25 凸版印刷株式会社 画像表示装置及び画像表示システム
KR102362741B1 (ko) * 2015-05-27 2022-02-14 삼성전자주식회사 플렉서블 디스플레이 장치 및 플렉서블 디스플레이 장치의 디스플레이 방법
KR20200117638A (ko) * 2019-04-05 2020-10-14 삼성전자주식회사 디스플레이의 굴곡부의 시인성을 향상시키는 전자 장치 및 전자 장치의 동작 방법
KR20220007469A (ko) * 2020-07-10 2022-01-18 삼성전자주식회사 컨텐트를 표시하기 위한 전자 장치 및 그 동작 방법
KR20220060926A (ko) * 2020-11-05 2022-05-12 삼성전자주식회사 전자 장치 및 이의 디스플레이 방법

Similar Documents

Publication Publication Date Title
WO2022030990A1 (ko) 복수의 디스플레이를 통해 다양한 사용자 인터페이스를 제공하는 전자 장치 및 그 방법
WO2022154500A1 (ko) 전자 장치 및 전자 장치의 폴딩 상태에 기반하여 레이아웃 구성 방법
WO2021141454A1 (en) Camera module and electronic device including the same
WO2022108271A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 그의 터치 제어 방법
WO2022014834A1 (ko) 전자 장치 및 전자 장치에서 이미지 전송 방법
WO2022031047A1 (ko) 디스플레이를 포함하는 전자 장치 및 그의 화면 운용 방법
WO2023096189A1 (ko) 안테나를 포함하는 전자 장치
WO2024029732A1 (ko) 시각적 왜곡 보정을 위한 전자 장치 및 방법
WO2022010138A1 (ko) 컨텐트를 표시하기 위한 전자 장치 및 그 동작 방법
WO2022025400A1 (ko) 전자 펜과 연동된 화면 분할 제공 방법 및 이를 이용한 폴더블 전자 장치
WO2024029716A1 (ko) 플렉서블 디스플레이를 통해 화면을 표시하기 위한 전자 장치 및 방법
WO2024063432A1 (ko) 전자 장치의 어플리케이션 실행 화면 제어 방법 및 그 전자 장치
WO2024034838A1 (ko) 복수의 디스플레이들을 통해 화면을 표시하기 위한 전자 장치 및 방법
WO2023017954A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 이의 제어 방법
WO2022203285A1 (ko) 이미지 안정화 어셈블리를 포함하는 카메라 모듈 및 상기 카메라 모듈을 포함하는 전자 장치
WO2024063421A1 (ko) 폴더블 전자 장치와 통신하는 전자 장치 및 이의 제어 방법
WO2022103070A1 (ko) 전자 장치 및 사용자 인터페이스 표시 방법
WO2024034823A1 (ko) 전자 장치 및 이를 이용한 폴딩 상태 변경에 따른 화면 표시 방법
WO2022239931A1 (ko) 전자 장치 및 전자 장치에서 이미지 촬영 방법
WO2024039199A1 (ko) 스피커 조립체 및 이를 포함하는 전자 장치
WO2023200178A1 (ko) 롤러블 디스플레이를 포함하는 전자 장치 및 이의 제어 방법
WO2022131784A1 (ko) 증강 현실 콘텐츠를 제공하는 전자 장치 및 방법
WO2022108239A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 이의 동작 방법
WO2024071730A1 (ko) 디바이스간 데이터 동기화 방법 및 그 전자 장치
WO2024029803A1 (ko) 증강 현실에서 공간에 따라 오브젝트를 배치하는 전자 장치 및 전자 장치의 동작 방법.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23850242

Country of ref document: EP

Kind code of ref document: A1