WO2020222428A1 - 전자 장치 및 그 영상을 출력하는 방법 - Google Patents

전자 장치 및 그 영상을 출력하는 방법 Download PDF

Info

Publication number
WO2020222428A1
WO2020222428A1 PCT/KR2020/004492 KR2020004492W WO2020222428A1 WO 2020222428 A1 WO2020222428 A1 WO 2020222428A1 KR 2020004492 W KR2020004492 W KR 2020004492W WO 2020222428 A1 WO2020222428 A1 WO 2020222428A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
image
light source
display
virtual light
Prior art date
Application number
PCT/KR2020/004492
Other languages
English (en)
French (fr)
Inventor
허창룡
김종진
박정민
신종환
이석재
조준희
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2020222428A1 publication Critical patent/WO2020222428A1/ko
Priority to US17/514,276 priority Critical patent/US11907607B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/03—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays
    • G09G3/035—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes specially adapted for displays having non-planar surfaces, e.g. curved displays for flexible display surfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/506—Illumination models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
    • G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
    • G06F2200/161—Indexing scheme relating to constructional details of the monitor
    • G06F2200/1614—Image rotation following screen orientation, e.g. switching from landscape to portrait mode
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0233—Improving the luminance or brightness uniformity across the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0261—Improving the quality of display appearance in the context of movement of objects on the screen or movement of the observer relative to the screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0492—Change of orientation of the displayed image, e.g. upside-down, mirrored
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/02—Flexible displays

Definitions

  • the embodiments disclosed in this document relate to display technology of an electronic device.
  • Electronic devices provide various contents such as e-mail, web documents, or note functions, and mobile devices have been widely distributed according to miniaturization of electronic devices. Contrary to miniaturization of electronic devices, the size of electronic devices is also increasing as the demand for larger screens of mobile devices increases. When the size of the electronic device increases, a user can enjoy content such as a game or video through a large screen. In addition, the user can easily control the electronic device through a large sized user interface. Contrary to this advantage, as the size of the electronic device increases, the portability of the mobile device decreases.
  • the foldable device may be implemented using a housing having a hinge structure and a flexible display coupled to the housing.
  • An electronic device having a foldable display may be classified into an in-folding method and an out-folding method according to a direction in which the foldable display is folded based on a folding axis, which is an axis in which the electronic device is folded.
  • An electronic device having a display may output an image for providing a lock screen or a home screen to a user through the display.
  • an image output method capable of providing a new user experience to a user using a foldable display having a new shape Is required.
  • An electronic device includes a housing that can be folded about a first axis, a foldable display that can be folded about a second axis parallel to the first axis, and the housing or the foldable display.
  • a folding sensor circuit capable of detecting information related to at least one display state
  • a processor connected to the foldable display and the folded sensor circuit
  • a memory connected to the processor, wherein the memory includes: When the position of the virtual light source for the foldable display is determined based on situation information related to the electronic device, and a change in information related to the display state of the housing or the foldable display is detected through the folding sensor circuit, Instructions for rendering an image based on information related to the display state and a location of the virtual light source and outputting the rendered image through the foldable display may be stored.
  • a method includes an operation of obtaining context information related to an electronic device, an operation of determining a location of a virtual light source for a foldable display based on the context information, and An operation of detecting information related to a display state of at least one of a housing or a foldable display, and rendering an image based on the information related to the display state and the position of the virtual light source when a change in the information related to the display state is detected. It may include an operation and an operation of outputting the rendered image through the foldable display.
  • a storage medium includes an operation of obtaining, by an electronic device, context information related to the electronic device, an operation of determining a location of a virtual light source for a foldable display based on the context information, The operation of detecting information related to the display state of at least one of the housing of the electronic device or the foldable display, and when a change in the information related to the display state is detected, based on the information related to the display state and the position of the virtual light source
  • a program that performs an operation of rendering an image and an operation of outputting the rendered image through the foldable display may be stored.
  • an electronic device and method capable of providing a new aesthetic sense to a user may be provided.
  • FIG. 1 illustrates an electronic device in an unfolded mode according to an exemplary embodiment.
  • FIG. 2 illustrates an electronic device in a folded mode according to an exemplary embodiment.
  • FIG 3 illustrates an electronic device in a table mode, according to an embodiment.
  • FIG. 4 is a block diagram of an electronic device according to an exemplary embodiment.
  • FIG. 5 is a flowchart illustrating a process of outputting an image by an electronic device according to an exemplary embodiment.
  • FIG. 6 is a flowchart illustrating a process of outputting an image by an electronic device according to another exemplary embodiment.
  • FIG. 7 is a conceptual diagram illustrating a method of determining a location of a virtual light source by an electronic device according to an exemplary embodiment.
  • FIG. 8 conceptually illustrates a method of determining a location of a virtual light source by an electronic device according to another exemplary embodiment.
  • FIG 9 conceptually illustrates a position of a virtual light source that changes with time according to an embodiment.
  • FIG. 10 illustrates an example of an electronic device that renders a shadow area and a shadow object according to a location of a virtual light source, according to an embodiment.
  • FIG 11 illustrates an example of an electronic device that displays an image according to an orientation when the electronic device is unfolded, according to an embodiment.
  • FIG. 12 illustrates an example of an electronic device that outputs an image according to a folding angle, according to an embodiment.
  • FIG. 13 illustrates an example of an electronic device that outputs an image including a visual object according to a folding angle, according to an embodiment.
  • FIG. 14 illustrates a method of outputting a shadow object by an electronic device based on a plurality of virtual light sources, according to an embodiment.
  • 15 is a diagram illustrating a method of outputting an image based on a user's location by an electronic device, according to an exemplary embodiment.
  • 16 is a diagram for describing a method of outputting an image including a work window by an electronic device based on a location of a virtual light source, according to an exemplary embodiment.
  • 17 is a diagram for describing a process of rendering an image by an electronic device, according to an exemplary embodiment.
  • FIG. 18 illustrates an example of an electronic device that outputs a rendered image, according to an embodiment.
  • FIG. 19 illustrates an electronic device in a network environment according to various embodiments of the present disclosure.
  • FIG. 1 illustrates an electronic device 10 in an unfolded mode according to an exemplary embodiment.
  • 2 illustrates an electronic device in a folded mode according to an exemplary embodiment.
  • the display state related to the folding of the electronic device according to an embodiment is a flat unfolded state as shown in FIG. 1, a folded state as shown in FIG. 2, and an unfolded state as shown in FIG. 3. It may have at least one of a state intermediate between a state and a folded state.
  • the unfolded state as shown in FIG. 1 may be referred to as an unfolded mode of the electronic device.
  • the folded state as shown in FIG. 2 may be referred to as a folded mode of the electronic device.
  • a state intermediate between the unfolded state and the folded state as shown in FIG. 3 may be referred to as a table mode.
  • the folding angle of the housing is between 120 degrees and 140 degrees, and may be a display state suitable for use by a user placing the electronic device 10 on a table.
  • an electronic device includes a foldable housing 500, a hinge cover 530 covering a foldable portion of the foldable housing, and the foldable housing 500.
  • a flexible or foldable display 100 (hereinafter, abbreviated as “display” 100) disposed in the space formed by this may be included.
  • the surface on which the display 100 is disposed is defined as the first surface or the front surface of the electronic device 10.
  • the opposite surface of the front surface is defined as the second surface or the rear surface of the electronic device 10.
  • a surface surrounding the space between the front and rear surfaces is defined as a third surface or a side surface of the electronic device 10.
  • the foldable housing 500 includes a first housing structure 510, a second housing structure 520 including a sensor area 524, a first rear cover 580, and a second rear surface.
  • a cover 590 may be included.
  • the foldable housing 500 of the electronic device 10 is not limited to the shape and combination shown in FIGS. 1 and 2, and may be implemented by combining and/or combining other shapes or components.
  • the first housing structure 510 and the first rear cover 580 may be integrally formed, and the second housing structure 520 and the second rear cover 590 are integrally formed. Can be formed.
  • the first housing structure 510 and the second housing structure 520 are disposed on both sides around a folding axis (A axis), and have a shape symmetrical or similar to the folding axis A.
  • the first housing structure 510 and the second housing structure 520 have an angle or distance formed from each other depending on whether the display state of the electronic device 10 is in an open state, a folded state, or an intermediate state. It can be different.
  • a state related to the degree of folding of at least one of the housing or display of the electronic device 10 may be referred to as a display state of the electronic device 10.
  • the second housing structure 520 unlike the first housing structure 510, the second housing structure 520 additionally includes the sensor area 524 in which various sensors are disposed, but in other areas, the second housing structure 520 has a mutually symmetric shape.
  • At least a portion of the first housing structure 510 and the second housing structure 520 may be formed of a metal material or a non-metal material having a rigidity of a size selected to support the display 100.
  • the sensor region 524 may be formed to have a predetermined region adjacent to one corner of the second housing structure 520.
  • the arrangement, shape, and size of the sensor area 524 are not limited to the illustrated example.
  • the sensor region 524 may be provided at another corner of the second housing structure 520 or any region between the upper and lower corners.
  • components for performing various functions built into the electronic device 10 are electronically transmitted through the sensor area 524 or through one or more openings provided in the sensor area 524. It may be exposed on the front of the device 10.
  • the components may include various types of sensors.
  • the sensor may include, for example, at least one of a front camera, a receiver, and a proximity sensor.
  • the first rear cover 580 is disposed on one side of the folding shaft on the rear surface of the electronic device and may have, for example, a substantially rectangular periphery, and the first housing structure 510 The edges can be wrapped.
  • the second rear cover 590 may be disposed on the other side of the folding shaft of the rear surface of the electronic device, and the edge thereof may be wrapped by the second housing structure 520.
  • the first rear cover 580 and the second rear cover 590 may have a substantially symmetrical shape around the folding axis (A axis). However, the first rear cover 580 and the second rear cover 590 do not necessarily have mutually symmetrical shapes.
  • the electronic device 10 includes a first rear cover 580 having various shapes and A second rear cover 590 may be included.
  • the first rear cover 580 may be integrally formed with the first housing structure 510
  • the second rear cover 590 may be integrally formed with the second housing structure 520. have.
  • the first rear cover 580, the second rear cover 590, the first housing structure 510, and the second housing structure 520 are various components of the electronic device 10 (for example, A space in which a printed circuit board or a battery) can be disposed may be formed.
  • one or more components may be disposed or visually exposed on the rear surface of the electronic device 10.
  • at least a portion of the sub-display 190 may be visually exposed through the first rear area 582 of the first rear cover 580.
  • one or more components or sensors may be visually exposed through the second rear area 592 of the second rear cover 590.
  • the sensor may include a proximity sensor and/or a rear camera.
  • the hinge cover 530 is disposed between the first housing structure 510 and the second housing structure 520 to be configured to cover an internal part (eg, a hinge structure).
  • the hinge cover 530 may include a first housing structure 510 and a second housing structure according to the state of the electronic device 10 (flat state or folded state). 520) may be covered by a part or exposed to the outside.
  • the hinge cover 530 may include a first housing structure 510 and a second housing structure 520. ) May not be exposed.
  • the hinge cover 530 may include a first housing structure ( It may be exposed to the outside between the 510 and the second housing structure 520.
  • the hinge cover 530 when the first housing structure 510 and the second housing structure 520 are folded with a certain angle and in an intermediate state (eg, table mode), the hinge cover 530 ) May be partially exposed to the outside between the first housing structure 510 and the second housing structure 520. However, in this case, the exposed area may be less than the fully folded state.
  • the hinge cover 530 may include a curved surface.
  • the display 100 may be disposed on a space formed by the foldable housing 500.
  • the display 100 is mounted on a recess formed by the foldable housing 500 and may constitute most of the front surface of the electronic device 10.
  • the front surface of the electronic device 10 may include the display 100 and a partial region of the first housing structure 510 adjacent to the display 100 and a partial region of the second housing structure 520.
  • the rear surface of the electronic device 10 includes a first rear cover 580, a partial area of the first housing structure 510 adjacent to the first rear cover 580, a second rear cover 590, and a second rear cover.
  • a partial region of the second housing structure 520 adjacent to 590 may be included.
  • the display 100 may mean a display in which at least a portion of the area can be transformed into a flat or curved surface.
  • the display 100 includes a folding area 103, a first area 101 and the other side disposed on one side (left side of the folding area 103 shown in FIG. 1) based on the folding area 103 It may include a second area 102 disposed on the right side of the folding area 103 shown in FIG. 1.
  • the division of regions of the display 100 illustrated in FIG. 1 is exemplary, and the display 100 may be divided into a plurality (eg, four or more or two) regions according to a structure or function.
  • the area of the display 100 may be divided by the folding area 103 extending parallel to the y-axis or the folding axis (A-axis), but in another embodiment, the display ( 100) may be divided based on another folding area (eg, a folding area parallel to the x-axis) or another folding axis (eg, a folding axis parallel to the x-axis).
  • the first region 101 and the second region 102 may have a shape that is generally symmetric about the folding region 103. However, unlike the first area 101, the second area 102 may include a notch cut according to the presence of the sensor area 524, but in other areas, the first area It may have a shape symmetrical to the region 101. In other words, the first region 101 and the second region 102 may include a portion having a shape symmetrical to each other and a portion having a shape asymmetrical to each other.
  • the operation of the first housing structure 510 and the second housing structure 520 and each area of the display 100 according to the display state of the electronic device 10 eg, an open mode, a folded mode, or a table mode
  • the display state of the electronic device 10 eg, an open mode, a folded mode, or a table mode
  • the first housing structure 510 and the second housing structure 520 form an angle of 180 degrees. It can be arranged to face the same direction.
  • the surface of the first area 101 and the surface of the second area 102 of the display 100 form 180 degrees to each other, and may face the same direction (eg, the front direction of the electronic device).
  • the folding area 103 may form the same plane as the first area 101 and the second area 102.
  • the first housing structure 510 and the second housing structure 520 may be disposed to face each other.
  • the surface of the first area 101 and the surface of the second area 102 of the display 100 form a narrow angle (eg, between 0° and 10°) and may face each other.
  • At least a portion of the folding area 103 may be formed of a curved surface having a predetermined curvature.
  • the first housing structure 510 and the second housing structure 520 are at a predetermined angle ( a certain angle).
  • a surface of the first region 101 and a surface of the second region 102 of the display 100 may form an angle that is larger than the folded state and smaller than the unfolded state.
  • At least a portion of the folding area 103 may be formed of a curved surface having a predetermined curvature, and the curvature at this time may be smaller than in the case of a folded state.
  • FIG 3 illustrates an electronic device in a table mode, according to an embodiment.
  • the electronic device 10 may be fixed in an intermediate state between a folded state and an unfolded state.
  • the hinge structure included in the hinge cover 530 may fix the first housing structure 510 and the second housing structure in a state intermediate between the folded state and the unfolded state of the electronic device 10.
  • 520 can be fixed.
  • an angle formed by the first housing structure 510 and the second housing structure 520 or an angle formed by the first region 101 and the second region 102 may be referred to as a folding angle.
  • a method of fixing the hinge structure between the first housing structure 510 and the second housing structure 520 can be derived from the prior art by a person skilled in the art, and a detailed description thereof will be omitted.
  • a state in which the first housing structure 510 and the second housing structure 520 are fixed to form a mutually designated angle is referred to as a state in which the electronic device 10 is folded at a designated angle.
  • the electronic device 10 may include at least one sensor circuit 320.
  • the at least one sensor circuit 320 may include a folding sensor circuit capable of detecting information related to a display state (eg, an unfolded state, a folded state, and a folded state at a specified angle) of the electronic device 10.
  • a Hall sensor 321 is disposed in the left area 311 of the electronic device 10 based on the folding axis A, and the electronic device 10 is located in the right area 312 of the electronic device 10.
  • the magnet 323 may be disposed to face the Hall sensor 321.
  • the Hall sensor 321 does not detect the magnetic field of the magnet 323 as it cannot face the magnet 323 in the unfolded state of the electronic device 10.
  • the magnet 323 Since it faces at least a part of it, the magnetic field of the magnet 323 can be sensed.
  • the Hall sensor 321 may detect the magnetic field strength of the magnet 323 larger as the electronic device 10 is folded more.
  • the folding sensor circuit may include an angle sensor 330 capable of detecting a folding angle (eg, angle ⁇ ) according to an operation of a hinge portion of the electronic device 10.
  • the folding sensor circuit includes at least one of an acceleration sensor or a gyro sensor included in the first housing structure 510 and at least one of an acceleration sensor or a gyro sensor included in the second housing structure 520 You may.
  • the electronic device 10 may determine that the display state of the electronic device 10 is a folded state (eg, a folded mode) when the magnetic field strength sensed using the Hall sensor 321 is equal to or greater than the first specified strength. If the magnetic field sensitivity sensed using the Hall sensor 321 is less than a second specified intensity (eg, 0), the electronic device 10 is considered to be in an unfolded state (eg, unfolded mode). You can decide. When the magnetic field sensitivity sensed by the Hall sensor 321 falls within a specified range, the electronic device 10 may determine that the display state of the electronic device 10 is folded at a specified angle (eg, in a table mode). The specified range may be determined through an experiment of measuring the magnetic field strength under a condition in which the electronic device 10 is folded at a specified angle.
  • a second specified intensity eg, 0
  • the electronic device 10 may control the display 100 to correspond to a state of the electronic device 10 in a display state (for example, an unfolded state, a folded state, or a folded state).
  • a display state for example, an unfolded state, a folded state, or a folded state.
  • the electronic device 10 may deactivate the display 100.
  • the electronic device 10 may activate the display 100 and output an image through the display 100.
  • the electronic device 10 differs from an image output on the display 100 when the electronic device 10 is folded at a specified angle from the image output on the display 100 when the electronic device 10 is unfolded. Can be displayed.
  • the electronic device 10 may determine whether the magnetic field strength sensed by the hall sensor 321 falls within a specified range while the electronic device 10 is unfolded. When the magnetic field strength sensed by the Hall sensor 321 falls within a specified range, the electronic device 10 may determine that the electronic device 10 is folded at a specified angle.
  • the electronic device 10 when the electronic device 10 is folded at a specified angle, the electronic device 10 may support a one-hand operation mode. For example, if it is confirmed that the electronic device 10 has been held by one hand of the user for a first specified time while being folded at a specified angle, the electronic device 10 switches to the one-hand operation mode and the one-hand operation mode In, the page of the content displayed on the display 100 may be switched based on at least one of a movement of the electronic device 10 or a gaze direction of the user.
  • the information related to the display state of the electronic device may include information indicating at least one of an unfolded mode, a folded mode, and a table mode illustrated in FIGS. 1, 2 and 3.
  • the information related to the display state of the electronic device may include a value indicating a folding angle.
  • FIGS. 1, 2, and 3 is only for describing an exemplary embodiment, and is not limited to the form illustrated in FIGS. 1, 2, and 3.
  • FIG. 4 is a block diagram 400 of an electronic device according to an exemplary embodiment.
  • an electronic device may include a sensor circuit 410, a display 430, a memory 430, and a processor 450.
  • the electronic device may be configured excluding some of the components illustrated in FIG. 4 or may further include additional components.
  • some of the components illustrated in FIG. 4 may be combined to form a single entity, or may be distributed as a plurality of entities.
  • the sensor circuit 410 may include at least one of the first sensor circuit 411, the second sensor circuit 413, and the third sensor circuit 415.
  • the electronic device may acquire at least part of context information related to the electronic device using the sensor circuit 410.
  • the first sensor circuit 411 detects information related to the display state of at least one of the housing (eg, the housing 500 of FIG. 1) or the foldable display 430 (eg, the display 100 of FIG. 1 ). It may include a folding sensor circuit capable of.
  • the first sensor circuit 411 may include a Hall sensor (for example, the Hall sensor 321 and magnet 323 of Fig. 1).
  • the folding sensor circuit is An angle sensor (eg, the angle sensor 330 of FIG.
  • the folding sensor circuit includes at least one of an acceleration sensor or a gyro sensor included in a first housing structure (eg, the first housing structure 510 of FIG. 1), and a second housing structure (eg, FIG. 1 ). It may also include at least one of an acceleration sensor or a gyro sensor included in the second housing structure 520 of.
  • the second sensor circuit 413 may include, for example, a plurality of illuminance sensors for sensing illuminance around the electronic device. According to an embodiment, the electronic device may recognize that a light source exists in a direction in which an illuminance sensor in which a high illuminance value is detected among a plurality of illuminance sensors is disposed.
  • the third sensor circuit 415 may include, for example, a direction sensing circuit that senses information on an orientation of an electronic device. According to an embodiment, the electronic device may acquire information about a direction (or information about a direction) of the electronic device using at least one of a motion sensor (eg, an acceleration sensor, a gyro sensor) or a magnetic sensor.
  • the information on the orientation may include information indicating the orientation in which the electronic device is placed with respect to the geomagnetism using a geomagnetic sensor.
  • the information on the orientation may include, for example, information indicating whether the electronic device is placed horizontally or vertically.
  • the display 430 may display various contents including, for example, an image.
  • the display 430 may include, for example, a liquid crystal display (LCD), a light emitting diode (LED) display, an organic light emitting diode (OLED) display, or an electronic paper display.
  • the display 430 may include a flexible display or a foldable display.
  • the display 430 may include a touch screen display combined with a touch sensor. In this document, a case where the display 430 is a touch screen display will be described as an example. However, it is not limited thereto.
  • the memory 440 may store, for example, a command or data related to at least one other component of the electronic device 400.
  • the memory 440 may be a volatile memory (eg, RAM, etc.), a nonvolatile memory (eg, ROM, flash memory, etc.), or a combination thereof.
  • the memory 440 may include instructions that, when executed, cause the processor to control components of the electronic device or perform an operation of processing data. The operation of the electronic device disclosed in this document may be performed by the processor 450 executing instructions stored in the memory 440.
  • the electronic device includes a housing that can be folded around a first axis (eg, the housing 500 of FIG. 1 ), and a foldable display that can be folded around a second axis parallel to the first axis (eg,
  • a folding sensor circuit capable of detecting information related to the display state of at least one of the display 100 of FIG. 1, a housing, or a foldable display (eg, the first sensor circuit 411 of FIG. 4), and a processor (eg, FIG. 4) and a memory (for example, the memory 440 of FIG. 4) may be included.
  • the memory when executed, determines the position of the virtual light source for the foldable display based on context information related to the electronic device by the processor, and relates to the display state of the housing or the foldable display through the fold sensor circuit.
  • instructions for rendering an image based on the information related to the display state and the location of the virtual light source and outputting the rendered image through the foldable display may be stored.
  • the electronic device may further include direction sensing information for sensing information on the direction of the electronic device, and the context information may include information on the direction.
  • Instructions stored in the memory may cause the processor to determine the location of the virtual light source based on context information at execution time.
  • the context information may further include information related to time.
  • Instructions stored in the memory may enable the processor to determine the location of the virtual light source based on context information (eg, information related to time and information about a direction) when executed. For example, as the time of day changes, the position of the virtual light source may change as the position of the sun moves.
  • the electronic device may include a plurality of illuminance sensors for sensing illuminance around the electronic device. Instructions stored in the memory may cause an illuminance sensor in which an illuminance sensor that satisfies a specified condition among the plurality of illuminance sensors to be detected when executed by the processor to determine the position of the virtual light source based on a direction disposed on the electronic device.
  • the designated condition may be defined as having the highest value among illuminance values sensed by, for example, a plurality of illuminance sensors.
  • the specified condition may be defined as having an illuminance value equal to or greater than the specified value. However, it is not limited thereto.
  • the positions of the plurality of virtual light sources may be determined.
  • the processor may determine a plurality of image effects corresponding to each of the plurality of virtual light sources, and apply the plurality of image effects to the image to render.
  • the instructions stored in the memory may render an image such that the number of visual objects included in the image or the luminance of outputting at least a portion of the image changes according to a change in a display state when the processor is executed.
  • the housing of the electronic device includes a first housing structure (eg, the first housing structure 510 in FIG. 1) and a second housing structure (eg, a second housing structure that can be folded with respect to the first housing structure about a first axis).
  • a second housing structure 520 of FIG. 1 may be included.
  • the foldable display of the electronic device includes a first portion coupled with a first housing structure (e.g., the first region 101 of FIG. 1) and a second portion coupled with the second housing structure (e.g., a second region of FIG. 1 ). (102)), and the first part may be folded with respect to the second part about the second axis.
  • the instructions stored in the memory allow the processor to determine a shadow area in which the shadow effect is to be displayed among the second part based on information related to the display state and the position of the virtual light source, and render the image so that the shadow effect is displayed in the determined shadow area. I can.
  • the electronic device may include a direction sensing circuit that senses information on the direction of the electronic device. Instructions stored in the memory may cause the processor to determine a shadow application mode associated with a shadow effect based on context information including information on the direction. For example, the processor may determine whether the electronic device is placed horizontally or vertically based on a value sensed using an acceleration sensor or a gyro sensor. Instructions stored in the memory may cause the processor to render the image so that the shadow effect is applied to the entire first part and the shadow area when the shadow application mode is the horizontal mode. Instructions stored in the memory allow the processor to render the image so that a shadow effect is displayed in an area adjacent to the second axis of the first portion and an area adjacent to the second axis of the second portion when the shade application mode is the vertical mode. I can.
  • an image output through the foldable display may include a visual object and a shadow object corresponding to the visual object. Instructions stored in the memory may cause the processor to render an image so that the shadow object is displayed with a length determined according to information related to the display state when executed.
  • the processor may divide a basic image to be displayed on the foldable display into a background region and an ROI.
  • the processor may apply a first image effect corresponding to information related to the display state to the base image in the background area.
  • the processor may apply a second image effect corresponding to at least one of information related to an ROI, information related to a display state, or a position of a virtual light source to the base image.
  • the information related to the region of interest may include, for example, information related to a location where the region of interest is displayed in the image or the type of object (eg, people, animals, plants, etc.) included in the region of interest.
  • the first image effect may be that the luminance at which the background area is output is changed according to information on the display state.
  • a shadow object having a different length or direction according to at least one of information related to a region of interest, information related to a display state, or a position of a virtual light source in the image It may be displayed around the area.
  • FIG. 5 is a flowchart 600 illustrating a process of outputting an image by an electronic device according to an exemplary embodiment.
  • the electronic device may detect information related to a display state.
  • the electronic device may sense a magnetic field of the magnet 323 provided at a position facing the Hall sensor using a Hall sensor (eg, the Hall sensor 321 in FIG. 3 ).
  • the electronic device may include an angle sensor (eg, the angle sensor 330 of FIG. 3) capable of detecting a folding angle (eg, folding angle ⁇ of FIG. 3) according to an operation of the hinge portion.
  • the folding sensor circuit may detect information related to a display state using at least one of an acceleration sensor or a gyro sensor.
  • the electronic device may detect whether a change in the display state has occurred. For example, when the display state of the electronic device is changed from the folded mode to the table mode, the electronic device may recognize the change of the display state based on the information detected in operation 610.
  • the context information refers to information for determining a context associated with the electronic device.
  • the context information may include information on the orientation of the electronic device.
  • Information about the orientation of the electronic device is obtained from a motion sensor (e.g., acceleration sensor, gyro) to determine whether the electronic device is placed vertically (or vertically) with respect to a horizontal plane or horizontally (or horizontally). It may mean information sensed through a sensor). Alternatively, it may mean a classification (eg, a landscape mode or a portrait mode) regarding the state of the electronic device according to information sensed through the Mosen sensor.
  • the context information may include information on time.
  • the electronic device may acquire context information including a time corresponding to the location information of the electronic device acquired using a GPS (Ground Positioning System).
  • the context information may include information on ambient illumination of the electronic device.
  • the electronic device may include one or more illuminance sensors.
  • the electronic device may acquire context information including information on ambient illuminance using an illuminance sensor.
  • the electronic device may determine the location of the virtual light source based on the context information. For example, according to the information on the orientation (or direction) of the electronic device, the electronic device may have a relative relationship between a designated position on a virtual boundary and a display of the electronic device (eg, the display 100 of FIG. 1 ). It is possible to determine a coordinate value indicating a location. The determined coordinate value may indicate the position of the virtual light source. For another example, the electronic device may determine a designated position on a virtual boundary line according to the time included in the context information, and may determine the position of the virtual light source based on the determined position. As another example, the electronic device may determine a position corresponding to a direction in which an illuminance sensor in which illuminance satisfying a specified condition is detected using one or more illuminance sensors as the position of the virtual light source.
  • the electronic device may render an image based on the position of the virtual light source.
  • the electronic device displays an image so that the optical effect generated by the light source is expressed on the surface of a display (eg, the display 100 of FIG. 1).
  • Can render For example, the electronic device is located in at least a partial area of the display (eg, the second area 102 of FIG. 1) by at least a part of the housing structure of the electronic device (eg, the first housing structure 510 in FIG. 1 ).
  • the image can be rendered so that the formed shadow is expressed.
  • the electronic device may render an image so that a shadow object in the form of a shadow formed when light is irradiated from a virtual light source on a visual object (eg, shape of an object) included in the image is expressed.
  • the electronic device may render an image such that a reflected light object in which light reflected from the light irradiated to a visual object included in the image from the position of the virtual light source is represented is represented.
  • the image may be rendered by further considering information related to the display state.
  • the electronic device is a video effect applied to an image according to the folding angle of the electronic device (e.g., a shadow area displayed on the image, the shape of the shadow object, the length of the shadow object, the number of visual objects, or Display luminance) can be determined differently.
  • the electronic device may output the rendered image through a foldable display.
  • the process shown in FIG. 5 is for explaining an embodiment, and according to another embodiment, the process of FIG. 5 is changed in order, further includes additional operations, or some operations have the same/similar effect. It may be replaced with an action to achieve.
  • the electronic device whenever the user opens the electronic device, the electronic device performs an operation to determine the location of the virtual light source according to the context information. Unnecessary repeated use of resources may occur.
  • the electronic device may drive the sensor circuit with low power and store the information obtained by using the sensor circuit by determining the location of the virtual light source using a program operating in the background. have.
  • the electronic device renders an image using the location of the virtual light source stored in a memory (eg, memory 440 in FIG. 4) instead of performing an operation to determine the location of the virtual light source each time the user opens the electronic device. May be.
  • FIG. 6 is a flowchart 605 illustrating a process of outputting an image by an electronic device according to another exemplary embodiment.
  • the electronic device may deactivate the operation of the foldable display. For example, when the display state of the electronic device is folded (eg, FIG. 2 ), the electronic device may deactivate the foldable display. For another example, when the user presses the sleep mode setting button of the electronic device, the foldable display may be deactivated. Disabling the operation of the foldable display means that the power supply is cut off so that the foldable display does not output video, or it is an operation mode that outputs video at low power (e.g., Always On Display (AOD)). It can mean making it work.
  • AOD Always On Display
  • the need to continuously update the location of the virtual light source in real time is low, and thus the location of the virtual light source may be updated only when a specified condition is satisfied.
  • a specified condition for performing an operation of updating the position of the virtual light source may be referred to as a virtual light source position update condition.
  • the electronic device may determine whether information related to the electronic device satisfies a virtual light source location update condition.
  • the virtual light source location update condition may be that a time corresponding to a specified period has elapsed from a previous virtual light source location update time point.
  • the virtual light source location update condition may be that the location of the electronic device according to an acceleration value detected using an acceleration sensor of the electronic device or a GPS coordinate acquired through a GPS module has moved outside a specified range.
  • the electronic device may obtain context information.
  • the electronic device may cause a component (eg, a sensor circuit) of the electronic device to obtain context information to operate in a low power operation mode.
  • the electronic device may determine the location of the virtual light source based on the acquired context information.
  • the electronic device may store the determined location of the virtual light source in a memory (eg, the memory 440 of FIG. 4 ).
  • the electronic device may detect occurrence of a change in the display state of the electronic device.
  • the electronic device may render an image based on the location of the stored virtual light source.
  • the electronic device may output the rendered image through the foldable display.
  • a method of outputting an image by an electronic device includes an operation of acquiring context information related to the electronic device, a virtual display for a foldable display based on the context information
  • An operation of rendering an image based on and outputting the rendered image through a foldable display may be included.
  • the operation of obtaining context information may include an operation of obtaining information on a direction of the electronic device.
  • the operation of determining the position of the virtual light source may include an operation of determining the position of the virtual light source based on information on a direction.
  • the operation of obtaining context information includes an operation of obtaining at least one illumination value for illumination around the electronic device, and a direction corresponding to an illumination value that satisfies a specified condition among at least one illumination value. It may include an act of determining.
  • the electronic device may acquire at least one illuminance value using a sensor circuit including an illuminance sensor.
  • the operation of determining the position of the virtual light source may include an operation of determining the position of the virtual light source based on the determined direction.
  • the operation of rendering the image may include rendering the image so that the number of visual objects included in the image or luminance for outputting at least part of the image is changed according to a change in a display state.
  • the operation of obtaining context information may include an operation of obtaining information on a direction of the electronic device.
  • a method of outputting an image by the electronic device may include an operation of determining a shadow application board related to a shadow effect based on information on a direction.
  • the rendering operation includes determining a shadow area in which a shadow effect is to be displayed based on information related to a display state and a location of a virtual light source according to the shadow application mode, and an operation of rendering an image so that the shadow effect is displayed in the determined shadow area.
  • the rendered image may include a visual object and a shadow object corresponding to the visual object.
  • the rendering operation may include rendering an image so that a shadow object is displayed with a length determined according to information related to the display state.
  • a method of outputting an image by an electronic device may include an operation of obtaining a basic image and an operation of dividing the basic image into a background region and an ROI.
  • the operation of rendering the image includes an operation of applying a first image effect corresponding to information related to the display state to the background region to the base region, and information related to the region of interest to the image, information related to the display state, or the location of a virtual light source.
  • the operation of applying a second image effect corresponding to at least one to the base image may be included.
  • the first image effect may be that the luminance at which the background area is output is changed according to information on the display state.
  • a shadow object having a different length or direction according to at least one of information related to a region of interest, information related to a display state, or a position of a virtual light source is displayed around the region of interest or the region of interest. It can be.
  • FIG. 7 conceptually illustrates a method of determining the location of the virtual light source 720 by the electronic device 700 according to an exemplary embodiment.
  • the electronic device 700 may be configured to receive an electronic device based on information on the direction (or orientation) of the electronic device 700. The relative position of the virtual light source 720 with respect to the device 700 may be determined.
  • the virtual light source 720 is positioned in the side direction of the electronic device 700 You can decide to do it.
  • the virtual light source 720 is the display of the electronic device 700 (for example, : It may be determined that the display 100 of FIG. 1 is positioned in a direction.
  • FIG. 8 conceptually illustrates a method of determining a location of a virtual light source 820 by the electronic device 800 according to another exemplary embodiment.
  • the electronic device 800 may detect the direction of the light source 830 that irradiates light to the electronic device 800 using a sensor (eg, an illuminance sensor) that detects light.
  • the electronic device 800 may include a plurality of illuminance sensors arranged in various directions, and may compare an illuminance value detected from each of the plurality of illuminance sensors with each other or with a specified value.
  • the electronic device 800 may detect a direction in which the illuminance sensor from which the highest illuminance value is detected is disposed as the direction of the light source 830.
  • the electronic device 800 may detect a direction in which an illuminance sensor in which an illuminance value equal to or greater than a specified value is detected is disposed as the direction of the light source 830.
  • the electronic device 800 may determine the position of the virtual light source 820 based on the sensed direction of the light source 830. For example, the electronic device 800 refers to the location of the virtual light source 820 where the straight line 820 extending in the direction of the light source 830 detected from the location of the electronic device 800 meets the virtual boundary surface 810. Can be determined by
  • FIG 9 conceptually shows a position of a virtual light source 920 that changes with time according to an embodiment.
  • the environment information may include information on time.
  • the electronic device 900 may obtain information about a time corresponding to the location information of the electronic device 900 obtained using a GPS (Ground Positioning System).
  • GPS Global Positioning System
  • the electronic device 900 may move the location of the virtual light source 920 that is determined as time elapses. Referring to FIG. 9, the electronic device 900 may move the location of the virtual light source 920 along the virtual boundary surface 910 in a designated direction as time elapses.
  • FIG. 10 is an electronic device 1000 that renders shadow regions 1031, 1032, 1033 and shadow objects 1041, 1042, 1043 according to positions of virtual light sources 1021, 1022, and 1023, according to an embodiment. It shows an example of.
  • the electronic device 1000 may determine a shadow area based on at least one of a position of the virtual light sources 1021, 1022, and 1023 or a folding angle of the electronic device 1000.
  • the electronic device 1000 may render an image according to the determined shadow area.
  • the electronic device 1000 when it is determined that the virtual light source 1021 is positioned in the rear upward direction of the first area 1001 of the electronic device 1000 (1011), the electronic device 1000 is the second area 1002.
  • the first partial area 1031 may be determined as a shadow area.
  • the electronic device 1000 may further determine the entire first area 1001 as a shadow area.
  • the shadow area may refer to an area in which a shadow effect is displayed so that a user perceives that a shadow is formed in the shadow area.
  • the electronic device 1000 may render an image so that an image is output with a lower luminance in the shadow area than in a non-shadow area.
  • the intensity of the shadow effect applied to the shadow area may be determined based on at least one of illumination outside the electronic device or a folding angle of the electronic device 1000.
  • the electronic device 1000 may increase the intensity of the shading effect as the illuminance value obtained through the illuminance sensor decreases.
  • the electronic device 1000 may increase the intensity of the shading effect as the folding angle decreases.
  • the area of the shadow area 1031 may decrease as the folding angle of the electronic device 1000 increases.
  • the electronic device 1000 determines the second partial area 1032 as the shadow area. I can.
  • the electronic device 1000 shadows the third partial area 1033. Can be determined by area.
  • the electronic device 1000 may apply and output a shadow effect to a shadow area.
  • the electronic device 1000 may provide a new aesthetic user experience that a user can feel as a shadow appears on an image by blocking light from a light source by the first region 1001.
  • the electronic device 1000 may render an image so that shadow objects 1041, 1042, and 1043 are displayed based on the positions of the virtual light sources 1021, 1022, and 1023.
  • a shadow object eg, 1041, 1042, 1043 is light from a virtual light source (eg, 1021, 1022, 1023) to a visual object (eg, 1040) included in an image displayed by the electronic device 1000. It can mean a visual representation of the shadow that appears when irradiated.
  • the electronic device 1000 is based on a location of a virtual light source (eg, 1021, 1022, 1023), a direction, a length, a darkening degree, or a shape of the shadow object 1021, 1042, and 1023. At least one can be determined.
  • the electronic device 1000 may render an image so that the shadow objects 1041, 1042, and 1043 are displayed in a direction opposite to the positions of the virtual light sources 1021, 1022, and 1023 with respect to the visual object 1040. .
  • FIG 11 illustrates an example of an electronic device 1100 that displays an image according to an orientation when the electronic device 1100 is unfolded, according to an embodiment.
  • the electronic device 1100 may include a sensor circuit (eg, an acceleration sensor or a gyro sensor) capable of detecting information on a direction in which the electronic device 1100 is placed.
  • the electronic device 1100 may determine a shading application mode related to the shading effect based on information on the direction of the electronic device 1100 acquired through a sensor circuit.
  • the shading application mode can define a method of applying a shading effect.
  • the shading application mode may be a horizontal mode or a vertical mode.
  • the electronic device 1100 may determine the shading application mode as the horizontal mode.
  • the electronic device 1100 may determine a shadow area 1131 to which the shadow effect is applied in the horizontal direction.
  • the electronic device 1100 includes the entire first area (eg, the first area 101 of FIG. 1) and the second area (eg, FIG. 1) of the display (eg, the display 100 of FIG. 1 ). A part of the second area 102 of 1 may be determined as the shadow area 1131.
  • the electronic device may render an image such that at least one of the shadow object 1141 or the reflected light object 1150 for the visual object 1140 included in the image is further expressed.
  • the electronic device 1100 may determine the shade application mode as the vertical mode.
  • the electronic device 1100 may determine an area different from the case where the shadow application mode is the horizontal mode as the shadow area 1132.
  • the electronic device 1100 has a shading effect in an area adjacent to the axis 1170 where the display is folded among the first portion 1161 of the display, and an area adjacent to the axis 1170 of the second portion 1162. Images can be rendered to be displayed.
  • the electronic device may render an image such that at least one of a shadow object 1142 or a reflected light object 1150 for the visual object 1140 included in the image is further expressed.
  • FIG. 12 illustrates an example of an electronic device 1200 that outputs an image according to a folding angle, according to an embodiment.
  • the electronic device 1200 may determine a length of a shadow object included in an output image based on a folding angle. For example, referring to FIG. 12, when the folding angle is 30 degrees, the electronic device 1200 may render an image so that a shadow object for the visual object is displayed up to the first line 1211. When the folding angle is 90 degrees, the electronic device 1200 may render an image so that a shadow object for the visual object is displayed up to the second line 1212. When the folding angle is 180 degrees, the electronic device 1200 may render an image so that a shadow object for the visual object is displayed up to the third line 1213. Alternatively, for another example, when the folding angle is 180 degrees, the electronic device 1200 may render the image so that the shadow object is not displayed. I can.
  • FIG. 13 illustrates an example of an electronic device 1300 that outputs an image including a visual object according to a folding angle, according to an embodiment.
  • the luminance of an image output by the electronic device 1300 through the display may gradually increase.
  • the electronic device 1200 may display an image with low luminance.
  • the electronic device 1200 may increase the number of visual objects (eg, light sources) displayed in the displayed image. For example, referring to FIG. 13, when the folding angle is relatively small, the electronic device 1300 may display a small number of star images 1321. When the folding angle is increased, the electronic device 1300 may output an image including a larger number of star images 1321.
  • visual objects eg, light sources
  • FIG. 14 illustrates a method of outputting shadow objects 1441 and 1442 by the electronic device 1400 based on a plurality of virtual light sources 1421 and 1422 according to an exemplary embodiment.
  • the electronic device 1400 may determine the locations of the plurality of virtual light sources 1421 and 1422 on the interface 1410. When the plurality of virtual light sources 1421 and 1422 are determined, the electronic device 1400 relates to the visual object 1440 included in the output image, and the first shadow object with respect to the position 1421 of the first virtual light source ( The image may be rendered so that 1442 and a second shadow object 1441 for the position 1422 of the second virtual light source are displayed.
  • 15 is a diagram for describing a method of outputting an image based on a location of the user 1 by the electronic device 1500 according to an exemplary embodiment.
  • the electronic device 1500 may render an image so that a different image effect is applied according to the location of the user 1.
  • FIG. 16 is a diagram for describing a method of outputting an image including a work window 1610 by the electronic device 1600 based on a location of a virtual light source, according to an exemplary embodiment.
  • the electronic device 1600 may display one or more work windows 1610 for outputting a result of performing an operation of the electronic device 1600 or receiving a user input. According to an embodiment, the electronic device 1600 may apply an image effect related to the work window 1610 to the image according to the position of the virtual light source.
  • the electronic device 1600 when the position of the virtual light source 1621 is the upper left of the display of the electronic device 1600, the electronic device 1600 applies a shadow effect 1641 to the lower right of the surroundings of the work window 1610. Can be displayed.
  • the electronic device 1600 may display the shadow effect 1642 on the upper left of the periphery of the work window 1610.
  • FIG. 17 is a diagram illustrating a process of rendering an image by an electronic device (eg, the electronic device 10 of FIG. 1 ), according to an exemplary embodiment.
  • an electronic device eg, the electronic device 10 of FIG. 1
  • the electronic device may acquire a basic image 1711 including image data to be displayed on a display (eg, the display 100 of FIG. 1) when unfolded.
  • the electronic device may execute a photo management application and receive a user input for selecting one or more of images stored in the electronic device from a user.
  • the electronic device may receive the basic image 1711 from an external device.
  • the electronic device may divide the base image 1711 into a background area 1721 and an ROI 1722.
  • the electronic device may configure a background layer including the background area 1721 and an object of interest layer including the ROI 1722 from the base image 1711.
  • the region of interest may mean a region including a visual object (eg, a shape of a person) that a user can recognize as a main object in an image.
  • the electronic device may extract an edge from the base image and classify the object based on feature points of the shape of the object recognized based on the edge.
  • the electronic device may select an object to configure the ROI from among recognized objects based on the object classification result.
  • the electronic device may determine a first image effect related to the background area.
  • the first image effect may be, for example, that the luminance at which the background area is output gradually increases as the electronic device is unfolded according to information on the display state.
  • the electronic device may determine a second image effect related to the ROI.
  • the second image effect may be to render an image based on at least one of information related to an ROI, information related to a display state, or a location of a virtual light source.
  • the electronic device gradually lengthens the shadow object 1742, which is the shape of a shadow that appears when light is irradiated from the position of a virtual light source, based on the position where the region of interest is located in the image. You can render the image so that it changes or fades.
  • the electronic device may apply the first image effect and the second image effect to the base image 1711.
  • the electronic device may combine a background layer 1731 to which a first image effect is applied and an object of interest layer 1741 to which a second image effect is applied (eg, a shadow object 1742 is displayed). .
  • the electronic device may render the image 1761 to which the first image effect and the second image effect are applied, and output the rendered image through a display.
  • an image 1761 to which a first image effect and a second image effect are applied may include a background area 1762 displayed based on the first image effect and an ROI 1764 in which a visual object is displayed. I can.
  • the image 1761 to which the first image effect and the second image effect are applied may include the region of interest 1763 or a shadow object 1764 displayed around the region of interest 1763.
  • FIG. 18 illustrates an example of an electronic device 1800 that outputs a rendered image, according to an embodiment.
  • the electronic device 1800 when the electronic device 1800 starts to unfold in a folded state (1801), the electronic device 1800 may activate a deactivated display and output a designated image through the display.
  • the electronic device 1800 may output the background area 1811 of the image with low luminance.
  • the electronic device may output the background area 1811 of an image with luminance corresponding to 20 percent of the original luminance value.
  • the electronic device 1800 may determine the location of the virtual light source 1820. When the electronic device 1800 is further unfolded (when the folding angle is increased), the electronic device 1800 may gradually increase the luminance at which the background area 1811 is output. The electronic device 1800 may display the shadow object 1822 according to the direction and length of a shadow that appears when light is irradiated on the visual object 1821 in the ROI from the location of the virtual light source 1820.
  • the electronic device 1800 may display the background area 1811 with the original luminance value. Referring to FIG. 18, when the electronic device 1800 is fully unfolded (1803 ), the electronic device 1800 may display a shadow object 1822 whose length is longer.
  • FIG. 19 is a block diagram of an electronic device 1901 in a network environment 1900 according to various embodiments.
  • the electronic device 1901 communicates with the electronic device 1902 through a first network 1998 (for example, a short-range wireless communication network), or a second network 1999 It is possible to communicate with the electronic device 1904 or the server 1908 through (eg, a long-distance wireless communication network).
  • the electronic device 1901 may communicate with the electronic device 1904 through the server 1908.
  • the electronic device 1901 includes a processor 1920, a memory 1930, an input device 1950, an audio output device 1955, a display device 1960, an audio module 1970, a sensor module ( 1976), interface (1977), haptic module (1979), camera module (1980), power management module (1988), battery (1989), communication module (1990), subscriber identification module (1996), or antenna module (1997) ) Can be included.
  • at least one of these components may be omitted or one or more other components may be added to the electronic device 1901.
  • some of these components may be implemented as one integrated circuit.
  • the sensor module 1976 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 1960 eg, a display.
  • the processor 1920 for example, executes software (for example, a program 1940) to implement at least one other component (for example, a hardware or software component) of the electronic device 1901 connected to the processor 1920. It can be controlled and can perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 1920 may store commands or data received from other components (eg, the sensor module 1976 or the communication module 1990) to the volatile memory 1932 The command or data stored in the volatile memory 1932 may be processed, and result data may be stored in the nonvolatile memory 1934.
  • software for example, a program 1940
  • the processor 1920 may store commands or data received from other components (eg, the sensor module 1976 or the communication module 1990) to the volatile memory 1932
  • the command or data stored in the volatile memory 1932 may be processed, and result data may be stored in the nonvolatile memory 1934.
  • the processor 1920 is a main processor 1921 (eg, a central processing unit or an application processor), and a secondary processor 1923 (eg, a graphics processing unit, an image signal processor) that can be operated independently or together with , A sensor hub processor, or a communication processor). Additionally or alternatively, the secondary processor 1923 may be configured to use lower power than the main processor 1921, or to be specialized for a designated function. The secondary processor 1923 may be implemented separately from or as a part of the main processor 1921.
  • main processor 1921 eg, a central processing unit or an application processor
  • a secondary processor 1923 eg, a graphics processing unit, an image signal processor
  • the secondary processor 1923 may be configured to use lower power than the main processor 1921, or to be specialized for a designated function.
  • the secondary processor 1923 may be implemented separately from or as a part of the main processor 1921.
  • the coprocessor 1923 is, for example, on behalf of the main processor 1921 while the main processor 1921 is in an inactive (eg, sleep) state, or the main processor 1921 is active (eg, an application execution). ) While in the state, together with the main processor 1921, at least one of the components of the electronic device 1901 (for example, the display device 1960, the sensor module 1976, or the communication module 1990) It is possible to control at least some of the functions or states related to.
  • the coprocessor 1923 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, a camera module 1980 or a communication module 1990). have.
  • the memory 1930 may store various data used by at least one component of the electronic device 1901 (eg, the processor 1920 or the sensor module 1976).
  • the data may include, for example, software (eg, a program 1940) and input data or output data for commands related thereto.
  • the memory 1930 may include a volatile memory 1932 or a nonvolatile memory 1934.
  • the program 1940 may be stored as software in the memory 1930, and may include, for example, an operating system 1942, middleware 1944, or an application 1946.
  • the input device 1950 may receive a command or data to be used for a component (eg, the processor 1920) of the electronic device 1901 from outside (eg, a user) of the electronic device 1901.
  • the input device 1950 may include, for example, a microphone, a mouse, a keyboard, or a digital pen (eg, a stylus pen).
  • the sound output device 1955 may output an sound signal to the outside of the electronic device 1901.
  • the sound output device 1955 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of it.
  • the display device 1960 may visually provide information to the outside of the electronic device 1901 (for example, a user).
  • the display device 1960 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 1960 may include a touch circuitry set to sense a touch, or a sensor circuit (eg, a pressure sensor) set to measure the strength of a force generated by the touch. have.
  • the audio module 1970 may convert sound into an electric signal, or conversely, convert an electric signal into sound. According to an embodiment, the audio module 1970 acquires sound through the input device 1950, the sound output device 1955, or an external electronic device directly or wirelessly connected to the electronic device 1901 (for example, Sound may be output through the electronic device 1902) (for example, a speaker or headphones).
  • the sensor module 1976 detects an operating state (eg, power or temperature) of the electronic device 1901, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 1976 may include, for example, a gesture sensor, a gyro sensor, an atmospheric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 1977 may support one or more designated protocols that may be used to connect the electronic device 1901 to an external electronic device (eg, the electronic device 1902) directly or wirelessly.
  • the interface 1977 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card interface
  • audio interface audio interface
  • the connection terminal 1978 may include a connector through which the electronic device 1901 can be physically connected to an external electronic device (eg, the electronic device 1902).
  • the connection terminal 1978 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 1979 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that a user can perceive through a tactile or motor sense.
  • the haptic module 1979 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 1980 may capture a still image and a video.
  • the camera module 1980 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 1988 may manage power supplied to the electronic device 1901.
  • the power management module 388 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 1989 may supply power to at least one component of the electronic device 1901.
  • the battery 1989 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 1990 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 1901 and an external electronic device (eg, electronic device 1902, electronic device 1904, or server 1908). It is possible to support establishment and communication through the established communication channel.
  • the communication module 1990 operates independently of the processor 1920 (eg, an application processor) and may include one or more communication processors supporting direct (eg, wired) communication or wireless communication.
  • the communication module 1990 is a wireless communication module 1992 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 1994 (eg : A LAN (local area network) communication module, or a power line communication module) may be included.
  • a corresponding communication module is a first network 1998 (for example, a short-range communication network such as Bluetooth, WiFi direct or IrDA (infrared data association)) or a second network 1999 (for example, a cellular network, the Internet, or It can communicate with external electronic devices through a computer network (for example, a telecommunication network such as a LAN or WAN).
  • the wireless communication module 1992 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 1996 in a communication network such as the first network 1998 or the second network 1999.
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the antenna module 1997 may transmit a signal or power to the outside (eg, an external electronic device) or receive from the outside.
  • the antenna module may include one antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 1997 may include a plurality of antennas. In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 1998 or the second network 1999 is, for example, from the plurality of antennas by the communication module 1990. Can be chosen.
  • the signal or power may be transmitted or received between the communication module 1990 and an external electronic device through the at least one selected antenna.
  • other components eg, RFIC
  • other than the radiator may be additionally formed as part of the antenna module 1997.
  • At least some of the components are connected to each other through a communication method (e.g., a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI))) between peripheral devices and signals ( E.g. commands or data) can be exchanged with each other.
  • a communication method e.g., a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 1901 and the external electronic device 1904 through the server 1908 connected to the second network 1999.
  • Each of the electronic devices 1902 and 1904 may be a device of the same or different type as the electronic device 1901.
  • all or part of the operations executed by the electronic device 1901 may be executed by one or more of the external electronic devices 1902, 1904, or 1908.
  • the electronic device 1901 may perform the function or service by itself, In addition or in addition, it is possible to request one or more external electronic devices to perform the function or at least part of the service.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 1901.
  • the electronic device 1901 may process the result as it is or additionally and provide it as at least part of a response to the request.
  • cloud computing distributed computing, or client-server computing technology may be used.
  • Electronic devices may be devices of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • phrases such as “at least one of, B, or C” may include any one of the items listed together in the corresponding one of the phrases, or all possible combinations thereof.
  • Terms such as “first”, “second”, or “first” or “second” may be used simply to distinguish the component from other corresponding components, and the components may be referred to in other aspects (eg, importance or Order) is not limited.
  • Some (eg, first) component is referred to as “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When mentioned, it means that any of the above components can be connected to the other components directly (eg by wire), wirelessly, or via a third component.
  • module used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits.
  • the module may be an integrally configured component or a minimum unit of the component or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 1936 or external memory 1938) that can be read by a machine (eg, electronic device 1901). It may be implemented as software (eg, a program 1940) including them.
  • the processor eg, the processor 1920
  • the device eg, the electronic device 1901
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • non-transient only means that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic wave), and this term refers to the case where data is semi-permanently stored in the storage medium. It does not distinguish between temporary storage cases.
  • a signal e.g., electromagnetic wave
  • a method according to various embodiments disclosed in the present document may be provided by being included in a computer program product.
  • Computer program products can be traded between sellers and buyers as commodities.
  • Computer program products are distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play StoreTM) or two user devices (e.g. It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones).
  • a device e.g. compact disc read only memory (CD-ROM)
  • an application store e.g. Play StoreTM
  • two user devices e.g. It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones).
  • at least a portion of the computer program product may be temporarily stored or temporarily generated in a storage medium that can be read by a device such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each component (eg, module or program) of the above-described components may include a singular number or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are sequentially, parallel, repeatedly, or heuristically executed, or one or more of the above operations are executed in a different order or omitted. Or one or more other actions may be added.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Mathematical Physics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

제1 축을 중심으로 접힐 수 있는 하우징, 상기 제1 축과 평행한 제2 축을 중심으로 접힐 수 있는 폴더블 디스플레이, 상기 하우징 또는 폴더블 디스플레이 중 적어도 하나의 디스플레이 상태에 관련된 정보를 감지할 수 있는 접힘 센서 회로, 상기 폴더블 디스플레이 및 상기 접힘 센서 회로와 연결된 프로세서 및 상기 프로세서와 연결된 메모리를 포함하는 전자 장치가 개시된다. 전자 장치는 가상 광원의 위치에 기초하여 영상을 디스플레이할 수 있다. 이 외에도 명세서를 통해 파악되는 다양한 실시 예가 가능하다.

Description

전자 장치 및 그 영상을 출력하는 방법
본 문서에서 개시되는 실시 예들은, 전자 장치의 디스플레이 기술과 관련된다.
전자 장치는 이메일, 웹 문서, 또는 노트 기능과 같은 다양한 콘텐트를 제공하고 있으며, 전자 장치의 소형화에 따른 모바일 기기가 널리 보급되었다. 전자 장치의 소형화와는 반대로, 모바일 기기의 보다 큰 화면에 대한 수요도 증가함에 따라 전자 장치의 크기 또한 증가하고 있다. 전자 장치의 크기가 증가하면 사용자는 큰 화면을 통해 게임이나 영상물과 같은 콘텐트를 향유할 수 있다. 또한, 사용자는 큰 사이즈의 사용자 인터페이스를 통해서 전자 장치를 용이하게 제어할 수 있다. 이러한 이점과는 반대로, 전자 장치의 크기가 증가하면 모바일 기기의 휴대성은 낮아진다.
이러한 문제점을 해결하기 위해 폴더블(foldable) 디스플레이를 포함하는 전자 장치가 개발되고 있다. 폴더블 디바이스는 힌지 구조를 가진 하우징과 하우징에 결합된 플렉서블 디스플레이를 이용하여 구현될 수 있다. 폴더블 디스플레이를 구비하는 전자 장치는 전자 장치가 접히는 축인 폴딩 축을 기준으로 폴더블 디스플레이가 접히는 방향에 따라 인폴딩(in-folding) 방식과 아웃폴딩(out-folding) 방식으로 구분될 수 있다.
디스플레이를 구비한 전자 장치는 잠금 화면이나 홈 화면 등을 사용자에게 제공하기 위한 영상을 디스플레이를 통해서 출력할 수 있다. 영상을 출력함에 있어서, 기존의 디스플레이와 다른 형태를 가지는 폴더블 디스플레이를 구비한 전자 장치가 제공됨에 따라서, 새로운 형태를 가지는 폴더블 디스플레이를 이용하여 사용자에게 새로운 사용자 경험을 제공할 수 있는 영상 출력 방식이 요구된다. 본 문서에서 개시되는 실시 예들은 이러한 요구를 충족하기 위한 전자 장치 및 방법을 제공한다.
본 문서에 개시되는 일 실시 예에 따른 전자 장치는, 제1 축을 중심으로 접힐 수 있는 하우징, 상기 제1 축과 평행한 제2 축을 중심으로 접힐 수 있는 폴더블 디스플레이, 상기 하우징 또는 폴더블 디스플레이 중 적어도 하나의 디스플레이 상태에 관련된 정보를 감지할 수 있는 접힘 센서 회로, 상기 폴더블 디스플레이 및 상기 접힘 센서 회로와 연결된 프로세서 및 상기 프로세서와 연결된 메모리를 포함하며, 상기 메모리는, 실행시에 상기 프로세서가, 상기 전자 장치와 관련된 상황 정보에 기초하여 상기 폴더블 디스플레이에 대한 가상 광원의 위치를 결정하며, 상기 접힘 센서 회로를 통해서 상기 하우징 또는 폴더블 디스플레이 중 상기 디스플레이 상태에 관련된 정보의 변화가 감지된 경우, 상기 디스플레이 상태에 관련된 정보 및 상기 가상 광원의 위치에 기초하여 영상을 렌더링하고, 상기 렌더링된 영상을 상기 폴더블 디스플레이를 통해서 출력하도록 하는 인스트럭션들을 저장할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 방법은, 전자 장치와 관련된 상황 정보를 획득하는 동작, 상기 상황 정보에 기초하여 폴더블 디스플레이에 대한 가상 광원의 위치를 결정하는 동작, 상기 전자 장치의 하우징 또는 폴더블 디스플레이 중 적어도 하나의 디스플레이 상태에 관련된 정보를 감지하는 동작, 상기 디스플레이 상태에 관련된 정보의 변화가 감지된 경우, 디스플레이 상태에 관련된 정보 및 상기 가상 광원의 위치에 기초하여 영상을 렌더링하는 동작 및 상기 렌더링된 영상을 상기 폴더블 디스플레이를 통해서 출력하는 동작을 포함할 수 있다.
또한, 본 문서에 개시되는 일 실시 예에 따른 저장 매체는, 전자 장치가 전자 장치와 관련된 상황 정보를 획득하는 동작, 상기 상황 정보에 기초하여 폴더블 디스플레이에 대한 가상 광원의 위치를 결정하는 동작, 상기 전자 장치의 하우징 또는 폴더블 디스플레이 중 적어도 하나의 디스플레이 상태에 관련된 정보를 감지하는 동작, 상기 디스플레이 상태에 관련된 정보의 변화가 감지된 경우, 디스플레이 상태에 관련된 정보 및 상기 가상 광원의 위치에 기초하여 영상을 렌더링하는 동작 및 상기 렌더링된 영상을 상기 폴더블 디스플레이를 통해서 출력하는 동작을 수행하도록 하는 프로그램을 저장한 것일 수 있다.
본 문서에 개시되는 실시 예들에 따르면, 사용자에게 새로운 심미감을 제공할 수 있는 전자 장치 및 방법을 제공할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도 1은 일 실시 예에 따른, 펼쳐진(unfolded) 모드의 전자 장치를 나타낸다.
도 2는 일 실시 예에 따른, 접혀진(folded) 모드의 전자 장치를 나타낸다.
도 3은 일 실시 예에 따른, 테이블 모드의 전자 장치를 나타낸다.
도 4는 일 실시 예에 따른 전자 장치의 구성도를 나타낸다.
도 5는 일 실시 예에 따른, 전자 장치가 영상을 출력하는 프로세스를 도시한 흐름도이다.
도 6은 다른 실시 예에 따른, 전자 장치가 영상을 출력하는 프로세스를 도시한 흐름도이다.
도 7은 일 실시 예에 따른, 전자 장치가 가상 광원의 위치를 결정하는 방법을 개념적으로 나타낸다.
도 8은 다른 실시 예에 따른, 전자 장치가 가상 광원의 위치를 결정하는 방법을 개념적으로 나타낸다.
도 9는, 일 실시 예에 따라, 시각에 따라 변화하는 가상 광원의 위치를 개념적으로 나타낸다.
도 10은, 일 실시 예에 따라, 가상 광원의 위치에 따라 그림자 영역 및 그림자 객체를 렌더링하는 전자 장치의 예시를 나타낸다.
도 11은, 일 실시 예에 따른, 전자 장치가 펼쳐 질 때 놓여진 방향(orientation)에 따라서 영상을 표시하는 전자 장치의 예시를 나타낸다.
도 12는, 일 실시 예에 따른, 접힘 각도에 따라 영상을 출력하는 전자 장치의 예시를 나타낸다.
도 13은, 일 실시 예에 따라, 접힘 각도에 따라 시각적 객체를 포함하는 영상을 출력하는 전자 장치의 예시를 나타낸다.
도 14는, 일 실시 예에 따라, 전자 장치가 복수의 가상 광원에 기초하여 그림자 객체를 출력하는 방법을 나타낸다.
도 15는, 일 실시 예에 따라, 전자 장치가 사용자의 위치에 기초하여 영상을 출력하는 방법을 설명하기 위한 도면이다.
도 16은, 일 실시 예에 따라, 전자 장치가 가상 광원의 위치에 기초하여 작업 창을 포함하는 영상을 출력하는 방법을 설명하기 위한 도면이다.
도 17은, 일 실시 예에 따라, 전자 장치가 영상을 렌더링하는 프로세스를 설명하기 위한 도면이다.
도 18은, 일 실시 예에 따라, 렌더링된 영상을 출력하는 전자 장치의 예시를 나타낸다.
도 19는 다양한 실시 예에 따른 네트워크 환경 내의 전자 장치를 나타낸다.
도면의 설명과 관련하여, 동일 또는 유사한 구성요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다.
도 1은 일 실시 예에 따른, 펼쳐진(unfolded) 모드의 전자 장치(10)를 나타낸다. 도 2는 일 실시 예에 따른, 접힌(folded) 모드의 전자 장치를 나타낸다. 일 실시 예에 따른 전자 장치의 접힘과 관련된 디스플레이 상태는 도 1에 도시된 바와 같이 평평하게(flat) 펼쳐진 상태, 도 2에 도시된 바와 같이 접힌(folded) 상태 및 도 3에 도시된 바와 같이 펼쳐진 상태와 접힌 상태의 중간인 상태 중 적어도 하나를 가질 수 있다. 본 문서에서, 도 1에 도시된 바와 같이 펼쳐진 상태를 전자 장치의 펼침 모드(unfolded mode)라고 언급할 수 있다. 또한, 본 문서에서 도 2에 도시된 바와 같이 접힌 상태를 전자 장치의 접힘 모드(folded mode)라고 언급할 수 있다. 또한, 본 문서에서 도 3에 도시된 바와 같은 펼쳐진 상태와 접힌 상태의 중간인 상태를 테이블 모드(table mode)라고 언급할 수 있다. 예를 들어, 테이블 모드는 하우징의 접힘 각도가 120도 내지 140도 정도 사이의 각도인 상태로서, 사용자가 테이블 위에 전자 장치(10)를 올려 두고 사용하기에 적절한 디스플레이 상태일 수 있다.
도 1 및 도 2를 참조하면, 일 실시 예에서, 전자 장치는 폴더블 하우징(500), 상기 폴더블 하우징의 접힘 가능한 부분을 커버하는 힌지 커버(530), 및 상기 폴더블 하우징(500)에 의해 형성된 공간 내에 배치된 플렉서블(flexible) 또는 폴더블(foldable) 디스플레이(100)(이하, 줄여서, “디스플레이”(100))를 포함할 수 있다. 본 문서에서는 디스플레이(100)가 배치된 면을 제1 면 또는 전자 장치(10)의 전면으로 정의한다. 그리고, 전면의 반대 면을 제2 면 또는 전자 장치(10)의 후면으로 정의한다. 또한 전면과 후면 사이의 공간을 둘러싸는 면을 제3 면 또는 전자 장치(10)의 측면으로 정의한다.
일 실시 예에서, 상기 폴더블 하우징(500)은, 제1 하우징 구조물(510), 센서 영역(524)을 포함하는 제2 하우징 구조물(520), 제1 후면 커버(580), 및 제2 후면 커버(590)를 포함할 수 있다. 전자 장치(10)의 폴더블 하우징(500)은 도 1 및 도 2에 도시된 형태 및 결합으로 제한되지 않으며, 다른 형상이나 부품의 조합 및/또는 결합에 의해 구현될 수 있다. 예를 들어, 다른 실시 예에서는, 제1 하우징 구조물(510)과 제1 후면 커버(580)가 일체로 형성될 수 있고, 제2 하우징 구조물(520)과 제2 후면 커버(590)가 일체로 형성될 수 있다.
도시된 실시 예에서, 제1 하우징 구조물(510)과 제2 하우징 구조물(520)은 폴딩 축(A 축)을 중심으로 양측에 배치되고, 상기 폴딩 축 A에 대하여 대칭이거나, 대칭에 유사한 형상을 가질 수 있다. 후술하는 바와 같이 제1 하우징 구조물(510) 및 제2 하우징 구조물(520)은 전자 장치(10)의 디스플레이 상태가 펼쳐진 상태인지, 접힌 상태인지, 또는 중간 상태인지 여부에 따라 서로 이루는 각도나 거리가 달라질 수 있다. 본 문서에서, 전자 장치(10)의 하우징 또는 디스플레이 중 적어도 하나의 접혀진 정도에 관련된 상태를 전자 장치(10)의 디스플레이 상태라고 언급할 수 있다. 도시된 실시 예에서, 제2 하우징 구조물(520)은, 제1 하우징 구조물(510)과 달리, 다양한 센서들이 배치되는 상기 센서 영역(524)을 추가로 포함하지만, 이외의 영역에서는 상호 대칭적인 형상을 가질 수 있다.
일 실시 예에서, 제1 하우징 구조물(510) 및 제2 하우징 구조물(520)의 적어도 일부는 디스플레이(100)를 지지하기 위해 선택된 크기의 강성을 갖는 금속 재질이나 비금속 재질로 형성될 수 있다.
일 실시 예에서, 상기 센서 영역(524)은 제2 하우징 구조물(520)의 일 코너에 인접하여 소정 영역을 가지도록 형성될 수 있다. 다만 센서 영역(524)의 배치, 형상, 및 크기는 도시된 예시에 한정되지 아니한다. 예를 들어, 다른 실시 예에서 센서 영역(524)은 제2 하우징 구조물(520)의 다른 코너 혹은 상단 코너와 하단 코너 사이의 임의의 영역에 제공될 수 있다. 일 실시 예에서, 전자 장치(10)에 내장된 다양한 기능을 수행하기 위한 부품들(components)이 센서 영역(524)을 통해, 또는 센서 영역(524)에 마련된 하나 이상의 개구(opening)를 통해 전자 장치(10)의 전면에 노출될 수 있다. 다양한 실시 예에서, 상기 부품들은 다양한 종류의 센서들을 포함할 수 있다. 상기 센서는, 예를 들어, 전면 카메라, 리시버 또는 근접 센서 중 적어도 하나를 포함할 수 있다.
상기 제1 후면 커버(580)는 상기 전자장치의 후면에 상기 폴딩 축의 일편에 배치되고, 예를 들어, 실질적으로 직사형인 가장자리(periphery)를 가질 수 있으며, 제1 하우징 구조물(510)에 의해 상기 가장자리가 감싸질 수 있다. 유사하게, 상기 제2 후면 커버(590)는 상기 전자장치의 후면의 상기 폴딩 축의 다른 편에 배치되고, 제2 하우징 구조물(520)에 의해 그 가장자리가 감싸질 수 있다.
도시된 실시 예에서, 제1 후면 커버(580) 및 제2 후면 커버(590)는 상기 폴딩 축(A 축)을 중심으로 실질적으로 대칭적인 형상을 가질 수 있다. 다만, 제1 후면 커버(580) 및 제2 후면 커버(590)가 반드시 상호 대칭적인 형상을 가지는 것은 아니며, 다른 실시 예에서, 전자 장치(10)는 다양한 형상의 제1 후면 커버(580) 및 제2 후면 커버(590)를 포함할 수 있다. 또 다른 실시 예에서, 제1 후면 커버(580)는 제1 하우징 구조물(510)과 일체로 형성될 수 있고, 제2 후면 커버(590)는 제2 하우징 구조물(520)과 일체로 형성될 수 있다.
일 실시 예에서, 제1 후면 커버(580), 제2 후면 커버(590), 제1 하우징 구조물(510), 및 제2 하우징 구조물(520)은 전자 장치(10)의 다양한 부품들(예: 인쇄회로기판, 또는 배터리)이 배치될 수 있는 공간을 형성할 수 있다. 일 실시 예에서, 전자 장치(10)의 후면에는 하나 이상의 부품(components)이 배치되거나 시각적으로 노출될 수 있다. 예를 들어, 제1 후면 커버(580)의 제1 후면 영역(582)을 통해 서브 디스플레이(190)의 적어도 일부가 시각적으로 노출될 수 있다. 다른 실시 예에서, 제2 후면 커버(590)의 제2 후면 영역(592)을 통해 하나 이상의 부품 또는 센서가 시각적으로 노출될 수 있다. 다양한 실시 예에서 상기 센서는 근접 센서 및/또는 후면 카메라를 포함할 수 있다.
도 2를 참조하면, 상기 힌지 커버(530)는, 제1 하우징 구조물(510)과 제2 하우징 구조물(520) 사이에 배치되어, 내부 부품 (예를 들어, 힌지 구조)을 가릴 수 있도록 구성될 수 있다. 일 실시 예에서, 힌지 커버(530)는, 상기 전자 장치(10)의 상태(펼쳐진 상태(flat state) 또는 접힌 상태(folded state)에 따라, 제1 하우징 구조물(510) 및 제2 하우징 구조물(520)의 일부에 의해 가려지거나, 외부로 노출될 수 있다.
일례로, 도 1에 도시된 바와 같이 전자 장치(10)의 디스플레이 상태가 펼쳐진 상태(예: 펼침 모드)인 경우, 힌지 커버(530)는 제1 하우징 구조물(510) 및 제2 하우징 구조물(520)에 의해 가려져 노출되지 않을 수 있다. 일례로, 도 2에 도시된 바와 같이 전자 장치(10)의 디스플레이 상태가 접힌 상태(예: 완전히 접힌 상태(fully folded state), 접힘 모드)인 경우, 힌지 커버(530)는 제1 하우징 구조물(510) 및 제2 하우징 구조물(520) 사이에서 외부로 노출될 수 있다. 일례로, 제1 하우징 구조물(510) 및 제2 하우징 구조물(520)이 소정의 각도를 이루는(folded with a certain angle) 중간 상태(intermediate state)(예: 테이블 모드)인 경우, 힌지 커버(530)는 제1 하우징 구조물(510) 및 제2 하우징 구조물(520)의 사이에서 외부로 일부 노출될 수 있다. 다만 이 경우 노출되는 영역은 완전히 접힌 상태보다 적을 수 있다. 일 실시 예에서, 힌지 커버(530)는 곡면을 포함할 수 있다.
상기 디스플레이(100)는, 상기 폴더블 하우징(500)에 의해 형성된 공간 상에 배치될 수 있다. 예를 들어, 디스플레이(100)는 폴더블 하우징(500)에 의해 형성되는 리세스(recess) 상에 안착되며, 전자 장치(10)의 전면의 대부분을 구성할 수 있다.
따라서, 전자 장치(10)의 전면은 디스플레이(100) 및 디스플레이(100)에 인접한 제1 하우징 구조물(510)의 일부 영역 및 제2 하우징 구조물(520)의 일부 영역을 포함할 수 있다. 그리고, 전자 장치(10)의 후면은 제1 후면 커버(580), 제1 후면 커버(580)에 인접한 제1 하우징 구조물(510)의 일부 영역, 제2 후면 커버(590) 및 제2 후면 커버(590)에 인접한 제2 하우징 구조물(520)의 일부 영역을 포함할 수 있다.
상기 디스플레이(100)는, 적어도 일부 영역이 평면 또는 곡면으로 변형될 수 있는 디스플레이를 의미할 수 있다. 일 실시 예에서, 디스플레이(100)는 폴딩 영역(103), 폴딩 영역(103)을 기준으로 일측(도 1에 도시된 폴딩 영역(103)의 좌측)에 배치되는 제1 영역(101) 및 타측(도 1에 도시된 폴딩 영역(103)의 우측)에 배치되는 제2 영역(102)을 포함할 수 있다.
상기 도 1에 도시된 디스플레이(100)의 영역 구분은 예시적인 것이며, 디스플레이(100)는 구조 또는 기능에 따라 복수 (예를 들어, 4개 이상 혹은 2개)의 영역으로 구분될 수도 있다. 일례로, 도 1에 도시된 실시 예에서는 y축에 평행하게 연장되는 폴딩 영역(103) 또는 폴딩 축(A축)에 의해 디스플레이(100)의 영역이 구분될 수 있으나, 다른 실시 예에서 디스플레이(100)는 다른 폴딩 영역(예: x 축에 평행한 폴딩 영역) 또는 다른 폴딩 축(예: x 축에 평행한 폴딩 축)을 기준으로 영역이 구분될 수도 있다.
제1 영역(101)과 제2 영역(102)은 폴딩 영역(103)을 중심으로 전체적으로 대칭인 형상을 가질 수 있다. 다만, 제2 영역(102)은, 제1 영역(101)과 달리, 센서 영역(524)의 존재에 따라 컷(cut)된 노치(notch)를 포함할 수 있으나, 이외의 영역에서는 상기 제 1 영역(101)과 대칭적인 형상을 가질 수 있다. 다시 말해서, 제1 영역(101)과 제2 영역(102)은 서로 대칭적인 형상을 갖는 부분과, 서로 비대칭적인 형상을 갖는 부분을 포함할 수 있다.
이하, 전자 장치(10)의 디스플레이 상태(예: 펼침 모드, 접힘 모드, 또는 테이블 모드)에 따른 제1 하우징 구조물(510) 및 제2 하우징 구조물(520)의 동작과 디스플레이(100)의 각 영역을 설명한다.
일 실시 예에서, 전자 장치(10)의 디스플레이 상태가 펼쳐진 상태(flat state)(예: 도 1)인 경우, 제1 하우징 구조물(510) 및 제2 하우징 구조물(520)은 180도의 각도를 이루며 동일 방향을 향하도록 배치될 수 있다. 디스플레이(100)의 제1 영역(101)의 표면과 제2 영역(102)의 표면은 서로 180도를 형성하며, 동일한 방향(예: 전자 장치의 전면 방향)을 향할 수 있다. 폴딩 영역(103)은 제1 영역(101) 및 제2 영역(102)과 동일 평면을 형성할 수 있다.
일 실시 예에서, 전자 장치(10)의 디스플레이 상태가 접힌 상태(folded state)(예: 도 2)인 경우, 제1 하우징 구조물(510) 및 제2 하우징 구조물(520)은 서로 마주보게 배치될 수 있다. 디스플레이(100)의 제1 영역(101)의 표면과 제2 영역(102)의 표면은 서로 좁은 각도(예: 0도에서 10도 사이)를 형성하며, 서로 마주볼 수 있다. 폴딩 영역(103)은 적어도 일부가 소정의 곡률을 가지는 곡면으로 이루어질 수 있다.
일 실시 예에서, 전자 장치(10)의 디스플레이 상태가 중간 상태(intermediate state)(예: 도 3)인 경우, 제1 하우징 구조물(510) 및 제2 하우징 구조물(520)은 서로 소정의 각도(a certain angle)로 배치될 수 있다. 디스플레이(100)의 제1 영역(101)의 표면과 제2 영역(102)의 표면은 접힌 상태보다 크고 펼쳐진 상태보다 작은 각도를 형성할 수 있다. 폴딩 영역(103)은 적어도 일부가 소정의 곡률을 가지는 곡면으로 이루어질 수 있으며, 이 때의 곡률은 접힌 상태(folded state)인 경우보다 작을 수 있다.
도 3은 일 실시 예에 따른, 테이블 모드의 전자 장치를 나타낸다.
도 3을 참조하면, 전자 장치(10)(예: 도 1의 전자 장치(10))는 접힌 상태와 펼쳐진 상태의 중간 상태에서 고정될 수 있다. 예를 들어, 힌지 커버(530)의 내부에 포함된 힌지 구조물은 제1 하우징 구조물(510)과 제2 하우징 구조물을 전자 장치(10)의 접힌 상태와 펼쳐진 상태의 중간 상태로 고정할 수 있다. 다른 예를 들어, 힌지 구조물은 제1 하우징 구조물(510)과 제2 하우징 구조물(520)이 상호 지정된 접힘 각도(예: θ = 140도)를 이루도록 제1 하우징 구조물(510)과 제2 하우징 구조물(520)을 고정할 수 있다. 본 문서에서, 제1 하우징 구조물(510)과 제2 하우징 구조물(520)이 이루는 각도 또는 제1 영역(101) 및 제2 영역(102)이 이루는 각도는 접힘 각도라고 언급될 수 있다. 상기 힌지 구조물이 제1 하우징 구조물(510)과 제2 하우징 구조물(520) 간의 고정하는 방식은 당업자가 종래기술로부터 도출 가능하므로, 이에 대한 세부설명은 생략한다. 이하의 문서에서는 제1 하우징 구조물(510)과 제2 하우징 구조물(520)이 상호 지정된 각도를 이루도록 고정된 상태를 전자 장치(10)가 지정된 각도로 접힌 상태로 칭한다.
일 실시예에 따르면, 전자 장치(10)는 적어도 하나의 센서 회로(320)를 포함할 수 있다. 적어도 하나의 센서 회로(320)는 전자 장치(10)의 디스플레이 상태(예: 펼쳐진 상태, 접힌 상태 및 지정된 각도로 접힌 상태)에 관련된 정보를 감지할 수 있는 접힘 센서 회로를 포함할 있다. 예를 들어, 폴딩 축(A)에 기준한 전자 장치(10)의 좌측 영역(311)에는 홀 센서(321)가 배치되고, 전자 장치(10)의 우측 영역(312)에는, 전자 장치(10)의 접힌 상태에서 홀 센서(321)과 대면하도록, 마그넷(323)이 배치될 수 있다. 홀 센서(321)는 전자 장치(10)가 펼쳐진 상태에서는 마그넷(323)과 대면하지 못함에 따라 마그넷(323)의 자계를 감지하지 못하고, 전자 장치(10)가 접히면, 마그넷(323)의 적어도 일부와 대면하게 되므로, 마그넷(323)의 자계를 감지할 수 있다. 홀 센서(321)는 전자 장치(10)가 더 많이 접힐수록 마그넷(323)의 자계 강도를 크게 감지할 수 있다.
다른 예를 들면, 접힘 센서 회로는 전자 장치(10)의 힌지 부분의 동작에 따른 접힘 각도(예: 각도 θ)를 감지할 수 있는 각도 센서(330)를 포함할 수 있다. 또 다른 예를 들면, 접힘 센서 회로는 제1 하우징 구조물(510)에 포함된 가속도 센서 또는 자이로 센서 중 적어도 하나와, 제2 하우징 구조물(520)에 포함된 가속도 센서 또는 자이로 센서 중 적어도 하나를 포함할 수도 있다.
전자 장치(10)는 홀 센서(321)를 이용하여 감지한 자계 강도가 제1 지정된 강도 이상이면, 전자 장치(10)의 디스플레이 상태가 접힌 상태(예: 접힘 모드)인 것으로 결정할 수 있다. 전자 장치(10)는 홀 센서(321)를 이용하여 감지된 자계 감도가 제2 지정된 강도(예: 0) 미만이면, 전자 장치(10)의 디스플레이 상태가 펼쳐진 상태(예: 펼침 모드)인 것으로 결정할 수 있다. 전자 장치(10)는 홀 센서(321)에 의해 감지된 자계 감도가 지정된 범위에 속하면, 전자 장치(10)의 디스플레이 상태가 지정된 각도로 접힌 상태(예: 테이블 모드)인 것으로 결정할 수 있다. 상기 지정된 범위는 전자 장치(10)가 지정된 각도로 접힌 상태인 조건에서 상기 자계 강도를 측정하는 실험을 통하여 결정될 수 있다.
일 실시예에 따르면, 전자 장치(10)는 전자 장치(10)의 디스플레이 상태(예: 펼쳐진 상태, 접힌 상태 또는 지정된 각도)로 접힌 상태에 대응하도록 디스플레이(100)를 제어할 수 있다. 예를 들어, 전자 장치(10)는 디스플레이(100)가 활성화되어 있는 도중에 전자 장치(10)가 접히면, 디스플레이(100)를 비활성화할 수 있다. 다른 예를 들어, 전자 장치(10)는 전자 장치(10)가 접힌 상태에서 펼쳐지면, 디스플레이(100)를 활성화하고, 디스플레이(100)를 통해서 영상을 출력할 수 있다. 또 다른 예로, 전자 장치(10)는 전자 장치(10)가 지정된 각도로 접힌 상태에서 디스플레이(100)에 출력되는 영상을 전자 장치(10)가 펼쳐진 상태에서 디스플레이(100)에 출력되는 영상과 다르게 표시할 수 있다. 전자 장치(10)는 전자 장치(10)가 펼쳐진 상태에서, 홀 센서(321)에 의해 감지된 자계 강도가 지정된 범위에 속하는지 여부를 판단할 수 있다. 홀 센서(321)에 의해 감지된 자계 강도가 지정된 범위에 속하는 경우, 전자 장치(10)는 전자 장치(10)가 지정된 각도로 접힌 상태로 결정할 수 있다.
일 실시예에 따르면, 전자 장치(10)는 전자 장치(10)의 접힙 상태가 지정된 각도로 접힌 상태이면, 한 손 조작 모드를 지원할 수 있다. 예를 들어, 전자 장치(10)가 지정된 각도로 접힌 상태에서 사용자의 한 손에 의해 제1 지정된 시간 동안 파지된 것을 확인하면, 전자 장치(10)는 한 손 조작 모드로 전환하고 한 손 조작 모드에서 전자 장치(10)의 움직임 또는 사용자의 시선 방향 중 적어도 하나에 기반하여 디스플레이(100)에 표시된 콘텐츠의 페이지를 전환할 수 있다.
일 실시 예에 따르면, 전자 장치의 디스플레이 상태에 관련된 정보는, 도 1, 도 2 및 도 3에 도시된 펼침 모드, 접힘 모드, 또는 테이블 모드 중 어느 하나 이상을 지시하는 정보를 포함할 수 있다. 또는, 일 실시 예에 따르면, 전자 장치의 디스플레이 상태에 관련된 정보는, 접힘 각도를 나타내는 값을 포함할 수 있다.
다만, 도 1, 도 2 및 도 3에 도시된 전자 장치(10)는 일 실시 예를 설명하기 위한 것일 뿐, 도 1, 도 2 및 도 3에 도시된 형태에 한정되지 아니한다.
도 4는 일 실시 예에 따른 전자 장치의 구성도(400)를 나타낸다.
일 실시 예에 따르면, 전자 장치(예: 도 1의 전자 장치(10))는 센서 회로(410), 디스플레이(430), 메모리(430) 및 프로세서(450)를 포함할 수 있다. 일 실시 예에 따른 전자 장치는 도 4에 도시된 일부 구성요소를 제외하여 구성되거나 추가적인 구성요소를 더 포함할 수도 있다. 일 실시 예에 따르면, 도 4에 도시된 구성요소 중 일부가 결합되어 하나의 개체로 구성되거나, 복수의 개체로 분산되어 구성될 수도 있다.
일 실시 예에 따르면, 센서 회로(410)는 제1 센서 회로(411), 제2 센서 회로(413) 또는 제3 센서 회로(415) 중 적어도 하나를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치는 센서 회로(410)를 이용하여 전자 장치와 관련된 상황 정보의 적어도 일부를 획득할 수 있다. 제1 센서 회로(411)는, 하우징(예: 도 1의 하우징(500)) 또는 폴더블 디스플레이(430)(예: 도 1의 디스플레이(100)) 중 적어도 하나의 디스플레이 상태에 관련된 정보를 감지할 수 있는 접힘 센서 회로를 포함할 수 있다. 예를 들어, 제1 센서 회로(411)는 홀 센서(예: 도 1의 홀 센서(321) 및 마그넷(323)을 포함할 수 있다. 다른 예를 들면, 다른 예를 들면, 접힘 센서 회로는 전자 장치)의 힌지 부분의 동작에 따른 각도 값을 감지할 수 있는 각도 센서(예: 도 3의 각도 센서(330))를 포함할 수 있다. 또 다른 예를 들면, 접힘 센서 회로는 제1 하우징 구조물(예: 도 1의 제1 하우징 구조물(510))에 포함된 가속도 센서 또는 자이로 센서 중 적어도 하나와, 제2 하우징 구조물(예: 도 1의 제2 하우징 구조물(520))에 포함된 가속도 센서 또는 자이로 센서 중 적어도 하나를 포함할 수도 있다.
제2 센서 회로(413)는, 예를 들어, 전자 장치 주변의 조도를 감지하기 위한 복수의 조도 센서들을 포함할 수 있다. 일 실시 예에 따르면, 전자 장치는 복수의 조도 센서들 중에서 높은 조도 값이 감지된 조도 센서가 배치된 방향에 광원이 존재하는 것을 인식할 수 있다. 제3 센서 회로(415)는, 예를 들어, 전자 장치의 방향(orientation)에 대한 정보를 감지하는 방향 센싱 회로를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치는 모션 센서(예: 가속도 센서, 자이로 센서) 또는 자기 센서 중 적어도 하나를 이용하여 전자 장치의 방향에 대한 정보(또는 방위에 대한 정보)를 획득할 수 있다. 예를 들어, 방위에 대한 정보는 지자기 센서를 이용하여 전자 장치가 지자기에 대해 놓인 방위를 나타내는 정보를 포함할 수 있다. 방향에 대한 정보는, 예를 들어, 전자 장치가 가로로 놓여 있는지, 또는 세로로 놓여 있는지를 나타내는 정보를 포함할 수 있다.
디스플레이(430)는, 예를 들어, 영상을 포함하는 다양한 콘텐트를 표시할 수 있다. 디스플레이(430)는, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이(430)는 플렉서블 디스플레이 또는 폴더블 디스플레이를 포함할 수 있다. 디스플레이(430)는 터치 센서와 결합된 터치스크린 디스플레이를 포함할 수 있다. 본 문서에서는 디스플레이(430)가 터치스크린 디스플레이인 경우를 예로 들어 설명한다. 하지만, 이에 한정되지 않는다.
메모리(440)는, 예를 들면, 전자 장치(400)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 메모리(440)는 휘발성 메모리(예를 들어, RAM 등), 비휘발성 메모리(예를 들어, ROM, 플래시 메모리 등) 또는 이들의 조합일 수 있다. 메모리(440)는, 실행시에 프로세서가 전자 장치의 구성요소를 제어하거나 데이터를 처리하는 동작을 수행하도록 하는 인스트럭션들을 포함할 수 있다. 본 문서에서 개시되는 전자 장치의 동작은 프로세서(450)가 메모리(440)에 저장된 인스트럭션들(instructions)을 실행하여 수행될 수 있다.
일 실시 예에 따르면, 전자 장치는 제1 축을 중심으로 접힐 수 있는 하우징(예: 도 1의 하우징(500)), 제1 축과 평행한 제2 축을 중심으로 접힐 수 있는 폴더블 디스플레이(예: 도 1의 디스플레이(100)), 하우징 또는 폴더블 디스플레이 중 적어도 하나의 디스플레이 상태에 관련된 정보를 감지할 수 있는 접힘 센서 회로(예: 도 4의 제1 센서 회로(411), 프로세서(예: 도 4의 프로세서(450)) 및 메모리(예: 도 4의 메모리(440))를 포함할 수 있다.
메모리는, 실행시에 프로세서가 상기 전자 장치와 관련된 상황 정보 에 기초하여 상기 폴더블 디스플레이에 대한 가상 광원의 위치를 결정하며, 상기 접힘 센서 회로를 통해서 상기 하우징 또는 폴더블 디스플레이 중 상기 디스플레이 상태에 관련된 정보의 변화가 감지된 경우, 상기 디스플레이 상태에 관련된 정보 및 상기 가상 광원의 위치에 기초하여 영상을 렌더링하고, 상기 렌더링된 영상을 상기 폴더블 디스플레이를 통해서 출력하도록 하는 인스트럭션들을 저장할 것일 수 있다.
일 실시 예에 따르면, 전자 장치는 전자 장치의 방향에 대한 정보를 감지하는 방향 센싱 정보를 더 포함하고, 상황 정보는 방향에 대한 정보를 포함할 수 있다. 메모리에 저장된 인스트럭션들은, 프로세서가 실행 시에 상황 정보에 기초하여 가상 광원의 위치를 결정하도록 할 수 있다.
일 실시 예에 따르면, 상황 정보는 시각(time)에 관련된 정보를 더 포함할 수 있다. 메모리에 저장된 인스트럭션들은, 프로세서가 실행 시에 상황 정보(예: 시각에 관련된 정보 및 방향에 대한 정보)에 기초하여 가상 광원의 위치를 결정하도록 할 수 있다. 예를 들어, 시각이 변화함에 따라서 해(sun)의 위치가 이동하는 것처럼 가상 광원의 위치가 변화할 수 있다.
일 실시 예에 따르면, 전자 장치는 전자 장치 주변의 조도를 감지하기 위한 복수의 조도 센서들을 포함할 수 있다. 메모리에 저장된 인스트럭션들은, 프로세서가 실행 시에 복수의 조도 센서들 중 지정된 조건을 만족하는 조도가 감지된 조도 센서가 전자 장치 상에 배치된 방향에 기초하여 가상 광원의 위치를 결정하도록 할 수 있다. 지정된 조건은, 예를 들어, 복수의 조도 센서들에 의해 감지된 조도 값들 중 가장 높은 값을 가지는 것으로 정의될 수 있다. 또는, 다른 예를 들면, 지정된 조건은, 지정된 값 이상의 조도 값을 가지는 것으로 정의될 수 있다. 다만, 이에 한정되지 아니한다.
일 실시 예에 따르면, 메모리에 저장된 인스트럭션들은, 프로세서가 실행 시에 지정된 조건을 만족하는 조도를 감지한 조도 센서의 수량이 복수인 경우, 복수의 가상 광원의 위치를 결정하도록 할 수 있다. 프로세서는 복수의 가상 광원 각각에 상응하는 복수의 영상 효과를 결정하고, 복수의 영상 효과를 영상에 적용하여 렌더링할 수 있다.
일 실시 예에 따르면, 메모리에 저장된 인스트럭션들은, 프로세서가 실행 시에 디스플레이 상태의 변화에 따라서 영상에 포함되는 시각적 객체의 수 또는 영상 중 적어도 일부를 출력하는 휘도가 변화되도록 영상을 렌더링할 수 있다.
일 실시 예에 따르면, 전자 장치의 하우징은 제1 하우징 구조(예: 도 1의 제1 하우징 구조(510)) 및 제1 축을 중심으로 제1 하우징 구조에 대하여 접힐 수 있는 제2 하우징 구조(예: 도 1의 제2 하우징 구조(520))를 포함할 수 있다. 전자 장치의 폴더블 디스플레이는 제1 하우징 구조와 결합된 제1 부분(예: 도 1의 제1 영역(101)) 및 제2 하우징 구조와 결합된 제2 부분(예: 도 1의 제2 영역(102))을 포함할 수 있으며, 제1 부분은 제2 축을 중심으로 제2 부분에 대하여 접힐 수 있다. 메모리에 저장된 인스트럭션들은, 프로세서가 디스플레이 상태에 관련된 정보 및 가상 광원의 위치에 기초하여 제2 부분 중에서 음영 효과가 표시될 그림자 영역을 결정하고, 결정된 그림자 영역에 음영 효과가 표시되도록 영상을 렌더링하도록 할 수 있다.
전자 장치는 전자 장치의 방향에 대한 정보를 감지하는 방향 센싱 회로를 포함할 수 있다. 메모리에 저장된 인스트럭션들은, 프로세서가 음영 효과와 연관된 음영 적용 모드를 상기 방향에 대한 정보를 포함하는 상황 정보에 기초하여 결정하도록 할 수 있다. 예를 들어, 프로세서는 가속도 센서나 자이로 센서를 이용하여 감지된 값에 기초하여 전자 장치가 가로로 놓여진 상태인지, 또는 세로로 놓여진 상태인지 결정할 수 있다. 메모리에 저장된 인스트럭션들은, 프로세서가 음영 적용 모드가 가로 모드인 경우, 제1 부분 전체 및 그림자 영역에 음영 효과가 적용되도록 상기 영상을 렌더링하도록 할 수 있다. 메모리에 저장된 인스트럭션들은, 프로세서가 음영 적용 모드가 세로 모드인 경우, 제1 부분 중 제2 축에 인접한 영역 및 제2 부분 중 제2 축에 인접한 영역에 음영 효과가 표시되도록 상기 영상을 렌더링하도록 할 수 있다.
일 실시 예에 따르면, 폴더블 디스플레이를 통해서 출력되는 영상은 시각적 객체 및 시각적 객체에 상응하는 그림자 객체를 포함할 수 있다. 메모리에 저장된 인스트럭션들은, 실행 시에, 프로세서가 디스플레이 상태에 관련된 정보에 따라서 결정된 길이로 그림자 객체가 표시되도록 영상을 렌더링하도록 할 수 있다.
일 실시 예에 따르면, 메모리에 저장된 인스트럭션들은, 실행 시에, 프로세서가 폴더블 디스플레이에 디스플레이될 기초 영상을 배경 영역과 관심 영역으로 분할할 수 있다. 프로세서는, 영상을 렌더링하는 과정에서, 배경 영역에 디스플레이 상태에 관련된 정보에 상응하는 제1 영상 효과를 기초 영상에 적용할 수 있다. 프로세서는, 영상을 렌더링하는 과정에서, 영상에 관심 영역과 관련된 정보, 디스플레이 상태에 관련된 정보, 또는 가상 광원의 위치 중 적어도 하나에 상응하는 제2 영상 효과를 기초 영상에 적용할 수 있다. 관심 영역과 관련된 정보는, 예를 들어, 영상 내에서 관심 영역이 표시되는 위치나 관심 영역 내에 포함된 객체의 종류(예: 사람, 동물, 식물 등)에 관련된 정보를 포함할 수 있다.
일 실시 예에 따르면, 제1 영상 효과는 디스플레이 상태에 대한 정보에 따라서 배경 영역이 출력되는 휘도가 변경되는 것일 수 있다.
일 실시 예에 따르면, 제2 영상 효과는 영상에 관심 영역과 관련된 정보, 디스플레이 상태에 관련된 정보, 또는 가상 광원의 위치 중 적어도 하나에 따라서 길이 또는 방향 중 적어도 하나가 다른 그림자 객체가 관심 영역 또는 관심 영역의 주변에 표시되는 것일 수 있다.
도 5는 일 실시 예에 따른, 전자 장치가 영상을 출력하는 프로세스를 도시한 흐름도(600)이다.
동작 610에서, 전자 장치는 디스플레이 상태에 관련된 정보를 감지할 수 있다. 예를 들어, 전자 장치는 홀 센서(예: 도 3의 홀 센서(321))를 이용하여, 홀 센서에 마주하는 위치에 구비된 마그넷(323)의 자계를 감지할 수 있다. 다른 예를 들면, 전자 장치는 힌지 부분의 동작에 따른 접힘 각도(예: 도 3의 접힘 각도 θ)를 감지할 수 있는 각도 센서(예: 도 3의 각도 센서(330))를 포함할 수 있다. 또 다른 예를 들면, 접힘 센서 회로는 가속도 센서 또는 자이로 센서 중 적어도 하나를 이용하여 디스플레이 상태에 관련된 정보를 감지할 수 있다.
동작 620에서, 전자 장치는 디스플레이 상태의 변화가 발생하였는지 여부를 감지할 수 있다. 예를 들어, 전자 장치의 디스플레이 상태가 접힘 모드에서 테이블 모드로 변경된 경우, 전자 장치는 동작 610에서 감지된 정보에 기초하여 디스플레이 상태의 변경을 인식할 수 있다.
상황 정보는 전자 장치와 연관된 컨텍스트(context)를 판단하기 위한 정보를 의미한다. 예를 들어, 상황 정보는 전자 장치의 방향(orientation)에 대한 정보를 포함할 수 있다. 전자 장치의 방향에 대한 정보는, 전자 장치가 수평면에 대하여 수직적으로(또는, 세로로) 놓여졌는지, 또는 수평적으로(또는, 가로로) 놓여졌는지 판단하기 위해 모션 센서(예: 가속도 센서, 자이로 센서)를 통해서 감지된 정보를 의미할 수 있다. 또는, 모센 센서를 통해서 감지된 정보에 따른 전자 장치의 상태에 관한 분류(예: 가로 모드 또는 세로 모드)를 의미할 수 있다. 다른 예를 들면, 상황 정보는 시각(time)에 대한 정보를 포함할 수 있다. 전자 장치는 GPS(Ground Positioning System)을 이용하여 획득된 전자 장치의 위치 정보에 상응하는 시각을 포함하는 상황 정보를 획득할 수 있다. 또 다른 예를 들면, 상황 정보는 전자 장치의 주변 조도에 대한 정보를 포함할 수 있다. 일 실시 예에 따르면, 전자 장치는 하나 이상의 조도 센서를 포함할 수 있다. 전자 장치는 조도 센서를 이용하여 주변 조도에 대한 정보를 포함하는 상황 정보를 획득할 수 있다.
동작 630에서, 전자 장치는 상황 정보에 기초하여 가상 광원의 위치를 결정할 수 있다. 예를 들어, 전자 장치는 전자 장치의 방위(또는 방향)에 대한 정보에 따라서, 가상의 경계선(virtual boundary) 상의 지정된 위치와 전자 장치의 디스플레이(예: 도 1의 디스플레이(100)) 사이의 상대적인 위치를 나타내는 좌표 값을 결정할 수 있다. 결정된 좌표 값은 가상 광원의 위치를 나타낼 수 있다. 다른 예를 들면, 전자 장치는 상황 정보에 포함된 시각에 따라서 가상의 경계선 상의 지정된 위치를 결정하고, 결정된 위치에 기초하여 가상 광원의 위치를 결정할 수 있다. 또 다른 예를 들면, 전자 장치는 하나 이상의 조도 센서를 이용하여 지정된 조건을 만족하는 조도가 감지된 조도 센서가 배치된 방향에 상응하는 위치를 가상 광원의 위치로 결정할 수도 있다.
동작 640에서, 전자 장치는 가상 광원의 위치에 기초하여 영상을 렌더링(rendering)할 수 있다. 일 실시 예에 따르면, 전자 장치는 가상 광원의 위치에 광원이 존재한다고 가정할 경우에, 디스플레이(예: 도 1의 디스플레이(100))의 표면에 광원으로 인해 발생하는 광학적 효과가 표현되도록 영상을 렌더링할 수 있다. 예를 들어, 전자 장치는 전자 장치의 적어도 일부의 하우징 구조물(예: 도 1의 제1 하우징 구조물(510))에 의하여 디스플레이의 적어도 일부 영역(예: 도 1의 제2 영역(102))에 형성되는 그림자가 표현되도록 영상을 렌더링할 수 있다. 다른 예를 들면, 전자 장치는 영상에 포함된 시각적 객체(예: 사물의 형상)에 가상의 광원으로부터 빛이 조사될 경우 형성되는 그림자를 형상화한 그림자 객체가 표현되도록 영상을 렌더링할 수 있다. 또 다른 예를 들면, 전자 장치는 가상 광원의 위치로부터 영상에 포함된 시각적 객체에 조사된 빛이 반사된 반사광을 형상화한 반사광 객체가 표현되도록 영상을 렌더링할 수 있다.
일 실시 예에 따르면, 동작 640에서, 디스플레이 상태에 관련된 정보를 더 고려하여 영상을 렌더링할 수 있다. 예를 들어, 전자 장치는 전자 장치의 접힘 각도에 따라서 영상에 적용되는 영상 효과(예: 영상에 표시되는 그림자 영역, 그림자 객체의 형상, 그림자 객체의 길이, 시각적 객체의 수, 또는 영상이 출력되는 디스플레이 휘도)를 다르게 결정할 수 있다.
동작 650에서, 전자 장치는 렌더링된 영상을 폴더블(foldable) 디스플레이를 통해서 출력할 수 있다.
다만, 도 5에 도시된 프로세스는 일 실시 예를 설명하기 위한 것이며, 다른 실시 예에 따르면 도 5의 프로세스는 순서가 변경되거나, 추가적인 동작을 더 포함하거나, 또는 일부의 동작이 동일/유사한 효과를 달성하기 위한 동작으로 대체될 수도 있다. 예를 들어, 도 5에 도시된 실시 예에 따를 경우, 사용자가 전자 장치를 펼칠 때마다 전자 장치가 상황 정보에 따른 가상 광원의 위치를 결정하기 위한 연산을 수행하므로. 리소스의 불필요한 반복 사용이 발생할 수 있다. 따라서, 다른 실시 예에 따르면, 전자 장치는 저전력으로 센서 회로를 구동하고, 센서 회로를 이용하여 획득된 정보를 백그라운드(background)에서 동작하는 프로그램을 이용하여 가상 광원의 위치를 결정하여 저장하여 둘 수 있다. 전자 장치는 사용자가 전자 장치를 펼칠 때마다 가상 광원의 위치를 결정하기 위한 연산을 수행하는 대신, 메모리(예: 도 4의 메모리(440))에 저장된 가상 광원의 위치를 이용하여 영상을 렌더링할 수도 있다.
도 6은 다른 실시 예에 따른, 전자 장치가 영상을 출력하는 프로세스를 도시한 흐름도(605)이다.
동작 615에서, 전자 장치는 지정된 이벤트가 발생할 경우, 폴더블 디스플레이의 동작을 비활성화할 수 있다. 예를 들어, 전자 장치는 전자 장치의 디스플레이 상태가 접힌 상태(예: 도 2)가 된 경우, 폴더블 디스플레이를 비활성화할 수 있다. 다른 예를 들면, 사용자가 전자 장치의 슬립 모드 설정 버튼을 누른 경우 폴더블 디스플레이를 비활성화할 수 있다. 폴더블 디스플레이의 동작을 비활성화한다는 것은, 폴더블 디스플레이가 영상을 출력하지 않도록 전력 공급을 차단하거나, 또는 저전력으로 영상을 출력하도록 하는 동작 모드(예: 올웨이즈온 디스플레이(AOD : Always On Display))로 동작하도록 하는 것을 의미할 수 있다.
일 실시 예에 따르면, 가상 광원의 위치를 실시간으로 계속해서 업데이트할 필요성이 낮으므로, 지정된 조건이 만족되는 경우에 한해서 가상 광원의 위치를 업데이트할 수 있다. 가상 광원의 위치를 업데이트하는 동작을 수행하도록 하는 지정된 조건은 가상 광원 위치 업데이트 조건이라고 언급될 수 있다. 동작 625에서, 전자 장치는 전자 장치와 관련된 정보가 가상 광원 위치 업데이트 조건을 만족하는지 여부를 판단할 수 있다. 예를 들어, 가상 광원 위치 업데이트 조건은 이전의 가상 광원 위치 업데이트 시점으로부터 지정된 주기에 상응하는 시간이 경과한 것일 수 있다. 다른 예를 들면, 가상 광원 위치 업데이트 조건은 전자 장치의 가속도 센서를 이용하여 감지된 가속도 값이나 GPS 모듈을 통해서 획득된 GPS 좌표에 따른 전자 장치의 위치가 지정된 범위를 벗어나서 이동한 것일 수 있다. 다만, 이에 한정되지 아니한다.
전자 장치와 관련된 정보가 가상 광원 위치 업데이트 조건을 만족한 경우, 동작 635에서 전자 장치는 상황 정보를 획득할 수 있다. 여기서, 전자 장치는 상황 정보를 획득하기 위한 전자 장치의 구성요소(예: 센서 회로)가 저전력 동작 모드로 동작하도록 할 수 있다. 동작 645에서, 전자 장치는 획득된 상황 정보에 기초하여 가상 광원의 위치를 결정할 수 있다.
동작 655에서, 전자 장치는 결정된 가상 광원의 위치를 메모리(예: 도 4의 메모리(440))에 저장할 수 있다. 동작 665에서, 전자 장치는 전자 장치에 대한 디스플레이 상태의 변화의 발생을 감지할 수 있다. 디스플레이 상태의 변화가 발생한 경우, 동작 675에서 전자 장치는 저장된 가상 광원의 위치에 기초하여 영상을 렌더링할 수 있다. 동작 685에서 전자 장치는 렌더링된 영상을 폴더블 디스플레이를 통해서 출력할 수 있다.
일 실시 예에 따르면, 전자 장치(예: 도 1의 전자 장치(10))가 영상을 출력하는 방법은, 전자 장치와 관련된 상황 정보를 획득하는 동작, 상황 정보에 기초하여 폴더블 디스플레이에 대한 가상 광원의 위치를 결정하는 동작, 전자 장치의 하우징 또는 폴더블 디스플레이 중 적어도 하나의 디스플레이 상태에 관련된 정보를 감지하는 동작, 디스플레이 상태에 관련된 정보가 변화하는 경우, 디스플레이 상태에 관련된 정보 및 가상 광원의 위치에 기초하여 영상을 렌더링하는 동작, 및 렌더링된 영상을 폴더블 디스플레이(예: 도 1의 디스플레이(100))를 통해서 출력하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상황 정보를 획득하는 동작은 전자 장치의 방향에 대한 정보를 획득하는 동작을 포함할 수 있다. 일 실시 예에 따르면, 가상 광원의 위치를 결정하는 동작은 방향에 대한 정보에 기초하여 가상 광원의 위치를 결정하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상황 정보를 획득하는 동작은 전자 장치의 주변의 조도에 대한 적어도 하나의 조도 값을 획득하는 동작, 및 적어도 하나의 조도 값 중 지정된 조건을 만족하는 조도 값에 상응하는 방향을 결정하는 동작을 포함할 수 있다. 일 실시 예에 따르면, 전자 장치는 조도 센서를 포함하는 센서 회로를 이용하여 적어도 하나의 조도 값을 획득할 수 있다. 가상 광원의 위치를 결정하는 동작은 결정된 방향에 기초하여 가상 광원의 위치를 결정하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 영상을 렌더링하는 동작은, 디스플레이 상태의 변화에 따라서 영상에 포함되는 시각적 객체의 수 또는 영상 중 적어도 일부를 출력하는 휘도가 변화되도록 영상을 렌더링하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 상황 정보를 획득하는 동작은 전자 장치의 방향에 대한 정보를 획득하는 동작을 포함할 수 있다. 전자 장치가 영상을 출력하는 방법은 방향에 대한 정보에 기초하여 음영 효과에 연관된 음영 적용 보드를 결정하는 동작을 포함할 수 있다. 렌더링하는 동작은 음영 적용 모드에 따라서 디스플레이 상태에 관련된 정보 및 가상 광원의 위치에 기초하여 음영 효과가 표시될 그림자 영역을 결정하는 동작, 및 결정된 그림자 영역에 음영 효과가 표시되도록 영상을 렌더링하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 렌더링되는 영상은 시각적 객체 및 시각적 객체에 대응되는 그림자 객체를 포함할 수 있다. 렌더링하는 동작은 디스플레이 상태에 관련된 정보에 따라서 결정된 길이로 그림자 객체가 표시되도록 영상을 렌더링하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 전자 장치가 영상을 출력하는 방법은 기초 영상을 획득하는 동작, 및 기초 영상을 배경 영역과 관심 영역으로 분할하는 동작을 포함할 수 있다. 영상을 렌더링하는 동작은 배경 영역에 디스플레이 상태에 관련된 정보에 상응하는 제1 영상 효과를 기초 영역에 적용하는 동작, 및 영상에 관심 영역과 관련된 정보, 디스플레이 상태에 관련된 정보, 또는 가상 광원의 위치 중 적어도 하나에 상응하는 제2 영상 효과를 기초 영상에 적용하는 동작을 포함할 수 있다.
일 실시 예에 따르면, 제1 영상 효과는, 디스플레이 상태에 대한 정보에 따라서 배경 영역이 출력되는 휘도가 변경되는 것일 수 있다. 제2 영상 효과는, 영상에 관심 영역과 관련된 정보, 디스플레이 상태에 관련된 정보, 또는 가상 광원의 위치 중 적어도 하나에 따라서 길이 또는 방향 중 적어도 하나가 다른 그림자 객체가 관심 영역 또는 관심 영역의 주변에 표시되는 것일 수 있다.
도 7은 일 실시 예에 따른, 전자 장치(700)가 가상 광원(720)의 위치를 결정하는 방법을 개념적으로 나타낸다.
일 실시 예에 따르면, 전자 장치(700)는 가상 경계면(710) 상의 위치에 가상 광원(720)이 존재한다고 가정하였을 때, 전자 장치(700)의 방향(또는 방위)에 대한 정보에 기초하여 전자 장치(700)에 대한 가상 광원(720)의 상대적인 위치를 결정할 수 있다.
예를 들어, 전자 장치(700)의 방향이 전자 장치(700)가 가로로 놓인 상태인 경우(701), 전자 장치(700)는 가상 광원(720)이 전자 장치(700)의 측면 방향에 위치하는 것으로 결정할 수 있다. 다른 예를 들어, 전자 장치(700)의 방향이 전자 장치(700)가 세로로 놓인 상태인 경우(702), 전자 장치(700)는 가상 광원(720)이 전자 장치(700)의 디스플레이(예: 도 1의 디스플레이(100))가 배치된 방향에 위치한 것으로 결정할 수 있다.
도 8은 다른 실시 예에 따른, 전자 장치(800)가 가상 광원(820)의 위치를 결정하는 방법을 개념적으로 나타낸다.
전자 장치(800)는 빛을 감지하는 센서(예: 조도 센서)를 이용하여 전자 장치(800)에게 빛을 조사하는 광원(830)의 방향을 감지할 수 있다. 예를 들어, 전자 장치(800)는 여러 방향으로 배치된 복수의 조도 센서들을 포함하고, 복수의 조도 센서들 각각으로부터 검출된 조도 값을 서로 비교하거나, 지정된 값과 비교할 수 있다. 전자 장치(800)는 가장 높은 조도 값이 검출된 조도 센서가 배치된 방향을 광원(830)의 방향으로 감지할 수 있다. 또는, 전자 장치(800)는 지정된 값 이상의 조도 값이 검출된 조도 센서가 배치된 방향을 광원(830)의 방향으로 감지할 수 있다.
일 실시 예에 따르면, 전자 장치(800)는 가상 광원(820)의 위치를 감지된 광원(830)의 방향에 기초하여 결정할 수 있다. 예를 들어, 전자 장치(800)는 전자 장치(800)의 위치로부터 감지된 광원(830)의 방향으로 연장된 직선(820)과 가상 경계면(810)이 만나는 위치를 가상 광원(820)의 위치로 결정할 수 있다.
도 9는, 일 실시 예에 따라, 시각에 따라 변화하는 가상 광원(920)의 위치를 개념적으로 나타낸다.
일 실시 예에 따르면, 환경 정보는 시각(time)에 대한 정보를 포함할 수 있다. 예를 들어, 전자 장치(900)는 GPS(Ground Positioning System)을 이용하여 획득된 전자 장치(900)의 위치 정보에 상응하는 시각에 대한 정보를 획득할 수 있다.
일 실시 예에 따르면, 전자 장치(900)는 시각이 경과함에 따라서 결정되는 가상 광원(920)의 위치를 이동시킬 수 있다. 도 9를 참조하면, 전자 장치(900)는 시각이 경과함에 따라서 가상 경계면(910)을 따라 가상 광원(920)의 위치가 지정된 방향으로 이동되도록 할 수 있다.
도 10은, 일 실시 예에 따라, 가상 광원(1021, 1022, 1023)의 위치에 따라 그림자 영역(1031, 1032, 1033) 및 그림자 객체(1041, 1042, 1043)를 렌더링하는 전자 장치(1000)의 예시를 나타낸다.
일 실시 예에 따르면, 전자 장치(1000)는 가상 광원(1021, 1022, 1023)의 위치 또는 전자 장치(1000)의 접힘 각도 중 적어도 하나에 기초하여 그림자 영역을 결정할 수 있다. 전자 장치(1000)는 결정된 그림자 영역에 따라서 영상을 렌더링할 수 있다.
도 10을 참조하면, 가상 광원(1021)이 전자 장치(1000)의 제1 영역(1001)의 후면 위쪽 방향에 위치하는 것으로 결정된 경우(1011), 전자 장치(1000)는 제2 영역(1002) 중 제1 일부 영역(1031)을 그림자 영역으로 결정할 수 있다. 전자 장치(1000)는 제1 영역(1001) 전체를 그림자 영역으로 더 결정할 수도 있다. 본 문서에서, 그림자 영역은 사용자가 그림자 영역에 그림자가 형성된 것으로 인지되도록 하는 음영 효과가 표시되는 영역을 의미할 수 있다. 예를 들어, 그림자 영역에 음영 효과가 표시되도록 하기 위해, 전자 장치(1000)는 그림자 영역은 그림자 영역이 아닌 영역에 비해 낮은 휘도로 영상이 출력되도록 영상을 렌더링할 수 있다. 일 실시 예에 따르면, 그림자 영역에 적용되는 음영 효과의 세기는 전자 장치 외부의 조도 또는 전자 장치(1000)의 접힘 각도 중 적어도 하나에 기초하여 결정될 수 있다. 예를 들어, 전자 장치(1000)는 조도 센서를 통해서 획득된 조도 값이 낮을 수록 음영 효과의 세기를 증가시킬 수 있다. 다른 예를 들면, 전자 장치(1000)는 접힘 각도가 작을 수록 음영 효과의 세기를 증가시킬 수도 있다. 그림자 영역(1031)의 면적은 전자 장치(1000)의 접힘 각도가 커질 수록 작아질 수 있다.
가상 광원(1022)이 전자 장치(1000)의 제1 영역(1001)의 후면 좌측 방향에 위치하는 것으로 결정된 경우(1012), 전자 장치(1000)는 제2 일부 영역(1032)을 그림자 영역으로 결정할 수 있다. 유사하게, 가상 광원(1022)이 전자 장치(1000)의 제1 영역(1001)의 후면 우측 방향에 위치하는 것으로 결정된 경우(1013), 전자 장치(1000)는 제3 일부 영역(1033)을 그림자 영역으로 결정할 수 있다.
도 10에 도시된 바와 같이, 전자 장치(1000)는 그림자 영역에 음영 효과를 적용하여 출력할 수 있다. 전자 장치(1000)는 광원으로부터 제1 영역(1001)에 의해 빛이 차단되어 영상에 그림자가 나타난 것으로 사용자가 느낄 수 있는 새로운 심미적 사용자 경험을 제공할 수 있다.
일 실시 예에 따르면, 전자 장치(1000)는 가상 광원(1021, 1022, 1023)의 위치에 기초하여 그림자 객체(1041, 1042, 1043)가 표시되도록 영상을 렌더링할 수 있다. 본 문서에서, 그림자 객체(예: 1041, 1042, 1043)는 전자 장치(1000)가 디스플레이하는 영상에 포함된 시각적 객체(예: 1040)에 가상 광원(예: 1021, 1022, 1023)으로부터 빛이 조사될 경우에 나타나는 그림자를 시각적으로 표현한 것을 의미할 수 있다. 일 실시 예에 따르면, 전자 장치(1000)는 가상 광원(예: 1021, 1022, 1023)의 위치에 기초하여 그림자 객체(1041, 1042, 1043)의 방향, 길이, 어둡게 표시되는 정도, 또는 형상 중 적어도 하나를 결정할 수 있다. 예를 들어, 전자 장치(1000)는 시각적 객체(1040)에 대하여 가상 광원(1021, 1022, 1023)의 위치의 반대 방향으로 그림자 객체(1041, 1042, 1043)가 표시되도록 영상을 렌더링할 수 있다.
도 11은, 일 실시 예에 따른, 전자 장치(1100)가 펼쳐질 때 놓여진 방향(orientation)에 따라서 영상을 표시하는 전자 장치(1100)의 예시를 나타낸다.
일 실시 예에 따르면, 전자 장치(1100)는 전자 장치(1100)가 놓여진 방향에 대한 정보를 검출할 수 있는 센서 회로(예: 가속도 센서, 자이로 센서)를 포함할 수 있다. 전자 장치(1100)는 센서 회로를 통해서 획득된 전자 장치(1100)의 방향에 대한 정보에 기초하여 음영 효과에 연관된 음영 적용 모드를 결정할 수 있다. 음영 적용 모드는 음영 효과를 적용하는 방식을 정의할 수 있다. 예를 들어, 음영 적용 모드는 수평 모드 또는 수직 모드일 수 있다.
전자 장치(1100)가 수평적으로 놓여진 경우, 전자 장치(1100)는 음영 적용 모드를 가로 모드로 결정할 수 있다. 음영 적용 모드가 수평 모드이고, 가상 광원(1120)의 위치가 결정된 경우, 전자 장치(1100)는 수평 방향으로 음영 효과가 적용될 그림자 영역(1131)을 결정할 수 있다. 도 11을 참조하면, 전자 장치(1100)는 디스플레이(예: 도 1의 디스플레이(100))의 제1 영역(예: 도 1의 제1 영역(101)) 전체와 제2 영역(예: 도 1의 제2 영역(102))의 일부를 그림자 영역(1131)으로 결정할 수 있다. 일 실시 예에 따르면, 전자 장치는 영상에 포함된 시각적 객체(1140)에 대한 그림자 객체(1141) 또는 반사광 객체(1150) 중 적어도 하나가 더 표현되도록 영상을 렌더링할 수도 있다.
전자 장치(1100)가 수직적으로 놓여진 경우, 전자 장치(1100)는 음영 적용 모드를 세로 모드로 결정할 수 있다. 음영 적용 모드가 세로 모드이고, 가상 광원(1120)의 위치가 결정된 경우, 전자 장치(1100)는 음영 적용 모드가 가로 모드인 경우와는 다른 영역을 그림자 영역(1132)으로 결정할 수 있다. 일 실시 예에 따르면, 전자 장치(1100)는 디스플레이의 제1 부분(1161) 중 디스플레이가 접히는 축(1170)에 인접한 영역과 제2 부분(1162) 중 축(1170)과 인접한 영역에 음영 효과가 표시되도록 영상을 렌더링할 수 있다. 일 실시 예에 따르면, 전자 장치는 영상에 포함된 시각적 객체(1140)에 대한 그림자 객체(1142) 또는 반사광 객체(1150) 중 적어도 하나가 더 표현되도록 영상을 렌더링할 수도 있다.
도 12는, 일 실시 예에 따른, 접힘 각도에 따라 영상을 출력하는 전자 장치(1200)의 예시를 나타낸다.
일 실시 예에 따르면, 전자 장치(1200)는 접힘 각도에 기초하여 출력되는 영상에 포함되는 그림자 객체의 길이를 결정할 수 있다. 예를 들어, 도 12를 참조하면, 전자 장치(1200)는 접힘 각도가 30도인 경우, 제1 선(1211)까지 시각적 객체에 대한 그림자 객체가 표시되도록 영상을 렌더링할 수 있다. 전자 장치(1200)는 접힘 각도가 90도인 경우, 제2 선(1212)까지 시각적 객체에 대한 그림자 객체가 표시되도록 영상을 렌더링할 수 있다. 전자 장치(1200)는 접힘 각도가 180도인 경우, 제3 선(1213)까지 시각적 객체에 대한 그림자 객체가 표시되도록 영상을 렌더링할 수 있다. 또는 다른 예를 들면, 접힘 각도가 180도인 경우, 전자 장치(1200)는 그림자 객체가 표시되지 않도록 영상을 렌더링할 수도 있다. 수 있다.
도 13은, 일 실시 예에 따라, 접힘 각도에 따라 시각적 객체를 포함하는 영상을 출력하는 전자 장치(1300)의 예시를 나타낸다.
일 실시 예에 따르면, 전자 장치(1300)는 전자 장치(1300)가 펼쳐지면서 접힘 각도가 커질 경우, 전자 장치(1300)가 디스플레이를 통해서 출력하는 영상의 휘도가 점차적으로 증가할 수 있다. 도 13을 참조하면, 전자 장치(1200)는 접힘 각도가 작을 경우에 낮은 휘도로 영상을 표시할 수 있다.
또한, 전자 장치(1200)는 접힘 각도가 커질 수록 표시되는 영상에 표시된 시각적 객체(예: 광원)의 수를 증가시킬 수 있다. 예를 들어, 도 13을 참조하면, 전자 장치(1300)는 접힘 각도가 상대적으로 작은 경우에는 적은 수의 별 이미지(1321)를 표시할 수 있다. 전자 장치(1300)는 접힘 각도가 커질 경우 보다 많은 수의 별 이미지(1321)를 포함하는 영상을 출력할 수 있다.
도 14는, 일 실시 예에 따라, 전자 장치(1400)가 복수의 가상 광원들(1421, 1422)에 기초하여 그림자 객체(1441, 1442)를 출력하는 방법을 나타낸다.
일 실시 예에 따르면, 전자 장치(1400)는 경계면(1410) 상에서 복수의 가상 광원들(1421, 1422)의 위치를 결정할 수 있다. 복수의 가상 광원들(1421, 1422)이 결정된 경우, 전자 장치(1400)는 출력하는 영상에 포함된 시각적 객체(1440)에 관하여, 제1 가상 광원의 위치(1421)에 대한 제1 그림자 객체(1442) 및 제2 가상 광원의 위치(1422)에 대한 제2 그림자 객채(1441)가 표시되도록 영상을 렌더링할 수 있다.
도 15는, 일 실시 예에 따라, 전자 장치(1500)가 사용자(1)의 위치에 기초하여 영상을 출력하는 방법을 설명하기 위한 도면이다.
일 실시 예에 따르면, 전자 장치(1500)는 가상 광원의 위치(1520)가 동일한 경우라도, 사용자(1)의 위치에 따라서 다른 영상 효과가 적용되도록 영상을 렌더링할 수 있다.
도 16은, 일 실시 예에 따라, 전자 장치(1600)가 가상 광원의 위치에 기초하여 작업 창(1610)을 포함하는 영상을 출력하는 방법을 설명하기 위한 도면이다.
전자 장치(1600)는 전자 장치(1600)의 작업 수행 결과를 출력하거나 사용자 입력을 수신하기 위한 하나 이상의 작업 창(1610)을 표시할 수 있다. 일 실시 예에 따르면, 전자 장치(1600)는 가상 광원의 위치에 따라서 작업 창(1610)과 관련된 영상 효과를 영상에 적용할 수 있다.
도 16을 참조하면, 가상 광원(1621)의 위치가 전자 장치(1600)의 디스플레이의 좌측 상단인 경우, 전자 장치(1600)는 작업 창(1610)의 주변 중 우측 하단에 그림자 효과(1641)를 표시할 수 있다. 가상 광원(1622)의 위치가 전자 장치(1600)의 디스플레이의 우측 하단인 경우, 전자 장치(1600)는 작업 창(1610)의 주변 중 좌측 상단에 그림자 효과(1642)를 표시할 수 있다.
도 17은, 일 실시 예에 따라, 전자 장치(예: 도 1의 전자 장치(10))가 영상을 렌더링하는 프로세스를 설명하기 위한 도면이다.
일 실시 예에 따르면, 동작 1710에서, 전자 장치는 펼쳐질 때 디스플레이(예: 도 1의 디스플레이(100))에 표시될 영상 데이터를 포함하는 기초 영상(1711)을 획득할 수 있다. 예를 들어, 전자 장치는 사진 관리 어플리케이션을 실행하고, 사용자로부터 전자 장치에 저장된 영상들 중에서 하나 이상을 선택하는 사용자 입력을 수신할 수 있다. 다른 예를 들면, 전자 장치는 기초 영상(1711)을 외부 장치로부터 수신할 수도 있다.
동작 1720에서, 전자 장치는 기초 영상(1711)을 배경 영역(1721)과 관심 영역(1722)으로 분할할 수 있다. 일 실시 예에 따르면, 전자 장치는 기초 영상(1711)으로부터 배경 영역(1721)을 포함하는 배경 레이어 및 관심 영역(1722)을 포함하는 관심 객체 레이어를 구성할 수 있다. 관심 영역은 사용자가 영상 내에서 주요 객체로 인식할 수 있는 시각적 객체(예: 사람의 형상)를 포함하는 영역을 의미할 수 있다. 예를 들어, 전자 장치는 기초 영상으로부터 에지(edge)를 추출하고, 에지에 기초하여 인식되는 객체의 형상의 특징점에 기초하여 객체를 분류할 수 있다. 전자 장치는 객체 분류 결과에 기초하여 인식되는 객체 중에서 관심 영역을 구성할 객체를 선택할 수 있다.
동작 1730에서, 전자 장치는 배경 영역과 관련된 제1 영상 효과를 결정할 수 있다. 제1 영상 효과는, 예를 들어, 디스플레이 상태에 대한 정보에 따라서, 전자 장치가 펼쳐질수록 배경 영역이 출력되는 휘도가 점차적으로 높아지는 것일 수 있다.
동작 1740에서, 전자 장치는 관심 영역과 관련된 제2 영상 효과를 결정할 수 있다. 일 실시 예에 따르면, 제2 영상 효과는 관심 영역과 관련된 정보, 디스플레이 상태에 관련된 정보, 또는 가상 광원의 위치 중 적어도 하나에 기초하여 영상을 렌더링하도록 하는 것일 수 있다. 예를 들어, 전자 장치는 영상 내에서 관심 영역이 위치하는 위치를 기준으로, 가상 광원의 위치에서 빛을 조사할 경우에 나타나는 그림자를 형상화한 그림자 객체(1742)를 전자 장치가 펼쳐지면서 점차적으로 길이가 변화하거나 옅어지도록 영상을 렌더링할 수 있다.
동작 1750에서, 전자 장치는 제1 영상 효과 및 제2 영상 효과를 기초 영상(1711)에 적용할 수 있다. 일 실시 예에 따르면, 전자 장치는 제1 영상 효과가 적용된 배경 레이어(1731) 및 제2 영상 효과가 적용된(예: 그림자 객체(1742)가 표시되는) 관심 객체 레이어(1741)를 결합할 수 있다.
동작 1760에서, 전자 장치는 제1 영상 효과 및 제2 영상 효과가 적용된 영상(1761)을 렌더링하고, 렌더링된 영상을 디스플레이를 통해서 출력할 수 있다. 일 실시 예에 따르면, 제1 영상 효과 및 제2 영상 효과가 적용된 영상(1761)은 제1 영상 효과에 기초하여 표시되는 배경 영역(1762)과 시각적 객체가 표시되는 관심 영역(1763)을 포함할 수 있다. 제1 영상 효과 및 제2 영상 효과가 적용된 영상(1761)은 관심 영역(1763) 또는 관심 영역(1763)의 주변에 표시된 그림자 객체(1764)를 포함할 수 있다.
도 18은, 일 실시 예에 따라, 렌더링된 영상을 출력하는 전자 장치(1800)의 예시를 나타낸다.
일 실시 예에 따르면, 전자 장치(1800)가 접혀진 상태에서 펼쳐지기 시작하는 경우(1801), 전자 장치(1800)는 비활성화된 디스플레이를 활성화하고 디스플레이를 통해서 지정된 영상을 출력할 수 있다. 전자 장치(1800)는 영상의 배경 영역(1811)을 낮은 휘도로 출력할 수 있다. 예를 들어, 전자 장치는 본래 휘도 값의 20 퍼센트에 해당하는 휘도로 영상의 배경 영역(1811)을 출력할 수 있다.
전자 장치(1800)는 가상 광원(1820)의 위치를 결정할 수 있다. 전자 장치(1800)가 더 펼쳐지는 경우(접힘 각도가 커지는 경우), 전자 장치(1800)는 배경 영역(1811)이 출력되는 휘도를 점차적으로 증가시킬 수 있다. 전자 장치(1800)는 가상 광원(1820)의 위치로부터 관심 영역 내의 시각적 객체(1821)에 빛이 조사되면 나타나는 그림자의 방향과 길이에 따른 그림자 객체(1822)를 표시할 수 있다.
전자 장치(1800)가 최대로 펼쳐진 경우(1803), 전자 장치(1800)는 본래 휘도 값대로 배경 영역(1811)을 표시할 수 있다. 도 18을 참조하면, 전자 장치(1800)는 전자 장치(1800)가 최대로 펼쳐진 경우(1803) 길이가 길어진 그림자 객체(1822)를 표시할 수 있다.
도 19는, 다양한 실시예들에 따른, 네트워크 환경(1900) 내의 전자 장치(1901)의 블럭도이다. 도 19를 참조하면, 네트워크 환경(1900)에서 전자 장치(1901)는 제 1 네트워크(1998)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(1902)와 통신하거나, 또는 제 2 네트워크(1999)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(1904) 또는 서버(1908)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1901)는 서버(1908)를 통하여 전자 장치(1904)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(1901)는 프로세서(1920), 메모리(1930), 입력 장치(1950), 음향 출력 장치(1955), 표시 장치(1960), 오디오 모듈(1970), 센서 모듈(1976), 인터페이스(1977), 햅틱 모듈(1979), 카메라 모듈(1980), 전력 관리 모듈(1988), 배터리(1989), 통신 모듈(1990), 가입자 식별 모듈(1996), 또는 안테나 모듈(1997)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(1901)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(1960) 또는 카메라 모듈(1980))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(1976)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(1960)(예: 디스플레이)에 임베디드된 채 구현될 수 있다
프로세서(1920)는, 예를 들면, 소프트웨어(예: 프로그램(1940))를 실행하여 프로세서(1920)에 연결된 전자 장치(1901)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)을 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(1920)는 다른 구성요소(예: 센서 모듈(1976) 또는 통신 모듈(1990))로부터 수신된 명령 또는 데이터를 휘발성 메모리(1932)에 로드하고, 휘발성 메모리(1932)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(1934)에 저장할 수 있다. 일실시예에 따르면, 프로세서(1920)는 메인 프로세서(1921)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(1923)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(1923)은 메인 프로세서(1921)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(1923)는 메인 프로세서(1921)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(1923)는, 예를 들면, 메인 프로세서(1921)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(1921)를 대신하여, 또는 메인 프로세서(1921)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(1921)와 함께, 전자 장치(1901)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(1960), 센서 모듈(1976), 또는 통신 모듈(1990))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(1923)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(1980) 또는 통신 모듈(1990))의 일부로서 구현될 수 있다.
메모리(1930)는, 전자 장치(1901)의 적어도 하나의 구성요소(예: 프로세서(1920) 또는 센서모듈(1976))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(1940)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(1930)는, 휘발성 메모리(1932) 또는 비휘발성 메모리(1934)를 포함할 수 있다.
프로그램(1940)은 메모리(1930)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(1942), 미들 웨어(1944) 또는 어플리케이션(1946)을 포함할 수 있다.
입력 장치(1950)는, 전자 장치(1901)의 구성요소(예: 프로세서(1920))에 사용될 명령 또는 데이터를 전자 장치(1901)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(1950)은, 예를 들면, 마이크, 마우스, 키보드, 또는 디지털 펜(예:스타일러스 펜)을 포함할 수 있다.
음향 출력 장치(1955)는 음향 신호를 전자 장치(1901)의 외부로 출력할 수 있다. 음향 출력 장치(1955)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(1960)는 전자 장치(1901)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(1960)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(1960)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(1970)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(1970)은, 입력 장치(1950)를 통해 소리를 획득하거나, 음향 출력 장치(1955), 또는 전자 장치(1901)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(1902)) (예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(1976)은 전자 장치(1901)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(1976)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(1977)는 전자 장치(1901)이 외부 전자 장치(예: 전자 장치(1902))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(1977)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(1978)는, 그를 통해서 전자 장치(1901)가 외부 전자 장치(예: 전자 장치(1902))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(1978)은, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(1979)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(1979)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(1980)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(1980)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(1988)은 전자 장치(1901)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(1989)는 전자 장치(1901)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(1989)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(1990)은 전자 장치(1901)와 외부 전자 장치(예: 전자 장치(1902), 전자 장치(1904), 또는 서버(1908))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(1990)은 프로세서(1920)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(1990)은 무선 통신 모듈(1992)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(1994)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(1998)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제 2 네트워크(1999)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(1992)은 가입자 식별 모듈(1996)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(1998) 또는 제 2 네트워크(1999)와 같은 통신 네트워크 내에서 전자 장치(1901)를 확인 및 인증할 수 있다.
안테나 모듈(1997)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일실시예에 따르면, 안테나 모듈은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 하나의 안테나를 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(1997)은 복수의 안테나들을 포함할 수 있다. 이런 경우, 제 1 네트워크(1998) 또는 제 2 네트워크(1999)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(1990)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(1990)과 외부 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC)이 추가로 안테나 모듈(1997)의 일부로 형성될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(1999)에 연결된 서버(1908)를 통해서 전자 장치(1901)와 외부의 전자 장치(1904)간에 송신 또는 수신될 수 있다. 전자 장치(1902, 1904) 각각은 전자 장치(1901)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(1901)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(1902, 1904, or 1908) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(1901)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(1901)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(1901)로 전달할 수 있다. 전자 장치(1901)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나",“A 또는 B 중 적어도 하나,”"A, B 또는 C," "A, B 및 C 중 적어도 하나,”및 “A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, “기능적으로” 또는 “통신적으로”라는 용어와 함께 또는 이런 용어 없이, “커플드” 또는 “커넥티드”라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(1901)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(1936) 또는 외장 메모리(1938))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(1940))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(1901))의 프로세서(예: 프로세서(1920))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체 는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    제1 축을 중심으로 접힐 수 있는 하우징;
    상기 제1 축과 평행한 제2 축을 중심으로 접힐 수 있는 폴더블 디스플레이;
    상기 하우징 또는 폴더블 디스플레이 중 적어도 하나의 디스플레이 상태에 관련된 정보를 감지할 수 있는 접힘 센서 회로;
    상기 폴더블 디스플레이 및 상기 접힘 센서 회로와 연결된 프로세서; 및
    상기 프로세서와 연결된 메모리를 포함하며,
    상기 메모리는, 실행시에 상기 프로세서가,
    상기 전자 장치와 관련된 상황 정보에 기초하여 상기 폴더블 디스플레이에 대한 가상 광원의 위치를 결정하며,
    상기 접힘 센서 회로를 통해서 상기 하우징 또는 폴더블 디스플레이 중 상기 디스플레이 상태에 관련된 정보의 변화가 감지된 경우, 상기 디스플레이 상태에 관련된 정보 및 상기 가상 광원의 위치에 기초하여 영상을 렌더링하고,
    상기 렌더링된 영상을 상기 폴더블 디스플레이를 통해서 출력하도록 하는 인스트럭션들을 저장한, 전자 장치.
  2. 청구항 1에 있어서,
    상기 전자 장치는 상기 전자 장치의 방향(orientation)에 대한 정보를 감지하는 방향 센싱 회로를 더 포함하고,
    상기 상황 정보는 상기 방향에 대한 정보를 포함하며,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 방향에 대한 정보에 기초하여 상기 가상 광원의 위치를 결정하도록 하는, 전자 장치.
  3. 청구항 2에 있어서,
    상기 상황 정보는 시각(time)에 관련된 정보를 더 포함하고,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 시각에 관련된 정보 및 상기 방향에 대한 정보에 기초하여 상기 가상 광원의 위치를 결정하도록 하는, 전자 장치.
  4. 청구항 1에 있어서,
    상기 전자 장치는 주변의 조도를 감지하기 위한 복수의 조도 센서들을 포함하고,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 복수의 조도 센서들 중 지정된 조건을 만족하는 조도가 감지된 조도 센서가 배치된 방향에 기초하여 상기 가상 광원의 위치를 결정하도록 하는, 전자 장치.
  5. 청구항 1에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 디스플레이 상태의 변화에 따라서 상기 영상에 포함되는 시각적 객체의 수 또는 상기 영상 중 적어도 일부를 출력하는 휘도가 변화되도록 상기 영상을 렌더링하도록 하는, 전자 장치.
  6. 청구항 1에 있어서,
    상기 하우징은, 제1 하우징 구조 및 상기 제1 축을 중심으로 상기 제1 하우징 구조에 대하여 접힐 수 있는 제2 하우징 구조를 포함하고,
    상기 폴더블 디스플레이는, 상기 제1 하우징 구조와 결합된 제1 부분 및 상기 제2 하우징 구조와 결합된 제2 부분을 포함하며, 상기 제1 부분이 상기 제2 축을 중심으로 상기 제2 부분에 대하여 접힐 수 있고,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 디스플레이 상태에 관련된 정보 및 상기 가상 광원의 위치에 기초하여 상기 제2 부분 중에서 음영 효과가 표시될 그림자 영역을 결정하고,
    상기 결정된 그림자 영역에 음영 효과가 표시되도록 상기 영상을 렌더링하도록 하는, 전자 장치.
  7. 청구항 1에 있어서,
    상기 영상은 시각적 객체 및 상기 시각적 객체에 상응하는 그림자 객체를 포함하고,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 디스플레이 상태에 관련된 정보에 따라서 결정된 길이로 상기 그림자 객체가 표시되도록 상기 영상을 렌더링하도록 하는, 전자 장치.
  8. 청구항 1에 있어서,
    상기 인스트럭션들은, 상기 프로세서가,
    상기 폴더블 디스플레이에 디스플레이될 기초 영상을 배경 영역과 관심 영역으로 분할하고,
    상기 영상을 렌더링하는 과정에서,
    상기 배경 영역에 상기 디스플레이 상태에 관련된 정보에 상응하는 제1 영상 효과를 상기 기초 영상에 적용하고,
    상기 영상에 상기 관심 영역과 관련된 정보, 상기 디스플레이 상태에 관련된 정보, 또는 상기 가상 광원의 위치 중 적어도 하나에 상응하는 제2 영상 효과를 상기 기초 영상에 적용하는,
    전자 장치.
  9. 전자 장치가 영상을 출력하는 방법에 있어서,
    상기 전자 장치와 관련된 상황 정보를 획득하는 동작;
    상기 상황 정보에 기초하여 폴더블 디스플레이에 대한 가상 광원의 위치를 결정하는 동작;
    상기 전자 장치의 하우징 또는 폴더블 디스플레이 중 적어도 하나의 디스플레이 상태에 관련된 정보를 감지하는 동작;
    상기 디스플레이 상태에 관련된 정보의 변화가 감지된 경우, 디스플레이 상태에 관련된 정보 및 상기 가상 광원의 위치에 기초하여 영상을 렌더링하는 동작; 및
    상기 렌더링된 영상을 상기 폴더블 디스플레이를 통해서 출력하는 동작을 포함하는, 방법.
  10. 청구항 9에 있어서,
    상기 상황 정보를 획득하는 동작은,
    상기 전자 장치의 방향(orientation)에 대한 정보를 획득하는 동작을 포함하고,
    상기 가상 광원의 위치를 결정하는 동작은,
    상기 방향에 대한 정보에 기초하여 상기 가상 광원의 위치를 결정하는 동작을 포함하는, 방법.
  11. 청구항 9에 있어서,
    상기 상황 정보를 획득하는 동작은,
    상기 전자 장치의 주변의 조도에 대한 적어도 하나의 조도 값을 획득하는 동작, 및
    상기 적어도 하나의 조도 값 중 지정된 조건을 만족하는 조도 값에 상응하는 방향을 결정하는 동작을 포함하고,
    상기 가상 광원의 위치를 결정하는 동작은,
    상기 결정된 방향에 기초하여 상기 가상 광원의 위치를 결정하는 동작을 포함하는, 방법.
  12. 청구항 9에 있어서,
    상기 영상을 렌더링하는 동작은,
    상기 디스플레이 상태의 변화에 따라서 상기 영상에 포함되는 시각적 객체의 수 또는 상기 영상 중 적어도 일부를 출력하는 휘도가 변화되도록 상기 영상을 렌더링하는 동작을 포함하는, 방법.
  13. 청구항 9에 있어서,
    상기 상황 정보를 획득하는 동작은,
    상기 전자 장치의 방향에 대한 정보를 획득하는 동작을 포함하고,
    상기 방법은 상기 방향에 대한 정보에 기초하여 음영 효과에 연관된 음영 적용 모드를 결정하는 동작을 더 포함하고,
    상기 렌더링하는 동작은,
    상기 음영 적용 모드에 따라서, 상기 디스플레이 상태에 관련된 정보 및 상기 가상 광원의 위치에 기초하여 음영 효과가 표시될 그림자 영역을 결정하는 동작, 및
    상기 결정된 그림자 영역에 음영 효과가 표시되도록 상기 영상을 렌더링하는 동작을 포함하는, 방법.
  14. 청구항 9에 있어서,
    상기 영상은 시각적 객체 및 상기 시각적 객체에 상응하는 그림자 객체를 포함하고,
    상기 렌더링하는 동작은,
    상기 디스플레이 상태에 관련된 정보에 따라서 결정된 길이로 상기 그림자 객체가 표시되도록 상기 영상을 렌더링하는 동작을 포함하는, 방법.
  15. 청구항 9에 있어서,
    상기 방법은,
    기초 영상을 획득하는 동작; 및
    상기 기초 영상을 배경 영역과 관심 영역으로 분할하는 동작을 더 포함하고,
    상기 렌더링하는 동작은,
    상기 배경 영역에 상기 디스플레이 상태에 관련된 정보에 상응하는 제1 영상 효과를 상기 기초 영상에 적용하는 동작, 및
    상기 영상에 상기 관심 영역과 관련된 정보, 상기 디스플레이 상태에 관련된 정보, 또는 상기 가상 광원의 위치 중 적어도 하나에 상응하는 제2 영상 효과를 상기 기초 영상에 적용하는 동작을 포함하는, 방법.
PCT/KR2020/004492 2019-04-29 2020-04-02 전자 장치 및 그 영상을 출력하는 방법 WO2020222428A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/514,276 US11907607B2 (en) 2019-04-29 2021-10-29 Electronic apparatus and method for outputting image thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190049985A KR20200126232A (ko) 2019-04-29 2019-04-29 전자 장치 및 그 영상을 출력하는 방법
KR10-2019-0049985 2019-04-29

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/514,276 Continuation US11907607B2 (en) 2019-04-29 2021-10-29 Electronic apparatus and method for outputting image thereof

Publications (1)

Publication Number Publication Date
WO2020222428A1 true WO2020222428A1 (ko) 2020-11-05

Family

ID=73028823

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/004492 WO2020222428A1 (ko) 2019-04-29 2020-04-02 전자 장치 및 그 영상을 출력하는 방법

Country Status (3)

Country Link
US (1) US11907607B2 (ko)
KR (1) KR20200126232A (ko)
WO (1) WO2020222428A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI756912B (zh) * 2020-11-11 2022-03-01 元太科技工業股份有限公司 顯示裝置及其驅動方法
CN116700655B (zh) * 2022-09-20 2024-04-02 荣耀终端有限公司 一种界面显示方法及电子设备
WO2024075987A1 (ko) * 2022-10-04 2024-04-11 삼성전자 주식회사 화면 제공 방법 및 이를 지원하는 전자 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140025933A (ko) * 2012-08-23 2014-03-05 삼성전자주식회사 플렉서블 장치 및 그 제어 방법
US20150187128A1 (en) * 2013-05-10 2015-07-02 Google Inc. Lighting of graphical objects based on environmental conditions
KR20160021607A (ko) * 2014-08-18 2016-02-26 삼성전자주식회사 배경 화면을 디스플레이하는 방법 및 장치
KR20160106985A (ko) * 2015-03-03 2016-09-13 삼성전자주식회사 이미지 표시 방법 및 전자 장치
JP2017142340A (ja) * 2016-02-09 2017-08-17 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、画像表示制御方法、及びプログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004088757A (ja) * 2002-07-05 2004-03-18 Toshiba Corp ３次元画像表示方法、及びその装置、光方向検出器、光方向検出方法
JP4719929B2 (ja) 2009-03-31 2011-07-06 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 表示装置、および、プログラム
US8913056B2 (en) * 2010-08-04 2014-12-16 Apple Inc. Three dimensional user interface effects on a display by using properties of motion
EP2447915A1 (en) 2010-10-27 2012-05-02 Sony Ericsson Mobile Communications AB Real time three-dimensional menu/icon shading
US20120135783A1 (en) * 2010-11-29 2012-05-31 Google Inc. Mobile device image feedback
KR102081931B1 (ko) * 2013-06-19 2020-02-26 엘지전자 주식회사 폴더블 디스플레이 디바이스 및 제어 방법
JP2015056143A (ja) * 2013-09-13 2015-03-23 ソニー株式会社 情報処理装置および情報処理方法
US9547412B1 (en) * 2014-03-31 2017-01-17 Amazon Technologies, Inc. User interface configuration to avoid undesired movement effects
KR101632008B1 (ko) 2014-04-30 2016-07-01 엘지전자 주식회사 이동단말기 및 그 제어방법
KR101785066B1 (ko) 2014-07-31 2017-10-12 삼성전자주식회사 플렉서블 디바이스의 인터페이싱 방법 및 플렉서블 디바이스
WO2016108439A1 (en) * 2014-12-29 2016-07-07 Samsung Electronics Co., Ltd. Foldable device and method of controlling the same
KR102354319B1 (ko) 2015-01-30 2022-01-21 삼성전자주식회사 오브젝트를 표시하기 위한 방법 및 전자 장치
KR102537922B1 (ko) * 2015-09-11 2023-05-30 삼성전자 주식회사 디스플레이 사이의 각도를 측정하는 방법 및 이를 사용하는 전자 장치
KR20170079547A (ko) 2015-12-30 2017-07-10 엘지전자 주식회사 이동 단말기 및 그 제어방법
US20170263047A1 (en) * 2016-03-10 2017-09-14 Panasonic Intellectual Property Management Co., Ltd. Display apparatus
US10235797B1 (en) * 2017-11-27 2019-03-19 Lowe's Companies, Inc. Inverse rendering of visual material properties
KR102703500B1 (ko) * 2019-01-10 2024-09-05 삼성전자주식회사 폴더블 디스플레이를 이용하여 이미지를 제공하는 방법 및 이를 지원하기 위한 전자 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140025933A (ko) * 2012-08-23 2014-03-05 삼성전자주식회사 플렉서블 장치 및 그 제어 방법
US20150187128A1 (en) * 2013-05-10 2015-07-02 Google Inc. Lighting of graphical objects based on environmental conditions
KR20160021607A (ko) * 2014-08-18 2016-02-26 삼성전자주식회사 배경 화면을 디스플레이하는 방법 및 장치
KR20160106985A (ko) * 2015-03-03 2016-09-13 삼성전자주식회사 이미지 표시 방법 및 전자 장치
JP2017142340A (ja) * 2016-02-09 2017-08-17 レノボ・シンガポール・プライベート・リミテッド 情報処理装置、画像表示制御方法、及びプログラム

Also Published As

Publication number Publication date
KR20200126232A (ko) 2020-11-06
US11907607B2 (en) 2024-02-20
US20220050652A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
WO2020235885A1 (en) Electronic device controlling screen based on folding event and method for controlling the same
WO2020226294A1 (en) Foldable device and method for controlling image capturing by using plurality of cameras
WO2019209041A1 (ko) 플렉서블 디스플레이 및 이를 구비하는 전자 장치
WO2020230982A1 (ko) 전자 장치 및 그의 알림 제공 방법
WO2020218742A1 (ko) 폴더블 전자 장치 및 그 동작 방법
WO2021034047A1 (en) Electronic device and method for controlling operation mode based on state of electronic device
WO2020246727A1 (en) Foldable electronic device and method for displaying information in foldable electronic device
WO2020171551A1 (en) Electronic device for controlling brightness of display
WO2021118061A1 (ko) 전자 장치 및 이를 이용한 레이아웃 구성 방법
WO2021015505A1 (en) Foldable electronic device and photographing method using multiple cameras in foldable electronic device
WO2021162435A1 (en) Electronic device and method for activating fingerprint sensor
WO2020222428A1 (ko) 전자 장치 및 그 영상을 출력하는 방법
WO2019054839A1 (ko) 멀티 윈도우를 지원하는 폴더블 전자 장치
WO2020017743A1 (ko) 디스플레이 상에서 복수의 어플리케이션의 실행 화면을 표시하는 전자 장치 및 상기 전자 장치의 구동 방법
WO2020171600A1 (en) Foldable electronic device for controlling user interface and method of operating the same
WO2020256463A1 (en) Electronic device including sub display and method of operating same
WO2021060889A1 (ko) 폴더블 전자 장치 및 이를 이용한 멀티 윈도우 운용 방법
WO2020085628A1 (en) Method for displaying objects and electronic device using the same
WO2021118187A1 (ko) 회전이 가능한 카메라를 구비한 폴더블 전자 장치 및 이를 이용한 촬영 방법
WO2021157819A1 (ko) 전자 장치의 디스플레이의 열화를 감소시키는 방법 및 그 방법을 적용한 폴더블 전자 장치
WO2019160347A1 (ko) 터치 입력 처리 방법 및 이를 지원하는 전자 장치
WO2020171563A1 (en) Electronic device and method for controlling operation of display in same
WO2021118201A1 (ko) 폴더블 전자 장치 및 상기 폴더블 전자 장치에서 사용자 인터페이스를 표시하는 방법
WO2021182740A1 (ko) 디스플레이를 포함하는 전자 장치 및 그 디스플레이의 이동 거리를 측정하는 방법
WO2021107682A1 (en) Foldable device and controlling method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20799202

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20799202

Country of ref document: EP

Kind code of ref document: A1