WO2021060819A1 - 각도 변화에 기반하여 센서 데이터를 처리하는 폴더블 전자 장치 및 그의 동작 방법 - Google Patents

각도 변화에 기반하여 센서 데이터를 처리하는 폴더블 전자 장치 및 그의 동작 방법 Download PDF

Info

Publication number
WO2021060819A1
WO2021060819A1 PCT/KR2020/012846 KR2020012846W WO2021060819A1 WO 2021060819 A1 WO2021060819 A1 WO 2021060819A1 KR 2020012846 W KR2020012846 W KR 2020012846W WO 2021060819 A1 WO2021060819 A1 WO 2021060819A1
Authority
WO
WIPO (PCT)
Prior art keywords
sensor
display
electronic device
housing
angle
Prior art date
Application number
PCT/KR2020/012846
Other languages
English (en)
French (fr)
Inventor
김승년
윤용상
이정은
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2021060819A1 publication Critical patent/WO2021060819A1/ko
Priority to US17/700,689 priority Critical patent/US20220214852A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1431—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using a single graphics controller
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1615—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function
    • G06F1/1616—Constructional details or arrangements for portable computers with several enclosures having relative motions, each enclosure supporting at least one I/O or computing function with folding flat displays, e.g. laptop computers or notebooks having a clamshell configuration, with body parts pivoting to an open position around an axis parallel to the plane they define in closed position
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1641—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being formed by a plurality of foldable display components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1647—Details related to the display arrangement, including those related to the mounting of the display in the housing including at least an additional display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1675—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts
    • G06F1/1677—Miscellaneous details related to the relative movement between the different enclosures or enclosure parts for detecting open or closed state or particular intermediate positions assumed by movable parts of the enclosure, e.g. detection of display lid position with respect to main body in a laptop, detection of opening of the cover of battery compartment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1698—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being a sending/receiving arrangement to establish a cordless communication link, e.g. radio or infrared link, integrated cellular phone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3206—Monitoring of events, devices or parameters that trigger a change in power modality
    • G06F1/3215—Monitoring of peripheral devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3265—Power saving in display device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/325—Power saving in peripheral device
    • G06F1/3278—Power saving in modem or I/O interface
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/26—Power supply means, e.g. regulation thereof
    • G06F1/32—Means for saving power
    • G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
    • G06F1/3234—Power saving characterised by the action undertaken
    • G06F1/3287—Power saving characterised by the action undertaken by switching off individual functional units in the computer system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/04—Display device controller operating with a plurality of display units

Definitions

  • Various embodiments of the present invention relate to a foldable electronic device that processes sensor data based on an angle change, and a method of operating the same.
  • Such an electronic device may be implemented as a foldable type in order to provide improved usability.
  • the mechanical structure or physical state of the electronic device may be changed by a user gesture.
  • the foldable electronic device may change from an open state, a folded state, or a closed state.
  • the foldable electronic device can be transformed into an open state and a folded state.
  • the shape of the electronic device may be deformed from an unfolded state to a folded state, or may be deformed from an unfolded state to a folded state.
  • Images captured by a plurality of cameras included in the electronic device in each state may be changed and displayed according to a state change of the electronic device. Images displayed may be different according to the capabilities of a plurality of cameras included in the electronic device. For example, when a state of the electronic device is changed from a folded state to an unfolded state or from an unfolded state to a folded state while the first application is being executed, a camera sensor linked to the first application may be changed from the first camera sensor to the second camera sensor.
  • the electronic device provides a first user interface to the first display using the first camera sensor in the folded state, and when the electronic device is changed from the folded state to the closed state, it is provided to the second display using the second camera sensor.
  • 2 User interface can be provided.
  • the sensor linked to the first application in the electronic device is changed from the first sensor to the second sensor, the user may feel a sense of difference in the user interface of the first application due to different specifications of the first sensor and the second sensor. .
  • various embodiments of the present invention provide a method and apparatus for processing sensor data by sensing a folder state of an electronic device (eg, a display of an electronic device or an angle change made by an object) in a foldable type electronic device.
  • an electronic device eg, a display of an electronic device or an angle change made by an object
  • the electronic device may include a connection unit, a first housing in which at least one first sensor is disposed, a second housing in which at least one second sensor is disposed, a first display disposed in the first housing, A second display disposed in a space formed by the first housing and the second housing and at least partially folded, at least one sensor unit sensing an angle formed between the first housing and the second housing, and the second display 1 display, the second display, the angle detection sensor unit, the first sensor, and a processor operatively connected to the second sensor, the processor, the angle between the first housing and the second housing A change is sensed, and in response to the angle change, the second sensor is controlled to be activated, and until the activation of the second sensor is completed, the data collected from the first sensor is used as application data, and the When activation of the second sensor is completed, it may be set to use data collected from the second sensor as data of the application.
  • the electronic device includes a first display, a second display in which at least a portion is folded, a first camera, a second camera, and a processor, wherein the processor determines a folding state of the second display.
  • the first display is configured to display a first image generated based on image information acquired through the first camera through the first display.
  • Control and when the confirmed folding state corresponds to the designated second state, activation of the second camera is started, and before the activation of the second camera is completed, image information acquired through the first camera is stored.
  • the second display is controlled so that the second image generated based on the second image is displayed through the second display, and when activation of the second camera is completed, generated based on image information acquired through the second camera
  • the second display may be controlled so that a third image is displayed through the second display.
  • the method of operating an electronic device includes: detecting a change in an angle between the first housing and the second housing of the electronic device, and controlling the second sensor to be activated in response to the change in the angle.
  • a point in time at which the mechanical state change is detected until activation of the second sensor is completed. And/or processing the data collected from the first sensor before the mechanical state change is detected, and providing a user interface using the processed data, it is possible to minimize the sense of disparity felt by the user.
  • FIGS. 1A to 1D are diagrams illustrating an unfolded state of an electronic device according to various embodiments.
  • FIG. 2 is a block diagram of an electronic device in a network environment, according to various embodiments.
  • 3A is a flowchart of processing sensor data based on an angle change in an electronic device according to various embodiments of the present disclosure.
  • 3B to 3E are exemplary diagrams illustrating a change in angle of an electronic device according to various embodiments.
  • FIG. 4 is a flowchart of using data of a first sensor and/or a second sensor based on an angle change in an electronic device according to various embodiments of the present disclosure.
  • 5 to 9 are exemplary diagrams for processing first sensor data based on an angle change in an electronic device according to various embodiments of the present disclosure.
  • FIG. 10 is an exemplary diagram in which an electronic device executes a designated function using data of a first sensor and a second sensor based on an angle change in an electronic device according to various embodiments of the present disclosure.
  • 11 is a flowchart of using data of a first sensor and/or a second sensor based on whether an object is detected according to an angle change in an electronic device according to various embodiments.
  • FIG. 12 is an exemplary diagram of processing first sensor data based on whether an object is detected by an electronic device according to various embodiments of the present disclosure.
  • FIG. 13 is a flowchart of controlling a first sensor according to an operation mode based on an angle change in an electronic device according to various embodiments of the present disclosure.
  • FIG. 14 is an exemplary diagram for controlling a first sensor according to an operation mode based on an angle change in an electronic device according to various embodiments of the present disclosure.
  • FIGS. 1A to 1D are diagrams illustrating an unfolded state of an electronic device according to various embodiments.
  • 1A is a front view illustrating an unfolded state of a foldable type electronic device according to various embodiments
  • FIG. 1B is a rear view illustrating an unfolded state of a foldable type electronic device according to various embodiments.
  • 1C is a front view of an unfolded state of a flexible type electronic device according to various embodiments
  • FIG. 1D is a rear view of an unfolded state of a flexible type electronic device according to various embodiments.
  • an electronic device 101 includes a foldable housing 110, a folding part 116, a first display 120, a second display 122, and a second display.
  • One sensor 130, a second sensor 132, a third sensor 134, and/or one or more components 136 may be included.
  • the first display 120 and/or the second display 122 may be a flexible and/or foldable display disposed in a space formed by the foldable housing 110.
  • the foldable housing 110 may include a first housing 112 and a second housing 114.
  • the electronic device 101 may be composed of a first housing 112 and a second housing 114, wherein a housing including the first housing 112 and the second housing 114 is provided. It can be said that it is a foldable housing.
  • the first housing 112 includes a first surface (or a first front surface (eg, a surface facing the +Z axis in FIG. 1A or a surface facing the -Z axis direction in FIG. 1B)) 141, and the first A third surface facing the opposite direction to the surface 141 (or a first rear surface (e.g., a surface facing the -Z axis direction in FIG.
  • the second housing 114 includes a second surface (or a second front surface (e.g., a surface facing the +Z axis in FIG. 1A or a surface facing the -Z axis direction in FIG. 1B)) 142, and the second A fourth surface facing the opposite direction to the surface 142 (or a second rear surface (e.g., a surface facing the -Z axis direction in Fig. 1A, or a surface facing the +Z axis direction in Fig. 1B)) 144.
  • I can.
  • the first housing 112 and the second housing 114 may be disposed on both sides of the folded portion 116 and connected by the folded portion 116.
  • the folded portion 116 is coupled to a side surface of the first housing 112 and a side surface of the second housing 114 facing the side surface of the first housing 112, respectively, so that the first housing 112 and the The second housing 114 may be connected to be pivotably or rotatably at a certain angle.
  • the electronic device 101 may be configured as a single housing in which the first housing 112 and the second housing 114 are integrated.
  • the electronic device 101 may have a flexible structure in which at least a portion of the electronic device 101 can be bent.
  • the electronic device 101 when the electronic device 101 is configured as a single housing, the electronic device 101 is folded according to the user's selection, but the position to be bent may be changed.
  • the electronic device 101 when the electronic device 101 is composed of one housing, at least a portion of the one housing may be formed of a flexible material.
  • the first display 120 may be disposed in a space formed by the first housing 112. At least a portion of the first display 120 may be visually exposed through a third surface (or first rear surface) of the first housing 112 or a partial area of the first rear cover 150.
  • the second display 122 may be disposed in a space formed by the first housing 112 and the second housing 114 across the folded portion 116.
  • the second display 122 may be installed to be supported by at least a portion of the first housing 112 and the second housing 114.
  • the second display 122 may be disposed in a space formed on at least one surface of the first housing 112 and the second housing 114 across the folded portion 116.
  • the first sensor 130 may be disposed in a space formed by the first housing 112.
  • the first sensor 130 is a third surface (or first rear surface) of the first housing or an upper region of the region in which the first display 120 is disposed among the regions of the first rear cover 150 It may be a sensor module disposed in the. According to an embodiment, the first sensor 130 may be included in the lower portion of the first display 120 and mounted. According to an embodiment, the first sensor 130 may be included in and mounted in another subsidiary material included in at least a part of the first housing 112.
  • the first sensor 130 may include at least one of at least one camera sensor or at least one ultra-wide band (UWB) sensor.
  • UWB ultra-wide band
  • the UWB sensor is a sensor that supports ultra-wideband communication using an occupied bandwidth of 500MHz or more, and detects an object (or object) or movement of an object within a certain range by analyzing the transmission/reception pattern of the ultra-wideband wireless communication signal, or It can be used to recognize.
  • UWB sensor based on UWB wireless technology, transmits a signal using the frequency band used of UWB, and acquires a channel impulse response based on the transmitted signal and the received signal returned by reflecting the transmitted signal to the object.
  • the object or movement of the object may be detected and/or recognized by using.
  • UWB wireless technology is a technology that can accurately determine the location of an object using a very wide frequency band of several GHz or more in the baseband without using a radio carrier.
  • UWB wireless technology uses a very narrow pulse of a few nano or pico seconds, so it can be used by sharing a frequency with an existing wireless system without mutual interference.
  • UWB radio technology can be used without limitation of frequency.
  • the UWB wireless technology may be used for radar functions such as measuring a distance between the electronic device 101 and a subject and/or tracking a location of the subject.
  • the first sensor 130 may further include other subsidiary materials (eg, a lens unit (not shown)).
  • the first sensor 130 may be referred to as a first camera and may include a sensor (eg, an image sensing processor (ISP)) and a lens unit for acquiring light outside the electronic device 101.
  • the electronic device 101 may acquire an image using the first camera and generate a first image that can be displayed on the first display 120.
  • the second sensor 132 may be disposed in a space formed by the second housing.
  • the second sensor 132 is a sensor disposed in at least a partial area (eg, an upper area) of an area in which the second display 122 is disposed among the areas of the second surface (or second front surface) 142 of the second housing It can be a module. According to an embodiment, the sensor module may be disposed inside an opening formed in at least a partial area of the second display 122. According to an embodiment, the sensor module may be included in the second display 122. According to an embodiment, the sensor module is disposed on one side (eg, lower surface) of the second display 122 and may acquire information through at least a portion (eg, a semi-transparent area) of the second display 122. have.
  • the second sensor 132 may include at least one of at least one camera sensor or at least one UWB sensor. According to an embodiment, the second sensor 132 may be disposed under the second display 122. The second sensor 132 may be disposed on at least one side of the second housing 114 or on a subsidiary material disposed inside. The second sensor 132 may be included in at least a portion of the second display 122. According to various embodiments, the third sensor 134 may be disposed in a space formed by the first housing 112. The third sensor 134 may be a sensor module disposed in an upper area of an area in which the second display 122 is disposed among the areas of the first surface (or first front surface) 141 of the first housing 112. . The second sensor 132 may include at least one of at least one camera sensor or at least one UWB sensor. According to an embodiment, the third sensor 134 may be omitted without being provided in the first housing 112 according to the embodiment.
  • one or more components 136 may be disposed within a space formed by the second housing 114.
  • the one or more components 136 may be a sensor module disposed on a fourth surface (or a second rear surface) of the second housing 114 or a partial area of the second rear cover 140.
  • the one or more components 136 may include at least one of a fingerprint sensor, a camera sensor, a proximity sensor, a UWB sensor, or a heart rate sensor.
  • the electronic device 101 may be folded based on the folded portion 116.
  • the folding part 116 is disposed between the first housing 112 and the second housing 114 of the electronic device 101 to fold or bend the electronic device 101 at a certain angle. have.
  • the first housing 112 is connected to the second housing 114 through the folded portion 116 and may rotate based on the folded portion 116.
  • the second housing 114 is connected to the first housing 112 through the folded portion 116 and may rotate based on the folded portion 116.
  • the first housing 112 and the second housing 114 may be folded to face each other by rotating based on the folded portion 116.
  • the first housing 112 and the second housing 114 may substantially overlap or overlap each other.
  • the first surface 141 and the second housing 114 of the first housing 112 may face each other, or the third surface 143 of the first housing 112 and the fourth surface 144 of the second housing 114 may be folded to face each other.
  • the electronic device 101 may include a plurality of folded portions 116.
  • the electronic device 101 is composed of a first housing, a second housing, and a third housing, and between the first and second housings.
  • the first folded portion may be disposed and a second folded portion may be disposed between the second housing and the third housing.
  • the electronic device 101 may be configured as an integrated flexible housing in which the first housing 112 and the second housing 114 are not separately included, and the folded portion is not separately included.
  • the electronic device 101 is configured as an integrated flexible housing, at least a portion of the electronic device 101 may be configured to be bent. At this time, it is possible to determine whether or not to switch the sensor based on the bent part.
  • the second display 122 may be folded at a predetermined angle according to an angle formed between the first housing 112 and the second housing 114.
  • the second display 122 may be itself formed on the electronic device 101 without the first housing 112 or the second housing 114 structure. In this case, the electronic device 101 may determine the degree of folding of the second display 122 itself.
  • the electronic device 101 includes a housing 171, a first display 120, a second display 122, a first sensor 130, and a first sensor 130. 2 sensors 132 may be included.
  • the housing 171 has a first surface (or a front surface (eg, a surface facing the +Z axis direction in FIG. 1C or a surface facing the -Z axis direction in FIG. 1D)) 181, and A second surface facing the direction opposite to the first surface 181 (or a rear surface (eg, a surface facing the +Z axis direction in FIG. 1D or a surface facing the -Z axis direction in FIG. 1C)) 182.
  • the housing 171 may further include subsidiary materials (not shown) configured in various structures.
  • the housing 171 may further include a slot (not shown) disposed on the left or right side of the first surface 181. The slot may be configured such that at least a portion of the first display 120 and the second display 122 is inserted or removed.
  • the first display 120 is disposed to be visually exposed through at least a portion of the first surface 181 of the housing 171, and the second display 122 is It may be arranged to be visually exposed through at least a partial area of the second surface 182.
  • the first display 120 and the second display 122 may be flexible and/or foldable displays that can be bent or folded in various forms. According to an embodiment, at least a portion of the first display 120 and/or the second display 122 may be bent or bent and stored in a slot of the housing 171.
  • the first sensor 130 is disposed in a space formed on the first surface 181 of the housing 171, and the second sensor 132 is the second surface 182 of the housing 171 It can be placed in the space formed in.
  • the first sensor 130 and/or the second sensor 132 may be included in and mounted in other subsidiary materials included in at least a portion of the housing 171.
  • the first sensor 130 and/or the second sensor 132 may include at least one of at least one camera sensor or at least one UWB sensor.
  • the first sensor 130 may be configured at least in part similar to the first sensor 130 of FIG. 1B, and the second sensor 132 may be configured with the second sensor 132 of FIG. At least some may be similarly configured.
  • the electronic device 101 may detect a state change of the electronic device 101 and perform an operation corresponding to the detected state change.
  • the state of the electronic device 101 may be classified into a closed state, a folded state (or a partially open state), and an unfolded state (or a fully open state).
  • a state of the electronic device 101 will be described by dividing it into a closed state, a folded state, and an unfolded state.
  • the state of the electronic device 101 may be further subdivided and defined based on an angle formed by a display of the electronic device 101 or an object.
  • the electronic device 101 of FIGS. 1A to 1D is formed by the folding part 120 between the first housing 112 and the second housing 114, or the second display 122. It can be closed by folding. According to various embodiments, when the electronic device 101 is in a closed state, the first surface 141 of the first housing 112 and the second surface 142 of the second housing 114 face each other. , Can achieve a substantially parallel state. According to various embodiments, the closed state may mean a state in which the second display 122 is covered within a field of view or angle of view of the user facing the front of the electronic device 101.
  • the electronic device 101 when the electronic device 101 is in a closed state (for example, in a fully folded state), the user can see the second display 122 of the electronic device 101 from all directions of the electronic device 101. No, only the first display 120 of the electronic device 101 and/or the fourth surface (second rear surface) 144 of the second housing 114 can be viewed.
  • the closed state may mean a state in which the first display 120 is included in the user's field of view facing the front of the electronic device 101 and the second display 122 is covered.
  • the angle between the first surface 141 of the first housing 112 and the second surface 142 of the second housing 114 is first It can be less than or equal to the angle.
  • the closed state may be expressed as a folded state of the second display 122 of the electronic device 101.
  • the folding state of the second display 122 may be determined as a designated first state (eg, a completely folded state).
  • the electronic device 101 displays the information (eg, image information) acquired through the first sensor (first camera) on the first display 120. It can be provided to users through.
  • the folding state of the second display is the designated first state, the user cannot see the second display 122 from all directions of the electronic device 101, but only the first display 120. I can.
  • the folding state of the second display 122 is the designated first state, the electronic device 101 may display an application running on the electronic device 101 through the first display 120.
  • the electronic device 101 is folded by the folding portion 116 between the first housing 112 and the second housing 114, or by partially folding the second display 122. It can be in the (folded in) state (or partially open). According to various embodiments, when the electronic device 101 is in a folded state, an angle between the first surface 141 of the first housing 112 and the second surface 142 of the second housing 114 is designated. You can achieve an angle within the range.
  • the entire second display 122 within the user's field of view facing the front of the electronic device 101 according to the direction of the electronic device 101
  • the entire area is included, at least a partial area on the right side of the second display 122 and the first display 120 are included, or at least a partial area on the left side of the second display 122 and the second housing 114
  • a fourth surface (or second rear surface) 144 may be included.
  • the angle between the first surface 141 of the first housing 112 and the second surface 142 of the second housing 114 is greater than the first angle. It may be larger and smaller than the second angle.
  • At least one of the specified range, the first angle, or the second angle may be set and/or changed by a designer and/or user.
  • at least a portion of the second display 122 may be in a partially open state.
  • the angle formed when the second display 122 is folded is specified. You can achieve an angle within the range.
  • the entire area of the second display 122 is included within the user's field of view, or at least a part of the right side of the second display 122 is included.
  • the area and the first display 120 may be included.
  • the electronic device 101 is unfolded by the folding portion 116 between the first housing 112 and the second housing 114, or by unfolding of the second display 122. It can be folded out (or full open).
  • the first surface 141 of the first housing 112 and the second surface 142 of the second housing 114 are substantially (substantially) It can be flushed with the same plane.
  • the entire second display 122 is within a field of view or angle of view of the user facing the front of the electronic device 101. An entire area may be included.
  • the angle between the first surface 141 of the first housing 112 and the second surface 142 of the second housing 114 is greater than the second angle. It may be greater and less than or equal to the third angle.
  • the electronic device 101 may determine the folding state of the second display as a folded out state (or a full open state) according to the degree of folding of the second display 122. I can. According to an embodiment, when the second display 122 is unfolded, the second display 122 may be unfolded substantially flat. According to an embodiment, when the second display 122 is in an unfolded state, the second display 122 is within a field of view or angle of view of the user facing the front of the electronic device 101 The entire area may be included. The user can see the entire area of the second display 122.
  • a method of determining the folding state of the second display 122 may be configured in various ways.
  • the method of determining the folding state of the second display 122 is not limited to the contents described in the present invention, and may be determined through various sensors.
  • at least one angle sensor may be included in at least a portion of the second display 122.
  • the angle detection sensor may measure a change in angle that occurs as at least one side of the second display 122 is folded.
  • At least one Hall sensor may be included in at least a portion of the second display 122, and a folded or folded state may be determined based on magnetic information detected by the Hall sensor.
  • the folded portion 116 may include an angle detection sensor 160.
  • the angle detection sensor 160 may be a degree sensor capable of detecting an angle formed between the first housing 112 and the second housing 114.
  • At least one state detection sensor may be disposed in each of the first housing 112 and the second housing 114.
  • a first state sensor may be disposed in the first housing 112 and a second state sensor may be disposed in the second housing 114.
  • the first state detection sensor and the second state detection sensor may be sensors for obtaining information about an angle between the first housing 112 and the second housing 114.
  • the first and second state detection sensors may include, for example, at least one of a gyro sensor, a distance sensor, and a strain sensor.
  • the folded portion 116 may be composed of a hinge (not shown) and a hinge cover, and the hinge may be covered by the hinge cover.
  • the folded portion 116 may be configured as a connecting portion (or connecting body) including other mechanical elements other than the hinge.
  • the first display 120 or the second display 122 may include a touch sensor (not shown) capable of detecting a touch input.
  • the first display 120 or the second display It may be configured as an integral touch screen included in (122).
  • the touch sensor may be disposed above or below the display.
  • the electronic device 101 includes the above-described sensors (eg, the first sensor 130, the second sensor 132, the third sensor 134, and one or more components 136 ).
  • at least one sensor may be additionally included.
  • the additionally included sensors may be arranged to have a specified distance from at least one of the first sensor 130, the second sensor 132, the third sensor 134, and the sensor included in the one or more parts 136 have
  • various embodiments of the present invention may be applied to electronic devices having various structures that can be folded, bent, or bent by a user.
  • various embodiments of the present invention may be applied to a plurality of electronic devices configured to be physically and/or logically connected to each other to perform a folding operation.
  • FIG. 2 is a block diagram of an electronic device 201 in a network environment 200 according to various embodiments.
  • the electronic device 201 of FIG. 2 may be the electronic device 101 of FIG. 1.
  • the electronic device 201 communicates with the electronic device 202 through a first network 298 (for example, a short-range wireless communication network), or a second network 299 It is possible to communicate with the electronic device 204 or the server 208 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 201 may communicate with the electronic device 204 through the server 208.
  • a first network 298 for example, a short-range wireless communication network
  • a second network 299 It is possible to communicate with the electronic device 204 or the server 208 through (eg, a long-distance wireless communication network).
  • the electronic device 201 may communicate with the electronic device 204 through the server 208.
  • the electronic device 201 includes a processor 220, a memory 230, an input device 250, an audio output device 255, a display device 260, an audio module 270, and a sensor module ( 276), interface 277, haptic module 279, camera module 280, power management module 288, battery 289, communication module 290, subscriber identification module 296, or antenna module 297 ) Can be included.
  • at least one of these components eg, the display device 260 or the camera module 280
  • some of these components may be implemented as one integrated circuit.
  • the sensor module 276 eg, a fingerprint sensor, an iris sensor, or an illuminance sensor
  • the display device 260 eg, a display.
  • the processor 220 executes software (eg, a program 240) to implement at least one other component (eg, a hardware or software component) of the electronic device 201 connected to the processor 220. It can be controlled and can perform various data processing or operations. According to an embodiment, as at least part of data processing or operation, the processor 220 may transfer commands or data received from other components (eg, the sensor module 276 or the communication module 290) to the volatile memory 232. It is loaded into, processes a command or data stored in the volatile memory 232, and stores result data in the nonvolatile memory 234.
  • software eg, a program 240
  • the processor 220 may transfer commands or data received from other components (eg, the sensor module 276 or the communication module 290) to the volatile memory 232. It is loaded into, processes a command or data stored in the volatile memory 232, and stores result data in the nonvolatile memory 234.
  • the processor 220 includes a main processor 221 (eg, a central processing unit or an application processor), and a secondary processor 223 that can be operated independently or together with the main processor 221 (eg, a graphic processing unit, an image signal processor) , A sensor hub processor, or a communication processor). Additionally or alternatively, the coprocessor 223 may be set to use less power than the main processor 221 or to be specialized for a designated function.
  • the secondary processor 223 may be implemented separately from the main processor 221 or as a part thereof.
  • the co-processor 223 is, for example, in place of the main processor 221 while the main processor 221 is in an inactive (eg, sleep) state, or the main processor 221 is active (eg, executes an application). ), together with the main processor 221 while in the state, at least one of the components of the electronic device 201 (for example, the display device 260, the sensor module 276, or the communication module 290) It is possible to control at least some of the functions or states associated with it.
  • the coprocessor 223 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, a camera module 280 or a communication module 290. have.
  • the memory 230 may store various data used by at least one component of the electronic device 201 (for example, the processor 220 or the sensor module 276).
  • the data may include, for example, software (eg, the program 240) and input data or output data for commands related thereto.
  • the memory 230 may include a volatile memory 232 or a nonvolatile memory 234.
  • the program 240 may be stored as software in the memory 230, and may include, for example, an operating system 242, middleware 244, or an application 246.
  • the input device 250 may receive a command or data to be used for a component of the electronic device 201 (eg, the processor 220) from outside (eg, a user) of the electronic device 201.
  • the input device 250 may include, for example, a microphone, a mouse, or a keyboard.
  • the sound output device 255 may output an sound signal to the outside of the electronic device 201.
  • the sound output device 255 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback, and the receiver can be used to receive incoming calls. According to one embodiment, the receiver may be implemented separately from the speaker or as part of the speaker.
  • the display device 260 may visually provide information to the outside of the electronic device 201 (for example, a user).
  • the display device 260 may include, for example, a display, a hologram device, or a projector and a control circuit for controlling the device.
  • the display device 260 may include a touch circuitry set to sense a touch, or a sensor circuit (eg, a pressure sensor) set to measure the strength of a force generated by the touch. have.
  • the audio module 270 may convert sound into an electric signal or, conversely, convert an electric signal into sound. According to an embodiment, the audio module 270 acquires sound through the input device 250, the sound output device 255, or an external electronic device directly or wirelessly connected to the electronic device 201 (for example, Sound may be output through the electronic device 202) (for example, a speaker or headphones).
  • the sensor module 276 detects an operating state (eg, power or temperature) of the electronic device 201, or an external environmental state (eg, a user state), and generates an electrical signal or data value corresponding to the detected state. can do.
  • the sensor module 276 is, for example, a gesture sensor, a gyro sensor, an atmospheric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an infrared (IR) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 277 may support one or more specified protocols that may be used to connect the electronic device 201 directly or wirelessly to an external electronic device (eg, the electronic device 202 ).
  • the interface 277 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • the connection terminal 278 may include a connector through which the electronic device 201 can be physically connected to an external electronic device (eg, the electronic device 202 ).
  • the connection terminal 278 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 279 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that a user can perceive through tactile or motor sense.
  • the haptic module 279 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 280 may capture a still image and a video.
  • the camera module 280 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 288 may manage power supplied to the electronic device 201.
  • the power management module 388 may be implemented as at least a part of, for example, a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 289 may supply power to at least one component of the electronic device 201.
  • the battery 289 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 290 includes a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 201 and an external electronic device (eg, electronic device 202, electronic device 204, or server 208). It is possible to support establishment and communication through the established communication channel.
  • the communication module 290 operates independently of the processor 220 (eg, an application processor) and may include one or more communication processors that support direct (eg, wired) communication or wireless communication.
  • the communication module 290 is a wireless communication module 292 (eg, a cellular communication module, a short-range wireless communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 294 (eg : A LAN (local area network) communication module, or a power line communication module) may be included.
  • a corresponding communication module is a first network 298 (for example, a short-range communication network such as Bluetooth, WiFi direct or IrDA (infrared data association)) or a second network 299 (for example, a cellular network, the Internet, or It can communicate with external electronic devices through a computer network (for example, a telecommunication network such as a LAN or WAN).
  • the wireless communication module 292 uses subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 296 in a communication network such as the first network 298 or the second network 299.
  • subscriber information eg, International Mobile Subscriber Identifier (IMSI)
  • IMSI International Mobile Subscriber Identifier
  • the antenna module 297 may transmit a signal or power to the outside (eg, an external electronic device) or receive from the outside.
  • the antenna module may be formed in a conductor or a conductive pattern according to an exemplary embodiment, and may further include other components (eg, RFIC) in addition to the conductor or the conductive pattern according to some exemplary embodiments.
  • the antenna module 297 may include one or more antennas, from which at least one suitable for a communication method used in a communication network such as the first network 298 or the second network 299 An antenna of, for example, may be selected by the communication module 290.
  • the signal or power may be transmitted or received between the communication module 290 and an external electronic device through the at least one selected antenna.
  • At least some of the components are connected to each other through a communication method (e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI))) between peripheral devices (E.g. commands or data) can be exchanged with each other.
  • a communication method e.g., bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • commands or data may be transmitted or received between the electronic device 201 and the external electronic device 204 through the server 208 connected to the second network 299.
  • Each of the electronic devices 202 and 204 may be the same or different types of devices as the electronic device 201.
  • all or part of the operations executed in the electronic device 201 may be executed in one or more of the external electronic devices 202, 204, or 208.
  • the electronic device 201 needs to perform a function or service automatically or in response to a request from a user or another device, the electronic device 201 does not execute the function or service by itself.
  • One or more external electronic devices receiving the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 201.
  • the electronic device 201 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing, distributed computing, or client-server computing technology may be used.
  • the processor 220 includes a first housing (eg, the first housing 112 in FIG. 1A) and a second housing (eg, FIG. 1A) according to a change in the mechanical state of the electronic device 201. It is possible to detect a change in the angle between the second housing 114 of the.
  • the processor 220 may detect a state in which at least one side of the second display (eg, the second display 122 of FIG. 1A or 1D) included in the electronic device 201 is folded. have. According to an embodiment, the processor 220 may check the folding state of the second display 122 according to the degree to which the second display 122 is folded based on data received from the sensor module 276. According to an embodiment, the processor 220 may detect a change in the folding angle based on one side of the second display 122. According to an embodiment, the processor 220 may detect a change in the state of the electronic device 101 based on a change in the angle of the second display 122.
  • the processor 20 may change from a closed state to a folded state, a change from a folded state to an unfolded state, a change from an unfolded state to a folded state, or At least one of a change from a folded state to a closed state may be detected.
  • the processor 220 is based on the data received from the sensor module 276, the angle between the first housing 112 and the second housing 114, or the folded state of the second display 122 Can be detected to change.
  • the processor 220 is based on at least one of an angle sensor, a strain sensor, a distance sensor, a gyroscope sensor, and a degree sensor provided in the electronic device 201 and the first surface 141 of the first housing 112 and the 2
  • the angle between the second surface 142 of the housing 114 or the folded angle of the second display 122 may be determined (or calculated).
  • the processor 220 changes the angle between the first housing 112 and the second housing 114 while providing a user interface of a first application that operates in connection with at least one sensor and a display.
  • occurrence of an event for changing a sensor and a display may be detected based on a change in an angle sensed according to a change in the folding state of the second display 122.
  • the sensor and display change event is one of an event for changing a display with at least one sensor linked to a first application, or an event for changing a display while additionally linking at least one other sensor to the first application. It may include at least one.
  • a first application that operates in conjunction with at least one sensor and a display is an application that provides a user interface using data obtained from at least one sensor, or at least one other application using data obtained from at least one sensor. It may include at least one of applications transmitted to the electronic device.
  • the first application may include at least one of a camera application, a video call application, an object detection application, and an object recognition application.
  • the listed applications are merely exemplary for aiding understanding, and various embodiments of the present invention will not be limited thereto.
  • Providing the user interface of the first application may include providing a user interface including an image generated based on data acquired from at least one sensor through a corresponding display.
  • the angle between the first housing 112 and the second housing 114 is specified.
  • a sensor and display change event is at least one of an event for changing a display with at least one sensor linked to an application capable of using the first display, or an event for changing a display while additionally linking at least one other sensor to an application. It can contain one.
  • the processor 220 may detect a sensor and display change event, and control active states of the sensors according to the detected event. According to an embodiment, when a sensor change is required according to a sensor and display change event, the processor 220 activates at least one other sensor to be linked to the first application, and at least one sensor linked to the first application is The sensor module 276 and/or the camera module 280 may be controlled to change from an active state to an inactive state.
  • At least one other sensor to be further linked to the first application is switched from an inactive state to an active state.
  • the sensor module 276 and/or the camera module 280 are controlled to maintain the active ecology of at least one sensor that has been linked, and the data acquired from at least one additionally activated sensor and at least one previously activated sensor Information can be provided to the user by using the data obtained by the user together.
  • the processor 220 when a sensor and display change event occurs, the processor 220 starts activating at least one other sensor, and until activation of at least one other sensor is completed, the processor 220
  • the data collected by the sensor of the can be processed and used as data that can be used in the first application.
  • the processor 220 may include data previously collected by at least one sensor that has been previously activated, and / Or the data collected at the time of occurrence of the sensor and display event may be processed into data that can be used in the first application.
  • the processor 220 may control the communication module 290 to transmit the processed data as data of the first application to another electronic device, or may control the display device 260 to display the processed data as data of the first application.
  • the processor 220 may use sensor and display specification information when processing data.
  • the processor 220 uses at least one of the previously activated sensor and/or the display specification information, the additionally activated sensor and/or the display specification information, and the data collected by the previously activated sensor. Can be processed (eg, object size control, object position control, focus control, screen brightness control, and additional graphic effects).
  • the sensor specification information may include, for example, resolution information of the camera sensor, angle of view information, brightness information, whether 3D is supported, distance information from a subject, or location information disposed on the electronic device 201.
  • Display specification information may include, for example, display resolution, brightness, or size. These are exemplary, and embodiments of the present invention are not limited thereto.
  • the processor 220 may determine whether effective data collection is possible using at least one other sensor. According to an embodiment, when activation of at least one other sensor is completed, the processor 220 determines whether the angle between the first housing 112 and the second housing 114 satisfies the specified angle condition, and the second display The folding state of (122) (the folded state of the second display 122 when at least a part of the second display 122 is folded at a specified angle), or the object detected through at least one sensor is at least one other Based on at least one of whether or not it is detected through a sensor, it may be determined whether or not effective data can be collected using at least one other sensor.
  • the designated angle condition may be a condition indicating an angle at which at least a part of the electronic device is not detected within the angle of view of at least one other sensor.
  • the specified angle condition may be a condition indicating an angle in which an object (or subject) to be photographed by the user is included in the angle of view of at least one other sensor.
  • the designated angular condition may be determined based on an angle between the first housing 112 and the second housing 114 corresponding to a time point at which a sensor and display change event occurs, or a state of the electronic device 201. For example, when a sensor and display change event occurs while the electronic device 201 is closed, the specified angle condition may represent an angle greater than 130 degrees. As another example, when a sensor and display change event occurs while the electronic device 201 is open, the specified angle condition may represent an angle less than 45 degrees. This is only an exemplary angle, and various embodiments of the present invention are not limited thereto.
  • the processor 220 when the activation of at least one other sensor is completed, the processor 220 is based on whether the object detected by the sensor used before the event occurs is detected by the at least one other sensor, at least One other sensor can be used to determine whether valid data can be collected. For example, when the activation of at least one other sensor is completed, the processor 220 analyzes data collected from at least one other activated sensor, and the object detected by the sensor used before the event is activated is activated is activated. It can be determined whether it is detected by at least one sensor. According to an embodiment, the processor 220 includes an object detected by at least one sensor (eg, the first sensor 130) and an object detected by at least one other sensor (eg, the second sensor 132).
  • the processor 220 includes an object detected by at least one sensor (eg, the first sensor 130) and an object detected by at least one other sensor (eg, the second sensor 132).
  • the processor 220 may determine that valid data can be collected, and if the similarity is less than the specified value, the processor 220 may determine that valid data cannot be collected.
  • the processor 220 may use the data collected by at least one other sensor as the data of the first application when it is possible to collect valid data by at least one other activated sensor, and at least The specified function may be executed by comparing data of one other sensor with data collected by at least one sensor.
  • the processor 220 may detect a gesture or a specified facial expression in each of the image data collected by at least one other sensor and the image data collected by at least one sensor.
  • a designated function corresponding to a gesture or facial expression can be executed.
  • the designated function corresponding to the gesture or expression may include at least one of a photo shooting function, a video shooting function, a timer starting function for shooting a photo or video, a graphic effect addition function, an object tracking function, or a focus adjustment function.
  • the processor 220 may include a specified gesture and a specified facial expression from each of the image data collected by at least one other sensor and the image data collected by the at least one sensor, but not the same gesture and the same facial expression. Or, if the same object is detected, the designated function can be executed.
  • the electronic device 201 includes a connection portion (eg, the folded portion 116 of FIGS. 1A and 1B, and at least one first sensor (eg, the first sensor 130 of FIG. 1B )).
  • a second housing e.g., the first housing 112 of FIGS. 1A and 1B in which at least one second sensor (e.g., the second sensor 132 of FIG. 1A) is disposed (e.g. The second housing 114 of FIGS. 1A and 1B ), a first display disposed on the first housing 112 (for example, the first display 120 of FIG.
  • the processor 220 the first Detects a change in the angle between the housing 112 and the second housing 114, controls the second sensor 132 to be activated in response to the change in the angle, and activates the second sensor 132 Until completion, the data collected from the first sensor 130 is used as application data, and when activation of the second sensor 132 is completed, the data collected from the second sensor 132 is used as the application. It can be set to be used as data of.
  • the data collected from the first sensor 130 is data collected from the first sensor 130 at the time when the angle change is detected, 1 It may include at least one of data collected from the sensor 130 or data collected and stored from the first sensor 130 before the point in time when the angle change is detected.
  • the processor 220 when the activation of the second sensor 132 is detected, the angle between the first housing 112 and the second housing 114 may satisfy a specified angle range. Until then, the data previously collected from the first sensor 130 may be set to be used as data of the application.
  • the processor 220 determines whether the object is detected by the second sensor 132, and the first sensor ( If the object detected by 130) is not detected by the second sensor 132, previously collected from the first sensor 130 until the object is detected by the second sensor 132
  • the data collected from the second sensor 132 may be set to be used as data of the application.
  • the processor 220 may display a first image generated using data collected from the first sensor 130 on the first display 120 before detecting the angle change. After the angle change is detected, the data previously collected from the first sensor 130 may be controlled to be displayed on the second display 122.
  • the processor 220 includes specification information of the first sensor 130, specification information of the second sensor 132, specification information of the first display 120, and the second display. Based on at least one of the specification information of 122, data previously collected from the first sensor 130 may be processed, and the processed data may be controlled to be displayed on the second display 122.
  • the specification information of the first sensor 130 or the specification information of the second sensor 132 includes resolution information, angle of view information, arranged location information, distance information for an object, brightness information, Alternatively, it may include at least one of information on whether or not 3D is supported.
  • the specification information of the first display 120 or the specification information of the second display 122 may include at least one of resolution information, size information, and brightness information.
  • the processing may include at least one of changing a position of an object, changing a size of an object, changing a screen brightness, changing a resolution, changing a focus, or adding a graphic effect.
  • the resolution of the first display 120 is the first resolution
  • the electronic device 101 changes the image obtained by the first camera into a first image processed according to the first resolution, and displays the first display. It can be provided to users through.
  • an event requiring switching to the second display 122 occurs (for example, when the folding state of the second display 122 is changed to an open state), the electronic device 101 is acquired by the first camera.
  • the processed image may be processed according to the second resolution, which is the resolution of the second display 122, and the processed second image may be provided through the second display for a certain time or until a certain condition is satisfied.
  • the electronic device 101 provides the second image through the second display 122 based on the folding state of the second display 101, and then provides the second image through the second camera.
  • a third image changed according to the resolution of the display 122 may be generated, and the third image may be provided through the second display 122.
  • the third image may be displayed simultaneously with the second image for at least a certain period of time, and according to a user input or a type of application displayed through the second display 122, or a preset environment.
  • a fourth image obtained by combining the second image and the third image may be displayed, or a fifth image including the second image and the third image may be displayed.
  • a second image may be included in the third image and displayed.
  • the electronic device 101 4 images can be displayed.
  • the processor 220 when the application is an application that communicates with at least one other device, the first The at least one other data generated by using the data collected from the sensor 130, the second sensor 132, or the data collected from the first sensor 130 is transmitted through the communication module 290. It can be controlled to be transmitted to electronic devices
  • the processor 220 when the application is an application that communicates with at least one other device, the angle change In response to, when the angle is a designated first angle, the at least one data collected from the first sensor or data generated by using the data collected from the first sensor is transmitted through the communication module 290. Can be controlled to be transmitted to other electronic devices.
  • a communication module for example, the communication module 290 of Figure 2
  • the processor 220 when the application is an application that communicates with at least one other device, the angle change
  • the at least one data collected from the first sensor or data generated by using the data collected from the first sensor is transmitted through the communication module 290. Can be controlled to be transmitted to other electronic devices.
  • the processor 220 may control the first sensor 130 to be deactivated in response to the angle change.
  • the processor 220 when the activation of the second sensor 132 is completed, includes previously collected data from the first sensor 130 and the activated second sensor 132. It may be configured to compare the collected data and perform at least one function based on the comparison result.
  • the processor 220 when the data generated by the first sensor 130 and the data generated by the activated second sensor 132 are the same, the processor 220 performs a designated function of the application. Can be set to
  • the processor 220 includes at least one of a gesture or facial expression designated in each of the data generated by the first sensor 130 and the data generated by the activated second sensor 132. When is identically detected, it may be set to perform a designated function of the application.
  • the first sensor 130 and the second sensor 132 may be camera sensors.
  • the first sensor 130 and the second sensor 132 may be ultra wide band (UWB) sensors.
  • UWB ultra wide band
  • the electronic device 101 includes a first display (eg, the first display 120 of FIG. 1B or 1C), a second display in which at least a portion is folded (eg, FIG. 1A, or The second display 122 of FIG. 1D), a first camera (e.g., the first sensor 130 of FIG. 1B or 1C), a second camera (the second sensor 132 of FIG. 1A or 1D) , And a processor (eg, the processor 220 of FIG. 2), wherein the processor 220 checks the folding state of the second display 122, and the confirmed folding state is in a designated first state.
  • a first display eg, the first display 120 of FIG. 1B or 1C
  • a second display in which at least a portion is folded eg, FIG. 1A, or The second display 122 of FIG. 1D
  • a first camera e.g., the first sensor 130 of FIG. 1B or 1C
  • a second camera the second sensor 132 of FIG. 1A or 1D
  • the first display 120 controls the first display 120 so that the first image generated based on the image information acquired through the first camera 130 is displayed through the first display 120, and the confirmation When the folded state corresponds to the designated second state, activation of the second camera 132 is started, and before the activation of the second camera 132 is completed, it is acquired through the first camera 130
  • the second display 122 is controlled so that a second image generated based on one image information is displayed through the second display 122, and when activation of the second camera 132 is completed, the second image 2
  • the second display 122 may be controlled so that a third image generated based on image information acquired through the camera 132 is displayed through the second display 122.
  • the processor 220 when the activation of the second camera 132 is completed, the processor 220 is The second display 122 may be controlled so that the second image generated based on the image information acquired through 130 is displayed through the second display 122.
  • the processor 220 may detect an object detected by the first camera 130 by the second camera 132. Until then, the second display 122 may be controlled so that the second image generated based on image information acquired through the first camera 130 is displayed through the second display 122.
  • FIG. 3A is a flowchart 300 of processing sensor data based on an angle change in the electronic device 201 according to various embodiments.
  • each of the operations may be performed sequentially, but are not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1 and/or the electronic device 201 of FIG. 2.
  • FIGS. 3B to 3E are exemplary diagrams illustrating a change in angle of an electronic device according to various embodiments.
  • the electronic device may detect a change in the angle of the electronic device 101 in operation 301.
  • the processor 220 is a first housing of the electronic device 201 based on at least one of an angle sensor, a strain sensor, a distance sensor, a gyroscope sensor, or a degree sensor provided in the electronic device 201.
  • the angle between the first side 141 of 112 and the second side 142 of the second housing 114 is changed, or a second display (e.g., the second display of FIG. 1A or 1D ( 122)) can be detected that the folding state is changed.
  • the processor 220 may change the angle between the first surface 141 of the first housing 112 of the electronic device 201 and the second surface 142 of the second housing 114 2
  • the electronic device 201 is changed from a closed state to a folded state (partially open state), or a change from an unfolded state (full open state) to a folded state is detected. I can.
  • the processor 220 detects a change in the angle of the electronic device 101 while providing the user interface of the application using data from at least one sensor, or the second display 122 is folded. Based on the state change, it may be determined whether an event for changing a sensor and a display according to a mechanical state change occurs.
  • the processor 220 is a first application that operates in conjunction with a first sensor (eg, the first sensor 130 in FIG. 1) and a first display (eg, the first display 120 in FIG. 1 ). While providing the user interface of, as shown in FIG. 3B, the angle between the first surface 141 of the first housing 112 and the second surface 142 of the second housing 114 is a first angle.
  • the second angle ranges from (for example, about 5 degrees - 90 degrees) to change the angle ( ⁇ 2) in the, or 2
  • the first sensor 130 To change to the second sensor 132 and to change the display associated with the first application from the first display 120 to the second display 122 may be determined to have occurred.
  • the processor 220 is a first application that operates in conjunction with a second sensor (eg, the second sensor 132 of FIG.
  • the angle between the first side 141 of the first housing 112 and the second side 142 of the second housing 114 is in the third angular range.
  • the second sensor 132 To the second sensor 132, and it may be determined that an event for changing the display associated with the first application from the first display 120 to the second display 122 has occurred.
  • the processor 220 while providing a user interface of a first application that operates in conjunction with the second sensor 132 and the second display 122, the processor 220, as shown in FIG.
  • the first housing ( 112) and the second housing 114 in the fourth angle range e.g., about 355 degrees-about 360 degrees
  • the angle ( ⁇ 4 ) i.e., out-folding state
  • the fifth angle range e.g. 270 ° - to change the angle ( ⁇ 5) within the range of about 355 degrees
  • the sensor linked to the first application is changed from the second sensor 132 to the first sensor 130, and the display linked to the first application is changed to the second display 122.
  • the processor 220 provides the user interface of the first application in connection with the second sensor 132 and the second display 122, as shown in FIG. 3E, the first housing 112
  • the angle between the and the second housing 114 is within the sixth angular range (e.g., about 180 degrees-about 270 degrees) within the angle ( ⁇ 6 ) to the fifth angular range (e.g., about 270 degrees-about 355 degrees)
  • the sixth angular range e.g., about 180 degrees-about 270 degrees
  • the fifth angular range e.g., about 270 degrees-about 355 degrees
  • the processor 220 provides the user interface of the first application in connection with the first sensor 130 and the first display 120, as shown in FIG. 3B, the first housing 112
  • the angle between the and the second housing 114 is within the first angular range (e.g., about 0 degrees-about 5 degrees) within the angle ( ⁇ 1 ) to the second angular range (eg, about 5 degrees-about 90 degrees).
  • An application that operates in connection with at least one sensor and a display may include, for example, at least one of a camera application, a video call application, an object detection application, and an object recognition application.
  • the listed applications are merely exemplary for aiding understanding, and various embodiments of the present invention will not be limited thereto.
  • the electronic device may control at least one other sensor to be activated in operation 303.
  • the processor 220 switches at least one other sensor to be linked to the first application from an inactive state to an active state, and is linked to the first application.
  • the sensor module 276 and/or the camera module 280 may be controlled so that at least one sensor is switched from an active state to an inactive state.
  • the processor 220 may provide the first sensor 130 to the camera application.
  • the sensor module 276 and/or the camera module 280 In the linked state, when an event for changing the sensor linked to the camera application from the first sensor 130 to the second sensor 132 is detected, the sensor module 276 and/or the camera module 280 The activation of the second sensor 132 may be requested and deactivation of the first sensor 130 may be requested.
  • the processor 220 when the occurrence of a sensor and display change event is detected, the processor 220 maintains an active state of at least one sensor linked to the first application, while at least one other sensor to be further linked is inactive.
  • the sensor module 276 and/or the camera module 280 may be controlled to switch from the state to the active state. For example, the processor 220 maintains an activated state of the first sensor 130 linked to the camera application while the first sensor 130 is linked to the camera application, and the sensor module 276 and/or The camera module 280 may request additional activation of the second sensor 132.
  • the electronic device may use data collected from at least one sensor in operation 305 as application data.
  • the processor 220 operates on at least one sensor from a point in time when an angle change is detected (or a point in time when a sensor and display change event is detected) until activation of at least one other sensor is completed.
  • the collected data can be processed and used as application data. For example, when the associated sensor of the first application is changed from the first sensor 130 to the second sensor 132 due to a change in the angle of the electronic device 201, the activation of the second sensor 132 is completed.
  • the processor 220 processes the data collected by the first sensor 130 instead of the data of the second sensor 132 to generate the data of the first application.
  • Data collected by at least one sensor is collected by at least one sensor before the time when the angle change is detected, and is stored in the memory 130, and is acquired by at least one sensor before the time when the angle change is detected. It may include at least one of data that has been used but is not stored in the memory 130 or data that is acquired by at least one sensor at a time when an angle change is detected.
  • the data collected by at least one sensor is at least during the time interval between the point in time (e.g., N seconds ahead) and point A by a specified time from point A.
  • the data collected by one sensor and stored in the memory 130 was collected by at least one sensor during the time interval between the time point A and the time point A by a specified time (e.g., N seconds ahead) and the memory 130 ), or data collected by at least one sensor at time A may be included.
  • the data collected by at least one sensor is the first sensor 130 from the point AN second to the point A.
  • the processor 220 is the first sensor 130 from the time point A from the time point A to the point A instead of the data of the second sensor 132 from the point A when the event occurs until the activation of the second sensor 132 is completed.
  • At least one of the data collected by may be processed and used as data of the first application.
  • Using the processed data as data of the first application includes at least one of an operation of transmitting the processed data using the first application to another electronic device, or an operation of displaying the processed data on the screen of the first application. can do.
  • the processor 220 includes specification information of at least one sensor used before detecting an angle change, specification information of at least one other sensor to be changed by detecting an angle change, and a display specification used before detecting an angle change.
  • Data collected by at least one sensor may be processed based on at least one of information and specification information of a display to be changed by detecting an angle change, and the processed data may be used as data of a first application.
  • the processor 220 may be provided with a difference in specifications of at least one sensor previously used and at least one other sensor to be changed or additionally linked, and/or a difference in specifications between a display used previously and a display to be changed Based on this, the data may be processed so that at least one of the size of the object, the position of the object, the focus, and the screen brightness is adjusted.
  • the processor 220 may be provided with a difference in specifications of at least one sensor previously used and at least one other sensor to be changed or additionally linked, and/or a difference in specifications between a display used previously and a display to be changed Based on this, the data can be manipulated to include additional graphic effects.
  • the electronic device when activation of at least one other sensor is completed in operation 307, the electronic device (eg, the processor 220) may use data of the at least one other sensor as application data.
  • the processor 220 when valid data can be collected using at least one other sensor, the processor 220 may use data collected by at least one other sensor as application data. Whether or not valid data can be collected is determined by the angular condition in which the angle between the first surface 141 of the first housing 112 of the electronic device 201 and the second surface 142 of the second housing 114 is specified. It may be determined based on whether it is satisfied, whether the folding angle of the second display 122 satisfies a specified angle condition, or whether an object detected through at least one sensor is detected through at least one other sensor.
  • the processor 220 has completed activation of at least one other sensor, and between the first surface 141 of the first housing 112 and the second surface 142 of the second housing 114 When the angle of satisfies the specified angle condition, or when the folding angle of the second display 122 satisfies the specified angle condition, data collected by at least one other sensor may be used as application data.
  • the processor 220 is changed from a closed state to a folded state (partly open state) and the activation of the second sensor 132 is completed by a sensor and display change event generated, and the first housing 112 and
  • the angle between the second housings 114 is greater than the specified first angle (eg, about 135 degrees), or when the folding angle of the second display 122 is greater than the specified first angle, the second sensor 132 It is determined that valid data can be collected by using, and the data collected by the second sensor 132 may be used as data of the first application.
  • the processor 220 is changed from the unfolded state to the folded state (partially open state) and the activation of the first sensor 130 is completed by a sensor and display change event generated, and the first housing 112 and the first housing 112 2
  • the angle between the housings 114 is less than the designated second angle (eg, about 45 degrees), or the folding angle of the second display 122 is less than the designated second angle
  • the first sensor 130 It is determined that valid data can be collected by using the data, and the data collected by the first sensor 130 may be used as data of the first application.
  • the processor 220 has completed activation of at least one other sensor, but between the first surface 141 of the first housing 112 and the second surface 142 of the second housing 114
  • the first surface 141 and the second housing ( 114) or until the folding angle of the second display 122 satisfies the specified angle condition, as in operation 305, by processing the data collected by at least one sensor to apply the application. It can be used as data of.
  • the processor 220 is changed from a closed state to a folded state (partially open state) and the activation of the second sensor 132 is completed due to a sensor and display change event generated, but the first housing 112 and the When the angle between the second housings 114 is less than or equal to the specified first angle (eg, about 135 degrees), or when the folding angle of the second display 122 is less than or equal to the specified first angle, the second It is determined that valid data cannot be collected using the sensor 132, and the data collected by the first sensor 130 is stored until it is determined that valid data can be collected using the second sensor 132. It can be used as data of the first application.
  • the specified first angle eg, about 135 degrees
  • the first sensor 130 has been activated by a sensor and display change event generated by changing from an unfolded state to a folded state (partially open state), but the first housing 112 and the first 2
  • a specified second angle eg, about 45 degrees
  • the first sensor It is determined that valid data cannot be collected using (130), and the data collected by the second sensor 132 is removed until it is determined that valid data can be collected using the first sensor 130. 1 Can be used as application data.
  • the processor 220 when the activation of at least one other sensor is completed, and an object detected through at least one sensor is detected through at least one other sensor, the processor 220 is configured by at least one other sensor.
  • the collected data can be used as application data.
  • the processor 220 detects an object detected by the first sensor 130 before the event occurs by the second sensor 132 activated after the event occurs. In this case, it is determined that valid data can be collected using the second sensor 132, and the data collected by the second sensor 132 can be used as data of the first application.
  • the processor 220 may detect an object detected by the second sensor 132 prior to the occurrence of the event in the unfolded state of the electronic device 201 by the first sensor 130 activated after the event occurs. In this case, it is determined that valid data can be collected using the first sensor 130, and the data collected by the first sensor 130 may be used as data of the first application.
  • the processor 220 when the activation of at least one other sensor is completed, but the object detected through at least one sensor is not detected through at least one other sensor, the processor 220 Until it is detected by another sensor, in operation 305, data collected by at least one sensor may be processed and used as application data. For example, when the electronic device 201 is closed, the processor 220 detects an object detected by the first sensor 130 before the event occurs by the second sensor 132 activated after the event occurs. If not, it is determined that valid data cannot be collected using the second sensor 132, and by the first sensor 130 until collection of valid data is possible using the second sensor 132 The collected data may be used as data of the first application.
  • the processor 220 may not detect an object detected by the second sensor 132 prior to the occurrence of the event by the first sensor 130 activated after the event occurs. If not, it is determined that valid data cannot be collected using the first sensor 130, and collected by the second sensor 132 until collection of valid data is possible using the first sensor 130. The obtained data may be used as data of the first application.
  • FIG. 4 is a flowchart of using data of a first sensor and/or a second sensor based on an angle change in an electronic device according to various embodiments of the present disclosure.
  • the operations of FIG. 4 described below may be at least some of detailed operations of operations 305 and 307 of FIG. 3A.
  • each of the operations may be performed sequentially, but are not necessarily performed sequentially.
  • the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1 and/or the electronic device 201 of FIG. 2.
  • FIGS. 5 to 10 at least some operations of FIG. 4 will be described with reference to FIGS. 5 to 10.
  • FIG. 5 to 9 are exemplary views for processing first sensor data based on an angle change in an electronic device according to various embodiments
  • FIG. 10 is a first sensor based on an angle change in the electronic device according to various embodiments. It is an exemplary diagram of executing a designated function using data of and a second sensor.
  • an electronic device eg, the processor 220 of FIG. 2
  • activates at least one second sensor eg, the second sensor 132 of FIG. 1 in operation 401. It can be determined whether or not is completed.
  • the activation completion state of the at least one second sensor 132 may mean a state in which data can be collected from the at least one second sensor 132.
  • the processor 220 may determine whether or not the image data can be collected through the second sensor 132.
  • the processor 220 uses a camera application to transfer the image data 511 and 611 acquired by the first sensor 130 to the first display 120.
  • the second sensor 132 may be controlled to be activated.
  • the processor 220 first displays the image data 701 obtained by the first sensor 130 and the image data received from the counterpart electronic device using a video call application.
  • the second sensor 132 may be controlled to be activated.
  • the processor 220 uses a camera application to display the 2D image data 801 acquired by the first sensor 130 on the first display 120 while displaying the electronic device.
  • the second sensor 132 and the third sensor 134 supporting 3D may be controlled to be activated.
  • the processor 220 uses an object detection application to detect object detection results obtained by the UWB sensors 901 and 903 provided on the third surface (or first rear surface) 143 of the first housing.
  • the first surface 141 of the first housing 112 And sensors 911, 913, 915, and 917 provided on the second surface 142 of the second housing 114 may be controlled to be activated.
  • the electronic device determines whether the angle change of the electronic device satisfies the specified angle condition in operation 403. Can be determined.
  • the specified angle condition may be determined based on a state before the angle change of the electronic device 201 is sensed. For example, when an angle change is detected while the electronic device 201 is closed, the designated angle condition may be an angle condition indicating a folded state and/or an unfolded state of the electronic device 201. For example, when an angle change from a closed state to a folded state and/or an unfolded state is detected, the specified angular condition is within the angle of view of the second sensor 132 to be used in the unfolded state.
  • the specified angular condition is an angular condition indicating the folded state and/or the closed state of the electronic device 201.
  • the specified angle condition is that the object detected by the second sensor 132 used in the expanded state is at least
  • the specified angle condition is that the object detected by the second sensor 132 used in the expanded state is at least
  • the specified angle condition is that the object detected by the second sensor 132 used in the expanded state is at least
  • the specified angle condition is that the object detected by the second sensor 132 used in the expanded state is at least
  • the specified angle condition is that the object detected by the second sensor 132 used in the expanded state is at least
  • the specified angle condition is that the object detected by the second sensor 132 used in the expanded state is at least
  • the specified angle condition is that the object detected by the second sensor 132 used in the expanded state is at least
  • the specified angle condition is that the object detected by the second sensor 132 used in the expanded state is at least
  • the specified angular conditions can be set and/or changed by the designer and/or user.
  • the electronic device eg, the processor 220
  • the electronic device is In operation 405
  • data collected from the at least one first sensor 130 used before detecting the angle change may be selected.
  • Data collected from the at least one first sensor 130 used before detecting the angle change may be valid data.
  • data collected from the at least one first sensor 130 used before the angle change is detected is collected by the at least one first sensor 130 at a time before the angle change is detected, and the memory 130 ), data acquired by at least one first sensor 130 at a time prior to detection of an angle change, but not stored in the memory 130, or at least one first sensor 130 at a time prior to detection of an angle change It may include at least one of the data obtained by.
  • the processor 220 may perform at least one second sensor 132 from the point A when the angle change is detected until the activation of the at least one second sensor 132 is completed and the angle of the electronic device 201 satisfies the specified angle condition
  • the processor 220 may perform at least one second sensor 132 from the point A when the angle change is detected until the activation of the at least one second sensor 132 is completed and the angle of the electronic device 201 satisfies the specified angle condition.
  • at least one of the data collected by the first sensor 130 from the time AN second to the time A may be selected, and the selected at least one data may be processed.
  • the electronic device may process the data selected in operation 407.
  • the processor 220 includes specification information of at least one first sensor 130 used before detecting an angle change, at least one second sensor 132 to be changed or additionally linked by detecting an angle change.
  • the selected data may be processed based on at least one of the specification information of the display, specification information of the display used before detecting the angle change, and the specification information of the display to be changed by detecting the angle change.
  • the processor 220 is a difference in specifications of at least one second sensor 132 to be changed or additionally linked with at least one first sensor 130 used previously, and/or previously used.
  • the data may be processed so that at least one of a size, a position, a focus, and a screen brightness of an object included in the selected data is adjusted based on a difference in specifications between the display and the display to be changed.
  • the processor 220 differs in a photographing environment using at least one first sensor 130 and a display before the angle change and at least one second sensor 132 and a photographing environment using the display after the angle change. Accordingly, in order to minimize the sense of disparity that the user may experience, the data may be processed so that at least one of the size of the object included in the selected data, the position of the object, the focus, and the screen brightness is adjusted.
  • the processor 220 is further based on at least one of the type of application, characteristics of the application, and function of the application in addition to the above-described specification information. You can manipulate the data so that at least one is adjusted. For example, when the video call application is running, since the resolution of image data (or frame) transmitted to the other electronic device in the video call is fixed, the processor 220 does not change the resolution of the selected image data, The selected image data may be processed such that at least one of brightness of the selected image data, an object size included in the selected image data, an object position, or a focus is changed. As another example, when a camera application is running and an angle change is detected while the camera application is in the preview state, the resolution can be changed while the camera application is in the preview state.
  • Selected image data may be processed such that at least one of a position or a focus is changed.
  • the processor 220 may stepwise adjust at least one of resolution, brightness, object size, object position, and focus based on the angle of the electronic device 201. For example, as the angular change amount of the electronic device 201 increases, the processor 220 may adjust the brightness of the selected image data to gradually increase. As another example, the processor 220 may adjust the size of the object included in the selected image data to gradually increase as the amount of angular change of the electronic device 201 increases.
  • the processor 220 is a difference in specifications of the at least one second sensor 132 to be changed or additionally linked with the at least one first sensor 130 used before detecting the angle change, and/or the angle
  • the data can be processed to include additional graphic effects, based on differences in specifications of the display used before the change detection and the display to be changed.
  • the electronic device may use the data processed in operation 409 as application data.
  • the processor 220 may control a user interface including processed data to be provided through a display to be changed by detecting an angle change.
  • the user interface including the processed data may be a user interface corresponding to an application.
  • the processor 220 may control processed data to be transmitted to a connected counterpart electronic device using an application. For example, as shown in FIG. 5, when the angle change of the electronic device 201 does not satisfy a specified condition or the activation of the second sensor 132 is not completed, the processor 220 changes the angle.
  • the image data acquired by the first sensor 130 before the detection time point or the angle change detection time is processed to adjust at least one of resolution, brightness, size, position, or focus of the object, and the processed image data 513, Control 515 to be displayed on the second display 122.
  • the processor 220 detects the angle change.
  • the image data acquired by the first sensor 130 before the time point or angle change is detected is processed to adjust at least one of resolution, brightness, object size, position, or focus, and processed image data (613, 615).
  • guide information 621 and 615 indicating that the data of the first sensor 130 is being processed and displayed may be additionally displayed.
  • Guide information 621 and 615 indicating that data of the first sensor 130 is being processed and displayed may indicate a display area of the processed image data.
  • the processor 220 changes the angle.
  • the image data acquired by the first sensor 130 before the detection time point or the angle change detection time point is processed to adjust at least one of resolution, brightness, size, position, or focus of the object, and processed image data 703 Is displayed on a partial area of the second display 122 and may be controlled to be transmitted to the other electronic device during a video call.
  • the processor 220 processes the image data acquired by the first sensor 130 to add a graphic effect to the angle change detection time point or before the angle change detection time point, and the processed image data 803 is applied to the second display 122 ) Can be controlled to be displayed.
  • the graphic effect may include at least one of an effect in which the 2D object looks like a 3D object, an effect of adding and/or changing a sticker, or an effect of adding and/or changing an avatar.
  • the graphic effect may be determined based on the distance to the object.
  • the processor 220 may change the angle of the electronic device 201 not satisfying a specified condition, or the first side 141 and the second side of the first housing 112.
  • the processor 220 detects the angle change or before the angle change is detected.
  • the object detection data acquired by the UWB sensors 901 and 903 provided on the third surface (or the first rear surface) of the first housing is processed to adjust at least one of the position or size of the object, and the processed object It is possible to control the winding data 907 to be displayed on the second display 122.
  • the electronic device when a change in the angle of the electronic device satisfies a specified condition, the electronic device (for example, the processor 220) receives the data collected from the at least one second sensor 132 in operation 411 It can be used as data of an application that uses a display.
  • the processor 220 configures a user interface corresponding to the application by using the data collected from the at least one second sensor 132, and the configured user interface is changed by detecting an angle change. It can be controlled to be presented through the display.
  • the processor 220 when the activation of the second sensor 132 is completed and the angle change satisfies the specified condition, the processor 220 is obtained by the second sensor 132
  • the image data 521 and 617 may be controlled to be displayed on the second display 122.
  • the processor 220 may control the data collected from at least one sensor 132 to be transmitted to another electronic device outside the electronic device 101.
  • the processor 220 may perform an image acquired by the second sensor 132.
  • While the data 705 is displayed on a partial area of the second display 122, a control may be performed so that the data 705 is transmitted to a counterpart electronic device during a video call.
  • the processor 220 may perform a second sensor ( 3D image data 805 may be generated based on image information obtained by 132 and the third sensor 134.
  • the electronic device may control the 3D image data 805 generated based on the second sensor 132 and the third sensor 134 to be displayed on the second display 122.
  • FIG. 8 3D image data 805 may be generated based on image information obtained by 132 and the third sensor 134.
  • the processor 220 is provided on the first surface 141 of the first housing 112 and the second surface 142 of the second housing 114. -wide band)
  • the first surface 141 and the second housing 114 of the first housing 112 The object detection data 921 acquired by the UWB sensors 911, 913, 915, and 917 provided on the second surface 142 of) may be controlled to be displayed on the second display 122.
  • Object 1 931 and object 2 932 recognized by UWB sensors 901 and 903 provided on the third surface 143 of the housing 112 are displayed on the first display 120.
  • the processor 220 is the object 1 recognized by the UWB sensors 901 and 903 on the third side until all of the UWB sensors 911, 913, 915, and 917 on the first and second sides are activated ( 931), and the object 2 932 is controlled to be displayed through the second display 122, and when activation of the UWB sensors 911, 913, 915, and 917 of the first and second surfaces is completed, At least one object (e.g., object 3 (933), object 4 (934)) 3, 4) additionally detected by UWB sensors (911, 913, 915, 917) on the first and second sides It can be controlled to be additionally displayed through the display 122.
  • object 3 (933), object 4 (934) additionally detected by UWB sensors (911, 913, 915, 917) on the first and second sides It can be controlled to be additionally displayed through the display 122.
  • the processor 220 further detects the object 3 933, the object 4 934 and the object 1 931 previously sensed by the UWB sensors 901 and 903 of the third surface, and the object 2 932. ) Can be controlled to be displayed through the second display 122 which is one screen.
  • the processor 220 includes images 905 including objects 1 and 2 (931, 933) so that objects detected and generated according to activation of the UWB sensors 901, 903, 911, 913, 915, and 917 are naturally displayed. , 907), and objects 1, 2, 3, and 4 (931, 932, 933, 934). have.
  • various sensors other than the UWB sensor may be used.
  • the electronic device may perform a specified function based on data previously collected from at least one sensor and data collected from at least one other sensor. have.
  • the electronic device may perform a designated operation by analyzing objects included in an image acquired by the first sensor 130 and the second sensor 132 of the electronic device.
  • the processor 220 changes the electronic device 201 from a closed state to an unfolded state, and in the closed state, the subject 1001 with a winking facial expression, which is a designated facial expression through the first sensor 130, is detected.
  • an automatically designated function (eg, a photo taking function_) may be performed.
  • the processor 220 does not perform a specified function and does not perform a specified function when a subject 1011 with an expression other than a winking expression is detected through the second sensor 132 after the change to the unfolded state.
  • the preview function may be continuously performed.
  • the processor 220 may perform a designated gesture in each of the image data collected by at least one other sensor and the image data collected by at least one sensor. If the specified facial expression is not detected, but the same gesture or the same facial expression is detected, the specified function may be performed.
  • the processor 220 changes from a closed state to an unfolded state, When it is detected that the user makes a V gesture with a finger through the first sensor 130 in the closed state, and when the second sensor 132 detects that the user makes a V gesture with a finger even after it is changed to the unfolded state, it is automatically According to an embodiment, the processor 220 detects the same object in each of the image data collected by at least one other sensor and the image data collected by at least one sensor. In this case, the designated function may be executed.
  • the designated function may include an object tracking function or a focus adjustment function, which is exemplary, and various embodiments of the present invention are not limited thereto.
  • the electronic device 201 is changed from a closed state to an unfolded state, and a user through the first sensor 130 in the closed state
  • a user through the first sensor 130 in the closed state
  • user A is tracked, and information related to user A's tracking is displayed on the second display 122 You can control it to be
  • FIG. 11 is a flowchart of using data of a first sensor and/or a second sensor based on whether an object is detected according to an angle change in an electronic device according to various embodiments.
  • the operations of FIG. 11 described below may be at least some of detailed operations of operations 305 and 307 of FIG. 3A. In the following embodiments, each of the operations may be performed sequentially, but are not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1 and/or the electronic device 201 of FIG. 2.
  • FIG. 12 is an exemplary diagram of processing first sensor data based on whether an object is detected by an electronic device according to various embodiments of the present disclosure.
  • operation 1101 of FIG. 11 may include at least a part of operation 401 of FIG. 4.
  • the processor 220 uses a camera application to display the image data 1201 acquired by the first sensor 130 on the first display 120 while the electronic device
  • the second sensor 132 may be controlled to be activated.
  • the electronic device eg, the processor 220
  • the electronic device is controlled by the at least one second sensor 132 activated in operation 1103. 1 It may be determined whether the same object as the object detected by the sensor 130 is detected.
  • the processor 220 is based on whether the object detected by the at least one first sensor 130 used before the angle change detection is detected by the at least one second sensor 132 activated by the angle change detection. As such, it may be determined whether or not effective data can be collected using at least one second sensor 132. For example, while the electronic device 201 is closed, the processor 220 detects an angle change while photographing the user A using the first sensor 130, and the second sensor 132 detects the angle change. When the activation of is completed, it may be determined whether the user A is detected by analyzing the data collected by the second sensor 132.
  • the electronic device (for example, the processor 220) ) May select and process data collected from the at least one first sensor 130 used before detecting the angle change in operation 1105.
  • the processor 220 may detect at least one second sensor 132 ) To determine that valid data cannot be collected, and use the data collected from the first sensor as application data under a specified condition (e.g., until the object is detected by the second sensor 132). have.
  • operation 1105 of FIG. 11 may include at least some of operations 405 and 407 of FIG. 4.
  • the electronic device may use the data processed in operation 1107 as application data.
  • operation 1107 of FIG. 11 may include at least a part of operation 409 of FIG. 4.
  • the processor 220 may perform the first
  • the image data acquired by the sensor 130 is processed to adjust at least one of resolution, brightness, object size, position, or focus, and the processed image data 1203 is controlled to be displayed on the second display 122 can do.
  • the electronic device when an object is detected by at least one activated second sensor, the electronic device (eg, the processor 220) performs data collected from the at least one second sensor 132 in operation 1109. Can be used as application data.
  • the processor 220 may convert the image data 1205 and 1207 obtained by the second sensor 132 It can be controlled to be displayed on the second display 122.
  • operation 1109 of FIG. 11 may include at least a part of operation 411 of FIG. 4.
  • the electronic device performs a designated function based on first data previously obtained from at least one sensor and second data obtained from at least one other sensor. You can do it.
  • the designated function may be a function of generating third data by using the first data and the second data.
  • the designated function may include at least one of a photo shooting function, a video shooting function, a timer starting function for shooting a photo or video, a graphic effect addition function, an object tracking function, or a focus adjustment function.
  • operation 1111 of FIG. 11 may include at least a part of operation 413 of FIG. 4.
  • FIG. 13 is a flowchart of controlling a first sensor according to an operation mode based on an angle change in an electronic device according to various embodiments of the present disclosure.
  • the operations of FIG. 13 described below may be at least some of detailed operations of operations 301, 303, and 305 of FIG. 3A. In the following embodiments, each of the operations may be performed sequentially, but are not necessarily performed sequentially. For example, the order of each operation may be changed, and at least two operations may be performed in parallel.
  • the electronic device may be the electronic device 101 of FIG. 1 and/or the electronic device 201 of FIG. 2.
  • FIG. 14 is an exemplary diagram for controlling a first sensor according to an operation mode based on an angle change in an electronic device according to various embodiments of the present disclosure.
  • an electronic device may change the angle of the electronic device 201 in operation 1301 (eg, the first housing 112 and the second housing). It may be determined whether an angle formed by 114, an angle at which the second display 122 that can be bent included in the electronic device 201 is folded, etc.) are detected.
  • operation 1301 may include at least some operations of operation 301 of FIG. 3A.
  • the processor 220 controls the preview screen of the camera application including image data obtained from the first sensor 130 to be displayed on the first display 120 in a closed state, as shown in FIG. 14.
  • the electronic device may determine whether it is necessary to enter a mode using two sensors in operation 1303.
  • the processor 220 may determine whether it is necessary to enter a mode using two sensors (eg, a picture in picture (PIP) mode) based on at least one of the type of the application or the function of the application.
  • the mode using two sensors may mean a mode using sensors provided in different housings of the electronic device at the same time.
  • the electronic device for example, the processor 220 stops driving the at least one first sensor 130 in operation 1305.
  • the processor 220 may control to stop driving of at least one first sensor used before detection of an angle change and to activate at least one second sensor 132.
  • the processor 220 detects an angle change while executing a video call application using data collected from the first sensor 130 (or generated by the first sensor 130) in a closed state.
  • Stopping the driving of the first sensor 130 may include an operation of changing the first sensor 130 from an active state to an inactive state.
  • operation 1305 may include at least a part of operation 303 of FIG. 3A.
  • operation 1307 the electronic device (for example, the processor 220) collects data previously collected from the at least one first sensor 130 (or is transferred by the at least one first sensor 130). Data created on the screen) can be selected.
  • operation 1307 may include at least a part of operation 405 of FIG. 4.
  • the electronic device may use the data selected in operation 1309 as application data.
  • operation 1307 may include at least some of operations 407 and 409 of FIG. 4.
  • the electronic device when it is necessary to enter a mode using two sensors, the electronic device (for example, the processor 220) enters a mode using two sensors in operation 1311, and at least one first sensor. While maintaining the driving of the 130, data previously collected from the at least one first sensor 130 may be selected. The operation of selecting previously collected data from the at least one first sensor 130 may include at least a part of operation 405 of FIG. 4.
  • the electronic device collects additional data from the at least one first sensor 130 in operation 1313 (or the additional data by the at least one first sensor 130 ). Can be generated).
  • the processor 220 may additionally generate data by the at least one first sensor 130 after a point in time when the electronic device 201 detects an angle change.
  • the electronic device may use the data selected in operation 1315 and additionally generated data as application data.
  • the processor 220 may provide third data to a user using first data generated by the first sensor 130 and second data generated using the second sensor 132.
  • third data including at least a portion of the first data and the second data may be generated, and the generated third data may be provided.
  • at least a portion of the first data and at least a portion of the second data may be combined or adjusted to provide the third data to the user.
  • the operation of processing the selected data and using it as application data may include at least a part of operation 305 of FIG. 3A. For example, as shown in FIG.
  • the processor 220 enters a mode using two cameras, and a first image generated based on image information obtained from the first sensor 130 while being closed. Based on image information obtained from the second image 1403 and the first sensor 130 generated based on the first image 1401 within a specified angle and providing 1401 through the first display 120 The generated third image data 1411 may be displayed through the second display 122.
  • the processor 220 may complete activation of the second sensor 132 or the first surface 141 of the first housing 112 of the electronic device 201 and the second surface 142 of the second housing 114 When the angle between them satisfies the specified angle, or when the folding angle of the second display 122 satisfies the specified angle, fourth image data generated based on image information obtained from the second sensor 132 ( 1405) is displayed on at least a partial area of the second display 122, and the fifth image data 1413 generated by image information obtained from the first sensor 130 is transferred to another area of the second display 122. Can be displayed.
  • a method of operating the electronic device 201 may include a first housing (eg, the first housing 112 of FIG. 1) and the second housing (eg, the second housing of FIG. 1 ). (114) An operation of detecting a change in the angle between, in response to the change in the angle, controlling the second sensor (for example, the second sensor 132 of FIG. 1) to be activated, the second sensor 132 Until activation is completed, the operation of using the data collected from the first sensor 130 as data of the application, and when the activation of the second sensor 132 is completed, collected from the second sensor 132 It may be set to use data as data of the application.
  • the data collected from the first sensor 130 is data collected from the first sensor 130 at the time when the angle change is detected, 1 A method comprising at least one of data collected from the sensor 130 or data collected and stored from the first sensor 130 before the point in time when the angle change is detected.
  • the operation set to use the data collected from the second sensor 132 as data of the application is, when activation of the second sensor 1320 is detected, the first housing 112 and the An operation of using the data collected from the first sensor 130 as data of the application until the angle between the second housings 114 satisfies a specified angle range.
  • the operation set to use the data collected from the second sensor 132 as data of the application is, when the activation of the second sensor 132 is detected, the object is sent to the second sensor. Determining whether the object is detected by the first sensor 130, when the object detected by the second sensor 132 is not detected by the second sensor 132, the object to be detected by the second sensor 132 The operation of using the data collected from the first sensor 130 until the data of the application, and when the object is detected by the second sensor 132, data collected from the second sensor 132 May include an operation of using as data of the application.
  • An electronic device may be a device of various types.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a camera
  • a wearable device e.g., a smart bracelet
  • the electronic device according to the embodiment of the present document is not limited to the above-described devices.
  • a or B “at least one of A and B”, “at least one of A or B,” “A, B or C,” “at least one of A, B and C,” and “A”
  • Each of the phrases such as “at least one of, B, or C” may include any one of the items listed together in the corresponding one of the phrases, or all possible combinations thereof.
  • Terms such as “first”, “second”, or “first” or “second” may be used simply to distinguish the component from other Order) is not limited.
  • Some (eg, a first) component is referred to as “coupled” or “connected” to another (eg, a second) component, with or without the terms “functionally” or “communicatively”. When mentioned, it means that any of the above components can be connected to the other components directly (eg by wire), wirelessly, or via a third component.
  • module used in this document may include a unit implemented in hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic blocks, parts, or circuits.
  • the module may be an integrally configured component or a minimum unit of the component or a part thereof that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • Various embodiments of the present document include one or more instructions stored in a storage medium (eg, internal memory 236 or external memory 238) that can be read by a machine (eg, electronic device 201). It may be implemented as software (for example, the program 240) including them.
  • the processor eg, the processor 220 of the device (eg, the electronic device 201) may call and execute at least one command among one or more commands stored from a storage medium. This enables the device to be operated to perform at least one function according to the at least one command invoked.
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • a storage medium that can be read by a device may be provided in the form of a non-transitory storage medium.
  • non-transitory only means that the storage medium is a tangible device and does not contain a signal (e.g., electromagnetic waves), and this term refers to the case where data is semi-permanently stored in the storage medium. It does not distinguish between temporary storage cases.
  • a signal e.g., electromagnetic waves
  • a method according to various embodiments disclosed in the present document may be provided by being included in a computer program product.
  • Computer program products can be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a device-readable storage medium (e.g. compact disc read only memory (CD-ROM)), or through an application store (e.g. Play Store TM ) or two user devices (e.g. It can be distributed (e.g., downloaded or uploaded) directly between, e.g. smartphones)
  • a device such as a server of a manufacturer, a server of an application store, or a memory of a relay server.
  • each component (eg, module or program) of the above-described components may include a singular number or a plurality of entities.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or program
  • the integrated component may perform one or more functions of each component of the plurality of components in the same or similar to that performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component may be sequentially, parallel, repeatedly, or heuristically executed, or one or more of the operations may be executed in a different order or omitted. Or one or more other actions may be added.

Abstract

본 발명의 다양한 실시예들은 각도 변화에 기반하여 센서 데이터를 처리하는 폴더블 전자 장치 및 그의 동작 방법에 관한 것이다. 이때, 전자 장치는 연결부, 적어도 하나의 제1 센서가 배치된 제1 하우징, 적어도 하나의 제2 센서가 배치된 제2 하우징, 상기 제1 하우징에 배치된 제1 디스플레이, 상기 제1 하우징과 상기 제2 하우징이 형성하는 공간에 배치되고, 적어도 일부가 폴딩되는 제2 디스플레이, 상기 제1 하우징과 상기 제2 하우징이 이루는 각도를 감지하는 적어도 하나의 센서부, 및 상기 제1 디스플레이, 상기 제2 디스플레이, 상기 각도 감지 센서부, 상기 제1 센서, 및 상기 제2 센서와 작동적으로 연결된 프로세서를 포함하며, 상기 프로세서는 상기 제1 하우징과 상기 제2 하우징 사이의 각도 변화를 감지하고, 상기 각도 변화에 응답하여, 상기 제2 센서가 활성화되도록 제어하고, 상기 제2 센서의 활성화가 완료되기 전까지, 상기 제1 센서로부터 수집된 데이터를 어플리케이션의 데이터로 이용하고, 상기 제2 센서의 활성화가 완료되면, 상기 제2 센서로부터 수집되는 데이터를 상기 어플리케이션의 데이터로 이용하도록 설정될 수 있다. 다른 실시예들도 가능할 수 있다.

Description

각도 변화에 기반하여 센서 데이터를 처리하는 폴더블 전자 장치 및 그의 동작 방법
본 발명의 다양한 실시예들은 각도 변화에 기반하여 센서 데이터를 처리하는 폴더블 전자 장치 및 그의 동작 방법에 관한 것이다.
인터넷과 같은 통신망의 발전으로 인하여, 다양한 컨텐츠들이 개발되고 있다. 이러한 다양한 컨텐츠들을 제공하기 위해, 플렉서블 디스플레이(flexible display) 또는 복수의 디스플레이들을 포함하는 전자 장치가 개발되고 있다. 이러한 전자 장치는 향상된 사용성(usability)을 제공하기 위해, 폴더블(foldable) 타입(type)으로 구현될 수 있다.
폴더블 타입의 전자 장치는 사용자 제스처에 의해 전자 장치의 기구적인 구조 또는 물리적 상태가 변경될 수 있다. 예를 들어, 폴더블 타입의 전자 장치는 펼쳐진 상태에서, 접힌 상태, 또는 닫힌 상태로 변경될 수 있다.
폴더블 전자 장치는 펼쳐진 상태와 접혀진 상태로 변형이 가능하다. 예컨대 전자 장치가 펼쳐진 상태에서 접혀진 상태로 전자 장치의 형상이 변형되거나, 펼쳐진 상태에서 접혀진 상태로 변형이 가능하다. 각각의 상태에서 전자 장치에 포함된 복수의 카메라들로 촬영된 이미지들은 전자 장치의 상태 변경에 따라 변경되어 표시될 수 있다. 전자 장치에 포함된 복수의 카메라들의 성능에 따라 표시되는 이미지가 상이할 수 있다. 예컨대, 제1 어플리케이션 실행 중에 전자 장치의 상태가 접힌 상태에서 펼쳐진 상태 또는 펼쳐진 상태에서 접힌 상태로 변경되면, 제1 어플리케이션에 연동되는 카메라 센서를 제1 카메라 센서에서 제2 카메라 센서로 변경할 수 있다. 예를 들어, 전자 장치는 접힌 상태에서 제1 카메라 센서를 이용하여 제1 디스플레이에 제1 사용자 인터페이스를 제공하고, 접힌 상태에서 닫힌 상태로 변경되면, 제2 카메라 센서를 이용하여 제2 디스플레이에 제2 사용자 인터페이스를 제공할 수 있다. 전자 장치에서 제1 어플리케이션에 연동된 센서가 제1 센서에서 제2 센서로 변경될 경우, 제1 센서와 제2 센서의 상이한 사양으로 인해 사용자는 제1 어플리케이션의 사용자 인터페이스에 대한 이질감을 느낄 수 있다.
따라서, 본 발명의 다양한 실시예들은 폴더블 타입의 전자 장치에서 전자 장치의 폴더 상태(예: 전자 장치의 디스플레이 또는 기구물이 이루는 각도 변화)를 감지하여 센서 데이터를 처리하는 방법 및 장치를 제공하기 위한 것이다.
본 문서에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
다양한 실시예들에 따르면, 전자 장치는, 연결부, 적어도 하나의 제1 센서가 배치된 제1 하우징, 적어도 하나의 제2 센서가 배치된 제2 하우징, 상기 제1 하우징에 배치된 제1 디스플레이, 상기 제1 하우징과 상기 제2 하우징이 형성하는 공간에 배치되고, 적어도 일부가 폴딩되는 제2 디스플레이, 상기 제1 하우징과 상기 제2 하우징이 이루는 각도를 감지하는 적어도 하나의 센서부, 및 상기 제1 디스플레이, 상기 제2 디스플레이, 상기 각도 감지 센서부, 상기 제1 센서, 및 상기 제2 센서와 작동적으로 연결된 프로세서를 포함하며, 상기 프로세서는, 상기 제1 하우징과 상기 제2 하우징 사이의 각도 변화를 감지하고, 상기 각도 변화에 응답하여, 상기 제2 센서가 활성화되도록 제어하고, 상기 제2 센서의 활성화가 완료되기 전까지, 상기 제1 센서로부터 수집된 데이터를 어플리케이션의 데이터로 이용하고, 상기 제2 센서의 활성화가 완료되면, 상기 제2 센서로부터 수집되는 데이터를 상기 어플리케이션의 데이터로 이용하도록 설정될 수 있다.
다양한 실시예들에 따르면, 전자 장치는, 제1 디스플레이, 적어도 일부가 폴딩되는 제2 디스플레이, 제1 카메라, 제2 카메라, 및 프로세서를 포함하고, 상기 프로세서는, 상기 제2 디스플레이의 폴딩 상태를 확인하고, 상기 확인된 폴딩 상태가 지정된 제1 상태에 대응되는 경우, 상기 제1 카메라를 통해 획득한 이미지 정보를 기반으로 생성된 제1 이미지가 상기 제1 디스플레이를 통해 표시되도록 상기 제1 디스플레이를 제어하고, 상기 확인된 폴딩 상태가 지정된 제2 상태에 대응되는 경우, 상기 제2 카메라의 활성화를 시작하고, 상기 제2 카메라의 활성화가 완료되기 전에, 상기 제1 카메라를 통해 획득한 이미지 정보를 기반으로 생성된 제2 이미지가 상기 제2 디스플레이를 통해 표시되도록 상기 제2 디스플레이를 제어하고, 및 상기 제2 카메라의 활성화가 완료된 경우, 상기 제2 카메라를 통해 획득한 이미지 정보를 기반으로 생성된 제3 이미지가 상기 제2 디스플레이를 통해 표시되도록 상기 제2 디스플레이를 제어할 수 있다.
다양한 실시예들에 따르면, 전자 장치의 동작 방법은, 상기 전자 장치의 제1 하우징과 상기 제2 하우징 사이의 각도 변화를 감지하는 동작, 상기 각도 변화에 응답하여, 상기 제2 센서가 활성화되도록 제어하는 동작, 상기 제2 센서의 활성화가 완료되기 전까지, 상기 제1 센서로부터 수집된 데이터를 어플리케이션의 데이터로 이용하는 동작, 및 상기 제2 센서의 활성화가 완료되면, 상기 제2 센서로부터 수집되는 데이터를 상기 어플리케이션의 데이터로 이용하도록 설정된 동작을 포함할 수 있다.
다양한 실시예에 따르면, 폴더블 타입 또는 플렉서블 타입의 전자 장치에서 제1 센서를 이용한 어플리케이션 실행 중에 기구적 상태 변화가 감지되면, 제2 센서의 활성화가 완료되기 전까지, 기구적인 상태 변화가 감지된 시점 및/또는 기구적인 상태 변화가 감지되기 이전 시점에 제1 센서로부터 수집된 데이터를 가공하고, 가공된 데이터를 이용하여 사용자 인터페이스를 제공함으로써, 사용자가 느끼는 이질감을 최소화할 수 있다.
도 1a 내지 도 1d는 다양한 실시예들에 따른 전자 장치의 펼쳐진 상태를 도시한 도면이다.
도 2는 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블럭도이다.
도 3a는 다양한 실시예들에 따른 전자 장치에서 각도 변화를 기반으로 센서 데이터를 처리하는 흐름도이다.
도 3b 내지 도 3e는 다양한 실시예들에 따른 전자 장치의 각도 변화를 나타내는 예시도이다.
도 4는 다양한 실시예들에 따른 전자 장치에서 각도 변화를 기반으로 제1 센서 및/또는 제2 센서의 데이터를 이용하는 흐름도이다.
도 5 내지 9는 다양한 실시예들에 따른 전자 장치에서 각도 변화를 기반으로 제1 센서 데이터를 가공하는 예시도이다.
도 10은 다양한 실시예들에 따른 전자 장치에서 각도 변화에 기초하여 제1 센서와 제2 센서의 데이터를 이용하여 지정된 기능을 실행하는 예시도이다.
도 11은 다양한 실시예들에 따른 전자 장치에서 각도 변화에 따른 객체 감지 여부에 기초하여 제1 센서 및/또는 제2 센서의 데이터를 이용하는 흐름도이다.
도 12는 다양한 실시예들에 따른 전자 장치에서 객체 감지 여부에 기초하여 제1 센서 데이터를 가공하는 예시도이다.
도 13은 다양한 실시예들에 따른 전자 장치에서 각도 변화에 기초한 동작 모드에 따라 제1 센서를 제어하는 흐름도이다.
도 14는 다양한 실시예들에 따른 전자 장치에서 각도 변화에 기초한 동작 모드에 따라 제1 센서를 제어하는 예시도이다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
도 1a 내지 도 1d는 다양한 실시예들에 따른 전자 장치의 펼쳐진 상태를 도시한 도면이다. 도 1a는 다양한 실시예들에 따른 폴더블 타입의 전자 장치의 펼쳐진 상태에 대한 전면도이고, 도 1b는 다양한 실시예들에 따른 폴더블 타입의 전자 장치의 펼쳐진 상태에 대한 후면도이다. 도 1c는 다양한 실시예들에 따른 플렉서블 타입의 전자 장치의 펼쳐진 상태에 대한 전면도이고, 도 1d는 다양한 실시예들에 따른 플렉서블 타입의 전자 장치의 펼쳐진 상태에 대한 후면도이다.
도 1a 및 도 1b를 참조하면, 다양한 실시예들에 따른 전자 장치(101)는, 폴더블 하우징(110), 접힘부(116), 제1 디스플레이(120), 제2 디스플레이(122), 제1 센서(130), 제2 센서(132), 제3 센서(134), 및/또는 하나 이상의 부품들(components)(136)을 포함할 수 있다. 제1 디스플레이(120) 및/또는 제2 디스플레이(122)는 폴더블 하우징(110)에 의해 형성된 공간 내에 배치된 플렉서블 및/또는 폴더블 디스플레이일 수 있다.
다양한 실시예들에 따르면, 폴더블 하우징(110)은 제1 하우징(112) 및 제2 하우징(114)을 포함할 수 있다. 일실시예에 따르면, 전자 장치(101)는 제1 하우징(112) 및 제2 하우징(114)으로 구성될 수 있으며, 이때 제1 하우징(112) 및 제2 하우징(114)을 포함하는 하우징을 폴더블 하우징이라고 말할 수 있다. 제1 하우징(112)은 제1면(또는 제1 전면(예: 도 1a의 +Z축 방향을 향하는 면, 또는 도 1b의 -Z축 방향을 향하는 면))(141), 및 상기 제1 면(141)과 반대 방향을 향하는 제 3면(또는 제1 후면(예: 도1a의 -Z축 방향을 향하는 면, 또는 도 1b의 +Z축 방향을 향하는 면))(143)을 포함할 수 있다. 제2 하우징(114)은 제2 면(또는 제2 전면(예: 도 1a의 +Z축 방향을 향하는 면, 또는 도 1b의 -Z축 방향을 향하는 면))(142), 및 상기 제2 면(142)과 반대 방향을 향하는 제4 면(또는 제2 후면(예: 도1a의 -Z축 방향을 향하는 면, 또는 도 1b의 +Z축 방향을 향하는 면))(144)을 포함할 수 있다.
다양한 실시예들에 따르면, 제1 하우징(112) 및 제2 하우징(114)은 접힘부(116)의 양측에 배치되고, 접힘부(116)에 의해 연결될 수 있다. 예를 들면, 접힘부(116)는 제1 하우징(112)의 측면, 및 제1 하우징(112)의 측면과 마주하는 제2 하우징(114)의 측면에 각각 결합됨으로써 제1 하우징(112) 및 제2 하우징(114)이 일정한 각도로 회전(pivotably 또는 rotatably)이 가능하게 연결할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 제1 하우징(112)과 제2 하우징(114) 이 통합된 하나의 하우징으로 구성될 수 있다. 예를 들어, 전자 장치(101)는 적어도 일부가 휘어질 수 있는 연성 구조로 되어 있을 수 있다. 일 실시예에 따르면, 전자 장치(101)가 하나의 하우징으로 구성되어 있을 경우, 사용자의 선택에 의해 접혀지나, 휘어질 위치가 변경될 수 있다. 일 실시예에 따르면, 전자 장치(101)가 하나의 하우징으로 구성되어 있을 경우, 하나의 하우징의 적어도 일부 영역은 휘어질 수 있는 소재로 구성될 수 있다. 다양한 실시예들에 따르면, 제1 디스플레이(120)는 제1 하우징(112)에 의해 형성된 공간 내에 배치될 수 있다. 제1 디스플레이(120)는 제1 하우징(112)의 제3면(또는 제1 후면) 또는 제1 후면 커버(150)의 일부 영역을 통해 적어도 일부가 시각적으로 노출될 수 있다.
다양한 실시예들에 따르면, 제2 디스플레이(122)는 접힘부(116)를 가로질러 제1 하우징(112) 및 제2 하우징(114)이 형성하는 공간에 배치될 수 있다. 예컨대, 제2 디스플레이(122)는 제1 하우징(112) 및 제2 하우징(114)의 적어도 일부에 의해 지지되도록 설치될 수 있다. 다양한 실시예들에서, 제2 디스플레이(122)는 접힘부(116)를 가로질러 제1 하우징(112)과 제2 하우징(114)의 적어도 일면에 형성된 공간에 배치될 수 있다. 다양한 실시예들에 따르면, 제1 센서(130)는 제1 하우징(112)에 의해 형성된 공간 내에 배치될 수 있다. 일실시예에 따르면 제1 센서(130)는 제1 하우징의 제3면(또는 제1 후면), 또는 제1 후면 커버(150)의 영역 중 제1 디스플레이(120)가 배치된 영역의 상단 영역에 배치된 센서 모듈일 수 있다. 일실시예에 따르면 제1 센서(130)는 제1 디스플레이(120) 하단 부에 포함되어 실장 될 수 있다. 일실시예에 따르면 제1 센서(130)는 제1 하우징(112)의 적어도 일부에 포함된 다른 부자재에 포함되어 실장 될 수 있다. 제1 센서(130)는 적어도 하나의 카메라 센서, 또는 적어도 하나의 UWB(ultra-wide band) 센서 중 적어도 하나를 포함할 수 있다. UWB 센서는, 500MHz 이상의 점유 대역폭을 이용하는 초광대역통신을 지원하는 센서로서, 초광대역 무선 통신 신호의 송/수신 패턴을 분석하여 일정 범위 내의 객체(또는 물체) 또는 객체의 움직임을 감지하거나, 객체를 인식하는데 이용될 수 있다. UWB 센서는, UWB 무선 기술을 기반으로, UWB의 사용 주파수 대역을 이용하여 신호를 송신하고, 송신된 신호와 송신된 신호가 객체에 반사되어 되돌아오는 수신 신호를 기반으로 채널 임펄스 응답을 획득하는 방식을 이용하여 객체 또는 객체의 움직임을 감지 및/또는 인식할 수 있다. 예를 들어, UWB 무선기술은 무선반송파를 사용하지 않고 기저대역에서 수 GHz이상의 매우 넓은 주파수 대역을 사용하여 사물의 위치를 정확하게 판단할 수 있는 기술이다. UWB 무선기술은 수 나노(nano) 혹은 수 피코(pico) 초의 매우 좁은 펄스를 사용하므로, 기존의 무선 시스템과 상호 간섭 없이 주파수를 공유하여 사용할 수 있다. 예컨대, UWB 무선 기술은 주파수의 제약 없이 사용할 수 있다. 일실시예에 따르면, UWB 무선기술은 전자 장치(101)와 피사체 사이의 거리 측정 및/또는 피사체에 대한 위치 추적과 같은 레이더 기능을 위해 사용될 수 있다.
제1 센서(130)는 다른 부자재(예: 렌즈부(미도시))를 더 포함할 수 있다. 이때 제1 센서(130)는 제1 카메라라고 지칭할 수 있으며 전자 장치(101) 외부의 빛을 획득하기 위한 센서(예: ISP(Image sensing processor)) 및 렌즈부를 포함할 수 있다. 전자 장치(101)는 제1 카메라를 이용하여 이미지를 획득하고, 제1 디스플레이(120)에 표시할 수 있는 제1 이미지를 생성할 수 있다. 다양한 실시예들에 따르면, 제2 센서(132)는 제2 하우징에 의해 형성된 공간 내에 배치될 수 있다. 제2 센서(132)는 제2 하우징의 제2 면(또는 제2 전면)(142)의 영역 중 제2 디스플레이(122)가 배치된 영역의 적어도 일부 영역(예: 상단 영역)에 배치된 센서 모듈일 수 있다. 일실시예에 따르면, 센서 모듈은 제2 디스플레이(122)의 적어도 일부 영역에 형성된 개구부 내부에 배치될 수 있다. 일실시예에 따르면, 센서 모듈은 제2 디스플레이(122)의 내부에 포함될 수 있다. 일실시예에 따르면, 센서 모듈은 제2 디스플레이(122)의 일측면(예: 하면)에 배치되고, 제2 디스플레이(122)의 적어도 일부(예: 반 투명 영역)을 통해 정보를 획득할 수 있다. 제2 센서(132)는 적어도 하나의 카메라 센서, 또는 적어도 하나의 UWB 센서 중 적어도 하나를 포함할 수 있다. 일실시예에 따르면, 제2 센서(132)는 제2 디스플레이(122) 하단에 배치될 수 있다. 제2 센서(132)는 제2 하우징(114)의 적어도 일 측면 또는 내부에 배치된 부자재 상에 배치될 수 있다. 제2 센서(132)는 제2 디스플레이(122)의 적어도 일부에 포함될 수 있다. 다양한 실시예들에 따르면, 제3 센서(134)는 제1 하우징(112)에 의해 형성된 공간 내에 배치될 수 있다. 제3 센서(134)는 제1 하우징(112)의 제1 면(또는 제1 전면)(141)의 영역 중 제2 디스플레이(122)가 배치된 영역의 상단 영역에 배치된 센서 모듈일 수 있다. 제2 센서(132)는 적어도 하나의 카메라 센서, 또는 적어도 하나의 UWB 센서 중 적어도 하나를 포함할 수 있다. 일실시예에 따르면, 제3 센서(134)는 실시예에 따라 제1 하우징(112)에 구비되지 않고 생략될 수 있다.
다양한 실시예들에 따르면, 하나 이상의 부품들(136)은 제2 하우징(114)에 의해 형성된 공간 내에 배치될 수 있다. 하나 이상의 부품들(136)은 제2 하우징(114)의 제4면(또는 제2 후면) 또는 제2 후면 커버(140)의 일부 영역에 배치된 센서 모듈일 수 있다. 예를 들어, 하나 이상의 부품들(136)은 지문 감지 센서, 카메라 센서, 근접 센서, UWB 센서, 또는 심박 센서 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따른 전자 장치(101)는 접힘부(116)를 기준으로 접힐 수 있다. 예를 들어, 접힘부(116)는 전자 장치(101)의 제1 하우징(112) 및 제2 하우징(114)의 사이에 배치되어, 전자 장치(101)를 일정한 각도로 접히거나 휘도록 할 수 있다. 다양한 실시예들에 따르면, 제1 하우징(112)은 접힘부(116)를 통해 제2 하우징(114)과 연결되고, 접힘부(116)를 기준으로 회전할 수 있다. 다양한 실시예들에 따르면, 제2 하우징(114)은 접힘부(116)를 통해 제1 하우징(112)과 연결되고, 접힘부(116)를 기준으로 회전할 수 있다. 다양한 실시예들에 따르면, 제1 하우징(112)과 제2 하우징(114)은 접힘부(116)를 기준으로 회전함으로써 상호 마주 보도록 접힐 수 있다. 다양한 실시예들에서, 제1 하우징(112) 및 제2 하우징(114)은 실질적으로 서로 포개지거나 중첩될 수 있다. 예를 들어, 제1 하우징(112)과 제2 하우징(114)이 접힘부(116)를 기준으로 회전함으로써, 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142)이 서로 마주보거나, 제1 하우징(112)의 제3 면(143)과 제2 하우징(114)의 제4 면(144)이 서로 마주보도록 접힐 수 있다. 일실시예에 따르면, 전자 장치(101)는 복수의 접힘부(116)를 포함할 수 있다. 예컨대, 전자 장치(101)에 2개의 접힘부(116)가 포함될 경우, 전자 장치(101)는 제1 하우징, 제2 하우징, 및 제3 하우징으로 구성되고, 제1 하우징과 제2 하우징 사이에 제1 접힘부가 배치되고 제2 하우징과 제3 하우징 사이에 제2 접힘부가 배치될 수 있다. 일실시예에 따르면, 전자 장치(101)는 접힘부가 별도로 포함되지 않고, 제1 하우징(112)과 제2 하우징(114)이 통합된 일체형 플렉시블 하우징으로 구성될 수 있다. 전자 장치(101)가 일체형 플렉시블 하우징으로 구성될 경우, 전자 장치(101)의 적어도 일부분은 휘어질 수 있도록 구성될 수 있다. 이때 휘어지는 부분을 기점으로, 센서의 전환 여부를 판단할 수 있다. 일실시예에 따르면, 제1 하우징(112)과 제2 하우징(114)이 이루는 각도에 따라 제2 디스플레이(122)는 일정한 각도로 접힐(folding)될 수 있다. 일실시예에 따르면, 제2 디스플레이(122)는 제1 하우징(112) 또는 제2 하우징(114) 구조 없이 전자 장치(101)에 자체적으로 형성될 수 있다. 이때 전자 장치(101)는 제2 디스플레이(122) 자체의 접힘 정도를 파악할 수 있다.
도 1c 및 도 1d를 참조하면, 다양한 실시예들에 따른 전자 장치(101)는, 하우징(171), 제1 디스플레이(120), 제2 디스플레이(122), 제1 센서(130), 및 제2 센서(132)를 포함할 수 있다.
다양한 실시예들에 따르면, 하우징(171)은 제1 면(또는 전면(예: 도 1c의 +Z축 방향을 향하는 면, 또는 도 1d의 -Z축 방향을 향하는 면))(181), 및 제1 면(181)과 반대 방향을 향하는 제2 면(또는 후면(예: 도 1d의 +Z축 방향을 향하는 면, 또는 도 1c의 -Z축 방향을 향하는 면))(182)을 포함할 수 있다. 다양한 실시예들에 따르면, 하우징(171)은 다양한 구조로 구성된 부자재(미도시)를 더 포함할 수 있다. 예를 들어, 하우징(171)은 제1 면(181)의 좌측 면 또는 우측 면에 배치되는 슬롯(미도시)을 더 포함할 수 있다. 슬롯은 제1 디스플레이(120) 및 제2 디스플레이(122)의 적어도 일부가 인입 또는 인출되도록 구성될 수 있다.
다양한 실시예들에 따르면, 제1 디스플레이(120)는 하우징(171)의 제1 면(181)의 적어도 일부 영역을 통해 시각적으로 노출되도록 배치되고, 제2 디스플레이(122)는 하우징(171)의 제2 면(182)의 적어도 일부 영역을 통해 시각적으로 노출되도록 배치될 수 있다. 제1 디스플레이(120) 및 제2 디스플레이(122)는 다양한 형태로 휘어지거나 접힐 수 있는 플렉서블 및/또는 폴더블 디스플레이일 수 있다. 일실시예에 따르면, 제1 디스플레이(120) 및/또는 제2 디스플레이(122)의 적어도 일부는 구부러지거나 휘어진 상태로 하우징(171)의 슬롯에 격납될 수 있다.
다양한 실시예들에 따르면, 제1 센서(130)는 하우징(171)의 제1 면(181)에 형성된 공간 내에 배치되고, 제2 센서(132)는 하우징(171)의 제2 면(182)에 형성된 공간 내에 배치될 수 있다. 일실시예에 따르면, 제1 센서(130) 및/또는 제2 센서(132)는 하우징(171)의 적어도 일부에 포함된 다른 부자재에 포함되어 실장될 수 있다. 제1 센서(130) 및/또는 제2 센서(132)는 적어도 하나의 카메라 센서, 또는 적어도 하나의 UWB 센서 중 적어도 하나를 포함할 수 있다. 일실시예에 따르면, 제1 센서(130)는 도 1b의 제1 센서(130)와 적어도 일부가 유사하게 구성될 수 있고, 제2 센서(132)는 도 la의 제2 센서(132)와 적어도 일부가 유사하게 구성될 수 있다.
다양한 실시예들에 따르면, 도 1a 내지 도 1d에 도시된 바와 같은, 전자 장치(101)는 전자 장치(101)의 상태 변화를 감지하고, 감지된 상태 변화에 대응되는 동작을 수행할 수 있다. 전자 장치(101)의 상태는, 닫힌 상태, 접힌 상태(또는 부분 오픈 상태), 및 펼쳐진 상태(또는 전체 오픈 상태)로 구분될 수 있다. 이하 본 발명의 다양한 실시예들에서는, 전자 장치(101)의 상태를 닫힌 상태, 접힌 상태, 및 펼쳐진 상태로 구분하여 설명할 것이다. 그러나, 본 발명의 다양한 실시예들은 이에 한정되지 않을 것이다. 예를 들어, 전자 장치(101)의 상태는, 전자 장치(101)의 디스플레이 또는 기구물이 이루는 각도에 기초하여 보다 세분화하여 정의될 수 있다.
다양한 실시예들에 따르면, 도 1a 내지 도 1d의 전자 장치(101)는 제1 하우징(112)과 제2 하우징(114) 사이의 접힘부(120)에 의해, 또는 제2 디스플레이(122)의 접힘에 의해 닫힌(closed) 상태가 될 수 있다. 다양한 실시예들에 따르면, 전자 장치(101)가 닫힌 상태인 경우, 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142)은 서로 마주보게 되며, 실질적으로 평행한 상태를 이룰 수 있다. 다양한 실시예들에 따르면, 닫힌 상태는 전자 장치(101)의 전면을 향하는 사용자의 시야(field of view 또는 angle of view) 내에서 제2 디스플레이(122)가 가려지는 상태를 의미할 수 있다. 다양한 실시예들에 따르면, 전자 장치(101)가 닫힌 상태인 경우(예: 완전 접힌 상태) 사용자는 전자 장치(101)의 모든 방향에서 전자 장치(101)의 제2 디스플레이(122)를 볼 수 없으며, 전자 장치(101)의 제1 디스플레이(120) 및/또는 제2 하우징(114)의 제 4면(제2 후면)(144)만 볼 수 있다. 다양한 실시예들에 따르면, 닫힌 상태는 전자 장치(101)의 전면을 향하는 사용자의 시야 내에 제1 디스플레이(120)가 포함되고, 제2 디스플레이(122)가 가려지는 상태를 의미할 수 있다. 일실시예에 따르면, 전자 장치(101)가 닫힌 상태인 경우, 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142) 사이의 각도는 제1 각도보다 작거나 같을 수 있다.
일실시예에 따르면, 닫힌 상태는 전자 장치(101)의 제2 디스플레이(122)의 폴딩 상태로 표현할 수 있다. 예컨대 제2 디스플레이(120)의 적어도 일부가 일정한 각도로 접힐 경우, 제2 디스플레이(122)의 폴딩 상태는 지정된 제1 상태(예: 완전히 접힌 상태)로 판단할 수 있다. 제2 디스플레이(122)의 폴딩 상태가 지정된 제1 상태일 경우, 전자 장치(101)는 제1 센서(제1 카메라)를 통해 획득한 정보(예: 이미지 정보)를 제1 디스플레이(120)를 통해서 사용자에게 제공할 수 있다. 일실시예에 따르면, 제2 디스플레이의 폴딩 상태가 지정된 제1 상태인 경우, 사용자는 전자 장치(101)의 모든 방향에서 제2 디스플레이(122)를 볼 수 없고, 제1 디스플레이(120)만 볼 수 있다. 전자 장치(101)는 제2 디스플레이(122)의 폴딩 상태가 지정된 제1 상태인 경우, 전자 장치(101)에서 실행되고 있는 어플리케이션을 제1 디스플레이(120)를 통해서 표시할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 제1 하우징(112)과 제2 하우징(114) 사이의 접힘부(116)에 의해, 또는 제2 디스플레이(122)의 부분 접힘에 의해, 접힌(folded in) 상태(또는 부분 오픈 상태)가 될 수 있다. 다양한 실시예들에 따르면, 전자 장치(101)가 접힌 상태인 경우, 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142) 사이의 각도는 지정된 범위 내의 각도를 이룰 수 있다. 일실시예에 따르면, 전자 장치(101)가 접힌 상태인 경우, 전자 장치(101)의 방향에 따라 전자 장치(101)의 전면을 향하는 사용자의 시야 내에(within) 제2 디스플레이(122)의 전체 영역(entire area)이 포함되거나, 제2 디스플레이(122)의 우측 적어도 일부 영역과 제1 디스플레이(120)가 포함되거나, 제2 디스플레이(122)의 좌측 적어도 일부 영역과 제2 하우징(114)의 제4 면(또는 제2 후면)(144)이 포함될 수 있다. 예를 들어, 전자 장치(101)가 접힌 상태인 경우, 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142) 사이의 각도는 제1 각도보다 크고 제2 각도보다 작을 수 있다. 지정된 범위, 제1 각도, 또는 제2 각도 중 적어도 하나는 설계자 및/또는 사용자에 의해 설정 및/또는 변경될 수 있다. 다양한 실시예들에 따르면, 전자 장치(101)는 제2 디스플레이(122)의 적어도 일부의 폴딩 상태가 부분 오픈 상태가 될 수 있다. 다양한 실시예들에 따르면, 제2 디스플레이(122)의 폴딩 상태가 부분 오픈 상태인 경우, 제2 디스플레이(122)가 폴딩 될 때 형성되는 각도(또는 제2 디스플레이(122)가 접힌 각도)는 지정된 범위 내의 각도를 이룰 수 있다. 제2 디스플레이(122)의 적어도 일부가 부분 오픈 상태가 될 때는 사용자의 시야 내에(within) 제2 디스플레이(122)의 전체 영역(entire area)이 포함되거나, 제2 디스플레이(122)의 우측 적어도 일부 영역과 제1 디스플레이(120)가 포함될 수 있다. 다양한 실시예들에 따르면, 전자 장치(101)는 제1 하우징(112)과 제2 하우징(114) 사이의 접힘부(116)에 의해, 또는 제2 디스플레이(122)의 펼쳐짐에 의해, 펼쳐진(folded out) 상태(또는 전체 오픈(full open) 상태)가 될 수 있다. 일실시예에 따르면, 전자 장치(101)가 펼쳐진 상태인 경우, 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142)은 실질적으로(substantially) 동일한 평면을 이룰(flushed with) 수 있다. 일실시예에 따르면, 전자 장치(101)가 펼쳐진 상태인 경우, 전자 장치(101)의 전면을 향하는 사용자의 시야(field of view 또는 angle of view) 내에(within) 제2 디스플레이(122)의 전체 영역(entire area)이 포함될 수 있다. 예를 들어, 전자 장치(101)가 펼쳐진 상태인 경우, 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142) 사이의 각도는 제2 각도보다 크고 제3 각도보다 작거나 같을 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 제2 디스플레이(122)의 접힘 정도에 따라 제2 디스플레이의 폴딩 상태를 펼쳐진(folded out) 상태(또는 전체 오픈(full open) 상태)로 판단할 수 있다. 일실시예에 따르면, 제2 디스플레이(122)가 펼쳐진 상태 경우, 제2 디스플레이(122)는 실질적으로(substantially) 평평하게 펼쳐질 수 있다. 일실시예에 따르면, 제2 디스플레이(122)가 펼쳐진 상태인 경우, 전자 장치(101)의 전면을 향하는 사용자의 시야(field of view 또는 angle of view) 내에(within) 제2 디스플레이(122)의 전체 영역(entire area)이 포함될 수 있다. 사용자는 제2 디스플레이(122)의 전체 영역을 볼 수 있다.
다양한 실시예들에 따르면, 제2 디스플레이(122)의 폴딩 상태를 판단하는 방법은 다양하게 구성될 수 있다. 제2 디스플레이(122)의 폴딩 상태를 판단하는 방법은 본 발명에 기술한 내용으로 한정되지 않으며 다양한 센서를 통해서 판단할 수 있다. 예를 들어, 제2 디스플레이(122)의 적어도 일부에 적어도 하나의 각도 감지 센서를 포함할 수 있다. 각도 감지 센서는 제2 디스플레이(122)의 적어도 일 측면의 접힘에 따라서 발생하는 각도의 변화를 측정할 수 있다. 제2 디스플레이(122)의 적어도 일부에 적어도 하나의 홀 센서를 포함할 수 있고, 홀 센서로 인해 감지되는 마그네틱 정보에 의해 접힘 또는 폴딩 상태를 판단할 수 있다.
다양한 실시예들에 따르면, 접힘부(116)는 각도 감지 센서(160)를 포함할 수 있다. 예를 들어, 각도 감지 센서(160)는 제1 하우징(112)과 제2 하우징(114)이 이루는 각도를 감지할 수 있는 디그리 센서(degree sensor)일 수 있다.
다양한 실시예들에 따르면, 제1 하우징(112) 및 제2 하우징(114) 각각에는 적어도 하나의 상태 감지 센서가 배치될 수 있다. 예를 들어, 제1 하우징(112)에는 제1 상태 감지 센서가 배치되고, 제2 하우징(114)에는 제2 상태 감지 센서가 배치될 수 있다. 일실시예에 따르면, 제1 상태 감지 센서 및 제2 상태 감지 센서는 제1 하우징(112)과 제2 하우징(114) 사이의 각도에 대한 정보를 획득하기 위한 센서일 수 있다. 제1 및 제2 상태 감지 센서는, 예를 들어, 자이로 센서, 거리 센서, 또는 스트레인 센서 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 접힘부(116)는 힌지(미도시) 및 힌지 커버로 구성될 수 있으며, 힌지는 힌지 커버에 의해 가려질 수 있다. 다양한 실시예들에 따르면, 접힘부(116)는 힌지 이외에 다른 기구적인 요소를 포함하는 연결부(또는 연결체)로 구성될 수 있다.
다양한 실시예들에 따르면, 제1 디스플레이(120) 또는 제2 디스플레이(122)는 터치 입력을 검출할 수 있는 터치 센서(미도시)를 포함할 수 있다, 제1 디스플레이(120) 또는 제2 디스플레이(122)에 포함된 일체형의 터치 스크린으로 구성될 수 있다. 제1 디스플레이(120) 또는 제2 디스플레이(122)가 터치 스크린으로 구성되는 경우, 터치 센서는 디스플레이 위에 배치되거나, 디스플레이 아래에 배치될 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 상술한 센서들(예: 제1 센서(130), 제2 센서(132), 제3 센서(134), 및 하나 이상의 부품들(136)에 포함된 센서) 이외에 적어도 하나의 센서를 추가적으로 포함할 수 있다. 추가적으로 포함되는 센서들은, 제1 센서(130), 제2 센서(132), 제3 센서(134), 및 하나 이상의 부품들(136)에 포함된 센서 중 적어도 하나와 지정된 간격을 갖도록 배치될 수 있다
상술한 도 1a 내지 도 1d는, 이해를 돕기 위한 예시적인 설명일 뿐, 본 발명의 다양한 실시예들은 상술한 바와 같은 구조에 한정되지 않을 것이다. 예를 들어, 본 발명의 다양한 실시예들은 사용자에 의해 접히거나 구부러지거나 휘어질 수 있는 다양한 구조의 전자 장치들에 적용될 수 있다. 다른 예로, 본 발명의 다양한 실시예들은 물리적 및/또는 논리적으로 서로 연결되어 폴딩 동작을 수행할 수 있도록 구성된 복수의 전자 장치들에 적용될 수 있다.
도 2는, 다양한 실시예들에 따른, 네트워크 환경(200) 내의 전자 장치(201)의 블럭도이다. 도 2의 전자 장치(201)는 도 1의 전자 장치(101)일 수 있다.
도 2를 참조하면, 네트워크 환경(200)에서 전자 장치(201)는 제1 네트워크(298)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(202)와 통신하거나, 또는 제2 네트워크(299)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(204) 또는 서버(208)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(201)는 서버(208)를 통하여 전자 장치(204)와 통신할 수 있다. 일실시예에 따르면, 전자 장치(201)는 프로세서(220), 메모리(230), 입력 장치(250), 음향 출력 장치(255), 표시 장치(260), 오디오 모듈(270), 센서 모듈(276), 인터페이스(277), 햅틱 모듈(279), 카메라 모듈(280), 전력 관리 모듈(288), 배터리(289), 통신 모듈(290), 가입자 식별 모듈(296), 또는 안테나 모듈(297)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(201)에는, 이 구성요소들 중 적어도 하나(예: 표시 장치(260) 또는 카메라 모듈(280))가 생략되거나, 하나 이상의 다른 구성 요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들은 하나의 통합된 회로로 구현될 수 있다. 예를 들면, 센서 모듈(276)(예: 지문 센서, 홍채 센서, 또는 조도 센서)은 표시 장치(260)(예: 디스플레이)에 임베디드된 채 구현될 수 있다.
프로세서(220)는, 예를 들면, 소프트웨어(예: 프로그램(240))를 실행하여 프로세서(220)에 연결된 전자 장치(201)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(220)는 다른 구성요소(예: 센서 모듈(276) 또는 통신 모듈(290))로부터 수신된 명령 또는 데이터를 휘발성 메모리(232)에 로드하고, 휘발성 메모리(232)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(234)에 저장할 수 있다. 일실시예에 따르면, 프로세서(220)는 메인 프로세서(221)(예: 중앙 처리 장치 또는 어플리케이션 프로세서), 및 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(223)(예: 그래픽 처리 장치, 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 추가적으로 또는 대체적으로, 보조 프로세서(223)는 메인 프로세서(221)보다 저전력을 사용하거나, 또는 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(223)는 메인 프로세서(221)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(223)는, 예를 들면, 메인 프로세서(221)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(221)를 대신하여, 또는 메인 프로세서(221)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(221)와 함께, 전자 장치(201)의 구성요소들 중 적어도 하나의 구성요소(예: 표시 장치(260), 센서 모듈(276), 또는 통신 모듈(290))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일실시예에 따르면, 보조 프로세서(223)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성 요소(예: 카메라 모듈(280) 또는 통신 모듈(290))의 일부로서 구현될 수 있다.
메모리(230)는, 전자 장치(201)의 적어도 하나의 구성요소(예: 프로세서(220) 또는 센서모듈(276))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(240)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(230)는, 휘발성 메모리(232) 또는 비휘발성 메모리(234)를 포함할 수 있다.
프로그램(240)은 메모리(230)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(242), 미들 웨어(244) 또는 어플리케이션(246)을 포함할 수 있다.
입력 장치(250)는, 전자 장치(201)의 구성요소(예: 프로세서(220))에 사용될 명령 또는 데이터를 전자 장치(201)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 장치(250)는, 예를 들면, 마이크, 마우스, 또는 키보드를 포함할 수 있다.
음향 출력 장치(255)는 음향 신호를 전자 장치(201)의 외부로 출력할 수 있다. 음향 출력 장치(255)는, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있고, 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
표시 장치(260)는 전자 장치(201)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 표시 장치(260)는, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일실시예에 따르면, 표시 장치(260)는 터치를 감지하도록 설정된 터치 회로(touch circuitry), 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 센서 회로(예: 압력 센서)를 포함할 수 있다.
오디오 모듈(270)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일실시예에 따르면, 오디오 모듈(270)은, 입력 장치(250)를 통해 소리를 획득하거나, 음향 출력 장치(255), 또는 전자 장치(201)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(202))(예: 스피커 또는 헤드폰))를 통해 소리를 출력할 수 있다.
센서 모듈(276)은 전자 장치(201)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일실시예에 따르면, 센서 모듈(276)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(277)는 전자 장치(201)가 외부 전자 장치(예: 전자 장치(202))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일실시예에 따르면, 인터페이스(277)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(278)는, 그를 통해서 전자 장치(201)가 외부 전자 장치(예: 전자 장치(202))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일실시예에 따르면, 연결 단자(278)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(279)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일실시예에 따르면, 햅틱 모듈(279)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(280)은 정지 영상 및 동영상을 촬영할 수 있다. 일실시예에 따르면, 카메라 모듈(280)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(288)은 전자 장치(201)에 공급되는 전력을 관리할 수 있다. 일실시예에 따르면, 전력 관리 모듈(388)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(289)는 전자 장치(201)의 적어도 하나의 구성 요소에 전력을 공급할 수 있다. 일실시예에 따르면, 배터리(289)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(290)은 전자 장치(201)와 외부 전자 장치(예: 전자 장치(202), 전자 장치(204), 또는 서버(208))간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(290)은 프로세서(220)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일실시예에 따르면, 통신 모듈(290)은 무선 통신 모듈(292)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(294)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제1 네트워크(298)(예: 블루투스, WiFi direct 또는 IrDA(infrared data association) 같은 근거리 통신 네트워크) 또는 제2 네트워크(299)(예: 셀룰러 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부 전자 장치와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성 요소(예: 단일 칩)으로 통합되거나, 또는 서로 별도의 복수의 구성 요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(292)은 가입자 식별 모듈(296)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제1 네트워크(298) 또는 제2 네트워크(299)와 같은 통신 네트워크 내에서 전자 장치(201)를 확인 및 인증할 수 있다.
안테나 모듈(297)은 신호 또는 전력을 외부(예: 외부 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 안테나 모듈은, 일실시예에 따르면, 도전체 또는 도전성 패턴으로 형성될 수 있고, 어떤 실시예에 따르면, 도전체 또는 도전성 패턴 이외에 추가적으로 다른 부품(예: RFIC)을 더 포함할 수 있다. 일실시예에 따르면, 안테나 모듈(297)은 하나 이상의 안테나들을 포함할 수 있고, 이로부터, 제1 네트워크(298) 또는 제2 네트워크(299)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(290)에 의하여 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(290)과 외부 전자 장치 간에 송신되거나 수신될 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들 간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))를 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일실시예에 따르면, 명령 또는 데이터는 제2 네트워크(299)에 연결된 서버(208)를 통해서 전자 장치(201)와 외부의 전자 장치(204) 간에 송신 또는 수신될 수 있다. 전자 장치(202, 204) 각각은 전자 장치(201)와 동일한 또는 다른 종류의 장치일 수 있다. 일실시예에 따르면, 전자 장치(201)에서 실행되는 동작들의 전부 또는 일부는 외부 전자 장치들(202, 204, or 208) 중 하나 이상의 외부 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(201)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(201)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(201)로 전달할 수 있다. 전자 장치(201)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
다양한 실시예들에 따르면, 프로세서(220)는 전자 장치(201)의 기구적 상태 변화에 따른 제1 하우징(예: 도 1 a의 제1 하우징(112))과 제2 하우징(예: 도 1a의 제2 하우징(114)) 사이의 각도 변화를 감지할 수 있다.
일실시예에 따르면, 프로세서(220)는 전자 장치(201)에 포함된 제2 디스플레이(예: 도 1a, 또는 도 1d의 제2 디스플레이(122))의 적어도 일 측면이 접히는 상태를 감지할 수 있다. 일 실시예에 따르면, 프로세서(220)는 센서 모듈 (276)로부터 수신되는 데이터에 기반하여 제2 디스플레이(122)가 접히는 정도에 따라 제2 디스플레이(122)의 폴딩 상태를 확인할 수 있다. 일실시예에 따르면, 프로세서(220)는 제2 디스플레이(122)의 일 측면을 기준으로 접히는 각도가 변경되는 것을 감지할 수 있다. 일실시예에 따르면, 프로세서(220)는 제2 디스플레이(122)의 각도 변경에 기초하여, 전자 장치(101)의 상태 변화를 감지할 수 있다. 예를 들어, 프로세서(20)는 제2 디스플레이(122)의 각도 변경에 기초하여, 닫힌 상태에서 접힌 상태로의 변경, 접힌 상태에서 펼쳐진 상태로의 변경, 펼쳐진 상태에서 접힌 상태로의 변경, 또는 접힌 상태에서 닫힌 상태로의 변경 중 적어도 하나를 감지할 수 있다.
일실시예에 따르면, 프로세서(220)는 센서 모듈(276)로부터 수신되는 데이터에 기초하여 제1 하우징(112)과 제2 하우징(114) 사이의 각도, 또는 제2 디스플레이(122)의 접힌 상태가 변경되는 것을 감지할 수 있다. 프로세서(220)는 전자 장치(201)에 구비된 각도 센서, 스트레인 센서, 거리 센서, 자이로스코프 센서, 또는 디그리 센서 중 적어도 하나를 기반으로 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142) 사이의 각도, 또는 제2 디스플레이(122)의 접힌 각도를 결정(또는 계산)할 수 있다.
다양한 실시예들에 따르면, 프로세서(220)는 적어도 하나의 센서 및 디스플레이와 연계하여 동작하는 제1 어플리케이션의 사용자 인터페이스를 제공하는 중에 제1 하우징(112)과 제2 하우징(114) 사이의 각도 변화, 또는 제2 디스플레이(122)의 폴딩 상태의 변경에 따라 감지된 각도 변화에 기초하여 센서 및 디스플레이를 변경하기 위한 이벤트의 발생을 감지할 수 있다. 예를 들어, 센서 및 디스플레이 변경 이벤트는, 제1 어플리케이션에 연계되는 적어도 하나의 센서와 디스플레이를 변경하기 위한 이벤트, 또는 제1 어플리케이션에 적어도 하나의 다른 센서를 추가 연계시키면서 디스플레이를 변경하기 위한 이벤트 중 적어도 하나를 포함할 수 있다. 적어도 하나의 센서 및 디스플레이와 연계하여 동작하는 제1 어플리케이션은, 적어도 하나의 센서로부터 획득된 데이터를 이용하여 사용자 인터페이스를 제공하는 어플리케이션, 또는 적어도 하나의 센서로부터 획득된 데이터를 이용하여 적어도 하나의 다른 전자 장치로 전송하는 어플리케이션 중 적어도 하나를 포함할 수 있다. 예를 들어, 제1 어플리케이션은, 카메라 어플리케이션, 영상 통화 어플리케이션, 객체 감지 어플리케이션, 또는 객체 인식 어플리케이션 중 적어도 하나를 포함할 수 있다. 나열된 어플리케이션들은 이해를 돕기 위한 예시적인 것일 뿐, 본 발명의 다양한 실시예들은 이에 한정되지 않을 것이다. 제1 어플리케이션의 사용자 인터페이스를 제공하는 것은, 적어도 하나의 센서로부터 획득된 데이터에 기초하여 생성된 이미지를 포함하는 사용자 인터페이스를 해당 디스플레이를 통해 제공하는 것을 포함할 수 있다.
일실시예에 따르면, 프로세서(220)는 적어도 하나의 센서 및 디스플레이와 연계하여 제1 어플리케이션의 사용자 인터페이스를 제공하는 중에, 제1 하우징(112)과 제2 하우징(114) 사이의 각도가 지정된 각도 범위 내의 각도에서 지정된 각도 범위를 벗어나는 각도로 변경되는 것을 감지한 경우, 또는 제2 디스플레이(122)의 적어도 일부가 일정한 각도로 접힌 것을 감지한 경우, 센서 및 디스플레이 변경 이벤트가 발생된 것으로 결정할 수 있다. 센서 및 디스플레이 변경 이벤트는, 제1 디스플레이를 사용할 수 있는 어플리케이션에 연계되는 적어도 하나의 센서와 디스플레이를 변경하기 위한 이벤트, 또는 어플리케이션에 적어도 하나의 다른 센서를 추가 연계시키면서 디스플레이를 변경하기 위한 이벤트 중 적어도 하나를 포함할 수 있다.
다양한 실시예들에 따르면, 프로세서(220)는 센서 및 디스플레이 변경 이벤트를 감지하고, 감지된 이벤트에 따라 센서들의 활성 상태를 제어할 수 있다. 일실시예에 따르면, 프로세서(220)는 센서 및 디스플레이 변경 이벤트에 따라 센서 변경이 필요한 경우, 제1 어플리케이션에 연계될 적어도 하나의 다른 센서가 활성화되고, 제1 어플리케이션에 연계되었던 적어도 하나의 센서가 활성 상태에서 비활성 상태로 전환되도록 센서 모듈(276) 및/또는 카메라 모듈(280)을 제어할 수 있다.
일실시예에 따르면, 프로세서(220)는 센서 및 디스플레이 변경 이벤트에 따라 센서 추가가 필요한 경우, 제1 어플리케이션에 추가 연계될 적어도 하나의 다른 센서가 비활성 상태에서 활성 상태로 전환되고, 제1 어플리케이션에 연계되었던 적어도 하나의 센서의 활성 생태를 유지하도록 센서 모듈(276) 및/또는 카메라 모듈(280)을 제어하고, 추가 활성화된 적어도 하나의 다른 센서에서 획득한 데이터와 기존에 활성화된 적어도 하나의 센서에 의해 획득된 데이터를 함께 이용하여 사용자에게 정보를 제공할 수 있다.
다양한 실시예들에 따르면, 프로세서(220)는 센서 및 디스플레이 변경 이벤트가 발생되면, 적어도 하나의 다른 센서의 활성화를 시작하고 적어도 하나의 다른 센서의 활성화가 완료될 때까지, 기존에 활성화된 적어도 하나의 센서에 의해 수집된 데이터를 가공하여 제1 어플리케이션에서 활용할 수 있는 데이터로 이용할 수 있다. 예를 들어, 적어도 하나의 다른 센서의 활성화가 완료되기 전까지는 적어도 하나의 다른 센서로부터 데이터 수집이 불가능하므로, 프로세서(220)는 기존에 활성화된 적어도 하나의 센서에 의해 이전에 수집된 데이터, 및/또는 센서 및 디스플레이 이벤트 발생 시점에 수집된 데이터를 제1 어플리케이션에서 활용할 수 있는 데이터로 가공할 수 있다. 프로세서(220)는 통신 모듈(290)을 제어하여, 가공된 데이터를 제1 어플리케이션의 데이터로써 다른 전자 장치로 전송하거나, 표시 장치(260)를 제어하여 제1 어플리케이션의 데이터로써 표시할 수 있다.
다양한 실시예에 따르면, 프로세서(220)는 데이터 가공 시, 센서 및 디스플레이의 사양 정보를 이용할 수 있다. 예를 들어, 프로세서(220)는 기존에 활성화된 센서 및/또는 디스플레이의 사양 정보, 추가 활성화된 센서 및/또는 디스플레이의 사양 정보 중 적어도 하나를 이용하여, 기존에 활성화된 센서에 의해 수집된 데이터를 가공(예: 객체 크기 조절, 객체 위치 조절, 초점 조절, 화면 밝기 조절, 추가 그래픽 효과 적용)할 수 있다. 센서의 사양 정보는, 예를 들어, 카메라 센서의 해상도 정보, 화각 정보, 밝기 정보, 3D 지원 여부, 피사체와의 거리 정보, 또는 전자 장치(201)에 배치된 위치 정보를 포함할 수 있다. 디스플레이의 사양 정보는, 예를 들어, 디스플레이 해상도, 밝기, 또는 크기를 포함할 수 있다. 이들은 예시적인 것으로서, 본 발명의 실시예들은 이에 한정되지 않는다.
다양한 실시예들에 따르면, 프로세서(220)는 센서 및 디스플레이 변경 이벤트에 의해 적어도 하나의 다른 센서의 활성화가 완료되면, 적어도 하나의 다른 센서를 이용하여 유효한 데이터의 수집이 가능한지 여부를 결정할 수 있다. 일실시예에 따르면, 프로세서(220)는 적어도 하나의 다른 센서의 활성화가 완료되면, 제1 하우징(112)과 제2 하우징(114) 사이의 각도가 지정된 각도 조건을 만족하는지 여부, 제2 디스플레이(122)의 폴딩 상태(제2 디스플레이(122)의 적어도 일부가 지정된 각도로 접히는 경우에 따른 제2 디스플레이(122)의 접힘 상태), 또는 적어도 하나의 센서를 통해 감지된 객체가 적어도 하나의 다른 센서를 통해 감지되는지 여부 중 적어도 하나에 기초하여, 적어도 하나의 다른 센서를 이용하여 유효한 데이터의 수집이 가능한지 여부를 결정할 수 있다. 예를 들어, 지정된 각도 조건은, 적어도 하나의 다른 센서의 화각 내에 전자 장치의 적어도 일부가 감지되지 않는 각도를 나타내는 조건일 수 있다. 다른 예로, 지정된 각도 조건은 사용자가 촬영하고자 하는 객체(또는 피사체)가 적어도 하나의 다른 센서의 화각 내에 포함되는 각도를 나타내는 조건일 수 있다. 지정된 각도 조건은, 센서 및 디스플레이 변경 이벤트가 발생된 시점에 대응되는 제1 하우징(112)과 제2 하우징(114) 사이의 각도, 또는 전자 장치(201)의 상태에 기초하여 결정될 수 있다. 예를 들어, 전자 장치(201)가 닫힌 상태에서, 센서 및 디스플레이 변경 이벤트가 발생된 경우, 지정된 각도 조건은 130도 보다 큰 각도를 나타낼 수 있다. 다른 예로, 전자 장치(201)가 열린 상태에서, 센서 및 디스플레이 변경 이벤트가 발생된 경우, 지정된 각도 조건은 45도 보다 작은 각도를 나타낼 수 있다. 이는 예시적인 각도일 뿐, 본 발명의 다양한 실시예들은 이에 한정되지 않는다.
일실시예에 따르면, 프로세서(220)는 적어도 하나의 다른 센서의 활성화가 완료되면, 이벤트 발생 이전에 이용된 센서에 의해 감지된 객체가 적어도 하나의 다른 센서에 의해 감지되는지 여부에 기초하여, 적어도 하나의 다른 센서를 이용하여 유효한 데이터의 수집이 가능한지 여부를 결정할 수 있다. 예를 들어, 프로세서(220)는 적어도 하나의 다른 센서의 활성화가 완료되면, 활성화된 적어도 하나의 다른 센서로부터 수집된 데이터를 분석하여, 이벤트 발생 이전에 이용된 센서에 의해 감지되었던 객체가 활성화된 적어도 하나의 센서에 의해 감지되는지 여부를 결정할 수 있다. 일실시예에 따르면, 프로세서(220)는 적어도 하나의 센서(예: 제1 센서(130))에 의해 감지된 객체와 적어도 하나의 다른 센서(예: 제2 센서(132))에 의해 감지된 객체를 비교하여 유사도를 결정하고, 결정된 유사도에 기초하여 유요한 데이터의 수집이 가능한지 여부를 결정할 수 있다. 예를 들어, 프로세서(220)는 유사도가 지정된 값보다 크거나 같은 경우, 유효한 데이터를 수집할 수 있는 것으로 결정하고, 유사도가 지정된 값보다 작은 경우, 유효한 데이터를 수집할 수 없는 것으로 결정할 수 있다.
다양한 실시예들에 따르면, 프로세서(220)는 활성화된 적어도 하나의 다른 센서에 의해 유효 데이터의 수집이 가능한 경우, 적어도 하나의 다른 센서에 의해 수집되는 데이터를 제1 어플리케이션의 데이터로 이용하면서, 적어도 하나의 다른 센서의 데이터와 적어도 하나의 센서에 의해 수집된 데이터를 비교하여 지정된 기능을 실행할 수 있다. 일실시예에 따르면, 프로세서(220)는 적어도 하나의 다른 센서에 의해 수집된 이미지 데이터와 적어도 하나의 센서에 의해 수집된 이미지 데이터 각각에서 지정된 제스처, 또는 지정된 표정이 동일하게 검출된 경우, 검출된 제스처 또는 표정에 대응되는 지정된 기능을 실행할 수 있다. 제스처 또는 표정에 대응되는 지정된 기능은, 사진 촬영 기능, 동영상 촬영 기능, 사진 또는 동영상 촬영을 위한 타이머 시작 기능, 그래픽 효과 추가 기능, 객체 추적 기능, 또는 초점 조절 기능 중 적어도 하나를 포함할 수 있다. 이들은 예시적인 것으로서, 본 발명의 다양한 실시예들은 이에 한정되지 않는다. 일실시예에 따르면, 프로세서(220)는 적어도 하나의 다른 센서에 의해 수집된 이미지 데이터와 적어도 하나의 센서에 의해 수집된 이미지 데이터 각각에서 지정된 제스처 및 지정된 표정이 검출된 것은 아니나 동일한 제스처, 동일한 표정, 또는 동일한 객체가 검출된 경우, 지정된 기능을 실행할 수 있다.
다양한 실시예들에 따르면, 전자 장치(201)는, 연결부(예: 도 1a 및 도 1b의 접힘부(116), 적어도 하나의 제1 센서(예: 도 1b의 제1 센서(130))가 배치된 제1 하우징(예: 도 1a 및 도 1b의 제1 하우징(112), 적어도 하나의 제2 센서(예: 도 1a의 제2 센서(132))가 배치된 제2 하우징(예: 도 1a 및 도 1b의 제2 하우징(114)), 상기 제1 하우징(112)에 배치된 제1 디스플레이(예: 도 1b의 제1 디스플레이(120), 상기 제1 하우징(112)과 상기 제2 하우징(114)이 형성되는 공간에 배치되고, 적어도 일부가 폴딩되는 제2 디스플레이(예: 도 1a의 제2 디스플레이(122)), 상기 제1 하우징(112)과 상기 제2 하우징(114)이 이루는 각도를 감지하는 적어도 하나의 센서부(예: 도 1a 및 도 1b의 각도 감지 센서(160)), 및 상기 제1 디스플레이(120), 상기 제2 디스플레이(122), 상기 각도 감지 센서부(160), 상기 제1 센서(130), 및 상기 제2 센서(132)와 작동적으로 연결된 프로세서(예: 도 2의 프로세서(220))를 포함하며, 상기 프로세서(220)는, 상기 제1 하우징(112)과 상기 제2 하우징(114) 사이의 각도 변화를 감지하고, 상기 각도 변화에 응답하여, 상기 제2 센서(132)가 활성화되도록 제어하고, 상기 제2 센서(132)의 활성화가 완료되기 전까지, 상기 제1 센서(130)로부터 수집된 데이터를 어플리케이션의 데이터로 이용하고, 상기 제2 센서(132)의 활성화가 완료되면, 상기 제2 센서(132)로부터 수집되는 데이터를 상기 어플리케이션의 데이터로 이용하도록 설정될 수 있다.
일실시예에 따르면, 상기 제1 센서(130)로부터 수집된 데이터는, 상기 각도 변화가 감지된 시점에 상기 제1 센서(130)로부터 수집된 데이터, 상기 각도 변화가 감지된 시점 이전에 상기 제1 센서(130)로부터 수집된 데이터, 또는 상기 각도 변화가 감지된 시점 이전에 상기 제1 센서(130)로부터 수집되어 저장된 데이터 중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 상기 프로세서(220)는, 상기 제2 센서(132)의 활성화가 감지되면, 상기 제1 하우징(112)과 상기 제2 하우징(114) 사이의 각도가 지정된 각도 범위를 만족할 때까지 상기 제1 센서(130)로부터 이전에 수집된 데이터를 상기 어플리케이션의 데이터로 이용하도록 설정될 수 있다.
일실시예에 따르면, 상기 프로세서(220)는, 상기 제2 센서(132)의 활성화가 감지되면, 상기 객체가 상기 제2 센서(132)에 의해 감지되는지 여부를 결정하고, 상기 제1 센서(130)에 의해 감지된 객체가 상기 제2 센서(132)에 의해 감지되지 않는 경우, 상기 객체가 상기 제2 센서(132)에 의해 감지될 때까지 상기 제1 센서(130)로부터 이전에 수집된 데이터를 상기 어플리케이션의 데이터로 이용하고, 상기 제 객체가 상기 제2 센서에 의해 감지되는 경우, 상기 제2 센서(132)로부터 수집되는 데이터를 상기 어플리케이션의 데이터로 이용하도록 설정될 수 있다.
일실시예에 따르면, 상기 프로세서(220)는, 상기 각도 변화 감지 이전에는, 상기 제1 센서(130)로부터 수집된 데이터를 이용하여 생성된 제1 이미지를 상기 제1 디스플레이(120)에 표시되도록 제어하고, 상기 각도 변화 감지 이후에는, 상기 제1 센서(130)로부터 이전에 수집된 데이터가 상기 제2 디스플레이(122)에 표시되도록 제어할 수 있다.
일실시예에 따르면, 상기 프로세서(220)는, 상기 제1 센서(130)의 사양 정보, 상기 제2 센서(132)의 사양 정보, 상기 제1 디스플레이(120)의 사양 정보, 상기 제2 디스플레이(122)의 사양 정보 중 적어도 하나에 기초하여, 상기 제1 센서(130)로부터 이전에 수집된 데이터를 가공하고, 상기 가공된 데이터가 상기 제2 디스플레이(122)에 표시되도록 제어할 수 있다.
일실시예에 따르면, 상기 제1 센서(130)의 사양 정보, 또는 상기 제2 센서(132)의 사양 정보는, 해상도 정보, 화각 정보, 배치된 위치 정보, 객체에 대한 거리 정보, 밝기 정보, 또는 3D 지원 여부에 대한 정보 중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 상기 제1 디스플레이(120)의 사양 정보, 또는 상기 제2 디스플레이(122)의 사양 정보는, 해상도 정보, 크기 정보, 또는 밝기 정보 중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 상기 가공은, 객체의 위치 변경, 객체의 크기 변경, 화면 밝기 변경, 해상도 변경, 초점 변경, 또는 그래픽 효과 추가 중 적어도 하나를 포함할 수 있다. 예컨대, 전자 장치(101)는 상기 제1 디스플레이(120)의 해상도가 제1 해상도일 경우, 제1 카메라에 의해 획득된 이미지를 제1 해상도에 맞춰 가공된 제1 이미지로 변경하여 제1 디스플레이를 통해서 사용자에게 제공할 수 있다. 이때, 제2 디스플레이(122)로 전환이 필요한 이벤트가 발생될 경우(예: 제2 디스플레이(122)의 폴딩 상태가 펼쳐짐 상태로 변경될 경우), 전자 장치(101)는 제1 카메라에 의해 획득된 이미지를 제2 디스플레이(122)의 해상도인 제2 해상도에 맞춰 가공하고, 가공된 제2 이미지를 제2 디스플레이를 통해서 일정 시간, 또는 일정 조건이 만족될 때까지 제공할 수 있다. 일실시예에 따르면, 전자 장치(101)는 제2 디스플레이(101)의 폴딩 상태에 기반하여 상기 제2 이미지를 제2 디스플레이(122)를 통해서 제공하다가 제2 카메라를 통해 획득한 이미지를 제2 디스플레이(122)의 해상도에 맞춰 변경한 제3 이미지를 생성하고, 상기 제3 이미지를 제2 디스플레이(122)를 통해 제공할 수 있다. 일실시예에 따르면, 상기 제3 이미지는 상기 제2 이미지와 적어도 일정시간 동안 동시에 표시될 수 있으며, 사용자의 입력 또는 제2 디스플레이(122)를 통해 표시되는 어플리케이션의 종류, 또는 기 설정된 환경에 따라 제2 이미지와 제3 이미지를 합성한 제4 이미지를 표시하거나, 제2 이미지와 제3 이미지를 포함하는 제5 이미지를 표시할 수 있다. 일실시예에 따르면, 제3 이미지 안에 제2 이미지를 포함하여 표시할 수 있다. 일실시예에 따르면, 전자 장치(101)는 제2 이미지를 표시하는 상태에서 제3 이미지를 표시하는 상태로 변환할 때, 자연스러운 변환을 위하여, 제2 이미지와 제3 이미지 사이에 적어도 하나의 제4 이미지를 표시할 수 있다.
일실시예에 따르면, 통신 모듈(예: 도 2의 통신 모듈(290))을 더 포함하며, 상기 프로세서(220)는, 상기 어플리케이션이 적어도 하나의 다른 장치와 통신하는 어플리케이션인 경우, 상기 제1 센서(130), 또는 제2 센서(132)로부터 수집된 데이터, 또는 상기 제1 센서(130)로부터 수집된 데이터를 이용하여 생성된 다른 데이터를 상기 통신 모듈(290)을 통해 상기 적어도 하나의 다른 전자 장치로 전송되도록 제어할 수 있다.
일실시예에 따르면, 통신 모듈(예: 도 2의 통신 모듈(290))을 더 포함하며, 상기 프로세서(220)는, 상기 어플리케이션이 적어도 하나의 다른 장치와 통신하는 어플리케이션인 경우, 상기 각도 변화에 응답하여, 상기 각도가 지정된 제1 각도일 경우, 상기 제1 센서로부터 수집된 데이터, 또는 상기 제1 센서로부터 수집된 데이터를 이용하여 생성된 데이터를 상기 통신 모듈(290)을 통해 상기 적어도 하나의 다른 전자 장치로 전송되도록 제어할 수 있다.
일실시예에 따르면, 상기 프로세서(220)는, 상기 각도 변화에 응답하여, 상기 제1 센서(130)가 비활성화되도록 제어할 수 있다.
일실시예에 따르면, 상기 프로세서(220)는, 상기 제2 센서(132)의 활성화가 완료되면, 상기 제1 센서(130)로부터 이전에 수집된 데이터와 상기 활성화된 제2 센서(132)로부터 수집된 데이터를 비교하고, 상기 비교 결과에 기초하여 적어도 하나의 기능을 수행하도록 설정될 수 있다.
일실시예에 따르면, 상기 프로세서(220)는, 상기 제1 센서(130)에 의해 생성된 데이터와 상기 활성화된 제2 센서(132)에 의해 생성된 데이터가 동일한 경우, 어플리케이션의 지정된 기능을 수행하도록 설정될 수 있다.
일실시예에 따르면, 상기 프로세서(220)는, 상기 제1 센서(130)에 의해 생성된 데이터와 상기 활성화된 제2 센서(132)에 의해 생성된 데이터 각각에서 지정된 제스처, 또는 표정 중 적어도 하나가 동일하게 검출된 경우, 어플리케이션의 지정된 기능을 수행하도록 설정될 수 있다.
일실시예에 따르면, 상기 제1 센서(130) 및 상기 제2 센서(132)는, 카메라 센서들일 수 있다.
일실시예에 따르면, 상기 제1 센서(130) 및 상기 제2 센서(132)는, UWB(ultra wide band) 센서들일 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는, 제1 디스플레이(예: 도 1b, 또는 도 1c의 제1 디스플레이(120)), 적어도 일부가 폴딩되는 제2 디스플레이(예: 도 1a, 또는 도 1d의 제2 디스플레이(122)), 제1 카메라(예: 도 1b, 또는 도 1c의 제1 센서(130)), 제2 카메라(도 1a, 또는 도 1d의 제2 센서(132)), 및 프로세서(예: 도2의 프로세서(220))를 포함하고, 상기 프로세서(220)는, 상기 제2 디스플레이(122)의 폴딩 상태를 확인하고, 상기 확인된 폴딩 상태가 지정된 제1 상태에 대응되는 경우, 상기 제1 카메라(130)를 통해 획득한 이미지 정보를 기반으로 생성된 제1 이미지가 상기 제1 디스플레이(120)를 통해 표시되도록 상기 제1 디스플레이(120)를 제어하고, 상기 확인된 폴딩 상태가 지정된 제2 상태에 대응되는 경우, 상기 제2 카메라(132)의 활성화를 시작하고, 상기 제2 카메라(132)의 활성화가 완료되기 전에, 상기 제1 카메라(130)를 통해 획득한 이미지 정보를 기반으로 생성된 제2 이미지가 상기 제2 디스플레이(122)를 통해 표시되도록 상기 제2 디스플레이(122)를 제어하고, 및 상기 제2 카메라(132)의 활성화가 완료된 경우, 상기 제2 카메라(132)를 통해 획득한 이미지 정보를 기반으로 생성된 제3 이미지가 상기 제2 디스플레이(122)를 통해 표시되도록 상기 제2 디스플레이(122)를 제어할 수 있다.
일실시예에 따르면, 상기 프로세서(220)는, 상기 제2 카메라(132)의 활성화가 완료되면, 상기 제2 디스플레이(122)의 폴딩 상태가 지정된 제3 상태를 만족할 때까지, 상기 제1 카메라(130)를 통해 획득한 이미지 정보를 기반으로 생성된 상기 제2 이미지가 상기 제2 디스플레이(122)를 통해 표시되도록 상기 제2 디스플레이(122)를 제어할 수 있다.
일실시예에 따르면, 상기 프로세서(220)는, 상기 제2 카메라(132)의 활성화가 완료되면, 상기 제1 카메라(130)를 통해 감지된 객체가 상기 제2 카메라(132)에 의해 감지될 때까지, 상기 제1 카메라(130)를 통해 획득한 이미지 정보를 기반으로 생성된 상기 제2 이미지가 상기 제2 디스플레이(122)를 통해 표시되도록 상기 제2 디스플레이(122)를 제어할 수 있다.
도 3a는 다양한 실시예들에 따른 전자 장치(201)에서 각도 변화를 기반으로 센서 데이터를 처리하는 흐름도(300)이다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101), 및/또는 도 2의 전자 장치(201)일 수 있다. 이하에서 도 3a의 적어도 일부 동작은 도 3b 내지 도 3e를 참조하여 설명할 것이다. 도 3b 내지 도 3e는 다양한 실시예들에 따른 전자 장치의 각도 변화를 나타내는 예시도이다.
도 3a를 참조하면, 다양한 실시예들에 따른 전자 장치(예: 도 2의 프로세서(220))는 동작 301에서 전자 장치(101)의 각도 변화를 감지할 수 있다. 일실시예에 따르면, 프로세서(220)는 전자 장치(201)에 구비된 각도 센서, 스트레인 센서, 거리 센서, 자이로스코프 센서, 또는 디그리 센서 중 적어도 하나를 기반으로 전자 장치(201)의 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142) 사이의 각도가 변경되는 것, 또는 제2 디스플레이(예: 도 1a, 또는 도 1d의 제2 디스플레이(122))의 폴딩 상태가 변경되는 것을 감지할 수 있다. 예를 들어, 프로세서(220)는 전자 장치(201)의 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142) 사이의 각도가 변경되거나, 제2 디스플레이(122)의 폴딩 상태가 변경되어, 전자 장치(201)가 닫힌 상태에서 접힌 상태(부분 오픈 상태)로 변경되는 것, 또는 펼쳐진 상태(전체 오픈 상태)에서 접힌 상태로 변경되는 것을 감지할 수 있다.
일실시예에 따르면, 프로세서(220)는 적어도 하나의 센서의 데이터를 이용하여 어플리케이션의 사용자 인터페이스를 제공하는 동안에 전자 장치(101)의 각도 변화가 감지된 것, 또는 제2 디스플레이(122)의 폴딩 상태가 변경된 것에 기초하여, 기구적 상태 변화에 따른 센서 및 디스플레이를 변경하기 위한 이벤트가 발생되는지 여부를 결정할 수 있다. 예를 들어, 프로세서(220)는 제1 센서(예: 도 1의 제1 센서(130)) 및 제1 디스플레이(예: 도 1의 제1 디스플레이(120))와 연계하여 동작하는 제1 어플리케이션의 사용자 인터페이스를 제공하는 중에, 도 3b에 도시된 바와 같이, 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142) 사이의 각도가 제1 각도 범위(예: 약 0도 - 약 5도) 내의 제1 각도(θ1)에서 제2 각도 범위(예: 약 5도 - 약 90도) 내의 각도(θ2)로 변경되는 경우, 또는 제2 디스플레이의 적어도 일부가 제1 각도 범위 내의 각도(θ1)로 접힌 상태에서 제2 각도 범위 내의 각도(θ2)로 접힌 상태로 변경되는 경우, 제1 어플리케이션에 연계되는 센서를 제1 센서(130)에서 제2 센서(132)로 변경하고 제1 어플리케이션에 연계되는 디스플레이를 제1 디스플레이(120)에서 제2 디스플레이(122)로 변경하기 위한 이벤트가 발생한 것으로 결정할 수 있다. 다른 예로, 프로세서(220)는 제2 센서(예: 도 1의 제2 센서(132)) 및 제2 디스플레이(예: 도 1의 제2 디스플레이(122))와 연계하여 동작하는 제1 어플리케이션의 사용자 인터페이스를 제공하는 중에, 도 3c에 도시된 바와 같이, 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142) 사이의 각도가 제3 각도 범위(예: 약 90도 - 약 180도) 내의 각도(θ3)에서 제2 각도 범위(예: 약 5도 - 약 90도) 내의 각도(θ2)로 변경되는 경우, 또는 제2 디스플레이(122)의 적어도 일부가 제3 각도 범위 내의 각도(θ3)로 접힌 상태에서 제2 각도 범위 내의 각도(θ2)로 접힌 상태로 변경되는 경우, 제1 어플리케이션에 연계되는 센서를 제2 센서(132)에서 제2 센서(132)로 변경하고, 제1 어플리케이션에 연계되는 디스플레이를 제1 디스플레이(120)에서 제2 디스플레이(122)로 변경하기 위한 이벤트가 발생한 것으로 결정할 수 있다. 또 다른 예로, 프로세서(220)는 제2 센서(132) 및 제2 디스플레이(122)와 연계하여 동작하는 제1 어플리케이션의 사용자 인터페이스를 제공하는 중에, 도 3d에 도시된 바와 같이, 제1 하우징(112)과 제2 하우징(114) 사이의 각도가 제4 각도 범위(예: 약 355도 - 약 360도) 내의 각도(θ4)(즉, 아웃 폴딩 상태)에서 제5 각도 범위(예: 약 270도 - 약 355도) 내의 각도(θ5)로 변경되는 경우, 또는 제2 디스플레이(122)의 적어도 일부가 제4 각도 범위 내의 각도(θ4)로 접힌 상태에서 제5 각도 범위 내의 각도(θ5)로 접힌 상태로 변경되는 경우, 제1 어플리케이션에 연계되는 센서를 제2 센서(132)에서 제1 센서(130)로 변경하고 제1 어플리케이션에 연계되는 디스플레이를 제2 디스플레이(122)에서 제1 디스플레이(120)로 변경하기 위한 이벤트가 발생한 것으로 결정할 수 있다. 또 다른 예로, 프로세서(220)는 제2 센서(132) 및 제2 디스플레이(122)와 연계하여 제1 어플리케이션의 사용자 인터페이스를 제공하는 중에, 도 3e에 도시된 바와 같이, 제1 하우징(112)과 제2 하우징(114) 사이의 각도가 제6 각도 범위(예: 약 180도 - 약 270도) 내의 각도(θ6)에서 제5 각도 범위(예: 약 270도 - 약 355도) 내의 각도(θ5)로 변경되는 경우, 또는 제2 디스플레이(122)의 적어도 일부가 제6 각도 범위 내의 각도(θ6)로 접힌 상태에서 제5 각도 범위 내의 각도(θ5)로 접힌 상태로 변경되는 경우, 제1 어플리케이션에 연계되는 센서를 제2 센서(132)에서 제1 센서(130)로 변경하고 제1 어플리케이션에 연계되는 디스플레이를 제2 디스플레이(122)에서 제1 디스플레이(120)로 변경하기 위한 이벤트가 발생한 것으로 결정할 수 있다. 또 다른 예로, 프로세서(220)는 제1 센서(130) 및 제1 디스플레이(120)와 연계하여 제1 어플리케이션의 사용자 인터페이스를 제공하는 중에, 도 3b에 도시된 바와 같이, 제1 하우징(112)과 제2 하우징(114) 사이의 각도가 제1 각도 범위(예: 약 0도 - 약 5도) 내의 각도(θ1)에서 제2 각도 범위(예: 약 5도 - 약 90도) 내의 각도(θ2)로 변경되는 경우, 또는 제2 디스플레이(122)의 적어도 일부가 제1 각도 범위 내의 각도(θ1)로 접힌 상태에서 제2 각도 범위 내의 각도(θ2)로 접힌 상태로 변경되는 경우, 제2 센서(132)를 제1 어플리케이션에 추가 연계하고, 제1 어플리케이션에 연계되는 디스플레이를 제1 디스플레이(120)에서 제2 디스플레이(122)로 변경하기 위한 이벤트가 발생한 것으로 결정할 수 있다. 적어도 하나의 센서 및 디스플레이와 연계하여 동작하는 어플리케이션은, 예를 들어, 카메라 어플리케이션, 영상 통화 어플리케이션, 객체 감지 어플리케이션, 또는 객체 인식 어플리케이션 중 적어도 하나를 포함할 수 있다. 나열된 어플리케이션들은 이해를 돕기 위한 예시적인 것일 뿐, 본 발명의 다양한 실시예들은 이에 한정되지 않을 것이다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(220))는 동작 303에서 적어도 하나의 다른 센서가 활성화되도록 제어할 수 있다. 일실시예에 따르면, 프로세서(220)는 센서 및 디스플레이 변경 이벤트의 발생이 감지된 경우, 제1 어플리케이션에 연계될 적어도 하나의 다른 센서가 비활성 상태에서 활성 상태로 전환되고, 제1 어플리케이션에 연계되었던 적어도 하나의 센서가 활성 상태에서 비활성 상태로 전환되도록 센서 모듈(276) 및/또는 카메라 모듈(280)을 제어할 수 있다.예를 들어, 프로세서(220)는 카메라 어플리케이션에 제1 센서(130)가 연계된 상태에서, 카메라 어플리케이션에 연계되는 센서를 제1 센서(130)에서 제2 센서(132)로 변경하기 위한 이벤트가 감지된 경우, 센서 모듈(276) 및/또는 카메라 모듈(280)로 제2 센서(132)의 활성화를 요청하고 제1 센서(130)의 비활성화를 요청할 수 있다. 일실시예에 따르면, 프로세서(220)는 센서 및 디스플레이 변경 이벤트의 발생이 감지된 경우, 제1 어플리케이션에 연계된 적어도 하나의 센서의 활성 상태를 유지하면서, 추가 연계될 적어도 하나의 다른 센서가 비활성 상태에서 활성 상태로 전환되도록 센서 모듈(276) 및/또는 카메라 모듈(280)을 제어할 수 있다. 예를 들어, 프로세서(220)는 카메라 어플리케이션에 제1 센서(130)가 연계된 상태에서, 카메라 어플리케이션에 연계된 제1 센서(130)의 활성화 상태를 유지하면서, 센서 모듈(276) 및/또는 카메라 모듈(280)로 제2 센서(132)의 추가 활성화를 요청할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(220))는 동작 305에서 적어도 하나의 센서로부터 수집된 데이터를 이용하여 어플리케이션의 데이터로 이용할 수 있다. 일실시예에 따르면, 프로세서(220)는 각도 변화가 감지된 시점(또는 센서 및 디스플레이 변경 이벤트의 발생이 감지된 시점)부터 적어도 하나의 다른 센서의 활성화가 완료될 때까지, 적어도 하나의 센서에 의해 수집된 데이터를 가공하여 어플리케이션의 데이터로 이용할 수 있다. 예를 들어, 전자 장치(201)의 각도 변화에 의해 제1 어플리케이션의 연계 센서를 제1 센서(130)에서 제2 센서(132)로 변경하는 경우, 제2 센서(132)의 활성화가 완료되기 전까지 제2 센서(132)를 이용하여 데이터를 수집할 수 없으므로, 프로세서(220)는 제2 센서(132)의 데이터 대신 제1 센서(130)에 의해 수집된 데이터를 가공하여 제1 어플리케이션의 데이터로 이용할 수 있다. 적어도 하나의 센서에 의해 수집된 데이터는, 각도 변화가 감지된 시점 이전에 적어도 하나의 센서에 의해 수집되어 메모리(130)에 저장된 데이터, 각도 변화가 감지된 시점 이전에 적어도 하나의 센서에 의해 획득되었으나 메모리(130)에 저장되지 않은 데이터, 또는 각도 변화가 감지된 시점에 적어도 하나의 센서에 의해 획득된 데이터 중 적어도 하나를 포함할 수 있다. 예를 들어, A 시점에 각도 변화가 감지된 경우, 적어도 하나의 센서에 의해 수집된 데이터는, A 시점에서 지정된 시간만큼 앞선 시점(예: N초 앞선 시점)과 A 시점 사이의 시간 구간 동안에 적어도 하나의 센서에 의해 수집되어 메모리(130)에 저장된 데이터, A 시점에서 지정된 시간만큼 앞선 시점(예: N초 앞선 시점)과 A 시점 사이의 시간 구간 동안에 적어도 하나의 센서에 의해 수집되었으나 메모리(130)에 저장되지 않은 데이터, 또는 A 시점에 적어도 하나의 센서에 의해 수집된 데이터 중 적어도 하나를 포함할 수 있다. 예컨대, 카메라 어플리케이션에 제1 센서(130)가 연계된 상태에서, A 시점에 각도 변화가 감지된 경우, 적어도 하나의 센서에 의해 수집된 데이터는, A-N초 시점부터 A 시점까지 제1 센서(130)에 의해 수집된 데이터 중 적어도 하나의 데이터를 포함할 수 있다. 예컨대, 프로세서(220)는 이벤트가 발생된 A 시점부터 제2 센서(132)의 활성화가 완료될 때까지, 제2 센서(132)의 데이터 대신 A-N초 시점부터 A 시점까지 제1 센서(130)에 의해 수집된 데이터 중 적어도 하나의 데이터를 가공하여, 제1 어플리케이션의 데이터로 이용할 수 있다. 가공된 데이터를 제1 어플리케이션의 데이터로 이용하는 것은, 제1 어플리케이션을 이용하여 가공된 데이터를 다른 전자 장치로 전송하는 동작, 또는 가공된 데이터를 제1 어플리케이션의 화면으로 표시하는 동작 중 적어도 하나를 포함할 수 있다.
일실시예에 따르면, 프로세서(220)는 각도 변화 감지 전에 이용된 적어도 하나의 센서의 사양 정보, 각도 변화 감지에 의해 변경될 적어도 하나의 다른 센서의 사양 정보, 각도 변화 감지 전에 이용된 디스플레이의 사양 정보, 각도 변화 감지에 의해 변경될 디스플레이의 사양 정보 중 적어도 하나에 기초하여, 적어도 하나의 센서에 의해 수집된 데이터를 가공하고, 가공된 데이터를 제1 어플리케이션의 데이터로 이용할 수 있다. 일실시예에 따르면, 프로세서(220)는 이전에 이용된 적어도 하나의 센서와 변경 또는 추가 연계될 적어도 하나의 다른 센서의 사양 차이, 및/또는 이전에 이용된 디스플레이와 변경될 디스플레이의 사양 차이에 기반하여, 객체의 크기, 객체의 위치, 초점, 또는 화면 밝기 중 적어도 하나가 조절되도록 데이터를 가공할 수 있다. 일 실시예에 따르면, 프로세서(220)는 이전에 이용된 적어도 하나의 센서와 변경 또는 추가 연계될 적어도 하나의 다른 센서의 사양 차이, 및/또는 이전에 이용된 디스플레이와 변경될 디스플레이의 사양 차이에 기반하여, 추가 그래픽 효과를 포함하도록, 데이터를 가공할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(220))는 동작 307에서 적어도 하나의 다른 센서의 활성화가 완료되면, 적어도 하나의 다른 센서의 데이터를 어플리케이션의 데이터로 이용할 수 있다. 일실시예에 따르면, 프로세서(220)는 적어도 하나의 다른 센서를 이용하여 유효한 데이터의 수집이 가능한 경우, 적어도 하나의 다른 센서에 의해 수집된 데이터를 어플리케이션의 데이터로 이용할 수 있다. 유효한 데이터의 수집이 가능한지 여부는, 전자 장치(201)의 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142) 사이의 각도가 지정된 각도 조건을 만족하는지 여부, 제2 디스플레이(122)의 폴딩 각도가 지정된 각도 조건을 만족하는지 여부, 또는 적어도 하나의 센서를 통해 감지된 객체가 적어도 하나의 다른 센서를 통해 감지되는지 여부에 기초하여 결정될 수 있다. 일실시예에 따르면, 프로세서(220)는 적어도 하나의 다른 센서의 활성화가 완료되고, 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142) 사이의 각도가 지정된 각도 조건을 만족한 경우, 또는 제2 디스플레이(122)의 폴딩 각도가 지정된 각도 조건을 만족하는 경우, 적어도 하나의 다른 센서에 의해 수집된 데이터를 어플리케이션의 데이터로 이용할 수 있다. 예를 들어, 프로세서(220)는 닫힌 상태에서 접힌 상태(부분 오픈 상태)로 변경되어 발생된 센서 및 디스플레이 변경 이벤트에 의해 제2 센서(132)의 활성화가 완료되고, 제1 하우징(112)과 제2 하우징(114) 사이의 각도가 지정된 제1 각도(예: 약 135도)보다 큰 경우, 또는 제2 디스플레이(122)의 폴딩 각도가 지정된 제1 각도보다 큰 경우, 제2 센서(132)를 이용하여 유효한 데이터를 수집할 수 있는 것으로 결정하고, 제2 센서(132)에 의해 수집되는 데이터를 제1 어플리케이션의 데이터로 이용할 수 있다. 다른 예로, 프로세서(220)는 펼쳐진 상태에서 접힌 상태(부분 오픈 상태)로 변경되어 발생된 센서 및 디스플레이 변경 이벤트에 의해 제1 센서(130)의 활성화가 완료되고, 제1 하우징(112)과 제2 하우징(114) 사이의 각도가 지정된 제2 각도(예: 약 45도)보다 작은 경우, 또는 제2 디스플레이(122)의 폴딩 각도가 지정된 제2 각도보다 작은 경우, 제1 센서(130)를 이용하여 유효한 데이터를 수집할 수 있는 것으로 결정하고, 제1 센서(130)에 의해 수집되는 데이터를 제1 어플리케이션의 데이터로 이용할 수 있다.
일실시예에 따르면, 프로세서(220)는 적어도 하나의 다른 센서의 활성화가 완료되었으나, 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142) 사이의 각도가 지정된 각도 조건을 만족하지 않는 경우, 또는 제2 디스플레이(122)의 폴딩 각도가 지정된 각도 조건을 만족하지 않는 경우, 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142) 사이의 각도, 또는 제2 디스플레이(122)의 폴딩 각도가 지정된 각도 조건을 만족할 때까지, 동작 305와 같이, 적어도 하나의 센서에 의해 수집된 데이터를 가공하여 어플리케이션의 데이터로 이용할 수 있다. 예를 들어, 프로세서(220)는 닫힌 상태에서 접힌 상태(부분 오픈 상태)로 변경되어 발생된 센서 및 디스플레이 변경 이벤트에 의해 제2 센서(132)의 활성화가 완료되었으나, 제1 하우징(112)과 제2 하우징(114) 사이의 각도가 지정된 제1 각도(예: 약 135도)보다 작거나 같은 경우, 또는 제2 디스플레이(122)의 폴딩 각도가 지정된 제1 각도보다 작거나 같은 경우, 제2 센서(132)를 이용하여 유효한 데이터를 수집할 수 없는 것으로 결정하고, 제2 센서(132)를 이용하여 유효한 데이터를 수집할 수 있는 것으로 결정될 때까지 제1 센서(130)에 의해 수집된 데이터를 제1 어플리케이션의 데이터로 이용할 수 있다. 다른 예로, 프로세서(220)는 펼쳐진 상태에서 접힌 상태(부분 오픈 상태)로 변경되어 발생된 센서 및 디스플레이 변경 이벤트에 의해 제1 센서(130)의 활성화가 완료되었으나, 제1 하우징(112)과 제2 하우징(114) 사이의 각도가 지정된 제2 각도(예: 약 45도)보다 크거나 같은 경우, 또는 제2 디스플레이(122)의 폴딩 각도가 지정된 제2 각도보다 크거나 같은 경우, 제1 센서(130)를 이용하여 유효한 데이터를 수집할 수 없는 것으로 결정하고, 제1 센서(130)를 이용하여 유효한 데이터를 수집할 수 있는 것으로 결정될 때까지 제2 센서(132)에 의해 수집된 데이터를 제1 어플리케이션의 데이터로 이용할 수 있다.
일실시예에 따르면, 프로세서(220)는 적어도 하나의 다른 센서의 활성화가 완료되고, 적어도 하나의 센서를 통해 감지된 객체가 적어도 하나의 다른 센서를 통해 감지되는 경우, 적어도 하나의 다른 센서에 의해 수집된 데이터를 어플리케이션의 데이터로 이용할 수 있다. 예를 들어, 프로세서(220)는 전자 장치(201)가 닫힌 상태에서 이벤트 발생 이전에 제1 센서(130)에 의해 감지되었던 객체가 이벤트 발생 이후에 활성화된 제2 센서(132)에 의해 감지되는 경우, 제2 센서(132)를 이용하여 유효한 데이터를 수집할 수 있는 것으로 결정하고, 제2 센서(132)에 의해 수집된 데이터를 제1 어플리케이션의 데이터로 이용할 수 있다. 다른 예로, 프로세서(220)는 전자 장치(201)가 펼쳐진 상태에서 이벤트 발생 이전에 제2 센서(132)에 의해 감지되었던 객체가, 이벤트 발생 이후에 활성화된 제1 센서(130)에 의해 감지되는 경우, 제1 센서(130)를 이용하여 유효한 데이터를 수집할 수 있는 것으로 결정하고, 제1 센서(130)에 의해 수집된 데이터를 제1 어플리케이션의 데이터로 이용할 수 있다.
일실시예에 따르면, 프로세서(220)는 적어도 하나의 다른 센서의 활성화가 완료되었으나, 적어도 하나의 센서를 통해 감지된 객체가 적어도 하나의 다른 센서를 통해 감지되지 않는 경우, 해당 객체가 적어도 하나의 다른 센서를 통해 감지될 때까지, 동작 305와 같이, 적어도 하나의 센서에 의해 수집된 데이터를 가공하여 어플리케이션의 데이터로 이용할 수 있다. 예를 들어, 프로세서(220)는 전자 장치(201)가 닫힌 상태에서 이벤트 발생 이전에 제1 센서(130)에 의해 감지되었던 객체가, 이벤트 발생 이후에 활성화된 제2 센서(132)에 의해 감지되지 않는 경우, 제2 센서(132)를 이용하여 유효한 데이터를 수집할 수 없는 것으로 결정하고, 제2 센서(132)를 이용하여 유효한 데이터의 수집이 가능해질 때까지 제1 센서(130)에 의해 수집된 데이터를 제1 어플리케이션의 데이터로 이용할 수 있다. 다른 예로, 프로세서(220)는 전자 장치(201)가 펼쳐진 상태에서 이벤트 발생 이전에 제2 센서(132)에 의해 감지되었던 객체가, 이벤트 발생 이후에 활성화된 제1 센서(130)에 의해 감지되지 않는 경우, 제1 센서(130)를 이용하여 유효한 데이터를 수집할 수 없는 것으로 결정하고, 제1 센서(130)를 이용하여 유효한 데이터의 수집이 가능해질 때까지 제2 센서(132)에 의해 수집된 데이터를 제1 어플리케이션의 데이터로 이용할 수 있다.
도 4는 다양한 실시예들에 따른 전자 장치에서 각도 변화를 기반으로 제1 센서 및/또는 제2 센서의 데이터를 이용하는 흐름도이다. 이하 설명되는 도 4의 동작들은 도 3a의 동작 305 및 동작 307의 상세한 동작 중 적어도 일부일 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101), 및/또는 도 2의 전자 장치(201)일 수 있다. 이하에서 도 4의 적어도 일부 동작은 도 5 내지 도 10을 참조하여 설명할 것이다. 도 5 내지 9는 다양한 실시예들에 따른 전자 장치에서 각도 변화를 기반으로 제1 센서 데이터를 가공하는 예시도이고, 도 10은 다양한 실시예들에 따른 전자 장치에서 각도 변화에 기초하여 제1 센서와 제2 센서의 데이터를 이용하여 지정된 기능을 실행하는 예시도이다.
도 4를 참조하면, 다양한 실시예들에 따른 전자 장치(예: 도 2의 프로세서(220))는 동작 401에서 적어도 하나의 제2 센서(예: 도 1의 제2 센서(132))의 활성화가 완료되었는지 여부를 결정할 수 있다. 적어도 하나의 제2 센서(132)의 활성화 완료 상태는, 적어도 하나의 제2 센서(132)로부터 데이터를 수집할 수 있는 상태를 의미할 수 있다. 예를 들어, 프로세서(220)는 제2 센서(132)를 통해 이미지 데이터를 수집할 수 있는 상태인지 여부를 결정할 수 있다. 예를 들어, 도 5 및 도 6에 도시된 바와 같이, 프로세서(220)는 카메라 어플리케이션을 이용하여 제1 센서(130)에 의해 획득된 이미지 데이터(511, 611)를 제1 디스플레이(120)에 표시하는 동안에 전자 장치의 기구적 상태가 닫힌 상태에서 접힌 상태(부분 오픈 상태)로 변경되는 각도 변화가 감지된 경우, 제2 센서(132)가 활성화되도록 제어할 수 있다. 다른 예로, 도 7에 도시된 바와 같이, 프로세서(220)는 영상 통화 어플리케이션을 이용하여 제1 센서(130)에 의해 획득된 이미지 데이터(701)와 상대 전자 장치로부터 수신된 이미지 데이터를 제1 디스플레이(120)에 표시하는 동안에 전자 장치의 기구적 상태가 닫힌 상태에서 접힌 상태(부분 오픈 상태)로 변경되는 각도 변화가 감지된 경우, 제2 센서(132)가 활성화되도록 제어할 수 있다. 또 다른 예로, 도 8에 도시된 바와 같이, 프로세서(220)는 카메라 어플리케이션을 이용하여 제1 센서(130)에 의해 획득된 2D 이미지 데이터(801)를 제1 디스플레이(120)에 표시하는 동안에 전자 장치의 기구적 상태가 닫힌 상태에서 접힌 상태(부분 오픈 상태)로 변경되는 각도 변화가 감지된 경우, 3D를 지원하는 제2 센서(132) 및 제3 센서(134)가 활성화되도록 제어할 수 있다. 또 다른 예로, 프로세서(220)는 객체 감지 어플리케이션을 이용하여 제1 하우징의 제3 면(또는 제1 후면)(143)에 구비된 UWB 센서들(901, 903)에 의해 획득된 객체 감지 결과를 제1 디스플레이(120)에 표시하는 동안에 전자 장치의 기구적 상태가 닫힌 상태에서 접힌 상태(부분 오픈 상태)로 변경되는 각도 변화가 감지된 경우, 제1 하우징(112)의 제1 면(141) 및 제2 하우징(114)의 제2 면(142)에 구비된 센서들(911, 913, 915, 917)이 활성화되도록 제어할 수 있다.
다양한 실시예들에 따르면, 적어도 하나의 제2 센서(132)의 활성화가 완료되는 경우, 전자 장치(예: 프로세서(220))는 동작 403에서 전자 장치의 각도 변화가 지정된 각도 조건을 만족하는지 여부를 결정할 수 있다. 지정된 각도 조건은, 전자 장치(201)의 각도 변화가 감지되기 이전 상태에 기초하여 결정될 수 있다. 예를 들어, 전자 장치(201)가 닫힌 상태에서 각도 변화가 감지된 경우, 지정된 각도 조건은 전자 장치(201)가 접힌 상태 및/또는 펼쳐진 상태를 나타내는 각도 조건일 수 있다. 예컨대, 전자 장치(201)가 닫힌 상태에서 접힌 상태 및/또는 펼쳐진 상태로의 각도 변화가 감지된 경우, 지정된 각도 조건은 펼쳐진 상태에서 이용될 제2 센서(132)의 화각 내에 전자 장치(201)의 제1 하우징(112)의 일부가 감지되지 않는 각도를 나타내는 조건(예: 약 135도 이상)일 수 있다. 다른 예로, 전자 장치(201)가 펼쳐진 상태에서 접힌 상태 및/또는 닫힌 상태로의 각도 변화가 감지된 경우, 지정된 각도 조건은 전자 장치(201)가 접힌 상태 및/또는 닫힌 상태를 나타내는 각도 조건일 수 있다. 예컨대, 전자 장치(201)가 펼쳐진 상태에서 접힌 상태 및/또는 닫힌 상태로의 각도 변화가 감지된 경우, 지정된 각도 조건은, 펼쳐진 상태에서 이용된 제2 센서(132)에 의해 감지된 객체가 적어도 하나의 제1 센서(130)에 의해 감지될 수 있는 각도 또는 적어도 하나의 제1 센서(130)의 화각 내에 포함될 수 있는 각도를 나타내는 조건(예: 약 20도 이하)일 수 있다. 지정된 각도 조건은, 설계자 및/또는 사용자에 의해 설정 및/또는 변경될 수 있다.
다양한 실시예들에 따르면, 전자 장치의 각도 변화가 지정된 조건을 만족하지 않는 경우, 또는 적어도 하나의 제2 센서(132)의 활성화가 완료되지 않은 경우, 전자 장치(예: 프로세서(220))는 동작 405에서 각도 변화 감지 이전에 이용된 적어도 하나의 제1 센서(130)로부터 수집된 데이터를 선택할 수 있다. 각도 변화 감지 이전에 이용된 적어도 하나의 제1 센서(130)로부터 수집된 데이터는 유효한 데이터일 수 있다. 일실시예에 따르면, 각도 변화 감지 이전에 이용된 적어도 하나의 제1 센서(130)로부터 수집된 데이터는, 각도 변화 감지 이전 시점에 적어도 하나의 제1 센서(130)에 의해 수집되어 메모리(130)에 저장된 데이터, 각도 변화 감지 이전 시점에 적어도 하나의 제1 센서(130)에 의해 획득되었으나 메모리(130)에 저장되지 않은 데이터, 또는 각도 변화 감지 이전 시점에 적어도 하나의 제1 센서(130)에 의해 획득된 데이터 중 적어도 하나를 포함할 수 있다. 예컨대, 프로세서(220)는 각도 변화가 감지된 A 시점부터 적어도 하나의 제2 센서(132)의 활성화가 완료되고 전자 장치(201)의 각도가 지정된 각도 조건을 만족할 때까지, 적어도 하나의 제2 센서(132)의 데이터 대신, A-N초 시점부터 A 시점까지 제1 센서(130)에 의해 수집된 데이터 중 적어도 하나의 데이터를 선택하고, 선택된 적어도 하나의 데이터를 가공할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(220))는 동작 407에서 선택된 데이터를 가공할 수 있다. 일실시예에 따르면, 프로세서(220)는 각도 변화 감지 이전에 이용된 적어도 하나의 제1 센서(130)의 사양 정보, 각도 변화 감지에 의해 변경 또는 추가 연계될 적어도 하나의 제2 센서(132)의 사양 정보, 각도 변화 감지 이전에 이용된 디스플레이의 사양 정보, 각도 변화 감지에 의해 변경될 디스플레이의 사양 정보 중 적어도 하나에 기초하여, 선택된 데이터를 가공할 수 있다. 일실시예에 따르면, 프로세서(220)는 이전에 이용된 적어도 하나의 제1 센서(130)와 변경 또는 추가 연계될 적어도 하나의 제2 센서(132)의 사양 차이, 및/또는 이전에 이용된 디스플레이와 변경될 디스플레이의 사양 차이에 기반하여, 선택된 데이터에 포함된 객체의 크기, 객체의 위치, 초점, 또는 화면 밝기 중 적어도 하나가 조절되도록 데이터를 가공할 수 있다. 예를 들어, 프로세서(220)는 각도 변화 이전에 적어도 하나의 제1 센서(130) 및 디스플레이를 이용한 촬영 환경과 각도 변화 이후에 적어도 하나의 제2 센서(132) 및 디스플레이를 이용한 촬영 환경이 상이함으로 인해 사용자가 경험할 수 있는 이질감을 최소화하기 위해, 선택된 데이터에 포함된 객체의 크기, 객체의 위치, 초점, 또는 화면 밝기 중 적어도 하나가 조절되도록 데이터를 가공할 수 있다. 일실시예에 따르면, 프로세서(220)는 상술한 사양 정보들 이외에 어플리케이션의 종류, 어플리케이션의 특성, 어플리케이션의 기능 중 적어도 하나에 더 기초하여, 객체의 크기, 객체의 위치, 초점, 또는 화면 밝기 중 적어도 하나가 조절되도록 데이터를 가공할 수 있다. 예를 들어, 영상 통화 어플리케이션을 실행 중인 경우, 영상 통화 중인 상대 전자 장치로 전송하는 이미지 데이터(또는 프레임)의 해상도가 고정되어 있으므로, 프로세서(220)는 선택된 이미지 데이터의 해상도를 변경하지 않으면서, 선택된 이미지 데이터의 밝기, 선택된 이미지 데이터에 포함된 객체 크기, 객체 위치, 또는 초점 중 적어도 하나가 변경되도록 선택된 이미지 데이터를 가공할 수 있다. 다른 예로, 카메라 어플리케이션을 실행 중이고, 카메라 어플리케이션의 프리뷰 상태인 동안에 각도 변화가 감지된 경우, 프리뷰 상태인 동안에는 해상도 변경이 가능하므로, 프로세서(220)는 선택된 이미지 데이터의 해상도, 밝기, 객체 크기, 객체 위치, 또는 초점 중 적어도 하나가 변경되도록 선택된 이미지 데이터를 가공할 수 있다. 프로세서(220)는 선택된 이미지 데이터의 가공 시, 전자 장치(201)의 각도에 기초하여 해상도, 밝기, 객체의 크기, 객체 위치, 또는 초점 중 적어도 하나를 단계적으로 조절할 수 있다. 예를 들어, 프로세서(220)는 전자 장치(201)의 각도 변화량이 커질수록, 선택된 이미지 데이터의 밝기가 점차 밝아지도록 조절할 수 있다. 다른 예로, 프로세서(220)는 전자 장치(201)의 각도 변화량이 커질수록, 선택된 이미지 데이터에 포함된 객체의 크기가 점차 커지도록 조절할 수 있다. 일 실시예에 따르면, 프로세서(220)는 각도 변화 감지 이전에 이용된 적어도 하나의 제1 센서(130)와 변경 또는 추가 연계될 적어도 하나의 제2 센서(132)의 사양 차이, 및/또는 각도 변화 감지 이전에 이용된 디스플레이와 변경될 디스플레이의 사양 차이에 기반하여, 추가 그래픽 효과를 포함하도록, 데이터를 가공할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(220))는 동작 409에서 가공된 데이터를 어플리케이션의 데이터로 이용할 수 있다. 일실시예에 따르면, 프로세서(220)는 가공된 데이터를 포함하는 사용자 인터페이스가, 각도 변화 감지에 의해 변경될 디스플레이를 통해 제공되도록 제어할 수 있다. 가공된 데이터를 포함하는 사용자 인터페이스는, 어플리케이션에 대응되는 사용자 인터페이스일 수 있다. 일실시예에 따르면, 프로세서(220)는 가공된 데이터가, 어플리케이션을 이용하여 연결된 상대 전자 장치로 전송되도록 제어할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 전자 장치(201)의 각도 변화가 지정된 조건을 만족하지 않거나, 또는 제2 센서(132)의 활성화가 완료되지 않은 경우, 프로세서(220)는 각도 변화 감지 시점 또는 각도 변화 감지 시점 이전에 제1 센서(130)에 의해 획득된 이미지 데이터를 가공하여 해상도, 밝기, 객체의 크기, 위치, 또는 초점 중 적어도 하나를 조절하고, 가공된 이미지 데이터(513, 515)가 제2 디스플레이(122)에 표시되도록 제어할 수 있다. 다른 예로, 도 6에 도시된 바와 같이, 전자 장치(201)의 각도 변화가 지정된 조건을 만족하지 않거나, 또는 제2 센서(132)의 활성화가 완료되지 않은 경우, 프로세서(220)는 각도 변화 감지 시점 또는 각도 변화 감지 시점 이전에 제1 센서(130)에 의해 획득된 이미지 데이터를 가공하여 해상도, 밝기, 객체의 크기, 위치, 또는 초점 중 적어도 하나를 조절하고, 가공된 이미지 데이터(613, 615)가 제2 디스플레이(122)에 표시되도록 제어하면서, 제1 센서(130)의 데이터를 가공하여 표시 중임을 나타내는 가이드 정보(621, 615)가 추가 표시되도록 제어할 수 있다. 제1 센서(130)의 데이터를 가공하여 표시 중임을 나타내는 가이드 정보(621,615)는 가공된 이미지 데이터의 표시 영역을 나타낼 수 있다. 또 다른 예로, 도 7에 도시된 바와 같이, 전자 장치(201)의 각도 변화가 지정된 조건을 만족하지 않거나, 또는 제2 센서(132)의 활성화가 완료되지 않은 경우, 프로세서(220)는 각도 변화 감지 시점 또는 각도 변화 감지 시점 이전에 제1 센서(130)에 의해 획득된 이미지 데이터를 가공하여 해상도, 밝기, 객체의 크기, 위치, 또는 초점 중 적어도 하나를 조절하고, 가공된 이미지 데이터(703)가 제2 디스플레이(122)의 일부 영역에 표시되면서 영상 통화 중인 상대 전자 장치로 전송되도록 제어할 수 있다. 또 다른 예로, 도 8에 도시된 바와 같이, 전자 장치(201)의 각도 변화가 지정된 조건을 만족하지 않거나, 또는 제2 센서(132) 및 제3 센서(134)의 활성화가 완료되지 않은 경우, 프로세서(220)는 각도 변화 감지 시점 또는 각도 변화 감지 시점 이전에 제1 센서(130)에 의해 획득된 이미지 데이터에 그래픽 효과가 추가되도록 가공하고, 가공된 이미지 데이터(803)가 제2 디스플레이(122)에 표시되도록 제어할 수 있다. 그래픽 효과는, 2D 객체가 3D 객체처럼 보이는 효과, 스티커 추가 및/또는 변경 효과, 또는 아바타 추가 및/또는 변경 효과 중 적어도 하나를 포함할 수 있다. 그래픽 효과는, 객체와의 거리에 기초하여 결정될 수 있다. 또 다른 예로, 프로세서(220)는 도 9에 도시된 바와 같이, 전자 장치(201)의 각도 변화가 지정된 조건을 만족하지 않거나, 또는 제1 하우징(112)의 제1 면(141) 및 제2 하우징(114)의 제2 면(142)에 구비된 UWB 센서들(911, 913, 915, 917)의 활성화가 완료되지 않은 경우, 프로세서(220)는 각도 변화 감지 시점 또는 각도 변화 감지 시점 이전에 제1 하우징의 제3면(또는 제1 후면)에 구비된 UWB 센서들(901, 903)에 의해 획득된 객체 감지 데이터를 가공하여 객체의 위치, 또는 크기 중 적어도 하나를 조절하고, 가공된 객체 감기 데이터(907)가 제2 디스플레이(122)에 표시되도록 제어할 수 있다.
다양한 실시예들에 따르면, 전자 장치의 각도 변화가 지정된 조건을 만족하는 경우, 전자 장치(예: 프로세서(220))는 동작 411에서 적어도 하나의 제2센서(132)로부터 수집된 데이터를 제2 디스플레이를 이용하는 어플리케이션의 데이터로 이용할 수 있다. 일실시예에 따르면, 프로세서(220)는 적어도 하나의 제2 센서(132)로부터 수집된 데이터를 이용하여, 어플리케이션에 대응되는 사용자 인터페이스를 구성하고, 구성된 사용자 인터페이스가, 각도 변화 감지에 의해 변경될 디스플레이를 통해 제공되도록 제어할 수 있다. 예를 들어, 도 5 및 6에 도시된 바와 같이, 제2 센서(132)의 활성화가 완료되고 각도 변화가 지정된 조건을 만족하는 경우, 프로세서(220)는 제2 센서(132)에 의해 획득되는 이미지 데이터(521, 617)가 제2 디스플레이(122)에 표시되도록 제어할 수 있다. 일실시예에 따르면, 프로세서(220)는 적어도 하나의 센서(132)로부터 수집된 데이터가, 전자 장치(101) 외부의 다른 전자 장치로 전송되도록 제어할 수 있다. 예를 들어, 도 7에 도시된 바와 같이, 제2 센서(132)의 활성화가 완료되고, 각도 변화가 지정된 조건을 만족하는 경우, 프로세서(220)는 제2 센서(132)에 의해 획득되는 이미지 데이터(705)가 제2 디스플레이(122)의 일부 영역에 표시되면서 영상 통화 중인 상대 전자 장치로 전송되도록 제어할 수 있다. 또 다른 예로, 도 8에 도시된 바와 같이, 제2 센서(132) 및 제3 센서(134)의 활성화가 완료되고, 각도 변화가 지정된 조건을 만족하는 경우, 프로세서(220)는 제2 센서(132) 및 제3 센서(134)에 의해 획득되는 이미지 정보를 기반으로 3D 이미지 데이터(805)를 생성할 수 있다. 전자 장치는 제2 센서(132) 및 제3 센서(134)를 기반으로 생성된 3D 이미지 데이터(805)를 제2 디스플레이(122)에 표시되도록 제어할 수 있다. 또 다른 예로, 프로세서(220)는 도 9에 도시된 바와 같이, 제1 하우징(112)의 제1 면(141) 및 제2 하우징(114)의 제2 면(142)에 구비된 UWB(ultra-wide band)센서들(911, 913, 915, 917)의 활성화가 완료되고, 각도 변화가 지정된 조건을 만족하는 경우, 제1 하우징(112)의 제1 면(141) 및 제2 하우징(114)의 제2 면(142)에 구비된 UWB 센서들(911, 913, 915, 917)에 의해 획득된 객체 감지 데이터(921)가 제2 디스플레이(122)에 표시되도록 제어할 수 있다. 제 하우징(112)의 제3 면(143)에 구비된 UWB 센서 들(901, 903)에 의하여 인식된 객체 1(931), 및 객체 2(932)가 제1 디스플레이(120)에 표시되고 있는 동안, 전자 장치(101)의 각도가 일정 각도로 펼쳐질 때, 제1 면(141) 및 제2 면(142)의 UWB 센서들(911,913,915,917)의 적어도 일부는 활성화가 완료되지 않을 수 있다. 프로세서(220)는 제1 면 및 제2 면의 UWB 센서들(911, 913, 915, 917)이 모두 활성화될 때까지 제3 면의 UWB 센서들(901, 903)에 의해 인식된 객체 1(931), 및 객체 2(932)가 제2 디스플레이(122)를 통해 표시되도록 제어하고, 제1 면 및 제2 면의 UWB 센서들(911, 913, 915, 917)의 활성화가 완료되면,제1 면 및 제2 면의 UWB 센서들(911, 913, 915, 917)에 의해 추가 감지된 적어도 하나의 객체(예: 객체 3(933), 객체 4(934))3,4)가 제2 디스플레이(122)를 통해 추가적으로 표시되도록 제어할 수 있다. 프로세서(220)는 추가 감지된 객체3(933), 및 객체 4(934)와 제 3 면의 UWB 센서들(901, 903)에 의해 이전에 센싱된 객체1(931), 및 객체 2(932)가 하나의 화면인 제2 디스플레이(122)를 통해 표시되도록 제어할 수 있다. 프로세서(220)는 UWB 센서들(901, 903, 911, 913, 915, 917)의 활성화에 따라 감지되어 생성되는 객체들이 자연스럽게 표시되도록 객체 1 및 2 (931, 933)를 포함하는 이미지들(905, 907), 및 객체 1, 2, 3, 및 4(931, 932, 933, 934)를 포함하는 이미지(921)를 생성하여 제1 디스플레이(120) 또는 제2 디스플레이(122)에 표시할 수 있다. 본 발명의 다양한 실시 예들에 따르면, 전자 장치의 기구적 상태 변화 시, 연속적인 기능 실행(예: 객체 감지 또는 움직임 감지)을 수행하는데 있어, UWB센서 외에 다른 다양한 센서들이 활용될 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(220))는 동작 413에서 적어도 하나의 센서로부터 이전에 수집된 데이터와 적어도 하나의 다른 센서로부터 수집된 데이터에 기초하여 지정된 기능을 수행할 수 있다. 도 10을 참조하면, 전자 장치는 전자 장치의 제1 센서(130)와 제2 센서(132)에 의해 획득한 이미지에 포함된 객체들을 분석해서 지정된 동작을 수행 할 수 있다. 일 실시예에 따르면 프로세서(220)는 전자 장치(201)가 닫힌 상태에서 펼쳐진 상태로 변경되고, 닫힌 상태에서 제1 센서(130)를 통해 지정된 표정인 윙크하는 표정의 피사체(1001)가 감지되었고, 펼쳐진 상태로 변경된 이후에 제2 센서(132)를 통해 윙크하는 표정의 피사체(1013)가 동일하게 감지되는 경우, 자동으로 지정된 기능 (예: 사진 촬영 기능_을 수행할 수 있다. 다른 예로, 프로세서(220)는 펼쳐진 상태로 변경된 이후에 제2 센서(132)를 통해 윙크하는 표정이 아닌 다른 표정의 피사체(1011)가 감지되는 경우, 지정된 기능을 수행하지 않고, 기 실행 중인 기능(예: 프리뷰 기능)을 계속하여 수행할 수 있다. 일실시예에 따르면, 프로세서(220)는 적어도 하나의 다른 센서에 의해 수집된 이미지 데이터와 적어도 하나의 센서에 의해 수집된 이미지 데이터 각각에서, 지정된 제스처 및 지정된 표정이 검출된 것은 아니나 동일한 제스처, 또는 동일한 표정이 검출된 경우, 지정된 기능을 수행할 수 있다. 예를 들어, 프로세서(220)는 전자 장치(201)가 닫힌 상태에서 펼쳐진 상태로 변경되고, 닫힌 상태에서 제1 센서(130)를 통해 사용자가 손가락으로 V 제스처를 취하는 것이 감지되었고, 펼쳐진 상태로 변경된 이후에도 제2 센서(132)를 통해 사용자가 손가락으로 V 제스처를 취하는 것이 감지되는 경우, 자동으로 사진 촬영 기능을 수행할 수 있다. 일실시예에 따르면, 프로세서(220)는 적어도 하나의 다른 센서에 의해 수집된 이미지 데이터와 적어도 하나의 센서에 의해 수집된 이미지 데이터 각각에서 동일한 객체가 검출된 경우, 지정된 기능을 실행할 수 있다. 지정된 기능은, 객체 추적 기능, 또는 초점 조절 기능을 포함할 수 있다. 이는 예시적인 것으로서, 본 발명의 다양한 실시예들은 이에 한정되지 않는다. 예를 들어, 프로세서(220)는 전자 장치(201)가 닫힌 상태에서 펼쳐진 상태로 변경되고, 닫힌 상태에서 제1 센서(130)를 통해 사용자 A가 검출되었고, 펼쳐진 상태로 변경된 이후에 제2 센서(132)를 통해 사용자 A가 동일하게 검출된 경우, 사용자 A를 추적하고, 사용자 A의 추적에 관련된 정보가 제2 디스플레이(122)에 표시되도록 제어할 수 있다.
도 11은 다양한 실시예들에 따른 전자 장치에서 각도 변화에 따른 객체 감지 여부에 기초하여 제1 센서 및/또는 제2 센서의 데이터를 이용하는 흐름도이다. 이하 설명되는 도 11의 동작들은 도 3a의 동작 305 및 동작 307의 상세한 동작 중 적어도 일부일 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101), 및/또는 도 2의 전자 장치(201)일 수 있다. 이하에서 도 11의 적어도 일부 동작은 도 12를 참조하여 설명할 것이다. 도 12는 다양한 실시예들에 따른 전자 장치에서 객체 감지 여부에 기초하여 제1 센서 데이터를 가공하는 예시도이다.
도 11을 참조하면, 다양한 실시예들에 따른 전자 장치(예: 도 2의 프로세서(220))는 동작 1101에서 적어도 하나의 제2 센서(예: 도 1의 제2 센서(132))가 활성화가 완료되었는지 여부를 결정할 수 있다. 일실시예에 따르면, 도 11의 동작 1101은, 도 4의 동작 401의 적어도 일부를 포함할 수 있다. 예를 들어, 도 12에 도시된 바와 같이, 프로세서(220)는 카메라 어플리케이션을 이용하여 제1 센서(130)에 의해 획득된 이미지 데이터(1201)를 제1 디스플레이(120)에 표시하는 동안에 전자 장치의 기구적 상태가 닫힌 상태에서 접힌 상태(부분 오픈 상태)로 변경되는 각도 변화가 감지된 경우, 제2 센서(132)가 활성화되도록 제어할 수 있다.
다양한 실시예들에 따르면, 적어도 하나의 제2 센서(132)의 활성화가 완료된 경우, 전자 장치(예: 프로세서(220))는 동작 1103에서 활성화된 적어도 하나의 제2 센서(132)에 의해 제1 센서(130)에서 감지되었던 객체와 동일한 객체가 감지되는지 여부를 결정할 수 있다. 프로세서(220)는 각도 변화 감지 이전에 이용된 적어도 하나의 제1 센서(130)에 의해 감지된 객체가 각도 변화 감지에 의해 활성화된 적어도 하나의 제2 센서(132)에 의해 감지되는지 여부를 기반으로, 적어도 하나의 제2 센서(132)를 이용하여 유효한 데이터의 수집이 가능한지 여부를 결정할 수 있다. 예를 들어, 프로세서(220)는 전자 장치(201)가 닫힌 상태에서 제1 센서(130)를 이용하여 사용자 A를 촬영하는 중에 각도 변화가 감지되고, 각도 변화 감지에 의해 제2 센서(132)의 활성화가 완료되면, 제2 센서(132)에 의해 수집된 데이터를 분석하여 사용자 A가 감지되는지 여부를 결정할 수 있다.
다양한 실시예들에 따르면, 적어도 하나의 제2 센서(132)가 활성화되지 않거나, 활성화된 적어도 하나의 제2 센서(132)에 의해 객체가 감지되지 않는 경우, 전자 장치(예: 프로세서(220))는 동작 1105에서 각도 변화 감지 이전에 이용된 적어도 하나의 제1 센서(130)로부터 수집된 데이터를 선택하여 가공할 수 있다. 예를 들어, 프로세서(220)는 각도 변화 감지 이전에 적어도 하나의 제1 센서(130)에 의해 감지되었던 객체가 제2 센서(132)에 의해 감지되지 않는 경우, 적어도 하나의 제2 센서(132)를 이용하여 유효한 데이터를 수집할 수 없는 것으로 결정하고, 지정된 조건 (예: 제2 센서(132)에 의해 상기 객체를 감지할 때까지) 제1 센서로부터 수집된 데이터를 어플리케이션의 데이터로 이용할 수 있다. 일실시예에 따르면, 도 11의 동작 1105는, 도 4의 동작 405 및 동작 407의 적어도 일부를 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(220))는 동작 1107에서 가공된 데이터를 어플리케이션의 데이터로 이용할 수 있다. 일실시예에 따르면, 도 11의 동작 1107은 도 4의 동작 409의 적어도 일부를 포함할 수 있다. 예를 들어, 도 12에 도시된 바와 같이, 제2 센서(132)의 활성화가 완료되지 않은 상태이거나 활성화된 제2 센서(132)에 의해 객체가 감지되지 않은 경우, 프로세서(220)는 제1 센서(130)에 의해 획득된 이미지 데이터를 가공하여 해상도, 밝기, 객체의 크기, 위치, 또는 초점 중 적어도 하나를 조절하고, 가공된 이미지 데이터(1203)가 제2 디스플레이(122)에 표시되도록 제어할 수 있다.
다양한 실시예들에 따르면, 활성화된 적어도 하나의 제2 센서에 의해 객체가 감지되는 경우, 전자 장치(예: 프로세서(220))는 동작 1109에서 적어도 하나의 제2 센서(132)로부터 수집된 데이터를 어플리케이션의 데이터로 이용할 수 있다. 예를 들어, 도 12에 도시된 바와 같이, 제2 센서(132)에 의해 사용자 A가 감지되는 경우, 프로세서(220)는 제2 센서(132)에 의해 획득되는 이미지 데이터(1205, 1207)가 제2 디스플레이(122)에 표시되도록 제어할 수 있다. 일실시예에 따르면, 도 11의 동작 1109는 도 4의 동작 411의 적어도 일부를 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(220))는 동작 1111에서 적어도 하나의 센서로부터 이전에 획득한 제1 데이터와 적어도 하나의 다른 센서로부터 획득한 제2 데이터에 기초하여 지정된 기능을 수행할 수 있다. 예를 들어 지정된 기능은, 제1 데이터와 제2 데이터를 이용하여 제3 데이터를 생성하는 기능일 수 있다. 다른 예로, 지정된 기능은, 사진 촬영 기능, 동영상 촬영 기능, 사진 또는 동영상 촬영을 위한 타이머 시작 기능, 그래픽 효과 추가 기능, 객체 추적 기능, 또는 초점 조절 기능 중 적어도 하나를 포함할 수 있다. 일실시예에 따르면, 도 11의 동작 1111은 도 4의 동작 413의 적어도 일부를 포함할 수 있다.
도 13은 다양한 실시예들에 따른 전자 장치에서 각도 변화에 기초한 동작 모드에 따라 제1 센서를 제어하는 흐름도이다. 이하 설명되는 도 13의 동작들은 도 3a의 동작 301, 동작 303, 및 305의 상세한 동작 중 적어도 일부일 수 있다. 이하 실시예에서 각 동작들은 순차적으로 수행될 수도 있으나, 반드시 순차적으로 수행되는 것은 아니다. 예를 들어, 각 동작들의 순서가 변경될 수도 있으며, 적어도 두 동작들이 병렬적으로 수행될 수도 있다. 여기에서, 전자 장치는 도 1의 전자 장치(101), 및/또는 도 2의 전자 장치(201)일 수 있다. 이하에서 도 13의 적어도 일부 동작은 도 14를 참조하여 설명할 것이다. 도 14는 다양한 실시예들에 따른 전자 장치에서 각도 변화에 기초한 동작 모드에 따라 제1 센서를 제어하는 예시도이다.
도 13을 참조하면, 다양한 실시예들에 따른 전자 장치(예: 도 2의 프로세서(220))는 동작 1301에서 전자 장치(201)의 각도 변화(예: 제1 하우징(112)과 제2 하우징(114)이 이루는 각도, 전자 장치(201)에 포함된 휘어짐이 가능한 제2 디스플레이(122)가 접히는 각도 등)가 감지되는지 여부를 결정할 수 있다. 일실시예에 따르면, 동작 1301은 도 3a의 동작 301의 적어도 일부 동작을 포함할 수 있다. 예를 들어, 프로세서(220)는 도 14에 도시된 바와 같이, 닫힌 상태에서 제1 센서(130)로부터 획득된 이미지 데이터를 포함하는 카메라 어플리케이션의 프리뷰 화면이 제1 디스플레이(120)에 표시되도록 제어하는 동안에, 전자 장치(210)가 닫힌 상태에서 접힌 상태(부분 오픈 상태)로 변경되는지 여부를 결정할 수 있다. 다양한 실시예들에 따르면, 전자 장치(예: 프로세서(220))는 동작 1303에서 두 개의 센서를 이용하는 모드로의 진입이 필요한지 여부를 결정할 수 있다. 프로세서(220)는 어플리케이션의 종류, 또는 어플리케이션의 기능 중 적어도 하나에 기초하여 두 개의 센서를 이용하는 모드 (예: PIP(picture in picture) 모드)로의 진입이 필요한지 여부를 결정할 수 있다. 두 개의 센서를 이용하는 모드는, 전자 장치의 서로 다른 하우징에 구비된 센서들을 동시에 이용하는 모드를 의미할 수 있다. 예를 들어, 제1 하우징(112)의 제3면에 구비된 제1 센서(130)와 제2 하우징(114)의 제2면에 구비된 제2 센서(132)를 동시에 이용하는 모드를 의미할 수 있다. 다양한 실시예들에 따르면, 두 개의 센서를 이용하는 모드로의 진입이 필요하지 않은 경우, 전자 장치(예: 프로세서(220))는 동작 1305에서 적어도 하나의 제1 센서(130)의 구동을 중지할 수 있다. 일실시예에 따르면, 프로세서(220)는 각도 변화 감지 이전에 이용된 적어도 하나의 제1 센서의 구동을 중지하고, 적어도 하나의 제2 센서(132)가 활성화되도록 제어할 수 있다. 예를 들어, 프로세서(220)는 닫힌 상태에서 제1 센서(130)로부터 수집된 데이터(또는 제1 센서(130)에 의해 생성된)를 이용하여 영상 통화 어플리케이션을 실행하는 중에 각도 변화가 감지되는 경우, 두 개의 센서를 이용하는 모드로의 진입이 필요하지 않은 것으로 결정하고, 제1 센서(130)의 구동을 중지하고, 제2 센서(132)가 활성화되도록 제어할 수 있다. 제1 센서(130)의 구동을 중지시키는 것은, 제1 센서(130)를 활성 상태에서 비활성 상태로 변경하는 동작을 포함할 수 있다. 일실시예에 따르면, 동작 1305는, 도 3a의 동작 303의 적어도 일부를 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(220))는 동작 1307에서 적어도 하나의 제1 센서(130)로부터 이전에 수집된 데이터(또는 적어도 하나의 제1 센서(130)에 의해 이전에 생성된 데이터)를 선택할 수 있다. 일실시예에 따르면, 동작 1307은 도 4의 동작 405의 적어도 일부를 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(220))는 동작 1309에서 선택된 데이터를 어플리케이션의 데이터로 이용할 수 있다. 일실시예에 따르면, 동작 1307은 도 4의 동작 407 및 동작 409의 적어도 일부를 포함할 수 있다.
다양한 실시예들에 따르면, 두 개의 센서를 이용하는 모드로의 진입이 필요한 경우, 전자 장치(예: 프로세서(220))는 동작 1311에서 두 개의 센서를 이용하는 모드로의 진입하여 적어도 하나의 제1 센서(130)의 구동을 유지하면서, 적어도 하나의 제1 센서로(130)부터 이전에 수집된 데이터를 선택할 수 있다. 적어도 하나의 제1 센서(130)로부터 이전에 수집된 데이터를 선택하는 동작은, 도 4의 동작 405의 적어도 일부를 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(220))는 동작 1313에서 적어도 하나의 제1 센서(130)로부터 추가 데이터를 수집(또는 적어도 하나의 제1 센서(130)에 의해 추가 데이터를 생성)할 수 있다. 예를 들어, 프로세서(220)는 전자 장치(201)의 각도 변화 감지 시점 이후에 적어도 하나의 제1 센서(130)에 의해 데이터를 추가적으로 생성할 수 있다.
다양한 실시예들에 따르면, 전자 장치(예: 프로세서(220))는 동작 1315에서 선택된 데이터와 추가 생성된 데이터를 어플리케이션의 데이터로 이용할 수 있다. 예를 들어, 프로세서(220)는 제1 센서(130)에 의해 생성된 제1 데이터와 제2 센서(132)를 이용하여 생성된 제2 데이터를 이용하여 사용자에게 제3 데이터를 제공할 수 있다. 예컨대, 제1 데이터와 제2 데이터의 적어도 일부가 포함된 제3 데이터를 생성하고, 생성된 제3 데이터를 제공할 수 있다. 일실시예에 따르면, 제1 데이터의 적어도 일부와 제2 데이터의 적어도 일부를 합성하거나 조정하여, 사용자에게 제3 데이터로 제공할 수 있다. 일실시예에 따르면, 선택된 데이터를 가공하여 어플리케이션의 데이터로 이용하는 동작은 도 3a의 동작 305의 적어도 일부를 포함할 수 있다. 예를 들어, 프로세서(220)는 도 14에 도시된 바와 같이, 두 개의 카메라를 이용하는 모드로 진입하여, 닫힌 상태인 동안에 제1 센서(130)로부터 획득한 이미지 정보에 기반하여 생성된 제1 이미지(1401)를 제1 디스플레이(120)를 통해 제공하고, 지정된 각도 내에서 제1 이미지(1401)를 기반으로 생성된 제2 이미지(1403)와 제1 센서(130)로부터 획득되는 이미지 정보에 기반하여 생성된 제3 이미지 데이터(1411)를 제2 디스플레이(122)를 통해서 표시할 수 있다.
프로세서(220)는 제2 센서(132)의 활성화가 완료되거나, 전자 장치(201)의 제1 하우징(112)의 제1 면(141)과 제2 하우징(114)의 제2 면(142) 사이의 각도가 지정된 각도를 만족하는 경우, 또는 제2 디스플레이(122)의 폴딩 각도가 지정된 각도를 만족하는 경우, 제2 센서(132)로부터 획득한 이미지 정보에 기반해서 생성된 제 4 이미지 데이터(1405)를 제2 디스플레이(122)의 적어도 일부 영역에 표시하고, 제1 센서(130)로부터 획득되는 이미지 정보에 의해 생성된 제5 이미지 데이터(1413)를 제2 디스플레이(122)의 다른 영역에 표시할 수 있다.
다양한 실시예들에 따르면, 전자 장치(201)의 동작 방법은, 전자 장치의 제1 하우징(예: 도 1의 제1 하우징(112))과 상기 제2 하우징(예: 도 1의 제2 하우징(114) 사이의 각도 변화를 감지하는 동작, 상기 각도 변화에 응답하여, 상기 제2 센서(예: 도 1의 제2 센서(132))가 활성화되도록 제어하는 동작, 상기 제2 센서(132)의 활성화가 완료되기 전까지, 상기 제1 센서(130)로부터 수집된 데이터를 어플리케이션의 데이터로 이용하는 동작, 및 상기 제2 센서(132)의 활성화가 완료되면, 상기 제2 센서(132)로부터 수집되는 데이터를 상기 어플리케이션의 데이터로 이용하도록 설정될 수 있다.
일실시예에 따르면, 상기 제1 센서(130)로부터 수집된 데이터는, 상기 각도 변화가 감지된 시점에 상기 제1 센서(130)로부터 수집된 데이터, 상기 각도 변화가 감지된 시점 이전에 상기 제1 센서(130)로부터 수집된 데이터, 또는 상기 각도 변화가 감지된 시점 이전에 상기 제1 센서(130)로부터 수집되어 저장된 데이터 중 적어도 하나를 포함하는 방법.
일실시예에 따르면, 상기 제2 센서(132)로부터 수집되는 데이터를 상기 어플리케이션의 데이터로 이용하도록 설정된 동작은, 상기 제2 센서(1320)의 활성화가 감지되면, 상기 제1 하우징(112)과 상기 제2 하우징(114) 사이의 각도가 지정된 각도 범위를 만족할 때까지 상기 제1 센서(130)로부터 수집된 데이터를 상기 어플리케이션의 데이터로 이용하는 동작을 포함할 수 있다.
일실시예에 따르면, 상기 제2 센서(132)로부터 수집되는 데이터를 상기 어플리케이션의 데이터로 이용하도록 설정된 동작은, 상기 제2 센서(132)의 활성화가 감지되면, 상기 객체가 상기 제2 센서에 의해 감지되는지 여부를 결정하는 동작, 상기 제1 센서(130)에 의해 감지된 객체가 상기 제2 센서(132)에 의해 감지되지 않는 경우, 상기 객체가 상기 제2 센서(132)에 의해 감지될 때까지 상기 제1 센서(130)로부터 수집된 데이터를 상기 어플리케이션의 데이터로 이용하는 동작, 및 상기 객체가 상기 제2 센서(132)에 의해 감지되는 경우, 상기 제2 센서(132)로부터 수집되는 데이터를 상기 어플리케이션의 데이터로 이용하는 동작을 포함할 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치 (예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나","A 또는 B 중 적어도 하나,""A, B 또는 C," "A, B 및 C 중 적어도 하나,"및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제1", "제2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제1) 구성요소가 다른(예: 제2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(201)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(236) 또는 외장 메모리(238))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(240))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(201))의 프로세서(예: 프로세서(220))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두개의 사용자 장치들(예: 스마트폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    연결부;
    적어도 하나의 제1 센서가 배치된 제1 하우징;
    적어도 하나의 제2 센서가 배치된 제2 하우징;
    상기 제1 하우징에 배치된 제1 디스플레이;
    상기 제1 하우징과 상기 제2 하우징이 형성하는 공간에 배치되고, 적어도 일부가 폴딩되는 제2 디스플레이;
    상기 제1 하우징과 상기 제2 하우징이 이루는 각도를 감지하는 적어도 하나의 센서부;
    상기 제1 디스플레이, 상기 제2 디스플레이, 상기 각도 감지 센서부, 상기 제1 센서, 및 상기 제2 센서와 작동적으로 연결된 프로세서를 포함하며, 상기 프로세서는,
    상기 제1 하우징과 상기 제2 하우징 사이의 각도 변화를 감지하고,
    상기 각도 변화에 응답하여, 상기 제2 센서가 활성화되도록 제어하고,
    상기 제2 센서의 활성화가 완료되기 전까지, 상기 제1 센서로부터 수집된 데이터를 어플리케이션의 데이터로 이용하고,
    상기 제2 센서의 활성화가 완료되면, 상기 제2 센서로부터 수집되는 데이터를 상기 어플리케이션의 데이터로 이용하도록 설정된 전자 장치.
  2. 제1 항에 있어서,
    상기 제1 센서로부터 수집된 데이터는, 상기 각도 변화가 감지된 시점에 상기 제1 센서로부터 수집된 데이터, 상기 각도 변화가 감지된 시점 이전에 상기 제1 센서로부터 수집된 데이터, 또는 상기 각도 변화가 감지된 시점 이전에 상기 제1 센서로부터 수집되어 저장된 데이터 중 적어도 하나를 포함하는 전자 장치.
  3. 제1 항에 있어서,
    상기 프로세서는, 상기 제2 센서의 활성화가 감지되면, 상기 제1 하우징과 상기 제2 하우징 사이의 각도가 지정된 각도 범위를 만족할 때까지 상기 제1 센서로부터 수집된 데이터를 상기 어플리케이션의 데이터로 이용하도록 설정된 전자 장치.
  4. 제1 항에 있어서,
    상기 프로세서는, 상기 제2 센서의 활성화가 감지되면, 상기 제1 센서에 의해 감지된 객체가 상기 제2 센서에 의해 감지되는지 여부를 결정하고,
    상기 객체가 상기 제2 센서에 의해 감지되지 않는 경우, 상기 객체가 상기 제2 센서에 의해 감지될 때까지 상기 제1 센서로부터 수집된 데이터를 상기 어플리케이션의 데이터로 이용하고,
    상기 객체가 상기 제2 센서에 의해 감지되는 경우, 상기 제2 센서로부터 수집되는 데이터를 상기 어플리케이션의 데이터로 이용하도록 설정된 전자 장치.
  5. 제1 항에 있어서,
    상기 프로세서는, 상기 각도 변화 감지 이전에는, 상기 제1 센서로부터 수집된 데이터를 이용하여 생성된 제1 이미지가 상기 제1 디스플레이에 표시되도록 제어하고,
    상기 각도 변화 감지 이후에는, 상기 제1 이미지를 이용하여 생성된 제 2 이미지를 상기 제2 디스플레이에 표시되도록 제어하는 전자 장치.
  6. 제1 항에 있어서,
    상기 프로세서는, 상기 제1 센서의 사양 정보, 상기 제2 센서의 사양 정보, 상기 제1 디스플레이의 사양 정보, 상기 제2 디스플레이의 사양 정보 중 적어도 하나에 기초하여, 상기 제1 센서로부터 수집된 데이터를 가공하고,
    상기 가공된 데이터가 상기 제2 디스플레이에 표시되도록 제어하는 전자 장치.
  7. 제1항에 있어서,
    통신 모듈을 더 포함하며
    상기 프로세서는, 상기 어플리케이션이 적어도 하나의 다른 장치와 통신하는 어플리케이션인 경우, 상기 제1 센서 또는 제2 센서로부터 수집된 데이터, 또는 상기 제1 센서로부터 수집된 데이터를 이용하여 생성된 다른 데이터를 상기 통신 모듈을 통해 상기 적어도 하나의 다른 전자 장치로 전송되도록 제어하는 전자 장치.
  8. 제1항에 있어서,
    통신 모듈을 더 포함하며
    상기 프로세서는, 상기 어플리케이션이 적어도 하나의 다른 장치와 통신하는 어플리케이션인 경우, 상기 각도 변화에 응답하여, 상기 각도가 지정된 제1 각도일 경우 상기 제1 센서로부터 수집된 데이터, 또는 상기 제 1 센서로부터 수집된 데이터를 이용하여 생성된 데이터를 상기 통신 모듈을 통해 상기 적어도 하나의 다른 전자 장치로 전송하고,
    상기 각도가 지정된 제2 각도일 경우, 상기 제2 센서로부터 수집된 데이터를 상기 통신 모듈을 통해 상기 적어도 하나의 다른 전자 장치로 전송하는 전자 장치.
  9. 제1항에 있어서,
    상기 프로세서는, 상기 각도 변화에 응답하여, 상기 제1 센서가 비활성화되도록 제어하는 전자 장치.
  10. 제1항에 있어서,
    상기 프로세서는, 상기 제2 센서의 활성화가 완료되면, 상기 제1 센서로부터 수집된 데이터와 상기 활성화된 제2 센서로부터 수집된 데이터를 비교하고,
    상기 비교 결과에 기초하여 적어도 하나의 기능을 수행하도록 설정된 전자 장치.
  11. 전자 장치에 있어서,
    제1 디스플레이;
    적어도 일부가 폴딩되는 제2 디스플레이;
    제1 카메라;
    제2 카메라; 및
    프로세서를 포함하고, 상기 프로세서는,
    상기 제2 디스플레이의 폴딩 상태를 확인하고,
    상기 확인된 폴딩 상태가 지정된 제1 상태에 대응되는 경우, 상기 제1 카메라를 통해 획득한 이미지 정보를 기반으로 생성된 제1 이미지가 상기 제1 디스플레이를 통해 표시되도록 상기 제1 디스플레이를 제어하고,
    상기 확인된 폴딩 상태가 지정된 제2 상태에 대응되는 경우, 상기 제2 카메라의 활성화를 시작하고,
    상기 제2 카메라의 활성화가 완료되기 전에, 상기 제1 카메라를 통해 획득한 이미지 정보를 기반으로 생성된 제2 이미지가 상기 제2 디스플레이를 통해 표시되도록 상기 제2 디스플레이를 제어하고, 및
    상기 제2 카메라의 활성화가 완료된 경우, 상기 제2 카메라를 통해 획득한 이미지 정보를 기반으로 생성된 제3 이미지가 상기 제2 디스플레이를 통해 표시되도록 상기 제2 디스플레이를 제어하는 전자 장치.
  12. 제11항에 있어서,
    상기 프로세서는, 상기 제2 카메라의 활성화가 완료되면, 상기 제2 디스플레이의 폴딩 상태가 지정된 제3 상태를 만족할 때까지, 상기 제1 카메라를 통해 획득한 이미지 정보를 기반으로 생성된 상기 제2 이미지가 상기 제2 디스플레이를 통해 표시되도록 상기 제2 디스플레이를 제어하는 전자 장치.
  13. 제 11항에 있어서,
    상기 프로세서는, 상기 제2 카메라의 활성화가 완료되면, 상기 제1 카메라를 통해 감지된 객체가 상기 제2 카메라에 의해 감지될 때까지, 상기 제1 카메라를 통해 획득한 이미지 정보를 기반으로 생성된 상기 제2 이미지가 상기 제2 디스플레이를 통해 표시되도록 상기 제2 디스플레이를 제어하는 전자 장치.
  14. 전자 장치의 동작 방법에 있어서,
    전자 장치의 제1 하우징과 상기 제2 하우징 사이의 각도 변화를 감지하는 동작;
    상기 각도 변화에 응답하여, 상기 제2 센서가 활성화되도록 제어하는 동작;
    상기 제2 센서의 활성화가 완료되기 전까지, 상기 제1 센서로부터 수집된 데이터를 어플리케이션의 데이터로 이용하는 동작; 및
    상기 제2 센서의 활성화가 완료되면, 상기 제2 센서로부터 수집되는 데이터를 상기 어플리케이션의 데이터로 이용하도록 설정된 동작을 포함하는 방법.
  15. 제14 항에 있어서,
    상기 제1 센서로부터 수집된 데이터는, 상기 각도 변화가 감지된 시점에 상기 제1 센서로부터 수집된 데이터, 상기 각도 변화가 감지된 시점 이전에 상기 제1 센서로부터 수집된 데이터, 또는 상기 각도 변화가 감지된 시점 이전에 상기 제1 센서로부터 수집되어 저장된 데이터 중 적어도 하나를 포함하는 방법.
PCT/KR2020/012846 2019-09-24 2020-09-23 각도 변화에 기반하여 센서 데이터를 처리하는 폴더블 전자 장치 및 그의 동작 방법 WO2021060819A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/700,689 US20220214852A1 (en) 2019-09-24 2022-03-22 Foldable electronic apparatus for processing sensor data on basis of change in angle, and operation method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190117423A KR20210035528A (ko) 2019-09-24 2019-09-24 각도 변화에 기반하여 센서 데이터를 처리하는 폴더블 전자 장치 및 그의 동작 방법
KR10-2019-0117423 2019-09-24

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/700,689 Continuation US20220214852A1 (en) 2019-09-24 2022-03-22 Foldable electronic apparatus for processing sensor data on basis of change in angle, and operation method thereof

Publications (1)

Publication Number Publication Date
WO2021060819A1 true WO2021060819A1 (ko) 2021-04-01

Family

ID=75165891

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/012846 WO2021060819A1 (ko) 2019-09-24 2020-09-23 각도 변화에 기반하여 센서 데이터를 처리하는 폴더블 전자 장치 및 그의 동작 방법

Country Status (3)

Country Link
US (1) US20220214852A1 (ko)
KR (1) KR20210035528A (ko)
WO (1) WO2021060819A1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114762035B (zh) * 2020-07-30 2024-02-27 株式会社村田制作所 电子设备
US20220197341A1 (en) * 2020-11-08 2022-06-23 Lepton Computing, LLC Foldable Display Mobile Device with Object Motion Synching
US20220197347A1 (en) * 2020-11-08 2022-06-23 Lepton Computing Llc Foldable Display Mobile Device with Gimbal Stabilization
US20220197356A1 (en) * 2020-11-08 2022-06-23 Lepton Computing Llc Power Generation Through A Foldable Mobile Device Hinge Force Input
US20220351402A1 (en) * 2021-04-29 2022-11-03 Microsoft Technology Licensing, Llc Ambient illuminance sensor system
WO2024038999A1 (ko) * 2022-08-16 2024-02-22 삼성전자 주식회사 플렉서블 전자 장치 및 그의 동작 방법
WO2024058415A1 (ko) * 2022-09-15 2024-03-21 삼성전자주식회사 화면 제공 시간을 저감하는 전자 장치 및 이의 제어 방법
CN117789675A (zh) * 2022-09-20 2024-03-29 北京小米移动软件有限公司 显示模组、环境光检测方法、装置、电子设备及储存介质
TWI806779B (zh) * 2022-09-27 2023-06-21 華碩電腦股份有限公司 折疊式電子裝置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100082451A (ko) * 2009-01-09 2010-07-19 삼성전자주식회사 접히는 표시부를 가지는 휴대 단말기 및 이의 운용 방법
KR20140007660A (ko) * 2012-07-10 2014-01-20 주식회사 인프라웨어 모바일 단말의 조도센서를 이용한 문서 배경색 자동 조절방법 및 이를 위한 문서 배경색 자동조절 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
US20140062856A1 (en) * 2012-09-06 2014-03-06 Industrial Technology Research Institute Foldable display and image processing method thereof
KR20140147253A (ko) * 2013-06-19 2014-12-30 엘지전자 주식회사 폴더블 디스플레이 디바이스 및 제어 방법
KR20160040909A (ko) * 2014-10-06 2016-04-15 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016052778A1 (ko) * 2014-10-01 2016-04-07 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법
CN107180597B (zh) * 2017-05-23 2019-09-27 京东方科技集团股份有限公司 显示装置及其控制电路

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100082451A (ko) * 2009-01-09 2010-07-19 삼성전자주식회사 접히는 표시부를 가지는 휴대 단말기 및 이의 운용 방법
KR20140007660A (ko) * 2012-07-10 2014-01-20 주식회사 인프라웨어 모바일 단말의 조도센서를 이용한 문서 배경색 자동 조절방법 및 이를 위한 문서 배경색 자동조절 프로그램을 기록한 컴퓨터로 판독가능한 기록매체
US20140062856A1 (en) * 2012-09-06 2014-03-06 Industrial Technology Research Institute Foldable display and image processing method thereof
KR20140147253A (ko) * 2013-06-19 2014-12-30 엘지전자 주식회사 폴더블 디스플레이 디바이스 및 제어 방법
KR20160040909A (ko) * 2014-10-06 2016-04-15 엘지전자 주식회사 포터블 디바이스 및 그 제어 방법

Also Published As

Publication number Publication date
KR20210035528A (ko) 2021-04-01
US20220214852A1 (en) 2022-07-07

Similar Documents

Publication Publication Date Title
WO2021060819A1 (ko) 각도 변화에 기반하여 센서 데이터를 처리하는 폴더블 전자 장치 및 그의 동작 방법
WO2020226294A1 (en) Foldable device and method for controlling image capturing by using plurality of cameras
WO2021015505A1 (en) Foldable electronic device and photographing method using multiple cameras in foldable electronic device
WO2020246727A1 (en) Foldable electronic device and method for displaying information in foldable electronic device
WO2020096413A1 (en) Pop-up and rotational camera and electronic device including the same
WO2021162435A1 (en) Electronic device and method for activating fingerprint sensor
WO2020067639A1 (en) Electronic device for pairing with stylus pen and method thereof
WO2020050636A1 (ko) 사용자 의도 기반 제스처 인식 방법 및 장치
WO2020096324A1 (ko) 플렉서블 전자 장치 및 그의 동작 방법
WO2019156480A1 (ko) 시선에 기반한 관심 영역 검출 방법 및 이를 위한 전자 장치
WO2022060041A1 (ko) 콘텐트를 생성하기 위한 폴더블 전자 장치 및 그의 동작 방법
WO2021066564A1 (ko) 복수의 카메라들을 포함하고 형태가 변하는 전자 장치 및 이미지 촬영 방법
WO2022092633A1 (ko) 플렉서블 디스플레이의 촬영 안내 방법 및 장치
WO2022124565A1 (ko) 폴딩 상태 변경에 따른 표시 방향 제어 방법 및 장치
WO2021261949A1 (ko) 디스플레이의 폴딩 상태에 따른 이용 방법 및 이를 이용한 전자 장치
WO2021241887A1 (ko) 안테나를 포함하는 전자 장치
WO2021034146A1 (ko) 슬라이딩 동작되는 전자 장치
WO2020022774A1 (en) Method of controlling operation mode using electronic pen and electronic device for same
WO2022119311A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 그 동작 방법
WO2022119150A1 (ko) 멀티 이미지 표시 방법 및 전자 장치
WO2022169085A1 (ko) 전자 장치 및 전자 장치에서 촬영 구도 유지 방법
WO2021118187A1 (ko) 회전이 가능한 카메라를 구비한 폴더블 전자 장치 및 이를 이용한 촬영 방법
WO2021235840A1 (ko) 전자 장치
WO2022055178A1 (ko) 다양한 형태의 콘텐트를 표시하기 위한 폴더블 전자 장치 및 그의 동작 방법
WO2022030921A1 (ko) 전자 장치 및 그의 화면을 제어하는 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20869019

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20869019

Country of ref document: EP

Kind code of ref document: A1