WO2022098001A1 - 플렉서블 디스플레이를 갖는 전자 장치 및 그의 카메라 모듈 제어 방법 - Google Patents

플렉서블 디스플레이를 갖는 전자 장치 및 그의 카메라 모듈 제어 방법 Download PDF

Info

Publication number
WO2022098001A1
WO2022098001A1 PCT/KR2021/015387 KR2021015387W WO2022098001A1 WO 2022098001 A1 WO2022098001 A1 WO 2022098001A1 KR 2021015387 W KR2021015387 W KR 2021015387W WO 2022098001 A1 WO2022098001 A1 WO 2022098001A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
module
flexible display
camera module
camera
Prior art date
Application number
PCT/KR2021/015387
Other languages
English (en)
French (fr)
Inventor
주완재
김상욱
김종두
나효석
박대승
임원섭
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Publication of WO2022098001A1 publication Critical patent/WO2022098001A1/ko
Priority to US18/144,007 priority Critical patent/US20230276130A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/53—Constructional details of electronic viewfinders, e.g. rotatable or detachable
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
    • G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
    • G06F1/1637—Details related to the display arrangement, including those related to the mounting of the display in the housing
    • G06F1/1652—Details related to the display arrangement, including those related to the mounting of the display in the housing the display being flexible, e.g. mimicking a sheet of paper, or rollable
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09F—DISPLAYING; ADVERTISING; SIGNS; LABELS OR NAME-PLATES; SEALS
    • G09F9/00—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements
    • G09F9/30—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements
    • G09F9/301—Indicating arrangements for variable information in which the information is built-up on a support by selection or combination of individual elements in which the desired character or characters are formed by combining individual elements flexible foldable or roll-able electronic displays, e.g. thin LCD, OLED
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/041—Indexing scheme relating to G06F3/041 - G06F3/045
    • G06F2203/04102—Flexible digitiser, i.e. constructional details for allowing the whole digitising part of a device to be flexed or rolled like a sheet of paper

Definitions

  • Various embodiments of the present disclosure disclose an electronic device having a flexible display (eg, a rollable device) and a method of controlling a camera module thereof.
  • the electronic device may have a limited size for portability, which limits the size of the display.
  • various types of electronic devices that provide an expanded screen in the electronic device have been developed.
  • an electronic device is designed to provide various services (or functions) to a user through an extended screen provided with a plurality of displays (or display surfaces).
  • a rollable device carries a display that folds (or bends, rolls into a circle) (such as a rollable (or rollable) display or flexible display) and is rolled up (or rolled up) for use or unfolded.
  • a display that folds (or bends, rolls into a circle) (such as a rollable (or rollable) display or flexible display) and is rolled up (or rolled up) for use or unfolded.
  • UI user interface
  • the electronic device provides a photographing function capable of photographing a subject through a camera module.
  • a camera module is fixedly mounted in a designated position of the electronic device (eg, a fixed position of a cylindrical housing).
  • a cylindrical housing eg, cylindrical instrument housing
  • a subject eg, a user
  • a subject may be moved around the display module by opening (or rolling) the display module. Accordingly, in the rollable device, the subject deviates from the shooting range of the fixed camera module or eccentricity occurs, and the user's image among the image information obtained from the camera module may be provided by being disposed on the side of the display module. Accordingly, the user may be inconvenienced in having to move the rollable device again so that the subject is located in the shooting range of the camera module.
  • Various embodiments are disclosed with respect to a method and an apparatus capable of controlling rotation of a camera module based on an amount drawn out/inlet amount of a display module in a rollable device.
  • a method and an apparatus for rotating a camera module based on a movement amount according to the rolling of the display module in a rollable device so that a subject of an image obtained from the camera module can be located at the center of the display module start
  • An electronic device includes a flexible display, at least one camera module, and a processor operatively connected to the flexible display and the camera module, wherein the processor operates the front camera of the camera module Detect a start, identify a rolling state of the flexible display based on the start of the operation, rotate the camera module in a specified direction based on the rolling state of the flexible display, and based on the rolling state of the flexible display An image obtained from the specified direction through the camera module may be displayed in the center of the flexible display.
  • An operation method of an electronic device includes an operation of detecting an operation start of a front camera of a camera module, an operation of identifying a rolling state of a flexible display of the electronic device based on the operation start, and the flexible display an operation of rotating the camera module in a specified direction based on the rolling state of may include
  • a computer-readable recording medium recording a program for executing the method in a processor may be included.
  • the direction of the camera module is automatically controlled to face the user (or subject), so that the subject is the center of the camera module direction can be placed in Through this, the electronic device may provide the user to obtain a better image even within a predetermined angle of view of the camera module.
  • the electronic device automatically adjusts the angle of the camera module according to the rolling of the display module to provide the same central axis of the camera module and the central axis of the display module to improve usability of the camera module in the rollable device It can be done, and the user can obtain a better image (eg, a selfie image).
  • FIG. 1 is a block diagram of an electronic device in a network environment according to various embodiments of the present disclosure
  • FIG. 2 is a block diagram of a display module according to various embodiments.
  • FIG. 3 is a block diagram illustrating a camera module according to various embodiments.
  • 4A and 4B are diagrams for explaining an example of an electronic device according to various embodiments.
  • FIG. 5 is a diagram illustrating an example of adjusting an angle of a camera module in an electronic device according to various embodiments of the present disclosure
  • 6A and 6B are diagrams illustrating an interaction between a display module and a camera module in an electronic device.
  • FIG. 7 and 8 are diagrams illustrating interactions between a display module and a camera module in an electronic device according to various embodiments of the present disclosure.
  • FIG. 9 is a diagram illustrating an interaction between a display module and a camera module in an electronic device according to various embodiments of the present disclosure.
  • FIG. 10 is a flowchart illustrating a method of operating an electronic device according to various embodiments of the present disclosure
  • FIG. 11 is a flowchart illustrating a method of operating an electronic device according to various embodiments of the present disclosure
  • FIG. 12 is a diagram illustrating another example of operating a camera module in an electronic device according to various embodiments of the present disclosure
  • FIG. 13 and 14 are diagrams illustrating an example of a structure for controlling a camera module in an electronic device according to various embodiments of the present disclosure
  • 15 and 16 are diagrams illustrating an example of a structure for controlling a camera module in an electronic device according to various embodiments of the present disclosure.
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments of the present disclosure.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178
  • may be omitted or one or more other components may be added to the electronic device 101 .
  • some of these components are integrated into one component (eg, display module 160 ). can be
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120 . It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 .
  • the volatile memory 132 may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • the processor 120 is a main processor 121 (eg, a central processing unit (CPU) or an application processor (AP)) or an auxiliary processor capable of operating independently or together with it ( 123) (eg, graphic processing unit (GPU), neural network processing unit (NPU), image signal processor (ISP), sensor hub processor, or communication processor (CP, communication processor)) may be included.
  • main processor 121 eg, a central processing unit (CPU) or an application processor (AP)
  • auxiliary processor capable of operating independently or together with it eg, graphic processing unit (GPU), neural network processing unit (NPU), image signal processor (ISP), sensor hub processor, or communication processor (CP, communication processor)
  • the main processor 121 may use less power than the main processor 121 or may be set to be specialized for a specified function.
  • the auxiliary processor 123 may be implemented separately from or as a part of the main processor 121 .
  • the auxiliary processor 123 is, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is At least one of the components of the electronic device 101 (eg, the display module 160 , the sensor module 176 , or At least some of functions or states related to the communication module 190 may be controlled.
  • the coprocessor 123 eg, an image signal processor or a communication processor
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176 ).
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system (OS) 142 , middleware 144 , or an application 146 . there is.
  • OS operating system
  • middleware middleware
  • application application
  • the input module 150 may receive a command or data to be used in a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 or an external electronic device (eg, a sound output module 155 ) directly or wirelessly connected to the electronic device 101 . A sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • an external electronic device eg, a sound output module 155
  • a sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a geomagnetic sensor, a grip sensor, and a proximity sensor. It may include a sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the sensor module 176 uses sensing data obtained from at least one sensor among a plurality of sensors to obtain an electronic device in a three-dimensional coordinate system and/or an inclined angle of the electronic device 101 with respect to the ground surface. It may be a device that detects the direction the device 101 is facing. However, the present invention is not limited thereto, and various sensors capable of obtaining information (eg, an azimuth) regarding the inclination angle of the electronic device 101 may be used.
  • the acceleration sensor may sense information about a linear motion of the electronic device 101 and/or acceleration of the electronic device 101 in three axes.
  • the gyro sensor may sense information related to rotation of the electronic device 101
  • the geomagnetic sensor may sense information about a direction in which the electronic device 101 faces within an absolute coordinate system.
  • the processor 120 may use 9-axis motion data obtained using a gyro sensor and a geomagnetic sensor.
  • the processor 120 generates a virtual coordinate space based on an azimuth (eg, a yaw, pitch, and/or roll value) measured from the 9-axis motion data. may be formed, and one area of the virtual coordinate space may be divided into a landscape range, and another area may be divided into a vertical range.
  • the interface 177 may support one or more designated protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, a secure digital (SD) card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD secure digital
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • GNSS global navigation satellite system
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a wide area network (WAN)).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 199 eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a wide area network (WAN)).
  • the wireless communication module 192 uses the subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology is a high-speed transmission of high-capacity data (eMBB, enhanced mobile broadband), minimization of terminal power and access to multiple terminals (mMTC, massive machine type communications), or high reliability and low latency (URLLC, ultra-reliable and low-latency). communications) can be supported.
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 includes various technologies for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as input/output (FD-MIMO, full dimensional MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ).
  • the wireless communication module 192 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC ( Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less).
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, underside) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or a part of operations executed in the electronic device 101 may be executed in one or more external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • FIG. 2 is a block diagram 200 of a display module 160 according to various embodiments of the present disclosure.
  • the display module 160 may include a display 210 and a display driver IC (DDI, display driver IC) 230 for controlling the display 210 .
  • the DDI 230 may include an interface module 231 , a memory 233 (eg, a buffer memory), an image processing module 235 , or a mapping module 237 .
  • the DDI 230 transmits, for example, image data or image information including an image control signal corresponding to a command for controlling the image data to another component of the electronic device 101 through the interface module 231 .
  • the image information includes the processor 120 (eg, the main processor 121 (eg, an application processor) or the auxiliary processor 123 (eg, a graphic processing unit) operated independently of the function of the main processor 121 ).
  • the DDI 230 may communicate with the touch circuit 250 or the sensor module 176 through the interface module 231 .
  • the DDI 230 may store at least a portion of the received image information in the memory 233, for example, in units of frames.
  • the image processing module 235 may, for example, pre-process or post-process at least a portion of the image data based on at least a characteristic of the image data or a characteristic of the display 210 (e.g. resolution, brightness, or resizing).
  • the mapping module 237 may generate a voltage value or a current value corresponding to the image data pre-processed or post-processed by the image processing module 235 .
  • the generation of the voltage value or the current value may be, for example, a property of pixels of the display 210 (eg, an arrangement of pixels (RGB stripe or pentile structure), or each of the sub-pixels). size) at least in part.
  • At least some pixels of the display 210 are driven based at least in part on the voltage value or the current value, so that visual information (eg, text, image, or icon) corresponding to the image data is displayed on the display 210 . can be displayed through
  • the display module 160 may further include a touch circuit 250 .
  • the touch circuit 250 may include a touch sensor 251 and a touch sensor IC 253 for controlling the touch sensor 251 .
  • the touch sensor IC 253 may control the touch sensor 251 to sense, for example, a touch input or a hovering input for a specific location of the display 210 .
  • the touch sensor IC 253 may detect a touch input or a hovering input by measuring a change in a signal (eg, voltage, light amount, resistance, or electric charge amount) for a specific position of the display 210 .
  • the touch sensor IC 253 may provide information (eg, location, area, pressure, or time) regarding the sensed touch input or hovering input to the processor 120 .
  • At least a part of the touch circuit 250 is a part of the DDI 230 , the display 210 , or another disposed outside the display module 160 . It may be included as part of a component (eg, the coprocessor 123 ).
  • the display module 160 may further include at least one sensor (eg, a fingerprint sensor, an iris sensor, a pressure sensor, or an illuminance sensor) of the sensor module 176 , or a control circuit therefor.
  • the at least one sensor or a control circuit therefor may be embedded in a part of the display module 160 (eg, the display 210 or the DDI 230 ) or a part of the touch circuit 250 .
  • the sensor module 176 embedded in the display module 160 includes a biometric sensor (eg, a fingerprint sensor)
  • the biometric sensor provides biometric information related to a touch input through a partial area of the display 210 . (eg fingerprint image) can be acquired.
  • the pressure sensor may acquire pressure information related to a touch input through a part or the entire area of the display 210 .
  • the touch sensor 251 or the sensor module 176 may be disposed between pixels of a pixel layer of the display 210 or above or below the pixel layer.
  • FIG. 3 is a block diagram 300 illustrating a camera module 180 according to various embodiments.
  • the camera module 180 includes a lens assembly 310 , a flash 320 , an image sensor 330 , an image stabilizer 340 , It may include a memory 350 (eg, a buffer memory) or an image signal processor 360 .
  • the lens assembly 310 may collect light emitted from a subject, which is an image capturing object.
  • the lens assembly 310 may include one or more lenses.
  • the camera module 180 may include a plurality of lens assemblies 310 .
  • the camera module 180 may form, for example, a dual camera, a 360 degree camera, or a spherical camera.
  • Some of the plurality of lens assemblies 310 may have the same lens properties (eg, angle of view, focal length, auto focus, f number, or optical zoom), or at least one lens assembly may be a different lens assembly. It may have one or more lens properties different from the lens properties of .
  • the lens assembly 310 may include, for example, a wide-angle lens or a telephoto lens.
  • the flash 320 may emit light used to enhance light emitted or reflected from the subject.
  • the flash 320 may include one or more light emitting diodes (eg, a red-green-blue (RGB) LED, a white LED, an infrared LED, or an ultraviolet LED), or a xenon lamp.
  • a red-green-blue (RGB) LED e.g., a red-green-blue (RGB) LED, a white LED, an infrared LED, or an ultraviolet LED
  • a xenon lamp e.g, a red-green-blue (RGB) LED, a white LED, an infrared LED, or an ultraviolet LED
  • the image sensor 330 may acquire an image corresponding to the subject by converting light emitted or reflected from the subject and transmitted through the lens assembly 310 into an electrical signal.
  • the image sensor 330 may include, for example, one image sensor selected from among image sensors having different properties, such as an RGB sensor, a black and white (BW) sensor, an IR sensor, or a UV sensor, the same It may include a plurality of image sensors having properties, or a plurality of image sensors having different properties.
  • Each image sensor included in the image sensor 330 may be implemented using, for example, a charged coupled device (CCD) sensor or a complementary metal oxide semiconductor (CMOS) sensor.
  • CCD charged coupled device
  • CMOS complementary metal oxide semiconductor
  • the image stabilizer 340 moves at least one lens or the image sensor 330 included in the lens assembly 310 in a specific direction or Operation characteristics of the image sensor 330 may be controlled (eg, read-out timing may be adjusted, etc.). This makes it possible to compensate for at least some of the negative effects of the movement on the image being taken.
  • the image stabilizer 340 uses a gyro sensor (not shown) or an acceleration sensor (not shown) disposed inside or outside the camera module 180 to the camera module 180 or the electronic device 101 . ) can be detected.
  • the image stabilizer 340 may be implemented as, for example, an optical image stabilizer.
  • the memory 350 may temporarily store at least a portion of the image acquired through the image sensor 330 for a next image processing operation. For example, when image acquisition is delayed according to the shutter or a plurality of images are acquired at high speed, the acquired original image (eg, Bayer-patterned image or high-resolution image) is stored in the memory 350 and , a copy image corresponding thereto (eg, a low-resolution image) may be previewed through the display module 160 . Thereafter, when a specified condition is satisfied (eg, a user input or a system command), at least a part of the original image stored in the memory 350 may be obtained and processed by, for example, the image signal processor 360 .
  • the memory 350 may be configured as at least a part of the memory 130 or as a separate memory operated independently of the memory 130 .
  • the image signal processor 360 may perform one or more image processing on an image acquired through the image sensor 330 or an image stored in the memory 350 .
  • the one or more image processes may include, for example, depth map generation, 3D modeling, panorama generation, feature point extraction, image synthesis, or image compensation (eg, noise reduction, resolution adjustment, brightness adjustment, blurring ( blurring), sharpening, or softening).
  • the image signal processor 360 controls at least one of the components included in the camera module 180 (eg, the image sensor 330 ) (eg, exposure time control, or readout timing control). etc.) can be performed.
  • the image processed by the image signal processor 360 is stored back in the memory 350 for further processing, or an external component of the camera module 180 (eg, the memory 130, the display module 160, the electronic device ( 102), the electronic device 104, or the server 108).
  • the image signal processor 360 may be configured as at least a part of the processor 120 or as a separate processor operated independently of the processor 120 .
  • the image signal processor 360 is configured as a processor 120 and a separate processor, at least one image processed by the image signal processor 360 is displayed as it is or after additional image processing is performed by the processor 120 . It may be displayed through the module 160 .
  • the electronic device 101 may include a plurality of camera modules 180 each having different properties or functions.
  • at least one of the plurality of camera modules 180 may be a wide-angle camera, and at least the other may be a telephoto camera.
  • at least one of the plurality of camera modules 180 may be a front camera, and at least the other may be a rear camera.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • first, second, or first or second may be used simply to distinguish the element from other elements in question, and may refer to elements in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • one or more instructions stored in a storage medium may be implemented as software (eg, the program 140) including
  • a processor eg, processor 120
  • a device eg, electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not include a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be included in a computer program product (computer program product) and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or via an application store (eg Play Store TM ) or on two user devices ( It can be distributed online (eg download or upload), directly between smartphones (eg smartphones).
  • a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. there is.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repetitively, or heuristically, or one or more of the operations are executed in a different order. , may be omitted, or one or more other operations may be added.
  • 4A and 4B are diagrams for explaining an example of an electronic device according to various embodiments.
  • the electronic device 101 is a roller capable of expanding the area of a display (eg, the display module 160 of FIG. 1 or FIG. 2 ) in a rolling method and/or a slide method It may include various form factors such as rollable devices 410 , 420 , 430 , and/or slidable 440 devices.
  • the electronic device 101 may be implemented in various forms, and depending on the implementation form of the electronic device 101 , a display and a camera module (eg, the camera module 180 of FIG. 1 or 3 ) may be used. ) can be provided in a variety of ways.
  • the electronic device 101 (eg, the rollable electronic devices 410 , 420 , 430 and/or the slideable electronic device 440 ) is a roll-up type display in a housing. (eg, a rollable display).
  • a rollable display e.g, a rollable display
  • bending deformation of the display e.g, the display module 160 of FIG. 1
  • the electronic device 101 may expand and use the screen display area by unfolding the display (eg, the display module 160 of FIG. 1 ) or exposing a larger area of the display to the outside.
  • the area to which the display is exposed to the outside may vary according to the extent to which the user unfolds the display (eg, the display module 160 of FIG. 1 ).
  • the electronic device 101 includes a housing structure for protecting the display that is rolled in a circle, and may operate in a structure in which the display is opened (eg, expanded) inside the housing.
  • a display is housed in a cylindrical housing as in the example of the rollable electronic devices 410, 420, and 430 in FIG. 4A, or a separate cylindrical housing is installed in a flat housing as in the example of the slideable electronic device 440. At least a portion of the display may be accommodated through the display.
  • the electronic device 101 has a structure rotatable independently of the housing 440 (eg, a cylindrical housing) of the electronic device 101 and a camera module 445 (eg, FIG. 1 or FIG. 1 ). 3), or the camera module 455 (eg, the camera module of FIG. 1 or 3) in a structure accommodated in the housing 450 (eg, a flat housing) of the electronic device 101 180)) may be included.
  • the camera module 445 is separated into an independently rotatable structure to roll (or slide) the display module 160 .
  • the camera module 445 may include a structure rotatable in a specified direction from the upper end of the housing 440 .
  • the camera module 455 is accommodated in an upper region of the housing 450 of the electronic device 101 , and when the camera module 455 is operated or the display module 160 is rolled (or slid) The camera module 455 is popped up from the housing 450 (eg, a pop-up camera), and according to the rolling (or sliding) of the display module 160 , the camera module 455 is rotatable from the top of the housing 440 in a specified direction. structure may be included.
  • the electronic device 101 may operate by separating the camera modules 445 and 455, and components for internally connecting the camera modules 445 and 455 (eg, a connection member, a camera module ( A driving unit (eg, a motor) and/or a mechanism (eg, a gear)) for controlling the rotation of 445 and 455 may be included.
  • the electronic device 101 may mount at least some of the components of the electronic device 101 of FIG. 1 in the housings 440 and 450 .
  • the electronic device 101 responds to the user It may be manually switched by the housing 440 , 450 or automatically via a drive mechanism (eg, a drive motor, a reduction gear module, and/or a gear assembly) disposed inside the housings 440 , 450 .
  • the driving mechanism may trigger an operation based on a user input.
  • the user input for triggering the operation of the driving mechanism may include a touch input, a force touch input, and/or a gesture input through the display module 160 .
  • the electronic device 101 may be switched from a closed state to an open state or from an open state to a closed state.
  • a squeeze gesture in which a part of the hand (eg, the palm or a finger) presses within a specified section of the electronic device 101 is performed. It may be detected through a sensor, and in response, the electronic device 101 may be switched from the closed state to the open state or from the open state to the closed state.
  • the user input for triggering the operation of the driving mechanism may include a voice input (or voice input) or an input of a physical button visually exposed to the outside of the housings 440 and 450 .
  • the electronic device 101 may expand the display area of the display in a rolling (or slide) manner, as illustrated in FIGS. 4A and 4B , and based on the extension of the display area, the camera
  • the module 180 may be implemented as a device capable of rotating (or adjusting an angle).
  • FIG. 5 is a diagram illustrating an example of adjusting an angle of a camera module in an electronic device according to various embodiments of the present disclosure
  • FIG. 5 illustrates an example in which the camera module 180 rotates at a specified angle in a specified direction according to the rolling of the display module 160 in the electronic device 101 having the structure illustrated in FIG. 4B .
  • the designated angle at which the camera module 180 rotates may be defined in proportion to, for example, a rolling state (eg, withdrawal amount/intake amount) according to rolling of the display module 160 .
  • the designated angle may include a rotation angle and/or a rotation direction of the camera module 180 that may be calculated based on a distance (or withdrawal amount/intake amount) at which the display module 160 is rolled. .
  • the ⁇ 501> example is a state in which the camera module 180 faces a first designated direction (eg, a basic direction before rotation) in a closed state (or a reduced state) of the display module 160 may be shown.
  • the ⁇ 503> example shows that the camera module 180 is adjusted according to a second designated direction (eg, a predetermined angle rotation) in an open state (or extended state) according to the rolling of the display module 160 . direction) may be shown.
  • 6A and 6B are diagrams illustrating an interaction between a display module and a camera module in an electronic device.
  • 6A illustrates an operation of the conventional electronic device 101 in which the camera module 180 maintains a first designated direction when the display module 160 is expanded.
  • the user 650 selects the camera module Rather than being located on the central axis 610 of 180 , it may be located on the central axis 620 of the display module 160 .
  • the user 650 may be positioned in the front direction corresponding to the central axis 620 of the display module 160 to check the image displayed on the display module 160 .
  • eccentricity may occur in the image (eg, preview or video call image) displayed on the display module 160 .
  • FIG. 6B An example of this is shown in FIG. 6B .
  • FIGS. 6A and 6B may show an example of the eccentricity of the subject image 670 displayed through the display module 160 when the central axis 610 of the camera module 180 is fixed in the electronic device 101 .
  • a user 650 eg, a subject
  • the camera module 180 eg, a front camera
  • the user 650 eg, subject
  • the display module An eccentricity problem may occur in that the subject image 670 displayed in 160 is biased to one side and some or all of the user 650 (eg, subject) is not displayed.
  • the subject image 670 may be positioned at the center of the display module 160 . Examples of this are illustrated in FIGS. 7 and 8 .
  • FIG. 7 and 8 are diagrams illustrating interactions between a display module and a camera module in an electronic device according to various embodiments of the present disclosure.
  • FIG. 7 is a diagram of the present disclosure in which the camera module 180 is adjusted (or rotated) by a predetermined angle from the first designated direction 615 to the second designated direction 625 when the display module 160 is expanded. The operation of the electronic device 101 is shown.
  • the electronic device 101 is a rollable electronic device capable of expanding the display area of the display module 160 in a rolling (or sliding) manner, and the camera module 180 is provided in one housing 600 .
  • the electronic device 101 may include a housing 600 , a display module 160 arranged to be accommodated in the housing 600 , and a camera module 180 designed to be separated on the top of the housing 600 .
  • the electronic device 101 may include at least some of the components of the electronic device 101 of FIG. 1 in the housing 600 .
  • the example shown in FIG. 7 may represent the electronic device 101 in a state in which the display area of the display module 160 is expanded (eg, an open state or an extended state).
  • the electronic device 101 may provide various display areas of the display module 160 according to the moving distance (or moving position) of the display module 160 from the housing 600 .
  • the user may adjust the display area (eg, the display area and the active area) of the display module 160 of the electronic device 101 according to the use environment by using the rollable characteristic.
  • the display module 160 is a flexible display (eg, a rollable display) and may include a display area (or an active area) for outputting visual information.
  • the display module 160 may have a variable display area according to the deformation (eg, rolling state) of the display module 160 .
  • the electronic device 101 may include a sliding structure related to the display module 160 .
  • the electronic device 101 may be implemented such that the display module 160 can roll (or slide) from the housing 600 .
  • the electronic device 101 when the display module 160 is moved to a set distance by an external force, the electronic device 101 moves from a closed state to an open state or an open state without any external force due to the elastic structure included in the sliding structure. It can be switched from state to closed state (eg semi-automatic slide action).
  • a state in which the display module 160 is partially expanded in the electronic device 101 that is, an intermediate state intermediate between the closed state and the open state may further exist.
  • the intermediate state may include a free stop state.
  • the first movement of the electronic device 101 from the closed state to the intermediate state is performed due to the resilient structure included in the sliding structure, and the electronic device 101 moves from the intermediate state to the open state by an additional input (or external force).
  • a second movement may be performed.
  • the electronic device 101 when a signal is generated through an input device, the electronic device 101 moves from a closed state to an open state or from an open state to a closed state through a driving device (eg, a motor) connected to the display module 160 . It is possible to provide a rotational force that can be converted into For example, when a signal is generated through a hardware button or a software button provided through a screen, the electronic device 101 may switch from the closed state to the open state or from the open state to the closed state.
  • a driving device eg, a motor
  • the display module 160 may include a bendable section.
  • the bendable section when the electronic device 101 is switched from the closed state to the open state, the bendable section is drawn out from the inner space of the housing 600 of the electronic device 101 in a sliding manner, thereby causing the display module 160 .
  • the display area of may be expanded.
  • the bendable section slides into the inner space of the housing 600 of the electronic device 101 , and thus the display The display area of the module 160 may be reduced.
  • FIG. 7 illustrates an example in which the display module 160 is accommodated in one housing 600
  • the present invention is not limited thereto.
  • the electronic device 101 may include a first housing and a second housing, and may be implemented in a structure in which the display module 160 is accommodated in the first housing and the second housing.
  • the electronic device 101 is illustrated as having a part of the display module 160 exposed in the housing 600 , but in the electronic device 101 , the display module 160 is installed in the first housing and the second housing. It may be accommodated and implemented in a form exposed from the first housing and the second housing.
  • the electronic device 101 is described as being rolled in one direction as shown in FIG. 7 , but it is implemented as a bidirectional rollable electronic device in which the display module 160 is rolled and accommodated in the first housing and the second housing. It might be
  • the electronic device 101 may be implemented in a form in which the display module 160 is rolled and accommodated in the first housing and/or the second housing.
  • the housing 600 in FIG. 7 has been illustrated as having a cylindrical shape for example, the present invention is not limited thereto, and the housing 600 may be formed into various forms that can be accommodated by rolling the display module 160 . can be implemented.
  • the camera module 180 may be rotatably attached (or mounted) to the upper end of the housing 600 . According to an embodiment, the camera module 180 may operate toward a first designated direction in the closed state of the display module 160 . According to an embodiment, the camera module 180 may rotate and operate from a first designated direction to a second designated direction in an open state of the display module 160 .
  • the user 650 in a state in which the user 650 opens the display module 160 in the electronic device 101 (eg, the display area is expanded state), the user 650 is the center of the camera module 180 . Rather than being located on the axis 610 , it may be located on the central axis 620 of the display module 160 . For example, the user 650 may be positioned in the front direction corresponding to the central axis 620 of the display module 160 to check the image displayed on the display module 160 .
  • the camera module 180 may rotate the camera module 180 by a specified angle from the first specified direction 615 to the second specified direction 625 .
  • the electronic device 101 matches (or controls) the central axis 610 of the camera module 180 and the central axis 620 of the display module 160 in a direction corresponding to the user 650 .
  • An example of this is shown in FIG. 8 .
  • FIG. 8 is a diagram showing a subject image 800 displayed through the display module 160 based on the rotation of the camera module 180 in the electronic device 101 is located at the center of the display module 160 .
  • a user 650 eg, a subject
  • the camera module 180 eg, a front camera
  • the central axis 610 of the camera module 180 is rotated from the first designated direction 615 to the second designated direction 625 , so that the user 650 (eg, a subject) is positioned within the prescribed angle of view of the camera module 180 . All of them may be included, and all of the user 650 (eg, subject) may be displayed at the center of the display module 180 in the subject image 800 displayed on the display module 160 .
  • the electronic device 101 moves the central axis direction of the camera module 180 in proportion to the amount (eg, withdrawal amount/intake amount) of the display area increased according to the rolling of the display module 160 .
  • (eg rotation) can be controlled.
  • the electronic device 101 moves the central axis 610 of the camera module 180 to the display module 160 according to an increase in the rolling distance of the display module 160 .
  • the rotation (or angle change) of the camera module 180 and/or the direction thereof may be controlled so as to be directed toward the central axis 620 of the .
  • the electronic device 101 places the user 650 (eg, a subject) located on the central axis 620 of the display module 160 on the central axis 610 of the camera module 160 . can do.
  • the electronic device 101 may capture an image of the side of the user 650 instead of the front in response to the rotation (or change of the angle) of the camera module 180 , and guides the image to the user 650 .
  • a separate indicator light eg, LED or flash
  • FIG. 9 is a diagram illustrating an interaction between a display module and a camera module in an electronic device according to various embodiments of the present disclosure.
  • the electronic device 101 includes the display module 160 having a large screen, and the electronic device 101 moves the display area of the display module 160 in the vertical direction in a rolling (or slide) manner. It is a display device (eg, a rollable TV) that can be expanded to , and may represent an example of a structure in which the camera module 180 is mounted on the side of the housing 600 .
  • the electronic device 101 may include a housing 600 , a display module 160 arranged to be accommodated in the housing 600 , and a camera module 180 designed to be separated on the side of the housing 600 . can
  • the camera module 180 may have a structure that rotates up and down on the side of the housing 600 .
  • the electronic device 101 may include at least some of the components of the electronic device 101 of FIG. 1 in the housing 600 .
  • the display area is increased according to the rolling of the display module 180 in the vertical direction in proportion to the amount (eg, withdrawal amount/intake amount)
  • the central axis direction of the camera module 180 may be controlled to move (eg, rotate), and the operation may correspond to FIGS. 7 and 8 .
  • the example shown in FIG. 9 may represent the electronic device 101 in a state in which the display area of the display module 160 is expanded (eg, an open state or an extended state).
  • a state in which the display area of the display module 160 is expanded eg, an open state or an extended state.
  • FIG. 9 an example in which one camera module 180 is mounted on one side of the housing 600 is illustrated, but the present invention is not limited thereto.
  • the electronic device 101 may be implemented in a structure in which the camera modules 180 are respectively mounted on both sides of the housing 600 .
  • the camera module 180 may be rotatably attached (or mounted) to the side of the housing 600 . According to an embodiment, the camera module 180 may operate toward a first designated direction in the closed state of the display module 160 . According to an embodiment, the camera module 180 may rotate and operate from a first designated direction to a second designated direction in an open state of the display module 160 .
  • the camera module 180 may rotate the camera module 180 by a specified angle from the first specified direction (eg, the front direction) to the second specified direction (eg, the downward direction).
  • the electronic device 101 matches (or controls) the central axis of the camera module 180 and the central axis of the display module 160 in a direction corresponding to the user 900 to display the display module 160 .
  • An eccentricity may be removed from the displayed image (eg, a preview or video call image), and the image may be positioned at the center of the display module 160 .
  • the subject image displayed through the display module 160 based on the rotation of the camera module 180 is determined from the position of the first subject image 910 to the position of the second subject image 920 . As such, it may be displayed at the center of the display module 160 .
  • the central axis of the camera module 180 is rotated from the first designated direction to the second designated direction so that the user 900 (eg, subject) is all included within the set angle of view of the camera module 180 .
  • the object image 920 displayed on the display module 160 may display all of the user 900 (eg, a subject) at the center of the display module 180 .
  • the electronic device 101 may track the movement of the user 900 using various sensor-based sensing data, and based on the movement tracking of the user 900 , the location of the user 900 .
  • the camera module 180 may be rotated to correspond to a change (eg, a change in TV viewing height). Through this, the electronic device 101 may continuously display the subject image 920 displayed on the display module 160 at the center of the display module 180 .
  • the electronic device 101 includes a flexible display (eg, the display module 160 of FIG. 1 or FIG. 2 ) and at least one camera module (eg, the camera module 180 of FIG. 1 or 3 ). )), and a processor 120 operatively connected to the flexible display and the camera module, wherein the processor 120 detects an operation start of the front camera of the camera module, and based on the operation start Identifies the rolling state of the flexible display, rotates the camera module in a specified direction based on the rolling state of the flexible display, and is obtained from the specified direction through the camera module based on the rolling state of the flexible display An image may be displayed at the center of the flexible display.
  • a flexible display eg, the display module 160 of FIG. 1 or FIG. 2
  • at least one camera module eg, the camera module 180 of FIG. 1 or 3
  • a processor 120 operatively connected to the flexible display and the camera module, wherein the processor 120 detects an operation start of the front camera of the camera module, and based on the operation start Identifies the
  • the processor 120 identifies a rotation angle of the camera module based on the rolling state of the flexible display, and moves the camera module in a specified direction based on the rotation angle of the camera module. It can be controlled to rotate.
  • the processor 120 may determine an open state or a close state of the flexible display when the front camera starts to operate.
  • the processor 120 controls the front camera to operate in a first designated direction, and when the flexible display is in the open state, the front camera may be controlled to operate in the second specified direction.
  • the processor 120 monitors the rolling state of the flexible display based on the switching of the flexible display from the closed state to the open state, and based on the rolling state of the flexible display
  • the front camera may be controlled to rotate in a second designated direction.
  • the processor 120 determines a rotation angle corresponding to the rolling state of the flexible display, and is set to rotate the front camera in the second designated direction based on the rotation angle, , the rotation angle may be determined based on at least a movement distance of the flexible display and a focal length of the front camera.
  • the processor 120 in response to the open state of the flexible display, sets the front camera so that the subject located on the central axis of the flexible display is located on the central axis of the front camera. It can be controlled to rotate in the direction of the central axis of the flexible display.
  • the processor 120 may control the front camera to rotate in an angle proportional to the movement distance of the flexible display to face the second designated direction.
  • the processor 120 may control the flexible display to display the image of the subject acquired through the front camera in the center of the flexible display based on the rotation of the front camera. there is.
  • the processor 120 tracks a subject from an image acquired through the front camera, and based on the location of the subject according to the tracking of the subject Thus, it is possible to determine whether to rotate the front camera.
  • the processor 120 may non-rotate the front camera so that the front camera operates in a first designated direction. , and when it is determined that the position of the subject is not located in front of the front camera, it is possible to determine rotation of the front camera so that the front camera operates in a second designated direction.
  • the processor 120 may control the angle of the front camera to be rotated in proportion to the rolling state of the flexible display.
  • the electronic device 101 may include a housing capable of accommodating the flexible display, and the camera module may be disposed to be rotatable from one end of the housing in a specified direction.
  • the camera module may be accommodated in the housing, pop-up from the housing when the operation starts, and may be disposed to be rotatable in a designated direction from one end of the housing.
  • Operations performed by the electronic device 101 to be described below may be executed by the processor 120 including at least one processing circuitry of the electronic device 101 .
  • the operations performed by the electronic device 101 may be stored in the memory 130 and, when executed, may be executed by instructions that cause the processor 120 to operate.
  • FIG. 10 is a flowchart illustrating a method of operating an electronic device according to various embodiments of the present disclosure
  • the processor 120 of the electronic device 101 may detect an operation start of the camera module 180 .
  • the user may perform a user input (eg, manipulation of the electronic device 101 ) for activating the camera module 180 of the electronic device 101 , and the processor 120 may generate the camera module 180 .
  • An operation start of the camera module 180 may be detected based on a user input for activation.
  • the user input is, for example, an input on a button (eg, a physical button and/or a software button) provided in the electronic device 101 for activating the camera module 180 , or a camera application or image It may include an input (eg, a touch) on an application icon that executes a call application.
  • a button eg, a physical button and/or a software button
  • the user input may include an input (eg, a touch) on an application icon that executes a call application.
  • the operation of the camera module 180 may include a trigger operation in which the front camera of the camera module 180 is activated, for example, an operation of taking a selfie or a video call.
  • a trigger operation in which the front camera of the camera module 180 is activated, for example, an operation of taking a selfie or a video call.
  • the processor 120 may control the camera module 180 to activate the front camera based on detection of a trigger motion.
  • the start of the operation is the operation of the front camera of the camera module 180 or the operation of the rear camera of the camera module 180 . It may further include an operation of determining whether or not it is recognized. For example, when the operation of the front camera is started, the processor 120 may proceed to operation 1003 and perform operations 1003 or less. For another example, when the operation of the rear camera is started, the processor 120 may not perform the operation of FIG. 10 , and may perform an operation of photographing a subject through the rear camera according to a user input.
  • the processor 120 may determine the rolling state of the display module 160 .
  • the display module 160 when an operation of the camera module 180 (eg, a front camera) is started, the display module 160 is in an open state (or an extended state, an open state, or an unfolded state), the display module ( 160) may be in a state in which it is no longer expanded by rolling (or sliding out).
  • the display module 160 when the operation of the camera module 180 (eg, a front camera) is started, the display module 160 is in a closed state (or a reduced state, a closed state), and the display module 160 is It may be in a non-rolling (or sliding out) (or non-expanding) state.
  • the slide-out indicates that when the display module 160 of the electronic device 101 is switched from a closed state to an open state, the display module 160 moves in a third designated direction (eg, a user selects the display module 160 ). ) may be at least partially moving (or rolling) in the right direction) based on the viewpoint.
  • the display module 160 when the display module 160 of the electronic device 201 is switched from an open state to a closed state, the display module 160 moves in a fourth designated direction (eg, a user selects the display module 160 ). ) may be moving (or rolling) in the left direction) based on the viewing point.
  • the third designated direction and the fourth designated direction of the display module 160 may be opposite to each other.
  • the open state may be defined as a state in which the display area of the display module 160 is expanded compared to the closed state.
  • the processor 120 is configured to perform a first rolling state of the open state of the display module 160, or an open state in a closed state, based on detection of an operation start of the camera module 180 (eg, a front camera). It is possible to determine the second rolling state to be rolled.
  • the first rolling state may correspond to a state in which the display module 160 is opened
  • the second rolling state is a state in which the display module 160 is rolled from a closed state and/or is rolled to an open state. can respond to
  • the processor 120 may control the rotation of the camera module 180 based on the rolling state of the display module 160 .
  • the processor 120 corresponds to the open state of the display module 160 , and a subject (eg, the central axis 620 of FIG. 9 ) located on the central axis of the display module 160 .
  • the camera module 180 is positioned in the central axis direction of the display module 160 (eg, the subject 650 of FIG. 9 ) so that it is located on the central axis of the camera module 180 (eg, the central axis 610 of FIG. 9 ). : It can be controlled to rotate in the second designated direction 625 of FIG. 9 ).
  • the processor 120 generates a driving signal to a driving unit (eg, a motor) for driving the rotation of the camera module 180 , so that the camera module 180 is set at a specified angle (eg, the display module 160 ).
  • a driving unit eg, a motor
  • the camera module 180 may control the camera module 180 (eg, the housing of the camera module 180) to rotate at an angle proportional to the movement (or rolling) distance (or the withdrawal amount/intake amount).
  • the designated angle is a movement distance D1 of the display module 160 and a focal length D2 of the camera module 180 as shown in the examples of ⁇ Equation 1> and/or ⁇ Equation 2> below. ) (or actual user distance).
  • the designated angle at which the camera module 180 should be rotated is defined by trigonometry between the focal length D2 of the camera module 180 and the movement distance D2 of the display module 160 , ) can be calculated.
  • the focal length of the camera module 180 is greater than or equal to a specified distance (eg, when the focal length of the subject is long, such as the sky or a tree)
  • the angle correction of the camera module 180 means may not exist, so the existing state (eg, state before calibration or state before rotation) may be maintained.
  • the processor 120 may display an image on the display module 160 based on the rotation of the camera module 180 .
  • the processor 120 displays the image of the subject acquired through the camera module 180 in the center of the display module 160 based on the rotation of the camera module 180 . can be controlled.
  • FIG. 11 is a flowchart illustrating a method of operating an electronic device according to various embodiments of the present disclosure
  • FIG. 11 an example of an operation in an environment in which a user uses the front camera of the camera module 180, such as taking a selfie or a video call, may be shown.
  • a user's central axis change eg, the center of the camera module 180
  • An example of correcting the angle of the camera module 180 may be shown in response to (moving from the axis to the central axis of the display module 160 ).
  • the processor 120 of the electronic device 101 may detect an operation start of the front camera.
  • the user may input a user input for activating the front camera of the electronic device 101, and the processor 120 may detect the start of the operation of the front camera based on the user input for activating the front camera.
  • the operation of the front camera may include an operation of taking a selfie or performing a video call.
  • the processor 120 may control the camera module 180 to activate the front camera based on the motion detection of the front camera.
  • the processor 120 may determine the state of the display module 160 .
  • the display module 160 when the front camera starts to operate, the display module 160 may be in an open state or a closed state.
  • the open state may be a state in which the display module 160 is no longer expanded by rolling (or sliding out) (eg, an unfolded state).
  • the closed state may be a state in which the display module 160 is not rolled (or slid out) (or not expanded).
  • the processor 120 may determine whether the display module 160 is in the closed state or the open state based on the result of determining the state of the display module 160 .
  • the processor 120 may operate the front camera in a first designated direction.
  • the processor 120 faces the front camera in the first designated direction (eg, the basic direction before rotation) as shown in the example of FIG. 5 . can keep
  • the processor 120 may detect a rolling start of the display module 160 .
  • the processor 120 may detect a rolling (eg, slide out) operation of the display module 160 from the closed state to the open state.
  • the processor 120 may monitor the rolling state (or withdrawal amount) (eg, moving distance) of the display module 160 . According to an embodiment, the processor 120 may calculate the rotation angle of the front camera based on the distance (or the withdrawal amount) at which the display module 160 is rolled.
  • the processor 120 may control the front camera to rotate in a second specified direction based on the rolling state of the display module 160 .
  • the processor 120 corresponds to the open state of the display module 160 , and a subject (eg, the central axis 620 of FIG. 9 ) located on the central axis of the display module 160 .
  • the front camera is positioned in the central axis direction of the display module 160 (eg, in FIG. 9 ) so that the subject 650 of FIG. 9) is located on the central axis of the camera module 180 (eg, the central axis 610 of FIG. It can be controlled to rotate in a second designated direction 625).
  • the processor 120 rotates the front camera at a specified angle (eg, an angle proportional to the movement (or rolling) distance (or withdrawal amount) of the display module 160) to face the second specified direction. can make it
  • the processor 120 may display an image of the front camera through the display module 160 .
  • the processor 120 may control the display module 160 to display the image of the subject acquired through the front camera in the center of the display module 160 based on the rotation of the front camera.
  • the processor 120 tracks the subject. According to an embodiment, the processor 120 may identify whether a subject (eg, a user) is detected from an image acquired through the front camera.
  • the processor 120 may determine whether to rotate the front camera based on the position of the subject. According to an embodiment, when the processor 120 determines that the position of the subject is located in front of the front camera (or located in the center of the display module 160) based on the tracking of the subject, the front camera is 1 You can determine the non-rotation of the front camera to operate in a specified direction. According to another embodiment, when the processor 120 determines that the position of the subject is not located in front of the front camera (or is located eccentrically in the display module 160 ) based on the tracking of the subject, the front camera may determine the rotation of the front camera to operate in the second designated direction.
  • the processor 120 may control the front camera to operate in the first or second designated direction based on the determination of whether to rotate. For example, when determining the rotation of the front camera, the processor 120 may rotate the front camera from a first designated direction to a second designated direction.
  • the processor 120 may display an image of the front camera.
  • the processor may control the display module 160 to display the image of the subject acquired through the front camera in the center of the display module 160 based on the fixing or rotation of the front camera.
  • FIG. 12 is a diagram illustrating another example of operating a camera module in an electronic device according to various embodiments of the present disclosure
  • FIG. 12 may show an example of operating a dual camera (eg, the first camera module 1230 and the second camera module 1240 ) in the electronic device 101 .
  • the electronic device 101 is a rollable electronic device capable of expanding the display area of the display module 160 in a rolling (or sliding) manner, and includes two housings (eg, the first housing 1210 ). ), the second housing 1220) may be implemented in a structure in which the camera modules 1230 and 1240 are mounted, respectively.
  • the user may perform stereoscopic imaging (eg, 3D imaging) using the first camera module 1210 and the second camera module 1220 .
  • stereoscopic imaging eg, 3D imaging
  • the electronic device 101 includes a first housing 1210 , a second housing 1220 , and a display module ( 160 , a first camera module 1230 designed to be separated on the upper end of the first housing 1210 , and a second camera module 1240 designed to be separated from an upper end of the second housing 1220 .
  • the electronic device 101 may include at least some of the components of the electronic device 101 of FIG. 1 in the first housing 1210 and/or the second housing 1220 .
  • the example ⁇ 1201> may represent the electronic device 101 in a state in which the display area of the display module 160 is expanded (eg, in an open state).
  • the example ⁇ 1202> illustrates the electronic device 101 in a state in which the display area of the display module 160 is not expanded (eg, in a closed state).
  • the electronic device 101 when the electronic device 101 is switched from the closed state to the open state (eg, slide out), at least one of the first housing 1210 and the second housing 1220 moves in a first direction (eg, : The display module 160 may be partially moved in the central axis direction).
  • a first direction eg, : The display module 160 may be partially moved in the central axis direction.
  • the electronic device 101 when the electronic device 101 is switched from an open state to a closed state (eg, slide-in), at least one of the first housing 1210 and the second housing 1220 faces the first direction. can move in the second direction.
  • the electronic device 101 moves the display module 160 according to the movement distance (or movement position) of the display module 160 from the first housing 1210 and/or the second housing 1220 .
  • Various display areas may be provided.
  • the user may adjust the display area (eg, the display area and the active area) of the display module 160 of the electronic device 101 according to the use environment by using the rollable characteristic.
  • the display module 160 may include a display area (or an active area) for outputting visual information as a flexible display.
  • the display module 160 may have a variable display area according to the deformation (eg, rolling state) of the display module 160 .
  • the electronic device 101 may include a sliding structure related to the display module 160 .
  • the electronic device 101 may be implemented such that the display module 160 can roll (or slide) from at least one of the first housing 1210 and the second housing 1220 .
  • the electronic device 101 when the display module 160 is moved to a set distance by an external force, the electronic device 101 moves from a closed state to an open state or an open state without any external force due to the elastic structure included in the sliding structure. It can be switched from state to closed state (eg semi-automatic slide action).
  • a state in which the display module 160 is partially expanded in the electronic device 101 that is, an intermediate state intermediate between the closed state and the open state may further exist.
  • the intermediate state may include a free stop state.
  • the first movement of the electronic device 101 from the closed state to the intermediate state is performed due to the resilient structure included in the sliding structure, and the electronic device 101 moves from the intermediate state to the open state by an additional input (or external force).
  • a second movement may be performed.
  • the electronic device 101 when a signal is generated through an input device, the electronic device 101 moves from a closed state to an open state or from an open state to a closed state through a driving device (eg, a motor) connected to the display module 160 . It is possible to provide a rotational force that can be converted into For example, when a signal is generated through a hardware button or a software button provided through a screen, the electronic device 101 may switch from the closed state to the open state or from the open state to the closed state.
  • a driving device eg, a motor
  • the display module 160 may include a bendable section.
  • the bendable section slides in the inner space of the first housing 1210 and/or the second housing 1220 of the electronic device 101 . is drawn out, and thus the display area of the display module 160 may be expanded.
  • the electronic device 101 is switched from the open state to the closed state, at least a portion of the bendable section slides in the first housing 1210 and/or the second housing 1220 of the electronic device 101 . ) is introduced into the inner space, and thus the display area of the display module 160 may be reduced.
  • the first housing 1210 and the second housing 1220 may be implemented as a coupling structure that can be coupled to each other, but is not limited thereto.
  • the electronic device 101 is illustrated as having a portion of the display module 160 exposed in a state in which the first housing 1210 and the second housing 1220 are coupled.
  • the electronic device 101 has a display
  • the module 160 may be completely accommodated in the first housing 1210 and the second housing 1220 to be implemented in an unexposed form.
  • the electronic device 101 is described in a structure that is rolled in both directions as shown in FIG. 12 , but the display module 160 is rolled and accommodated in either the first housing 1210 or the second housing 1220 . It can also be implemented as a unidirectional rollable electronic device.
  • the electronic device 101 may be implemented in a form in which the display module 160 is rolled and accommodated in the first housing 1210 or rolled and accommodated in the second housing 1220 .
  • first housing 1210 and the second housing 1220 in FIG. 12 are illustrated as having a cylindrical shape, the present invention is not limited thereto, and the first housing 1210 and the second housing 1210 and the second housing 1220 are not limited thereto.
  • the housing 1220 may be implemented in various forms that can be accommodated by rolling the display module 160 .
  • the first camera module 1230 may be rotatably attached (or mounted) to the upper end of the first housing 1210 .
  • the second camera module 1240 may be rotatably attached (or mounted) to the upper end of the second housing 1220 .
  • the first camera module 1230 and the second camera module 1240 may operate toward a first designated direction in the closed state of the display module 160 .
  • the first camera module 1230 and the second camera module 1240 may operate by respectively rotating from the first designated direction to the second designated direction in the open state of the display module 160 .
  • the second designated direction of the first camera module 1230 and the second designated direction of the second camera module 1240 may be implemented to form a symmetrical (eg, left-right symmetrical) direction.
  • the rotation of the first camera module 1230 and the rotation of the second camera module 1240 may be rotated in opposite directions at substantially the same angle in proportion to the rolling state of the display module 160 .
  • FIG. 13 and 14 are diagrams illustrating an example of a structure for controlling a camera module in an electronic device according to various embodiments of the present disclosure
  • FIGS. 13 and 14 illustrate an angle of the camera module 180 according to an external force for rolling (or sliding out) the display module 160 of the electronic device 101 in a specified withdrawal direction (eg: Rotate) can be shown various examples.
  • FIGS. 13 and 14 show the camera module according to the rotation of the internal support members 1320 and 1420 (or the cylindrical part or the central axis) of the camera module 180 (eg, the front cameras 1330 and 1430). 180) (eg, the front cameras 1330 and 1430) may be rotated.
  • FIG. 13 illustrates rotation of the camera module 180 by the processor 120 when the display module 160 is rolled (or slid out) from the housing 1310 in the designated withdrawal direction 1301 .
  • the processor 120 may determine the movement distance (or movement amount) of the display module 160 .
  • the processor 120 is a motor (or driving unit) (not shown) designed in the support member 1320 (or cylindrical part) for supporting (or fixing) the camera module 180 based on the determined moving distance. time) to rotate the support member 1320 of the camera module 180 .
  • the support member 1320 may rotate in the first direction 1303 with respect to the inner central axis, and in response to (or in response to) the rotation of the support member 1320 , the front camera 1330 may rotate in the first direction. It can rotate in a second direction 1305 opposite to the direction.
  • the camera module 180 may be rotationally controlled by the processor 120 of the electronic device 101 in software (eg, generating a motor driving signal).
  • FIG. 14 shows when the display module 160 is rolled (or slides out) from the housing 1410 in a designated withdrawal direction 1401, rotation (or slide out) that occurs according to the rolling of the display module 160 .
  • An example of rotating the camera module 180 mechanically (eg, an interlocking gear structure) using rotational force) may be shown.
  • a rotational movement (eg, rotation in the first rotational direction 1403 ) may occur in the support member 1420 of the camera module 180 while the display module 160 is rolled.
  • the support member 1420 may move in a specified direction (eg, y is 1 or more) times per x (eg, 1 or more) wheel according to an amount (eg, movement amount) by which the display module 160 is unfolded. 1403) may be rotated (or moved) (eg, an angle defined by the size of the gear (or teeth) during one movement is defined so that the rotation shaft of the display module 160 rotates).
  • the camera module 180 (eg, the front camera 1430) is rotated at a predetermined angle in the specified direction 1405 (eg, the first rotation direction 1403) according to the increase in the amount of withdrawal according to the opening of the display module 160 ) may be rotated in a second rotation direction 1405 opposite to the direction).
  • the support member 1420 is designed to have two or more guides 1425 (or rolling guides) formed on the support member 1420 according to the amount of rotation of the central axis, so that the front camera It is also possible to adjust the angle of 1430 .
  • the support member 1420 may include one or more guides 1425 while supporting the camera module 180 , and a gear structure that is linked according to rolling (or movement) of the display module 160 .
  • the camera module 180 may be rotationally controlled by interaction with the display module 160 by a mechanical coupling structure.
  • 15 and 16 are diagrams illustrating an example of a structure for controlling a camera module in an electronic device according to various embodiments of the present disclosure.
  • FIGS. 15 and 16 show the display module 160 of the electronic device 101 to move the angle of the camera module 180 according to an external force that rolls (or slides out) the display module 160 in a specified withdrawal direction 1501 .
  • Another example can be given (eg to rotate).
  • the rotation member 1600 including the camera module 180 therein rotates in a rotation range specified according to the rolling (eg, withdrawal amount/intake amount) of the display module 160 . and may represent an example in which the camera module 180 is rotated based on the rotation of the rotating member 1600 .
  • the electronic device 101 may include the display module 160 and the camera module 180 in the housing 600 .
  • the camera module 180 may be fixedly mounted to a rotating member 1600 that is rotatably installed at one end (eg, upper and/or lower) of the housing 600 , and the rotating member 1600 . may be rotated (eg, rotated in a rotational direction corresponding to the rotational direction 1503) corresponding to the rotation of (eg, rotated in the rotational direction 1503).
  • the display module 160 may be supported by a slide plate that is slidably installed on the housing 600 , and the display module 160 (eg, a slide plate) moves by elastic force (or tension). It may be mechanically connected to the elastic member 1500 for guiding (eg, slide-in or slide-out).
  • the elastic member 1500 may be deformed (eg, expanded) by an external force in which the display module 160 rolls (or slides out) in a designated withdrawal direction 1501 , and the display module 160 . It is possible to return to the original state by removing an external force that rolls (or slides in) in a direction opposite to the designated withdrawal direction 1501 .
  • the elastic member 1500 may be implemented as an elastic object (eg, an elastic body), and may include, for example, a rubber band or a spring.
  • the elastic member 1500 has one end of the camera module by at least two fixing members (eg, the first fixing member 1510 , the second fixing member 1520 , and the third fixing member 1530 ).
  • the electronic device 101 provides an elastic member 1500 on at least a portion of the display module 1600 so that the elastic member 1500 is guided (eg, rolled) in response to the rolling of the display module 160 . It may include at least one second fixing member 1520 for fixing the .
  • the rotation member 1600 may be rotated in a designated direction 1503 based on the elastic force of the elastic member 1500 .
  • the rotation member 1600 is in a direction designated according to an external force (eg, pulling force) of the elastic member 1500 that the display module 160 is deformed according to rolling (or slide-out) in the designated withdrawal direction 1501 . (1503) can be rotated.
  • the rotation member 1600 is used to remove an external force (eg, remove a pulling force) of the elastic member 1500 that is deformed as the display module 160 rolls (or slides in) in the opposite direction to the designated withdrawal direction. Accordingly, it may return to its original state (eg, return to its original position by rotation opposite to the rotation in the specified direction 1503 ).
  • the housing 600 is a guide (eg, the first guide 1610 , the second guide 1610 ) for guiding (or preventing) the rotation range of the rotation member 1600 from being rotated beyond the specified range on the inside. (1620)).
  • the first guide 1610 limits the rotation range of the rotating member 1600 when the rotating member 1600 is returned after being rotated in the designated direction 1503 .
  • the second guide 1620 may be implemented to limit the rotation range of the rotating member 1600 when the rotating member 1600 is rotated in a designated direction 1503 .
  • the first guide 1610 and the second guide 1620 may be designed to be deviated from each other in a horizontal line (or a straight line) without facing each other.
  • An operation method performed by the electronic device 101 includes an operation of detecting an operation start of a front camera of a camera module (eg, the camera module 180 of FIG. 1 or 3 ), and the operation initiation. an operation of identifying a rolling state of the flexible display (eg, the display module 160 of FIG. 1 or 2 ) of the electronic device 101 based on and displaying an image obtained from the specified direction through the camera module in the center of the flexible display based on the rolling state of the flexible display.
  • the rotating operation is an operation of identifying a rotation angle of the camera module based on a rolling state of the flexible display, and moving the camera module in a specified direction based on the rotation angle of the camera module. It may include a rotating motion.
  • the identifying operation is an operation of determining an open state or a closed state of the flexible display when the operation of the front camera is started, and the flexible display is in a closed state , controlling the front camera to operate in a first designated direction, and controlling the front camera to operate in a second designated direction when the flexible display is in an open state.
  • the rotating operation includes determining a rotation angle corresponding to the rolling state of the flexible display and rotating the front camera in the second designated direction based on the rotation angle.
  • the rotation angle may be determined based on at least a movement distance of the flexible display and a focal length of the front camera.
  • an operation of tracking a subject from an image obtained through the front camera, and rotation of the front camera based on a position of the subject according to tracking of the subject Determining whether the subject is located in front of the front camera If it is determined that is not located in front of the front camera, determining the rotation of the front camera so that the front camera operates in a second specified direction.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • User Interface Of Digital Computer (AREA)
  • Studio Devices (AREA)

Abstract

본 개시의 다양한 실시예들은 플렉서블 디스플레이(flexible display)를 갖는 전자 장치(예: 롤러블 장치(rollable device)) 및 그의 카메라 모듈을 제어하는 방법에 관하여 개시한다. 다양한 실시예들에 따른 전자 장치는, 플렉서블 디스플레이, 적어도 하나의 카메라 모듈, 및 프로세서를 포함하고, 상기 프로세서는, 상기 카메라 모듈의 전면 카메라의 동작 개시를 감지하고, 상기 동작 개시에 기반하여 상기 플렉서블 디스플레이의 롤링 상태를 식별하고, 상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈을 지정된 방향으로 회전하고, 및 상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈을 통해 상기 지정된 방향으로부터 획득되는 영상을 상기 플렉서블 디스플레이의 중심에 표시하도록 할 수 있다. 다양한 실시예들이 가능하다.

Description

플렉서블 디스플레이를 갖는 전자 장치 및 그의 카메라 모듈 제어 방법
본 개시의 다양한 실시예들은 플렉서블 디스플레이(flexible display)를 갖는 전자 장치(예: 롤러블 장치(rollable device)) 및 그의 카메라 모듈을 제어하는 방법에 관하여 개시한다.
디지털 기술의 발달과 함께 이동통신 단말기, PDA(personal digital assistant), 전자수첩, 스마트 폰(smart phone), 태블릿 PC(personal computer), 및/또는 랩탑(laptop) PC와 같은 다양한 유형의 전자 장치가 널리 사용되고 있다. 이러한, 전자 장치는 기능 지지 및 증대를 위해, 전자 장치의 하드웨어적인 부분 및/또는 소프트웨어적인 부분이 지속적으로 개량되고 있다.
전자 장치는, 휴대성을 위해 제한된 크기를 가질 수 있으며, 이로 인하여 디스플레이의 크기도 제약되고 있다. 최근에는 전자 장치에서 보다 확장된 화면을 제공하는 다양한 형태의 전자 장치가 개발되고 있다. 예를 들면, 전자 장치는 복수 개의 디스플레이(또는 디스플레이 면)들을 구비하여 확장된 화면을 통해 사용자에게 다양한 서비스(또는 기능)를 제공하도록 설계되고 있다.
전자 장치는 롤러블 장치(rollable device))와 같은 새로움 폼 팩터(form factor)를 가질 수 있다. 롤러블 장치는 접히는(또는 휘어지는, 원형으로 감기는) 디스플레이(예: 롤러블(또는 롤링) 디스플레이(rollable display) 또는 플렉서블 디스플레이(flexible display))를 탑재하고, 감아서(또는 말아서) 사용하거나 펼쳐서 사용할 수 있다. 전자 장치는 새로운 폼 팩터에 따라, 하드웨어, 사용자 인터페이스(UI, user interface) 및 그의 운영에 관한 개발의 필요성이 증대되고 있다.
전자 장치는 카메라 모듈을 통해 피사체를 촬영할 수 있는 촬영 기능을 제공하고 있다. 전자 장치는 카메라 모듈이 전자 장치의 지정된 위치(예: 원통 하우징의 고정된 위치)에 고정 실장되고 있다. 예를 들면, 롤러블 장치의 경우에는 원통으로 된 하우징(예: 원통형 기구 하우징) 내부에 전자 장치의 다양한 하드웨어 부품(예: 카메라 모듈, 배터리, 센서 모듈, 기구 구조물)과 전기물이 설계될 수 있다.
사용자가, 롤러블 장치를 이용하여 셀피 촬영을 하는 경우, 디스플레이 모듈의 오픈(또는 롤링(rolling))에 의하여, 디스플레이 모듈을 중심으로 피사체(예: 사용자)가 이동될 수 있다. 따라서, 롤러블 장치에서 고정된 카메라 모듈의 촬영 범위에서 피사체가 벗어나거나 편심이 발생하게 되며, 카메라 모듈로부터 획득되는 영상의 정보 중 사용자의 이미지는 디스플레이 모듈의 측면에 배치되어 제공될 수 있다. 이에 따라, 사용자는 카메라 모듈의 촬영 범위에 피사체가 위치하도록 다시 롤러블 장치를 이동하여야 하는 번거로움이 발생할 수 있다.
다양한 실시예들에서는, 롤러블 장치에서 디스플레이 모듈의 인출량/인입량에 기반하여 카메라 모듈의 회전을 제어할 수 있는 방법 및 장치에 관하여 개시한다.
다양한 실시예들에서는, 롤러블 장치에서 디스플레이 모듈의 롤링에 따른 이동량에 기반하여 카메라 모듈을 회전하여, 카메라 모듈로부터 획득되는 영상의 피사체가 디스플레이 모듈의 중심에 위치할 수 있도록 하는 방법 및 장치에 관하여 개시한다.
본 개시의 실시예에 따른 전자 장치는, 플렉서블 디스플레이, 적어도 하나의 카메라 모듈, 및 상기 플렉서블 디스플레이 및 상기 카메라 모듈과 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는, 상기 카메라 모듈의 전면 카메라의 동작 개시를 감지하고, 상기 동작 개시에 기반하여 상기 플렉서블 디스플레이의 롤링 상태를 식별하고, 상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈을 지정된 방향으로 회전하고, 및 상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈을 통해 상기 지정된 방향으로부터 획득되는 영상을 상기 플렉서블 디스플레이의 중심에 표시하도록 할 수 있다.
본 개시의 실시예에 따른 전자 장치의 동작 방법은, 카메라 모듈의 전면 카메라의 동작 개시를 감지하는 동작, 상기 동작 개시에 기반하여 상기 전자 장치의 플렉서블 디스플레이의 롤링 상태를 식별하는 동작, 상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈을 지정된 방향으로 회전하는 동작, 및 상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈을 통해 상기 지정된 방향으로부터 획득되는 영상을 상기 플렉서블 디스플레이의 중심에 표시하는 동작을 포함할 수 있다.
상기와 같은 과제를 해결하기 위하여 본 개시의 다양한 실시예들에서는, 상기 방법을 프로세서에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체를 포함할 수 있다.
본 개시의 적용 가능성의 추가적인 범위는 이하의 상세한 설명으로부터 명백해질 것이다. 그러나 본 개시의 사상 및 범위 내에서 다양한 변경 및 수정은 당업자에게 명확하게 이해될 수 있으므로, 상세한 설명 및 본 개시의 바람직한 실시예와 같은 특정 실시예는 단지 예시로 주어진 것으로 이해되어야 한다.
본 개시의 실시예에 따른 전자 장치 및 그의 동작 방법에 따르면, 전자 장치에서 디스플레이 모듈의 롤링 시에, 카메라 모듈의 방향을 사용자(또는 피사체)를 향하도록 자동 제어하여, 피사체가 카메라 모듈 방향의 중심에 위치하도록 할 수 있다. 이를 통해, 전자 장치는 카메라 모듈의 정해진 화각 내에서도 보다 좋은 이미지를 획득하도록 사용자에게 제공할 수 있다.
본 개시의 실시예에 따르면, 전자 장치의 디스플레이 모듈의 롤링(예: 개방 또는 확장)에 따른 사용자의 움직임이 카메라 모듈의 중심축에서 멀어짐에 따라 발생하는 영상의 편심을 극복할 수 있다. 다양한 실시예들에 따르면, 전자 장치는 디스플레이 모듈의 롤링에 따라 카메라 모듈의 각도를 자동 조정하여 카메라 모듈의 중심축과 디스플레이 모듈의 중심축을 동일하게 제공하여, 롤러블 장치에서의 카메라 모듈 사용성을 향상시킬 수 있고, 사용자가 보다 좋은 영상(예: 셀피 영상)을 획득하도록 할 수 있다.
이 외에, 본 문서를 통해 직접적 또는 간접적으로 파악되는 다양한 효과들이 제공될 수 있다.
도면 설명과 관련하여, 동일 또는 유사한 구성 요소에 대해서는 동일 또는 유사한 참조 부호가 사용될 수 있다.
도 1은 다양한 실시예들에 따른 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른 디스플레이 모듈의 블록도이다.
도 3은 다양한 실시예들에 따른 카메라 모듈을 예시하는 블록도이다.
도 4a 및 도 4b는 다양한 실시예들에 따른 전자 장치의 예를 설명하기 위해 도시하는 도면들이다.
도 5는 다양한 실시예들에 따른 전자 장치에서 카메라 모듈의 각도를 조정하는 예를 도시하는 도면이다.
도 6a 및 도 6b는 전자 장치에서 디스플레이 모듈과 카메라 모듈 간의 상호작용을 예시하는 도면들이다.
도 7 및 도 8은 다양한 실시예들에 따른 전자 장치에서 디스플레이 모듈과 카메라 모듈 간의 상호작용을 예시하는 도면들이다.
도 9는 다양한 실시예들에 따른 전자 장치에서 디스플레이 모듈과 카메라 모듈 간의 상호작용을 예시하는 도면이다.
도 10은 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 11은 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 12는 다양한 실시예들에 따른 전자 장치에서 카메라 모듈을 동작하는 다른 예를 도시하는 도면이다.
도 13 및 도 14는 다양한 실시예들에 따른 전자 장치에서 카메라 모듈을 제어하기 위한 구조의 일 예를 도시하는 도면들이다.
도 15 및 도 16은 다양한 실시예들에 따른 전자 장치에서 카메라 모듈을 제어하기 위한 구조의 일 예를 도시하는 도면들이다.
도 1은 다양한 실시예들에 따른 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다.
도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치(CPU, central processing unit) 또는 어플리케이션 프로세서(AP, application processor)) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치(GPU, graphic processing unit), 신경망 처리 장치(NPU, neural processing unit), 이미지 시그널 프로세서(ISP, image signal processor), 센서 허브 프로세서(sensor hub processor), 또는 커뮤니케이션 프로세서(CP, communication processor))를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(inactive)(예: 슬립(sleep)) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(OS, operating system)(142), 미들 웨어(middleware)(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서(gyro sensor), 기압 센서, 마그네틱 센서, 가속도 센서(accelerometer), 지자기 센서(geomagnetic sensor), 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
일 실시예에 따르면, 센서 모듈(176)은 다수의 센서들 중, 적어도 하나의 센서에서 획득된 센싱 데이터를 이용하여 지표면에 대하여 전자 장치(101)의 기울어진 각도 및/또는 3차원 좌표계에서 전자 장치(101)가 향하는 방향을 검출하는 장치일 수 있다. 다만, 이에 한정하지 않으며 전자 장치(101)의 기울어진 각도에 관한 정보(예: 방위각(azimuth))를 얻을 수 있는 다양한 센서가 이용될 수 있다. 예를 들면, 가속도 센서는, 전자 장치(101)의 선형 움직임 및/또는 전자 장치(101)의 3축에 대한 가속도에 대한 정보를 센싱할 수 있다. 자이로 센서는 전자 장치(101)의 회전과 관련된 정보를 센싱할 수 있고, 지자기 센서는 절대 좌표계 내에서 전자 장치(101)가 향하는 방향에 대한 정보를 센싱할 수 있다. 일 실시예에 따르면, 프로세서(120)는, 자이로 센서 및 지자기 센서를 이용하여 획득된 9축 모션 데이터를 이용할 수 있다. 예를 들면, 프로세서(120)은, 9축 모션 데이터에서 측정된 방위각(azimuth)(예: 요(yaw), 피치(pitch) 및/또는 롤(roll) 값)에 기반하여 가상의 좌표 공간을 형성할 수 있고, 가상의 좌표 공간의 일 영역을 가로 방향(landscape) 범위로 구분하고, 다른 일 영역을 세로 방향(portrait) 범위로 구분할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD(secure digital) 카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN(wide area network))와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB, enhanced mobile broadband), 단말 전력 최소화와 다수 단말의 접속(mMTC, massive machine type communications), 또는 고신뢰도와 저지연(URLLC, ultra-reliable and low-latency communications)을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO, full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC, mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
도 2는 다양한 실시 예들에 따른 디스플레이 모듈(160)의 블록도(200)이다.
도 2를 참조하면, 디스플레이 모듈(160)은 디스플레이(210), 및 이를 제어하기 위한 디스플레이 드라이버 IC(DDI, display driver IC)(230)를 포함할 수 있다. DDI(230)는 인터페이스 모듈(231), 메모리(233)(예: 버퍼 메모리), 이미지 처리 모듈(235), 또는 매핑 모듈(237)을 포함할 수 있다.
DDI(230)는, 예를 들면, 영상 데이터, 또는 상기 영상 데이터를 제어하기 위한 명령에 대응하는 영상 제어 신호를 포함하는 영상 정보를 인터페이스 모듈(231)을 통해 전자 장치(101)의 다른 구성 요소로부터 수신할 수 있다. 예를 들면, 영상 정보는 프로세서(120)(예: 메인 프로세서(121)(예: 어플리케이션 프로세서) 또는 메인 프로세서(121)의 기능과 독립적으로 운영되는 보조 프로세서(123)(예: 그래픽 처리 장치))로부터 수신될 수 있다. DDI(230)는 터치 회로(250) 또는 센서 모듈(176)과 상기 인터페이스 모듈(231)을 통하여 커뮤니케이션 할 수 있다. 또한, DDI(230)는 상기 수신된 영상 정보 중 적어도 일부를 메모리(233)에, 예를 들면, 프레임 단위로 저장할 수 있다.
이미지 처리 모듈(235)은, 예를 들면, 상기 영상 데이터의 적어도 일부를 상기 영상 데이터의 특성 또는 디스플레이(210)의 특성에 적어도 기반하여 전처리(pre-processing) 또는 후처리(post-processing)(예: 해상도, 밝기, 또는 크기 조정)를 수행할 수 있다.
매핑 모듈(237)은 이미지 처리 모듈(235)을 통해 전처리 또는 후처리된 상기 영상 데이터에 대응하는 전압 값 또는 전류 값을 생성할 수 있다. 일 실시 예에 따르면, 전압 값 또는 전류 값의 생성은, 예를 들면, 디스플레이(210)의 픽셀(pixel)들의 속성(예: 픽셀들의 배열(RGB stripe 또는 pentile 구조), 또는 서브 픽셀들 각각의 크기)에 적어도 일부 기반하여 수행될 수 있다. 디스플레이(210)의 적어도 일부 픽셀들은, 예를 들면, 상기 전압 값 또는 전류 값에 적어도 일부 기반하여 구동됨으로써 상기 영상 데이터에 대응하는 시각적 정보(예: 텍스트, 이미지, 또는 아이콘)가 디스플레이(210)를 통해 표시될 수 있다.
일 실시 예에 따르면, 디스플레이 모듈(160)은 터치 회로(250)를 더 포함할 수 있다. 터치 회로(250)는 터치 센서(251) 및 이를 제어하기 위한 터치 센서 IC(253)를 포함할 수 있다. 터치 센서 IC(253)는, 예를 들면, 디스플레이(210)의 특정 위치에 대한 터치 입력 또는 호버링(hovering) 입력을 감지하기 위해 터치 센서(251)를 제어할 수 있다. 예를 들면, 터치 센서 IC(253)는 디스플레이(210)의 특정 위치에 대한 신호(예: 전압, 광량, 저항, 또는 전하량)의 변화를 측정함으로써 터치 입력 또는 호버링 입력을 감지할 수 있다. 터치 센서 IC(253)는 감지된 터치 입력 또는 호버링 입력에 관한 정보(예: 위치, 면적, 압력, 또는 시간)를 프로세서(120)에 제공할 수 있다. 일 실시 예에 따르면, 터치 회로(250)의 적어도 일부(예: 터치 센서 IC(253))는 DDI(230), 또는 디스플레이(210)의 일부로, 또는 디스플레이 모듈(160)의 외부에 배치된 다른 구성 요소(예: 보조 프로세서(123))의 일부로 포함될 수 있다.
일 실시 예에 따르면, 디스플레이 모듈(160)은 센서 모듈(176)의 적어도 하나의 센서(예: 지문 센서, 홍채 센서, 압력 센서 또는 조도 센서), 또는 이에 대한 제어 회로를 더 포함할 수 있다. 이 경우, 상기 적어도 하나의 센서 또는 이에 대한 제어 회로는 디스플레이 모듈(160)의 일부(예: 디스플레이(210) 또는 DDI(230)) 또는 터치 회로(250)의 일부에 임베디드될 수 있다. 예를 들면, 디스플레이 모듈(160)에 임베디드된 센서 모듈(176)이 생체 센서(예: 지문 센서)를 포함할 경우, 상기 생체 센서는 디스플레이(210)의 일부 영역을 통해 터치 입력과 연관된 생체 정보(예: 지문 이미지)를 획득할 수 있다. 다른 예를 들면, 디스플레이 모듈(160)에 임베디드된 센서 모듈(176)이 압력 센서를 포함할 경우, 상기 압력 센서는 디스플레이(210)의 일부 또는 전체 영역을 통해 터치 입력과 연관된 압력 정보를 획득할 수 있다. 일 실시 예에 따르면, 터치 센서(251) 또는 센서 모듈(176)은 디스플레이(210)의 픽셀 레이어(pixel layer)의 픽셀들 사이에, 또는 상기 픽셀 레이어의 위에 또는 아래에 배치될 수 있다.
도 3은 다양한 실시예들에 따른 카메라 모듈(180)을 예시하는 블럭도(300)이다.
도 3을 참조하면, 카메라 모듈(180)은 렌즈 어셈블리(lens assembly)(310), 플래쉬(flash)(320), 이미지 센서(image sensor)(330), 이미지 스태빌라이저(image stabilizer)(340), 메모리(memory)(350)(예: 버퍼 메모리), 또는 이미지 시그널 프로세서(image signal processor)(360)를 포함할 수 있다.
렌즈 어셈블리(310)는 이미지 촬영의 대상인 피사체로부터 방출되는 빛을 수집할 수 있다. 렌즈 어셈블리(310)는 하나 또는 그 이상의 렌즈들을 포함할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 복수의 렌즈 어셈블리(310)들을 포함할 수 있다. 이런 경우, 카메라 모듈(180)은, 예를 들면, 듀얼 카메라, 360도 카메라, 또는 구형 카메라(spherical camera)를 형성할 수 있다. 복수의 렌즈 어셈블리(310)들 중 일부는 동일한 렌즈 속성(예: 화각, 초점 거리, 자동 초점, f 넘버(f number), 또는 광학 줌)을 갖거나, 또는 적어도 하나의 렌즈 어셈블리는 다른 렌즈 어셈블리의 렌즈 속성들과 다른 하나 이상의 렌즈 속성들을 가질 수 있다. 렌즈 어셈블리(310)는, 예를 들면, 광각 렌즈 또는 망원 렌즈를 포함할 수 있다.
플래쉬(320)는 피사체로부터 방출 또는 반사되는 빛을 강화하기 위하여 사용되는 빛을 방출할 수 있다. 일 실시예에 따르면, 플래쉬(320)는 하나 이상의 발광 다이오드들(예: RGB(red-green-blue) LED, white LED, infrared LED, 또는 ultraviolet LED), 또는 xenon lamp를 포함할 수 있다.
이미지 센서(330)는 피사체로부터 방출 또는 반사되어 렌즈 어셈블리(310)를 통해 전달된 빛을 전기적인 신호로 변환함으로써, 상기 피사체에 대응하는 이미지를 획득할 수 있다. 일 실시예에 따르면, 이미지 센서(330)는, 예를 들면, RGB 센서, BW(black and white) 센서, IR 센서, 또는 UV 센서와 같이 속성이 다른 이미지 센서들 중 선택된 하나의 이미지 센서, 동일한 속성을 갖는 복수의 이미지 센서들, 또는 다른 속성을 갖는 복수의 이미지 센서들을 포함할 수 있다. 이미지 센서(330)에 포함된 각각의 이미지 센서는, 예를 들면, CCD(charged coupled device) 센서 또는 CMOS(complementary metal oxide semiconductor) 센서를 이용하여 구현될 수 있다.
이미지 스태빌라이저(340)는 카메라 모듈(180) 또는 이를 포함하는 전자 장치(101)의 움직임에 반응하여, 렌즈 어셈블리(310)에 포함된 적어도 하나의 렌즈 또는 이미지 센서(330)를 특정한 방향으로 움직이거나 이미지 센서(330)의 동작 특성을 제어(예: 리드 아웃(read-out) 타이밍을 조정 등)할 수 있다. 이는 촬영되는 이미지에 대한 상기 움직임에 의한 부정적인 영향의 적어도 일부를 보상하게 해 준다. 일 실시예에 따르면, 이미지 스태빌라이저(340)는 카메라 모듈(180)의 내부 또는 외부에 배치된 자이로 센서(미도시) 또는 가속도 센서(미도시)를 이용하여 카메라 모듈(180) 또는 전자 장치(101)의 그런 움직임을 감지할 수 있다. 일 실시예에 따르면, 이미지 스태빌라이저(340)는, 예를 들면, 광학식 이미지 스태빌라이저로 구현될 수 있다.
메모리(350)는 이미지 센서(330)를 통하여 획득된 이미지의 적어도 일부를 다음 이미지 처리 작업을 위하여 적어도 일시 저장할 수 있다. 예를 들어, 셔터에 따른 이미지 획득이 지연되거나, 또는 복수의 이미지들이 고속으로 획득되는 경우, 획득된 원본 이미지(예: Bayer-patterned 이미지 또는 높은 해상도의 이미지)는 메모리(350)에 저장이 되고, 그에 대응하는 사본 이미지(예: 낮은 해상도의 이미지)는 디스플레이 모듈(160)을 통하여 프리뷰(preview)될 수 있다. 이후, 지정된 조건이 만족되면(예: 사용자 입력 또는 시스템 명령) 메모리(350)에 저장되었던 원본 이미지의 적어도 일부가, 예를 들면, 이미지 시그널 프로세서(360)에 의해 획득되어 처리될 수 있다. 일 실시예에 따르면, 메모리(350)는 메모리(130)의 적어도 일부로, 또는 이와는 독립적으로 운영되는 별도의 메모리로 구성될 수 있다.
이미지 시그널 프로세서(360)는 이미지 센서(330)를 통하여 획득된 이미지 또는 메모리(350)에 저장된 이미지에 대하여 하나 이상의 이미지 처리들을 수행할 수 있다. 상기 하나 이상의 이미지 처리들은, 예를 들면, 깊이 지도(depth map) 생성, 3차원 모델링, 파노라마 생성, 특징점 추출, 이미지 합성, 또는 이미지 보상(예: 노이즈 감소, 해상도 조정, 밝기 조정, 블러링(blurring), 샤프닝(sharpening), 또는 소프트닝(softening))을 포함할 수 있다. 추가적으로 또는 대체적으로, 이미지 시그널 프로세서(360)는 카메라 모듈(180)에 포함된 구성 요소들 중 적어도 하나(예: 이미지 센서(330))에 대한 제어(예: 노출 시간 제어, 또는 리드 아웃 타이밍 제어 등)를 수행할 수 있다. 이미지 시그널 프로세서(360)에 의해 처리된 이미지는 추가 처리를 위하여 메모리(350)에 다시 저장되거나 카메라 모듈(180)의 외부 구성 요소(예: 메모리(130), 디스플레이 모듈(160), 전자 장치(102), 전자 장치(104), 또는 서버(108))로 제공될 수 있다. 일 실시예에 따르면, 이미지 시그널 프로세서(360)는 프로세서(120)의 적어도 일부로 구성되거나, 프로세서(120)와 독립적으로 운영되는 별도의 프로세서로 구성될 수 있다. 이미지 시그널 프로세서(360)가 프로세서(120)와 별도의 프로세서로 구성된 경우, 이미지 시그널 프로세서(360)에 의해 처리된 적어도 하나의 이미지는 프로세서(120)에 의하여 그대로 또는 추가의 이미지 처리를 거친 후 디스플레이 모듈(160)을 통해 표시될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 각각 다른 속성 또는 기능을 가진 복수의 카메라 모듈(180)들을 포함할 수 있다. 이런 경우, 예를 들면, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 광각 카메라이고, 적어도 다른 하나는 망원 카메라일 수 있다. 유사하게, 상기 복수의 카메라 모듈(180)들 중 적어도 하나는 전면 카메라이고, 적어도 다른 하나는 후면 카메라일 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, ‘비일시적’은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱(heuristic)하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 4a 및 도 4b는 다양한 실시예들에 따른 전자 장치의 예를 설명하기 위해 도시하는 도면들이다.
도 4a는 다양한 디스플레이 형태에 따른 전자 장치(101)의 다양한 폼 팩터(form factor)의 예를 나타낼 수 있다. 일 실시예에 따르면, 전자 장치(101)는 롤링(rolling) 방식 및/또는 슬라이드(slide) 방식으로 디스플레이(예: 도 1 또는 도 2의 디스플레이 모듈(160))의 면적을 확장시킬 수 있는 롤러블(rollable) 장치(410, 420, 430), 및/또는 슬라이드블(slidable)(440) 장치와 같은 다양한 폼 팩터를 포함할 수 있다. 도 4a에 예시된 바와 같이, 전자 장치(101)는 다양한 형태로 구현될 수 있고, 전자 장치(101)의 구현 형태에 따라 디스플레이 및 카메라 모듈(예: 도 1 또는 도 3의 카메라 모듈(180))이 다양한 방식으로 제공될 수 있다.
일 실시예에 따르면, 전자 장치(101)(예: 롤러블 전자 장치(410, 420, 430) 및/또는 슬라이드블 전자 장치(440))는 하우징 내에 롤-업(roll-up) 방식의 디스플레이(예: 롤러블 디스플레이(rollable display)))를 포함하는 폼 팩터를 포함할 수 있다. 일 실시예에 따라, 전자 장치(101)는, 디스플레이(예: 도 1의 디스플레이 모듈(160))의 굽힘 변형이 가능해, 적어도 일부분이 말아지거나(wound or rolled), 하우징(미도시)의 내부로 수납될 수 있는 전자 장치를 의미할 수 있다. 사용자의 필요에 따라, 전자 장치(101)는 디스플레이(예: 도 1의 디스플레이 모듈(160))를 펼침으로써 또는 디스플레이의 더 넓은 면적을 외부로 노출시킴으로써 화면 표시 영역을 확장하여 사용할 수 있다. 예를 들면, 전자 장치(101)는, 사용자가 디스플레이(예: 도 1의 디스플레이 모듈(160))를 펼치는 정도에 따라, 디스플레이가 외부로 노출되는 면적이 달라질 수 있다.
일 실시예에 따르면, 전자 장치(101)는 원형으로 말려 있는 디스플레이를 보호하기 위한 하우징 구조를 포함하며, 하우징의 내부에서 디스플레이가 개방(예: 확장)되는 구조로 동작할 수 있다. 예를 들면, 도 4a에서 롤러블 전자 장치(410, 420, 430)의 예시와 같이 원통형 하우징 내에 디스플레이가 수납되거나, 슬라이드블 전자 장치(440)의 예시와 같이 평판형 하우징 내에 별도의 원통형 하우징을 통해 디스플레이의 적어도 일부가 수납될 수 있다.
전자 장치(101)는, 도 4b에 예시한 바와 같이, 전자 장치(101)의 하우징(440)(예: 원통 하우징)과 독립적으로 회전 가능한 구조로 카메라 모듈(445)(예: 도 1 또는 도 3의 카메라 모듈(180))을 포함하거나, 전자 장치(101)의 하우징(450)(예: 평판 하우징) 내에 수납되는 구조로 카메라 모듈(455)(예: 도 1 또는 도 3의 카메라 모듈(180))을 포함할 수 있다. 예를 들면, 전자 장치(101)의 하우징(440) 일단(예: 상단 또는 하단)에, 카메라 모듈(445)을 독립적으로 회전 가능한 구조로 분리하여, 디스플레이 모듈(160)의 롤링(또는 슬라이딩)에 따라 카메라 모듈(445)이 하우징(440) 상단에서 지정된 방향으로 회전 가능한 구조를 포함할 수 있다.
다른 예를 들면, 전자 장치(101)의 하우징(450)의 상단 일 영역에 카메라 모듈(455)이 수납되고, 카메라 모듈(455)의 동작 또는 디스플레이 모듈(160)의 롤링(또는 슬라이딩) 시에 카메라 모듈(455)이 하우징(450)으로부터 팝업(예: 팝업 카메라)되고, 디스플레이 모듈(160)의 롤링(또는 슬라이딩)에 따라 카메라 모듈(455)이 하우징(440) 상단에서 지정된 방향으로 회전 가능한 구조를 포함할 수 있다.
예를 들면, 전자 장치(101)는 카메라 모듈(445, 455) 부분을 분리하여 운영할 수 있고, 내부적으로 카메라 모듈(445, 455)을 연결하기 위한 구성 요소(예: 연결 부재, 카메라 모듈(445, 455)의 회전 제어를 위한 구동부(예: 모터) 및/또는 기구물(예: 기어))를 포함할 수 있다. 예를 들면, 도면에 도시되지는 않았으나, 전자 장치(101)는 하우징(440, 450) 내에 도 1의 전자 장치(101)의 구성 요소 중 적어도 일부를 실장할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 디스플레이 모듈(160)의 상태 변화(예: 오픈 상태(open state), 중간 상태(intermediated state), 클로즈 상태(close state))에 있어서, 사용자에 의해 수동으로 전환되거나, 하우징(440, 450)의 내부에 배치된 구동 메카니즘(예: 구동 모터, 감속 기어 모듈 및/또는 기어 조립체)을 통해 자동으로 전환될 수 있다. 일 실시예에 따르면, 상기 구동 메커니즘은, 사용자 입력에 기반하여 동작이 트리거될 수 있다.
구동 메커니즘의 동작을 트리거하기 위한 사용자 입력은, 디스플레이 모듈(160)을 통한 터치 입력, 포스 터치 입력, 및/또는 제스처 입력을 포함할 수 있다. 예를 들면, 압력 센서와 같은 다양한 센서로부터 신호가 발생되면, 전자 장치(101)는 클로즈 상태에서 오픈 상태로, 또는 오픈 상태에서 클로즈 상태로 전환될 수 있다. 예를 들어, 전자 장치(101)를 손으로 휴대할 때 또는 파지할 때 손의 일부(예: 손 바닥 또는 손가락)가 전자 장치(101)의 지정된 구간 내를 가압하는 스퀴즈 제스처(squeeze gesture)가 센서를 통해 감지될 수 있고, 이에 대응하여 전자 장치(101)는 클로즈 상태에서 오픈 상태로, 또는 오픈 상태에서 클로즈 상태로 전환될 수 있다. 다른 실시 예에서, 구동 메커니즘의 동작을 트리거하기 위한 사용자 입력은, 음성 입력(또는 보이스 입력), 또는 하우징(440, 450)의 외부로 시각적으로 노출된 물리 버튼의 입력을 포함할 수 있다.
다양한 실시예들에 따르면, 전자 장치(101)는 도 4a 및 도 4b에 예시한 바와 같이, 롤링(또는 슬라이드) 방식으로 디스플레이의 표시 면적을 확장시킬 수 있고, 디스플레이의 면적의 확장에 기반하여 카메라 모듈(180)을 회전(또는 각도 조정)할 수 있는 장치로 구현될 수 있다.
도 5는 다양한 실시예들에 따른 전자 장치에서 카메라 모듈의 각도를 조정하는 예를 도시하는 도면이다.
일 실시예에 따라, 도 5는 도 4b에 예시한 바와 같은 구조의 전자 장치(101)에서, 카메라 모듈(180)이 디스플레이 모듈(160)의 롤링에 따라 지정된 방향으로 지정된 각도 회전하는 예를 나타낼 수 있다. 일 실시예에서, 카메라 모듈(180)이 회전하는 지정된 각도는, 예를 들면, 디스플레이 모듈(160)의 롤링에 따른 롤링 상태(예: 인출량/인입량)에 비례하여 정의될 수 있다. 예를 들면, 지정된 각도는, 디스플레이 모듈(160)이 롤링되는 거리(또는 인출량/인입량)에 기반하여 계산될 수 있는 카메라 모듈(180)의 회전 각도 및/또는 회전 방향을 포함할 수 있다.
일 실시예에서, <501> 예시는 디스플레이 모듈(160)의 클로즈 상태(close state)(또는 축소 상태)에서 카메라 모듈(180)이 제1 지정된 방향(예: 회전 전 기본 방향)을 향하고 있는 상태를 도시한 것일 수 있다. 일 실시예에서, <503> 예시는 디스플레이 모듈(160)의 롤링에 따른 오픈 상태(open state)(또는 확장 상태)에서 카메라 모듈(180)이 제2 지정된 방향(예: 일정 각도 회전에 따라 조정된 방향)을 향하고 있는 상태를 도시한 것일 수 있다.
도 6a 및 도 6b는 전자 장치에서 디스플레이 모듈과 카메라 모듈 간의 상호작용을 예시하는 도면들이다.
도 6a는 디스플레이 모듈(160)의 확장 시 카메라 모듈(180)이 제1 지정된 방향을 유지하고 있는 종래 전자 장치(101)의 동작을 도시하고 있다.
도 6a에 예시한 바와 같이, 사용자(650)가 전자 장치(101)에서 디스플레이 모듈(160)을 하우징(600)으로부터 오픈하는 상태(예: 디스플레이 면적 확장 상태)에서는, 사용자(650)는 카메라 모듈(180)의 중심축(610)에 위치하기 보다, 디스플레이 모듈(160)의 중심축(620)에 위치할 수 있다. 예를 들면, 사용자(650)는 디스플레이 모듈(160)에 표시되는 영상의 확인을 위하여, 디스플레이 모듈(160)의 중심축(620)에 대응하는 정면 방향에 위치할 수 있다. 예를 들면, 디스플레이 모듈(160)이 오픈되어 펼쳐지는 상태에서 사용자(650)가 카메라 모듈(180)(예: 전면 카메라)을 동작(예: 셀피 촬영 또는 영상 통화)하는 경우, 카메라 모듈(180)의 중심축(610)과 디스플레이 모듈(160)의 중심축(620)의 차이로 인하여, 디스플레이 모듈(160)에 표시되는 영상(예: 프리뷰 또는 영상 통화 영상)에 편심이 발생할 수 있다. 이의 예가 도 6b에 도시된다.
도 6b는 전자 장치(101)에서 카메라 모듈(180)의 중심축(610)이 고정된 경우에서, 디스플레이 모듈(160)을 통해 표시되는 피사체 영상(670)의 편심에 대한 예를 나타낼 수 있다. 도 6a 및 도 6b에 도시된 바와 같이, 사용자(650)(예: 피사체)가 디스플레이 모듈(160)의 중심축(620)에 위치하고, 카메라 모듈(180)(예: 전면 카메라)을 이용하는 경우, 카메라 모듈(180)의 중심축(610)이 향하는 제1 지정된 방향(615)에서 카메라 모듈(180)의 정해진 화각 내에 사용자(650)(예: 피사체)가 모두 포함되지 않을 수 있고, 디스플레이 모듈(160)에 표시되는 피사체 영상(670)이 한쪽으로 치우치고 사용자(650)(예: 피사체)의 일부 또는 전부가 표시되지 않는 편심 문제가 발생할 수 있다.
다양한 실시예들에서는, 상기와 같은 환경에서, 디스플레이 모듈(180)에 롤링에 대응하여 카메라 모듈(180)의 중심축(610)을 사용자(650)(예: 피사체)가 위치하는 방향으로 일정 각도 회전하여, 피사체 영상(670)이 디스플레이 모듈(160)의 중심에 위치하도록 할 수 있다. 이의 예가 도 7 및 도 8에 예시된다.
도 7 및 도 8은 다양한 실시예들에 따른 전자 장치에서 디스플레이 모듈과 카메라 모듈 간의 상호작용을 예시하는 도면들이다.
일 실시예에 따라, 도 7은 디스플레이 모듈(160)의 확장 시 카메라 모듈(180)이 제1 지정된 방향(615)에서 제2 지정된 방향(625)으로 일정 각도 조정(또는 회전)되는 본 개시의 전자 장치(101)의 동작을 도시하고 있다.
일 실시예에 따르면, 도 7에서는 전자 장치(101)에서 단일 카메라(예: 카메라 모듈(180))를 운영하는 예를 나타낼 수 있다. 예를 들면, 도 7에서는 전자 장치(101)가 롤링(또는 슬라이드) 방식으로 디스플레이 모듈(160)의 표시 면적을 확장시킬 수 있는 롤러블 전자 장치이고, 1개의 하우징(600)에 카메라 모듈(180)이 장착되는 구조로 구현될 수 있다. 일 실시예에 따르면, 전자 장치(101)는 하우징(600), 하우징(600)에 수납되도록 배치되는 디스플레이 모듈(160), 및 하우징(600) 상단에 분리 설계되는 카메라 모듈(180)을 포함할 수 있다. 도면에 도시되지는 않았으나, 전자 장치(101)는 하우징(600) 내에 도 1의 전자 장치(101)의 구성 요소 중 적어도 일부를 포함할 수 있다.
일 실시예에 따르면, 도 7에 따른 예시는, 디스플레이 모듈(160)의 표시 면적이 확장된 상태(예: 오픈 상태, 확장 상태)의 전자 장치(101)를 나타낼 수 있다. 일 실시예에 따르면, 전자 장치(101)는 하우징(600)으로부터 디스플레이 모듈(160)의 이동 거리(또는 이동 위치)에 따라, 디스플레이 모듈(160)의 다양한 표시 면적을 제공할 수 있다. 예를 들면, 사용자는 롤러블 특성을 이용하여 사용 환경에 따라 전자 장치(101)의 디스플레이 모듈(160)의 표시 면적(예: 표시 영역, 활성화 영역)을 조절할 수 있다. 예를 들면, 디스플레이 모듈(160)은 플렉서블 디스플레이(예: 롤러블 디스플레이)로서, 시각적 정보를 출력하는 표시 영역(또는 액티브 영역(active area))을 포함할 수 있다. 디스플레이 모듈(160)은 디스플레이 모듈(160)의 변형(예: 롤링 상태)에 따라 표시 영역이 가변될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 디스플레이 모듈(160)과 관련된 슬라이딩 구조를 포함할 수 있다. 예를 들어, 전자 장치(101)는 디스플레이 모듈(160)이 하우징(600)으로부터 롤링(또는 슬라이딩) 운동이 가능하도록 구현될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 외력에 의해 디스플레이 모듈(160)이 설정된 거리로 이동되면, 슬라이딩 구조에 포함된 탄력 구조로 인해, 더 이상의 외력 없이도 클로즈 상태에서 오픈 상태로, 또는 오픈 상태에서 클로즈 상태로 전환(예: 반자동 슬라이드 동작)될 수 있다. 일 실시예에 따르면, 도시하진 않았으나, 전자 장치(101)에서 디스플레이 모듈(160)이 일부만 확장된 상태 즉, 상기 클로즈 상태와 상기 오픈 상태의 중간인 중간 상태가 더 존재할 수 있다. 예를 들면, 중간 상태는, 프리 스탑(free stop) 상태를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 슬라이딩 구조에 포함된 탄력 구조로 인해, 클로즈 상태에서 중간 상태의 제1 이동이 수행되고, 추가적인 입력(또는 외력)에 의해 중간 상태에서 오픈 상태로의 제2 이동이 수행될 수 있다.
어떤 실시예에 따르면, 전자 장치(101)는 입력 장치를 통해 신호가 발생되면, 디스플레이 모듈(160)과 연결된 구동 장치(예: 모터)를 통해 클로즈 상태에서 오픈 상태로, 또는 오픈 상태에서 클로즈 상태로 전환할 수 있는 회전력을 제공할 수 있다. 예를 들면, 하드웨어 버튼 또는 화면을 통해 제공되는 소프트웨어 버튼을 통해 신호가 발생되면, 전자 장치(101)는 클로즈 상태에서 오픈 상태로, 또는 오픈 상태에서 클로즈 상태로 전환할 수 있다.
일 실시예에 따르면, 디스플레이 모듈(160)은 벤더블 구간(bendable section)을 포함할 수 있다. 예를 들면, 전자 장치(101)가 클로즈 상태에서 오픈 상태로 전환될 때, 벤더블 구간은 미끄러지듯 전자 장치(101)의 하우징(600)의 내부 공간으로부터 인출되고, 이로 인해 디스플레이 모듈(160)의 표시 면적이 확장될 수 있다. 다른 예를 들면, 전자 장치(101)가 오픈 상태에서 클로즈 상태로 전환될 때, 벤더블 구간의 적어도 일부는 미끄러지듯 전자 장치(101)의 하우징(600)의 내부 공간으로 인입되고, 이로 인해 디스플레이 모듈(160)의 표시 면적이 축소될 수 있다.
일 실시예에 따르면, 도 7에서는 1개의 하우징(600)에 디스플레이 모듈(160)이 수납되는 구조로 구현되는 예를 도시하였으나, 이에 한정하는 것은 아니다. 예를 들면, 전자 장치(101)는 제1 하우징 및 제2 하우징을 포함하고, 제1 하우징과 제2 하우징에 디스플레이 모듈(160)이 수납되는 구조로 구현될 수도 있다. 예를 들어, 전자 장치(101)는 하우징(600)에서 디스플레이 모듈(160)의 일부가 노출되는 것으로 도시되어 있으나, 전자 장치(101)는 디스플레이 모듈(160)이 제1 하우징 및 제2 하우징 내에 수납되고, 제1 하우징 및 제2 하우징으로부터 노출되는 형태로 구현될 수도 있다.
일 실시예에 따르면, 전자 장치(101)는 도 7과 같이 단방향으로 롤링되는 구조로 설명하나, 제1 하우징 및 제2 하우징에 디스플레이 모듈(160)이 롤링되어 수납되는 양방향 롤러블 전자 장치로 구현될 수도 있다. 예를 들어, 전자 장치(101)는 디스플레이 모듈(160)이 제1 하우징 및/또는 제2 하우징에 롤링되어 수납되는 형태로 구현될 수 있다.
어떤 실시예에 따르면, 도 7에서의 하우징(600)이 원통 형상을 갖는 것을 예를 들어 도시하였으나, 이에 한정하는 것은 아니며, 하우징(600)은 디스플레이 모듈(160)을 롤링하여 수납 가능한 다양한 형태로 구현될 수 있다.
일 실시예에 따르면, 카메라 모듈(180)은 하우징(600) 상단에 회전 가능하도록 부착(또는 장착)될 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 디스플레이 모듈(160)의 클로즈 상태에서 제1 지정된 방향을 향하여 동작할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 디스플레이 모듈(160)의 오픈 상태에서 제1 지정된 방향에서 제2 지정된 방향을 향하도록 회전하여 동작할 수 있다.
도 7에 예시한 바와 같이, 사용자(650)가 전자 장치(101)에서 디스플레이 모듈(160)을 오픈하는 상태(예: 디스플레이 면적 확장 상태)에서는, 사용자(650)는 카메라 모듈(180)의 중심축(610)에 위치하기 보다, 디스플레이 모듈(160)의 중심축(620)에 위치할 수 있다. 예를 들면, 사용자(650)는 디스플레이 모듈(160)에 표시되는 영상의 확인을 위하여, 디스플레이 모듈(160)의 중심축(620)에 대응하는 정면 방향에 위치할 수 있다. 예를 들면, 디스플레이 모듈(160)이 오픈되어 펼쳐지는 상태에서 사용자(650)가 카메라 모듈(180)(예: 전면 카메라)을 동작(예: 셀피 촬영 또는 영상 통화)하는 경우, 카메라 모듈(180)이 제1 지정된 방향(615)에서 제2 지정된 방향(625)을 향하도록 카메라 모듈(180)을 지정된 각도만큼 회전할 수 있다.
예를 들면, 전자 장치(101)는 카메라 모듈(180)의 중심축(610)과 디스플레이 모듈(160)의 중심축(620)을 사용자(650)에 대응하는 방향으로 일치시켜(또는 제어하여), 디스플레이 모듈(160)에 표시되는 영상(예: 프리뷰 또는 영상 통화 영상)에 편심을 제거하고, 영상이 디스플레이 모듈(160)의 중심에 위치하도록 할 수 있다. 이의 예가 도 8에 도시된다.
일 실시예에 따라, 도 8은 전자 장치(101)에서 카메라 모듈(180)의 회전에 기반하여 디스플레이 모듈(160)을 통해 표시되는 피사체 영상(800)이 디스플레이 모듈(160)의 중심에 위치하는 예를 나타낼 수 있다. 도 7 및 도 8에 도시된 바와 같이, 사용자(650)(예: 피사체)가 디스플레이 모듈(160)의 중심축(620)에 위치하고, 카메라 모듈(180)(예: 전면 카메라)을 이용하는 경우, 카메라 모듈(180)의 중심축(610)이 제1 지정된 방향(615)에서 제2 지정된 방향(625)으로 회전되어, 카메라 모듈(180)의 정해진 화각 내에 사용자(650)(예: 피사체)가 모두 포함될 수 있고, 디스플레이 모듈(160)에 표시되는 피사체 영상(800)이 디스플레이 모듈(180)의 중심에서 사용자(650)(예: 피사체)의 전부가 표시될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 디스플레이 모듈(160)의 롤링에 따라 디스플레이 면적이 증가된 량(예: 인출량/인입량)에 비례하여 카메라 모듈(180)의 중심축 방향을 이동(예: 회전)하도록 제어할 수 있다. 예를 들면, 전자 장치(101)는 도 7 및 도 8에 예시한 바와 같이, 디스플레이 모듈(160)이 롤링되는 거리 증가에 따라 카메라 모듈(180)의 중심축(610)을 디스플레이 모듈(160)의 중심축(620)으로 향하도록 카메라 모듈(180)의 회전(또는 각도 변경) 및/또는 그 방향을 제어할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 디스플레이 모듈(160)의 중심축(620)에 위치하는 사용자(650)(예: 피사체)를 카메라 모듈(160)의 중심축(610)에 위치하도록 할 수 있다. 어떤 실시예에 따르면, 전자 장치(101)는 카메라 모듈(180)의 회전(또는 각도 변경)에 대응하여 사용자(650)의 정면이 아닌 측면의 영상을 촬영할 수 있으며, 이를 사용자(650)에게 가이드 하기 위해 카메라 모듈(180)과 인접하여 별도의 지시등(예: LED 또는 flash)을 포함할 수도 있다.
도 9는 다양한 실시예들에 따른 전자 장치에서 디스플레이 모듈과 카메라 모듈 간의 상호작용의 예시하는 도면이다.
일 실시예에 따라, 도 9에서는 전자 장치(101)가 대화면의 디스플레이 모듈(160)을 포함하며, 전자 장치(101)가 롤링(또는 슬라이드) 방식으로 디스플레이 모듈(160)의 표시 면적을 세로 방향으로 확장시킬 수 있는 디스플레이 장치(예: 롤러블 TV)이고, 하우징(600)의 측면에 카메라 모듈(180)이 장착되는 구조의 예를 나타낼 수 있다. 일 실시예에 따르면, 전자 장치(101)는 하우징(600), 하우징(600)에 수납되도록 배치되는 디스플레이 모듈(160), 및 하우징(600) 측면에 분리 설계되는 카메라 모듈(180)을 포함할 수 있다.
일 실시예에 따르면, 도 9에 예시한 바와 같이, 카메라 모듈(180)은 하우징(600)의 측면에서 상하로 회전되는 구조일 수 있다. 도면에 도시되지는 않았으나, 전자 장치(101)는 하우징(600) 내에 도 1의 전자 장치(101)의 구성 요소 중 적어도 일부를 포함할 수 있다. 일 실시예에 따라, 도 9에 예시된 바와 같은 전자 장치(101)의 경우, 세로 방향의 디스플레이 모듈(180)의 롤링에 따라 디스플레이 면적이 증가된 량(예: 인출량/인입량)에 비례하여 카메라 모듈(180)의 중심축 방향을 이동(예: 회전)하도록 제어할 수 있으며, 그 동작은 도 7 및 도 8에 대응할 수 있다.
일 실시예에 따르면, 도 9에 따른 예시는, 디스플레이 모듈(160)의 표시 면적이 확장된 상태(예: 오픈 상태, 확장 상태)의 전자 장치(101)를 나타낼 수 있다. 일 실시예에 따르면, 도 9에서는 하우징(600)의 일 측면에 하나의 카메라 모듈(180)이 장착되는 구조로 구현되는 예를 도시하였으나, 이에 한정하는 것은 아니다. 예를 들면, 전자 장치(101)는 하우징(600)의 양 측면에 카메라 모듈(180)을 각각 장착되는 구조로 구현될 수도 있다.
일 실시예에 따르면, 카메라 모듈(180)은 하우징(600) 측면에 회전 가능하도록 부착(또는 장착)될 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 디스플레이 모듈(160)의 클로즈 상태에서 제1 지정된 방향을 향하여 동작할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 디스플레이 모듈(160)의 오픈 상태에서 제1 지정된 방향에서 제2 지정된 방향을 향하도록 회전하여 동작할 수 있다.
도 9에 예시한 바와 같이, 카메라 모듈(180)은 제1 지정된 방향(예: 정면 방향)에서 제2 지정된 방향(예: 하 방향)을 향하도록 카메라 모듈(180)을 지정된 각도만큼 회전할 수 있다. 예를 들면, 전자 장치(101)는 카메라 모듈(180)의 중심축과 디스플레이 모듈(160)의 중심축을 사용자(900)에 대응하는 방향으로 일치시켜(또는 제어하여), 디스플레이 모듈(160)에 표시되는 영상(예: 프리뷰 또는 영상 통화 영상)에 편심을 제거하고, 영상이 디스플레이 모듈(160)의 중심에 위치하도록 할 수 있다.
도 9에 예시한 바와 같이, 카메라 모듈(180)의 회전에 기반하여 디스플레이 모듈(160)을 통해 표시되는 피사체 영상이, 제1 피사체 영상(910)의 위치에서 제2 피사체 영상(920)의 위치와 같이, 디스플레이 모듈(160)의 중심에 위치하여 표시될 수 있다. 예를 들면, 카메라 모듈(180)의 중심축이 제1 지정된 방향에서 제2 지정된 방향으로 회전되어, 카메라 모듈(180)의 정해진 화각 내에서 사용자(900)(예: 피사체)가 모두 포함되도록 할 수 있고, 디스플레이 모듈(160)에 표시되는 피사체 영상(920)이 디스플레이 모듈(180)의 중심에서 사용자(900)(예: 피사체)의 전부가 표시되도록 할 수 있다.
어떤 실시예에 따르면, 전자 장치(101)는 다양한 센서 기반 센싱 데이터를 이용하여, 사용자(900)의 움직임을 추적할 수 있고, 사용자(900)의 움직임 추적에 기반하여, 사용자(900)의 위치 변화(예: TV 시청 높이 변화)에 대응하도록 카메라 모듈(180)을 회전하도록 할 수 있다. 이를 통해, 전자 장치(101)는 디스플레이 모듈(160)에 표시되는 피사체 영상(920)이 디스플레이 모듈(180)의 중심에서 계속적으로 표시되도록 할 수도 있다.
본 개시의 실시예에 따른 전자 장치(101)는, 플렉서블 디스플레이(예: 도 1 또는 도 2의 디스플레이 모듈(160)), 적어도 하나의 카메라 모듈(예: 도 1 또는 도 3의 카메라 모듈(180)), 및 상기 플렉서블 디스플레이 및 상기 카메라 모듈과 작동적으로 연결된 프로세서(120)를 포함하고, 상기 프로세서(120)는, 상기 카메라 모듈의 전면 카메라의 동작 개시를 감지하고, 상기 동작 개시에 기반하여 상기 플렉서블 디스플레이의 롤링 상태를 식별하고, 상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈을 지정된 방향으로 회전하고, 및 상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈을 통해 상기 지정된 방향으로부터 획득되는 영상을 상기 플렉서블 디스플레이의 중심에 표시하도록 할 수 있다.
본 개시의 실시예에 따르면, 상기 프로세서(120)는, 상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈의 회전 각도를 식별하고, 상기 카메라 모듈의 회전 각도에 기반하여 상기 카메라 모듈을 지정된 방향으로 회전하도록 제어할 수 있다.
본 개시의 실시예에 따르면, 상기 프로세서(120)는, 상기 전면 카메라의 동작 개시 시 상기 플렉서블 디스플레이의 오픈 상태(open state) 또는 클로즈 상태(close state)를 판단할 수 있다.
본 개시의 실시예에 따르면, 상기 프로세서(120)는, 상기 플렉서블 디스플레이가 클로즈 상태인 경우, 상기 전면 카메라가 제1 지정된 방향으로 동작하도록 제어하고, 상기 플렉서블 디스플레이가 오픈 상태인 경우, 상기 전면 카메라가 제2 지정된 방향으로 동작하도록 제어할 수 있다.
본 개시의 실시예에 따르면, 상기 프로세서(120)는, 상기 플렉서블 디스플레이가 클로즈 상태에서 오픈 상태로 전환되는 것에 기반하여, 상기 플렉서블 디스플레이의 롤링 상태를 모니터링 하고, 상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 전면 카메라를 제2 지정된 방향으로 회전하도록 제어할 수 있다.
본 개시의 실시예에 따르면, 상기 프로세서(120)는, 상기 플렉서블 디스플레이의 롤링 상태에 대응하는 회전 각도를 판단하고, 상기 회전 각도에 기반하여 상기 전면 카메라를 상기 제2 지정된 방향으로 회전하도록 설정되고, 상기 회전 각도는, 상기 플렉서블 디스플레이의 이동 거리와 상기 전면 카메라의 초점 거리에 적어도 기반하여 결정할 수 있다.
본 개시의 실시예에 따르면, 상기 프로세서(120)는, 상기 플렉서블 디스플레이의 오픈 상태에 대응하여, 상기 플렉서블 디스플레이의 중심축에 위치하는 피사체가 상기 전면 카메라의 중심축에 위치하도록 상기 전면 카메라를 상기 플렉서블 디스플레이의 중심축 방향으로 회전하도록 제어할 수 있다.
본 개시의 실시예에 따르면, 상기 프로세서(120)는, 상기 전면 카메라가 상기 플렉서블 디스플레이의 이동 거리에 비례하는 각도로 회전하여 상기 제2 지정된 방향을 향하게 제어할 수 있다.
본 개시의 실시예에 따르면, 상기 프로세서(120)는, 상기 전면 카메라의 회전에 기반하여, 상기 전면 카메라를 통해 획득된 피사체의 영상을 상기 플렉서블 디스플레이의 중심에 표시하도록 상기 플렉서블 디스플레이를 제어할 수 있다.
본 개시의 실시예에 따르면, 상기 프로세서(120)는, 상기 플렉서블 디스플레이가 오픈 상태인 경우, 상기 전면 카메라를 통해 획득되는 영상으로부터 피사체를 추적하고, 상기 피사체의 추적에 따른 상기 피사체의 위치에 기반하여 상기 전면 카메라의 회전 여부를 결정할 수 있다.
본 개시의 실시예에 따르면, 상기 프로세서(120)는, 상기 피사체의 위치가 상기 전면 카메라의 정면에 위치하는 것을 판단하는 경우, 상기 전면 카메라가 제1 지정된 방향으로 동작하도록 상기 전면 카메라의 비회전을 결정하고, 상기 피사체의 위치가 상기 전면 카메라의 정면에 위치하지 않는 것을 판단하는 경우, 상기 전면 카메라가 제2 지정된 방향으로 동작하도록 상기 전면 카메라의 회전을 결정할 수 있다.
본 개시의 실시예에 따르면, 상기 프로세서(120)는, 상기 전면 카메라를 이용한 셀피 촬영 또는 영상 통화 시, 상기 플렉서블 디스플레이의 롤링 상태에 비례하여 상기 전면 카메라의 각도를 회전하도록 제어할 수 있다.
본 개시의 실시예에 따르면, 상기 전자 장치(101)는 상기 플렉서블 디스플레이를 수납 가능한 하우징을 포함하고, 상기 카메라 모듈은 상기 하우징의 일단에서 지정된 방향으로 회전 가능하도록 배치될 수 있다.
본 개시의 실시예에 따르면, 상기 카메라 모듈은 상기 하우징 내에 수납되고, 상기 동작 개시 시에 상기 하우징으로부터 팝업되어, 상기 하우징의 일단에서 지정된 방향으로 회전 가능하도록 배치될 수 있다.
이하에서는 전자 장치(101)의 동작 방법에 대해서 상세하게 설명한다. 이하에서 설명하는 전자 장치(101)에서 수행하는 동작들은, 전자 장치(101)의 적어도 하나의 프로세싱 회로(processing circuitry)를 포함하는 프로세서(120)에 의해 실행될 수 있다. 일 실시예에 따라, 전자 장치(101)에서 수행하는 동작들은, 메모리(130)에 저장되고, 실행 시에, 프로세서(120)가 동작하도록 하는 인스트럭션들(instructions)에 의해 실행될 수 있다.
도 10은 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
도 10을 참조하면, 동작 1001에서, 전자 장치(101)의 프로세서(120)는 카메라 모듈(180)의 동작 개시를 감지할 수 있다. 일 실시예에 따르면, 사용자는 전자 장치(101)의 카메라 모듈(180)을 활성화 하기 위한 사용자 입력(예: 전자 장치(101) 조작)을 할 수 있고, 프로세서(120)는 카메라 모듈(180) 활성화를 위한 사용자 입력에 기반하여 카메라 모듈(180)의 동작 개시를 감지할 수 있다.
일 실시예에 따르면, 사용자 입력은, 예를 들면, 전자 장치(101)에 카메라 모듈(180)을 활성화 하는 구비된 버튼(예: 물리적 버튼 및/또는 소프트웨어 버튼) 상의 입력이거나, 카메라 어플리케이션 또는 영상 통화 어플리케이션을 실행하는 어플리케이션 아이콘 상의 입력(예: 터치)을 포함할 수 있다.
일 실시예에 따라, 카메라 모듈(180)의 동작은 카메라 모듈(180)의 전면 카메라가 활성화 되는 트리거(trigger) 동작을 포함할 수 있고, 예를 들면, 셀피 촬영 또는 영상 통화가 수행되는 동작을 포함할 수 있다. 예를 들면, 프로세서(120)는 트리거 동작 감지에 기반하여 전면 카메라를 활성화 하도록 카메라 모듈(180)을 제어할 수 있다.
어떤 실시예에 따르면, 프로세서(120)는 카메라 모듈(180)의 동작 개시를 감지하는 경우, 동작 개시가 카메라 모듈(180)의 전면 카메라의 동작인지, 또는 카메라 모듈(180)의 후면 카메라의 동작인지 여부를 판단하는 동작을 더 포함할 수 있다. 예를 들면, 프로세서(120)는 전면 카메라의 동작 개시인 경우 동작 1003으로 진행하여, 동작 1003 이하의 동작을 진행할 수 있다. 다른 예를 들면, 프로세서(120)는 후면 카메라의 동작 개시인 경우 도 10의 동작을 수행하지 않을 수 있고, 사용자 입력에 따라 후면 카메라를 통해 피사체를 촬영하는 동작을 수행할 수 있다.
동작 1003에서, 프로세서(120)는 디스플레이 모듈(160)의 롤링 상태를 판단할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)(예: 전면 카메라)의 동작 개시 시, 디스플레이 모듈(160)은 오픈 상태(open state)(또는 확장 상태, 개방 상태 또는 펼쳐진 상태)로, 디스플레이 모듈(160)이 롤링(또는 슬라이드 아웃)에 의해 더 이상 확장되지 않는 상태일 수 있다. 어떤 실시예에 따르면, 카메라 모듈(180)(예: 전면 카메라)의 동작 개시 시, 디스플레이 모듈(160)은 클로즈 상태(closed state)(또는 축소 상태, 닫힌 상태)로, 디스플레이 모듈(160)이 롤링(또는 슬라이드 아웃)되지 않은(또는 확장되지 않은) 상태일 수 있다.
일 실시예에 따르면, 슬라이드 아웃은 전자 장치(101)의 디스플레이 모듈(160)이 클로즈 상태에서 오픈 상태로 전환될 때, 디스플레이 모듈(160)이 제3 지정된 방향(예: 사용자가 디스플레이 모듈(160)을 바라보는 시점 기준으로 오른쪽 방향)으로 적어도 일부 이동(또는 롤링)하는 것일 수 있다. 다른 실시예에 따르면, 슬라이드 인은 전자 장치(201)의 디스플레이 모듈(160)이 오픈 상태에서 클로즈 상태로 전환될 때, 디스플레이 모듈(160)이 제4 지정된 방향(예: 사용자가 디스플레이 모듈(160)을 바라보는 시점 기준으로 왼쪽 방향)으로 이동(또는 롤링)하는 것일 수 있다. 예를 들면, 디스플레이 모듈(160)의 제3 지정된 방향과 제4 지정된 방향은 서로 대향되는 방향일 수 있다.
일 실시예에 따르면, 오픈 상태는 클로즈 상태와 비교하여 디스플레이 모듈(160)의 표시 면적이 확장된 상태로서 정의될 수 있다. 일 실시예에 따르면, 프로세서(120)는 카메라 모듈(180)(예: 전면 카메라)의 동작 개시 감지에 기반하여, 디스플레이 모듈(160)의 오픈 상태의 제1 롤링 상태, 또는 클로즈 상태에서 오픈 상태로 롤링되는 제2 롤링 상태를 판단할 수 있다. 예를 들면, 제1 롤링 상태는 디스플레이 모듈(160)이 오픈된 상태에 대응할 수 있고, 제2 롤링 상태는 디스플레이 모듈(160)이 클로스 상태에서 롤링 중 및/또는 롤링되어 오픈 상태로 전환하는 상태에 대응할 수 있다.
동작 1005에서, 프로세서(120)는 디스플레이 모듈(160)의 롤링 상태에 기반하여 카메라 모듈(180)의 회전을 제어할 수 있다. 일 실시예에 따르면, 프로세서(120)는 디스플레이 모듈(160)의 오픈 상태에 대응하여, 디스플레이 모듈(160)의 중심축(예: 도 9의 중심축(620))에 위치하는 피사체(예: 도 9의 피사체(650))가, 카메라 모듈(180)의 중심축(예: 도 9의 중심축(610))에 위치하도록 카메라 모듈(180)을 디스플레이 모듈(160)의 중심축 방향(예: 도 9의 제2 지정된 방향(625))으로 회전하도록 제어할 수 있다.
일 실시예에 따르면, 프로세서(120)는 카메라 모듈(180)의 회전을 구동하기 위한 구동부(예: 모터)에 구동 신호를 발생하여, 카메라 모듈(180)이 지정된 각도(예: 디스플레이 모듈(160)의 이동(또는 롤링) 거리(또는 인출량/인입량)에 비례하는 각도)로 회전하도록 카메라 모듈(180)(예: 카메라 모듈(180)의 하우징)을 제어할 수 있다. 일 실시예에 따르면, 지정된 각도는, 아래 <수학식 1> 및/또는 <수학식 2>의 예시와 같이 디스플레이 모듈(160)의 이동거리(D1)와 카메라 모듈(180)의 초점 거리(D2)(또는 실제 사용자 거리)에 기반하여 정의될 수 있다.
Figure PCTKR2021015387-appb-M000001
Figure PCTKR2021015387-appb-M000002
예를 들면, 카메라 모듈(180)이 회전되어야 하는 지정된 각도는, 카메라 모듈(180)의 초점거리(D2)와 디스플레이 모듈(160)의 이동거리(D2)를 삼각법으로 정의하여, 카메라 모듈(180)의 회전 각도량을 계산할 수 있다. 어떤 실시예에 따르면, 카메라 모듈(180)의 초점거리가 지정된 거리 이상의 피사체의 경우(예: 하늘이나 나무와 같이 피사체와의 초점거리가 긴 경우)에는, 카메라 모듈(180)의 각도 보정은 의미가 없을 수 있으므로, 기존 상태(예: 보정 전 상태 또는 회전 전 상태)를 유지할 수도 있다.
동작 1007에서, 프로세서(120)는 카메라 모듈(180)의 회전에 기반하여 영상을 디스플레이 모듈(160)에 표시할 수 있다. 일 실시예에 따르면, 프로세서(120)는 카메라 모듈(180)의 회전에 기반하여, 카메라 모듈(180)을 통해 획득된 피사체의 영상을 디스플레이 모듈(160)의 중심에 표시하도록 디스플레이 모듈(160)을 제어할 수 있다.
도 11은 다양한 실시예들에 따른 전자 장치의 동작 방법을 도시하는 흐름도이다.
일 실시예에 따라, 도 11에서는 사용자가 셀피 촬영 또는 영상 통화와 같이 카메라 모듈(180)의 전면 카메라를 이용하는 환경에서의 동작 예를 나타낼 수 있다. 예를 들면, 도 11에서는 전자 장치(101)가 디스플레이 모듈(160)을 오픈 상태로 전환하기 위한 롤링(또는 슬라이드 아웃)에 따라 발생하는 사용자의 중심축 변화(예: 카메라 모듈(180)의 중심축에서 디스플레이 모듈(160)의 중심축으로 이동)에 대응하여, 카메라 모듈(180)(예: 전면 카메라)의 각도 보정하는 예를 나타낼 수 있다.
도 11을 참조하면, 동작 1101에서, 전자 장치(101)의 프로세서(120)는 전면 카메라의 동작 개시를 감지할 수 있다. 일 실시예에 따르면, 사용자는 전자 장치(101)의 전면 카메라를 활성화 하기 위한 사용자 입력을 할 수 있고, 프로세서(120)는 전면 카메라 활성화를 위한 사용자 입력에 기반하여 전면 카메라의 동작 개시를 감지할 수 있다. 일 실시예에 따르면, 전면 카메라의 동작은 셀피 촬영 또는 영상 통화가 수행되는 동작을 포함할 수 있다. 예를 들면, 프로세서(120)는 전면 카메라의 동작 감지에 기반하여 전면 카메라를 활성화 하도록 카메라 모듈(180)을 제어할 수 있다.
동작 1103에서, 프로세서(120)는 디스플레이 모듈(160)의 상태를 판단할 수 있다. 일 실시예에 따르면, 전면 카메라의 동작 개시 시, 디스플레이 모듈(160)은 오픈 상태에 있거나, 또는 클로즈 상태에 있을 수 있다. 일 실시예에 따라, 오픈 상태는 디스플레이 모듈(160)이 롤링(또는 슬라이드 아웃)에 의해 더 이상 확장되지 않는 상태(예: 펼쳐진 상태)일 수 있다. 일 실시예에 따라, 클로즈 상태는 디스플레이 모듈(160)이 롤링(또는 슬라이드 아웃)되지 않은(또는 확장되지 않은) 상태일 수 있다.
동작 1105에서, 프로세서(120)는 디스플레이 모듈(160)의 상태를 판단하는 결과에 기반하여 디스플레이 모듈(160)이 클로즈 상태에 있는지, 또는 오픈 상태에 있는지 여부를 판단할 수 있다.
동작 1105에서, 프로세서(120)는 디스플레이 모듈(160)이 클로즈 상태인 경우(예: 동작 1105의 ‘예’), 동작 1107에서, 제1 지정된 방향으로 전면 카메라를 동작할 수 있다. 일 실시예에 따르면, 프로세서(120)는 디스플레이 모듈(160)의 클로즈 상태에서는, 도 5의 <501> 예시와 같이, 전면 카메라가 제1 지정된 방향(예: 회전 전 기본 방향)을 향하고 있는 상태를 유지할 수 있다.
동작 1109에서, 프로세서(120)는 디스플레이 모듈(160)의 롤링 개시를 감지할 수 있다. 일 실시예에 따르면, 프로세서(120)는 디스플레이 모듈(160)이 클로즈 상태에서 오픈 상태로 롤링(예: 슬라이드 아웃)되는 동작을 감지할 수 있다.
동작 1111에서, 프로세서(120)는 디스플레이 모듈(160)의 롤링 상태(또는 인출량)(예: 이동거리)를 모니터링 할 수 있다. 일 실시예에 따르면, 프로세서(120)는 디스플레이 모듈(160)이 롤링되는 거리(또는 인출량)에 기반하여 전면 카메라의 회전 각도를 계산할 수 있다.
동작 1113에서, 프로세서(120)는 디스플레이 모듈(160)의 롤링 상태에 기반하여 전면 카메라를 제2 지정된 방향으로 회전하도록 제어할 수 있다. 일 실시예에 따르면, 프로세서(120)는 디스플레이 모듈(160)의 오픈 상태에 대응하여, 디스플레이 모듈(160)의 중심축(예: 도 9의 중심축(620))에 위치하는 피사체(예: 도 9의 피사체(650))가 카메라 모듈(180)의 중심축(예: 도 9의 중심축(610))에 위치하도록 전면 카메라를 디스플레이 모듈(160)의 중심축 방향(예: 도 9의 제2 지정된 방향(625))으로 회전하도록 제어할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전면 카메라가 지정된 각도(예: 디스플레이 모듈(160)의 이동(또는 롤링) 거리(또는 인출량)에 비례하는 각도)로 회전하여 제2 지정된 방향을 향하도록 할 수 있다.
동작 1115에서, 프로세서(120)는 디스플레이 모듈(160)을 통해 전면 카메라의 영상을 표시할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전면 카메라의 회전에 기반하여, 전면 카메라를 통해 획득된 피사체의 영상을 디스플레이 모듈(160)의 중심에 표시하도록 디스플레이 모듈(160)을 제어할 수 있다.
동작 1105에서, 프로세서(120)는 디스플레이 모듈(160)이 오픈 상태인 경우(예: 동작 1105의 ‘아니오’), 동작 1117에서, 피사체를 추적할 수 있다. 일 실시예에 따르면, 프로세서(120)는 전면 카메라를 통해 획득되는 영상으로부터 피사체(예: 사용자)가 검출되는지 여부를 식별할 수 있다.
동작 1119에서, 프로세서(120)는 피사체의 위치에 기반하여 전면 카메라의 회전 여부를 결정할 수 있다. 일 실시예에 따르면, 프로세서(120)는 피사체의 추적에 기반하여, 피사체의 위치가 전면 카메라의 정면에 위치(또는 디스플레이 모듈(160)의 중심에 위치)하는 것을 판단하는 경우, 전면 카메라가 제1 지정된 방향으로 동작하도록 전면 카메라의 비회전을 결정할 수 있다. 다른 실시예에 따르면, 프로세서(120)는 피사체의 추적에 기반하여, 피사체의 위치가 전면 카메라의 정면에 위치하지 않는(또는 디스플레이 모듈(160)에서 편심되어 위치하는) 것을 판단하는 경우, 전면 카메라가 제2 지정된 방향으로 동작하도록 전면 카메라의 회전을 결정할 수 있다.
동작 1121에서, 프로세서(120)는 회전 여부 결정에 기반하여 전면 카메라를 제1 지정된 방향 또는 제2 지정된 방향에서 동작하도록 제어할 수 있다. 예를 들면, 프로세서(120)는 전면 카메라의 회전 결정 시, 전면 카메라를 제1 지정된 방향에서 제2 지정된 방향을 향하도록 회전할 수 있다.
동작 1115에서, 프로세서(120)는 전면 카메라의 영상을 표시할 수 있다. 일 실시예에 따르면, 프로세서는 전면 카메라의 고정 또는 회전에 기반하여, 전면 카메라를 통해 획득된 피사체의 영상을 디스플레이 모듈(160)의 중심에 표시하도록 디스플레이 모듈(160)을 제어할 수 있다.
도 12는 다양한 실시예들에 따른 전자 장치에서 카메라 모듈을 동작하는 다른 예를 도시하는 도면이다.
일 실시예에 따라, 도 12는 전자 장치(101)에서 듀얼 카메라(예: 제1 카메라 모듈(1230), 제2 카메라 모듈(1240))를 운영하는 예를 나타낼 수 있다. 예를 들면, 도 12에서는 전자 장치(101)가 롤링(또는 슬라이드) 방식으로 디스플레이 모듈(160)의 표시 면적을 확장시킬 수 있는 롤러블 전자 장치이고, 2개의 하우징(예: 제1 하우징(1210), 제2 하우징(1220))에 각각 카메라 모듈(1230, 1240)이 장착되는 구조로 구현될 수 있다. 일 실시예에 따르면, 사용자는 제1 카메라 모듈(1210)과 제2 카메라 모듈(1220)을 이용하여 입체 촬영(예: 3차원 촬영)을 할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 제1 하우징(1210), 제2 하우징(1220), 제1 하우징(1210)과 제2 하우징(1220) 중 적어도 일부에 수납되도록 배치되는 디스플레이 모듈(160), 제1 하우징(1210) 상단에 분리 설계되는 제1 카메라 모듈(1230), 및 제2 하우징(1220) 상단에 분리 설계되는 제2 카메라 모듈(1240)을 포함할 수 있다. 도면에 도시되지는 않았으나 전자 장치(101)는 제1 하우징(1210) 및/또는 제2 하우징(1220) 내에 도 1의 전자 장치(101)의 구성 요소 중 적어도 일부를 포함할 수 있다.
일 실시예에서, <1201> 예시는, 디스플레이 모듈(160)의 표시 면적이 확장된 상태(예: 오픈 상태)의 전자 장치(101)를 나타낼 수 있다. 일 실시예에서, <1202> 예시는, 디스플레이 모듈(160)의 표시 면적이 확장되지 않은 상태(예: 클로즈 상태)의 전자 장치(101)를 도시하고 있다.
일 실시예에 따르면, 전자 장치(101)는 클로즈 상태에서 오픈 상태로 전환(예: 슬라이드 아웃)될 때, 제1 하우징(1210) 및 제2 하우징(1220) 중 적어도 하나가 제1 방향(예: 디스플레이 모듈(160)의 중심축 방향)으로 일부 이동할 수 있다. 다른 실시예에 따르면, 전자 장치(101)는 오픈 상태에서 클로즈 상태로 전환(예: 슬라이드 인)될 때, 제1 하우징(1210) 및 제2 하우징(1220) 중 적어도 하나가 제1 방향과 대향되는 제2 방향으로 이동할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 제1 하우징(1210) 및/또는 제2 하우징(1220)으로부터 디스플레이 모듈(160)의 이동 거리(또는 이동 위치)에 따라, 디스플레이 모듈(160)의 다양한 표시 면적을 제공할 수 있다. 예를 들면, 사용자는 롤러블 특성을 이용하여 사용 환경에 따라 전자 장치(101)의 디스플레이 모듈(160)의 표시 면적(예: 표시 영역, 활성화 영역)을 조절할 수 있다. 예를 들면, 디스플레이 모듈(160)은 플렉서블 디스플레이로서, 시각적 정보를 출력하는 표시 영역(또는 액티브 영역)을 포함할 수 있다. 디스플레이 모듈(160)은 디스플레이 모듈(160)의 변형(예: 롤링 상태)에 따라 표시 영역이 가변될 수 있다.
일 실시예에 따르면, 전자 장치(101)는 디스플레이 모듈(160)과 관련된 슬라이딩 구조를 포함할 수 있다. 예를 들어, 전자 장치(101)는 디스플레이 모듈(160)이 제1 하우징(1210) 및 제2 하우징(1220) 중 적어도 하나로부터 롤링(또는 슬라이딩) 운동이 가능하도록 구현될 수 있다
일 실시예에 따르면, 전자 장치(101)는 외력에 의해 디스플레이 모듈(160)이 설정된 거리로 이동되면, 슬라이딩 구조에 포함된 탄력 구조로 인해, 더 이상의 외력 없이도 클로즈 상태에서 오픈 상태로, 또는 오픈 상태에서 클로즈 상태로 전환(예: 반자동 슬라이드 동작)될 수 있다. 일 실시예에 따르면, 도시하진 않았으나, 전자 장치(101)에서 디스플레이 모듈(160)이 일부만 확장된 상태 즉, 상기 클로즈 상태와 상기 오픈 상태의 중간인 중간 상태가 더 존재할 수 있다. 예를 들면, 중간 상태는, 프리 스탑(free stop) 상태를 포함할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 슬라이딩 구조에 포함된 탄력 구조로 인해, 클로즈 상태에서 중간 상태의 제1 이동이 수행되고, 추가적인 입력(또는 외력)에 의해 중간 상태에서 오픈 상태로의 제2 이동이 수행될 수 있다.
어떤 실시예에 따르면, 전자 장치(101)는 입력 장치를 통해 신호가 발생되면, 디스플레이 모듈(160)과 연결된 구동 장치(예: 모터)를 통해 클로즈 상태에서 오픈 상태로, 또는 오픈 상태에서 클로즈 상태로 전환할 수 있는 회전력을 제공할 수 있다. 예를 들면, 하드웨어 버튼 또는 화면을 통해 제공되는 소프트웨어 버튼을 통해 신호가 발생되면, 전자 장치(101)는 클로즈 상태에서 오픈 상태로, 또는 오픈 상태에서 클로즈 상태로 전환할 수 있다.
일 실시예에 따르면, 디스플레이 모듈(160)은 벤더블 구간을 포함할 수 있다. 예를 들면, 전자 장치(101)가 클로즈 상태에서 오픈 상태로 전환될 때, 벤더블 구간은 미끄러지듯 전자 장치(101)의 제1 하우징(1210) 및/또는 제2 하우징(1220)의 내부 공간으로부터 인출되고, 이로 인해 디스플레이 모듈(160)의 표시 면적이 확장될 수 있다. 다른 예를 들면, 전자 장치(101)가 오픈 상태에서 클로즈 상태로 전환될 때, 벤더블 구간의 적어도 일부는 미끄러지듯 전자 장치(101)의 제1 하우징(1210) 및/또는 제2 하우징(1220)의 내부 공간으로 인입되고, 이로 인해 디스플레이 모듈(160)의 표시 면적이 축소될 수 있다.
일 실시예에 따르면, 제1 하우징(1210) 및 제2 하우징(1220)은 서로에 대해 서로 결합될 수 있는 결합 구조로 구현될 수 있으나 이에 한정하는 것은 아니다. 예를 들어, 전자 장치(101)는 제1 하우징(1210) 및 제2 하우징(1220)이 결합된 상태에서 디스플레이 모듈(160)의 일부가 노출된 것으로 도시되어 있으나, 전자 장치(101)는 디스플레이 모듈(160)이 제1 하우징(1210) 및 제2 하우징(1220) 내에 완전히 수납되어 노출되지 않은 형태로 구현될 수도 있다.
일 실시예에 따르면, 전자 장치(101)는 도 12와 같이 양방향으로 롤링되는 구조로 설명하나, 제1 하우징(1210) 또는 제2 하우징(1220) 중 하나에 디스플레이 모듈(160)이 롤링되어 수납되는 단방향 롤러블 전자 장치로 구현될 수도 있다. 예를 들어, 전자 장치(101)는 디스플레이 모듈(160)이 제1 하우징(1210)에 롤링되어 수납되거나, 제2 하우징(1220)에 롤링되어 수납되는 형태로 구현될 수 있다.
어떤 실시예에 따르면, 도 12에서의 제1 하우징(1210) 및 제2 하우징(1220)이 원통 형상을 갖는 것을 예를 들어 도시하였으나, 이에 한정하는 것은 아니며, 제1 하우징(1210) 및 제2 하우징(1220)은 디스플레이 모듈(160)을 롤링하여 수납 가능한 다양한 형태로 구현될 수 있다.
일 실시예에 따르면, 제1 카메라 모듈(1230)은 제1 하우징(1210) 상단에 회전 가능하도록 부착(또는 장착)될 수 있다. 일 실시예에 따르면, 제2 카메라 모듈(1240)은 제2 하우징(1220) 상단에 회전 가능하도록 부착(또는 장착)될 수 있다. 일 실시예에 따르면, 제1 카메라 모듈(1230)과 제2 카메라 모듈(1240)은 디스플레이 모듈(160)의 클로즈 상태에서 제1 지정된 방향을 향하여 동작할 수 있다.
일 실시예에 따르면, 제1 카메라 모듈(1230)과 제2 카메라 모듈(1240)은 디스플레이 모듈(160)의 오픈 상태에서 제1 지정된 방향에서 제2 지정된 방향을 향하도록 각각 회전하여 동작할 수 있다. 일 실시예에 따라, 제1 카메라 모듈(1230)의 제2 지정된 방향과 제2 카메라 모듈(1240)의 제2 지정된 방향으로 서로 대칭(예: 좌우 대칭)되는 방향을 형성하도록 구현될 수 있다. 예를 들면, 제1 카메라 모듈(1230)의 회전과 제2 카메라 모듈(1240)의 회전은 디스플레이 모듈(160)의 롤링 상태에 비례하여 실질적으로 동일한 각도로 서로 반대 방향으로 회전될 수 있다.
도 13 및 도 14는 다양한 실시예들에 따른 전자 장치에서 카메라 모듈을 제어하기 위한 구조의 일 예를 도시하는 도면들이다.
일 실시예에서, 도 13 및 도 14는 전자 장치(101)의 디스플레이 모듈(160)을 지정된 인출 방향으로 롤링(또는 슬라이드 아웃)하는 외력에 따라 카메라 모듈(180)의 각도를 움직이도록(예: 회전하도록) 하는 다양한 예를 나타낼 수 있다. 예를 들면, 도 13 및 도 14는 카메라 모듈(180)(예: 전면 카메라(1330, 1430))의 내부 지지 부재(1320, 1420)(또는 원통부 또는 중심축)의 회전에 따라 카메라 모듈(180)(예: 전면 카메라(1330, 1430))이 회전되는 예시를 나타낼 수 있다.
일 실시예에 따르면, 도 13은 디스플레이 모듈(160)이 지정된 인출 방향(1301)으로 하우징(1310)으로부터 롤링(또는 슬라이드 아웃)되는 경우, 프로세서(120)에 의해 카메라 모듈(180)의 회전을 제어하는 예를 나타낼 수 있다. 일 실시예에 따르면, 프로세서(120)는 디스플레이 모듈(160)의 이동 거리(또는 이동량)를 판단할 수 있다.
일 실시예에 따르면, 프로세서(120)는 판단된 이동 거리에 기반하여, 카메라 모듈(180)을 지지(또는 고정)하는 지지 부재(1320)(또는 원통부)에 설계된 모터(또는 구동부)(미도시)를 구동하여, 카메라 모듈(180)의 지지 부재(1320)를 회전하도록 할 수다. 예를 들면, 지지 부재(1320)는 내부 중심축을 기준으로 제1 방향(1303)으로 회전할 수 있고, 지지 부재(1320)의 회전에 대응하여(또는 반작용하여) 전면 카메라(1330)가 제1 방향에 대향하는 제2 방향(1305)으로 회전할 수 있다. 예를 들면, 카메라 모듈(180)은 전자 장치(101)의 프로세서(120)에 의해 소프트웨어적(예: 모터 구동 신호 발생)으로 회전 제어될 수 있다.
일 실시예에 따르면, 도 14는 디스플레이 모듈(160)이 지정된 인출 방향(1401)으로 하우징(1410)으로부터 롤링(또는 슬라이드 아웃)되는 경우, 디스플레이 모듈(160)의 롤링에 따라 발생하는 회전(또는 회전력)을 이용하여 카메라 모듈(180)을 기구적으로(예: 연동 기어 구조) 회전하는 예를 나타낼 수 있다.
일 실시예에 따르면, 카메라 모듈(180)의 지지 부재(1420)는 디스플레이 모듈(160)이 롤링되는 과정에서 회전 운동(예: 제1 회전 방향(1403)으로 회전)이 발생할 수 있다. 예를 들면, 지지 부재(1420)는 디스플레이 모듈(160)이 펼쳐지는 량(예: 이동량)에 따라 x(예: x는 1 이상) 바퀴당 y(예: y는 1 이상) 번의 지정된 방향(1403)으로 회전(또는 이동)(예: 1 번의 이동 시 기어(또는 톱니)의 크기에 의해 정의된 각도를 디스플레이 모듈(160)의 회전축이 회전하도록 정의)할 수 있다. 이를 통해, 디스플레이 모듈(160)의 오픈에 따른 인출량 증가에 따라 카메라 모듈(180)(예: 전면 카메라(1430))을 지정된 방향(1405)으로 일정 각도 회전(예: 제1 회전 방향(1403)에 반대 방향의 제2 회전 방향(1405)으로 회전)할 수 있다.
어떤 실시예에 따르면, 지지 부재(1420)는 중심축의 회전 량에 따라 지지 부재(1420)에 형성되는 가이드(1425)(또는 롤링 가이드)의 수를 2개 이상의 다수 개로 설계하여 보다 세밀하게 전면 카메라(1430)의 각도를 조정하도록 할 수도 있다. 도 14의 예시에서는 가이드(1425)가 3개로 형성된 구조의 예시를 나타낼 수 있다. 예를 들면, 지지 부재(1420)는 카메라 모듈(180)을 지지하면서, 하나 또는 그 이상의 가이드(1425)를 포함할 수 있고, 디스플레이 모듈(160)의 롤링(또는 움직임)에 따라 연동되는 기어 구조를 포함하여 구현될 수 있다. 예를 들면, 카메라 모듈(180)은 디스플레이 모듈(160)과 기구적인 결합 구조에 의한 상호작용으로 회전 제어될 수 있다.
도 15 및 도 16은 다양한 실시예들에 따른 전자 장치에서 카메라 모듈을 제어하기 위한 구조의 일 예를 도시하는 도면들이다.
일 실시예에서, 도 15 및 도 16은 전자 장치(101)의 디스플레이 모듈(160)을 지정된 인출 방향(1501)으로 롤링(또는 슬라이드 아웃)하는 외력에 따라 카메라 모듈(180)의 각도를 움직이도록(예: 회전하도록) 하는 다른 예를 나타낼 수 있다. 예를 들면, 도 15 및 도 16은 카메라 모듈(180)을 내부에 포함하는 회전 부재(1600)가, 디스플레이 모듈(160)의 롤링(예: 인출량/인입량)에 따라 지정된 회전 범위로 회전되고, 회전 부재(1600)의 회전에 기반하여 카메라 모듈(180)이 회전되는 예시를 나타낼 수 있다.
일 실시예에 따르면, 전자 장치(101)는 디스플레이 모듈(160) 및 카메라 모듈(180)을 하우징(600) 내에 포함할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하우징(600) 내 일단(예: 상단 및/또는 하단)에 회전 가능하게 설치되는 회전 부재(1600)에 고정 장착될 수 있고, 회전 부재(1600)의 회전(예: 회전 방향(1503)으로 회전)에 대응하여 회전(예: 회전 방향(1503)에 대응하는 회전 방향으로 회전)될 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 하우징(600)에 슬라이딩 가능하게 설치되는 슬라이드 플레이트에 의해 지지될 수 있고, 탄성력(또는 텐션)으로 디스플레이 모듈(160)(예: 슬라이드 플레이트)의 이동(예: 슬라이드 인 또는 슬라이드 아웃)을 안내하는 탄성 부재(1500)와 기구적으로 연결될 수 있다.
일 실시예에 따라, 탄성 부재(1500)는 디스플레이 모듈(160)이 지정된 인출 방향(1501)으로 롤링(또는 슬라이드 아웃)하는 외력에 의해 변형(예: 확장)될 수 있고, 디스플레이 모듈(160)이 지정된 인출 방향(1501)의 반대 방향으로 롤링(또는 슬라이드 인)하는 외력 제거에 의해 원래의 상태로 돌아갈 수 있다. 예를 들면, 탄성 부재(1500)는 탄성을 가지는 물체(예: 탄성체(elastic body))로 구현될 수 있고, 예를 들면, 고무줄 또는 용수철을 포함할 수 있다. 일 실시예에 따라, 탄성 부재(1500)는 적어도 2개의 고정 부재(예: 제1 고정 부재(1510), 제2 고정 부재(1520), 제3 고정 부재(1530))에 의해 일단이 카메라 모듈(180)의 회전 부재(1600)에 고정 연결되고, 타단이 디스플레이 모듈(160)에 고정 연결될 수 있다. 예를 들면, 탄성 부재(1500)는 일단이 제1 고정 부재(1510)에 의해 회전 부재(1600)의 일 부분(예: 외곽 에지 부분)에 고정되고, 타단이 제3 고정 부재(1530)에 의해 디스플레이 모듈(160)의 일 부분(예: 외부로 노출되는 최외곽에 근접한 위치)에 고정될 수 있다. 어떤 실시예에 따르면, 전자 장치(101)는 디스플레이 모듈(160)의 롤링에 대응하여 탄성 부재(1500)가 가이드(예: 롤링)되도록 디스플레이 모듈(1600)의 적어도 일 부분에 탄성 부재(1500)를 고정하기 위한 적어도 하나의 제2 고정 부재(1520)를 포함할 수도 있다.
일 실시예에 따라, 회전 부재(1600)는 탄성 부재(1500)의 탄성력에 기반하여 지정된 방향(1503)으로 회전될 수 있다. 예를 들면, 회전 부재(1600)는 디스플레이 모듈(160)이 지정된 인출 방향(1501)으로 롤링(또는 슬라이드 아웃)에 따라 변형되는 탄성 부재(1500)의 외력(예: 당기는 힘)에 따라 지정된 방향(1503)으로 회전될 수 있다. 다른 예를 들면, 회전 부재(1600)는 디스플레이 모듈(160)이 지정된 인출 방향의 반대 방향으로 롤링(또는 슬라이드 인)에 따라 변형되는 탄성 부재(1500)의 외력 제거(예: 당기는 힘 제거)에 따라 원래의 상태로 돌아(예: 지정된 방향(1503)의 회전에 반대되는 회전에 의해 원 위치로 복귀)갈 수 있다.
일 실시예에 따라, 하우징(600)은 내측에 회전 부재(1600)의 회전 범위가 지정된 범위 이상으로 회전되지 않도록 가이드(또는 방지)하기 위한 가이드(예: 제1 가이드(1610), 제2 가이드(1620))를 포함할 수 있다. 일 실시예에 따라, 도 15에 예시된 바와 같이, 제1 가이드(1610)는 회전 부재(1600)가 지정된 방향(1503)으로 회전된 후 복귀될 때, 회전 부재(1600)의 회전 범위를 제한하도록 구현될 수 있다. 일 실시예에 따라, 도 16에 예시된 바와 같이, 제2 가이드(1620)는 회전 부재(1600)가 지정된 방향(1503)으로 회전될 때, 회전 부재(1600)의 회전 범위를 제한하도록 구현될 수 있다. 예를 들면, 도 15 및 도 16에 도시된 바와 같이, 제1 가이드(1610)와 제2 가이드(1620)는 수평 선상(또는 일직선 상)으로 서로 마주하지 않고 어긋나게 설계될 수 있다.
본 개시의 실시예에 따른 전자 장치(101)에서 수행하는 동작 방법은, 카메라 모듈(예: 도 1 또는 도 3의 카메라 모듈(180))의 전면 카메라의 동작 개시를 감지하는 동작, 상기 동작 개시에 기반하여 상기 전자 장치(101)의 플렉서블 디스플레이(예: 도 1 또는 도 2의 디스플레이 모듈(160))의 롤링 상태를 식별하는 동작, 상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈을 지정된 방향으로 회전하는 동작, 및 상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈을 통해 상기 지정된 방향으로부터 획득되는 영상을 상기 플렉서블 디스플레이의 중심에 표시하는 동작을 포함할 수 있다.
본 개시의 실시예에 따르면, 상기 회전하는 동작은, 상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈의 회전 각도를 식별하는 동작, 상기 카메라 모듈의 회전 각도에 기반하여 상기 카메라 모듈을 지정된 방향으로 회전하는 동작을 포함할 수 있다.
본 개시의 실시예에 따르면, 상기 식별하는 동작은, 상기 전면 카메라의 동작 개시 시 상기 플렉서블 디스플레이의 오픈 상태(open state) 또는 클로즈 상태(close state)를 판단하는 동작, 상기 플렉서블 디스플레이가 클로즈 상태인 경우, 상기 전면 카메라가 제1 지정된 방향으로 동작하도록 제어하는 동작, 상기 플렉서블 디스플레이가 오픈 상태인 경우, 상기 전면 카메라가 제2 지정된 방향으로 동작하도록 제어하는 동작을 포함할 수 있다.
본 개시의 실시예에 따르면, 상기 회전하는 동작은, 상기 플렉서블 디스플레이의 롤링 상태에 대응하는 회전 각도를 판단하는 동작, 상기 회전 각도에 기반하여 상기 전면 카메라를 상기 제2 지정된 방향으로 회전하는 동작을 포함하고, 상기 회전 각도는, 상기 플렉서블 디스플레이의 이동 거리와 상기 전면 카메라의 초점 거리에 적어도 기반하여 결정할 수 있다.
본 개시의 실시예에 따르면, 상기 플렉서블 디스플레이가 오픈 상태인 경우, 상기 전면 카메라를 통해 획득되는 영상으로부터 피사체를 추적하는 동작, 상기 피사체의 추적에 따른 상기 피사체의 위치에 기반하여 상기 전면 카메라의 회전 여부를 결정하는 동작, 상기 피사체의 위치가 상기 전면 카메라의 정면에 위치하는 것을 판단하는 경우, 상기 전면 카메라가 제1 지정된 방향으로 동작하도록 상기 전면 카메라의 비회전을 결정하는 동작, 상기 피사체의 위치가 상기 전면 카메라의 정면에 위치하지 않는 것을 판단하는 경우, 상기 전면 카메라가 제2 지정된 방향으로 동작하도록 상기 전면 카메라의 회전을 결정하는 동작을 포함할 수 있다.
본 명세서와 도면에 개시된 본 개시의 다양한 실시예들은 본 개시의 기술 내용을 쉽게 설명하고 본 개시의 이해를 돕기 위해 특정 예를 제시한 것일 뿐이며, 본 개시의 범위를 한정하고자 하는 것은 아니다. 따라서 본 개시의 범위는 여기에 개시된 실시예들 이외에도 본 개시의 기술적 사상을 바탕으로 도출되는 모든 변경 또는 변형된 형태가 본 개시의 범위에 포함되는 것으로 해석되어야 한다.

Claims (15)

  1. 전자 장치에 있어서,
    플렉서블 디스플레이;
    적어도 하나의 카메라 모듈; 및
    상기 플렉서블 디스플레이 및 상기 카메라 모듈과 작동적으로 연결된 프로세서를 포함하고, 상기 프로세서는,
    상기 카메라 모듈의 전면 카메라의 동작 개시를 감지하고,
    상기 동작 개시에 기반하여 상기 플렉서블 디스플레이의 롤링 상태를 식별하고,
    상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈을 지정된 방향으로 회전하고, 및
    상기 플렉서블 디스플레이의 롤링 상태에 기반하여, 상기 카메라 모듈을 통해 상기 지정된 방향으로부터 획득되는 영상을 상기 플렉서블 디스플레이의 중심에 표시하도록 설정된 전자 장치.
  2. 제1항에 있어서, 상기 프로세서는,
    상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈의 회전 각도를 식별하고,
    상기 카메라 모듈의 회전 각도에 기반하여 상기 카메라 모듈을 지정된 방향으로 회전하도록 설정된 전자 장치.
  3. 제1항에 있어서, 상기 프로세서는,
    상기 전면 카메라의 동작 개시 시 상기 플렉서블 디스플레이의 오픈 상태(open state) 또는 클로즈 상태(close state)를 판단하고,
    상기 플렉서블 디스플레이가 클로즈 상태인 경우, 상기 전면 카메라가 제1 지정된 방향으로 동작하도록 제어하고,
    상기 플렉서블 디스플레이가 오픈 상태인 경우, 상기 전면 카메라가 제2 지정된 방향으로 동작하도록 제어하도록 설정된 전자 장치.
  4. 제3항에 있어서, 상기 프로세서는,
    상기 플렉서블 디스플레이가 클로즈 상태에서 오픈 상태로 전환되는 것에 기반하여, 상기 플렉서블 디스플레이의 롤링 상태를 모니터링 하고,
    상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 전면 카메라를 제2 지정된 방향으로 회전하도록 설정된 전자 장치.
  5. 제4항에 있어서, 상기 프로세서는,
    상기 플렉서블 디스플레이의 롤링 상태에 대응하는 회전 각도를 판단하고,
    상기 회전 각도에 기반하여 상기 전면 카메라를 상기 제2 지정된 방향으로 회전하도록 설정되고,
    상기 회전 각도는, 상기 플렉서블 디스플레이의 이동 거리와 상기 전면 카메라의 초점 거리에 적어도 기반하여 결정하는 전자 장치.
  6. 제4항에 있어서, 상기 프로세서는,
    상기 플렉서블 디스플레이의 오픈 상태에 대응하여, 상기 플렉서블 디스플레이의 중심축에 위치하는 피사체가 상기 전면 카메라의 중심축에 위치하도록 상기 전면 카메라를 상기 플렉서블 디스플레이의 중심축 방향으로 회전하도록 설정된 전자 장치.
  7. 제6항에 있어서, 상기 프로세서는,
    상기 전면 카메라가 상기 플렉서블 디스플레이의 이동 거리에 비례하는 각도로 회전하여 상기 제2 지정된 방향을 향하게 제어하도록 설정된 전자 장치.
  8. 제4항에 있어서, 상기 프로세서는,
    상기 전면 카메라의 회전에 기반하여, 상기 전면 카메라를 통해 획득된 피사체의 영상을 상기 플렉서블 디스플레이의 중심에 표시하도록 상기 플렉서블 디스플레이를 제어하도록 설정된 전자 장치.
  9. 제3항에 있어서, 상기 프로세서는,
    상기 플렉서블 디스플레이가 오픈 상태인 경우, 상기 전면 카메라를 통해 획득되는 영상으로부터 피사체를 추적하고,
    상기 피사체의 추적에 따른 상기 피사체의 위치에 기반하여 상기 전면 카메라의 회전 여부를 결정하도록 설정된 전자 장치.
  10. 제9항에 있어서, 상기 프로세서는,
    상기 피사체의 위치가 상기 전면 카메라의 정면에 위치하는 것을 판단하는 경우, 상기 전면 카메라가 제1 지정된 방향으로 동작하도록 상기 전면 카메라의 비회전을 결정하고,
    상기 피사체의 위치가 상기 전면 카메라의 정면에 위치하지 않는 것을 판단하는 경우, 상기 전면 카메라가 제2 지정된 방향으로 동작하도록 상기 전면 카메라의 회전을 결정하도록 설정된 전자 장치.
  11. 제2항에 있어서, 상기 프로세서는,
    상기 전면 카메라를 이용한 셀피 촬영 또는 영상 통화 시, 상기 플렉서블 디스플레이의 롤링 상태에 비례하여 상기 전면 카메라의 각도를 회전하도록 설정된 전자 장치.
  12. 제2항에 있어서, 상기 전자 장치는,
    상기 플렉서블 디스플레이를 수납 가능한 하우징을 포함하고,
    상기 카메라 모듈은 상기 하우징의 일단에서 지정된 방향으로 회전 가능하도록 배치되는 전자 장치.
  13. 제2항에 있어서,
    상기 카메라 모듈은 상기 하우징 내에 수납되고, 상기 동작 개시 시에 상기 하우징으로부터 팝업되어, 상기 하우징의 일단에서 지정된 방향으로 회전 가능하도록 배치되는 전자 장치.
  14. 제2항에 있어서, 상기 카메라 모듈은,
    상기 프로세서에 의해 회전 제어되거나,
    상기 플렉서블 디스플레이와 기구적인 결합 구조에 의한 상호작용으로 회전 제어되는 전자 장치.
  15. 전자 장치의 동작 방법에 있어서,
    카메라 모듈의 전면 카메라의 동작 개시를 감지하는 동작;
    상기 동작 개시에 기반하여 상기 전자 장치의 플렉서블 디스플레이의 롤링 상태를 식별하는 동작;
    상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈을 지정된 방향으로 회전하는 동작; 및
    상기 플렉서블 디스플레이의 롤링 상태에 기반하여 상기 카메라 모듈을 통해 상기 지정된 방향으로부터 획득되는 영상을 상기 플렉서블 디스플레이의 중심에 표시하는 동작을 포함하는 방법.
PCT/KR2021/015387 2020-11-06 2021-10-29 플렉서블 디스플레이를 갖는 전자 장치 및 그의 카메라 모듈 제어 방법 WO2022098001A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US18/144,007 US20230276130A1 (en) 2020-11-06 2023-05-05 Electronic device having flexible display, and camera module control method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020200147374A KR20220061418A (ko) 2020-11-06 2020-11-06 플렉서블 디스플레이를 갖는 전자 장치 및 그의 카메라 모듈 제어 방법
KR10-2020-0147374 2020-11-06

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/144,007 Continuation US20230276130A1 (en) 2020-11-06 2023-05-05 Electronic device having flexible display, and camera module control method therefor

Publications (1)

Publication Number Publication Date
WO2022098001A1 true WO2022098001A1 (ko) 2022-05-12

Family

ID=81458025

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/015387 WO2022098001A1 (ko) 2020-11-06 2021-10-29 플렉서블 디스플레이를 갖는 전자 장치 및 그의 카메라 모듈 제어 방법

Country Status (3)

Country Link
US (1) US20230276130A1 (ko)
KR (1) KR20220061418A (ko)
WO (1) WO2022098001A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7917935B2 (en) * 2004-10-01 2011-03-29 Logitech Europe S.A. Mechanical pan, tilt and zoom in a webcam
KR20170073958A (ko) * 2015-12-21 2017-06-29 엘지디스플레이 주식회사 롤러블 디스플레이 장치 및 이의 검사 장치
KR20190119719A (ko) * 2018-04-13 2019-10-23 삼성전자주식회사 플렉시블 디스플레이를 포함하는 전자 장치
KR102104588B1 (ko) * 2012-07-11 2020-04-24 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 동작 방법
KR20200121151A (ko) * 2019-04-15 2020-10-23 삼성전자주식회사 슬라이딩 모듈을 포함하는 폴더블 전자 장치 및 제어 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7917935B2 (en) * 2004-10-01 2011-03-29 Logitech Europe S.A. Mechanical pan, tilt and zoom in a webcam
KR102104588B1 (ko) * 2012-07-11 2020-04-24 삼성전자주식회사 플렉서블 디스플레이 장치 및 그 동작 방법
KR20170073958A (ko) * 2015-12-21 2017-06-29 엘지디스플레이 주식회사 롤러블 디스플레이 장치 및 이의 검사 장치
KR20190119719A (ko) * 2018-04-13 2019-10-23 삼성전자주식회사 플렉시블 디스플레이를 포함하는 전자 장치
KR20200121151A (ko) * 2019-04-15 2020-10-23 삼성전자주식회사 슬라이딩 모듈을 포함하는 폴더블 전자 장치 및 제어 방법

Also Published As

Publication number Publication date
KR20220061418A (ko) 2022-05-13
US20230276130A1 (en) 2023-08-31

Similar Documents

Publication Publication Date Title
WO2022039424A1 (ko) 흔들림을 보정하는 방법 및 그 전자 장치
WO2022092706A1 (ko) 복수의 카메라를 이용한 사진 촬영 방법 및 그 장치
WO2022030838A1 (ko) 프리뷰 이미지를 제어하는 전자 장치 및 방법
WO2022203285A1 (ko) 이미지 안정화 어셈블리를 포함하는 카메라 모듈 및 상기 카메라 모듈을 포함하는 전자 장치
WO2022235043A1 (ko) 복수의 카메라를 포함하는 전자 장치 및 그 동작 방법
WO2022220444A1 (ko) 카메라 촬영 시 스캔하는 방법 및 그 전자 장치
WO2022149954A1 (ko) 플렉서블 디스플레이를 갖는 전자 장치 및 그의 모드 변경에 따른 제어 패널 제공 방법
WO2022035267A1 (ko) 카메라 모듈을 포함하는 전자 장치
WO2022097930A1 (ko) 전자 장치 및 이의 디스플레이 방법
WO2022114548A1 (ko) 플렉서블 디스플레이의 사용자 인터페이스 제어 방법 및 장치
WO2022119218A1 (ko) 카메라의 흔들림을 보정하는 방법 및 그 전자 장치
WO2022119112A1 (ko) 디스플레이의 번인을 예측 및 보상하는 전자 장치 및 방법
WO2022098001A1 (ko) 플렉서블 디스플레이를 갖는 전자 장치 및 그의 카메라 모듈 제어 방법
WO2022119311A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치 및 그 동작 방법
WO2022098169A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치와 이의 동작 방법
WO2022045579A1 (ko) 외부 장치의 위치를 보정하기 위한 전자 장치 및 그의 동작 방법
WO2021251631A1 (ko) 초점 조절 기능을 포함하는 전자 장치 및 방법
WO2023022338A1 (ko) 동작 제스처를 감지하는 전자 장치 및 그 동작 방법
WO2021230507A1 (ko) 영상 촬영 가이드를 제공하는 방법 또는 장치
WO2023080459A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2022220621A1 (ko) 반사체 및 렌즈 어셈블리를 포함하는 전자 장치
WO2022154164A1 (ko) 화각을 조정할 수 있는 전자 장치 및 그 동작 방법
WO2023027463A1 (ko) 이미지를 제공하는 방법 및 이를 지원하는 전자 장치
WO2023191375A1 (ko) 구동 모듈을 포함하는 전자 장치 및 상기 전자 장치의 제어 방법
WO2023090833A1 (ko) 프리뷰 이미지를 제공하는 방법 및 그 전자 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21889466

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21889466

Country of ref document: EP

Kind code of ref document: A1