WO2022030757A1 - 화면의 부분 영역을 빠르게 업데이트하는 전자 장치 및 방법 - Google Patents

화면의 부분 영역을 빠르게 업데이트하는 전자 장치 및 방법 Download PDF

Info

Publication number
WO2022030757A1
WO2022030757A1 PCT/KR2021/008041 KR2021008041W WO2022030757A1 WO 2022030757 A1 WO2022030757 A1 WO 2022030757A1 KR 2021008041 W KR2021008041 W KR 2021008041W WO 2022030757 A1 WO2022030757 A1 WO 2022030757A1
Authority
WO
WIPO (PCT)
Prior art keywords
display
electronic device
driving state
frame period
user input
Prior art date
Application number
PCT/KR2021/008041
Other languages
English (en)
French (fr)
Inventor
신영철
김건희
김정림
최문원
박성수
이승철
한승재
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to EP21853619.1A priority Critical patent/EP4177879A4/en
Publication of WO2022030757A1 publication Critical patent/WO2022030757A1/ko
Priority to US18/104,639 priority patent/US20230178001A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2092—Details of a display terminals using a flat panel, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G3/2096—Details of the interface to the display terminal specific for a flat panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/003—Details of a display terminal, the details relating to the control arrangement of the display terminal and to the interfaces thereto
    • G09G5/006—Details of the interface to the display terminal
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/2085—Special arrangements for addressing the individual elements of the matrix, other than by driving respective rows and columns in combination
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0416—Control or interface arrangements specially adapted for digitisers
    • G06F3/04166—Details of scanning methods, e.g. sampling time, grouping of sub areas or time sharing with display driving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0202—Addressing of scan or signal lines
    • G09G2310/0213—Addressing of scan or signal lines controlling the sequence of the scanning lines with respect to the patterns to be displayed, e.g. to save power
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/02—Addressing, scanning or driving the display screen or processing steps related thereto
    • G09G2310/0264—Details of driving circuits
    • G09G2310/0267—Details of drivers for scan electrodes, other than drivers for liquid crystal, plasma or OLED displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/04—Partial updating of the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/10—Special adaptations of display systems for operation with variable images
    • G09G2320/103—Detection of image changes, e.g. determination of an index representative of the image change
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/04—Changes in size, position or resolution of an image
    • G09G2340/0407—Resolution change, inclusive of the use of different resolutions for different screen areas
    • G09G2340/0435—Change or adaptation of the frame rate of the video stream
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/16—Determination of a pixel data signal depending on the signal applied in the previous frame
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/18—Use of a frame buffer in a display terminal, inclusive of the display panel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2370/00—Aspects of data communication
    • G09G2370/10—Use of a protocol of communication by packets in interfaces along the display data pipeline
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/22—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources
    • G09G3/30—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels
    • G09G3/32—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED]
    • G09G3/3208—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters using controlled light sources using electroluminescent panels semiconductive, e.g. using light-emitting diodes [LED] organic, e.g. using organic light-emitting diodes [OLED]
    • G09G3/3266—Details of drivers for scan electrodes

Definitions

  • Various embodiments of the present disclosure relate to an electronic device and method for quickly updating a partial area of a screen.
  • An electronic device may display various screens such as images and texts through a display panel.
  • MIPI DSI mobile industry processor interface, display serial interface
  • MIPI DSI mobile industry processor interface, display serial interface
  • MIPI DSI is a display standard and may include a video mode and a command mode.
  • a host eg a processor
  • the start of image frame transmission may be controlled by a tearing effect (TE) signal output from the display driver IC.
  • the host eg, processor
  • Electronic devices are being developed to support high-speed frequency driving (eg, 60 Hz to 120 Hz) with the increasing resolution of display panels.
  • Various embodiments of the present disclosure may provide an electronic device and method for rapidly updating a partial area of a screen.
  • An electronic device includes a display, a display driver IC (DDI) including a buffer memory, and a processor, wherein the processor, in a normal driving state, is displayed on a first execution screen of an application in N frame periods.
  • DCI display driver IC
  • Receives a first user input to the application generates a second execution screen of the application corresponding to the first user input in an N+1 frame period, and a one-frame image including the second execution screen in an N+2 frame period and control the DDI so that the display displays a one-frame image including the second execution screen in N+3 frame periods
  • the processor is configured to: receiving a second user input for the execution screen, generating data of a partial region corresponding to the second user input in an M+1 frame period, storing the data in the buffer memory, and M+2 frame period
  • the DDI may be controlled such that the display displays the partial region with reference to the buffer memory, and displays the remaining regions except for the partial region in the same manner as in the first execution screen.
  • a method of an electronic device including a display and a display driver IC (DDI) including a display and a buffer memory includes controlling the display to a normal driving state, and setting the display to a partial update driving state and controlling to the normal driving state includes: receiving a first user input for a first execution screen of an application in an N frame period, and receiving the first user input in an N+1 frame period generating a second execution screen of the application corresponding to an operation of generating a one-frame image including the second execution screen in an N+2 frame period; and controlling the DDI to display a one-frame image including a screen, wherein the controlling to the partial update driving state includes: receiving a second user input for the first execution screen in an M frame period; generating data of the partial region corresponding to the second user input in an M+1 frame period and storing the data in the buffer memory, and in an M+2 frame period, the display refers to the buffer memory
  • Displaying a partial region may include controlling the DDI so that the remaining regions except for
  • the electronic device may provide an improved user experience and user interaction function by rapidly updating a partial area of a screen under a specified condition or execution environment.
  • FIG. 1 is a block diagram of an electronic device in a network environment, according to various embodiments of the present disclosure
  • FIG. 2 is a block diagram of a display device according to various embodiments of the present disclosure.
  • FIG. 3 is a block diagram of an electronic device according to an embodiment of the present invention.
  • FIG. 4 is a detailed block diagram of an electronic device according to an embodiment of the present invention.
  • FIG. 5 is a block diagram of a display according to an embodiment of the present invention.
  • FIG. 6 is a view for explaining a driving timing of an electronic device according to a normal driving state according to various embodiments of the present disclosure
  • FIG. 7 is an example illustrating a response delay of an electronic device in a normal driving state.
  • FIG. 8 is a diagram illustrating a driving timing of an electronic device according to a partial update driving state according to various embodiments of the present disclosure
  • FIG. 9 is a flowchart illustrating an operation of an electronic device according to various embodiments of the present disclosure.
  • FIG. 10 is a flowchart illustrating an operation of an electronic device according to various embodiments of the present disclosure.
  • FIG. 11 is an example illustrating an operation in which an electronic device detects removal of a stylus pen as a designated event, according to an exemplary embodiment.
  • FIG. 12 is a flowchart illustrating an operation of an electronic device according to various embodiments of the present disclosure
  • FIG. 13 is a flowchart illustrating an operation of an electronic device according to various embodiments of the present disclosure
  • FIG. 1 is a block diagram of an electronic device 101 in a network environment 100 according to various embodiments.
  • an electronic device 101 communicates with an electronic device 102 through a first network 198 (eg, a short-range wireless communication network) or a second network 199 . It may communicate with the electronic device 104 or the server 108 through (eg, a long-distance wireless communication network). According to an embodiment, the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • a first network 198 eg, a short-range wireless communication network
  • a second network 199 e.g., a second network 199
  • the electronic device 101 may communicate with the electronic device 104 through the server 108 .
  • the electronic device 101 includes a processor 120 , a memory 130 , an input module 150 , a sound output module 155 , a display module 160 , an audio module 170 , and a sensor module ( 176), interface 177, connection terminal 178, haptic module 179, camera module 180, power management module 188, battery 189, communication module 190, subscriber identification module 196 , or an antenna module 197 may be included.
  • at least one of these components eg, the connection terminal 178
  • may be omitted or one or more other components may be added to the electronic device 101 .
  • some of these components are integrated into one component (eg, display module 160 ). can be
  • the processor 120 for example, executes software (eg, a program 140) to execute at least one other component (eg, a hardware or software component) of the electronic device 101 connected to the processor 120 . It can control and perform various data processing or operations. According to one embodiment, as at least part of data processing or operation, the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 . may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • software eg, a program 140
  • the processor 120 converts commands or data received from other components (eg, the sensor module 176 or the communication module 190 ) to the volatile memory 132 .
  • the volatile memory 132 may be stored in the volatile memory 132 , and may process commands or data stored in the volatile memory 132 , and store the result data in the non-volatile memory 134 .
  • the processor 120 is the main processor 121 (eg, a central processing unit or an application processor) or a secondary processor 123 (eg, a graphic processing unit, a neural network processing unit) a neural processing unit (NPU), an image signal processor, a sensor hub processor, or a communication processor).
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123 eg, a graphic processing unit, a neural network processing unit
  • NPU neural processing unit
  • an image signal processor e.g., a sensor hub processor, or a communication processor.
  • the main processor 121 e.g, a central processing unit or an application processor
  • a secondary processor 123
  • the auxiliary processor 123 is, for example, on behalf of the main processor 121 while the main processor 121 is in an inactive (eg, sleep) state, or the main processor 121 is active (eg, executing an application). ), together with the main processor 121, at least one of the components of the electronic device 101 (eg, the display module 160, the sensor module 176, or the communication module 190) It is possible to control at least some of the related functions or states.
  • the coprocessor 123 eg, an image signal processor or a communication processor
  • may be implemented as part of another functionally related component eg, the camera module 180 or the communication module 190. have.
  • the auxiliary processor 123 may include a hardware structure specialized for processing an artificial intelligence model.
  • Artificial intelligence models can be created through machine learning. Such learning may be performed, for example, in the electronic device 101 itself on which artificial intelligence is performed, or may be performed through a separate server (eg, the server 108).
  • the learning algorithm may include, for example, supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but in the above example not limited
  • the artificial intelligence model may include a plurality of artificial neural network layers.
  • Artificial neural networks include deep neural networks (DNNs), convolutional neural networks (CNNs), recurrent neural networks (RNNs), restricted boltzmann machines (RBMs), deep belief networks (DBNs), bidirectional recurrent deep neural networks (BRDNNs), It may be one of deep Q-networks or a combination of two or more of the above, but is not limited to the above example.
  • the artificial intelligence model may include, in addition to, or alternatively, a software structure in addition to the hardware structure.
  • the memory 130 may store various data used by at least one component of the electronic device 101 (eg, the processor 120 or the sensor module 176 ).
  • the data may include, for example, input data or output data for software (eg, the program 140 ) and instructions related thereto.
  • the memory 130 may include a volatile memory 132 or a non-volatile memory 134 .
  • the program 140 may be stored as software in the memory 130 , and may include, for example, an operating system 142 , middleware 144 , or an application 146 .
  • the input module 150 may receive a command or data to be used in a component (eg, the processor 120 ) of the electronic device 101 from the outside (eg, a user) of the electronic device 101 .
  • the input module 150 may include, for example, a microphone, a mouse, a keyboard, a key (eg, a button), or a digital pen (eg, a stylus pen).
  • the sound output module 155 may output a sound signal to the outside of the electronic device 101 .
  • the sound output module 155 may include, for example, a speaker or a receiver.
  • the speaker can be used for general purposes such as multimedia playback or recording playback.
  • the receiver may be used to receive an incoming call. According to one embodiment, the receiver may be implemented separately from or as part of the speaker.
  • the display module 160 may visually provide information to the outside (eg, a user) of the electronic device 101 .
  • the display module 160 may include, for example, a control circuit for controlling a display, a hologram device, or a projector and a corresponding device.
  • the display module 160 may include a touch sensor configured to sense a touch or a pressure sensor configured to measure the intensity of a force generated by the touch.
  • the audio module 170 may convert a sound into an electric signal or, conversely, convert an electric signal into a sound. According to an embodiment, the audio module 170 acquires a sound through the input module 150 or an external electronic device (eg, a sound output module 155 ) directly or wirelessly connected to the electronic device 101 . A sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • an external electronic device eg, a sound output module 155
  • a sound may be output through the electronic device 102 (eg, a speaker or headphones).
  • the sensor module 176 detects an operating state (eg, power or temperature) of the electronic device 101 or an external environmental state (eg, user state), and generates an electrical signal or data value corresponding to the sensed state. can do.
  • the sensor module 176 may include, for example, a gesture sensor, a gyro sensor, a barometric pressure sensor, a magnetic sensor, an acceleration sensor, a grip sensor, a proximity sensor, a color sensor, an IR (infrared) sensor, a biometric sensor, It may include a temperature sensor, a humidity sensor, or an illuminance sensor.
  • the interface 177 may support one or more designated protocols that may be used by the electronic device 101 to directly or wirelessly connect with an external electronic device (eg, the electronic device 102 ).
  • the interface 177 may include, for example, a high definition multimedia interface (HDMI), a universal serial bus (USB) interface, an SD card interface, or an audio interface.
  • HDMI high definition multimedia interface
  • USB universal serial bus
  • SD card interface Secure Digital Card
  • the connection terminal 178 may include a connector through which the electronic device 101 can be physically connected to an external electronic device (eg, the electronic device 102 ).
  • the connection terminal 178 may include, for example, an HDMI connector, a USB connector, an SD card connector, or an audio connector (eg, a headphone connector).
  • the haptic module 179 may convert an electrical signal into a mechanical stimulus (eg, vibration or movement) or an electrical stimulus that the user can perceive through tactile or kinesthetic sense.
  • the haptic module 179 may include, for example, a motor, a piezoelectric element, or an electrical stimulation device.
  • the camera module 180 may capture still images and moving images. According to an embodiment, the camera module 180 may include one or more lenses, image sensors, image signal processors, or flashes.
  • the power management module 188 may manage power supplied to the electronic device 101 .
  • the power management module 188 may be implemented as, for example, at least a part of a power management integrated circuit (PMIC).
  • PMIC power management integrated circuit
  • the battery 189 may supply power to at least one component of the electronic device 101 .
  • battery 189 may include, for example, a non-rechargeable primary cell, a rechargeable secondary cell, or a fuel cell.
  • the communication module 190 is a direct (eg, wired) communication channel or a wireless communication channel between the electronic device 101 and an external electronic device (eg, the electronic device 102, the electronic device 104, or the server 108). It can support establishment and communication performance through the established communication channel.
  • the communication module 190 may include one or more communication processors that operate independently of the processor 120 (eg, an application processor) and support direct (eg, wired) communication or wireless communication.
  • the communication module 190 is a wireless communication module 192 (eg, a cellular communication module, a short-range communication module, or a global navigation satellite system (GNSS) communication module) or a wired communication module 194 (eg, : It may include a LAN (local area network) communication module, or a power line communication module).
  • GNSS global navigation satellite system
  • a corresponding communication module among these communication modules is a first network 198 (eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)) or a second network 199 (eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a first network 198 eg, a short-range communication network such as Bluetooth, wireless fidelity (WiFi) direct, or infrared data association (IrDA)
  • a second network 199 eg, legacy It may communicate with the external electronic device 104 through a cellular network, a 5G network, a next-generation communication network, the Internet, or a computer network (eg, a telecommunication network such as a LAN or a WAN).
  • a telecommunication network
  • the wireless communication module 192 uses the subscriber information (eg, International Mobile Subscriber Identifier (IMSI)) stored in the subscriber identification module 196 within a communication network such as the first network 198 or the second network 199 .
  • the electronic device 101 may be identified or authenticated.
  • the wireless communication module 192 may support a 5G network after a 4G network and a next-generation communication technology, for example, a new radio access technology (NR).
  • NR access technology includes high-speed transmission of high-capacity data (eMBB (enhanced mobile broadband)), minimization of terminal power and access to multiple terminals (mMTC (massive machine type communications)), or high reliability and low latency (URLLC (ultra-reliable and low-latency) -latency communications)).
  • eMBB enhanced mobile broadband
  • mMTC massive machine type communications
  • URLLC ultra-reliable and low-latency
  • the wireless communication module 192 may support a high frequency band (eg, mmWave band) to achieve a high data rate, for example.
  • a high frequency band eg, mmWave band
  • the wireless communication module 192 includes various technologies for securing performance in a high-frequency band, for example, beamforming, massive multiple-input and multiple-output (MIMO), all-dimensional multiplexing. It may support technologies such as full dimensional MIMO (FD-MIMO), an array antenna, analog beam-forming, or a large scale antenna.
  • the wireless communication module 192 may support various requirements specified in the electronic device 101 , an external electronic device (eg, the electronic device 104 ), or a network system (eg, the second network 199 ).
  • the wireless communication module 192 may include a peak data rate (eg, 20 Gbps or more) for realizing eMBB, loss coverage (eg, 164 dB or less) for realizing mMTC, or U-plane latency for realizing URLLC ( Example: downlink (DL) and uplink (UL) each 0.5 ms or less, or round trip 1 ms or less).
  • a peak data rate eg, 20 Gbps or more
  • loss coverage eg, 164 dB or less
  • U-plane latency for realizing URLLC
  • the antenna module 197 may transmit or receive a signal or power to the outside (eg, an external electronic device).
  • the antenna module 197 may include an antenna including a conductor formed on a substrate (eg, a PCB) or a radiator formed of a conductive pattern.
  • the antenna module 197 may include a plurality of antennas (eg, an array antenna). In this case, at least one antenna suitable for a communication method used in a communication network such as the first network 198 or the second network 199 is connected from the plurality of antennas by, for example, the communication module 190 . can be selected. A signal or power may be transmitted or received between the communication module 190 and an external electronic device through the selected at least one antenna.
  • other components eg, a radio frequency integrated circuit (RFIC)
  • RFIC radio frequency integrated circuit
  • the antenna module 197 may form a mmWave antenna module.
  • the mmWave antenna module comprises a printed circuit board, an RFIC disposed on or adjacent to a first side (eg, underside) of the printed circuit board and capable of supporting a designated high frequency band (eg, mmWave band); and a plurality of antennas (eg, an array antenna) disposed on or adjacent to a second side (eg, top or side) of the printed circuit board and capable of transmitting or receiving signals of the designated high frequency band. can do.
  • peripheral devices eg, a bus, general purpose input and output (GPIO), serial peripheral interface (SPI), or mobile industry processor interface (MIPI)
  • GPIO general purpose input and output
  • SPI serial peripheral interface
  • MIPI mobile industry processor interface
  • the command or data may be transmitted or received between the electronic device 101 and the external electronic device 104 through the server 108 connected to the second network 199 .
  • Each of the external electronic devices 102 or 104 may be the same as or different from the electronic device 101 .
  • all or a part of operations executed in the electronic device 101 may be executed in one or more external electronic devices 102 , 104 , or 108 .
  • the electronic device 101 may perform the function or service itself instead of executing the function or service itself.
  • one or more external electronic devices may be requested to perform at least a part of the function or the service.
  • One or more external electronic devices that have received the request may execute at least a part of the requested function or service, or an additional function or service related to the request, and transmit a result of the execution to the electronic device 101 .
  • the electronic device 101 may process the result as it is or additionally and provide it as at least a part of a response to the request.
  • cloud computing distributed computing, mobile edge computing (MEC), or client-server computing technology may be used.
  • the electronic device 101 may provide an ultra-low latency service using, for example, distributed computing or mobile edge computing.
  • the external electronic device 104 may include an Internet of things (IoT) device.
  • Server 108 may be an intelligent server using machine learning and/or neural networks.
  • the external electronic device 104 or the server 108 may be included in the second network 199 .
  • the electronic device 101 may be applied to an intelligent service (eg, smart home, smart city, smart car, or health care) based on 5G communication technology and IoT-related technology.
  • the electronic device may have various types of devices.
  • the electronic device may include, for example, a portable communication device (eg, a smart phone), a computer device, a portable multimedia device, a portable medical device, a camera, a wearable device, or a home appliance device.
  • a portable communication device eg, a smart phone
  • a computer device e.g., a smart phone
  • a portable multimedia device e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a camera e.g., a portable medical device
  • a wearable device e.g., a smart bracelet
  • a home appliance device e.g., a home appliance
  • first, second, or first or second may be used simply to distinguish the element from other elements in question, and may refer to elements in other aspects (e.g., importance or order) is not limited. It is said that one (eg, first) component is “coupled” or “connected” to another (eg, second) component, with or without the terms “functionally” or “communicatively”. When referenced, it means that one component can be connected to the other component directly (eg by wire), wirelessly, or through a third component.
  • module used in various embodiments of this document may include a unit implemented in hardware, software, or firmware, and is interchangeable with terms such as, for example, logic, logic block, component, or circuit.
  • a module may be an integrally formed part or a minimum unit or a part of the part that performs one or more functions.
  • the module may be implemented in the form of an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • one or more instructions stored in a storage medium may be implemented as software (eg, the program 140) including
  • a processor eg, processor 120
  • a device eg, electronic device 101
  • the one or more instructions may include code generated by a compiler or code executable by an interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-transitory' only means that the storage medium is a tangible device and does not include a signal (eg, electromagnetic wave), and this term is used in cases where data is semi-permanently stored in the storage medium and It does not distinguish between temporary storage cases.
  • a signal eg, electromagnetic wave
  • the method according to various embodiments disclosed in this document may be included and provided in a computer program product.
  • Computer program products may be traded between sellers and buyers as commodities.
  • the computer program product is distributed in the form of a machine-readable storage medium (eg compact disc read only memory (CD-ROM)), or through an application store (eg Play StoreTM) or on two user devices ( It can be distributed (eg downloaded or uploaded) directly between smartphones (eg: smartphones) and online.
  • a part of the computer program product may be temporarily stored or temporarily generated in a machine-readable storage medium such as a memory of a server of a manufacturer, a server of an application store, or a relay server.
  • each component (eg, module or program) of the above-described components may include a singular or a plurality of entities, and some of the plurality of entities may be separately disposed in other components. have.
  • one or more components or operations among the above-described corresponding components may be omitted, or one or more other components or operations may be added.
  • a plurality of components eg, a module or a program
  • the integrated component may perform one or more functions of each component of the plurality of components identically or similarly to those performed by the corresponding component among the plurality of components prior to the integration. .
  • operations performed by a module, program, or other component are executed sequentially, in parallel, repeatedly, or heuristically, or one or more of the operations are executed in a different order, or omitted. or one or more other operations may be added.
  • the display device 160 may include a display 210 and a display driver IC (DDI) 230 for controlling the display 210 .
  • the DDI 230 may include an interface module 231 , a memory 233 (eg, the buffer memory 422 of FIG. 5 ), an image processing module 235 , or a mapping module 237 .
  • the DDI 230 operates independently of the function of the processor 120 (eg, the main processor 121 (eg, the application processor 120 ) or the main processor 121 through the interface module 231 ).
  • the DDI 230 may communicate with the touch circuit 250 or the sensor module 176 through the interface module 231 . Also, the DDI 230 may store at least a portion of the received image information in the memory 233, for example, in units of frames.
  • the image processing module 235 for example, pre-processes or post-processes at least a portion of the image data based on at least a characteristic of the image data or a characteristic of the display 210 (eg, adjusting resolution, brightness, or size) can be performed.
  • the mapping module 237 performs pre-processing through the image processing module 135 based at least in part on a property of the pixels of the display 210 (eg, an arrangement of pixels (RGB stripe or pentile), or a size of each sub-pixel).
  • the post-processed image data may be converted into a voltage value or a current value capable of driving the pixels.
  • At least some pixels of the display 210 are driven based on, for example, the voltage value or the current value, so that visual information (eg, text, image, or icon) corresponding to the image data is displayed on the display 210 .
  • visual information eg, text, image, or icon
  • the display device 160 may further include a touch circuit 250 .
  • the touch circuit 250 may include a touch sensor 251 and a touch sensor IC 253 for controlling the touch sensor 251 .
  • the touch sensor IC 253 controls the touch sensor 251, for example, by measuring a change in a signal (eg, voltage, amount of light, resistance, or amount of charge) with respect to a designated location of the display 210 to the designated location.
  • a touch input or hovering input may be sensed, and information (eg, location, area, pressure, or time) regarding the sensed touch input or hovering input may be provided to the processor 120 .
  • At least a part of the touch circuit 250 is disposed as a part of the display driver IC 230 , the display 210 , or outside the display device 160 . may be included as a part of another component (eg, the coprocessor 123).
  • the display device 160 may further include at least one sensor (eg, a fingerprint sensor, an iris sensor, a pressure sensor, or an illuminance sensor) of the sensor module 176 or a control circuit therefor.
  • the at least one sensor or a control circuit therefor may be implemented by being embedded in a part of the display device 160 (eg, the display 210 or the DDI 230 ) or a part of the touch circuit 250 .
  • the sensor module 176 embedded in the display device 160 includes a biometric sensor (eg, a fingerprint sensor)
  • the biometric sensor provides biometric information related to a touch input through a partial area of the display 210 . (eg fingerprint image) can be acquired.
  • the pressure sensor may acquire pressure information for a touch input through a part or the entire area of the display 210 .
  • the touch sensor 251 or the sensor module 176 may be disposed between pixels of the pixel layer of the display 210 , or above or below the pixel layer.
  • FIG. 3 is a block diagram of an electronic device 300 according to an embodiment of the present invention. At least one of the components of the electronic device 300 shown in FIG. 3 is at least partially similar to, or different from, the electronic device 101 shown in FIG. 1 and/or the display device 160 of FIG. 2 . Examples may be further included.
  • an electronic device 300 (eg, the electronic device 101 of FIG. 1 ) according to an embodiment includes a processor 120 (eg, the processor 120 of FIG. 1 ) and a DDI 230 (eg, the electronic device 101 of FIG. 1 ). : may include the DDI 230 of Fig. 2) or the display 210 (eg, the display 210 of Fig. 2).
  • the electronic device 300 according to an embodiment includes a display standard defined in MIPI. It may operate based on the in-command mode, for example, the electronic device 300 may include a processor 120 and a DDI 230, and the processor 120 may serve as a host defined in MIPI. can be done
  • the processor 120 may transmit the image frame IMG to the DDI 230 based on a timing signal TE (eg, a tearing effect (TE) signal) output from the DDI 230 .
  • a timing signal TE eg, a tearing effect (TE) signal
  • a driving frequency eg, a refresh rate
  • TE tearing effect
  • the term “timing signal (TE)” may refer to a TE (tearing effect) signal defined in the MIPI standard.
  • the processor 120 may execute an application and sequentially render a plurality of image frames IMG corresponding to an execution screen of the executed application. For example, the processor 120 may sequentially generate image frames IMG corresponding to the execution screen according to a driving frequency (eg, a refresh rate) for driving the display 210 .
  • a driving frequency eg, a refresh rate
  • the processor 120 may transmit the rendered image frames IMG to the DDI 230 in response to the timing signal TE.
  • the processor 120 may detect a specified event, as will be described later with reference to operation 920 of FIG. 9 .
  • the processor 120 may change the driving state of the display from the normal driving state to the partial update driving state in response to detecting the specified event. If the specified event is not detected, the processor 120 may maintain the driving state of the display as the normal driving state. Alternatively, the processor 120 may change the driving state of the display from the partial update driving state to the normal driving state when detecting that the specified event ends. As another example, the processor 120 may detect a switch event. The processor 120 may switch the driving state of the display from the partial update driving state to the normal driving state in response to detecting a switch event.
  • the processor 120 sequentially transfers the rendered image frames IMG to the buffer memory 422 of the DDI 230 (eg, the buffer memory of FIG. 4 ). 422 ) and the DDI 230 displays the converted image frame RGB on a display using the image frame IMG stored in the buffer memory 422 .
  • the processor 120 calculates a partial region by comparing a previous frame (eg, an N-1 th frame) with a current frame (eg, an N th frame), and , may be defined as a state in which data corresponding to the partial region is stored in the buffer memory 422 of the DDI 230 (eg, the buffer memory 422 of FIG. 4 ).
  • data corresponding to the partial region is stored in the buffer memory 422 (eg, the buffer memory 422 of FIG. 4 ) of the DDI 230 , so that compared to the normal driving state, the partial region is displayed through the display.
  • the displayed response speed may be increased.
  • the DDI 230 may drive the display 210 (eg, a display panel) based on the received image frame IMG.
  • the DDI 230 may drive the display 210 to display the image frame IMG received from the processor 120 for one frame period.
  • the DDI 230 stores the received image frame IMG in the buffer memory 422 (eg, the buffer memory 422 of FIG. 4 ), and corresponds to one frame stored in the buffer memory 422 .
  • image frame (IMG) can be displayed through the display.
  • the DDI 230 aligns the image frame IMG stored in the buffer memory 422 according to the characteristic (eg, resolution) of the display, and/or arranges the image frame IMG to the characteristic of the display 210 .
  • the characteristic eg, resolution
  • the DDI 230 may drive the display 210 to display the converted image frame RGB.
  • the DDI 230 may determine the timing at which the display scans the screen by generating a gate start pulse (GSP) (eg, the gate start pulse of FIG. 5 ) with a cycle corresponding to the refresh rate. have.
  • GSP gate start pulse
  • the DDI 230 may supply the gate start pulse GSP to the gate driving circuit of the display at the start time of each frame.
  • the gate driving circuit of the display eg, the gate driving circuit of FIG. 4
  • the DDI 230 may generate a modulation start pulse (eg, the modulation start pulse MGSP of FIG. 5 ) instead of the gate start pulse GSP in the partial update driving state.
  • the modulation start pulse may be a signal for changing the screen scanning order of the display.
  • the gate driving circuit of the display may change the screen scanning order of the display in response to the modulation start pulse MGSP.
  • the DDI 230 may determine the timing at which the processor 120 transmits the image frame IMG by outputting the timing signal TE.
  • the timing signal TE is a signal from the DDI 230 informing the host (eg, the processor 120 ) the timing of transmission of the image frame IMG.
  • the processor 120 as the host may transmit the image frame IMG to the DDI 230 in response to the timing signal TE output from the DDI 230 .
  • the display 210 may display the converted image frame RGB in frame units based on the control of the DDI 230 .
  • the display 210 includes an organic light emitting display panel (OLED), a liquid crystal display panel (LCD), a plasma display panel (PDP), and an electrophoretic display panel. (electrophoretic display panel) and/or may include at least one of an electrowetting display panel (electrowetting display panel).
  • FIG. 4 is a detailed block diagram of an electronic device 101 according to an embodiment of the present invention.
  • the electronic device 101 illustrated in FIG. 4 may include an embodiment that is at least partially similar to or different from the electronic device 101 illustrated in FIGS. 1 and 3 .
  • an electronic device 400 (eg, the electronic device 101 of FIG. 1 ) includes a processor 120 (eg, the processor 120 of FIG. 1 ) and a DDI 230 (eg, FIG. 3 ). of the DDI 230 ), and/or a display 210 (eg, the display 210 of FIG. 3 ).
  • the processor 120 may include an application execution module 411 , a frame image generation module 412 , and a partial update module 413 .
  • the memory may include an application execution module 411 , a frame image generation module 412 , and a partial update module 413 .
  • the memory may cause the processor 120 to execute the application execution module 411 , the frame image generation module 412 , and the partial update module 413 .
  • the application execution module 411 may execute at least one application stored in the memory 130 and generate an execution screen of the application.
  • the application execution module 411 may change the execution screen according to a user input through the execution screen of the application.
  • the application execution module 411 may execute a drawing application, and when a user inputs a specified gesture through an execution screen of the drawing application, an object corresponding to the specified gesture is combined with the execution screen of the drawing application and the object to create a new execution screen.
  • the application execution screen may transmit a new execution screen generated based on a user input to the frame image generating module 412 .
  • the frame image generating module 412 receives the execution screen of at least one application currently being executed from the application execution module 411, and uses the received execution screen of the application to generate one frame image.
  • the frame image generating module 412 receives the execution screen generated by the application execution module 411 in the N-1 th frame period, and uses the execution screen in the N-th frame period to obtain one frame image.
  • the frame image generating module 412 may transmit the generated one-frame image to the DDI 230 during a blank period between the Nth frame period and the N+1th frame period.
  • the DDI 230 may store the one-frame image received from the frame image generating module 412 in the buffer memory 422 , and display the frame image in the (N+1)th frame period.
  • the partial update module 413 may control the partial update driving state of the display 210 .
  • the partial update module 413 may detect a designated event in the normal driving state.
  • the partial update module 413 may control the DDI 230 and the display 210 to the partial update driving state in response to detecting a specified event.
  • the specified event may include an operation of executing a specified application, an operation of detecting that the stylus pen is removed from the electronic device 400 , and/or a screen change between a previous frame and a current frame during a specified time less than a reference value. It may include an action to determine that
  • the partial update module 413 may compare the previous frame with the current frame to determine the area with the change as the partial area.
  • the partial update module 413 may check whether the ratio of the partial area in the full resolution of the display 210 is smaller than the reference ratio.
  • the partial update module 413 may switch to a partial update driving state in which the partial area is preferentially displayed when the ratio of the partial area in the full resolution is smaller than the reference ratio.
  • the partial update module 413 may generate data corresponding to the partial region and preferentially store the data corresponding to the partial region in the buffer memory 422 of the DDI 230 .
  • the partial update module 413 may store the data in the buffer memory 422 for a separately designated period so that the image corresponding to the partial region is displayed in the next frame period from the point in time when the data corresponding to the partial region is generated.
  • the designated period may be set to a previous time point earlier than an output time of the vertical synchronization signal for driving the display 210 by the DDI 230 .
  • the partial update module 413 may control the DDI 230 to change the screen scanning order of the display 210 by supplying a scan modulation signal (not shown) to the DDI 230 in the partial update driving state. .
  • the DDI 230 may include a gate control module 421 , a buffer memory 422 , and/or an image processing module 423 .
  • the gate control module 421 may control the gate driving circuit 430 of the display 210 .
  • the gate control module 421 generates a gate start pulse (GSP) (eg, the gate start pulse (GSP) of FIG. 5 ) with a cycle corresponding to the refresh rate, thereby timing at which the display 210 scans the screen. can be decided
  • the gate control module 421 supplies the gate start pulse GSP to the first gate driving circuit 430-1 in the normal driving state, so that the screen scanning order of the display 210 is the first It can be controlled to sequentially proceed from the gate line to the last gate line.
  • the gate control module 421 when receiving the scan modulation signal from the processor 120 , switches from a normal driving state to a partial update driving state, and a designated gate driving circuit (eg, a gate driving circuit corresponding to the scan modulation signal) :
  • a modulation start pulse MGSP (eg, a modulation start pulse MGSP of FIG. 5 ) may be transmitted to the K-th gate driving circuit 430 -K.
  • the gate control module 421 supplies the modulation start pulse MGSP to the K-th gate driving circuit 430 -K according to the scan modulation signal, so that the gate driving circuit 430 operates the K-th gate driving circuit. It can be controlled to start scanning the screen of the display 210 from (430-K).
  • the buffer memory 422 may be a component that stores a frame image received from the processor 120 .
  • the frame image stored in the buffer memory 422 may be changed in units of one frame period in the normal driving state.
  • the buffer memory 422 may store data corresponding to the partial region in the partial update driving state at a designated time point earlier than a time point at which the frame image is stored in the normal driving state.
  • the DDI 230 may control the display 210 to display an image of one frame stored in the buffer memory 422 for one frame period in the normal driving state.
  • the DDI 230 may control the display 210 to display an image of one frame including data stored in the buffer memory 422 and corresponding to the partial region for one frame period.
  • the image processing module 423 may pre-process or preprocess at least a portion of the one-frame image stored in the buffer memory 422 based on the characteristics of the display 210 , for example.
  • Post-processing eg, resolution, brightness, or resizing
  • the display 210 may include a plurality of gate driving circuits 430 for driving a plurality of gate lines arranged in the display area of the display 210 .
  • the plurality of gate lines may be electrically connected to a plurality of pixels formed in the display area of the display 210 .
  • the plurality of gate driving circuits 430 may control a screen scan timing displayed by a plurality of pixels by applying a gate signal (or a scan signal) to the plurality of gate lines.
  • the plurality of gate driving circuits 430 includes, for example, N gate driving circuits 430 - 1 , 430 - 2 , ... 430 -K, ... 430 -N. may include
  • the plurality of gate driving circuits 430 receive a gate start pulse (GSP) from the DDI 230 at a cycle corresponding to a refresh rate, and receive a gate start pulse (GSP) from the first gate driving circuit 430 .
  • the gate signal may be sequentially output up to the Nth gate driving circuit 430 .
  • the plurality of gate driving circuits 430 may change the order of outputting the gate signal in the partial update driving state. For example, in the partial update driving state, the plurality of gate driving circuits 430 may change the order of outputting the gate signals in response to the modulation start pulse MGSP.
  • the plurality of gate driving circuits 430 sequentially output a gate signal from the Kth gate driving circuit 430 -K when the modulation start pulse MGSP is supplied to the Kth gate driving circuit 430 -K. can do.
  • FIG. 5 is a block diagram of a display 210 according to an embodiment of the present invention.
  • the display 210 shown in FIG. 5 is at least partially similar to or different from the display 210 module shown in FIG. 1 , the display device shown in FIG. 2 , and the display 210 shown in FIGS. 3 to 4 . Examples may include.
  • the display 210 (eg, the display 210 of FIG. 3 ) has a display area 211 in which a plurality of pixels are arranged and a plurality of pixels are not formed, and is located outside at least a portion of the display area. and a non-display area 212 that
  • a plurality of pixels are arranged in the display area 211 , and the plurality of pixels are gate signals supplied through a plurality of gate lines GL-1, GL-2, GL-3, ...GL-N. You can update the screen in response.
  • a plurality of gate driving circuits 430 (eg, the gate driving of FIG. 4 ) for driving the plurality of gate lines GL-1, GL-2, GL-3, ...GL-N are provided.
  • circuit 430 may be located.
  • the plurality of gate driving circuits 430 may sequentially output gate signals to the plurality of gate lines GL-1, GL-2, GL-3, ... GL-N.
  • the plurality of gate driving circuits 430 may include N gate driving circuits 430 - 1 , 430 - 2 , ... 430 -K, ... 430 -N.
  • the gate lines GL-1, GL-2, GL-3, ...GL-N of the display area 211 are N gate driving circuits 430-1, 430-2, ... 430-K , ... 430-N), N gate line groups GL-1, GL-2, GL-3, ... GL-N connected to each may be defined.
  • the first gate driving circuit 430 - 1 supplies a gate signal to the first gate line group GL - 1
  • the second gate driving circuit 430 - 2 is the second gate line group GL -2) can be supplied with a gate signal.
  • the plurality of gate driving circuits 430 sequentially output gate signals from the first gate line group GL-1 to the last gate line group GL-N, as indicated by reference numeral 1. can do.
  • the plurality of gate driving circuits 430 respond to the gate start pulse GSP from the first gate driving circuit 430 - 1 to the Nth gate driving circuit 430 -N. can be sequentially activated.
  • the activation of the gate driving circuit 430 may mean that the gate driving circuit 430 outputs a gate signal.
  • the plurality of gate driving circuits 430 are configured in response to the modulation start pulse MGSP received from the DDI 230 , a designated gate driving circuit (eg, the K-th gate driving circuit 430 -K). ), the gate signals can be sequentially output.
  • the plurality of gate driving circuits 430 respond to the modulation start pulse MGSP, from the K-th gate driving circuit 430 -K to the N-th gate driving circuit 430 . -N), and after the N-th gate driving circuit 430-N is activated, the first gate driving circuit 430 - 1 to the K-1 th gate driving circuit (not shown) are sequentially activated can be
  • the screen update of the display 210 is performed by the K-th gate driving circuit 430 -K .
  • the first display area A-1 corresponding to the first gate driving circuit 430-1 corresponds to the K-1th gate driving circuit 430 (not shown).
  • the screen update up to the K-1th display area (not shown) may be performed.
  • the user input 501 through the K-th display area AK may detect the partial update driving state. . If the screen other than the part of the execution screen of the application processed according to the user input 501 does not differ from the previous frame image, the electronic device 101 displays the part of the execution screen of the application processed according to the user input 501 . It can be determined as a partial area. The electronic device 101 may check the coordinate value of the execution screen determined as the partial region, and change the screen scanning order of the display 210 based on the checked coordinate value.
  • the electronic device 101 For example, if the execution screen corresponding to the partial region is the K-th display area AK driven by the K-th gate driving circuit 430 -K, the electronic device 101 generates the gate driving circuit 430 .
  • the K gate driving circuit 430 -K may be sequentially activated.
  • the electronic device (eg, the electronic device 101 of FIG. 1 ) according to various embodiments includes a display (eg, the display 210 of FIG. 3 ) and a buffer memory (eg, the buffer memory 422 of FIG. 4 ). It includes a DDI (eg, the DDI 230 of FIG. 3 ) (display driver IC), and a processor (eg, the processor 120 of FIG.
  • a display eg, the display 210 of FIG. 3
  • a buffer memory eg, the buffer memory 422 of FIG. 4
  • DDI eg, the DDI 230 of FIG. 3
  • processor eg, the processor 120 of FIG.
  • N Receive a first user input for a first execution screen of an application in a frame period, generate a second execution screen of the application corresponding to the first user input in an N+1 frame period, and generate a second execution screen of the application in an N+2 frame period generating a one-frame image including the second execution screen, and controlling the DDI 230 such that the display 210 displays a one-frame image including the second execution screen in an N+3 frame period;
  • the processor 120 receives a second user input for the first execution screen in an M frame period, and receives data of a partial region corresponding to the second user input in an M+1 frame period.
  • the display 210 refers to the buffer memory 422 to display the partial region, except for the partial region.
  • the remaining area may control the DDI 230 to display the same as the first execution screen.
  • the processor 120 may output a scan modulation signal to change the order in which the screens of the display 210 are scanned.
  • the DDI 230 drives the display 210 so that the screen scan starts from the area where the second user input is received in response to the scan modulation signal.
  • the processor 120 defines one frame period based on the first vertical synchronization signal V1, and an offset time specified from the first vertical synchronization signal V1.
  • Data corresponding to the partial region may be generated based on the second vertical synchronization signal V2 whose phase is delayed by an amount, and the data may be stored in the buffer memory 422 .
  • an output period of the first vertical synchronization signal V1 may be the same as an output period of the second vertical synchronization signal V2.
  • the processor 120 receives a third user input during a period before the second vertical synchronization signal V2 is output during an M+1 frame period, and , the data may be generated based on the second user input and the third user input, and the data may be stored in the buffer memory 422 .
  • the processor 120 may switch from the normal driving state to the partial update driving state in response to detecting a specified event.
  • the specified event may include an operation of executing a specified application.
  • the specified event may include detecting that the screen change between the previous frame and the current frame is less than a reference value for a specified time.
  • the designated event may include an operation of detecting that the stylus pen is removed from the electronic device 101 .
  • a DDI (eg, the DDI 230 of FIG. 3 ) including a display (eg, the display 210 of FIG. 3 ) and a buffer memory (eg, the buffer memory 422 of FIG. 4 ) according to various embodiments of the present disclosure )) (display driver IC), the method of an electronic device (eg, the electronic device 101 of FIG. 1 ) includes an operation of controlling the display 210 to a normal driving state, and partial updating of the display 210 .
  • controlling to the normal driving state includes receiving a first user input for a first execution screen of an application in an N frame period, and receiving the first user input in an N+1 frame period An operation of generating a second execution screen of the application corresponding to a user input, an operation of generating a one-frame image including the second execution screen in an N+2 frame period, and the display 210 in an N+3 frame period and controlling the DDI 230 to display a one-frame image including the second execution screen, wherein the controlling to the partial update driving state includes the first execution screen for the first execution screen in an M frame period.
  • the operation of controlling the partial update driving state may further include supplying a scan modulation signal to the DDI 230 to change the order in which the screens of the display 210 are scanned. .
  • the display 210 starts scanning the screen from the area where the second user input is received in response to the scan modulation signal by the DDI 230 . It may further include an operation for driving.
  • the operation of controlling the partial update driving state includes an operation of defining one frame period based on the first vertical synchronization signal V1 and an offset time specified by the first vertical synchronization signal V1.
  • the method may include generating data corresponding to the partial region based on the phase-delayed second vertical sync signal V2 and storing the data in the buffer memory 422 .
  • an output period of the first vertical synchronization signal V1 may be the same as an output period of the second vertical synchronization signal V2.
  • the operation of controlling the partial update driving state includes receiving a third user input during a period before the second vertical synchronization signal V2 is output during an M+1 frame period;
  • the method may further include generating the data based on a second user input and the third user input, and storing the data in the buffer memory 422 .
  • the method according to an embodiment may further include switching from the normal driving state to the partial update driving state in response to detecting a specified event.
  • the specified event may include an operation of executing a specified application.
  • the specified event may include detecting that the screen change between the previous frame and the current frame is less than a reference value for a specified time.
  • the designated event may include an operation of detecting that the stylus pen is removed from the electronic device 101 .
  • 6 is a view for explaining a driving timing of the electronic device 101 according to a normal driving state according to various embodiments of the present disclosure.
  • 7 is an example illustrating a response delay of the electronic device 101 in a normal driving state.
  • the DDI 230 (eg, the DDI 230 of FIG. 3 ) has a vertical sync signal Vsync, a timing signal TE, and/or a gate start pulse (GSP: gate start pulse) may be output, and this signal may be defined as a hardware vertical synchronization signal (HW sync).
  • Vsync a vertical sync signal
  • TE timing signal
  • GSP gate start pulse
  • this signal may be defined as a hardware vertical synchronization signal
  • HW sync hardware vertical synchronization signal
  • the electronic device may define one frame period based on the output timing of the vertical synchronization signal Vsync.
  • one frame period may be defined as a period between output timings of the vertical synchronization signal Vsync.
  • the display 210 of the electronic device 101 may update the screen in units of one frame period.
  • the order in which the electronic device 101 updates the screen of the display 210 in the normal driving state may be as follows.
  • the electronic device 101 may receive a user input 601 .
  • the user input 601 may be a user's touch input to the execution screen of the application.
  • the electronic device 101 may display an execution screen of an application and receive a user's touch input through the execution screen.
  • the user input 601 may be a pen (eg, an electromagnetic resonance pen, an active electrostatic pen, or a capacitive pen) input to an execution screen of an application. have.
  • the processor 120 of the electronic device 101 may generate the execution screen 602 by processing the user input 601 .
  • the application execution module 411 of the processor 120 may generate an execution screen 602 corresponding to the user input by processing the user input 601 received in the Nth frame period, which is the previous frame period. have.
  • the processor 120 of the electronic device 101 may generate a one-frame image 603 based on the generated execution screen 602 .
  • the frame image generating module 412 eg, the SurfaceFlinger module of the Android operating system
  • a one-frame image 603 may be generated.
  • the processor 120 transmits the one-frame image 603 to the DDI 230 in a blank period (not shown) between the N+2th frame period and the N+3th frame period. ) can be stored in the buffer memory 422 of the.
  • the DDI 230 may control the display 210 to display the one-frame image 604 with reference to the buffer memory 422 .
  • the one-frame image 604 displayed by the display 210 in the N+2th frame period may include an image resulting from processing the user input 601 received in the Nth frame period by the electronic device 101 . . Accordingly, in the normal driving state of the electronic device 101 , it may take about 3 frame periods from the time the user input 601 is received until the image is displayed as a result of processing the user input.
  • the refresh rate of the electronic device 101 may be 60 Hz, 120 Hz, or 240 Hz, and 3 frame periods (eg, about 50 ms when the refresh rate is 60 Hz) may feel short in an ordinary user environment.
  • 3 frame periods eg, about 50 ms when the refresh rate is 60 Hz
  • the electronic device 101 may display an execution screen of a drawing application and receive a drawing input 701 from a user.
  • the electronic device 101 When receiving the drawing input 701 in a normal driving state, the electronic device 101 displays an object 702 corresponding to the drawing input 701 on the display 210 (eg, the display module 160 of FIG. 1 ). can be displayed through 7 , when the display 210 is driven in the normal driving state, a response delay 711 of about 3 frame periods may occur in displaying the object 702 corresponding to the drawing input 701 . .
  • the electronic device 101 responds to a specified event, such as when a specified application is executed or when the rate of change between the previous frame and the next frame is less than the reference value, as shown in the example of FIG. 7 ,
  • the display can be controlled in a partial update driving state.
  • FIG. 8 is a view for explaining a driving timing of the electronic device 101 according to a partial update driving state according to various embodiments of the present disclosure.
  • the DDI 230 (eg, the DDI 230 of FIG. 3 ) has a vertical synchronization signal Vsync, a timing signal TE, and/or a gate start pulse (GSP: gate start pulse) may be output, and these signals may be defined as a hardware vertical synchronization signal HW sync (hereinafter, referred to as a first vertical synchronization signal V1).
  • Vsync vertical synchronization signal
  • TE timing signal
  • GSP gate start pulse
  • the processor 120 (eg, the processor 120 of FIG. 1 ) performs software vertical synchronization in which the phase is delayed by a specified time (eg, offset time OF) from the first vertical synchronization signal V1 .
  • a signal SW sync (hereinafter, referred to as a second vertical sync signal V2) may be output.
  • the output frequency of each of the first vertical synchronization signal V1 and the second vertical synchronization signal V2 is the same, and the output period of each of the first vertical synchronization signal V1 and the second vertical synchronization signal V2 is 1 frame period can be
  • each frame period in which the electronic device (eg, the electronic device 101 of FIG. 1 ) drives the display (eg, the display 210 of FIG. 3 ) is defined based on the first vertical synchronization signal can be
  • the display 210 may start scanning the screen in response to the first vertical synchronization signal.
  • the processor 120 generates data corresponding to the partial region based on the second vertical synchronization signal V2 and stores the data corresponding to the partial region in the buffer memory 422 of the DDI 230 . You can perform an operation to save to .
  • the operation of the processor 120 to store data corresponding to the partial region in the buffer memory 422 of the DDI 230 according to the second vertical synchronization signal V2 defines the start of each frame period. may be set to a previous time point (eg, time t2 and/or time t4) earlier than an output time (eg, time t1, time t3, and/or time t5) of the first vertical synchronization signal V1.
  • time t1 , time t3 , and/or time t5 may indicate an output time of the first vertical synchronization signal V1 .
  • the processor 120 stores data corresponding to the partial region in the buffer memory 422 of the DDI 230 according to the second vertical synchronization signal V2. may indicate a time point at which an operation to be performed is performed.
  • the electronic device 101 may define one frame period based on the output timing of the first vertical synchronization signal V1.
  • one frame period may be defined as a period between output timings of the first vertical synchronization signal V1.
  • the display 210 of the electronic device 101 may update the screen in units of one frame period.
  • the order in which the electronic device 101 updates the screen of the display 210 in the partial update driving state may be as follows.
  • the electronic device 101 may receive a user input 801 .
  • the user input 801 may be a user's touch input to the execution screen of the application.
  • the electronic device 101 may display an execution screen of an application and receive a user's touch input through the execution screen.
  • the processor 120 of the electronic device 101 may process the user input 801 to generate data 802 corresponding to the partial region.
  • the partial update module 413 of the processor 120 processes the user input 801 received in the M th frame period that is the previous frame period, and data corresponding to the partial region corresponding to the user input 801 . 802 may be created.
  • the processor 120 of the electronic device 101 receives the second vertical synchronization signal V2 delayed by the offset time OF from the first vertical synchronization signal V2 before being output.
  • the second user input 811 may be processed.
  • the processor 120 outputs the second vertical synchronization signal V2 from among the user inputs received in the M+1th frame period as well as the first user input 801 received in the Mth frame period.
  • Data 802 corresponding to the partial region may be generated by processing the previously received second user input 811 .
  • the processor 120 of the electronic device 101 may start calculating the partial region in response to the second vertical synchronization signal V2 .
  • the processor 120 may store the data 802 corresponding to the partial region in the buffer memory 422 of the DDI 230 .
  • the operation 803 of the processor 120 storing the data 802 corresponding to the partial region in the buffer memory 422 of the DDI 230 according to the second vertical synchronization signal V2 is the first operation (803).
  • the DDI 230 may control the display 210 to display a one-frame image 804 with reference to the buffer memory 422 .
  • the electronic device 101 In the one-frame image 804 displayed by the display 210 in the M+2th frame period, the electronic device 101 outputs the second vertical synchronization signal V2 during the Mth frame period and the M+1th frame period. It may include an image as a result of processing the user inputs 801 and 811 received before the process.
  • the partial update driving state of the electronic device 101 from the time when the user inputs 801 and 811 are received to the time the user inputs 801 and 811 are processed until the image is displayed as a result of the processing of the user inputs 801 and 811, about 1 frame period or about 2 frames It may take a period of time.
  • the partial update driving state of the electronic device 101 may reduce a response delay to the user inputs 801 and 811 compared to the normal driving state.
  • FIG. 9 is a flowchart illustrating an operation of the electronic device 101 according to various embodiments of the present disclosure.
  • FIG. 9 may be omitted. At least some operations mentioned with reference to other drawings in this document may be additionally inserted before or after at least some operations illustrated in FIG. 9 .
  • the operations illustrated in FIG. 9 may be performed by the processor 120 of the electronic device 101 .
  • the memory 130 of the electronic device 101 eg, the memory 130 of FIG. 1
  • when executed provides instructions that cause the processor 120 to perform at least some operations illustrated in FIG. 9 .
  • (instructions) can be saved.
  • the electronic device 101 may control the display 210 (eg, the display 210 of FIG. 3 ) to a normal driving state.
  • the electronic device 101 may execute an application and display an execution screen of the application through the display 210 .
  • the electronic device 101 may be in the normal driving state 600 of the electronic device 101 described with reference to FIG. 6 .
  • the electronic device 101 may determine whether a specified event is detected.
  • the specified event may include specified conditions for the electronic device 101 to switch to the partial update driving state.
  • the specified conditions may include an operation of executing the specified application. For example, when a drawing application is executed as a designated application, the electronic device 101 may determine that a designated event is detected. For example, when the drawing application is executed, the electronic device 101 may predict that a fast response speed will be required, and may switch to a partial update driving state.
  • the electronic device 101 may determine a designated application selected according to a user input from among a plurality of applications as an application controlling the partial update driving state. For example, the electronic device 101 may provide a setting screen (not shown) for selecting an application to be controlled in the partial update driving state, and display a designated application based on a user input through the setting screen in a partial update driving state. You can decide whether to set it as an application controlled by . The electronic device 101 may determine that the specified condition is satisfied when the currently executed application is set as an application controlling the partial update driving state.
  • the specified conditions may include an operation of determining that the screen change between the previous frame and the current frame during a specified time is less than a reference value.
  • the specified conditions are for detecting that the stylus pen 1101 is removed 1110 from the electronic device 101 (eg, the electronic device 101 of FIG. 1 ). It can include actions. As illustrated in FIG. 11 , the electronic device 101 may execute a drawing application 1120 in response to detecting that the stylus pen 1101 is removed 1110 , and drive the partial update of the display 210 . state can be controlled.
  • the electronic device 101 may perform operation 930 .
  • the electronic device 101 may perform operation 910 again.
  • the electronic device 101 may switch the display 210 to a partial update driving state.
  • the electronic device 101 may switch to the normal driving state 800 of the electronic device 101 described with reference to FIG. 8 .
  • the electronic device 101 may determine whether a specified event ends. For example, when the specified conditions described with reference to operation 920 are not satisfied, the electronic device 101 may determine that the specified event has ended. As another example, the electronic device 101 may detect a switch event. The processor 120 may switch the driving state of the display from the partial update driving state to the normal driving state in response to detecting a switch event.
  • the electronic device 101 may perform operation 950 when the specified event ends (eg, the result of operation 940 is “Yes”).
  • the electronic device 101 may perform operation 930 again.
  • the electronic device 101 may switch the display 210 to a normal driving state.
  • the electronic device 101 may switch to the normal driving state 600 of the electronic device 101 described with reference to FIG. 6 .
  • FIG. 10 is a flowchart illustrating an operation of the electronic device 101 according to various embodiments of the present disclosure.
  • FIG. 10 may be omitted. At least some operations mentioned with reference to other drawings in this document may be additionally inserted before or after at least some operations illustrated in FIG. 10 .
  • the operations illustrated in FIG. 10 may be performed by the processor 120 of the electronic device 101 .
  • the processor 120 eg, the processor 120 of FIG. 1
  • FIG. 10 Instructions for performing at least some of the illustrated operations may be stored.
  • the electronic device 101 displays a previous frame (eg, a previous frame image) displayed through the display 210 (eg, the display 210 of FIG. 3 ). ) and the current frame (eg, the current frame image).
  • a previous frame eg, a previous frame image
  • the current frame eg, the current frame image
  • the electronic device 101 may calculate a different partial area from a previous frame in the current frame. For example, the electronic device 101 may determine an area in which a screen is updated every frame as a partial area.
  • the electronic device 101 may check whether the ratio of the partial area in the full resolution of the display 210 is smaller than the reference ratio.
  • the reference ratio is set in consideration of a time during which the electronic device 101 processes data corresponding to the partial region in the partial update driving state and completes the writing operation of the data to the buffer memory 422 of the DDI 230 .
  • the electronic device 101 may check whether the ratio of the partial area is less than 10%, and the ratio of 10% is the data corresponding to the partial area within one frame period. It may be a value corresponding to a threshold time for processing and storage.
  • the electronic device 101 may perform operation 1040 .
  • the electronic device 101 may terminate the processing of FIG. 10 and maintain the normal driving state.
  • the electronic device 101 may switch the display 210 to a partial update driving state.
  • the electronic device 101 may switch to the partial update driving state 800 of the electronic device 101 described with reference to FIG. 8 .
  • FIG. 12 is a flowchart illustrating an operation of the electronic device 101 according to various embodiments of the present disclosure.
  • FIG. 12 may be omitted. At least some operations mentioned with reference to other drawings in this document may be additionally inserted before or after at least some operations illustrated in FIG. 12 .
  • the operations illustrated in FIG. 12 may be performed by the processor 120 of the electronic device 101 .
  • the processor 120 eg: The processor 120 of FIG. 1 may store instructions for performing at least some operations illustrated in FIG. 12 .
  • the electronic device 101 may start controlling the display 210 in a normal driving state. For example, the electronic device 101 may execute an application and display an execution screen of the application through the display 210 .
  • the processor 120 of the electronic device 101 may receive a first user input in an Nth frame period.
  • the first user input may be a user's touch input to an execution screen (eg, a first execution screen) of an application.
  • the electronic device 101 may display an execution screen of an application and receive a user's touch input through the execution screen.
  • operation 1220 may be the same as or similar to the Nth frame period illustrated in FIG. 6 .
  • the processor 120 of the electronic device 101 may generate an execution screen (eg, a second execution screen) by processing the first user input in the (N+1)th frame period.
  • the application execution module 411 of the processor 120 may generate an execution screen corresponding to the user input by processing the user input received in the Nth frame period that is the previous frame period.
  • operation 1230 may be the same as or similar to the N+1th frame period illustrated in FIG. 6 .
  • the processor 120 of the electronic device 101 may generate a one-frame image based on the generated execution screen (eg, a second execution screen) in the N+2th frame period.
  • the frame image generating module 412 eg, the SurfaceFlinger module of the Android operating system
  • the processor 120 may store the one-frame image in the buffer memory 422 of the DDI 230 .
  • operation 1240 may be the same as or similar to the N+2th frame period illustrated in FIG. 6 .
  • the processor 120 of the electronic device 101 causes the display 210 (or the DDI 230 ) to display a one-frame image with reference to the buffer memory 422 in the N+3 th frame period.
  • the one-frame image displayed by the display 210 in the N+2th frame period may include the second execution screen as a result of the electronic device 101 processing the first user input received in the Nth frame period.
  • operation 1250 may be the same as or similar to the N+3th frame period illustrated in FIG. 6 .
  • FIG. 13 is a flowchart illustrating an operation of the electronic device 101 according to various embodiments of the present disclosure.
  • FIG. 13 may be omitted. At least some operations mentioned with reference to other drawings in this document may be additionally inserted before or after at least some operations illustrated in FIG. 13 .
  • the operations illustrated in FIG. 13 may be performed by the processor 120 (eg, the processor 120 of FIG. 1 ) of the electronic device 101 (eg, the electronic device 101 of FIG. 1 ).
  • the memory 130 of the electronic device 101 eg, the memory 130 of FIG. 1
  • when executed provides instructions that cause the processor 120 to perform at least some operations illustrated in FIG. 13 .
  • (instructions) can be saved.
  • the electronic device 101 may start controlling the display 210 in the partial update driving state.
  • the electronic device 101 may receive the second user input in the Mth frame period.
  • the second user input may be a user's touch input to an execution screen (eg, a first execution screen) of an application.
  • operation 1320 may be the same as or similar to the Mth frame period illustrated in FIG. 8 .
  • the processor 120 of the electronic device 101 may process a user input to generate data corresponding to the partial region.
  • the partial update module 413 of the processor 120 may generate data corresponding to a partial region corresponding to the user input by processing the user input received in the Mth frame period that is the previous frame period.
  • the electronic device 101 may store data corresponding to the partial region in the buffer memory 422 of the DDI 230 .
  • operations 1330 and 1340 may be the same as or similar to the M+1th frame period illustrated in FIG. 8 .
  • the electronic device 101 controls the DDI 230 to display a partial region corresponding to the second user input in the M+2 th frame period, and control the remaining regions to self-drive.
  • the DDI 230 may control the display 210 to display a one-frame image with reference to the buffer memory 422 .
  • a partial region may be included as an image as a result of processing the received user input.
  • data of an area other than the data of the partial area may be data of a previous frame.
  • the remaining area excluding the partial area may drive the display 210 to display data of a previous frame.
  • the DDI 230 may drive the display 210 to display the same frame image as the first execution screen displayed in the Mth frame period in the remaining area except for the partial area.
  • the electronic device 101 may control the scan order of the display 210 to start from the partial region in the M+2 th frame period. For example, in the partial update driving state, the electronic device 101 outputs a modulation start pulse MGSP, so that, as indicated by the reference numeral 2 in FIG. 5 , a designated gate driving circuit (eg: The gate signal may be sequentially output from the K-th gate driving circuit 430 -K of FIG. 5 .
  • a designated gate driving circuit eg: The gate signal may be sequentially output from the K-th gate driving circuit 430 -K of FIG. 5 .
  • operations 1350 and 1360 may be the same as or similar to the M+2 th frame period illustrated in FIG. 8 .

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 발명은 화면의 부분 영역을 빠르게 업데이트하는 전자 장치 및 방법에 관한 것으로, 프로세서는 노말 구동 상태로서, 제1 실행 화면에 대한 제1 사용자 입력을 수신하고, 제1 사용자 입력에 대응하는 제2 실행 화면을 생성하고, 제2 실행 화면을 포함한 1 프레임 이미지를 생성하고, 디스플레이가 제2 실행 화면을 포함한 1 프레임 이미지를 표시하도록 DDI를 제어하고, 부분 업데이트 구동 상태로서, 제1 실행 화면에 대한 제2 사용자 입력을 수신하고, 제2 사용자 입력에 대응하는 부분 영역의 데이터를 생성하고, 데이터를 버퍼 메모리에 저장하고, 디스플레이가 버퍼 메모리를 참조하여 부분 영역을 표시하되, 부분 영역을 제외한 나머지 영역은 제1 실행 화면과 동일하게 표시하도록 DDI를 제어할 수 있다.

Description

화면의 부분 영역을 빠르게 업데이트하는 전자 장치 및 방법
본 발명의 다양한 실시예들은 화면의 부분 영역을 빠르게 업데이트하는 전자 장치 및 방법에 관한 것이다.
전자 장치(electronic device)는 디스플레이 패널(display panel)을 통해 이미지, 텍스트 등과 같은 다양한 화면을 표시할 수 있다.
MIPI DSI(mobile industry processor interface, display serial interface)는 스마트폰(smartphone), 태블릿 PC(tablet personal computer), 또는 스마트 워치(smart watch) 등과 같은 휴대용 전자 장치를 위한 디스플레이 표준이다.
MIPI DSI는 디스플레이 표준으로서, 비디오 모드(video mode)와 커맨드 모드(command mode)를 포함할 수 있다.
비디오 모드에서, 호스트(예: 프로세서)는 실시간으로 이미지 프레임을 디스플레이 드라이버 IC로 전송할 수 있다. 예를 들면, 상기 비디오 모드에서, 호스트는 디스플레이 패널에서 표시될 영상이 정지 영상인 경우에도 상기 정지 영상에 대응하는 동일한 이미지 프레임을 반복하여 상기 디스플레이 드라이버 IC로 전송할 수 있다.
커맨드 모드에서 이미지 프레임의 전송 시작은 상기 디스플레이 드라이버 IC로부터 출력된 TE(tearing effect) 신호에 의해 제어될 수 있다. 호스트(예: 프로세서)는 상기 디스플레이 드라이버 IC로부터 출력된 타이밍 신호(예: TE 신호)에 기반하여 상기 디스플레이 드라이버 IC로 전송하는 이미지 프레임의 전송 타이밍(예: 리프레쉬 레이트(refresh rate))을 제어할 수 있다.
전자 장치는 디스플레이 패널의 해상도가 점점 증가하고, 고속 주파수 구동(예: 60Hz~120Hz)을 지원하도록 개발되고 있다.
전자 장치의 활용 범위가 확대됨에 따라, 전자 장치는 단순히 정보를 표시하는 역할 뿐만 아니라, 다양한 사용자 경험 또는 사용자 인터렉션(interaction)을 보다 빠른 반응 속도로 제공하는 것에 대한 연구개발이 지속적으로 필요하다.
본 발명의 다양한 실시예들은 화면의 부분 영역을 빠르게 업데이트하는 전자 장치 및 방법을 제공할 수 있다.
다양한 실시예들에 따른 전자 장치는, 디스플레이, 버퍼 메모리를 포함하는 DDI(display driver IC), 및 프로세서를 포함하고, 상기 프로세서는, 노말 구동 상태로서, N 프레임 기간에 어플리케이션의 제 1 실행 화면에 대한 제 1 사용자 입력을 수신하고, N+1 프레임 기간에 상기 제 1 사용자 입력에 대응하는 상기 어플리케이션의 제 2 실행 화면을 생성하고, N+2 프레임 기간에 상기 제 2 실행 화면을 포함한 1 프레임 이미지를 생성하고, 및 N+3 프레임 기간에 상기 디스플레이가 상기 제 2 실행 화면을 포함한 1 프레임 이미지를 표시하도록 상기 DDI를 제어하고, 상기 프로세서는, 부분 업데이트 구동 상태로서, M 프레임 기간에 상기 제 1 실행 화면에 대한 제 2 사용자 입력을 수신하고, M+1 프레임 기간에 상기 제 2 사용자 입력에 대응하는 부분 영역의 데이터를 생성하고, 상기 데이터를 상기 버퍼 메모리에 저장하고, 및 M+2 프레임 기간에 상기 디스플레이가 상기 버퍼 메모리를 참조하여 상기 부분 영역을 표시하되, 상기 부분 영역을 제외한 나머지 영역은 상기 제 1 실행 화면과 동일하게 표시하도록 상기 DDI를 제어할 수 있다.
본 발명의 다양한 실시예들에 따른 디스플레이, 및 버퍼 메모리를 포함하는 DDI(display driver IC)를 포함한 전자 장치의 방법은, 상기 디스플레이를 노말 구동 상태로 제어하는 동작, 및 상기 디스플레이를 부분 업데이트 구동 상태로 제어하는 동작을 포함하고, 상기 노말 구동 상태로 제어하는 동작은, N 프레임 기간에 어플리케이션의 제 1 실행 화면에 대한 제 1 사용자 입력을 수신하는 동작, N+1 프레임 기간에 상기 제 1 사용자 입력에 대응하는 상기 어플리케이션의 제 2 실행 화면을 생성하는 동작, N+2 프레임 기간에 상기 제 2 실행 화면을 포함한 1 프레임 이미지를 생성하는 동작, 및 N+3 프레임 기간에 상기 디스플레이가 상기 제 2 실행 화면을 포함한 1 프레임 이미지를 표시하도록 상기 DDI를 제어하는 동작을 포함하고, 상기 부분 업데이트 구동 상태로 제어하는 동작은, M 프레임 기간에 상기 제 1 실행 화면에 대한 제 2 사용자 입력을 수신하는 동작, M+1 프레임 기간에 상기 제 2 사용자 입력에 대응하는 부분 영역의 데이터를 생성하고, 상기 데이터를 상기 버퍼 메모리에 저장하는 동작, 및 M+2 프레임 기간에 상기 디스플레이가 상기 버퍼 메모리를 참조하여 상기 부분 영역을 표시하되, 상기 부분 영역을 제외한 나머지 영역은 상기 제 1 실행 화면과 동일하게 표시하도록 상기 DDI를 제어하는 동작을 포함 할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치는 지정된 조건 또는 실행 환경에서 화면의 부분 영역을 빠르게 업데이트함으로써, 보다 향상된 사용자 경험 및 사용자 인터렉션 기능을 제공할 수 있다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경 내의 전자 장치의 블록도이다.
도 2는 다양한 실시예들에 따른, 표시 장치의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 전자 장치의 블록도이다.
도 4는 본 발명의 일 실시예에 따른 전자 장치의 구체적인 블록도이다.
도 5는 본 발명의 일 실시예에 따른 디스플레이의 블록도이다.
도 6은 다양한 실시예들에 따른 노말 구동 상태에 따른 전자 장치의 구동 타이밍을 설명한 도면이다.
도 7은 노말 구동 상태에서 전자 장치의 응답 지연을 설명한 예시이다.
도 8은 다양한 실시예들에 따른 부분 업데이트 구동 상태에 따른 전자 장치의 구동 타이밍을 설명한 도면이다.
도 9는 다양한 실시예들에 따른 전자 장치의 동작을 나타낸 흐름도이다.
도 10는 다양한 실시예들에 따른 전자 장치의 동작을 나타낸 흐름도이다.
도 11은 일 실시예에 따른 전자 장치가, 지정된 이벤트로서 스타일러스 펜의 탈거를 감지하는 동작을 설명한 예시이다.
도 12는 다양한 실시예들에 따른 전자 장치의 동작을 나타낸 흐름도이다.
도 13는 다양한 실시예들에 따른 전자 장치의 동작을 나타낸 흐름도이다.
도 1은, 다양한 실시예들에 따른, 네트워크 환경(100) 내의 전자 장치(101)의 블록도이다. 도 1을 참조하면, 네트워크 환경(100)에서 전자 장치(101)는 제 1 네트워크(198)(예: 근거리 무선 통신 네트워크)를 통하여 전자 장치(102)와 통신하거나, 또는 제 2 네트워크(199)(예: 원거리 무선 통신 네트워크)를 통하여 전자 장치(104) 또는 서버(108)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 서버(108)를 통하여 전자 장치(104)와 통신할 수 있다. 일 실시예에 따르면, 전자 장치(101)는 프로세서(120), 메모리(130), 입력 모듈(150), 음향 출력 모듈(155), 디스플레이 모듈(160), 오디오 모듈(170), 센서 모듈(176), 인터페이스(177), 연결 단자(178), 햅틱 모듈(179), 카메라 모듈(180), 전력 관리 모듈(188), 배터리(189), 통신 모듈(190), 가입자 식별 모듈(196), 또는 안테나 모듈(197)을 포함할 수 있다. 어떤 실시예에서는, 전자 장치(101)에는, 이 구성요소들 중 적어도 하나(예: 연결 단자(178))가 생략되거나, 하나 이상의 다른 구성요소가 추가될 수 있다. 어떤 실시예에서는, 이 구성요소들 중 일부들(예: 센서 모듈(176), 카메라 모듈(180), 또는 안테나 모듈(197))은 하나의 구성요소(예: 디스플레이 모듈(160))로 통합될 수 있다.
프로세서(120)는, 예를 들면, 소프트웨어(예: 프로그램(140))를 실행하여 프로세서(120)에 연결된 전자 장치(101)의 적어도 하나의 다른 구성요소(예: 하드웨어 또는 소프트웨어 구성요소)를 제어할 수 있고, 다양한 데이터 처리 또는 연산을 수행할 수 있다. 일 실시예에 따르면, 데이터 처리 또는 연산의 적어도 일부로서, 프로세서(120)는 다른 구성요소(예: 센서 모듈(176) 또는 통신 모듈(190))로부터 수신된 명령 또는 데이터를 휘발성 메모리(132)에 저장하고, 휘발성 메모리(132)에 저장된 명령 또는 데이터를 처리하고, 결과 데이터를 비휘발성 메모리(134)에 저장할 수 있다. 일 실시예에 따르면, 프로세서(120)는 메인 프로세서(121)(예: 중앙 처리 장치 또는 어플리케이션 프로세서) 또는 이와는 독립적으로 또는 함께 운영 가능한 보조 프로세서(123)(예: 그래픽 처리 장치, 신경망 처리 장치(NPU: neural processing unit), 이미지 시그널 프로세서, 센서 허브 프로세서, 또는 커뮤니케이션 프로세서)를 포함할 수 있다. 예를 들어, 전자 장치(101)가 메인 프로세서(121) 및 보조 프로세서(123)를 포함하는 경우, 보조 프로세서(123)는 메인 프로세서(121)보다 저전력을 사용하거나, 지정된 기능에 특화되도록 설정될 수 있다. 보조 프로세서(123)는 메인 프로세서(121)와 별개로, 또는 그 일부로서 구현될 수 있다.
보조 프로세서(123)는, 예를 들면, 메인 프로세서(121)가 인액티브(예: 슬립) 상태에 있는 동안 메인 프로세서(121)를 대신하여, 또는 메인 프로세서(121)가 액티브(예: 어플리케이션 실행) 상태에 있는 동안 메인 프로세서(121)와 함께, 전자 장치(101)의 구성요소들 중 적어도 하나의 구성요소(예: 디스플레이 모듈(160), 센서 모듈(176), 또는 통신 모듈(190))와 관련된 기능 또는 상태들의 적어도 일부를 제어할 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 이미지 시그널 프로세서 또는 커뮤니케이션 프로세서)는 기능적으로 관련 있는 다른 구성요소(예: 카메라 모듈(180) 또는 통신 모듈(190))의 일부로서 구현될 수 있다. 일 실시예에 따르면, 보조 프로세서(123)(예: 신경망 처리 장치)는 인공지능 모델의 처리에 특화된 하드웨어 구조를 포함할 수 있다. 인공지능 모델은 기계 학습을 통해 생성될 수 있다. 이러한 학습은, 예를 들어, 인공지능이 수행되는 전자 장치(101) 자체에서 수행될 수 있고, 별도의 서버(예: 서버(108))를 통해 수행될 수도 있다. 학습 알고리즘은, 예를 들어, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)을 포함할 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은, 복수의 인공 신경망 레이어들을 포함할 수 있다. 인공 신경망은 심층 신경망(DNN: deep neural network), CNN(convolutional neural network), RNN(recurrent neural network), RBM(restricted boltzmann machine), DBN(deep belief network), BRDNN(bidirectional recurrent deep neural network), 심층 Q-네트워크(deep Q-networks) 또는 상기 중 둘 이상의 조합 중 하나일 수 있으나, 전술한 예에 한정되지 않는다. 인공지능 모델은 하드웨어 구조 이외에, 추가적으로 또는 대체적으로, 소프트웨어 구조를 포함할 수 있다.
메모리(130)는, 전자 장치(101)의 적어도 하나의 구성요소(예: 프로세서(120) 또는 센서 모듈(176))에 의해 사용되는 다양한 데이터를 저장할 수 있다. 데이터는, 예를 들어, 소프트웨어(예: 프로그램(140)) 및, 이와 관련된 명령에 대한 입력 데이터 또는 출력 데이터를 포함할 수 있다. 메모리(130)는, 휘발성 메모리(132) 또는 비휘발성 메모리(134)를 포함할 수 있다.
프로그램(140)은 메모리(130)에 소프트웨어로서 저장될 수 있으며, 예를 들면, 운영 체제(142), 미들 웨어(144) 또는 어플리케이션(146)을 포함할 수 있다.
입력 모듈(150)은, 전자 장치(101)의 구성요소(예: 프로세서(120))에 사용될 명령 또는 데이터를 전자 장치(101)의 외부(예: 사용자)로부터 수신할 수 있다. 입력 모듈(150)은, 예를 들면, 마이크, 마우스, 키보드, 키(예: 버튼), 또는 디지털 펜(예: 스타일러스 펜)을 포함할 수 있다.
음향 출력 모듈(155)은 음향 신호를 전자 장치(101)의 외부로 출력할 수 있다. 음향 출력 모듈(155)은, 예를 들면, 스피커 또는 리시버를 포함할 수 있다. 스피커는 멀티미디어 재생 또는 녹음 재생과 같이 일반적인 용도로 사용될 수 있다. 리시버는 착신 전화를 수신하기 위해 사용될 수 있다. 일 실시예에 따르면, 리시버는 스피커와 별개로, 또는 그 일부로서 구현될 수 있다.
디스플레이 모듈(160)은 전자 장치(101)의 외부(예: 사용자)로 정보를 시각적으로 제공할 수 있다. 디스플레이 모듈(160)은, 예를 들면, 디스플레이, 홀로그램 장치, 또는 프로젝터 및 해당 장치를 제어하기 위한 제어 회로를 포함할 수 있다. 일 실시예에 따르면, 디스플레이 모듈(160)은 터치를 감지하도록 설정된 터치 센서, 또는 상기 터치에 의해 발생되는 힘의 세기를 측정하도록 설정된 압력 센서를 포함할 수 있다.
오디오 모듈(170)은 소리를 전기 신호로 변환시키거나, 반대로 전기 신호를 소리로 변환시킬 수 있다. 일 실시예에 따르면, 오디오 모듈(170)은, 입력 모듈(150)을 통해 소리를 획득하거나, 음향 출력 모듈(155), 또는 전자 장치(101)와 직접 또는 무선으로 연결된 외부 전자 장치(예: 전자 장치(102))(예: 스피커 또는 헤드폰)를 통해 소리를 출력할 수 있다.
센서 모듈(176)은 전자 장치(101)의 작동 상태(예: 전력 또는 온도), 또는 외부의 환경 상태(예: 사용자 상태)를 감지하고, 감지된 상태에 대응하는 전기 신호 또는 데이터 값을 생성할 수 있다. 일 실시예에 따르면, 센서 모듈(176)은, 예를 들면, 제스처 센서, 자이로 센서, 기압 센서, 마그네틱 센서, 가속도 센서, 그립 센서, 근접 센서, 컬러 센서, IR(infrared) 센서, 생체 센서, 온도 센서, 습도 센서, 또는 조도 센서를 포함할 수 있다.
인터페이스(177)는 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 직접 또는 무선으로 연결되기 위해 사용될 수 있는 하나 이상의 지정된 프로토콜들을 지원할 수 있다. 일 실시예에 따르면, 인터페이스(177)는, 예를 들면, HDMI(high definition multimedia interface), USB(universal serial bus) 인터페이스, SD카드 인터페이스, 또는 오디오 인터페이스를 포함할 수 있다.
연결 단자(178)는, 그를 통해서 전자 장치(101)가 외부 전자 장치(예: 전자 장치(102))와 물리적으로 연결될 수 있는 커넥터를 포함할 수 있다. 일 실시예에 따르면, 연결 단자(178)는, 예를 들면, HDMI 커넥터, USB 커넥터, SD 카드 커넥터, 또는 오디오 커넥터(예: 헤드폰 커넥터)를 포함할 수 있다.
햅틱 모듈(179)은 전기적 신호를 사용자가 촉각 또는 운동 감각을 통해서 인지할 수 있는 기계적인 자극(예: 진동 또는 움직임) 또는 전기적인 자극으로 변환할 수 있다. 일 실시예에 따르면, 햅틱 모듈(179)은, 예를 들면, 모터, 압전 소자, 또는 전기 자극 장치를 포함할 수 있다.
카메라 모듈(180)은 정지 영상 및 동영상을 촬영할 수 있다. 일 실시예에 따르면, 카메라 모듈(180)은 하나 이상의 렌즈들, 이미지 센서들, 이미지 시그널 프로세서들, 또는 플래시들을 포함할 수 있다.
전력 관리 모듈(188)은 전자 장치(101)에 공급되는 전력을 관리할 수 있다. 일 실시예에 따르면, 전력 관리 모듈(188)은, 예를 들면, PMIC(power management integrated circuit)의 적어도 일부로서 구현될 수 있다.
배터리(189)는 전자 장치(101)의 적어도 하나의 구성요소에 전력을 공급할 수 있다. 일 실시예에 따르면, 배터리(189)는, 예를 들면, 재충전 불가능한 1차 전지, 재충전 가능한 2차 전지 또는 연료 전지를 포함할 수 있다.
통신 모듈(190)은 전자 장치(101)와 외부 전자 장치(예: 전자 장치(102), 전자 장치(104), 또는 서버(108)) 간의 직접(예: 유선) 통신 채널 또는 무선 통신 채널의 수립, 및 수립된 통신 채널을 통한 통신 수행을 지원할 수 있다. 통신 모듈(190)은 프로세서(120)(예: 어플리케이션 프로세서)와 독립적으로 운영되고, 직접(예: 유선) 통신 또는 무선 통신을 지원하는 하나 이상의 커뮤니케이션 프로세서를 포함할 수 있다. 일 실시예에 따르면, 통신 모듈(190)은 무선 통신 모듈(192)(예: 셀룰러 통신 모듈, 근거리 무선 통신 모듈, 또는 GNSS(global navigation satellite system) 통신 모듈) 또는 유선 통신 모듈(194)(예: LAN(local area network) 통신 모듈, 또는 전력선 통신 모듈)을 포함할 수 있다. 이들 통신 모듈 중 해당하는 통신 모듈은 제 1 네트워크(198)(예: 블루투스, WiFi(wireless fidelity) direct 또는 IrDA(infrared data association)와 같은 근거리 통신 네트워크) 또는 제 2 네트워크(199)(예: 레거시 셀룰러 네트워크, 5G 네트워크, 차세대 통신 네트워크, 인터넷, 또는 컴퓨터 네트워크(예: LAN 또는 WAN)와 같은 원거리 통신 네트워크)를 통하여 외부의 전자 장치(104)와 통신할 수 있다. 이런 여러 종류의 통신 모듈들은 하나의 구성요소(예: 단일 칩)로 통합되거나, 또는 서로 별도의 복수의 구성요소들(예: 복수 칩들)로 구현될 수 있다. 무선 통신 모듈(192)은 가입자 식별 모듈(196)에 저장된 가입자 정보(예: 국제 모바일 가입자 식별자(IMSI))를 이용하여 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크 내에서 전자 장치(101)를 확인 또는 인증할 수 있다.
무선 통신 모듈(192)은 4G 네트워크 이후의 5G 네트워크 및 차세대 통신 기술, 예를 들어, NR 접속 기술(new radio access technology)을 지원할 수 있다. NR 접속 기술은 고용량 데이터의 고속 전송(eMBB(enhanced mobile broadband)), 단말 전력 최소화와 다수 단말의 접속(mMTC(massive machine type communications)), 또는 고신뢰도와 저지연(URLLC(ultra-reliable and low-latency communications))을 지원할 수 있다. 무선 통신 모듈(192)은, 예를 들어, 높은 데이터 전송률 달성을 위해, 고주파 대역(예: mmWave 대역)을 지원할 수 있다. 무선 통신 모듈(192)은 고주파 대역에서의 성능 확보를 위한 다양한 기술들, 예를 들어, 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO(multiple-input and multiple-output)), 전차원 다중입출력(FD-MIMO: full dimensional MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 또는 대규모 안테나(large scale antenna)와 같은 기술들을 지원할 수 있다. 무선 통신 모듈(192)은 전자 장치(101), 외부 전자 장치(예: 전자 장치(104)) 또는 네트워크 시스템(예: 제 2 네트워크(199))에 규정되는 다양한 요구사항을 지원할 수 있다. 일 실시예에 따르면, 무선 통신 모듈(192)은 eMBB 실현을 위한 Peak data rate(예: 20Gbps 이상), mMTC 실현을 위한 손실 Coverage(예: 164dB 이하), 또는 URLLC 실현을 위한 U-plane latency(예: 다운링크(DL) 및 업링크(UL) 각각 0.5ms 이하, 또는 라운드 트립 1ms 이하)를 지원할 수 있다.
안테나 모듈(197)은 신호 또는 전력을 외부(예: 외부의 전자 장치)로 송신하거나 외부로부터 수신할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 서브스트레이트(예: PCB) 위에 형성된 도전체 또는 도전성 패턴으로 이루어진 방사체를 포함하는 안테나를 포함할 수 있다. 일 실시예에 따르면, 안테나 모듈(197)은 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다. 이런 경우, 제 1 네트워크(198) 또는 제 2 네트워크(199)와 같은 통신 네트워크에서 사용되는 통신 방식에 적합한 적어도 하나의 안테나가, 예를 들면, 통신 모듈(190)에 의하여 상기 복수의 안테나들로부터 선택될 수 있다. 신호 또는 전력은 상기 선택된 적어도 하나의 안테나를 통하여 통신 모듈(190)과 외부의 전자 장치 간에 송신되거나 수신될 수 있다. 어떤 실시예에 따르면, 방사체 이외에 다른 부품(예: RFIC(radio frequency integrated circuit))이 추가로 안테나 모듈(197)의 일부로 형성될 수 있다.
다양한 실시예에 따르면, 안테나 모듈(197)은 mmWave 안테나 모듈을 형성할 수 있다. 일 실시예에 따르면, mmWave 안테나 모듈은 인쇄 회로 기판, 상기 인쇄 회로 기판의 제 1 면(예: 아래 면)에 또는 그에 인접하여 배치되고 지정된 고주파 대역(예: mmWave 대역)을 지원할 수 있는 RFIC, 및 상기 인쇄 회로 기판의 제 2 면(예: 윗 면 또는 측 면)에 또는 그에 인접하여 배치되고 상기 지정된 고주파 대역의 신호를 송신 또는 수신할 수 있는 복수의 안테나들(예: 어레이 안테나)을 포함할 수 있다.
상기 구성요소들 중 적어도 일부는 주변 기기들간 통신 방식(예: 버스, GPIO(general purpose input and output), SPI(serial peripheral interface), 또는 MIPI(mobile industry processor interface))을 통해 서로 연결되고 신호(예: 명령 또는 데이터)를 상호간에 교환할 수 있다.
일 실시예에 따르면, 명령 또는 데이터는 제 2 네트워크(199)에 연결된 서버(108)를 통해서 전자 장치(101)와 외부의 전자 장치(104)간에 송신 또는 수신될 수 있다. 외부의 전자 장치(102, 또는 104) 각각은 전자 장치(101)와 동일한 또는 다른 종류의 장치일 수 있다. 일 실시예에 따르면, 전자 장치(101)에서 실행되는 동작들의 전부 또는 일부는 외부의 전자 장치들(102, 104, 또는 108) 중 하나 이상의 외부의 전자 장치들에서 실행될 수 있다. 예를 들면, 전자 장치(101)가 어떤 기능이나 서비스를 자동으로, 또는 사용자 또는 다른 장치로부터의 요청에 반응하여 수행해야 할 경우에, 전자 장치(101)는 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 하나 이상의 외부의 전자 장치들에게 그 기능 또는 그 서비스의 적어도 일부를 수행하라고 요청할 수 있다. 상기 요청을 수신한 하나 이상의 외부의 전자 장치들은 요청된 기능 또는 서비스의 적어도 일부, 또는 상기 요청과 관련된 추가 기능 또는 서비스를 실행하고, 그 실행의 결과를 전자 장치(101)로 전달할 수 있다. 전자 장치(101)는 상기 결과를, 그대로 또는 추가적으로 처리하여, 상기 요청에 대한 응답의 적어도 일부로서 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 모바일 에지 컴퓨팅(MEC: mobile edge computing), 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다. 전자 장치(101)는, 예를 들어, 분산 컴퓨팅 또는 모바일 에지 컴퓨팅을 이용하여 초저지연 서비스를 제공할 수 있다. 다른 실시예에 있어서, 외부의 전자 장치(104)는 IoT(internet of things) 기기를 포함할 수 있다. 서버(108)는 기계 학습 및/또는 신경망을 이용한 지능형 서버일 수 있다. 일 실시예에 따르면, 외부의 전자 장치(104) 또는 서버(108)는 제 2 네트워크(199) 내에 포함될 수 있다. 전자 장치(101)는 5G 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예: 스마트 홈, 스마트 시티, 스마트 카, 또는 헬스 케어)에 적용될 수 있다.
본 문서에 개시된 다양한 실시예들에 따른 전자 장치는 다양한 형태의 장치가 될 수 있다. 전자 장치는, 예를 들면, 휴대용 통신 장치(예: 스마트폰), 컴퓨터 장치, 휴대용 멀티미디어 장치, 휴대용 의료 기기, 카메라, 웨어러블 장치, 또는 가전 장치를 포함할 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다.
본 문서의 다양한 실시예들 및 이에 사용된 용어들은 본 문서에 기재된 기술적 특징들을 특정한 실시예들로 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 또는 관련된 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 아이템에 대응하는 명사의 단수 형은 관련된 문맥상 명백하게 다르게 지시하지 않는 한, 상기 아이템 한 개 또는 복수 개를 포함할 수 있다. 본 문서에서, "A 또는 B", "A 및 B 중 적어도 하나", "A 또는 B 중 적어도 하나", "A, B 또는 C", "A, B 및 C 중 적어도 하나", 및 "A, B, 또는 C 중 적어도 하나"와 같은 문구들 각각은 그 문구들 중 해당하는 문구에 함께 나열된 항목들 중 어느 하나, 또는 그들의 모든 가능한 조합을 포함할 수 있다. "제 1", "제 2", 또는 "첫째" 또는 "둘째"와 같은 용어들은 단순히 해당 구성요소를 다른 해당 구성요소와 구분하기 위해 사용될 수 있으며, 해당 구성요소들을 다른 측면(예: 중요성 또는 순서)에서 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에, "기능적으로" 또는 "통신적으로"라는 용어와 함께 또는 이런 용어 없이, "커플드" 또는 "커넥티드"라고 언급된 경우, 그것은 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로(예: 유선으로), 무선으로, 또는 제 3 구성요소를 통하여 연결될 수 있다는 것을 의미한다.
본 문서의 다양한 실시예들에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구현된 유닛을 포함할 수 있으며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로와 같은 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는, 상기 부품의 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 일 실시예에 따르면, 모듈은 ASIC(application-specific integrated circuit)의 형태로 구현될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 전자 장치(101)) 의해 읽을 수 있는 저장 매체(storage medium)(예: 내장 메모리(136) 또는 외장 메모리(138))에 저장된 하나 이상의 명령어들을 포함하는 소프트웨어(예: 프로그램(140))로서 구현될 수 있다. 예를 들면, 기기(예: 전자 장치(101))의 프로세서(예: 프로세서(120))는, 저장 매체로부터 저장된 하나 이상의 명령어들 중 적어도 하나의 명령을 호출하고, 그것을 실행할 수 있다. 이것은 기기가 상기 호출된 적어도 하나의 명령어에 따라 적어도 하나의 기능을 수행하도록 운영되는 것을 가능하게 한다. 상기 하나 이상의 명령어들은 컴파일러에 의해 생성된 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장 매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장 매체가 실재(tangible)하는 장치이고, 신호(signal)(예: 전자기파)를 포함하지 않는다는 것을 의미할 뿐이며, 이 용어는 데이터가 저장 매체에 반영구적으로 저장되는 경우와 임시적으로 저장되는 경우를 구분하지 않는다.
일 실시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory(CD-ROM))의 형태로 배포되거나, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 또는 두 개의 사용자 장치들(예: 스마트 폰들) 간에 직접, 온라인으로 배포(예: 다운로드 또는 업로드)될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 기기로 읽을 수 있는 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따르면, 상기 기술한 구성요소들의 각각의 구성요소(예: 모듈 또는 프로그램)는 단수 또는 복수의 개체를 포함할 수 있으며, 복수의 개체 중 일부는 다른 구성요소에 분리 배치될 수도 있다. 다양한 실시예들에 따르면, 전술한 해당 구성요소들 중 하나 이상의 구성요소들 또는 동작들이 생략되거나, 또는 하나 이상의 다른 구성요소들 또는 동작들이 추가될 수 있다. 대체적으로 또는 추가적으로, 복수의 구성요소들(예: 모듈 또는 프로그램)은 하나의 구성요소로 통합될 수 있다. 이런 경우, 통합된 구성요소는 상기 복수의 구성요소들 각각의 구성요소의 하나 이상의 기능들을 상기 통합 이전에 상기 복수의 구성요소들 중 해당 구성요소에 의해 수행되는 것과 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따르면, 모듈, 프로그램 또는 다른 구성요소에 의해 수행되는 동작들은 순차적으로, 병렬적으로, 반복적으로, 또는 휴리스틱하게 실행되거나, 상기 동작들 중 하나 이상이 다른 순서로 실행되거나, 생략되거나, 또는 하나 이상의 다른 동작들이 추가될 수 있다.
도 2는 다양한 실시예들에 따른, 표시 장치(160)의 블록도(200)이다. 도 2를 참조하면, 표시 장치(160)(예: 도 1의 디스플레이 모듈(160))는 디스플레이(210), 및 이를 제어하기 위한 디스플레이 드라이버 IC(DDI: display driver IC)(230)를 포함할 수 있다. DDI(230)는 인터페이스 모듈(231), 메모리(233)(예: 도 5의 버퍼 메모리(422)), 이미지 처리 모듈(235), 또는 맵핑 모듈(237)을 포함할 수 있다. DDI(230)은, 예를 들면, 인터페이스 모듈(231)을 통하여 프로세서(120)(예: 메인 프로세서(121)(예: 어플리케이션 프로세서(120)) 또는 메인 프로세서(121)의 기능과 독립적으로 운영되는 보조 프로세서(123))로부터 영상 데이터, 또는 상기 영상 데이터를 제어하기 위한 명령에 대응하는 영상 제어 신호를 포함하는 영상 정보를 수신할 수 있다. DDI(230)는 터치 회로(250) 또는 센서 모듈(176)과 상기 인터페이스 모듈(231)을 통하여 커뮤니케이션할 수 있다. 또한, DDI(230)는 상기 수신된 영상 정보 중 적어도 일부를 메모리(233)에, 예를 들면, 프레임 단위로 저장할 수 있다. 이미지 처리 모듈(235)은, 예를 들면, 상기 영상 데이터의 적어도 일부를 상기 영상 데이터의 특성 또는 디스플레이(210)의 특성에 적어도 기반하여 전처리 또는 후처리(예: 해상도, 밝기, 또는 크기 조정)를 수행할 수 있다. 맵핑 모듈(237)은 디스플레이(210)의 픽셀들의 속성(예: 픽셀들의 배열(RGB stripe 또는 pentile), 또는 서브 픽셀들 각각의 크기)에 적어도 일부 기반하여, 이미지 처리 모듈(135)를 통해 전처리 또는 후처리된 상기 영상 데이터를 상기 픽셀들을 구동할 수 있는 전압 값 또는 전류 값으로 변환할 수 있다. 디스플레이(210)의 적어도 일부 픽셀들은, 예를 들면, 상기 전압 값 또는 전류 값에 기반하여 구동됨으로써 상기 영상 데이터에 대응하는 시각적 정보(예: 텍스트, 이미지, 또는 아이콘)가 디스플레이(210)에 표시될 수 있다.
일 실시예에 따르면, 표시 장치(160)는 터치 회로(250)를 더 포함할 수 있다. 터치 회로(250)는 터치 센서(251) 및 이를 제어하기 위한 터치 센서 IC(253)를 포함할 수 있다. 터치 센서 IC(253)는 터치 센서(251)를 제어하여, 예를 들면, 디스플레이(210)의 지정된 위치에 대한 신호(예: 전압, 광량, 저항, 또는 전하량)의 변화를 측정함으로써 상기 지정된 위치에 대한 터치 입력 또는 호버링 입력을 감지하고, 감지된 터치 입력 또는 호버링 입력에 관한 정보(예: 위치, 면적, 압력, 또는 시간)를 프로세서(120) 에 제공할 수 있다. 일실시예에 따르면, 터치 회로(250)의 적어도 일부(예: 터치 센서 IC(253))는 디스플레이 드라이버 IC(230), 또는 디스플레이(210)의 일부로, 또는 표시 장치(160)의 외부에 배치된 다른 구성요소(예: 보조 프로세서(123))의 일부로 포함될 수 있다.
일 실시예에 따르면, 표시 장치(160)는 센서 모듈(176)의 적어도 하나의 센서(예: 지문 센서, 홍채 센서, 압력 센서 또는 조도 센서), 또는 이에 대한 제어 회로를 더 포함할 수 있다. 이 경우, 상기 적어도 하나의 센서 또는 이에 대한 제어 회로는 표시 장치(160)의 일부(예: 디스플레이(210) 또는 DDI(230)) 또는 터치 회로(250)의 일부에 임베디드되어 구현될 수 있다. 예를 들면, 표시 장치(160)에 임베디드된 센서 모듈(176)이 생체 센서(예: 지문 센서)를 포함할 경우, 상기 생체 센서는 디스플레이(210)의 일부 영역을 통해 터치 입력과 연관된 생체 정보(예: 지문 이미지)를 획득할 수 있다. 다른 예를 들면, 표시 장치(160)에 임베디드된 센서 모듈(176)이 압력 센서를 포함할 경우, 상기 압력 센서는 디스플레이(210)의 일부 또는 전체 영역을 통해 터치 입력에 대한 압력 정보를 획득할 수 있다. 일실시예에 따르면, 터치 센서(251) 또는 센서 모듈(176)은 디스플레이(210)의 픽셀 레이어의 픽셀들 사이에, 또는 상기 픽셀 레이어의 위에 또는 아래에 배치될 수 있다.
도 3은 본 발명의 일 실시예에 따른 전자 장치(300)의 블록도이다. 도 3에 도시된 전자 장치(300)의 구성 요소들 중 적어도 하나는, 도 1에 도시된 전자 장치(101), 및/또는 도 2의 표시 장치(160)와 적어도 일부가 유사하거나, 또는 다른 실시예를 더 포함할 수 있다.
도 3을 참조하면, 일 실시예에 따른 전자 장치(300(예: 도 1의 전자 장치(101))는 프로세서(120)(예: 도 1의 프로세서(120)), DDI(230)(예: 도 2의 DDI(230)), 또는 디스플레이(210)(예: 도 2의 디스플레이(210))를 포함할 수 있다. 일 실시예에 따른 전자 장치(300)는, MIPI에서 정의된 디스플레이 표준인 커맨드 모드에 기반하여 동작할 수 있다. 예를 들면, 전자 장치(300)는 프로세서(120)와, DDI(230)를 포함할 수 있고, 프로세서(120)는 MIPI에서 정의된 호스트의 역할을 수행할 수 있다.
일 실시예에서, 프로세서(120)는 DDI(230)로부터 출력된 타이밍 신호(TE)(예: TE(tearing effect) 신호)에 기반하여 이미지 프레임(IMG)을 DDI(230)로 전송할 수 있다. 예를 들면, 전자 장치(300)가 디스플레이(210)를 구동하는 구동 주파수(예: 리프레쉬 레이트(refresh rate))는, DDI(230)로부터 출력되는 타이밍 신호(TE)에 기반하여 제어될 수 있다. 본 문서에서 사용된 용어 “타이밍 신호(TE)”는 MIPI 표준에서 정의된 TE(tearing effect) 신호를 의미할 수 있다.
일 실시예에서, 프로세서(120)는 어플리케이션을 실행하고, 실행된 어플리케이션의 실행 화면에 대응하는 복수의 이미지 프레임들(IMG)을 순차적으로 렌더링할 수 있다. 예를 들면, 프로세서(120)는 디스플레이(210)를 구동하는 구동 주파수(예: 리프레쉬 레이트(refresh rate))에 따라 상기 실행 화면에 대응하는 이미지 프레임들(IMG)을 순차적으로 생성할 수 있다.
일 실시예에서, 프로세서(120)는 렌더링이 완료된 이미지 프레임들(IMG)을 타이밍 신호(TE)에 응답하여 DDI(230)로 전송할 수 있다.
프로세서(120)는, 도 9의 동작 920을 참조하여 후술하는 바와 같이, 지정된 이벤트를 감지할 수 있다. 프로세서(120)는, 지정된 이벤트를 감지하는 것에 응답하여, 디스플레이의 구동 상태를 노말 구동 상태로부터 부분 업데이트 구동 상태로 전환할 수 있다. 프로세서(120)는, 지정된 이벤트가 감지되지 않으면, 디스플레이의 구동 상태를 노말 구동 상태로 유지할 수 있다. 또는, 프로세서(120)는, 지정된 이벤트가 종료됨을 감지하면, 디스플레이의 구동 상태를 부분 업데이트 구동 상태로부터 노말 구동 상태로 전환할 수 있다. 다른 예를 들어, 프로세서(120)는 전환(switch) 이벤트를 감지할 수도 있다. 프로세서(120)는 전환(switch) 이벤트를 감지하는 것에 응답하여, 디스플레이의 구동 상태를 부분 업데이트 구동 상태로부터 노말 구동 상태로 전환할 수 있다.
노말 구동 상태는, 도 6을 참조하여 후술하는 바와 같이, 프로세서(120)가 렌더링이 완료된 이미지 프레임들(IMG)을 순차적으로 DDI(230)의 버퍼 메모리(422)(예: 도 4의 버퍼 메모리(422))에 저장하고, DDI(230)가 버퍼 메모리(422)에 저장된 이미지 프레임(IMG)를 이용하여 디스플레이에 변환된 이미지 프레임(RGB)을 표시하는 상태로 정의될 수 있다.
부분 업데이트 구동 상태는, 도 8을 참조하여 후술하는 바와 같이, 프로세서(120)가 이전 프레임(예: N-1 번째 프레임)과 현재 프레임(예: N 번째 프레임)을 비교하여 부분 영역을 산출하고, 상기 부분 영역에 대응하는 데이터를 DDI(230)의 버퍼 메모리(422)(예: 도 4의 버퍼 메모리(422))에 저장하는 상태로 정의될 수 있다. 부분 업데이트 구동 상태는, 부분 영역에 대응하는 데이터가 DDI(230)의 버퍼 메모리(422)(예: 도 4의 버퍼 메모리(422))에 저장됨으로써, 노말 구동 상태에 비하여 부분 영역이 디스플레이를 통해 표시되는 응답 속도가 빨라질 수 있다.
일 실시예에서, DDI(230)는 수신된 이미지 프레임(IMG)에 기반하여 디스플레이(210)(예: 디스플레이 패널)를 구동할 수 있다. 예를 들면, DDI(230)는 디스플레이(210)가 프로세서(120)로부터 수신된 이미지 프레임(IMG)을 1 프레임 기간 동안 표시하도록 구동할 수 있다.
일 실시예에서, DDI(230)는 수신된 이미지 프레임(IMG)을 버퍼 메모리(422)(예: 도 4의 버퍼 메모리(422))에 저장하고, 버퍼 메모리(422)에 저장된 1 프레임에 해당된 이미지 프레임(IMG)을 디스플레이를 통해 표시할 수 있다.
예를 들면, DDI(230)는 버퍼 메모리(422)에 저장된 이미지 프레임(IMG)을 디스플레이의 특성(예: 해상도)에 맞게 정렬하고, 및/또는 이미지 프레임(IMG)을 디스플레이(210)의 특성에 기반하여 전처리 또는 후처리(예: 해상도, 밝기, 또는 크기 조정)하여 변환된 이미지 프레임(RGB)을 생성할 수 있다. DDI(230)는 디스플레이(210)가 변환된 이미지 프레임(RGB)을 표시하도록 구동할 수 있다.
일 실시예에서, DDI(230)는 리프레쉬 레이트에 대응하는 주기로 게이트 스타트 펄스(GSP: gate start pulse)(예: 도 5의 게이트 스타트 펄스)를 생성함으로써, 디스플레이가 화면을 주사하는 타이밍을 결정할 수 있다. 예를 들면, DDI(230)는 각 프레임의 시작 시점에 게이트 스타트 펄스(GSP)를 디스플레이의 게이트 구동 회로에 공급할 수 있다. 디스플레이의 게이트 구동 회로(예: 도 4의 게이트 구동 회로)는 게이트 스타트 펄스(GSP)에 응답하여 디스플레이의 화면 주사를 시작할 수 있다.
DDI(230)는, 부분 업데이트 구동 상태에서, 게이트 스타트 펄스(GSP)를 대신하여 변조 스타트 펄스(예: 도 5의 변조 스타트 펄스(MGSP))를 생성할 수 있다. 변조 스타트 펄스는 디스플레이의 화면 주사 순서를 변경하는 신호일 수 있다. 디스플레이의 게이트 구동 회로는 변조 스타트 펄스(MGSP)에 응답하여 디스플레이의 화면 주사 순서를 변경할 수 있다.
일 실시예에서, DDI(230)는 타이밍 신호(TE)를 출력함으로써 프로세서(120)가 이미지 프레임(IMG)을 전송하는 타이밍을 결정할 수 있다. 예를 들면, MIPI의 커맨드 모드로 동작하는 전자 장치(300)에서, 타이밍 신호(TE)는 DDI(230)가 호스트(예: 프로세서(120))에게 이미지 프레임(IMG)의 전송 타이밍을 알리는 신호일 수 있다. 일 실시예에서, 호스트인 프로세서(120)는 DDI(230)가 출력한 타이밍 신호(TE)에 응답하여 이미지 프레임(IMG)을 DDI(230)에게 전송할 수 있다.
일 실시예에 따르면, 디스플레이(210)는 DDI(230)의 제어에 기반하여 변환된 이미지 프레임(RGB)을 프레임 단위로 표시할 수 있다. 예를 들어, 디스플레이(210)는 유기 발광 표시 패널(OLED, organic light emitting display panel), 액정 표시 패널(LCD, liquid crystal display panel), 플라즈마 표시 패널(PDP, plasma display panel), 전기영동 표시 패널(electrophoretic display panel), 및/또는 일렉트로웨팅 표시 패널(electrowetting display panel) 중 적어도 하나를 포함할 수 있다.
도 4는 본 발명의 일 실시예에 따른 전자 장치(101)의 구체적인 블록도이다.
도 4에 도시된 전자 장치(101)는 도 1 및 도 3에 도시된 전자 장치(101)와 적어도 일부가 유사하거나 다른 실시예를 포함할 수 있다.
이하, 도4를 결부하여, 도 1 및 도 3에서 미설명되거나 달라진 전자 장치(101)의 특징만을 기재한다.
도 4를 참조하면, 전자 장치(400)(예: 도 1의 전자 장치(101))는, 프로세서(120)(예: 도 1의 프로세서(120)), DDI(230)(예: 도 3의 DDI(230)), 및/또는 디스플레이(210)(예: 도 3의 디스플레이(210))를 포함할 수 있다.
프로세서(120)는, 어플리케이션 실행 모듈(411), 프레임 이미지 생성 모듈(412), 부분 업데이트 모듈(413)을 포함할 수 있다. 일 실시예에 따르면, 메모리(도 1의 메모리(100))는 어플리케이션 실행 모듈(411), 프레임 이미지 생성 모듈(412), 부분 업데이트 모듈(413)을 포함할 수 있다. 메모리(도 1의 메모리(100))는 프로세서(120)로 하여금, 어플리케이션 실행 모듈(411), 프레임 이미지 생성 모듈(412), 부분 업데이트 모듈(413)이 실행되도록 할 수 있다.
어플리케이션 실행 모듈(411)은 메모리(130)에 저장된 적어도 하나의 어플리케이션을 실행하고, 어플리케이션의 실행 화면을 생성할 수 있다. 어플리케이션 실행 모듈(411)은, 어플리케이션의 실행 화면을 통한 사용자 입력에 따라 실행 화면을 변경할 수 있다. 예를 들면, 어플리케이션 실행 모듈(411)은 드로잉 어플리케이션을 실행할 수 있고, 사용자가 드로잉 어플리케이션의 실행 화면을 통해 지정된 제스처를 입력하면, 지정된 제스처에 대응하는 오브젝트와 드로잉 어플리케이션의 실행 화면과 상기 오브젝트를 결합하여 새로운 실행 화면을 생성할 수 있다. 어플리케이션 실행 화면은 사용자 입력에 기반하여 생성한 새로운 실행 화면을 프레임 이미지 생성 모듈(412)로 전달할 수 있다.
프레임 이미지 생성 모듈(412)(예: 안드로이드 운영체제의 SurfaceFlinger모듈)은 어플리케이션 실행 모듈(411)로부터 현재 실행중인 적어도 하나의 어플리케이션의 실행 화면을 수신하고, 수신된 어플리케이션의 실행 화면을 이용하여 1 프레임 이미지를 생성할 수 있다. 일 실시예에 따르면, 프레임 이미지 생성 모듈(412)은, 제 N-1 프레임 기간에 어플리케이션 실행 모듈(411)이 생성한 실행 화면을 수신하고, 제 N 프레임 기간에 실행 화면을 이용하여 1 프레임 이미지를 생성할 수 있다. 일 실시예에 따르면, 프레임 이미지 생성 모듈(412)은 생성된 1 프레임 이미지를 제 N 프레임 기간과 제 N+1 프레임 기간 사이의 블랭크 기간 동안 DDI(230)로 전송할 수 있다. DDI(230)는 프레임 이미지 생성 모듈(412)로부터 수신된 1 프레임 이미지를 버퍼 메모리(422)에 저장하고, 제 N+1 프레임 기간에 프레임 이미지를 표시할 수 있다.
부분 업데이트 모듈(413)은, 디스플레이(210)의 부분 업데이트 구동 상태를 제어할 수 있다. 부분 업데이트 모듈(413)은 노말 구동 상태에서 지정된 이벤트를 감지할 수 있다. 부분 업데이트 모듈(413)은 지정된 이벤트를 감지하는 것에 응답하여 DDI(230) 및 디스플레이(210)를 부분 업데이트 구동 상태로 제어할 수 있다. 일 실시예에 따르면, 지정된 이벤트는, 지정된 어플리케이션이 실행되는 동작, 전자 장치(400)로부터 스타일러스 펜이 탈거됨을 감지하는 동작, 및/또는 지정된 시간 동안 이전 프레임과 현재 프레임의 화면 변화가 기준값보다 적은 것으로 결정하는 동작을 포함할 수 있다.
부분 업데이트 모듈(413)은 이전 프레임과 현재 프레임을 비교하여 변화가 있는 영역을 부분 영역으로 결정할 수 있다.
*부분 업데이트 모듈(413)은 디스플레이(210)의 전체 해상도에서 부분 영역의 비율이 기준 비율보다 작은지 확인할 수 있다. 부분 업데이트 모듈(413)은 전체 해상도에서 부분 영역의 비율이 기준 비율보다 작은 경우, 부분 영역을 우선적으로 표시하는 부분 업데이트 구동 상태로 전환할 수 있다.
부분 업데이트 모듈(413)은, 부분 업데이트 구동 상태에서, 부분 영역에 대응하는 데이터를 생성하고, 부분 영역에 대응하는 데이터를 DDI(230)의 버퍼 메모리(422)에 우선적으로 저장할 수 있다. 예를 들면, 부분 업데이트 모듈(413)은, 부분 영역에 대응하는 이미지가 부분 영역에 대응하는 데이트가 생성된 시점으로부터 다음 프레임 기간에 표시되도록 상기 데이터를 별도로 지정된 기간에 버퍼 메모리(422)에 저장할 수 있다. 상기 지정된 기간은 DDI(230)가 디스플레이(210)를 구동하는 수직 동기 신호의 출력 시점보다 빠른 이전 시점으로 설정될 수 있다.
부분 업데이트 모듈(413)은, 부분 업데이트 구동 상태에서, 주사 변조 신호(미도시)를 DDI(230)에 공급함으로써, DDI(230)가 디스플레이(210)의 화면 주사 순서를 변경하도록 제어할 수 있다.
DDI(230)는, 게이트 제어 모듈(421), 버퍼 메모리(422), 및/또는 이미지 처리 모듈(423)을 포함할 수 있다.
게이트 제어 모듈(421)은 디스플레이(210)의 게이트 구동 회로(430)를 제어할 수 있다. 게이트 제어 모듈(421)은 리프레쉬 레이트에 대응하는 주기로 게이트 스타트 펄스(GSP: gate start pulse)(예: 도 5의 게이트 스타트 펄스(GSP))를 생성함으로써, 디스플레이(210)가 화면을 주사하는 타이밍을 결정할 수 있다.
일 실시예에 따르면, 게이트 제어 모듈(421)은, 노말 구동 상태에서, 제 1 게이트 구동 회로(430-1)에게 게이트 스타트 펄스(GSP)를 공급함으로써, 디스플레이(210)의 화면 주사 순서가 첫번째 게이트 라인부터 마지막 게이트 라인까지 순차적으로 진행되로록 제어할 수 있다.
일 실시예에 따르면, 게이트 제어 모듈(421)은, 프로세서(120)로부터 주사 변조 신호를 수신하면, 노말 구동 상태로부터 부분 업데이트 구동 상태로 전환하고, 주사 변조 신호에 대응하는 지정된 게이트 구동 회로(예: 제 K 게이트 구동 회로(430-K))에게 변조 스타트 펄스(MGSP)(예: 도 5의 변조 스타트 펄스(MGSP))를 전송할 수 있다. 예를 들면, 게이트 제어 모듈(421)은, 주사 변조 신호에 따라 제 K 게이트 구동 회로(430-K)에게 변조 스타트 펄스(MGSP)를 공급함으로써, 게이트 구동 회로(430)가 제 K 게이트 구동 회로(430-K)부터 디스플레이(210)의 화면 주사를 시작하도록 제어할 수 있다.
버퍼 메모리(422)는 프로세서(120)로부터 수신되는 프레임 이미지를 저장하는 컴포넌트일 수 있다. 버퍼 메모리(422)에 저장되는 프레임 이미지는, 노말 구동 상태에서, 1 프레임 기간 단위로 변경될 수 있다. 버퍼 메모리(422)는, 부분 업데이트 구동 상태에서, 부분 영역에 대응하는 데이터를 노말 구동 상태에서의 프레임 이미지가 저장되는 시점보다 빠른 지정된 시점에 저장할 수 있다.
DDI(230)는, 노말 구동 상태에서, 디스플레이(210)가 버퍼 메모리(422)에 저장된 1 프레임의 이미지를 1 프레임 기간 동안 표시하도록 제어할 수 있다.
DDI(230)는, 부분 업데이트 구동 상태에서, 디스플레이(210)가 버퍼 메모리(422)에 저장되고 부분 영역에 대응하는 데이터를 포함한 1 프레임의 이미지를 1 프레임 기간 동안 표시하도록 제어할 수 있다.
이미지 처리 모듈(423)(예: 도 2의 이미지 처리 모듈(235))은, 예를 들면, 버퍼 메모리(422)에 저장된 1 프레임 이미지의 적어도 일부를 디스플레이(210)의 특성에 기반하여 전처리 또는 후처리(예: 해상도, 밝기, 또는 크기 조정)를 수행할 수 있다.
디스플레이(210)는 디스플레이(210)의 표시 영역에 배열된 복수의 게이트 라인들을 구동하는 복수의 게이트 구동 회로(430)를 포함할 수 있다. 복수의 게이트 라인들은 디스플레이(210)의 표시 영역에 형성된 복수의 화소들과 전기적으로 연결될 수 있다. 복수의 게이트 구동 회로들(430)은 복수의 게이트 라인들에게 게이트 신호(또는 스캔 신호)를 인가함으로써 복수의 화소들이 표시하는 화면 주사 타이밍을 제어할 수 있다.
일 실시예에 따르면, 복수의 게이트 구동 회로들(430)은, 예를 들면, N 개의 게이트 구동 회로들(430-1, 430-2, ... 430-K, ... 430-N)를 포함할 수 있다.
복수의 게이트 구동 회로들(430)은, 노말 구동 상태에서, DDI(230)로부터 리프레쉬 레이트에 대응하는 주기로 게이트 스타트 펄스(GSP: gate start pulse)를 수신하고, 제 1 게이트 구동 회로(430)로부터 제 N 게이트 구동 회로(430)까지 순차적으로 게이트 신호를 출력할 수 있다.
복수의 게이트 구동 회로들(430)은, 부분 업데이트 구동 상태에서, 게이스 신호를 출력하는 순서를 변경할 수 있다. 예를 들면, 부분 업데이트 구동 상태에서, 복수의 게이트 구동 회로(430)는 변조 스타트 펄스(MGSP)에 응답하여 게이트 신호를 출력하는 순서를 변경할 수 있다.
복수의 게이트 구동 회로들(430)은, 변조 스타트 펄스(MGSP)가 제 K 게이트 구동 회로(430-K)에 공급되는 경우, 제 K 게이트 구동 회로(430-K)부터 순차적으로 게이트 신호를 출력할 수 있다.
도 5는 본 발명의 일 실시예에 따른 디스플레이(210)의 블록도이다.
도 5에 도시된 디스플레이(210)는 도 1에 도시된 디스플레이(210) 모듈 및 도 2에 도시된 표시 장치, 및 도 3 내지 도 4에 도시된 디스플레이(210)와 적어도 일부가 유사하거나 다른 실시예를 포함할 수 있다.
도 5를 참조하면, 디스플레이(210)(예: 도 3의 디스플레이(210))는 복수의 화소들이 배열되는 표시 영역(211) 및 복수의 화소가 형성되지 않고, 표시 영역의 적어도 일부 외곽에 위치하는 비표시 영역(212)을 포함할 수 있다.
표시 영역(211)에는 복수의 화소들(미도시)이 배열되고, 복수의 화소들은 복수의 게이트 라인(GL-1, GL-2, GL-3, …GL-N)을 통해 공급되는 게이트 신호에 응답하여 화면을 업데이트할 수 있다.
비표시 영역(212)에는 복수의 게이트 라인들(GL-1, GL-2, GL-3, …GL-N)을 구동하는 복수의 게이트 구동 회로들(430)(예: 도 4의 게이트 구동 회로(430))이 위치할 수 있다. 복수의 게이트 구동 회로들(430)은 복수의 게이트 라인들(GL-1, GL-2, GL-3, …GL-N)에게 순차적으로 게이트 신호를 출력할 수 있다.
일 실시예에 따르면, 복수의 게이트 구동 회로들(430)은 N 개의 게이트 구동 회로들(430-1, 430-2, ... 430-K, ... 430-N)을 포함할 수 있고, 표시 영역(211)의 게이트 라인들(GL-1, GL-2, GL-3, …GL-N)은 N 개의 게이트 구동 회로들(430-1, 430-2, ... 430-K, ... 430-N) 각각에 연결된 N 개의 게이트 라인 그룹(GL-1, GL-2, GL-3, …GL-N)이 정의될 수 있다. 예를 들면, 제 1 게이트 구동 회로(430-1)는 제 1 게이트 라인 그룹(GL-1)에게 게이트 신호를 공급하고, 제 2 게이트 구동 회로(430-2)는 제 2 게이트 라인 그룹(GL-2)에게 게이트 신호를 공급할 수 있다.
노말 구동 상태에서, 복수의 게이트 구동 회로들(430)은, 지시부호 ①로 나타낸 바와 같이, 첫번째 게이트 라인 그룹(GL-1)부터 마지막 게이트 라인 그룹(GL-N)까지 게이트 신호를 순차적으로 출력할 수 있다. 예를 들면, 노말 구동 상태에서, 복수의 게이트 구동 회로들(430)은 게이트 스타트 펄스(GSP)에 응답하여, 제 1 게이트 구동 회로(430-1)부터 제 N 게이트 구동 회로(430-N)까지 순차적으로 활성화될 수 있다. 게이트 구동 회로(430)가 활성화된다는 것은, 게이트 구동 회로(430)가 게이트 신호를 출력하는 상태라는 것을 의미할 수 있다.
부분 업데이트 구동 상태에서, 복수의 게이트 구동 회로들(430)은, DDI(230)로부터 수신한 변조 스타트 펄스(MGSP)에 응답하여 지정된 게이트 구동 회로(예: 제 K 게이트 구동 회로(430-K))부터 게이트 신호를 순차적으로 출력할 수 있다. 예를 들어, 지시부호 ②로 나타낸 바와 같이, 복수의 게이트 구동 회로들(430)은 변조 스타트 펄스(MGSP)에 응답하여, 제 K 게이트 구동 회로(430-K)부터 제 N 게이트 구동 회로(430-N)까지 순차적으로 활성화되고, 제 N 게이트 구동 회로(430-N)가 활성화된 이후에 제 1 게이트 구동 회로(430-1)부터 제 K-1 게이트 구동 회로(미도시)까지 순차적으로 활성화될 수 있다.
일 실시예에 따르면, 제 K 게이트 구동 회로(430-K)부터 게이트 신호를 출력하여 디스플레이(210)의 화면 주사를 시작하면, 디스플레이(210)의 화면 업데이트는 제 K 게이트 구동 회로(430-K)에 대응하는 제 K 표시 영역(A-K)으로부터 마지막 게이트 구동 회로(430)인 제 N 게이트 구동 회로(430-N)에 대응하는 제 N 표시 영역(A-N)까지 순차적으로 진행될 수 있다. 제 N 표시 영역의 화면 주사가 완료되면, 제 1 게이트 구동 회로(430-1)에 대응하는 제 1 표시 영역(A-1)으로부터 제 K-1 게이트 구동 회로(430)(미도시)에 대응하는 제 K-1 표시 영역(미도시)까지의 화면 업데이트가 진행될 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))는, 부분 업데이트 구동 상태에서, 제 K 표시 영역(A-K)을 통한 사용자 입력(501)이 감지할 수 있다. 전자 장치(101)는 사용자 입력(501)에 따라 처리된 어플리케이션의 실행 화면의 일부분을 제외한 나머지 화면이 이전 프레임 이미지와 차이가 없다면, 사용자 입력(501)에 따라 처리된 어플리케이션의 실행 화면의 일부분을 부분 영역으로 결정할 수 있다. 전자 장치(101)는 부분 영역으로 결정된 실행 화면의 좌표값을 확인하고, 상기 확인된 좌표값에 기반하여 디스플레이(210)의 화면 주사 순서를 변경할 수 있다. 예를 들어, 부분 영역에 대응하는 실행 화면이, 제 K 게이트 구동 회로(430-K)에 의해 구동되는 제 K 표시 영역(A-K)이라면, 전자 장치(101)는 게이트 구동 회로(430)를 제 K 게이트 구동 회로(430-K)부터 순차적으로 활성화시킬 수 있다.
다양한 실시예들에 따른 전자 장치(예: 도 1의 전자 장치(101))는, 디스플레이(예: 도 3의 디스플레이(210)), 버퍼 메모리(예: 도 4의 버퍼 메모리(422))를 포함하는 DDI(예: 도 3의 DDI(230))(display driver IC), 및 프로세서(예: 도 1의 프로세서(120))를 포함하고, 상기 프로세서(120)는, 노말 구동 상태로서, N 프레임 기간에 어플리케이션의 제 1 실행 화면에 대한 제 1 사용자 입력을 수신하고, N+1 프레임 기간에 상기 제 1 사용자 입력에 대응하는 상기 어플리케이션의 제 2 실행 화면을 생성하고, N+2 프레임 기간에 상기 제 2 실행 화면을 포함한 1 프레임 이미지를 생성하고, 및 N+3 프레임 기간에 상기 디스플레이(210)가 상기 제 2 실행 화면을 포함한 1 프레임 이미지를 표시하도록 상기 DDI(230)를 제어하고, 상기 프로세서(120)는, 부분 업데이트 구동 상태로서, M 프레임 기간에 상기 제 1 실행 화면에 대한 제 2 사용자 입력을 수신하고, M+1 프레임 기간에 상기 제 2 사용자 입력에 대응하는 부분 영역의 데이터를 생성하고, 상기 데이터를 상기 버퍼 메모리(422)에 저장하고, 및 M+2 프레임 기간에 상기 디스플레이(210)가 상기 버퍼 메모리(422)를 참조하여 상기 부분 영역을 표시하되, 상기 부분 영역을 제외한 나머지 영역은 상기 제 1 실행 화면과 동일하게 표시하도록 상기 DDI(230)를 제어할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 부분 업데이트 구동 상태에서, 상기 디스플레이(210)의 화면이 주사되는 순서를 변경하도록 주사 변조 신호를 출력 할 수 있다.
일 실시예에 따르면, 상기 DDI(230)는, 상기 부분 업데이트 구동 상태에서, 상기 주사 변조 신호에 응답하여 상기 제 2 사용자 입력이 수신된 영역에서부터 화면 주사가 시작되도록 상기 디스플레이(210)를 구동 할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 부분 업데이트 구동 상태에서, 제 1 수직 동기 신호(V1)에 기반하여 1 프레임 기간을 정의하고, 제 1 수직 동기 신호(V1)보다 지정된 옵셋 타임만큼 위상이 지연된 제 2 수직 동기 신호(V2)에 기반하여 상기 부분 영역에 대응하는 데이터를 생성하고, 상기 데이터를 버퍼 메모리(422)에 저장 할 수 있다.
일 실시예에 따르면, 상기 제 1 수직 동기 신호(V1)의 출력 주기는 제 2 수직 동기 신호(V2)의 출력 주기와 동일 할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 상기 부분 업데이트 구동 상태에서, M+1 프레임 기간 중에서 상기 제 2 수직 동기 신호(V2)가 출력되기 이전의 기간 동안, 제 3 사용자 입력을 수신하고, 상기 제 2 사용자 입력 및 상기 제 3 사용자 입력을 기반으로 상기 데이터를 생성하고, 상기 데이터를 상기 버퍼 메모리(422)에 저장 할 수 있다.
일 실시예에 따르면, 상기 프로세서(120)는, 지정된 이벤트를 감지하는 것에 응답하여 상기 노말 구동 상태로부터 상기 부분 업데이트 구동 상태로 전환 할 수 있다.
일 실시예에 따르면, 상기 지정된 이벤트는, 지정된 어플리케이션이 실행되는 동작을 포함 할 수 있다.
일 실시예에 따르면, 상기 지정된 이벤트는, 지정된 시간 동안 이전 프레임과 현재 프레임의 화면 변화가 기준값보다 적은 것을 감지하는 동작을 포함 할 수 있다.
일 실시예에 따르면, 상기 지정된 이벤트는, 전자 장치(101)로부터 스타일러스 펜이 탈거되는 것을 감지하는 동작을 포함 할 수 있다.
본 발명의 다양한 실시예들에 따른 디스플레이(예: 도 3의 디스플레이(210)), 및 버퍼 메모리(예: 도 4의 버퍼 메모리(422))를 포함하는 DDI(예: 도 3의 DDI(230))(display driver IC)를 포함한 전자 장치(예: 도 1의 전자 장치(101))의 방법은, 상기 디스플레이(210)를 노말 구동 상태로 제어하는 동작, 및 상기 디스플레이(210)를 부분 업데이트 구동 상태로 제어하는 동작을 포함하고, 상기 노말 구동 상태로 제어하는 동작은, N 프레임 기간에 어플리케이션의 제 1 실행 화면에 대한 제 1 사용자 입력을 수신하는 동작, N+1 프레임 기간에 상기 제 1 사용자 입력에 대응하는 상기 어플리케이션의 제 2 실행 화면을 생성하는 동작, N+2 프레임 기간에 상기 제 2 실행 화면을 포함한 1 프레임 이미지를 생성하는 동작, 및 N+3 프레임 기간에 상기 디스플레이(210)가 상기 제 2 실행 화면을 포함한 1 프레임 이미지를 표시하도록 상기 DDI(230)를 제어하는 동작을 포함하고, 상기 부분 업데이트 구동 상태로 제어하는 동작은, M 프레임 기간에 상기 제 1 실행 화면에 대한 제 2 사용자 입력을 수신하는 동작, M+1 프레임 기간에 상기 제 2 사용자 입력에 대응하는 부분 영역의 데이터를 생성하고, 상기 데이터를 상기 버퍼 메모리(422)에 저장하는 동작, 및 M+2 프레임 기간에 상기 디스플레이(210)가 상기 버퍼 메모리(422)를 참조하여 상기 부분 영역을 표시하되, 상기 부분 영역을 제외한 나머지 영역은 상기 제 1 실행 화면과 동일하게 표시하도록 상기 DDI(230)를 제어하는 동작을 포함 할 수 있다.
일 실시예에 따르면, 상기 부분 업데이트 구동 상태로 제어하는 동작은, 상기 디스플레이(210)의 화면이 주사되는 순서를 변경하도록 주사 변조 신호를 상기 DDI(230)에 공급하는 동작을 더 포함 할 수 있다.
일 실시예에 따르면, 상기 부분 업데이트 구동 상태로 제어하는 동작은, 상기 DDI(230)가 상기 주사 변조 신호에 응답하여 상기 제 2 사용자 입력이 수신된 영역에서부터 화면 주사가 시작되도록 상기 디스플레이(210)를 구동하는 동작을 더 포함 할 수 있다.
일 실시예에 따르면, 상기 부분 업데이트 구동 상태로 제어하는 동작은, 제 1 수직 동기 신호(V1)에 기반하여 1 프레임 기간을 정의하는 동작, 및 제 1 수직 동기 신호(V1)보다 지정된 옵셋 타임만큼 위상이 지연된 제 2 수직 동기 신호(V2)에 기반하여 상기 부분 영역에 대응하는 데이터를 생성하고, 상기 데이터를 버퍼 메모리(422)에 저장하는 동작을 포함 할 수 있다.
일 실시예에 따르면, 상기 제 1 수직 동기 신호(V1)의 출력 주기는 제 2 수직 동기 신호(V2)의 출력 주기와 동일 할 수 있다.
일 실시예에 따르면, 상기 부분 업데이트 구동 상태로 제어하는 동작은, M+1 프레임 기간 중에서 상기 제 2 수직 동기 신호(V2)가 출력되기 이전의 기간 동안, 제 3 사용자 입력을 수신하는 동작, 상기 제 2 사용자 입력 및 상기 제 3 사용자 입력을 기반으로 상기 데이터를 생성하는 동작, 및 상기 데이터를 상기 버퍼 메모리(422)에 저장하는 동작을 더 포함 할 수 있다.
일 실시예에 따른 상기 방법은, 지정된 이벤트를 감지하는 것에 응답하여 상기 노말 구동 상태로부터 상기 부분 업데이트 구동 상태로 전환하는 동작을 더 포함 할 수 있다.
일 실시예에 따르면, 상기 지정된 이벤트는, 지정된 어플리케이션이 실행되는 동작을 포함 할 수 있다.
일 실시예에 따르면, 상기 지정된 이벤트는, 지정된 시간 동안 이전 프레임과 현재 프레임의 화면 변화가 기준값보다 적은 것을 감지하는 동작을 포함 할 수 있다.
일 실시예에 따르면, 상기 지정된 이벤트는, 전자 장치(101)로부터 스타일러스 펜이 탈거되는 것을 감지하는 동작을 포함 할 수 있다.
도 6은 다양한 실시예들에 따른 노말 구동 상태에 따른 전자 장치(101)의 구동 타이밍을 설명한 도면이다. 도 7은 노말 구동 상태에서 전자 장치(101)의 응답 지연을 설명한 예시이다.
도 6을 참조하면, DDI(230)(예: 도 3의 DDI(230))는 리프레쉬 레이트에 대응하는 주기로 수직 동기 신호(Vsync), 타이밍 신호(TE), 및/또는 게이트 스타트 펄스(GSP: gate start pulse)를 출력할 수 있고, 이를 신호는 하드웨어 수직 동기 신호(HW sync)로 정의될 수 있다. 도 6에서는, 하드웨어 수직 동기 신호(HW sync)의 일 예로서, 수직 동기 신호(Vsync)를 도시하였다.
전자 장치(예: 도 1의 전자 장치(101))는, 수직 동기 신호(Vsync)의 출력 타이밍에 기반하여, 1 프레임 기간을 정의할 수 있다. 예를 들면, 1 프레임 기간은 수직 동기 신호(Vsync)의 출력 시점들 사이의 기간으로 정의될 수 있다. 전자 장치(101)의 디스플레이(210)는 1 프레임 기간 단위로 화면을 업데이트 할 수 있다.
다양한 실시예에 따르면, 전자 장치(101)가, 노말 구동 상태에서 디스플레이(210)의 화면을 업데이트하는 순서는 다음과 같을 수 있다.
제 N 프레임 기간에, 전자 장치(101)는, 사용자 입력(601)을 수신할 수 있다. 사용자 입력(601)은 어플리케이션의 실행 화면에 대한 사용자의 터치 입력일 수 있다. 예를 들면, 전자 장치(101)는 어플리케이션의 실행 화면을 표시하고, 실행 화면을 통한 사용자의 터치 입력을 수신할 수 있다. 다른 예를 들어, 사용자 입력(601)은 어플리케이션의 실행 화면에 대한 펜(pen)(예: 전자기 공명식(electro magnetic resonance) 펜, 능동 정전기식(active electrostatic) 펜, 또는 정전용량식 펜) 입력일 수 있다.
제 N+1 프레임 기간에, 전자 장치(101)의 프로세서(120)는 사용자 입력(601)을 처리하여 실행 화면(602)을 생성할 수 있다. 예를 들면, 프로세서(120)의 어플리케이션 실행 모듈(411)은 이전 프레임 기간인 제 N 프레임 기간에 수신된 사용자 입력(601)을 처리하여, 사용자 입력에 대응하는 실행 화면(602)을 생성할 수 있다.
제 N+2 프레임 기간에, 전자 장치(101)의 프로세서(120)는 생성된 실행 화면(602)을 기반으로 1 프레임 이미지(603)를 생성할 수 있다. 예를 들면, 프레임 이미지 생성 모듈(412)(예: 안드로이드 운영체제의 SurfaceFlinger모듈)은 어플리케이션 실행 모듈(411)로부터 현재 실행중인 적어도 하나의 어플리케이션의 실행 화면을 수신하고, 수신된 어플리케이션의 실행 화면을 이용하여 1 프레임 이미지(603)를 생성할 수 있다. 프로세서(120)는, 1 프레임 이미지(603)의 생성이 완료되면, 1 프레임 이미지(603)를 제 N+2 프레임 기간과 제 N+3 프레임 기간 사이의 블랭크 기간(미도시)에 DDI(230)의 버퍼 메모리(422)에 저장할 수 있다.
제 N+2 프레임 기간에, DDI(230)는 버퍼 메모리(422)를 참조하여 디스플레이(210)가 1 프레임 이미지(604)를 표시하도록 제어할 수 있다. 제 N+2 프레임 기간에 디스플레이(210)가 표시하는 1 프레임 이미지(604)는, 전자 장치(101)가 제 N 프레임 기간에 수신한 사용자 입력(601)을 처리한 결과 이미지를 포함할 수 있다. 따라서, 전자 장치(101)의 노말 구동 상태에서, 사용자 입력(601)을 수신한 시점으로부터 사용자 입력을 처리한 결과 이미지가 표시되기까지는 약 3 프레임 기간이라는 시간이 소요될 수 있다.
전자 장치(101)의 리프레쉬 레이트는 60Hz 또는 120Hz 또는 240Hz일 수 있고, 일상적인 사용자 환경에서 3 프레임 기간(예: 리프레쉬 레이트가 60Hz인 경우, 약 50 ms) 은 짧게 느껴질 수 있다. 그러나, 도 7에 도시된 바와 같이, 사용자가 지정된 어플리케이션(예: 드로잉 어플리케이션(710))을 소비하고 있는 경우, 노말 구동 상태에 따른 3 프레임 기간의 딜레이는 사용자에게 터치 입력(또는 펜(pen) 입력)에 대한 응답 지연으로 인지될 수 있다. 예를 들면, 도 7에 도시된 바와 같이, 전자 장치(101)는 드로잉 어플리케이션의 실행 화면을 표시하고, 사용자로부터 드로잉 입력(701)을 수신할 수 있다. 전자 장치(101)는, 노말 구동 상태에서 상기 드로잉 입력(701)을 수신하는 경우 드로잉 입력(701)에 대응하는 오브젝트(702)를 디스플레이(210)(예: 도 1의 디스플레이 모듈(160))를 통해 표시할 수 있다. 도 7에 도시된 바와 같이, 디스플레이(210)를 노말 구동 상태로 구동하면, 드로잉 입력(701)에 대응하는 오브젝트(702)를 표시함에 있어서 약 3 프레임 기간의 응답 지연(711)이 발생할 수 있다.
본 발명의 다양한 실시예들에 따른 전자 장치(101)는, 도 7의 예시와 같이, 지정된 어플리케이션이 실행되거나, 또는 이전 프레임과 다음 프레임의 변화율이 기준값보다 적은 경우와 같은 지정된 이벤트에 응답하여, 디스플레이를 부분 업데이트 구동 상태로 제어할 수 있다.
도 8은 다양한 실시예들에 따른 부분 업데이트 구동 상태에 따른 전자 장치(101)의 구동 타이밍을 설명한 도면이다.
도 8을 참조하면, DDI(230)(예: 도 3의 DDI(230))는 리프레쉬 레이트에 대응하는 주기로 수직 동기 신호(Vsync), 타이밍 신호(TE), 및/또는 게이트 스타트 펄스(GSP: gate start pulse)를 출력할 수 있고, 이러한 신호들은 하드웨어 수직 동기 신호(HW sync)(이하, 제 1 수직 동기 신호(V1)라 함)로 정의될 수 있다.
도 8을 참조하면, 프로세서(120)(예: 도 1의 프로세서(120))는, 제 1 수직 동기 신호(V1)보다 지정된 시간(예: 옵셋 타임(OF))만큼 위상이 지연된 소프트웨어 수직 동기 신호(SW sync)(이하, 제 2 수직 동기 신호(V2)라 함)를 출력할 수 있다. 제 1 수직 동기 신호(V1)와 제 2 수직 동기 신호(V2) 각각의 출력 주파수는 동일하고, 제 1 수직 동기 신호(V1)와 제 2 수직 동기 신호(V2) 각각의 출력 주기는 1 프레임 기간일 수 있다.
도시된 예에 따르면, 전자 장치(예: 도 1의 전자 장치(101))가 디스플레이(예: 도 3의 디스플레이(210))를 구동하는 각각의 프레임 기간은 제 1 수직 동기 신호에 기반하여 정의될 수 있다. 예를 들면, 디스플레이(210)는, 제 1 수직 동기 신호에 응답하여 화면 주사를 시작할 수 있다.
도시된 예에 따르면, 프로세서(120)는, 제 2 수직 동기 신호(V2)에 기반하여 부분 영역에 대응하는 데이터를 생성하고, 부분 영역에 대응하는 데이터를 DDI(230)의 버퍼 메모리(422)에 저장하는 동작을 수행할 수 있다. 일 실시예에 따르면, 프로세서(120)가 제 2 수직 동기 신호(V2)에 따라 부분 영역에 대응하는 데이터를 DDI(230)의 버퍼 메모리(422)에 저장하는 동작은 각 프레임 기간의 시작을 정의하는 제 1 수직 동기 신호(V1)의 출력 시점 (예: 시점 t1, 시점 t3, 및/또는 시점 t5)보다 빠른 이전 시점 (예: 시점 t2, 및/또는 시점 t4)으로 설정될 수 있다. 예를 들면, 도시된 예에서, 시점 t1, 시점 t3, 및/또는 시점 t5은, 제 1 수직 동기 신호(V1)의 출력 시점을 나타낼 수 있다. 예를 들면, 도시된 예에서, 시점 t2, 및 시점 t4는 프로세서(120)가 제 2 수직 동기 신호(V2)에 따라 부분 영역에 대응하는 데이터를 DDI(230)의 버퍼 메모리(422)에 저장하는 동작이 수행되는 시점을 나타낼 수 있다.
전자 장치(101)는, 제 1 수직 동기 신호(V1)의 출력 타이밍에 기반하여, 1 프레임 기간을 정의할 수 있다. 예를 들면, 1 프레임 기간은 제 1 수직 동기 신호(V1)의 출력 시점들 사이의 기간으로 정의될 수 있다. 전자 장치(101)의 디스플레이(210)는 1 프레임 기간 단위로 화면을 업데이트 할 수 있다.
다양한 실시예에 따르면, 전자 장치(101)가, 부분 업데이트 구동 상태에서 디스플레이(210)의 화면을 업데이트하는 순서는 다음과 같을 수 있다.
제 M 프레임 기간에, 전자 장치(101)는, 사용자 입력(801)을 수신할 수 있다. 사용자 입력(801)은 어플리케이션의 실행 화면에 대한 사용자의 터치 입력일 수 있다. 예를 들면, 전자 장치(101)는 어플리케이션의 실행 화면을 표시하고, 실행 화면을 통한 사용자의 터치 입력을 수신할 수 있다.
제 M+1 프레임 기간에, 전자 장치(101)의 프로세서(120)는 사용자 입력(801)을 처리하여 부분 영역에 대응하는 데이터(802)를 생성할 수 있다. 예를 들면, 프로세서(120)의 부분 업데이트 모듈(413)은 이전 프레임 기간인 제 M 프레임 기간에 수신된 사용자 입력(801)을 처리하여, 사용자 입력(801)에 대응하는 부분 영역에 대응하는 데이터(802)를 생성할 수 있다.
제 M+1 프레임 기간에, 전자 장치(101)의 프로세서(120)는, 제 1 수직 동기 신호(V2)보다 옵셋 타임(OF)만큼 지연된 제 2 수직 동기 신호(V2)가 출력되기 이전에 수신된 제 2 사용자 입력(811)을 처리할 수 있다. 예를 들면, 프로세서(120)는, 제 M 프레임 기간에 수신된 제 1 사용자 입력(801)뿐만 아니라, 제 M+1 프레임 기간에 수신된 사용자 입력들 중에서 제 2 수직 동기 신호(V2)가 출력되기 이전에 수신된 제 2 사용자 입력(811)을 처리하여 부분 영역에 대응하는 데이터(802)를 생성할 수 있다.
제 M+1 프레임 기간에, 전자 장치(101)의 프로세서(120)는, 제 2 수직 동기 신호(V2)에 응답하여 부분 영역의 산출 동작을 시작할 수 있다. 프로세서(120)는, 부분 영역의 산출이 완료되면, 부분 영역에 대응하는 데이터(802)를 DDI(230)의 버퍼 메모리(422)에 저장할 수 있다.
일 실시예에 따르면, 프로세서(120)가 제 2 수직 동기 신호(V2)에 따라 부분 영역에 대응하는 데이터(802)를 DDI(230)의 버퍼 메모리(422)에 저장하는 동작(803)은 제 M+2 프레임 기간의 시작을 정의하는 제 1 수직 동기 신호(V1)의 출력 시점(예: 시점 t1, 시점 t3, 및/또는 시점 t5) 보다 빠른 이전 시점(예: 시점 t2, 및/또는 시점 t4) 에 수행되는 것으로 설정될 수 있다.
제 M+2 프레임 기간에, DDI(230)는 버퍼 메모리(422)를 참조하여 디스플레이(210)가 1 프레임 이미지(804)를 표시하도록 제어할 수 있다. 제 M+2 프레임 기간에 디스플레이(210)가 표시하는 1 프레임 이미지(804)는, 전자 장치(101)가 제 M 프레임 기간 및 제 M+1 프레임 기간 중에서 제 2 수직 동기 신호(V2)가 출력되기 이전에 수신한 사용자 입력(801, 811)을 처리한 결과 이미지를 포함할 수 있다. 따라서, 전자 장치(101)의 부분 업데이트 구동 상태에서, 사용자 입력(801, 811)을 수신한 시점으로부터 사용자 입력(801, 811)을 처리한 결과 이미지가 표시되기까지는 약 1 프레임 기간 또는 약 2 프레임 기간이라는 시간이 소요될 수 있다. 전자 장치(101)의 부분 업데이트 구동 상태는, 상기 설명한 바와 같이, 노말 구동 상태에 비하여 사용자 입력(801, 811)에 대한 응답 지연을 줄일 수 있다.
도 9는 다양한 실시예들에 따른 전자 장치(101)의 동작을 나타낸 흐름도이다.
도 9에 도시된 동작들 중에서 적어도 일부는 생략될 수 있다. 도 9에 도시된 적어도 일부 동작들의 이전 또는 이후에는 본 문서에서 다른 도면을 참조하여 언급한 적어도 일부 동작들이 추가 삽입 될 수 있다.
도 9에 도시된 동작들은 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다. 예를 들면, 전자 장치(101)의 메모리(130)(예: 도 1의 메모리(130))는, 실행시에, 프로세서(120)가 도 9에 도시된 적어도 일부 동작들을 수행하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
동작 910에서, 전자 장치(101)(예: 도 1의 전자 장치(101))는, 디스플레이(210)(예: 도 3의 디스플레이(210))를 노말 구동 상태로 제어할 수 있다. 예를 들면, 전자 장치(101)는 어플리케이션을 실행하고, 어플리케이션의 실행 화면을 디스플레이(210)를 통해 표시할 수 있다. 예를 들면, 전자 장치(101)는, 도 6을 참조하여 설명한 전자 장치(101)의 노말 구동 상태(600)일 수 있다.
동작 920에서, 전자 장치(101)는, 지정된 이벤트가 감지되는지 확인할 수 있다. 지정된 이벤트는 전자 장치(101)가 부분 업데이트 구동 상태로 전환하기 위한 지정된 조건들을 포함할 수 있다.
일 실시예에 따르면, 지정된 조건들은, 지정된 어플리케이션이 실행되는 동작을 포함할 수 있다. 예를 들면, 전자 장치(101)는, 지정된 어플리케이션으로서 드로잉 어플리케이션이 실행되면, 지정된 이벤트가 감지되는 것으로 결정할 수 있다. 예를 들어, 전자 장치(101)는 드로잉 어플리케이션이 실행되면 빠른 응답 속도가 필요할 것으로 예측하고, 부분 업데이트 구동 상태로 전환할 수 있다.
일 실시예에 따르면, 전자 장치(101)는 복수의 어플리케이션 중에서 사용자 입력에 따라 선택된 지정된 어플리케이션을 부분 업데이트 구동 상태로 제어하는 어플리케이션으로 결정할 수 있다. 예를 들어, 전자 장치(101)는 부분 업데이트 구동 상태로 제어하는 어플리케이션을 선택하는 설정 화면(미도시)을 제공할 수 있고, 상기 설정 화면을 통한 사용자 입력에 기반하여 지정된 어플리케이션을 부분 업데이트 구동 상태로 제어하는 어플리케이션으로 설정할지 여부를 결정할 수 있다. 전자 장치(101)는, 현재 실행된 어플리케이션이 부분 업데이트 구동 상태로 제어하는 어플리케이션으로 설정된 경우, 상기 지정된 조건을 충족한 것으로 결정할 수 있다.
일 실시예에 따르면, 지정된 조건들은, 도 10를 참조하여 후술하는 바와 같이, 지정된 시간 동안 이전 프레임과 현재 프레임의 화면 변화가 기준값보다 적은 것으로 결정하는 동작을 포함할 수 있다.
일 실시예에 따르면, 지정된 조건들은, 도 11에 도시된 바와 같이, 전자 장치(101)(예: 도 1의 전자 장치(101))로부터 스타일러스 펜(1101)이 탈거됨(1110)을 감지하는 동작을 포함할 수 있다. 도 11에 도시된 바와 같이, 전자 장치(101)는, 스타일러스 펜(1101)이 탈거됨(1110)을 감지하는 것에 응답하여 드로잉 어플리케이션(1120)을 실행할 수 있고, 디스플레이(210)를 부분 업데이트 구동 상태로 제어할 수 있다.
전자 장치(101)는, 지정된 이벤트가 감지되면(예: 동작 920의 결과가 “예”) 동작 930을 수행할 수 있다.
전자 장치(101)는, 지정된 이벤트가 감지되지 않으면(예: 동작 920의 결과가 “아니오”) 동작 910을 다시 수행할 수 있다.
동작 930에서, 전자 장치(101)는, 디스플레이(210)를 부분 업데이트 구동 상태로 전환할 수 있다. 예를 들면, 전자 장치(101)는, 도 8을 참조하여 설명한 전자 장치(101)의 노말 구동 상태(800)로 전환할 수 있다.
동작 940에서, 전자 장치(101)는, 지정된 이벤트가 종료되는지 확인할 수 있다. 예를 들면, 전자 장치(101)는, 동작 920를 참조하여 설명한 지정된 조건들이 충족되지 않는 경우 지정된 이벤트가 종료된 것으로 결정할 수 있다. 다른 예를 들어, 전자 장치(101)는 전환(switch) 이벤트를 감지할 수도 있다. 프로세서(120)는 전환(switch) 이벤트를 감지하는 것에 응답하여, 디스플레이의 구동 상태를 부분 업데이트 구동 상태로부터 노말 구동 상태로 전환할 수 있다.
전자 장치(101)는, 지정된 이벤트가 종료된 경우(예: 동작 940의 결과가 “예”) 동작 950을 수행할 수 있다.
전자 장치(101)는, 지정된 이벤트가 유지되는 경우(예: 동작 940의 결과가 “아니오”) 동작 930을 다시 수행할 수 있다.
동작 950에서, 전자 장치(101)는, 디스플레이(210)를 노말 구동 상태로 전환할 수 있다. 예를 들면, 전자 장치(101)는, 도 6을 참조하여 설명한 전자 장치(101)의 노말 구동 상태(600)로 전환할 수 있다.
도 10는 다양한 실시예들에 따른 전자 장치(101)의 동작을 나타낸 흐름도이다.
도 10에 도시된 동작들 중에서 적어도 일부는 생략될 수 있다. 도 10에 도시된 적어도 일부 동작들의 이전 또는 이후에는 본 문서에서 다른 도면을 참조하여 언급한 적어도 일부 동작들이 추가 삽입 될 수 있다.
도 10에 도시된 동작들은 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다. 예를 들면, 전자 장치(101)의 메모리(130)(예: 도 1의 메모리(130))는, 실행시에, 프로세서(120)(예: 도 1의 프로세서(120))가 도 10에 도시된 적어도 일부 동작들을 수행하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
동작 1010에서, 전자 장치(101)(예: 도 1의 전자 장치(101))는, 디스플레이(210)(예: 도 3의 디스플레이(210))를 통해 표시되는 이전 프레임(예: 이전 프레임 이미지)과 현재 프레임(예: 현재 프레임 이미지)을 비교할 수 있다. 전자 장치(101)가 이전 프레임과 현재 프레임을 비교하는 동작은 지정된 시간 동안 수행될 수 있다.
동작 1020에서, 전자 장치(101)는, 현재 프레임에서 이전 프레임으로부터 달라진 부분 영역을 산출할 수 있다. 예를 들면, 전자 장치(101)는 매 프레임마다 화면 갱신이 이루어지는 영역을 부분 영역으로 결정할 수 있다.
동작 1030에서, 전자 장치(101)는, 디스플레이(210)의 전체 해상도에서 부분 영역의 비율이 기준 비율보다 작은지 확인할 수 있다. 기준 비율은 전자 장치(101)가 부분 업데이트 구동 상태에서 부분 영역에 대응하는 데이터를 처리하고 DDI(230)의 버퍼 메모리(422)에 대한 상기 데이터의 쓰기 동작을 완료할 수 있는 시간을 고려하여 설정될 수 있다. 예를 들면, 전술한 도 8의 예시에 따른 부분 업데이트 구동 상태에서, 프로세서(120)가 부분 영역에 대응하는 데이터를 1 프레임 기간 이내에 처리하지 못한다면 부분 업데이트 구동 상태에 따른 빠른 화면 업데이트가 불가능할 수 있다. 예를 들어, 기준 비율이 10%로 설정된다면, 전자 장치(101)는 부분 영역의 비율이 10%보다 작은지 확인할 수 있고, 상기 10%의 비율은 부분 영역에 대응하는 데이터를 1 프레임 기간 이내에 처리 및 저장하기 위한 임계 시간에 대응하는 값일 수 있다.
전자 장치(101)는, 부분 영역의 비율이 기준 비율보다 작은 경우(예: 동작 1030의 결과가 “예”) 동작 1040을 수행할 수 있다.
전자 장치(101)는, 부분 영역의 비율이 기준 비율보다 크거나 같은 경우(예: 동작 1030의 결과가 “아니오”) 도 10의 프로세싱을 종료하고 노말 구동 상태를 유지할 수 있다.
동작 1040에서, 전자 장치(101)는, 디스플레이(210)를 부분 업데이트 구동 상태로 전환할 수 있다. 예를 들면, 전자 장치(101)는, 도 8을 참조하여 설명한 전자 장치(101)의 부분 업데이트 구동 상태(800)로 전환할 수 있다.
도 12는 다양한 실시예들에 따른 전자 장치(101)의 동작을 나타낸 흐름도이다.
도 12에 도시된 동작들 중에서 적어도 일부는 생략될 수 있다. 도 12에 도시된 적어도 일부 동작들의 이전 또는 이후에는 본 문서에서 다른 도면을 참조하여 언급한 적어도 일부 동작들이 추가 삽입 될 수 있다.
도 12에 도시된 동작들은 전자 장치(101)의 프로세서(120)에 의해 수행될 수 있다. 예를 들면, 전자 장치(101)(예: 도 1의 전자 장치(101))의 메모리(130)(예: 도 1의 메모리(130))는, 실행시에, 프로세서(120)(예: 도 1의 프로세서(120))가 도 12에 도시된 적어도 일부 동작들을 수행하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
동작 1210에서, 전자 장치(101)는, 디스플레이(210)를 노말 구동 상태로 제어를 시작할 수 있다. 예를 들면, 전자 장치(101)는 어플리케이션을 실행하고, 어플리케이션의 실행 화면을 디스플레이(210)를 통해 표시할 수 있다.
동작 1220에서, 전자 장치(101)의 프로세서(120)는, 제 N 프레임 기간에, 제 1 사용자 입력을 수신할 수 있다. 제 1 사용자 입력은 어플리케이션의 실행 화면(예: 제 1 실행 화면)에 대한 사용자의 터치 입력일 수 있다. 예를 들면, 전자 장치(101)는 어플리케이션의 실행 화면을 표시하고, 실행 화면을 통한 사용자의 터치 입력을 수신할 수 있다. 예를 들면, 동작 1220은, 도 6에 도시된 제 N 프레임 기간과 동일 또는 유사할 수 있다.
동작 1230에서, 전자 장치(101)의 프로세서(120)는, 제 N+1 프레임 기간에, 제 1 사용자 입력을 처리하여 실행 화면(예: 제 2 실행 화면)을 생성할 수 있다. 예를 들면, 프로세서(120)의 어플리케이션 실행 모듈(411)은 이전 프레임 기간인 제 N 프레임 기간에 수신된 사용자 입력을 처리하여, 사용자 입력에 대응하는 실행 화면을 생성할 수 있다. 예를 들면, 동작 1230은, 도 6에 도시된 제 N+1 프레임 기간과 동일 또는 유사할 수 있다.
동작 1240에서, 전자 장치(101)의 프로세서(120)는, 제 N+2 프레임 기간에, 생성된 실행 화면(예: 제 2 실행 화면)을 기반으로 1 프레임 이미지를 생성할 수 있다. 예를 들면, 프레임 이미지 생성 모듈(412)(예: 안드로이드 운영체제의 SurfaceFlinger모듈)은 어플리케이션 실행 모듈(411)로부터 현재 실행중인 적어도 하나의 어플리케이션의 실행 화면을 수신하고, 수신된 어플리케이션의 실행 화면을 이용하여 1 프레임 이미지를 생성할 수 있다. 프로세서(120)는, 1 프레임 이미지의 생성이 완료되면, 1 프레임 이미지를 DDI(230)의 버퍼 메모리(422)에 저장할 수 있다. 예를 들면, 동작 1240은, 도 6에 도시된 제 N+2 프레임 기간과 동일 또는 유사할 수 있다.
동작 1250에서, 전자 장치(101)의 프로세서(120)는, 제 N+3 프레임 기간에, 디스플레이(210)(또는 DDI(230))가 버퍼 메모리(422)를 참조하여 1 프레임 이미지를 표시하도록 제어할 수 있다. 제 N+2 프레임 기간에 디스플레이(210)가 표시하는 1 프레임 이미지는, 전자 장치(101)가 제 N 프레임 기간에 수신한 제 1 사용자 입력을 처리한 결과로서 제 2 실행 화면을 포함할 수 있다. 예를 들면, 동작 1250은, 도 6에 도시된 제 N+3 프레임 기간과 동일 또는 유사할 수 있다.
도 13는 다양한 실시예들에 따른 전자 장치(101)의 동작을 나타낸 흐름도이다.
도 13에 도시된 동작들 중에서 적어도 일부는 생략될 수 있다. 도 13에 도시된 적어도 일부 동작들의 이전 또는 이후에는 본 문서에서 다른 도면을 참조하여 언급한 적어도 일부 동작들이 추가 삽입 될 수 있다.
도 13에 도시된 동작들은 전자 장치(101)(예: 도 1의 전자 장치(101))의 프로세서(120)(예: 도 1의 프로세서(120))에 의해 수행될 수 있다. 예를 들면, 전자 장치(101)의 메모리(130)(예: 도 1의 메모리(130))는, 실행시에, 프로세서(120)가 도 13에 도시된 적어도 일부 동작들을 수행하도록 하는 인스트럭션들(instructions)을 저장할 수 있다.
동작 1310에서, 전자 장치(101)는, 전자 장치(101)는, 디스플레이(210)를 부분 업데이트 구동 상태로 제어를 시작할 수 있다.
동작 1320에서, 전자 장치(101)는, 제 M 프레임 기간에, 제 2 사용자 입력을 수신할 수 있다. 제 2 사용자 입력은 어플리케이션의 실행 화면(예: 제 1 실행 화면)에 대한 사용자의 터치 입력일 수 있다. 예를 들면, 동작 1320은, 도 8에 도시된 제 M 프레임 기간과 동일 또는 유사할 수 있다
동작 1330에서, 전자 장치(101)는, 제 M+1 프레임 기간에, 전자 장치(101)의 프로세서(120)는 사용자 입력을 처리하여 부분 영역에 대응하는 데이터를 생성할 수 있다. 예를 들면, 프로세서(120)의 부분 업데이트 모듈(413)은 이전 프레임 기간인 제 M 프레임 기간에 수신된 사용자 입력을 처리하여, 사용자 입력에 대응하는 부분 영역에 대응하는 데이터를 생성할 수 있다.
동작 1340에서, 전자 장치(101)는, 부분 영역에 대응하는 데이터를 DDI(230)의 버퍼 메모리(422)에 저장할 수 있다.
예를 들면, 동작 1330 및 동작 1340은, 도 8에 도시된 제 M+1 프레임 기간과 동일 또는 유사할 수 있다
동작 1350에서, 전자 장치(101)는, 제 M+2 프레임 기간에, DDI(230)를 제어하여 제 2 사용자 입력에 대응하는 부분 영역을 표시하고, 나머지 영역은 셀프 구동하도록 제어할 수 있다. 예를 들면, DDI(230)는 버퍼 메모리(422)를 참조하여 디스플레이(210)가 1 프레임 이미지를 표시하도록 제어할 수 있다. 제 M+2 프레임 기간에 디스플레이(210)가 표시하는 1 프레임 이미지는, 전자 장치(101)가 제 M 프레임 기간 및 제 M+1 프레임 기간 중에서 제 2 수직 동기 신호(V2)가 출력되기 이전에 수신한 사용자 입력을 처리한 결과 이미지로서 부분 영역을 포함할 수 있다. 버퍼 메모리(422)에서, 상기 부분 영역의 데이터를 제외한 나머지 영역의 데이터들은 이전 프레임의 데이터들일 수 있다. DDI(230)는 제 M+2 프레임 기간에 1 프레임 이미지를 표시함에 있어서, 상기 부분 영역을 제외한 나머지 영역은 이전 프레임의 데이터를 표시하도록 디스플레이(210)를 구동할 수 있다. 예를 들면, DDI(230)는 상기 부분 영역을 제외한 나머지 영역은 제 M 프레임 기간에 표시하였던 제 1 실행 화면과 동일한 프레임 이미지를 표시하도록 디스플레이(210)를 구동할 수 있다.
동작 1350에서, 전자 장치(101)는, 제 M+2 프레임 기간에, 디스플레이(210)의 주사 순서가 부분 영역부터 시작되도록 제어할 수 있다. 예를 들면, 전자 장치(101)는, 부분 업데이트 구동 상태에서, 변조 스타트 펄스(MGSP)를 출력함으로써, 도 5의 지시부호 ②로 나타낸 바와 같이, 부분 영역에 대응하는 지정된 게이트 구동 회로(예: 도 5의 제 K 게이트 구동 회로(430-K))부터 게이트 신호를 순차적으로 출력하도록 제어할 수 있다.
예를 들면, 동작 1350 및 동작 1360은, 도 8에 도시된 제 M+2 프레임 기간과 동일 또는 유사할 수 있다.

Claims (15)

  1. 전자 장치에 있어서,
    디스플레이;
    버퍼 메모리를 포함하는 DDI(display driver IC); 및
    프로세서를 포함하고,
    상기 프로세서는, 노말 구동 상태로서,
    N 프레임 기간에 어플리케이션의 제 1 실행 화면에 대한 제 1 사용자 입력을 수신하고,
    N+1 프레임 기간에 상기 제 1 사용자 입력에 대응하는 상기 어플리케이션의 제 2 실행 화면을 생성하고,
    N+2 프레임 기간에 상기 제 2 실행 화면을 포함한 1 프레임 이미지를 생성하고, 및
    N+3 프레임 기간에 상기 디스플레이가 상기 제 2 실행 화면을 포함한 1 프레임 이미지를 표시하도록 상기 DDI를 제어하고,
    상기 프로세서는, 부분 업데이트 구동 상태로서,
    M 프레임 기간에 상기 제 1 실행 화면에 대한 제 2 사용자 입력을 수신하고,
    M+1 프레임 기간에 상기 제 2 사용자 입력에 대응하는 부분 영역의 데이터를 생성하고, 상기 데이터를 상기 버퍼 메모리에 저장하고, 및
    M+2 프레임 기간에 상기 디스플레이가 상기 버퍼 메모리를 참조하여 상기 부분 영역을 표시하되, 상기 부분 영역을 제외한 나머지 영역은 상기 제 1 실행 화면과 동일하게 표시하도록 상기 DDI를 제어하는, 전자 장치.
  2. 제 1 항에 있어서,
    상기 프로세서는, 상기 부분 업데이트 구동 상태에서, 상기 디스플레이의 화면이 주사되는 순서를 변경하도록 주사 변조 신호를 출력하는, 전자 장치.
  3. 제 2 항에 있어서,
    상기 DDI는, 상기 부분 업데이트 구동 상태에서, 상기 주사 변조 신호에 응답하여 상기 제 2 사용자 입력이 수신된 영역에서부터 화면 주사가 시작되도록 상기 디스플레이를 구동하는, 전자 장치.
  4. 제 1 항에 있어서,
    상기 프로세서는, 상기 부분 업데이트 구동 상태에서,
    제 1 수직 동기 신호에 기반하여 1 프레임 기간을 정의하고,
    제 1 수직 동기 신호보다 지정된 옵셋 타임만큼 위상이 지연된 제 2 수직 동기 신호에 기반하여 상기 부분 영역에 대응하는 데이터를 생성하고, 상기 데이터를 버퍼 메모리에 저장하는, 전자 장치.
  5. 제 4 항에 있어서,
    상기 제 1 수직 동기 신호의 출력 주기는 제 2 수직 동기 신호의 출력 주기와 동일한, 전자 장치.
  6. 제 5 항에 있어서,
    상기 프로세서는, 상기 부분 업데이트 구동 상태에서,
    M+1 프레임 기간 중에서 상기 제 2 수직 동기 신호가 출력되기 이전의 기간 동안, 제 3 사용자 입력을 수신하고, 상기 제 2 사용자 입력 및 상기 제 3 사용자 입력을 기반으로 상기 데이터를 생성하고, 상기 데이터를 상기 버퍼 메모리에 저장하는, 전자 장치.
  7. 제 1 항에 있어서,
    상기 프로세서는,
    지정된 이벤트를 감지하는 것에 응답하여 상기 노말 구동 상태로부터 상기 부분 업데이트 구동 상태로 전환하는, 전자 장치.
  8. 제 7 항에 있어서,
    상기 지정된 이벤트는, 지정된 어플리케이션이 실행되는 동작을 포함하는, 전자 장치.
  9. 제 7 항에 있어서,
    상기 지정된 이벤트는, 지정된 시간 동안 이전 프레임과 현재 프레임의 화면 변화가 기준값보다 적은 것을 감지하는 동작을 포함하는, 전자 장치.
  10. 제 7 항에 있어서,
    상기 지정된 이벤트는, 전자 장치로부터 스타일러스 펜이 탈거되는 것을 감지하는 동작을 포함하는, 전자 장치.
  11. 디스플레이, 및 버퍼 메모리를 포함하는 DDI(display driver IC)를 포함한 전자 장치의 방법에 있어서,
    상기 디스플레이를 노말 구동 상태로 제어하는 동작; 및
    상기 디스플레이를 부분 업데이트 구동 상태로 제어하는 동작을 포함하고,
    상기 노말 구동 상태로 제어하는 동작은,
    N 프레임 기간에 어플리케이션의 제 1 실행 화면에 대한 제 1 사용자 입력을 수신하는 동작,
    N+1 프레임 기간에 상기 제 1 사용자 입력에 대응하는 상기 어플리케이션의 제 2 실행 화면을 생성하는 동작,
    N+2 프레임 기간에 상기 제 2 실행 화면을 포함한 1 프레임 이미지를 생성하는 동작, 및
    N+3 프레임 기간에 상기 디스플레이가 상기 제 2 실행 화면을 포함한 1 프레임 이미지를 표시하도록 상기 DDI를 제어하는 동작을 포함하고,
    상기 부분 업데이트 구동 상태로 제어하는 동작은,
    M 프레임 기간에 상기 제 1 실행 화면에 대한 제 2 사용자 입력을 수신하는 동작,
    M+1 프레임 기간에 상기 제 2 사용자 입력에 대응하는 부분 영역의 데이터를 생성하고, 상기 데이터를 상기 버퍼 메모리에 저장하는 동작, 및
    M+2 프레임 기간에 상기 디스플레이가 상기 버퍼 메모리를 참조하여 상기 부분 영역을 표시하되, 상기 부분 영역을 제외한 나머지 영역은 상기 제 1 실행 화면과 동일하게 표시하도록 상기 DDI를 제어하는 동작을 포함하는, 방법.
  12. 제 11 항에 있어서,
    상기 부분 업데이트 구동 상태로 제어하는 동작은,
    상기 디스플레이의 화면이 주사되는 순서를 변경하도록 주사 변조 신호를 상기 DDI에 공급하는 동작을 더 포함하는, 방법.
  13. 제 12 항에 있어서,
    상기 부분 업데이트 구동 상태로 제어하는 동작은,
    상기 DDI가 상기 주사 변조 신호에 응답하여 상기 제 2 사용자 입력이 수신된 영역에서부터 화면 주사가 시작되도록 상기 디스플레이를 구동하는 동작을 더 포함하는, 방법.
  14. 제 11 항에 있어서,
    상기 부분 업데이트 구동 상태로 제어하는 동작은,
    제 1 수직 동기 신호에 기반하여 1 프레임 기간을 정의하는 동작, 및
    제 1 수직 동기 신호보다 지정된 옵셋 타임만큼 위상이 지연된 제 2 수직 동기 신호에 기반하여 상기 부분 영역에 대응하는 데이터를 생성하고, 상기 데이터를 버퍼 메모리에 저장하는 동작을 포함하는, 방법.
  15. 제 14 항에 있어서,
    상기 제 1 수직 동기 신호의 출력 주기는 제 2 수직 동기 신호의 출력 주기와 동일한, 방법.
PCT/KR2021/008041 2020-08-04 2021-06-25 화면의 부분 영역을 빠르게 업데이트하는 전자 장치 및 방법 WO2022030757A1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP21853619.1A EP4177879A4 (en) 2020-08-04 2021-06-25 ELECTRONIC DEVICE AND METHOD FOR QUICKLY UPDATE OF PARTIAL SCREEN REGION
US18/104,639 US20230178001A1 (en) 2020-08-04 2023-02-01 Electronic device and method for quickly updating partial region of screen

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2020-0097449 2020-08-04
KR1020200097449A KR102657681B1 (ko) 2020-08-04 2020-08-04 화면의 부분 영역을 빠르게 업데이트하는 전자 장치 및 방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US18/104,639 Continuation US20230178001A1 (en) 2020-08-04 2023-02-01 Electronic device and method for quickly updating partial region of screen

Publications (1)

Publication Number Publication Date
WO2022030757A1 true WO2022030757A1 (ko) 2022-02-10

Family

ID=80117331

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/008041 WO2022030757A1 (ko) 2020-08-04 2021-06-25 화면의 부분 영역을 빠르게 업데이트하는 전자 장치 및 방법

Country Status (4)

Country Link
US (1) US20230178001A1 (ko)
EP (1) EP4177879A4 (ko)
KR (1) KR102657681B1 (ko)
WO (1) WO2022030757A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116301416A (zh) * 2022-07-30 2023-06-23 荣耀终端有限公司 触控扫描方法、触摸屏及电子设备
CN117075789A (zh) * 2023-08-17 2023-11-17 广州文石信息科技有限公司 墨水屏的笔迹显示方法、装置、设备及存储介质

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4380146A1 (en) * 2022-10-20 2024-06-05 Samsung Electronics Co., Ltd. Electronic device and method for display synchronization
WO2024096162A1 (ko) * 2022-11-03 2024-05-10 엘지전자 주식회사 디스플레이 장치 및 타이밍 컨트롤러

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140184611A1 (en) * 2012-12-31 2014-07-03 Nvidia Corporation Method and apparatus for sending partial frame updates rendered in a graphics processor to a display using framelock signals
KR20140125820A (ko) * 2012-01-27 2014-10-29 퀄컴 엠이엠에스 테크놀로지스, 인크. 디스플레이 모드들을 선정하기 위한 시스템 및 방법
KR20150081749A (ko) * 2014-01-06 2015-07-15 삼성전자주식회사 화면 업데이트 방법, 저장 매체 및 전자 장치
KR20160130628A (ko) * 2015-05-04 2016-11-14 삼성전자주식회사 디스플레이 드라이버, 디스플레이 장치 및 디스플레이 시스템
US20200227010A1 (en) * 2018-05-02 2020-07-16 Apple Inc. Electronic display partial image frame update systems and methods

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3744826B2 (ja) * 2001-06-04 2006-02-15 セイコーエプソン株式会社 表示制御回路、電気光学装置、表示装置及び表示制御方法
US9529525B2 (en) * 2013-08-30 2016-12-27 Nvidia Corporation Methods and apparatus for reducing perceived pen-to-ink latency on touchpad devices
CN103593155B (zh) * 2013-11-06 2016-09-07 华为终端有限公司 显示帧生成方法和终端设备
US10089961B2 (en) * 2013-12-05 2018-10-02 Nec Display Solutions, Ltd. Image display device, the image display system, and image display method
US9697803B2 (en) * 2014-03-26 2017-07-04 Samsung Display Co., Ltd. Method and apparatus to reduce display latency of touch events using image replications
US20160062535A1 (en) * 2014-08-27 2016-03-03 Kabushiki Kaisha Toshiba Electronic apparatus and control method
US10147159B2 (en) * 2017-04-07 2018-12-04 Microsoft Technology Licensing, Llc Ink render using high priority queues

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140125820A (ko) * 2012-01-27 2014-10-29 퀄컴 엠이엠에스 테크놀로지스, 인크. 디스플레이 모드들을 선정하기 위한 시스템 및 방법
US20140184611A1 (en) * 2012-12-31 2014-07-03 Nvidia Corporation Method and apparatus for sending partial frame updates rendered in a graphics processor to a display using framelock signals
KR20150081749A (ko) * 2014-01-06 2015-07-15 삼성전자주식회사 화면 업데이트 방법, 저장 매체 및 전자 장치
KR20160130628A (ko) * 2015-05-04 2016-11-14 삼성전자주식회사 디스플레이 드라이버, 디스플레이 장치 및 디스플레이 시스템
US20200227010A1 (en) * 2018-05-02 2020-07-16 Apple Inc. Electronic display partial image frame update systems and methods

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4177879A4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116301416A (zh) * 2022-07-30 2023-06-23 荣耀终端有限公司 触控扫描方法、触摸屏及电子设备
CN116301416B (zh) * 2022-07-30 2023-11-14 荣耀终端有限公司 触控扫描方法、触摸屏及电子设备
CN117075789A (zh) * 2023-08-17 2023-11-17 广州文石信息科技有限公司 墨水屏的笔迹显示方法、装置、设备及存储介质
CN117075789B (zh) * 2023-08-17 2024-03-01 广州文石信息科技有限公司 墨水屏的笔迹显示方法、装置、设备及存储介质

Also Published As

Publication number Publication date
KR102657681B1 (ko) 2024-04-16
US20230178001A1 (en) 2023-06-08
EP4177879A4 (en) 2024-03-20
EP4177879A1 (en) 2023-05-10
KR20220017218A (ko) 2022-02-11

Similar Documents

Publication Publication Date Title
WO2022030757A1 (ko) 화면의 부분 영역을 빠르게 업데이트하는 전자 장치 및 방법
WO2022010116A1 (ko) 디스플레이 화면 재생률 제어 방법 및 장치
WO2021162436A1 (en) Electronic device including display and method for operating the same
WO2019226027A1 (en) Display device including scan driver for driving display panel in which empty area enclosed by display area is formed
WO2022158887A1 (ko) 디스플레이의 복수의 표시 영역들을 서로 다른 구동 주파수로 구동하는 전자 장치
WO2022031051A1 (ko) 캡쳐 기능 제공 방법 및 그 전자 장치
WO2022119276A1 (ko) 플렉서블 디스플레이 전자 장치 및 그 동작 방법
WO2022124734A1 (ko) 플렉서블 디스플레이를 포함하는 전자 장치, 그 동작 방법 및 저장 매체
WO2022030996A1 (ko) 디스플레이를 포함하는 전자 장치 및 그의 동작 방법
WO2020091530A1 (ko) 디스플레이의 동작 모드에 기반하여 터치 데이터의 보상을 결정하는 방법 및 장치
WO2022030998A1 (ko) 디스플레이를 포함하는 전자 장치 및 그의 동작 방법
WO2022039501A1 (ko) 플렉서블 디스플레이를 구비한 전자 장치
WO2024112005A1 (ko) 디스플레이를 포함하는 전자 장치 및 이의 동작 방법
WO2024071932A1 (ko) 디스플레이 구동 회로로의 송신을 위한 전자 장치 및 방법
WO2024085642A1 (ko) 디스플레이를 포함하는 전자 장치 및 이의 동작 방법
WO2022173166A1 (ko) 디스플레이의 잔상을 줄일 수 있는 전자 장치 및 방법
WO2023210991A1 (ko) 비디오 모드에서 디스플레이 스케일러 구동 방법 및 상기 방법을 이용한 전자 장치
WO2024034774A1 (ko) 복수의 디스플레이들을 포함하는 전자 장치 및 복수의 디스플레이들의 화질 편차를 줄이는 방법
WO2022092671A1 (ko) 디스플레이 제어 방법 및 그 전자 장치
WO2022119227A1 (ko) 전자 장치 및 이의 동작 방법
WO2024072055A1 (ko) 프로세서에게 제공되는 신호를 제어하는 전자 장치 및 방법
WO2024072171A1 (ko) 디스플레이 패널 상의 최초 이미지의 표시를 위한 전자 장치 및 방법
WO2024072176A1 (ko) 재생율에 기반하여 이미지 송신을 변경하는 전자 장치
WO2024072173A1 (ko) 모드의 변경을 위한 디스플레이를 포함하는 전자 장치 및 방법
WO2024101879A1 (ko) 전자 장치 및 전자 장치에서 이미지 프레임 동기화 제어 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21853619

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021853619

Country of ref document: EP

Effective date: 20230203

NENP Non-entry into the national phase

Ref country code: DE