WO2021134397A1 - 用于无线传输图像的方法及装置、存储介质及电子设备 - Google Patents

用于无线传输图像的方法及装置、存储介质及电子设备 Download PDF

Info

Publication number
WO2021134397A1
WO2021134397A1 PCT/CN2019/130306 CN2019130306W WO2021134397A1 WO 2021134397 A1 WO2021134397 A1 WO 2021134397A1 CN 2019130306 W CN2019130306 W CN 2019130306W WO 2021134397 A1 WO2021134397 A1 WO 2021134397A1
Authority
WO
WIPO (PCT)
Prior art keywords
image transmission
gui data
processor
application processor
frame timing
Prior art date
Application number
PCT/CN2019/130306
Other languages
English (en)
French (fr)
Other versions
WO2021134397A9 (zh
Inventor
王晓东
Original Assignee
上海飞来信息科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海飞来信息科技有限公司 filed Critical 上海飞来信息科技有限公司
Priority to CN201980095632.1A priority Critical patent/CN113728622A/zh
Priority to PCT/CN2019/130306 priority patent/WO2021134397A1/zh
Publication of WO2021134397A1 publication Critical patent/WO2021134397A1/zh
Publication of WO2021134397A9 publication Critical patent/WO2021134397A9/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level

Definitions

  • the present invention generally relates to the field of wireless image transmission technology, and more specifically to a method and device, storage medium and electronic equipment for wireless image transmission.
  • the image transmission chip at the receiving end is responsible for receiving video and generating OSD (on-screen display) data.
  • OSD on-screen display
  • the video transmission chip needs to be controlled by the sub-frame level timing to synthesize the video and OSD, and send them directly to the screen for display.
  • Such application scenarios usually require the display and operation of a graphical user interface.
  • drawing a complex GUI usually requires more computing resources and 2D/3D drawing resources, which is often not enough for special-purpose image transmission chips. If the GUI is to be drawn on a dedicated image transmission chip, there are requirements on the resources and capabilities of the image transmission chip, which will increase the cost of the image transmission chip.
  • the current common practice is that the image transmission chip sends the received image transmission data to the external application processor.
  • the external application processor completes the drawing of the GUI and merges the layers and sends it to the monitor for display, but this method will increase The delay displayed by the image transmission cannot achieve a very good low-latency image transmission user experience.
  • the present invention is proposed in order to solve at least one of the above-mentioned problems.
  • the present invention provides a method and device, storage medium and electronic equipment for wireless image transmission.
  • the GUI is drawn by an external application processor and then sent to the image transmission processor.
  • the image transmission processor combines the GUI with other layers. Combined display, and design a mechanism to synchronize the timing of external input GUI with the frame timing displayed by the image transmission processor to reduce the delay of GUI display and reduce the DDR bandwidth occupation of the target chip.
  • an embodiment of the present invention provides a method for wireless image transmission, which includes:
  • the application processor and the image transmission processor are independent of each other and are connected through an interface.
  • the embodiment of the present invention also provides an apparatus for wireless image transmission, which includes: an application processor and an image transmission processor,
  • the application processor is used to generate GUI data, and send the GUI data to the image transmission processor;
  • the image transmission processor is used to receive GUI data sent by the application processor and video and/or OSD data sent by other devices, and merge the received GUI data and video and/or OSD data to form display data ;
  • the image transmission processor is also used to send the display data to a display for display,
  • the application processor and the image transmission processor are independent of each other and are connected through an interface.
  • the embodiment of the present invention also provides a storage medium on which a computer program is stored, and the computer program executes the method for wireless image transmission according to the present invention when the computer program is running.
  • An embodiment of the present invention also provides an electronic device, which includes the device for wireless image transmission according to the present invention and a display, and the display is connected to the image transmission processor.
  • the embodiment of the present invention provides a method and device for wireless image transmission, storage medium and electronic equipment. Since the GUI is drawn by the external application processor, the GUI data sent by the external application processor is combined with other The layers are combined and displayed. On the one hand, for the image transmission processor with limited 2D/3D drawing capabilities, the external application processor can draw a complex GUI to complete the wireless image transmission; on the other hand, because the image transmission processor is used There is no need to draw complex GUI capabilities and computing resources, thus reducing the computing and drawing resources required by the image transmission processor, and reducing the requirements and cost of the image transmission processor.
  • FIG. 1 shows a schematic structural diagram of an exemplary electronic device for implementing a method and apparatus for wireless image transmission according to an embodiment of the present invention
  • Fig. 2 shows a schematic flowchart of a method for wireless image transmission according to an embodiment of the present invention
  • Fig. 3 shows a schematic flowchart of a method for realizing synchronization in wireless image transmission according to an embodiment of the present invention
  • FIG. 4 shows a schematic flowchart of a method for realizing synchronization in wireless image transmission according to another embodiment of the present invention
  • Fig. 5 shows a schematic block diagram of an apparatus for wireless image transmission according to an embodiment of the present invention
  • Fig. 6 shows a schematic block diagram of an electronic device according to an embodiment of the present invention.
  • the electronic device 100 includes one or more processors 102, one or more storage devices 104, an input/output device 106, and a communication interface 108. These components are connected through a bus system 110 and/or other forms of connection mechanisms. (Not shown) interconnected. It should be noted that the components and structure of the electronic device 100 shown in FIG. 1 are only exemplary and not restrictive. According to requirements, the electronic device may also have other components and structures, or may not include some of the aforementioned components.
  • the processor 102 generally represents any type or form of processing unit capable of processing data or interpreting and executing instructions.
  • the processor can be a central processing unit (CPU), an image processing unit (GPU), an application specific integrated circuit (ASIC), a field programmable gate array (FPGA), a digital signal processor (DSP) or has data processing capabilities And/or other forms of processing units with instruction execution capabilities, and can control other components in the electronic device 100 to perform desired functions.
  • the processor 102 can include one or more embedded processors, processor cores, microprocessors, logic circuits, hardware finite state machines (FSM), digital signal processors (DSP), or combinations thereof.
  • the processor 102 may receive instructions from software applications or modules. These instructions may cause the processor 102 to complete the method described and/or shown herein for hybrid navigation of a degree device and the self-moving device and method.
  • the storage device 104 may include one or more computer program products, and the computer program products may include various forms of computer-readable storage media, such as volatile memory and/or non-volatile memory.
  • the volatile memory may include random access memory (RAM) and/or cache memory (cache), for example.
  • the non-volatile memory may include, for example, read-only memory (ROM), hard disk, flash memory, and the like.
  • One or more computer program instructions may be stored on the computer-readable storage medium, and the processor 102 may run the program instructions to implement the client functions (implemented by the processor) in the embodiments of the present invention described below. And/or other desired functions.
  • Various application programs and various data such as various data used and/or generated by the application program, can also be stored in the computer-readable storage medium.
  • the input/output device 106 may be a device used by the user to input instructions and output various information to the outside.
  • the input device may include one or more of a keyboard, a mouse, a microphone, and a touch screen.
  • the output device may include one or more of a display, a speaker, and the like.
  • the communication interface 108 broadly represents any type or form of adapter or communication device capable of facilitating communication between the example electronic device 100 and one or more additional devices.
  • the communication interface 108 can facilitate communication between the electronic device 100 and a front-end or accessory electronic device, and a back-end server or cloud.
  • Examples of the communication interface 108 include, but are not limited to, a wired network interface (such as a network interface card), a wireless network interface (such as a wireless network interface card), a modem, and any other suitable interface.
  • the communication interface 108 provides a direct connection to a remote server/remote head-end device through a direct connection to a network such as the Internet.
  • the communication interface 108 provides a direct connection to a remote server/remote front-end device through a direct connection to a network such as a private network.
  • the communication interface 108 may also indirectly provide such a connection through any other suitable connection.
  • the exemplary electronic device used to implement the method and apparatus for wireless image transmission may be implemented as a smart phone, a tablet, a PDA, a remote control, a computer, and other devices.
  • Fig. 2 shows a schematic flowchart of a method for wireless image transmission according to an embodiment of the present invention. The method for wireless image transmission provided by an embodiment of the present invention will be described in detail below with reference to FIG. 2.
  • the method for wireless image transmission disclosed in this embodiment is applied to the receiving end of wireless image transmission.
  • the receiving end device has an application processor (AP) and an image transmission processor, and the application processor has strong 2D/3D Processing ability, can draw complex GUI (graphical user interface), image transmission processor has certain image processing capabilities, image transmission processor can receive the image sent by the transmitter, for example, receive the image sent by the transmitter through wireless transmission methods such as WIFI, Wireless transmission chips such as WIFI can be integrated in the image transmission processor, or can be separately configured for the receiving end.
  • the application processor and the image transmission processor are independent of each other and are connected through an interface. That is, the application processor and the image transmission processor receiving end device are two independent pieces of hardware, and the interface is, for example, a MIPI (Mobile Industry Processor Interface, MIPI for short) interface.
  • MIPI Mobile Industry Processor Interface
  • the method for wireless image transmission includes:
  • Step S101 Use the application processor to generate GUI data, and send the GUI data to the image transmission processor through the application processor.
  • the required GUI is drawn through the application processor of the image receiving end device, and the drawn GUI is sent to the image transmission processor.
  • the GUI data is stored in the buffer of the application processor.
  • the buffer is a continuous buffer (buffer) of a memory connected to the application processor.
  • it may be a part of a DDR of an external memory, for example.
  • the buffer is integrated in an application processor, such as a static RAM of the application processor.
  • the GUI data is in the ARGB format, that is, the application processor finishes drawing the required GUI, and after generating the GUI data, the GUI data is stored in the ARGB format to the application processor In the buffer.
  • the application processor sends the GUI data in the buffer to the image transmission processor in the RGB888 format through the interface.
  • the application processor outputs GUI data in its own buffer in the format of RGB888 as display data through the interface, such as MIPI output interface (MIPI DSI out), and transmits it to the image transmission processing. Device.
  • MIPI output interface MIPI DSI out
  • the ARGB format is 4 bytes per pixel
  • the RGB888 format is 3 bytes per pixel
  • the size of the GUI data is m pixels * n pixels, where m and n are positive integers, in order to ARGB format storage, and output in the format of RGB888, then m or n needs to be divisible by 3.
  • m can be divisible by 3, so the output of GUI data is performed according to the size of (m*4/3)*n.
  • GUI data is exemplary, and in other embodiments, other formats may also be used as needed, and are not limited to the ARGB format and the RGB888 format.
  • Step S102 using the image transmission processor to receive video and/or OSD data.
  • the video and/or OSD data sent by the transmitting terminal is received by the image transmission processor, for example, the video and/or OSD data sent by the transmitting terminal is received through WIFI.
  • the transmitting end is, for example, an unmanned aerial vehicle
  • the receiving end is, for example, a smart phone or a remote controller.
  • Step S103 using the image transmission processor to merge the received GUI data and the video and/or OSD data to form display data.
  • the image transmission processor receives the GUI data of the application processor through the interface, such as the MIPI input interface (MIPI DSI in).
  • the image transmission processor receives the GUI data in the RGB888 format, and stores the GUI data in the buffer of the image transmission processor shown. That is, the image transmission processor inputs the data into the image transmission processor according to the size of (m*4/3)*n (here it is assumed that the size of the GUI data is m pixels * n pixels), and then stores it in the image transmission processor In a continuous buffer (buffer) of the video transmission processor.
  • the buffer is a buffer integrated with the image transmission processor, such as a static RAM of the image transmission processor.
  • the image transmission processor reads the GUI data in the ARGB format, the size is m pixels * n pixels, and layered locally (local to the image transmission processor) with the video and/or OSD data received by the image transmission processor Combine to generate display data.
  • Step S104 using the image transmission processor to send the display data to a display for display.
  • the image transmission processor sends the display data to the display for display through a connection interface, such as a MIPI interface.
  • the image transmission processor since the image transmission processor only needs to perform layer merging of GUI data and video and/or OSD data, and does not need to draw a complicated GUI, it does not need strong calculation and drawing capabilities to be competent.
  • the method for wireless image transmission according to this embodiment can enable the image transmission processor to use an external application processor to draw a complex GUI with less calculation and drawing capabilities, thereby simplifying the calculation required by the image transmission processor. And drawing resources to reduce costs.
  • the timing of sending the GUI data to the application processor and the image transmission is synchronized to reduce the display delay of the GUI data.
  • the image transmission processor caches a few lines of data through a small on-chip buffer (buffer), and can receive the GUI data and send it directly to the LCDC, avoiding writing and reading from the device's memory (DDR), thereby reducing the GUI While displaying the delay, it can also avoid occupying the DDR bandwidth of the image transmission processor.
  • Fig. 3 shows a schematic flowchart of a method for realizing synchronization in wireless image transmission according to an embodiment of the present invention.
  • the method for realizing synchronization in wireless image transmission disclosed in this embodiment includes:
  • Step S201 The image transmission processor obtains the input frame header signal of the GUI data, and latches the counter of the image transmission processor through the frame header signal to obtain the first count snapshot of the counter.
  • the image transmission processor obtains the input frame header signal of the GUI data through an input interface (for example, MIPI DSI in interface), and then latches the image transmission processor local (local) through the frame header signal , Get the first count snapshot of the counter.
  • an input interface for example, MIPI DSI in interface
  • Step S202 The image transmission processor obtains the frame timing signal of the refreshing display, and the counter of the image transmission processor is latched by the frame timing signal of the refreshing display to obtain the second count snapshot of the counter.
  • the image transmission processor obtains the frame timing signal of the refreshing display of the local liquid crystal display controller (LCDC), and latches the counter of the image transmission processor through the frame timing signal of the refreshing display to obtain the The second count snapshot of the counter.
  • LCDC local liquid crystal display controller
  • Step S203 according to the difference between the first count snapshot and the second count snapshot, and the set advance value of the first count snapshot relative to the second count snapshot, determine the required adjustment amount of the frame header of the GUI data, as the The application processor sends the adjustment amount of the frame timing of the GUI data.
  • the advance value of the first counted snapshot relative to the second counted snapshot is determined according to the set duration that the frame head of the GUI data needs to be advanced relative to the frame head of the refreshed display.
  • the set time that needs to be set in advance is used to resist the jitter caused by the different timing of the two chips of the image transmission processor and the application processor in the system, because the frame header timing of the external chip can be adjusted according to the frame, this time can not be very large, and If it is small, it takes up less cache, such as 1 or 2 lines of time.
  • a certain data buffer is required to resist jitter. For example, if you need to advance the L line time, the first count snapshot needs to be advanced
  • the second count snapshot has a fixed value, such as k; the count gets the difference between the first count snapshot and the second count snapshot, and the difference between k, that is, the amount of GUI data frame header that needs to be adjusted.
  • the value of k is the count value of the snapshot counter corresponding to the 2 line time; in fact, the difference between snapshot 1 and snapshot 2 is not Must be equal to k, and the difference is the amount to be adjusted.
  • Step S204 Send the adjustment amount of the frame timing of the GUI data to the application processor, so as to adjust the frame timing of the GUI data sent by the application processor.
  • the comparison between the frame timing of sending the GUI data by the application processor and the frame timing of refreshing the screen of the image transmission processor is completed, and it is determined according to the comparison result that the application processor sends the GUI
  • the adjustment amount of the frame timing of the GUI data is sent to the application processor to adjust the frame timing at which the application processor sends the GUI data.
  • the image transmission processor feeds back the adjustment amount of the frame timing of the GUI data to the application processor through a certain data path, and the application processor directly adjusts the frame header position of the output interface (such as the DSI out interface) according to the adjustment amount .
  • the application processor needs to have the ability to actively adjust the frame timing of the output interface.
  • Fig. 4 shows a schematic flowchart of a method for realizing synchronization in wireless image transmission according to another embodiment of the present invention.
  • the method for realizing synchronization in wireless image transmission disclosed in this embodiment includes:
  • step S301 the clock source of the application processor is controlled by the digital-to-analog conversion module of the image transmission processor.
  • the clock source of the application processor is controlled by outputting a control voltage from the digital-to-analog conversion module of the image transmission processor.
  • the application processor uses a voltage-controlled oscillator VCXO as a clock source, and the control voltage of the VCXO comes from the voltage output by the digital-to-analog conversion module DAC of the image transmission processor.
  • VCXO voltage-controlled oscillator
  • Step S302 Compare the frame timing of the application processor sending the GUI data with the frame timing of the screen refresh of the image transmission processor, and determine the frame timing of the application processor sending the GUI data according to the comparison result. Adjust the amount.
  • the adjustment amount of the frame timing for sending the GUI data by the application processor can be obtained by referring to the method described in the foregoing steps S201-S203, and details are not described herein again.
  • Step S303 Adjust the control voltage of the clock source of the application processor according to the adjustment amount of the frame timing of the GUI data, thereby adjusting the frequency of the clock source of the application processor.
  • the digital-to-analog conversion module DAC of the image transmission processor is controlled to output the control voltage of the clock source VCXO of the application processor, and the frequency of the application processor clock is fine-tuned to realize the input GUI data.
  • the timing is synchronized with the frame timing of the screen refresh of the image transmission processor.
  • the output frequency of the VCXO is fine-tuned, that is, the working clock of the application processor is adjusted, so that the frame head position of the GUI data output by the application processor will be fine-tuned, and finally it will be synchronized with the local frame head.
  • the control voltage of the clock source of the application processor is adjusted so that the clock source of the application processor is Frequency becomes higher;
  • the frequency of the clock source of the application processor is kept unchanged.
  • FIG. 3 and FIG. 4 gives an exemplary method for realizing synchronization in wireless image transmission.
  • the embodiment of the present invention is not limited to the method shown in FIG. 3 and FIG. Use other suitable methods.
  • Fig. 5 shows a schematic block diagram of an apparatus for wireless image transmission according to an embodiment of the present invention.
  • the apparatus 200 for wireless image transmission in this embodiment includes an application processor 210 and an image transmission processor 220.
  • the application processor 210 and the image transmission processor 220 are independent of each other and are connected through an interface. .
  • the interface is, for example, an MIPI (Mobile Industry Processor Interface, MIPI for short)) interface.
  • MIPI Mobile Industry Processor Interface
  • the application processor 210 may be various types of application processor chips or SOC (system on chip) chips.
  • the application processor 210 includes a processor (CPU and/or GPU) 211, and a liquid crystal display The controller (ie LCDC) 212 and the output interface 213 (for example, MIPI output interface).
  • the application processor 210 connects with the image transmission processor 220 and transmits data through the output interface 213 and the input interface 221 of the image transmission processor 220.
  • the application processor 210 is also connected to an external memory, and part of the external memory may be used as the first buffer 214 of the application processor 210.
  • the application processor 210 uses a voltage-controlled oscillator (VCXO) 215 as a clock source, which is controlled by the voltage output by the digital-to-analog conversion module (DAC) 226 of the image transmission processor 220.
  • VXO voltage-controlled oscillator
  • DAC digital-to-analog conversion module
  • the application processor 210 is configured to generate GUI data required for wireless image transmission, and send the GUI data to the image transmission processor 220.
  • the first buffer 214 is used to store the GUI data generated by the application processor 210.
  • the first buffer 214 is an external memory of the application processor 210, such as a continuous buffer of a memory DDR.
  • the first buffer 214 may also be integrated in the application processor 210, such as a static RAM of the application processor 210.
  • the processor 211 ie, the CPU and/or GPU of the application processor 210 draws the required GUI and generates GUI data.
  • the GUI data is stored in the first buffer 214.
  • the GUI data is in the ARGB format, that is, the processor 211 stores the GUI data in the first buffer 214 in the ARGB format.
  • the liquid crystal display controller 212 of the application processor 210 sends the GUI data in the first buffer 214 to the image transmission processor 220 through the output interface 213 in the RGB888 format.
  • the liquid crystal display controller 212 outputs the GUI data in the first buffer 214 in the format of RGB888 as the display data through the output interface 213, such as MIPI output interface (MIPI DSI out), and transmits it to the Image transmission processor 220.
  • MIPI DSI out MIPI output interface
  • the ARGB format is 4 bytes per pixel
  • the RGB888 format is 3 bytes per pixel
  • the size of the GUI data is m pixels * n pixels, where m and n are positive integers.
  • m or n needs to be divisible by 3.
  • m can be divisible by 3, so the output of GUI data is performed according to the size of (m*4/3)*n.
  • GUI data is exemplary, and in other embodiments, other formats may also be used as needed, and are not limited to the ARGB format and the RGB888 format.
  • the image transmission processor 220 may use various types of image transmission chips. As shown in FIG. 5, the image transmission processor 220 includes an input interface 221, a second buffer 222, a liquid crystal display controller (ie LCDC) 223, an output interface 224, a timing processing module 225, and a digital-to-analog conversion module 225.
  • the input interface 221 and the output interface 224 are, for example, MIPI interfaces, and the image transmission processor 220 is connected to the application processor 210 and the display 230 through the input interface 221 and the output interface 224, respectively, and performs data transmission.
  • the display 230 is, for example, an LCD display.
  • the liquid crystal display controller (ie, LCDC) 223 is used to control the display data of the display 230 and the timing of refreshing the screen, and to receive the video/OSD data sent by the transmitter.
  • the second buffer 222 is used to store GUI data sent by the application processor 210.
  • the second buffer 222 is a buffer integrated with the image transmission processor 222, such as a static RAM of the image transmission processor.
  • the image transmission processor 220 is configured to receive GUI data sent by the application processor 210, and video and/or OSD data sent by other devices, and combine the received GUI data and video and /Or OSD data is merged to form display data, and the display data is sent to the display for display.
  • the image transmission processor 220 receives the video/OSD data sent by the transmitter on the one hand, and receives the GUI sent by the application processor 210 through the input interface 221, for example, MIPI DSI in. Data, the GUI data is then stored in the second buffer 222.
  • the image transmission processor 220 receives the GUI data in the RGB888 format, that is, the image transmission processor 220 has a size of (m*4/3)*n (it is assumed here that the GUI data The size is m pixels * n pixels), the data is input into the image transmission processor 220, and then stored in the second buffer 222 of the image transmission processor 220, for example, stored in a continuous buffer (buffer) .
  • the image transmission processor 220 reads the GUI data in the ARGB format, with a size of m pixels*n pixels, and performs local processing (local to the image transmission processor) with the video and/or OSD data received by the image transmission processor.
  • the layers are merged to generate display data.
  • the display data is sent to the display 230 through the liquid crystal display controller 223 and the output interface 224 for display.
  • the image transmission processor since the image transmission processor only needs to perform layer merging of GUI data and video and/or OSD data, and does not need to draw a complicated GUI, it does not need strong calculation and drawing capabilities to be competent.
  • the method for wireless image transmission according to this embodiment can enable the image transmission processor to use an external application processor to draw a complex GUI with less calculation and drawing capabilities, thereby simplifying the calculation required by the image transmission processor. And drawing resources to reduce costs.
  • the timing processing module 225 is configured to send the GUI data to the application processor 210 and the frame timing of the screen refresh of the image transmission processor 220, that is, the refresh timing of the LCDC223 Synchronize to reduce the display delay of the GUI data.
  • the timing processing module 225 is specifically configured to compare the frame timing of the GUI data sent by the application processor 210 with the frame timing of the screen refresh of the image transmission processor 220, and according to the comparison result Determine the adjustment amount of the frame timing of the GUI data sent by the application processor 210; and send the adjustment amount of the frame timing of the GUI data to the application processor 210 to adjust the application processor to send the GUI data The frame timing.
  • the digital-to-analog conversion module 226 is used to control the voltage of the clock source 215 of the application processor 210.
  • the timing processing module 225 is used to compare the frame timing of the GUI data sent by the application processor 210 with the frame timing of the screen refresh of the image transmission processor 220, and determine according to the comparison result that the application processor sends the frame timing of the GUI data.
  • the adjustment amount of the frame timing of the GUI data; the digital-to-analog conversion module 226 is further configured to adjust the control voltage of the clock source of the application processor according to the adjustment amount of the frame timing of the GUI data, thereby adjusting the application processing The frequency of the clock source of the device.
  • the control voltage of the clock source of the application processor is adjusted to make the frequency of the clock source of the application processor Become higher;
  • the frequency of the clock source of the application processor is kept unchanged.
  • the timing processing module 225 includes a counter, and the timing processing module 225 is configured to: obtain the frame header signal of the input GUI data, and latch the counter through the frame header signal , Get the first count snapshot of the counter; get the frame timing signal of the refresh display, and lock the counter through the frame timing signal of the refresh display to obtain the second count snapshot of the counter; according to the first count snapshot and the first count snapshot 2
  • the difference between the counted snapshots, and the set advance value of the first counted snapshot relative to the second counted snapshot determine the amount of adjustment required for the frame header of the GUI data, as the frame for the application processor to send the GUI data The amount of timing adjustment.
  • the advance value of the first counted snapshot relative to the second counted snapshot is determined according to the set duration that the frame head of the GUI data needs to be advanced relative to the frame head of the refreshed display.
  • the timing processing module 225 obtains the input frame header signal of the GUI data through the input interface 221, such as the MIPI input interface.
  • the timing processing module 225 obtains the frame timing signal of the swipe display from the liquid crystal display controller 223.
  • the device for wireless image transmission draws the GUI through the application processor, and sends it to the image transmission processor through the MIPI interface.
  • the image transmission processor combines the GUI with other layers for display, and due to the design of the external
  • the mechanism of synchronizing the timing of the input GUI with the frame timing displayed by the image transmission processor which reduces the time delay of GUI display and reduces the DDR bandwidth occupation of the target chip, while still obtaining low-latency image transmission.
  • Fig. 6 shows a schematic block diagram of an electronic device according to an embodiment of the present invention.
  • the electronic device 300 includes one or more processors 310 and one or more memories 320.
  • the processor 310 may be a central processing unit (CPU) or other forms of processing units with data processing capabilities and/or instruction execution capabilities, such as application processors (AP) and image transmission processors, and may control the electronic device 300 Other components in the to perform the desired function.
  • CPU central processing unit
  • AP application processors
  • image transmission processors may control the electronic device 300 Other components in the to perform the desired function.
  • one or more programs are stored in the memory 320; when the one or more programs are executed by the one or more processors, the one or more processors 310 are caused to implement the embodiments according to the present invention.
  • the described method for wireless image transmission is described in the image transmission.
  • the memory 320 is used to implement program codes of corresponding steps in the method for wirelessly transmitting images according to an embodiment of the present invention.
  • the memory 320 may include various forms of computer-readable storage media, such as volatile memory and/or non-volatile memory.
  • the volatile memory may include random access memory (RAM) and/or cache memory (cache), for example.
  • the non-volatile memory may include, for example, a read-only memory (ROM), a hard disk, a flash memory, and other permanent memories.
  • One or more computer program instructions may be stored on the computer-readable storage medium, and the processor 310 may run the program instructions to implement the above-described embodiments of the present invention (implemented by the processor) for The method of wirelessly transmitting images and/or other desired functions.
  • the electronic device may also include a display, which is connected to the processor through, for example, an MIPI interface.
  • the following steps are executed when the program code is executed by the processor 310:
  • the image transmission processor is used to send the display data to the display for display.
  • the following steps are also executed when the program code is executed by the processor 310:
  • the adjustment amount of the frame timing of the GUI data is sent to the application processor to adjust the frame timing at which the application processor sends the GUI data.
  • a storage medium is also provided, and program instructions are stored on the storage medium.
  • program instructions are executed by a computer or a processor, they are used to execute the wireless device used in the embodiment of the present invention.
  • the storage medium may include, for example, a memory card of a smart phone, a storage component of a tablet computer, a hard disk of a personal computer, a read-only memory (ROM), an erasable programmable read-only memory (EPROM), a portable compact disk read-only memory (CD-ROM), USB memory, or any combination of the above storage media.
  • the computer-readable storage medium may be any combination of one or more computer-readable storage media.
  • the computer program instructions perform the following steps when run by a computer: use an application processor to generate GUI data, and send the GUI data to the image transmission processor through the application processor; use the image transmission
  • the processor receives video and/or OSD data; uses the image transmission processor to merge the received GUI data and video and/or OSD data to form display data; uses the image transmission processor to send the display data To the monitor for display.
  • the embodiment of the present invention provides a method and device for wireless image transmission, storage medium and electronic equipment. Since the GUI is drawn by the external application processor, the GUI data sent by the external application processor is combined with other The layers are combined and displayed. On the one hand, for the image transmission processor with limited 2D/3D drawing capabilities, the external application processor can draw a complex GUI to complete the wireless image transmission; on the other hand, because the image transmission processor is used There is no need to draw complex GUI capabilities and computing resources, thus reducing the computing and drawing resources required by the image transmission processor, and reducing the requirements and cost of the image transmission processor.
  • the disclosed device and method may be implemented in other ways.
  • the device embodiments described above are only illustrative.
  • the division of the units is only a logical function division, and there may be other divisions in actual implementation, for example, multiple units or components can be combined or It can be integrated into another device, or some features can be ignored or not implemented.
  • the various component embodiments of the present invention may be implemented by hardware, or by software modules running on one or more processors, or by a combination of them.
  • a microprocessor or a digital signal processor may be used in practice to implement some or all of the functions of some modules according to the embodiments of the present invention.
  • the present invention can also be implemented as a device program (for example, a computer program and a computer program product) for executing part or all of the methods described herein.
  • a program for realizing the present invention may be stored on a computer-readable medium, or may have the form of one or more signals.
  • Such a signal can be downloaded from an Internet website, or provided on a carrier signal, or provided in any other form.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种用于无线传输图像的方法及装置、存储介质及电子设备。所述方法包括利用应用处理器生成GUI数据，并通过应用处理器将所述GUI数据发送至图传处理器（S101）；利用所述图传处理器接收视频和/或OSD数据（S102）；利用所述图传处理器将接收的所述GUI数据以及视频和/或OSD数据进行合并形成显示数据（S103）；利用所述图传处理器将所述显示数据发送至显示器进行显示（S104），其中，所述应用处理器和所述图传处理器彼此独立，且通过接口连接。所述方法可以获得低延迟的图传体验，并精简图传芯片所需要的计算和绘图资源。

Description

用于无线传输图像的方法及装置、存储介质及电子设备
说明书
技术领域
本发明总地涉及无线图传技术领域，更具体地涉及一种用于无线传输图像的方法及装置、存储介质及电子设备。
背景技术
在无线视频传输系统中，接收端的图传芯片负责接收视频、生成OSD(on-screen display)数据。为了获得最小的图传延时，需要由图传芯片以亚帧级别的时序控制，合成视频与OSD，直接送到屏幕上进行显示。然而，这样的应用场景通常还需要有图形用户界面的显示和操作需要。而绘制复杂的GUI(Graphical User Interface，图形用户界面)，通常需要较多的计算资源和2D/3D绘图资源，这对专门用途的图传芯片来说，往往是不能够满足的。如果要在专门用途的图传芯片中绘制GUI，则对图传芯片的资源和能力有要求，这会增加图传芯片的成本。
目前的常用做法是图传芯片将接收到的图传数据送给外部应用处理器，由外部应用处理器完成GUI的绘制并且合并图层后送到显示器上进行显示，但是这种方法会加大图传显示的延迟，无法做到非常好的低延迟图传的用户体验。
发明内容
为了解决上述问题中的至少一个而提出了本发明。本发明提供一种用于无线传输图像的方法及装置、存储介质及电子设备，其通过外部应用处理器绘制GUI，然后送入图传处理器，由图传处理器将GUI与其他图层进行合并显示，并且设计外部输入GUI的时序与图传处理器刷屏显示的帧定时进行同步的机制，以减小GUI显示的时延，并降低目标芯片的DDR带宽占用。
具体地，本发明实施例提供一种用于无线传输图像的方法，其包括：
利用应用处理器生成GUI数据，并通过应用处理器将所述GUI数据发送至图传处理器；
利用所述图传处理器接收视频和/或OSD数据；
利用所述图传处理器将接收的所述GUI数据以及视频和/或OSD数据进行合并形成显示数据；
利用所述图传处理器将所述显示数据发送至显示器进行显示，
其中，所述应用处理器和所述图传处理器彼此独立，且通过接口连接。
本发明实施例还提供一种用于无线传输图像的装置，其包括：应用处理器和图传处理器，
所述应用处理器用于生成GUI数据，并将所述GUI数据发送至所述图传处理器；
所述图传处理器用于接收所述应用处理器发送的GUI数据，以及其他设备发送的视频和/或OSD数据，并将接收的所述GUI数据以及视频和/或OSD数据进行合并形成显示数据；
所述图传处理器还用于将所述显示数据发送至显示器进行显示，
其中，所述应用处理器和所述图传处理器彼此独立，且通过接口连接。
本发明实施例还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行根据本发明是的用于无线传输图像的方法。
本发明实施例还提供一种电子设备，其包括根据本发明的用于无线传输图像的装置以及显示器，所述显示器与图传处理器连接。
本发明实施例提供了一种用于无线传输图像的方法及装置、存储介质及电子设备，由于通过外部应用处理器绘制GUI，通过图传处理器将外部应用处理器送入的GUI数据与其他图层进行合并显示，这样一方面，对于2D/3D绘图能力受限的图传处理器，可以通过外部应用处理器绘制复杂的GUI来完成无线图传；另一方面，由于使图传处理器无需绘制复杂GUI的能力和计算资源，因而减少了图传处理器所需要的计算和绘图资源，降低了图传处理器的要求和成本。
附图说明
图1示出用于实现根据本发明实施例的用于无线传输图像的方法及装置的示例电子设备的结构示意图；
图2示出根据本发明一实施例的用于无线传输图像的方法的示意性流程图；
图3示出根据本发明一实施例的用于在无线图传中实现同步的方法的示意性流程图；
图4示出根据本发明另一实施例的用于在无线图传中实现同步的方法的示意性流程图；
图5示出根据本发明一实施例的用于无线传输图像的装置的示意性框图；
图6示出根据本发明一实施例的电子设备的示意性框图。
具体实施方式
为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
在下文的描述中，给出了大量具体的细节以便提供对本发明更为彻底的理解。然而，对于本领域技术人员而言显而易见的是，本发明可以无需一个或多个这些细节而得以实施。在其他的例子中，为了避免与本发明发生混淆，对于本领域公知的一些技术特征未进行描述。
应当理解的是，本发明能够以不同形式实施，而不应当解释为局限于这里提出的实施例。相反地，提供这些实施例将使公开彻底和完全，并且将本发明的范围完全地传递给本领域技术人员。
在此使用的术语的目的仅在于描述具体实施例并且不作为本发明的限制。在此使用时，单数形式的“一”、“一个”和“所述/该”也意图包括复数形式，除非上下文清楚指出另外的方式。还应明白术语“组成”和/或“包括”， 当在该说明书中使用时，确定所述特征、整数、步骤、操作、元件和/或部件的存在，但不排除一个或更多其它的特征、整数、步骤、操作、元件、部件和/或组的存在或添加。在此使用时，术语“和/或”包括相关所列项目的任何及所有组合。
为了彻底理解本发明，将在下列的描述中提出详细的步骤以及详细的结构，以便阐释本发明提出的技术方案，然而除了这些详细描述外，本发明还可以具有其他实施方式。
首先，参照图1来描述用于实现根据本发明实施例的用于无线传输图像的方法及装置的示例电子设备100。如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入/输出装置106以及通信接口108，这些组件通过总线系统110和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构，也可以不包括前述的部分组件。
所述处理器102一般表示任何类型或形式的能够处理数据或解释和执行指令的处理单元。一般而言，处理器可以是中央处理单元(CPU)、图像处理单元(GPU)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、数字信号处理器(DSP)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。例如，处理器102能够包括一个或多个嵌入式处理器、处理器核心、微型处理器、逻辑电路、硬件有限状态机(FSM)、数字信号处理器(DSP)或它们的组合。在特定实施例中，处理器102可以接收来自软件应用或模块的指令。这些指令可以导致处理器102完成本文描述和/或示出的用于度设备混合导航的方法和自移动设备与方法。
所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指 令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
所述输入/输出装置106可以是用户用来输入指令和向外部输出各种信息的装置，例如输入装置可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。输出装置可以包括显示器、扬声器等中的一个或多个。
通信接口108广泛地表示任何类型或形式的能够促进示例电子设备100和一个或多个附加设备之间的通信的适配器或通信设备。例如，通信接口108可以促进电子设备100和前端或附件电子设备以及后端服务器或云端的通信。通信接口108的示例包括但不限于有线网络接口(诸如网络接口卡)、无线网络接口(诸如无线网络接口卡)、调制解调器和任何其他合适的接口。在一实施例中，通信接口108通过与诸如因特网的网络的直连提供到远程服务器/远程前端设备的直连。在特定实施例中，通信接口108通过与专用网络等网络的直连提供到远程服务器/远程前端设备的直连。通信接口108还可以间接提供这种通过任何其它合适连接的连接。
示例性地，用于实现根据本发明实施例的用于无线传输图像的方法及装置的示例电子设备可以被实现为智能手机、平板、PDA、遥控器、计算机等设备。
图2示出根据本发明一实施例的用于无线传输图像的方法的示意性流程图。下面结合图2对本发明实施例提供的用于无线传输图像的方法进行详细描述。
本实施例公开的用于无线传输图像的方法应用于无线图像传输的接收端，该接收端设备具备应用处理器(AP)和图传处理器，所述应用处理器具有较强的2D/3D处理能力，可以绘制复杂的GUI(图形用户界面)，图传处理器具备一定图像处理能力，图传处理器可以接收发射端发送的图像，例如通过WIFI等无线传输方式接收发射端发送的图像，诸如WIFI等无线传输芯片可以集成在所述图传处理器中，也可以为接收端单独配置。所述应用处理器和所述图传处理器彼此独立，且通过接口连接。即，应用处理器和所述图传处理器接收端设备彼此独立的两个硬件，所述接口例如为MIPI(移动产业处理器接口，Mobile Industry Processor Interface，简称 MIPI))接口。
如图2所示，本实施例提供的用于无线传输图像的方法包括：
步骤S101，利用应用处理器生成GUI数据，并通过应用处理器将所述GUI数据发送至图传处理器。
即通过图像接收端设备具备的应用处理器绘制所需要的GUI，并将绘制的GUI发送至图传处理器。
进一步地，在本实施例中，应用处理器绘制完所需要的GUI，生成GUI数据之后，将所述GUI数据存储至所述应用处理器的缓冲器中。作为一个示例，所述缓冲器为与所述应用处理器连接的存储器的一段连续buffer(缓冲器)，示例性地，例如可以是外部存储器的DDR的一部分。作为另一示例，所述缓冲器集成设置在应用处理器中，例如所述应用处理器的静态RAM。
示例性地，在本实施例中，所述GUI数据为ARGB格式，即应用处理器绘制完所需要的GUI，生成GUI数据之后，以ARGB格式将所述GUI数据存储至所述应用处理器的缓冲器中。
示例性地，在本实施例中，所述应用处理器通过所述接口以RGB888格式将所述缓冲器中的GUI数据发送至所述图传处理器。示例性地，应用处理器将自身缓冲器(buffer)中的GUI数据，以RGB888的格式作为显示数据通过所述接口，例如MIPI输出接口(MIPI DSI out)输出，从而传输至所述图传处理器。
进一步地，由于ARGB格式为每像素4字节，而RGB888格式是每像素3字节，因此，假定述GUI数据的尺寸为m像素*n像素，其中，m和n正整数，则为了能以ARGB格式存储，并以RGB888的格式输出，则m或n需要能被3整除。示例性地，假定m能被3整除，因此GUI数据的输出是按照(m*4/3)*n的尺寸进行的。
应当理解，GUI数据的存储和输出格式是示例性的，在其它实施例中，也可以根据需要采用其它格式，而不限于ARGB格式和RGB888格式。
步骤S102，利用所述图传处理器接收视频和/或OSD数据。
即，通过图传处理器接收发射端发送的视频和/或OSD数据，例如通过WIFI方式接收发射端发送的视频和/或OSD数据。作为一个示例，发射 端例如为无人飞行器，接收端例如为智能手机或遥控器。
步骤S103，利用所述图传处理器将接收的所述GUI数据以及视频和/或OSD数据进行图层合并形成显示数据。
具体地，当完成步骤S101和S102之后，首先，图传处理器通过所述接口，例如MIPI输入接口(MIPI DSI in)接收应用处理器的GUI数据。示例性地，在本实施例中，图传处理器以RGB888格式接收所述GUI数据，并将所述GUI数据存储在所示所述图传处理器的缓冲器中。即，图传处理器按照(m*4/3)*n的尺寸(在这里假定述GUI数据的尺寸为m像素*n像素)，将数据输入到图传处理器内部，然后将其存储在图传处理器的一段连续缓冲器(buffer)中。示例性地，所述缓冲器为所述图传处理器集成的缓冲器，例如所述图传处理器的静态RAM。
接着，图传处理器以ARGB格式读取所述GUI数据，尺寸为m像素*n像素，并在本地(图传处理器本地)与图传处理器接收的视频和/或OSD数据进行图层合并，生成显示数据。
步骤S104，利用所述图传处理器将所述显示数据发送至显示器进行显示。
即，图传处理器通过连接接口，例如MIPI接口将将所述显示数据发送至显示器进行显示。
在本实施例中，由于图传处理器仅需要执行GUI数据以及视频和/或OSD数据的图层合并，无需绘制复杂的GUI，因此不要强大的计算和绘图能力即可胜任。换言之，根据本实施例的用于无线传输图像的方法可以使得图传处理器以较少的计算和绘图能力，利用外部应用处理器，绘制复杂的GUI，从而精简图传处理器所需要的计算和绘图资源，降低成本。
进一步地，在本实施例中，为了降低应用处理器输入图传处理器的GUI内容显示到屏上的延时，还可以对所述应用处理器发送所述GUI数据的时序与所述图传处理器的刷屏的帧定时进行同步，以减少所述GUI数据的显示延迟。这样图传处理器通过一块片上的小缓冲器(buffer)缓存少量几行数据，就可以收下GUI数据，直接送到LCDC，避免从设备的内存(DDR)中写和读，在减小GUI显示延迟的同时，还可以避免占用图传处理器的DDR带宽。
下面结合图3和图4对根据本实施例的对所述应用处理器发送所述GUI数据的时序与所述图传处理器的刷屏的帧定时进行同步的方法进行描述。
图3示出根据本发明一实施例的用于在无线图传中实现同步的方法的示意性流程图。
如图3所示，本实施例公开的用于在无线图传中实现同步的方法，包括：
步骤S201，所述图传处理器获得输入的所述GUI数据的帧头信号，并通过该帧头信号锁存所述图传处理器的计数器，得到该计数器的第1计数快照。
示例性地，所述图传处理器通过输入接口(例如MIPI DSI in接口)获得输入的所述GUI数据的帧头信号，然后通过该帧头信号锁存所述图传处理器本地(local)的计数器，得到该计数器的第1计数快照。
步骤S202，所述图传处理器获得刷屏显示的帧定时信号，通过该刷屏显示的帧定时信号锁存所述图传处理器的计数器，得到该计数器的第2计数快照。
即，所述图传处理器获取本地的液晶显示控制器(LCDC)的刷屏显示的帧定时信号，并通过该刷屏显示的帧定时信号锁存所述图传处理器的计数器，得到该计数器的第2计数快照。
步骤S203，根据第1计数快照和第2计数快照的差值，以及设定的第1计数快照相对第2计数快照的提前值，确定所述GUI数据的帧头需要的调整量，作为所述应用处理器发送所述GUI数据的帧定时的调整量。
示例性地，所述第1计数快照相对第2计数快照的提前值根据所述GUI数据的帧头相对刷屏显示的帧头需要提前的设定时长确定。该需要提前的设定时长是用来抗系统中图传处理器和应用处理器两颗芯片定时不同引起的抖动，因为能够按帧调整外部芯片的帧头定时，这个时间可以不用很大，而且小的话占用缓存也少，比如1或者2行的时间。
作为一个示例，为保证GUI数据的帧头保持在本地刷屏显示的帧头提前设定时长，需要有一定的数据缓冲来抵抗抖动，比如，需要提前L行时间，则第1计数快照需要提前第2计数快照一个固定的数值，比如k；计 数得到第1计数快照和第2计数快照的差值，与k的差，即GUI数据帧头需要调整的量。作为一个示例，例如期望第1计数快照比第2计数快照提前2行的时间，那k的值就是2行时间对应的快照计数器的计数值；而实际上快照1与快照2的差值，不一定等于k，差别多少就是要调整的量。
步骤S204，将所述GUI数据的帧定时的调整量发送至所述应用处理器，以调整应用处理器发送所述GUI数据的帧定时。
当通过步骤S201至S203，完成比较所述应用处理器发送所述GUI数据的帧定时与所述图传处理器的刷屏的帧定时，并根据比较结果确定所述应用处理器发送所述GUI数据的帧定时的调整量之后，将所述GUI数据的帧定时的调整量发送至所述应用处理器，以调整应用处理器发送所述GUI数据的帧定时。示例性地，图传处理器将GUI数据的帧定时的调整量通过某数据通路反馈回应用处理器，应用处理器直接根据该调整量来调整输出接口的(例如DSI out接口)的帧头位置。
应当理解，在本实施例公开的用于在无线图传中实现同步的方法中，需要应用处理器具有主动调整输出接口帧定时的能力。
图4示出根据本发明另一实施例的用于在无线图传中实现同步的方法的示意性流程图。
如图4所示，本实施例公开的用于在无线图传中实现同步的方法，包括：
步骤S301，通过所述图传处理器的数模转换模块的控制所述应用处理器的时钟源。
即，通过所述图传处理器的数模转换模块输出控制电压来控制所述应用处理器的时钟源。
作为一个示例，应用处理器使用压控振荡器VCXO作为时钟源，VCXO的控制电压来自于图传处理器的数模转换模块DAC输出的电压。
步骤S302，比较所述应用处理器发送所述GUI数据的帧定时与所述图传处理器的刷屏的帧定时，并根据比较结果确定所述应用处理器发送所述GUI数据的帧定时的调整量。
所述应用处理器发送所述GUI数据的帧定时的调整量可以参见前述步骤S201-至S203所述的方法获取，在此不再赘述。
步骤S303，根据所述GUI数据的帧定时的调整量调节所述应用处理器的时钟源的控制电压，从而调节所述应用处理器的时钟源的频率。
即，通过所述GUI数据的帧定时的调整量控制图传处理器的数模转换模块DAC输出应用处理器的时钟源VCXO的控制电压，微调应用处理器时钟的频率，从而实现输入的GUI数据在时序上与图传处理器的刷屏的帧定时的同步。换言之，微调了VCXO的输出频率，即调整了应用处理器的工作时钟，从而会微调应用处理器输出GUI数据的帧头位置，最终达到与本地帧头同步。
示例性地，当所述GUI数据的帧定时的调整量要求所述GUI数据的帧定时的提前时，调节所述应用处理器的时钟源的控制电压，使所述应用处理器的时钟源的频率变高；或者
当所述GUI数据的帧定时的调整量要求所述GUI数据的帧定时的延迟时，调节所述应用处理器的时钟源的控制电压，使所述应用处理器的时钟源的频率变低；或者
当所述GUI数据的帧定时的调整量不要求所述GUI数据的帧定时变化时，则保持所述应用处理器的时钟源的频率变不变。
应当理解，上述结合图3和图4的描述给出了在无线图传中实现同步的示例性地方法，然而本发明实施例并不限于图3和图4所示的方法，还可以根据需要采用其他合适的方法。
图5示出根据本发明一实施例的用于无线传输图像的装置的示意性框图。如图5所示，本实施例的于无线传输图像的装置200包括应用处理器210和图传处理器220，所述应用处理器210和所述图传处理器220彼此独立，且通过接口连接。所述接口例如为MIPI(移动产业处理器接口，Mobile Industry Processor Interface，简称MIPI))接口。
应用处理器210可以为各种类型的应用处理器芯片或SOC(片上系统)芯片，示例性地，如图5所示，应用处理器210包括处理器(CPU和/或GPU)211，液晶显示控制器(即LCDC)212和输出接口213(例如MIPI输出接口)。应用处理器210通过输出接口213以及图传处理器220的输入接口221与图传处理器220进行连接以及数据传输。在本实施例中，应用处理器210还连接有外部存储器，该外部存储器的部分可以作为应用处理 器210的第一缓冲器214。此外，在本发明一示例中，应用处理器210以压控振荡器(VCXO)215作为时钟源，其通过图传处理器220的数模转换模块(DAC)226输出的电压进行控制。
在本实施例中，所述应用处理器210用于生成无线图传所需要的GUI数据，并将所述GUI数据发送至所述图传处理器220。第一缓冲器214用于存储应用处理器210生成的所述GUI数据。在本实施例中，第一缓冲器214为应用处理器210外部存储器，例如内存DDR的一段连续buffer。当然，在其它实施例中，第一缓冲器214也可以集成设置在所述应用处理器210中，例如为应用处理器210的静态RAM。
更具体地，在本实施例中，应用处理器210的处理器211(即CPU和/或GPU)绘制所需要的GUI，生成GUI数据。生成GUI数据之后，将所述GUI数据存储至第一缓冲器214中。示例性地，在本实施例中，所述GUI数据为ARGB格式，即处理器211以ARGB格式将所述GUI数据存储至第一缓冲器214中。
示例性地，在本实施例中，所述应用处理器210的液晶显示控制器212通过所述输出接口213以RGB888格式将第一缓冲器214中的GUI数据发送至所述图传处理器220。示例性地，液晶显示控制器212将第一缓冲器214中的GUI数据，以RGB888的格式作为显示数据通过所述输出接口213，例如MIPI输出接口(MIPI DSI out)输出，从而传输至所述图传处理器220。
进一步地，由于ARGB格式为每像素4字节，而RGB888格式是每像素3字节，因此，假定所述GUI数据的尺寸为m像素*n像素，其中，m和n正整数，则为了能以ARGB格式，并以RGB888的格式输出，则m或n需要能被3整除。示例性地，假定m能被3整除，因此GUI数据的输出是按照(m*4/3)*n的尺寸进行的。
应当理解，GUI数据的存储和输出格式是示例性的，在其它实施例中，也可以根据需要采用其它格式，而不限于ARGB格式和RGB888格式。
图传处理器220可以采用各种类型的图传芯片。如图5所示，图传处理器220包括输入接口221、第二缓冲器222、液晶显示控制器(即LCDC)223，输出接口224，定时处理模块225和数模转换模块225。输入接口221 和输出接口224例如为MIPI接口，图传处理器220通过输入接口221和输出接口224分别与应用处理器210和显示器230连接，并进行数据传输。显示器230例如为LCD显示器。液晶显示控制器(即LCDC)223用于控制显示器230的显示数据以及刷屏定时，以及接收发射端发送的视频/OSD数据。第二缓冲器222用于存储应用处理器210发送的GUI数据。示例性地，第二缓冲器222为所述图传处理器222集成的缓冲器，例如所述图传处理器的静态RAM。
在本实施例中，所述图传处理器220用于接收所述应用处理器210发送的GUI数据，以及其他设备发送的视频和/或OSD数据，并将接收的所述GUI数据以及视频和/或OSD数据进行合并形成显示数据，以及将所述显示数据发送至显示器进行显示。
具体地，在本实施例中，图传处理器220一方面接收发射端发送的视频/OSD数据，一方面通过输入接口221，例如MIPI输入接口(MIPI DSI in)接收应用处理器210发送的GUI数据，然后将所述GUI数据存储在第二缓冲器222中。示例性地，在本实施例中，图传处理器220以RGB888格式接收所述GUI数据，即，图传处理器220按照(m*4/3)*n的尺寸(在这里假定述GUI数据的尺寸为m像素*n像素)，将数据输入到图传处理器220内部，然后将其存储在图传处理器220的第二缓冲器222中，例如存储至一段连续缓冲器(buffer)中。接着，图传处理器220的以ARGB格式读取所述GUI数据，尺寸为m像素*n像素，并在本地(图传处理器本地)与图传处理器接收的视频和/或OSD数据进行图层合并，生成显示数据。该显示数据通过液晶显示控制器223以及输出接口224发送至显示器230进行显示。
在本实施例中，由于图传处理器仅需要执行GUI数据以及视频和/或OSD数据的图层合并，无需绘制复杂的GUI，因此不要强大的计算和绘图能力即可胜任。换言之，根据本实施例的用于无线传输图像的方法可以使得图传处理器以较少的计算和绘图能力，利用外部应用处理器，绘制复杂的GUI，从而精简图传处理器所需要的计算和绘图资源，降低成本。
进一步地，在本实施例中，定时处理模块225用于对所述应用处理器210发送所述GUI数据的时序与所述图传处理器220的刷屏的帧定时，即 LCDC223的刷屏定时进行同步，以减少所述GUI数据的显示延迟。
作为一个示例，具体地，所述定时处理模块225具体用于比较所述应用处理器210发送所述GUI数据的帧定时与所述图传处理器220的刷屏的帧定时，并根据比较结果确定所述应用处理器210发送所述GUI数据的帧定时的调整量；以及将所述GUI数据的帧定时的调整量发送至所述应用处理器210，以调整应用处理器发送所述GUI数据的帧定时。
作为另一示例，所述数模转换模块226用于控制所述应用处理器210的时钟源215的电压。所述定时处理模块225用于比较所述应用处理器210发送所述GUI数据的帧定时与所述图传处理器220的刷屏的帧定时，并根据比较结果确定所述应用处理器发送所述GUI数据的帧定时的调整量；所述数模转换模块226还用于根据所述GUI数据的帧定时的调整量调节所述应用处理器的时钟源的控制电压，从而调节所述应用处理器的时钟源的频率。
具体地，当所述GUI数据的帧定时的调整量要求所述GUI数据的帧定时的提前时，调节所述应用处理器的时钟源的控制电压，使所述应用处理器的时钟源的频率变高；或者
当所述GUI数据的帧定时的调整量要求所述GUI数据的帧定时的延迟时，调节所述应用处理器的时钟源的控制电压，使所述应用处理器的时钟源的频率变低；或者
当所述GUI数据的帧定时的调整量不要求所述GUI数据的帧定时变化时，则保持所述应用处理器的时钟源的频率变不变。
进一步地，在本实施例中，所述定时处理模块225包括计数器，所述定时处理模块225用于：获得输入的所述GUI数据的帧头信号，并通过该帧头信号锁存所述计数器，得到该计数器的第1计数快照；获得刷屏显示的帧定时信号，通过该刷屏显示的帧定时信号锁存所述计数器，得到该计数器的第2计数快照；根据第1计数快照和第2计数快照的差值，以及设定的第1计数快照相对第2计数快照的提前值，确定所述GUI数据的帧头需要的调整量，作为所述应用处理器发送所述GUI数据的帧定时的调整量。
示例性地，所述第1计数快照相对第2计数快照的提前值根据所述GUI数据的帧头相对刷屏显示的帧头需要提前的设定时长确定。
示例性地，在本实施例中，所述定时处理模块225通过输入接口221，例如MIPI输入接口获得输入的所述GUI数据的帧头信号。所述定时处理模块225从所述液晶显示控制器223获得刷屏显示的帧定时信号。
根据本实施例的用于无线传输图像的装置通过应用处理器绘制好GUI，通过MIPI接口送入图传处理器，由图传处理器将GUI与其他图层进行合并显示，并且由于设计了外部输入GUI的时序与图传处理器刷屏显示的帧定时进行同步的机制，从而在减小了GUI显示的时延，并降低目标芯片的DDR带宽占用的同时，仍然能够获得低延迟图传的体验，并且精简了图传处理器所需的计算和绘图资源。
图6示出根据本发明一实施例的电子设备的示意性框图。如图6所示，电子设备300包括一个或多个处理器310以及一个或多个存储器320。
处理器310可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，例如应用处理器(AP)和图传处理器，并且可以控制所述电子设备300中的其它组件以执行期望的功能。示例性地，存储器320中存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器310实现根据本发明实施例述的用于无线传输图像的方法。
存储器320用于实现根据本发明实施例的用于无线传输图像的方法中的相应步骤的程序代码。存储器320可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(ROM)、硬盘、闪存等永久性存储器。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器310可以运行所述程序指令，以实现上文所述的本发明实施例中(由处理器实现)的用于无线传输图像的方法以及/或者其它期望的功能。
此外，电子设备还可以包括显示器，所述显示器通过诸如MIPI接口与所述处理器连接。
在一个实施例中，在所述程序代码被所述处理器310运行时执行以下步骤：
利用应用处理器生成GUI数据，并通过应用处理器将所述GUI数据发 送至图传处理器；
利用所述图传处理器接收视频和/或OSD数据；
利用所述图传处理器将接收的所述GUI数据以及视频和/或OSD数据进行合并形成显示数据；
利用所述图传处理器将所述显示数据发送至显示器进行显示。此外，在所述程序代码被所述处理器310运行时还执行以下步骤：
比较所述应用处理器发送所述GUI数据的帧定时与所述图传处理器的刷屏的帧定时，并根据比较结果确定所述应用处理器发送所述GUI数据的帧定时的调整量；
将所述GUI数据的帧定时的调整量发送至所述应用处理器，以调整应用处理器发送所述GUI数据的帧定时。
或者，通过所述图传处理器的数模转换模块的控制所述应用处理器的时钟源；
比较所述应用处理器发送所述GUI数据的帧定时与所述图传处理器的刷屏的帧定时，并根据比较结果确定所述应用处理器发送所述GUI数据的帧定时的调整量；
根据所述GUI数据的帧定时的调整量调节所述应用处理器的时钟源的控制电压，从而调节所述应用处理器的时钟源的频率。
此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的用于无线传输图像的方法的相应步骤。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(ROM)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合。
在一个实施例中，所述计算机程序指令在被计算机运行时执行以下步骤：利用应用处理器生成GUI数据，并通过应用处理器将所述GUI数据发送至图传处理器；利用所述图传处理器接收视频和/或OSD数据；利用所述图传处理器将接收的所述GUI数据以及视频和/或OSD数据进行合并形成显示数据；利用所述图传处理器将所述显示数据发送至显示器进行显示。
本发明实施例提供了一种用于无线传输图像的方法及装置、存储介质及电子设备，由于通过外部应用处理器绘制GUI，通过图传处理器将外部应用处理器送入的GUI数据与其他图层进行合并显示，这样一方面，对于2D/3D绘图能力受限的图传处理器，可以通过外部应用处理器绘制复杂的GUI来完成无线图传；另一方面，由于使图传处理器无需绘制复杂GUI的能力和计算资源，因而减少了图传处理器所需要的计算和绘图资源，降低了图传处理器的要求和成本。
尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求 书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(Digital Signal Processor，DSP)来实现根据本发明实施例的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
以上所述，仅为本发明的具体实施方式或对具体实施方式的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。

Claims (34)

  1. 一种用于无线传输图像的方法，其特征在于，包括：
    利用应用处理器生成GUI数据，并通过应用处理器将所述GUI数据发送至图传处理器；
    利用所述图传处理器接收视频和/或OSD数据；
    利用所述图传处理器将接收的所述GUI数据以及视频和/或OSD数据进行合并形成显示数据；
    利用所述图传处理器将所述显示数据发送至显示器进行显示，
    其中，所述应用处理器和所述图传处理器彼此独立，且通过接口连接。
  2. 根据权利要求1所述的方法，其特征在于，还包括：
    将所述GUI数据存储至所述应用处理器的缓冲器中。
  3. 根据权利要求1所述的方法，其特征在于，所述GUI数据为ARGB格式。
  4. 根据权利要求1所述的方法，其特征在于，所述GUI数据的尺寸为m像素*n像素，其中，m和n正整数，且m或n能被3整除。
  5. 根据权利要求1所述的方法，其特征在于，所述应用处理器通过所述接口以RGB888格式将所述GUI数据发送至所述图传处理器。
  6. 根据权利要求5所述的方法，其特征在于，所述图传处理器以RGB888格式接收所述GUI数据，并将所述GUI数据存储在所示所述图传处理器的缓冲器中。
  7. 根据权利要求6所述的方法，其特征在于，所述图传处理器以ARGB格式从所述图传处理器的缓冲器中读取所述GUI数据，然后与接收的视频和/或OSD数据进行图层合并。
  8. 根据权利要求1所述的方法，其特征在于，所述应用处理器和所述图传处理器具有MIPI接口，所述应用处理器和所述图传处理器通过MIPI接口连接。
  9. 根据权利要求1-8中的任一项所述的方法，其特征在于，还包括：
    对所述应用处理器发送所述GUI数据的时序与所述图传处理器的刷屏的帧定时进行同步，以减少所述GUI数据的显示延迟。
  10. 根据权利要求9所述的方法，其特征在于，对所述应用处理器发送所述GUI数据的时序与所述图传处理器的刷屏的帧定时进行同步，包括：
    比较所述应用处理器发送所述GUI数据的帧定时与所述图传处理器的刷屏的帧定时，并根据比较结果确定所述应用处理器发送所述GUI数据的帧定时的调整量；
    将所述GUI数据的帧定时的调整量发送至所述应用处理器，以调整应用处理器发送所述GUI数据的帧定时。
  11. 根据权利要求9所述的方法，其特征在于，对所述应用处理器发送所述GUI数据的时序与所述图传处理器的刷屏的帧定时进行同步，包括：
    通过所述图传处理器的数模转换模块的控制所述应用处理器的时钟源；
    比较所述应用处理器发送所述GUI数据的帧定时与所述图传处理器的刷屏的帧定时，并根据比较结果确定所述应用处理器发送所述GUI数据的帧定时的调整量；
    根据所述GUI数据的帧定时的调整量调节所述应用处理器的时钟源的控制电压，从而调节所述应用处理器的时钟源的频率。
  12. 根据权利要求11所述的方法，其特征在于，
    当所述GUI数据的帧定时的调整量要求所述GUI数据的帧定时的提前时，调节所述应用处理器的时钟源的控制电压，使所述应用处理器的时钟源的频率变高；或者
    当所述GUI数据的帧定时的调整量要求所述GUI数据的帧定时的延迟时，调节所述应用处理器的时钟源的控制电压，使所述应用处理器的时钟源的频率变低；或者
    当所述GUI数据的帧定时的调整量不要求所述GUI数据的帧定时变化时，则保持所述应用处理器的时钟源的频率变不变。
  13. 根据权利要求10或11所述的方法，其特征在于，比较所述应用处理器发送所述GUI数据的帧定时与所述图传处理器的刷屏的帧定时，并根据比较结果确定所述应用处理器发送所述GUI数据的帧定时的调整量，包括：
    所述图传处理器获得输入的所述GUI数据的帧头信号，并通过该帧头 信号锁存所述图传处理器的计数器，得到该计数器的第1计数快照；
    所述图传处理器获得刷屏显示的帧定时信号，通过该刷屏显示的帧定时信号锁存所述图传处理器的计数器，得到该计数器的第2计数快照；
    根据第1计数快照和第2计数快照的差值，以及设定的第1计数快照相对第2计数快照的提前值，确定所述GUI数据的帧头需要的调整量，作为所述应用处理器发送所述GUI数据的帧定时的调整量。
  14. 根据权利要求13所述的方法，其特征在于，所述第1计数快照相对第2计数快照的提前值根据所述GUI数据的帧头相对刷屏显示的帧头需要提前的设定时长确定。
  15. 根据权利要求13所述的方法，其特征在于，所述图传处理器通过MIPI接收接口获得输入的所述GUI数据的帧头信号。
  16. 一种用于无线传输图像的装置，其特在于，包括应用处理器和图传处理器，
    所述应用处理器用于生成GUI数据，并将所述GUI数据发送至所述图传处理器；
    所述图传处理器用于接收所述应用处理器发送的GUI数据，以及其他设备发送的视频和/或OSD数据，并将接收的所述GUI数据以及视频和/或OSD数据进行合并形成显示数据；
    所述图传处理器还用于将所述显示数据发送至显示器进行显示，
    其中，所述应用处理器和所述图传处理器彼此独立，且通过接口连接。
  17. 根据权利要求16所述的装置，其特征在于，还包括：
    第一缓冲器，所述应用处理器将生成的所述GUI数据存储至所述第一缓冲器中，
    其中，所述第一缓冲器集成设置在所述应用处理器中，或者设置在与所述应用处理器连的存储器中。
  18. 根据权利要求16所述的装置，其特征在于，所述GUI数据为ARGB格式。
  19. 根据权利要求16所述的装置，其特征在于，所述GUI数据的尺寸为m像素*n像素，其中，m和n正整数，且m或n能被3整除。
  20. 根据权利要求16所述的装置，其特征在于，所述应用处理器以 RGB888格式将所述GUI数据发送至所述图传处理器。
  21. 根据权利要求20所述的装置，其特征在于，
    所述图传处理器集成有第二缓冲器，所述图传处理器以RGB888格式接收所述GUI数据，并将所述GUI数据存储在所示所述第二缓冲器中。
  22. 根据权利要求21所述的装置，其特征在于，
    所述图传处理器以ARGB格式从所述第二缓冲器中读取所述GUI数据，然后与接收的视频和/或OSD数据进行合并。
  23. 根据权利要求16所述的装置，其特征在于，所述应用处理器和所述图传处理器具有MIPI接口，所述应用处理器和所述图传处理器通过MIPI接口连接。
  24. 根据权利要求16-23中的任一项所述的装置，其特征在于，所述图传处理器还包括定时处理模块，
    所述定时处理模块用于对所述应用处理器发送所述GUI数据的时序与所述图传处理器的刷屏的帧定时进行同步，以减少所述GUI数据的显示延迟。
  25. 根据权利要求24所述的装置，其特征在于，所述定时处理模块具体用于：
    比较所述应用处理器发送所述GUI数据的帧定时与所述图传处理器的刷屏的帧定时，并根据比较结果确定所述应用处理器发送所述GUI数据的帧定时的调整量；
    将所述GUI数据的帧定时的调整量发送至所述应用处理器，以调整应用处理器发送所述GUI数据的帧定时。
  26. 根据权利要求24所述的装置，其特征在于，所述图传处理器还包括数模转换模块，所述数模转换模块用于控制所述应用处理器的时钟源电压；
    所述定时处理模块用于比较所述应用处理器发送所述GUI数据的帧定时与所述图传处理器的刷屏的帧定时，并根据比较结果确定所述应用处理器发送所述GUI数据的帧定时的调整量；
    所述数模转换模块还用于根据所述GUI数据的帧定时的调整量调节所述应用处理器的时钟源的控制电压，从而调节所述应用处理器的时钟源的 频率。
  27. 根据权利要求26所述的装置，其特征在于，
    当所述GUI数据的帧定时的调整量要求所述GUI数据的帧定时的提前时，调节所述应用处理器的时钟源的控制电压，使所述应用处理器的时钟源的频率变高；或者
    当所述GUI数据的帧定时的调整量要求所述GUI数据的帧定时的延迟时，调节所述应用处理器的时钟源的控制电压，使所述应用处理器的时钟源的频率变低；或者
    当所述GUI数据的帧定时的调整量不要求所述GUI数据的帧定时变化时，则保持所述应用处理器的时钟源的频率变不变。
  28. 根据权利要求25或26所述的装置，其特征在于，所述定时处理模块包括计数器，所述定时处理模块用于：
    获得输入的所述GUI数据的帧头信号，并通过该帧头信号锁存所述计数器，得到该计数器的第1计数快照；
    获得刷屏显示的帧定时信号，通过该刷屏显示的帧定时信号锁存所述计数器，得到该计数器的第2计数快照；
    根据第1计数快照和第2计数快照的差值，以及设定的第1计数快照相对第2计数快照的提前值，确定所述GUI数据的帧头需要的调整量，作为所述应用处理器发送所述GUI数据的帧定时的调整量。
  29. 根据权利要求28所述的装置，其特征在于，所述第1计数快照相对第2计数快照的提前值根据所述GUI数据的帧头相对刷屏显示的帧头需要提前的设定时长确定。
  30. 根据权利要求28所述的装置，其特征在于，所述定时处理模块通过MIPI接收接口获得输入的所述GUI数据的帧头信号。
  31. 根据权利要求28所述的装置，其特征在于，所述图传处理器包括液晶显示控制模块，所述定时处理模块从所述液晶显示控制模块获得刷屏显示的帧定时信号。
  32. 一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序在运行时执行如权利要求1-15中的任一项所述的方法。
  33. 一种电子设备，其特征在于，包括：权利要求16-31中的任一项 所述的装置以及显示器，所述显示器与图传处理器连接。
  34. 根据权利要求33所述的电子设备，其特征在于，所述图传处理器通过MIPI接口与所述显示器连接。
PCT/CN2019/130306 2019-12-31 2019-12-31 用于无线传输图像的方法及装置、存储介质及电子设备 WO2021134397A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201980095632.1A CN113728622A (zh) 2019-12-31 2019-12-31 用于无线传输图像的方法及装置、存储介质及电子设备
PCT/CN2019/130306 WO2021134397A1 (zh) 2019-12-31 2019-12-31 用于无线传输图像的方法及装置、存储介质及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2019/130306 WO2021134397A1 (zh) 2019-12-31 2019-12-31 用于无线传输图像的方法及装置、存储介质及电子设备

Publications (2)

Publication Number Publication Date
WO2021134397A1 true WO2021134397A1 (zh) 2021-07-08
WO2021134397A9 WO2021134397A9 (zh) 2021-11-04

Family

ID=76686348

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2019/130306 WO2021134397A1 (zh) 2019-12-31 2019-12-31 用于无线传输图像的方法及装置、存储介质及电子设备

Country Status (2)

Country Link
CN (1) CN113728622A (zh)
WO (1) WO2021134397A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114257772A (zh) * 2021-11-26 2022-03-29 苏州华兴源创科技股份有限公司 数据传输的调整方法、装置、计算机设备及可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050024535A1 (en) * 2003-08-01 2005-02-03 Pioneer Corporation Image display apparatus
US20100017717A1 (en) * 2008-07-16 2010-01-21 Kabushiki Kaisha Toshiba Video processing device and control method therefor
CN101796831A (zh) * 2007-08-27 2010-08-04 三星电子株式会社 基于显示装置的屏幕大小缩放视频的自适应视频处理设备及方法
CN105761120A (zh) * 2016-03-31 2016-07-13 南京云创大数据科技股份有限公司 一种自动匹配试衣场景的虚拟试衣系统及其应用方法
CN205453901U (zh) * 2015-12-31 2016-08-10 大连捷成科技有限公司 一种用于视频播出的显示控制系统

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960000542B1 (ko) * 1993-11-27 1996-01-08 삼성전자주식회사 디지탈 무선 통신 시스템에서 동기 신호를 이용한 프레임 타이밍신호 추출방법 및 시스템
JP4011949B2 (ja) * 2002-04-01 2007-11-21 キヤノン株式会社 マルチ画面合成装置及びデジタルテレビ受信装置
JP4425115B2 (ja) * 2004-11-16 2010-03-03 日本電信電話株式会社 クロック同期装置およびプログラム
US8102398B2 (en) * 2006-03-03 2012-01-24 Ati Technologies Ulc Dynamically controlled power reduction method and circuit for a graphics processor
US20080205568A1 (en) * 2007-02-28 2008-08-28 Matsushita Electric Industrial Co., Ltd. Dsrc communication circuit and dsrc communication method
WO2009045244A1 (en) * 2007-09-28 2009-04-09 Thomson Licensing Time-frequency synchronization and frame number detection for dmb-t systems
US9262915B2 (en) * 2013-05-09 2016-02-16 KERBspace, Inc Intelligent urban communications portal and methods
US9927809B1 (en) * 2014-10-31 2018-03-27 State Farm Mutual Automobile Insurance Company User interface to facilitate control of unmanned aerial vehicles (UAVs)
CN105872418A (zh) * 2016-03-30 2016-08-17 浙江大华技术股份有限公司 一种在数字图像上叠加gui图层的方法及装置
CN108132786B (zh) * 2017-12-21 2021-03-30 广州路派电子科技有限公司 一种基于osd的gui设计方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050024535A1 (en) * 2003-08-01 2005-02-03 Pioneer Corporation Image display apparatus
CN101796831A (zh) * 2007-08-27 2010-08-04 三星电子株式会社 基于显示装置的屏幕大小缩放视频的自适应视频处理设备及方法
US20100017717A1 (en) * 2008-07-16 2010-01-21 Kabushiki Kaisha Toshiba Video processing device and control method therefor
CN205453901U (zh) * 2015-12-31 2016-08-10 大连捷成科技有限公司 一种用于视频播出的显示控制系统
CN105761120A (zh) * 2016-03-31 2016-07-13 南京云创大数据科技股份有限公司 一种自动匹配试衣场景的虚拟试衣系统及其应用方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114257772A (zh) * 2021-11-26 2022-03-29 苏州华兴源创科技股份有限公司 数据传输的调整方法、装置、计算机设备及可读存储介质

Also Published As

Publication number Publication date
CN113728622A (zh) 2021-11-30
WO2021134397A9 (zh) 2021-11-04

Similar Documents

Publication Publication Date Title
US8687007B2 (en) Seamless display migration
WO2022052772A1 (zh) 多窗口投屏场景下的应用界面显示方法及电子设备
US9036084B2 (en) Apparatus and method for synchronous display of video data
US10430918B2 (en) Display driver, display system, and method of operating the display driver
US10554865B2 (en) Display controller for generating video sync signal using external clock, an application processor including the controller, and an electronic system including the controller
JP5755333B2 (ja) 表示動作を制御する技術
US9899002B2 (en) Information processing methods for displaying parts of an object on multiple electronic devices
TWI455013B (zh) 用於改變影像顯示特性之技術
US20140184611A1 (en) Method and apparatus for sending partial frame updates rendered in a graphics processor to a display using framelock signals
US10741128B2 (en) Dual scan out display system
WO2023125677A1 (zh) 独显插帧电路、方法、装置、芯片、电子设备及介质
US20200333949A1 (en) Electronic apparatus and controlling method thereof
CN113168301A (zh) 锁相多显示器同步
CN109196548B (zh) 用于在高分辨率显示器上提供多个屏幕区域的机制
GB2538797B (en) Managing display data
WO2021134397A1 (zh) 用于无线传输图像的方法及装置、存储介质及电子设备
KR20150021800A (ko) 전자 장치 및 영상 표시 방법
US20170068502A1 (en) Display apparatus and method for controlling the display apparatus thereof
WO2023193598A1 (zh) 一种图像处理方法、装置、设备及存储介质
US20190045236A1 (en) Generalized low latency user interaction with video on a diversity of transports
TWI770979B (zh) 螢幕顯示方法及裝置
US10777169B2 (en) Systems and methods to synchronize display panels
TWI488046B (zh) 於智慧型手機／平板電腦中減少視頻訊號於行動工業處理器介面傳輸頻寬及耗電之方法及裝置
US20230275716A1 (en) System and method for assisting data transmission over virtual channels
US9424807B2 (en) Multimedia system and operating method of the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19958346

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19958346

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 19958346

Country of ref document: EP

Kind code of ref document: A1

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 20/01/2023)

122 Ep: pct application non-entry in european phase

Ref document number: 19958346

Country of ref document: EP

Kind code of ref document: A1