WO2023125659A1 - 图像处理电路及数据传输方法 - Google Patents

图像处理电路及数据传输方法 Download PDF

Info

Publication number
WO2023125659A1
WO2023125659A1 PCT/CN2022/142802 CN2022142802W WO2023125659A1 WO 2023125659 A1 WO2023125659 A1 WO 2023125659A1 CN 2022142802 W CN2022142802 W CN 2022142802W WO 2023125659 A1 WO2023125659 A1 WO 2023125659A1
Authority
WO
WIPO (PCT)
Prior art keywords
image processing
chip
image
processor
image data
Prior art date
Application number
PCT/CN2022/142802
Other languages
English (en)
French (fr)
Inventor
董志祥
Original Assignee
维沃移动通信有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 维沃移动通信有限公司 filed Critical 维沃移动通信有限公司
Publication of WO2023125659A1 publication Critical patent/WO2023125659A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region

Definitions

  • the present application relates to the field of communication technologies, and in particular to an image processing circuit and a data transmission method.
  • Embodiments of the present application provide an image processing circuit and a data transmission method, which can solve the problem of poor effect of existing image data processing.
  • the present invention is achieved in that:
  • the embodiment of the present application provides an image processing circuit, and the image processing circuit includes:
  • a processor chip the processor chip is communicatively connected to the image sensor, and the processor chip includes a first camera serial interface and a first bus interface;
  • An image processing chip includes a second camera serial interface and a second bus interface, the second camera serial interface is connected to the first camera serial interface, and the second bus interface is connected to the the first bus interface connection;
  • the image processing chip and the processor chip transmit image data through the second camera serial interface and the first camera serial interface, and transmit image data through the second bus interface and the first bus interface Transmission control instructions.
  • an embodiment of the present application provides an electronic device, including the image processing circuit as described in the first aspect.
  • the embodiment of the present application provides a data transmission method, which is executed by an image processing chip, and the image processing chip is the image processing chip in the image processing circuit described in the first aspect, and the method includes:
  • an embodiment of the present application provides a data transmission method, which is executed by a processor chip, the processor chip being the processor chip in the image processing circuit described in the first aspect, and the method includes:
  • the embodiment of the present application provides an image processing chip, and the image processing chip includes:
  • the first receiving module is configured to receive the open-flow instruction sent by the processor chip through the second bus interface
  • the second receiving module is configured to receive the first image data sent by the processor chip in response to the open-flow instruction, and perform image processing on the first image data to obtain second image data;
  • a sending module configured to send the second image data to the processor chip through the second camera serial interface.
  • the embodiment of the present application provides a processor chip, and the processor chip includes:
  • the first sending module is used to send an open-flow instruction to the image processing chip through the first bus interface in the case of receiving the first instruction triggered by the user's first operation;
  • a second sending module configured to send first image data to the image processing chip, so that the image processing chip performs image processing on the first image data to obtain second image data;
  • the receiving module is configured to receive the second image data sent by the image processing chip through the serial interface of the first camera.
  • the embodiment of the present application provides an electronic device, the electronic device includes a processor and a memory, the memory stores programs or instructions that can run on the processor, and the programs or instructions are processed by the The steps in the data transmission method according to the third aspect are realized when the processor is executed, or, the steps in the data transmission method according to the fourth aspect are realized when the program or instructions are executed by the processor.
  • an embodiment of the present application provides a readable storage medium, on which a program or instruction is stored, and when the program or instruction is executed by a processor, the data transmission method as described in the third aspect is implemented or, when the program or instructions are executed by the processor, implement the steps in the data transmission method as described in the fourth aspect.
  • the embodiment of the present application provides a chip, the chip includes a processor and a communication interface, the communication interface is coupled to the processor, and the processor is used to run programs or instructions, to achieve the third aspect Or the method described in the fourth aspect.
  • an embodiment of the present application provides a computer program product, the computer program product is stored in a storage medium, and the computer program product is executed by at least one processor to implement the method described in the third aspect or the fourth aspect .
  • the embodiment of the present application provides an electronic device configured to implement the method described in the third aspect or the fourth aspect.
  • the image processing circuit includes: an image sensor, a processor chip, and an image processing chip
  • the image processing chip includes a second camera serial interface and a second bus interface
  • the second camera serial interface It is connected to the serial interface of the first camera
  • the second bus interface is connected to the first bus interface.
  • the impact of the hardware limitation of the processor chip improves the image data processing capability; and the image processing chip and the processor chip transmit image data through the second camera serial interface and the first camera serial interface, and The control instruction is transmitted through the second bus interface and the first bus interface, and no new hardware interface is needed to return the image data of the image processing chip to the processor chip, which reduces the difficulty of hardware design.
  • FIG. 1 is a schematic structural diagram of an image processing circuit provided in an embodiment of the present application.
  • FIG. 2 is one of the flow charts of a data transmission method provided in an embodiment of the present application
  • Fig. 3 is the second flowchart of a data transmission method provided by the embodiment of the present application.
  • FIG. 4 is a schematic structural diagram of an image processing chip provided by an embodiment of the present application.
  • FIG. 5 is one of the structural schematic diagrams of a processor chip provided by an embodiment of the present application.
  • FIG. 6 is the second structural schematic diagram of a processor chip provided by an embodiment of the present application.
  • FIG. 7 is the third structural schematic diagram of a processor chip provided by the embodiment of the present application.
  • FIG. 8 is a fourth structural schematic diagram of a processor chip provided by an embodiment of the present application.
  • FIG. 9 is the fifth structural schematic diagram of a processor chip provided by the embodiment of the present application.
  • FIG. 10 is one of the structural schematic diagrams of an electronic device provided in an embodiment of the present application.
  • FIG. 11 is a second schematic structural diagram of an electronic device provided by an embodiment of the present application.
  • Fig. 1 is a schematic structural diagram of an image processing circuit provided in an embodiment of the present application, as shown in Fig. 1, the image processing circuit includes:
  • a processor chip 12 the processor chip 12 is communicatively connected to the image sensor 11, the processor chip 12 includes a first camera serial interface and a first bus interface;
  • An image processing chip 13 the image processing chip 13 includes a second camera serial interface and a second bus interface, the second camera serial interface is connected to the first camera serial interface, and the second bus interface is connected to the first camera serial interface The first bus interface connection;
  • the image processing chip 13 and the processor chip 12 transmit image data through the second camera serial interface and the first camera serial interface, and transmit image data through the second bus interface and the first The bus interface transmits control commands.
  • the processor chip 12 can be connected with the image sensor 11 through the third camera serial interface, and the third camera serial interface can be the camera serial interface (Camera Serial Interface) of the mobile industry processor interface (Mobile Industry Processor Interface, MIPI) module. Interface, CSI) interface.
  • the third camera serial interface may be a MIPI CSI RX0 interface, and the processor chip 12 may receive image data sent by the image sensor 11 through the MIPI CSI RX0 interface.
  • the first camera serial interface may be a CSI interface of the MIPI module.
  • the first camera serial interface may be a MIPI CSI RX1 interface, and the processor chip 12 may receive image data sent by the image processing chip 13 through the MIPI CSI RX1 interface.
  • the first bus interface may be an integrated circuit bus (Inter-Integrated Circuit, I2C) bus interface or a serial peripheral interface (Serial Peripheral Interface, SPI) bus interface.
  • I2C Inter-Integrated Circuit
  • SPI Serial Peripheral Interface
  • the second camera serial interface may be a CSI interface of the MIPI module.
  • the serial interface of the second camera can be a MIPI CSI TX1 interface
  • the image processing chip 13 can send image data to the processor chip 12 through the MIPI CSI TX1 interface.
  • the second bus interface may be an I2C bus interface or an SPI bus interface.
  • the image processing circuit may be a circuit in an electronic device.
  • the processor chip 12 and the image processing chip 13 can work synchronously when the electronic device takes pictures.
  • the control instruction may include a flow-on instruction, and/or a flow-off instruction, or may also include other control instructions.
  • the image processing chip 13 After receiving the open flow instruction sent by the processor chip 12, the image processing chip 13 can receive the first image data sent by the processor chip 12, and perform image processing on the first image data to obtain the second image data , and receive the second image data sent by the image processing chip 13 through the first camera serial interface; after receiving the flow-off instruction sent by the processor chip 12, the image processor can stop processing The processor chip 12 sends the second image data.
  • the display on the software architecture (framework)
  • the synthesis service (surfacefliger) module separates the current user interface (User Interface, UI) of the camera preview interface from the image, and passes through the first display serial interface of the processor chip 12 through the standard MIPI display serial interface (Display Serial Interface) respectively.
  • Interface, DSI interface
  • the first display serial interface can be the DSI interface of the MIPI module, for example, the first display serial interface can be MIPI DSI TX0.
  • the image processing chip 13 performs image processing on the image transmitted by the processor chip 12, and sends the image processed image back to the MIPI CSI RX1 of the processor chip 12 through the MIPI CSI TX0, and the processor chip 12 receives the MIPI CSI RX1
  • the image data stored in the DRAM can be directly used for encoding and storing pictures or videos.
  • the image processing chip 13 can provide the mobile phone with hardware-level computing image capability, break the bottleneck of the mobile phone image computing power, and optimize the real-time concurrent data processing capability, so that the mobile phone has more Strong image computing power.
  • the ISP that comes with the processor chip 12, it directly accesses the memory through the address and data bus for image processing, while the independent image processing chip 13 cannot directly access the memory. If the processed image needs to be directly stored in the internal memory, it needs to be physically connected to the data bus and address bus of the processor chip 12, which will increase the difficulty of hardware design and improve the difficulty of software development.
  • image data is transmitted through the second camera serial interface and the first camera serial interface
  • control instructions are transmitted through the second bus interface and the first bus interface
  • the module stores the image data received from the image processing chip 13, and can realize that the image processing chip 13 completes the image processing and sends it back to the processor chip 12 for subsequent processing, such as image encoding or video encoding.
  • the embodiment of the present application can continue to use the original camera framework of the processor chip 12, and can realize more flexible software design, so that the image processing chip 13 can be easily integrated on various platforms, bringing users better pictures and videos experience.
  • the image processing circuit includes: an image sensor 11, a processor chip 12, and an image processing chip 13, and the image processing chip 13 includes a second camera serial interface and a second bus interface, and the second The camera serial interface is connected to the first camera serial interface, and the second bus interface is connected to the first bus interface.
  • the image data is processed by the image processing chip 13 independent of the processor chip 12, It can reduce the image processing ability to be affected by the hardware limitation of the processor chip 12, and improve the image data processing ability; and the image processing chip 13 and the processor chip 12 pass the second camera serial interface and the first
  • the camera serial interface transmits image data, and transmits control instructions through the second bus interface and the first bus interface, without adding a new hardware interface to return the image data of the image processing chip 13 to the processor chip 12, reducing the The difficulty of hardware design.
  • the processor chip further includes a first display serial interface
  • the image processing chip includes a second display serial interface
  • the second display serial interface is connected to the first display serial interface
  • the first display serial interface may be a DSI interface of the MIPI module.
  • the first display serial interface may be a MIPI DSI TX0 interface
  • the processor chip may send image data to the image processing chip through the MIPI DSI TX0 interface.
  • the second display serial interface may be a DSI interface of the MIPI module.
  • the second display serial interface may be a MIPI DSI RX0 interface
  • the image processing chip may receive image data sent by the processor chip through the MIPI DSI RX0 interface.
  • the processor chip further includes a first display serial interface
  • the image processing chip includes a second display serial interface
  • the second display serial interface is connected to the first display serial interface , so that the first image data in the processor chip can be transmitted to the image processing chip through the second display serial interface and the first display serial interface for image processing.
  • the processor chip further includes an image signal processing module and a display synthesis service module, one end of the display synthesis service module communicates with the image sensor through the image signal processing module, and the display synthesis service module The other end is connected to the first display serial interface.
  • the processor chip can be connected with the image sensor through the serial interface of the third camera, and the image signal processing module can be connected with the serial interface of the third camera through the second storage module.
  • the second storage module can be DRAM.
  • one end of the display composition service module is communicatively connected to the image sensor through the image signal processing module, and the other end of the display composition service module is connected to the first display serial interface.
  • the image signal processing module can perform image signal processing on the third image data sent by the image sensor to obtain the fourth image data; the display synthesis service module can generate a camera preview interface corresponding to the fourth image data, and the camera The first image data corresponding to the image displayed on the preview interface is sent to the image processing chip through the first display serial interface.
  • the processor chip further includes a first storage module, and the first camera serial interface is communicatively connected to the first storage module.
  • the first storage module may be a DRAM.
  • the processor chip can directly store the image data received from the image processing chip through the first camera serial interface to the first storage module.
  • the image data stored in the first storage module can be directly used for picture encoding or video encoding.
  • first storage module and the second storage module may be two different modules of the same DRAM, or the first storage module and the second storage module may be two different DRAMs, which is not limited in this embodiment.
  • the processor chip further includes a first storage module, and the first camera serial interface is communicatively connected to the first storage module, so that the processor chip can return the image processing chip to the processor chip The image data is directly stored in the first storage module.
  • An embodiment of the present application further provides an electronic device, the electronic device including the image processing circuit described in FIG. 1 .
  • Fig. 2 is one of the flowcharts of a data transmission method provided by the embodiment of the present application, the method is executed by an image processing chip, and the image processing chip is the image in the image processing circuit described in Fig. 1 Processing the chip, as shown in Figure 2, includes the following steps:
  • Step 101 Receive an open-flow instruction sent by the processor chip through the second bus interface
  • Step 102 in response to the open-stream instruction, receive first image data sent by the processor chip, and perform image processing on the first image data to obtain second image data;
  • Step 103 sending the second image data to the processor chip through the serial interface of the second camera.
  • the processor chip may send an open-flow instruction to the image processing chip through the first bus interface when receiving the first instruction triggered by the first operation of the user.
  • the first operation may be an operation of starting to take a photo or record a video.
  • the first operation may be an operation in which the user clicks a photo button or a video button.
  • the processor chip can receive the second image data sent by the image processing chip through the first camera serial interface, and can store the second image data in the first storage module.
  • performing image processing on the first image data may be performing image enhancement processing on the first image data, for example, performing frame reduction processing on the first image data, and/or, Super resolution.
  • the image processing circuit may be a circuit in an electronic device.
  • the image sensor can acquire the third image data
  • the processor chip can receive the third image data sent by the image sensor
  • the processor chip can process the third image data through the ISP module Image signal processing is performed to obtain fourth image data
  • a camera preview interface corresponding to the fourth image data is generated.
  • the processor chip may send the first image data corresponding to the image displayed on the camera preview interface to the image processing chip for image processing to obtain the second image data.
  • the image processing chip may send the second image data to the processor chip through the second camera serial interface, so that the image data is sent back to the processor chip.
  • the data transmission method in the embodiment of the present application can be executed by the virtual image sensor in the image processing chip, and the virtual image sensor can realize the camera control process of the real image sensor.
  • the virtual image The power on and off control of the sensor can be the power on and off control of the image processing chip, and the IO control of the virtual image sensor can be the IO control of the image processing chip, and the IO control of the virtual image sensor can be the image processing chip through the second bus interface. register read and write operations.
  • the flow-on control and flow-off control of the virtual image sensor may be the flow-on control and flow-off control of the second camera interface of the image processing chip.
  • the processor chip can send a streamon command to the virtual image sensor through the I2C or SPI bus.
  • the ) module transmits the image to the image processing chip through the DSI hardware module of the processor chip using the MIPI protocol, and the image processing chip performs enhanced processing on the image, such as frame reduction and super resolution.
  • the image processing chip enhances the image, it sends it to the CSI RX1 module on the processor chip side through the MIPI CSI TX0 of the image processing chip. For further processing, it only needs to be sent to the encoding module for image encoding processing or video encoding processing in the media module, and then stored in a Secure Digital Card (SD) card.
  • SD Secure Digital Card
  • the open flow instruction sent by the processor chip is received through the second bus interface; in response to the open flow instruction, the first image data sent by the processor chip is received, and the performing image processing on the first image data to obtain second image data; sending the second image data to the processor chip through the serial interface of the second camera.
  • the image processing chip can return the image data of the image processing chip to the processor chip through the second bus interface and the second camera serial interface when the user takes pictures or videos, without adding a new hardware interface to transfer the image data of the image processing chip to the processor chip.
  • the image data is sent back to the processor chip, which reduces the difficulty of hardware design.
  • the method further includes:
  • the processor chip may send a flow-off instruction to the image processing chip through the first bus interface when receiving the second instruction triggered by the second operation of the user.
  • the second operation may be an operation of stopping photographing or video recording.
  • the second operation may be an operation in which the user cancels pressing the photographing button or pressing the stop recording button.
  • the processor chip can issue a flow-off instruction to the virtual image sensor through the I2C or SPI bus. Stop streaming, at this time the electronic device switches to photo preview mode or video preview mode. If the user exits the camera, the physical camera corresponding to the image sensor can be turned off, the physical camera and the virtual camera corresponding to the virtual image sensor can be powered off, and the applied ISP software and hardware resources can be released.
  • a current shutdown instruction sent by the processor chip is received through the second bus interface; in response to the current shutdown instruction, sending the second image data to the processor chip is stopped.
  • the image processing chip can stop sending streams to the processor chip when the user finishes taking pictures or recording videos, so as to adapt to the process of taking pictures or recording videos with the camera.
  • Fig. 3 is the second flow chart of a data transmission method provided by the embodiment of the present application, the method is executed by a processor chip, and the processor chip is the processing in the image processing circuit described in Fig. 1
  • the device chip, as shown in Figure 3, includes the following steps:
  • Step 201 in the case of receiving a first instruction triggered by a first user operation, sending an open-flow instruction to the image processing chip through the first bus interface;
  • Step 202 sending the first image data to the image processing chip, so that the image processing chip performs image processing on the first image data to obtain second image data;
  • Step 203 receiving the second image data sent by the image processing chip through the serial interface of the first camera.
  • an open-flow instruction is sent to the image processing chip through the first bus interface; a second instruction is sent to the image processing chip Image data, so that the image processing chip performs image processing on the first image data to obtain second image data; receiving the second image sent by the image processing chip through the serial interface of the first camera data.
  • the image processing chip can return the image data of the image processing chip to the processor chip through the second bus interface and the second camera serial interface when the user takes pictures or videos, without adding a new hardware interface to transfer the image data of the image processing chip to the processor chip.
  • the image data is sent back to the processor chip, which reduces the difficulty of hardware design.
  • the method further includes:
  • a flow-off instruction is sent to the image processing chip through the first bus interface.
  • the flow-off instruction is sent to the image processing chip through the first bus interface, so that the image processing chip can finish Stop sending streams to the processor chip when taking pictures or recording videos to adapt to the process of taking pictures or recording videos.
  • the method before sending the first image data to the image processing chip, the method further includes:
  • the layer information includes image layer sub-information and user interface UI layer sub-information;
  • the first image data is the separated sub-information of the image layer.
  • the layer information can form a camera preview interface.
  • the processor chip may receive the third image data sent by the image sensor; perform image signal processing on the third image data to obtain fourth image data; generate a camera preview interface corresponding to the fourth image data; wherein, The fourth image data can generate image layer sub-information in the layer information, the image layer sub-information can form the image displayed on the camera preview interface, and the image layer sub-information and UI layer sub-information together form the The camera preview interface described above.
  • the layer information is obtained based on the image signal output by the image sensor, and the layer information includes the image layer sub-information and the user interface UI layer sub-information; the image layer sub-information is obtained from the Separation is performed in the layer information, wherein the first image data is the separated image layer sub-information.
  • the processor chip can separate the image layer sub-information from the layer information when the user takes a photo or video, and send it to the image processing chip for image processing, so that the user can obtain a better photo or video experience.
  • the method further includes:
  • the processor chip can directly store the image data received from the image processing chip through the first camera serial interface to the first storage module.
  • the image data stored in the first storage module can be directly used for picture encoding or video encoding.
  • the second image data is stored in the first storage module, so that the processor chip can directly store the image data sent back from the image processing chip to the processor chip in the first storage module.
  • the method before sending the open-flow instruction to the image processing chip through the first bus interface, the method further includes:
  • the image processing chip is initialized.
  • the third operation may be an operation of starting a camera.
  • the third operation may be an operation of a user starting a camera application program, or an operation of a user entering a camera preview interface, and so on.
  • Initializing the image processing chip may be to initialize registers of the image processing chip.
  • the image processing chip may be powered on, and after the power-on operation is completed, the image processing chip may be initialized.
  • the processor chip uses I2C or SPI bus to control the image processing chip, and the image data is transmitted through MIPI DSI or CSI.
  • the image processing chip is in a power-off state.
  • the camera application starts the camera and enters the camera or video recording mode
  • the image sensor and the virtual image sensor in the image processing chip are started, and the physical camera and virtual image corresponding to the image sensor
  • the virtual camera corresponding to the sensor is powered on at the same time, and the registers of the physical camera and the virtual camera are initialized through the I2C or SPI bus, and the ISP resource-related initialization on the processor chip side is performed.
  • the physical camera can be opened first, and the virtual camera is in the state of software standby (standby), that is, the image processing chip is working in the state of standby at this time.
  • the image processing chip when the third instruction triggered by the third operation of the user is received, the image processing chip is initialized, so that the image processing chip can be initialized when the user starts the camera, so as to adapt the camera to take pictures or Video recording process.
  • this embodiment is an implementation manner of a processor chip corresponding to the embodiment shown in FIG. 2 .
  • this embodiment will not be described in detail, and the same beneficial effect can also be achieved.
  • the data transmission method provided in the embodiment of the present application may be executed by an image processing chip.
  • the image processing chip provided in the embodiment of the present application is described by taking the method for performing loading data transmission by the image processing chip as an example.
  • FIG. 4 is a schematic structural diagram of an image processing chip provided in an embodiment of the present application.
  • the image processing chip 300 includes:
  • the first receiving module 301 is configured to receive the open flow instruction sent by the processor chip through the second bus interface;
  • the second receiving module 302 is configured to receive the first image data sent by the processor chip in response to the open-flow instruction, and perform image processing on the first image data to obtain second image data;
  • a sending module 303 configured to send the second image data to the processor chip through the serial interface of the second camera.
  • the sending module 303 is specifically further configured to:
  • the first receiving module receives the open-flow instruction sent by the processor chip through the second bus interface; the second receiving module receives the open-flow instruction sent by the processor chip in response to the open-flow instruction.
  • first image data and perform image processing on the first image data to obtain second image data;
  • a sending module sends the second image data to the processor chip through the second camera serial interface.
  • the image data is processed by the image processing chip independent of the processor chip, which can reduce the influence of the image processing capability by the hardware limitation of the processor chip and improve the image data processing capability; and the image processing chip and the processor
  • the chip transmits image data through the second camera serial interface and the first camera serial interface, and transmits control instructions through the second bus interface and the first bus interface, without adding a new hardware interface to convert the image
  • the image data of the processing chip is sent back to the processor chip, which reduces the difficulty of hardware design.
  • the image processing chip may be the image processing chip in the image processing circuit shown in FIG. 1 .
  • the image processing chip provided by the embodiment of the present application can realize each process realized by the method embodiment in FIG. 2 , and details are not repeated here to avoid repetition.
  • FIG. 5 is a schematic structural diagram of a processor chip provided in an embodiment of the present application.
  • the processor chip 400 includes:
  • the first sending module 401 is configured to send an open-flow instruction to the image processing chip through the first bus interface when receiving the first instruction triggered by the first operation of the user;
  • the second sending module 402 is configured to send the first image data to the image processing chip, so that the image processing chip performs image processing on the first image data to obtain second image data;
  • the receiving module 403 is configured to receive the second image data sent by the image processing chip through the first camera serial interface.
  • the processor chip 400 further includes:
  • the third sending module 404 is configured to send a flow-off instruction to the image processing chip through the first bus interface when receiving a second instruction triggered by a second user operation.
  • the processor chip 400 further includes:
  • the obtaining module 405 is used to obtain layer information based on the image signal output by the image sensor, and the layer information includes image layer sub-information and user interface UI layer sub-information;
  • a separation module 406, configured to separate the image layer subinformation from the layer information
  • the first image data is the separated sub-information of the image layer.
  • the processor chip 400 further includes:
  • the storage module 407 is configured to store the second image data in the first storage module.
  • the processor chip 400 further includes:
  • the initialization module 408 is configured to initialize the image processing chip when a third instruction triggered by a third user operation is received.
  • the first sending module when the first sending module receives the first instruction triggered by the user's first operation, it sends the open-flow instruction to the image processing chip through the first bus interface; the second sending module sends the The image processing chip sends the first image data, so that the image processing chip performs image processing on the first image data to obtain the second image data; the receiving module receives the image data sent by the image processing chip through the first camera serial interface The second image data.
  • the image processing chip can return the image data of the image processing chip to the processor chip through the second bus interface and the second camera serial interface when the user takes pictures or videos, without adding a new hardware interface to transfer the image data of the image processing chip to the processor chip.
  • the image data is sent back to the processor chip, which reduces the difficulty of hardware design.
  • the processor chip may be the processor chip in the image processing circuit shown in FIG. 1 .
  • the processor chip provided in the embodiment of the present application can implement each process implemented in the method embodiment in FIG. 3 , and details are not repeated here to avoid repetition.
  • the embodiment of the present application also provides an electronic device 500, including a processor 501 and a memory 502, and the memory 502 stores programs or instructions that can run on the processor 501, the When the programs or instructions are executed by the processor 501, the steps of the above-mentioned data transmission method embodiments can be realized, and the same technical effect can be achieved. To avoid repetition, details are not repeated here.
  • FIG. 11 is a schematic diagram of a hardware structure of an electronic device implementing an embodiment of the present application.
  • the electronic device 600 includes but not limited to: a radio frequency unit 601, a network module 602, an audio output unit 603, an input unit 604, a sensor 605, a display unit 606, a user input unit 607, an interface unit 608, a memory 609, a processor 610 and an image Processing chips 611 and other components.
  • the electronic device 600 can also include a power supply (such as a battery) for supplying power to various components, and the power supply can be logically connected to the processor 610 through the power management system, so that the management of charging, discharging, and function can be realized through the power management system. Consumption management and other functions.
  • a power supply such as a battery
  • the structure of the electronic device shown in FIG. 11 does not constitute a limitation to the electronic device.
  • the electronic device may include more or fewer components than shown in the figure, or combine certain components, or arrange different components, and details will not be repeated here. .
  • the senor 605 includes an image sensor, and the processor 610 is a processor chip; the processor chip is communicatively connected to the image sensor, and the processor chip includes a first camera serial interface and a first bus interface;
  • the image processing chip 611 includes a second camera serial interface and a second bus interface, the second camera serial interface is connected to the first camera serial interface, and the second bus interface is connected to the first bus interface interface connection;
  • the image processing chip and the processor chip transmit image data through the second camera serial interface and the first camera serial interface, and transmit image data through the second bus interface and the first bus interface Transmission control instructions.
  • the image processing chip 611 is used for:
  • the image processing chip 611 is also used for:
  • processor 610 is used for:
  • the second image data sent by the image processing chip is received through the first camera serial interface.
  • processor 610 is also used for:
  • a flow-off instruction is sent to the image processing chip through the first bus interface.
  • processor 610 is also used for:
  • the layer information includes image layer sub-information and user interface UI layer sub-information;
  • the first image data is the separated sub-information of the image layer.
  • processor 610 is also used for:
  • processor 610 is also used for:
  • the image processing chip is initialized.
  • the input unit 604 may include a graphics processor (Graphics Processing Unit, GPU) 6041 and a microphone 6042, and the graphics processor 6041 is used for the image capture device (such as the image data of the still picture or video obtained by the camera) for processing.
  • the display unit 606 may include a display panel 6061, and the display panel 6061 may be configured in the form of a liquid crystal display, an organic light emitting diode, or the like.
  • the user input unit 607 includes at least one of a touch panel 6071 and other input devices 6072 .
  • the touch panel 6071 is also called a touch screen.
  • the touch panel 6071 may include two parts, a touch detection device and a touch controller.
  • Other input devices 6072 may include, but are not limited to, physical keyboards, function keys (such as volume control buttons, switch buttons, etc.), trackballs, mice, and joysticks, which will not be repeated here.
  • Memory 609 may be used to store software programs as well as various data, including but not limited to application programs and operating systems.
  • the memory 609 may mainly include a first storage area for storing programs or instructions and a second storage area for storing data, wherein the first storage area may store an operating system, an application program or instructions required by at least one function (such as a sound playing function, image playback function, etc.), etc.
  • memory 609 may include volatile memory or nonvolatile memory, or, memory 609 may include both volatile and nonvolatile memory.
  • the non-volatile memory can be read-only memory (Read-Only Memory, ROM), programmable read-only memory (Programmable ROM, PROM), erasable programmable read-only memory (Erasable PROM, EPROM), electronically programmable Erase Programmable Read-Only Memory (Electrically EPROM, EEPROM) or Flash.
  • ROM Read-Only Memory
  • PROM programmable read-only memory
  • Erasable PROM Erasable PROM
  • EPROM erasable programmable read-only memory
  • Electrical EPROM Electrical EPROM
  • EEPROM electronically programmable Erase Programmable Read-Only Memory
  • Volatile memory can be random access memory (Random Access Memory, RAM), static random access memory (Static RAM, SRAM), dynamic random access memory (Dynamic RAM, DRAM), synchronous dynamic random access memory (Synchronous DRAM, SDRAM), double data rate synchronous dynamic random access memory (Double Data Rate SDRAM, DDRSDRAM), enhanced synchronous dynamic random access memory (Enhanced SDRAM, ESDRAM), synchronous connection dynamic random access memory (Synch link DRAM , SLDRAM) and Direct Memory Bus Random Access Memory (Direct Rambus RAM, DRRAM).
  • RAM Random Access Memory
  • SRAM static random access memory
  • DRAM dynamic random access memory
  • DRAM synchronous dynamic random access memory
  • SDRAM double data rate synchronous dynamic random access memory
  • Double Data Rate SDRAM Double Data Rate SDRAM
  • DDRSDRAM double data rate synchronous dynamic random access memory
  • Enhanced SDRAM, ESDRAM enhanced synchronous dynamic random access memory
  • Synch link DRAM , SLDRAM
  • Direct Memory Bus Random Access Memory Direct Rambus
  • the processor 610 may include one or more processing units; optionally, the processor 610 integrates an application processor and a modem processor, wherein the application processor mainly handles operations related to the operating system, user interface, and application programs, etc., Modem processors mainly process wireless communication signals, such as baseband processors. It can be understood that the foregoing modem processor may not be integrated into the processor 610 .
  • the embodiment of the present application also provides a readable storage medium, the readable storage medium stores a program or an instruction, and when the program or instruction is executed by a processor, each process of the above data transmission method embodiment is realized, and the same To avoid repetition, the technical effects will not be repeated here.
  • the processor is the processor in the electronic device described in the above embodiments.
  • the readable storage medium includes a computer-readable storage medium, such as a computer read-only memory ROM, a random access memory RAM, a magnetic disk or an optical disk, and the like.
  • the embodiment of the present application further provides a chip, the chip includes a processor and a communication interface, the communication interface is coupled to the processor, and the processor is used to run programs or instructions to implement the above data transmission method embodiment
  • the chip includes a processor and a communication interface
  • the communication interface is coupled to the processor
  • the processor is used to run programs or instructions to implement the above data transmission method embodiment
  • chips mentioned in the embodiments of the present application may also be called system-on-chip, system-on-chip, system-on-a-chip, or system-on-a-chip.
  • the embodiment of the present application provides a computer program product, the computer program product is stored in a storage medium, and the computer program product is executed by at least one processor to implement the various processes in the above data transmission method embodiment, and can achieve the same Technical effects, in order to avoid repetition, will not be repeated here.
  • the term “comprising”, “comprising” or any other variation thereof is intended to cover a non-exclusive inclusion such that a process, method, article or apparatus comprising a set of elements includes not only those elements, It also includes other elements not expressly listed, or elements inherent in the process, method, article, or device. Without further limitations, an element defined by the phrase “comprising a " does not preclude the presence of additional identical elements in the process, method, article, or apparatus comprising that element.
  • the scope of the methods and devices in the embodiments of the present application is not limited to performing functions in the order shown or discussed, and may also include performing functions in a substantially simultaneous manner or in reverse order according to the functions involved. Functions are performed, for example, the described methods may be performed in an order different from that described, and various steps may also be added, omitted, or combined. Additionally, features described with reference to certain examples may be combined in other examples.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Input (AREA)
  • Information Transfer Systems (AREA)
  • Studio Devices (AREA)

Abstract

本申请提供一种图像处理电路及数据传输方法，所述图像处理电路包括:图像传感器；处理器芯片，所述处理器芯片与所述图像传感器通信连接,所述处理器芯片包括第一相机串行接口及第一总线接口；图像处理芯片，所述图像处理芯片包括第二相机串行接口及第二总线接口，所述第二相机串行接口与所述第一相机串行接口连接，所述第二总线接口与所述第一总线接口连接；其中，所述图像处理芯片和所述处理器芯片通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令。

Description

图像处理电路及数据传输方法
相关申请的交叉引用
本申请主张在2021年12月28日在中国提交的中国专利申请No.202111627015.7的优先权，其全部内容通过引用包含于此。
技术领域
本申请涉及通信技术领域，尤其涉及一种图像处理电路及数据传输方法。
背景技术
随着电子设备的普及，电子设备的功能越来越完善。电子设备集成有拍照及摄影等功能，且随着人们对于电子设备的成像效果的要求的提高，对电子设备拍摄图像的分辨率及像素要求越来越高。目前，通过图像信号处理(Image Signal Processing，ISP)对图像数据进行处理，进行图像数据处理的效果较差。
发明内容
本申请实施例提供一种图像处理电路及数据传输方法，能够解决现有图像数据处理的效果较差的问题。为了解决上述技术问题，本发明是这样实现的：
第一方面，本申请实施例提供了一种图像处理电路，所述图像处理电路包括:
图像传感器；
处理器芯片，所述处理器芯片与所述图像传感器通信连接,所述处理器芯片包括第一相机串行接口及第一总线接口；
图像处理芯片，所述图像处理芯片包括第二相机串行接口及第二总线接口，所述第二相机串行接口与所述第一相机串行接口连接，所述第二总线接口与所述第一总线接口连接；
其中，所述图像处理芯片和所述处理器芯片通过所述第二相机串行接口 和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令。
第二方面，本申请实施例提供了一种电子设备，包括如第一方面所述的图像处理电路。
第三方面，本申请实施例提供了一种数据传输方法，由图像处理芯片执行，所述图像处理芯片为第一方面所述的图像处理电路中的图像处理芯片，所述方法包括：
通过所述第二总线接口接收所述处理器芯片发送的开流指令；
响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；
通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据。
第四方面，本申请实施例提供了一种数据传输方法，由处理器芯片执行，所述处理器芯片为第一方面所述的图像处理电路中的处理器芯片，所述方法包括：
在接收到由用户的第一操作触发的第一指令的情况下，通过所述第一总线接口向所述图像处理芯片发送开流指令；
向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；
通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。
第五方面，本申请实施例提供了一种图像处理芯片，所述图像处理芯片包括：
第一接收模块，用于通过第二总线接口接收处理器芯片发送的开流指令；
第二接收模块，用于响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；
发送模块，用于通过第二相机串行接口向所述处理器芯片发送所述第二图像数据。
第六方面，本申请实施例提供了一种处理器芯片，所述处理器芯片包括：
第一发送模块，用于在接收到由用户的第一操作触发的第一指令的情况 下，通过第一总线接口向图像处理芯片发送开流指令；
第二发送模块，用于向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；
接收模块，用于通过第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。
第七方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第三方面所述的数据传输方法中的步骤，或者，所述程序或指令被所述处理器执行时实现如第四方面所述的数据传输方法中的步骤。
第八方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第三方面所述的数据传输方法中的步骤，或者，所述程序或指令被处理器执行时实现如第四方面所述的数据传输方法中的步骤。
第九方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第三方面或第四方面所述的方法。
第十方面，本申请实施例提供一种计算机程序产品，该计算机程序产品被存储在存储介质中，该计算机程序产品被至少一个处理器执行以实现如第三方面或第四方面所述的方法。
第十一方面，本申请实施例提供一种电子设备，被配置为执行以实现如第三方面或第四方面所述的方法。
本申请实施例中，所述图像处理电路包括:图像传感器、处理器芯片及图像处理芯片，所述图像处理芯片包括第二相机串行接口及第二总线接口，所述第二相机串行接口与所述第一相机串行接口连接，所述第二总线接口与所述第一总线接口连接，这样，通过独立于处理器芯片的图像处理芯片对图像数据进行处理，能够降低图像处理能力受处理器芯片的硬件限制的影响，提高图像数据处理能力；且所述图像处理芯片和所述处理器芯片通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总 线接口和所述第一总线接口传输控制指令，不需要新增硬件接口将图像处理芯片的图像数据回传至处理器芯片，降低了硬件的设计难度。
附图说明
图1是本申请实施例提供的一种图像处理电路的结构示意图；
图2是本申请实施例提供的一种数据传输方法的流程图之一；
图3是本申请实施例提供的一种数据传输方法的流程图之二；
图4是本申请实施例提供的一种图像处理芯片的结构示意图；
图5是本申请实施例提供的一种处理器芯片的结构示意图之一；
图6是本申请实施例提供的一种处理器芯片的结构示意图之二；
图7是本申请实施例提供的一种处理器芯片的结构示意图之三；
图8是本申请实施例提供的一种处理器芯片的结构示意图之四；
图9是本申请实施例提供的一种处理器芯片的结构示意图之五；
图10是本申请实施例提供的一种电子设备的结构示意图之一；
图11是本申请实施例提供的一种电子设备的结构示意图之二。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员获得的所有其他实施例，都属于本申请保护的范围。
本申请的说明书和权利要求书中的术语“第一”、“第二”等是用于区别类似的对象，而不用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便本申请的实施例能够以除了在这里图示或描述的那些以外的顺序实施，且“第一”、“第二”等所区分的对象通常为一类，并不限定对象的个数，例如第一对象可以是一个，也可以是多个。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的 图像处理电路及数据传输方法进行详细地说明。
参见图1，图1是本申请实施例提供的一种图像处理电路的结构示意图，如图1所示，所述图像处理电路包括:
图像传感器11；
处理器芯片12，所述处理器芯片12与所述图像传感器11通信连接,所述处理器芯片12包括第一相机串行接口及第一总线接口；
图像处理芯片13，所述图像处理芯片13包括第二相机串行接口及第二总线接口，所述第二相机串行接口与所述第一相机串行接口连接，所述第二总线接口与所述第一总线接口连接；
其中，所述图像处理芯片13和所述处理器芯片12通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令。
其中，处理器芯片12可以通过第三相机串行接口与图像传感器11连接，第三相机串行接口可以为移动产业处理器接口(Mobile Industry Processor Interface，MIPI)模块的相机串行接口(Camera Serial Interface，CSI)接口。示例地，如图1所示，第三相机串行接口可以为MIPI CSI RX0接口，处理器芯片12可以通过MIPI CSI RX0接口接收图像传感器11发送的图像数据。第一相机串行接口可以为MIPI模块的CSI接口。示例地，如图1所示，第一相机串行接口可以为MIPI CSI RX1接口，处理器芯片12可以通过MIPI CSI RX1接口接收图像处理芯片13发送的图像数据。第一总线接口可以是集成电路总线(Inter-Integrated Circuit，I2C)总线接口或者串行外设接口(Serial Peripheral Interface，SPI)总线接口。
另外，第二相机串行接口可以为MIPI模块的CSI接口。示例地，如图1所示，第二相机串行接口可以为MIPI CSI TX1接口，图像处理芯片13可以通过MIPI CSI TX1接口向处理器芯片12发送图像数据。第二总线接口可以是I2C总线接口或者SPI总线接口。
需要说明的是，所述图像处理电路可以为电子设备中的电路。通过控制指令可以使得电子设备拍照时处理器芯片12与图像处理芯片13之间工作同步。控制指令可以包括开流指令，和/或关流指令，或者还可以包括其他控制 指令。在接收到处理器芯片12发送的开流指令后，图像处理芯片13可以接收所述处理器芯片12发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据，并通过所述第一相机串行接口接收所述图像处理芯片13发送的所述第二图像数据；在接收到处理器芯片12发送的关流指令后，图像处理器可以停止向所述处理器芯片12发送所述第二图像数据。
作为一种具体的实施方式，如图1所示，图像传感器11输出的图像经过处理器芯片12的图像信号处理(Image Signal Processing，ISP)模块进行图像处理之后，在软件架构(framework)的显示合成服务(surfacefliger)模块将相机预览界面的当前用户界面(User Interface，UI)和图像进行分离，并且分别通过处理器芯片12的第一显示串行接口通过标准的MIPI显示串行接口(Display Serial Interface，DSI)协议传输给图像处理芯片13，其中，第一显示串行接口可以为MIPI模块的DSI接口，例如，第一显示串行接口可以为MIPI DSI TX0。图像处理芯片13对处理器芯片12传输的图像进行图像处理，并将经过图像处理后的图像通过MIPI CSI TX0回传给处理器芯片12的MIPI CSI RX1，处理器芯片12将MIPI CSI RX1接收到的图像数据写入到动态随机存取存储器(Dynamic Random Access Memory，DRAM)，DRAM中存储的图像数据可以直接用于图片或者视频的编码和存储。
需要说明的是，以电子设备为手机为例，图像处理芯片13可以为手机提供硬件级计算影像能力，打破手机影像算力的瓶颈，对实时并发处理数据能力进行针对性优化，使手机拥有更强的影像算力。对于处理器芯片12自带的ISP而言，均是通过地址和数据总线直接访问内存做图像的处理，而独立的图像处理芯片13无法直接访问内存。若需要直接将处理后的图像保存在内存中，则需要通过物理连接到处理器芯片12的数据总线和地址总线上，这样会增加了硬件的设计难度，提高软件的开发难度。本申请实施例通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令，并且通过第一存储模块存储从图像处理芯片13端接收到的图像数据，能够实现图像处理芯片13完成图像处理后回传给处理器芯片12做后续的处理工作，例如图片编码或者录像编码。本申请实施例可以延用处理器芯片12原生的相机框架，可以实现更加灵活的软件 设计，从而可以便捷地实现图像处理芯片13在各个平台上进行集成，为用户带来较好的拍照以及录像体验。
本申请实施例中，所述图像处理电路包括:图像传感器11、处理器芯片12及图像处理芯片13，所述图像处理芯片13包括第二相机串行接口及第二总线接口，所述第二相机串行接口与所述第一相机串行接口连接，所述第二总线接口与所述第一总线接口连接，这样，通过独立于处理器芯片12的图像处理芯片13对图像数据进行处理，能够降低图像处理能力受处理器芯片12的硬件限制的影响，提高图像数据处理能力；且所述图像处理芯片13和所述处理器芯片12通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令，不需要新增硬件接口将图像处理芯片13的图像数据回传至处理器芯片12，降低了硬件的设计难度。
可选地，所述处理器芯片还包括第一显示串行接口，所述图像处理芯片包括第二显示串行接口，所述第二显示串行接口与所述第一显示串行接口连接。
其中，第一显示串行接口可以为MIPI模块的DSI接口。示例地，如图1所示，第一显示串行接口可以为MIPI DSI TX0接口，处理器芯片可以通过MIPI DSI TX0接口向图像处理芯片发送图像数据。第二显示串行接口可以为MIPI模块的DSI接口。示例地，第二显示串行接口可以为MIPI DSI RX0接口，图像处理芯片可以通过MIPI DSI RX0接口接收处理器芯片发送的图像数据。
该实施方式中，所述处理器芯片还包括第一显示串行接口，所述图像处理芯片包括第二显示串行接口，所述第二显示串行接口与所述第一显示串行接口连接，从而能够通过第二显示串行接口与第一显示串行接口将处理器芯片中的第一图像数据传输至图像处理芯片进行图像处理。
可选地，所述处理器芯片还包括图像信号处理模块及显示合成服务模块，所述显示合成服务模块的一端通过所述图像信号处理模块与所述图像传感器通信连接，所述显示合成服务模块的另一端与所述第一显示串行接口连接。
其中，处理器芯片可以通过第三相机串行接口与图像传感器连接，图像 信号处理模块可以通过第二存储模块与第三相机串行接口连接。第二存储模块可以为DRAM。
该实施方式中，所述显示合成服务模块的一端通过所述图像信号处理模块与所述图像传感器通信连接，所述显示合成服务模块的另一端与所述第一显示串行接口连接，从而通过图像信号处理模块能够对图像传感器发送的第三图像数据进行图像信号处理，得到第四图像数据；通过显示合成服务模块能够生成与所述第四图像数据对应的相机预览界面，并将所述相机预览界面显示的图像对应的第一图像数据通过第一显示串行接口发送至图像处理芯片。
可选地，所述处理器芯片还包括第一存储模块，所述第一相机串行接口与所述第一存储模块通信连接。
其中，第一存储模块可以为DRAM。处理器芯片能够将通过第一相机串行接口从图像处理芯片端接收到的图像数据直接存储至第一存储模块。存储在第一存储模块的图像数据可以直接用于图片编码或者录像编码。
另外，第一存储模块和第二存储模块可以为同一个DRAM的两个不同模块，或者，第一存储模块和第二存储模块可以为两个不同的DRAM，本实施例对此不进行限定。
该实施方式中，所述处理器芯片还包括第一存储模块，所述第一相机串行接口与所述第一存储模块通信连接，从而处理器芯片能够将图像处理芯片回传至处理器芯片的图像数据直接存储至第一存储模块。
本申请实施例还提供一种电子设备，所述电子设备包括图1所述的图像处理电路。
参见图2，图2是本申请实施例提供的一种数据传输方法的流程图之一，所述方法由图像处理芯片执行，所述图像处理芯片为图1所述的图像处理电路中的图像处理芯片，如图2所示，包括以下步骤：
步骤101、通过所述第二总线接口接收所述处理器芯片发送的开流指令；
步骤102、响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；
步骤103、通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据。
其中，处理器芯片可以在接收到由用户的第一操作触发的第一指令的情况下，通过所述第一总线接口向所述图像处理芯片发送开流指令。第一操作可以是启动拍照或录像的操作，示例地，第一操作可以是用户点击拍照按钮或者录像按钮的操作。处理器芯片可以通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据，并可以将所述第二图像数据存储至第一存储模块。
需要说明的是，对所述第一图像数据进行图像处理，可以是，对所述第一图像数据进行图像增强处理，示例地，可以是对第一图像数据进行降帧处理，和/或，超分处理。
另外，图像处理电路可以为电子设备中的电路。在启动电子设备中的相机的情况下，图像传感器可以获取第三图像数据，处理器芯片可以接收所述图像传感器发送的第三图像数据，处理器芯片可以通过ISP模块对所述第三图像数据进行图像信号处理，得到第四图像数据，生成与所述第四图像数据对应的相机预览界面。在用户启动拍照或录像操作的情况下，处理器芯片可以将所述相机预览界面显示的图像对应的第一图像数据发送至图像处理芯片进行图像处理，得到第二图像数据。图像处理芯片可以通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据，实现图像数据回传至处理器芯片。
需要说明的是，本申请实施例中的数据传输方法可以由图像处理芯片中的虚拟图像传感器执行，该虚拟图像传感器能够实现真实的图像传感器的相机控制流程，对比真实的图像传感器，该虚拟图像传感器的上下电控制可以是图像处理芯片的上下电控制，而对虚拟图像传感器的IO控制可以是对图像处理芯片的IO控制，虚拟图像传感器的IO控制可以是通过第二总线接口进行图像处理芯片的寄存器的读写操作。同时虚拟图像传感器的开流控制及关流控制可以是图像处理芯片的第二相机接口的开流控制和关流控制。
一种实施方式中，用户点击拍照或录像，处理器芯片可以通过I2C或SPI总线向虚拟图像传感器下发开流(streamon)指令，图像经过处理器芯片的ISP模块处理后，经过图形框架(surfaceflinger)模块将图像通过处理器芯片的DSI硬件模块采用MIPI协议传输至图像处理芯片，由图像处理芯片对图 像进行增强处理，例如降帧和超分等。图像处理芯片对图像进行增强处理后，通过图像处理芯片的MIPI CSI TX0发送至处理器芯片侧的CSI RX1模块，处理器芯片接收到图像处理芯片处理后的图像后无需在处理器芯片的ISP模块做进一步处理，仅需发送至编码模块做图片编码处理或者在媒体(media)模块做录像的编码处理，然后保存在安全数字卡(Secure Digital Card，SD)卡中。
本申请实施例中，通过所述第二总线接口接收所述处理器芯片发送的开流指令；响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据。这样，图像处理芯片能够在用户拍照或录像时通过第二总线接口及第二相机串行接口实现将图像处理芯片的图像数据回传至处理器芯片，不需要新增硬件接口将图像处理芯片的图像数据回传至处理器芯片，降低了硬件的设计难度。
可选地，所述通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据之后，所述方法还包括：
通过所述第二总线接口接收所述处理器芯片发送的关流指令；
响应于所述关流指令，停止向所述处理器芯片发送所述第二图像数据。
其中，处理器芯片可以在接收到由用户的第二操作触发的第二指令的情况下，通过所述第一总线接口向所述图像处理芯片发送关流指令。第二操作可以是停止拍照或录像的操作，示例地，第二操作可以是用户取消按压拍照按钮，或者按压停止录像按钮的操作。
一种实施方式中，用户在完成拍照或录像后，处理器芯片可以通过I2C或SPI总线向虚拟图像传感器下发关流指令，图像处理芯片如果当前没有进行图像处理，则可以立刻对TX0接口进行停流，此时电子设备切换成拍照预览模式或录像预览模式。若用户退出相机，则可以对图像传感器对应的物理摄像头关流，对物理摄像头以及虚拟图像传感器对应的虚拟摄像头均进行下电处理，并且释放申请的ISP软硬件资源。
该实施方式中，通过所述第二总线接口接收所述处理器芯片发送的关流指令；响应于所述关流指令，停止向所述处理器芯片发送所述第二图像数据。 这样，图像处理芯片能够在用户结束拍照或录像时停止向处理器芯片发流，以适配相机拍照或录像流程。
参见图3，图3是本申请实施例提供的一种数据传输方法的流程图之二，所述方法由处理器芯片执行，所述处理器芯片为图1所述的图像处理电路中的处理器芯片，如图3所示，包括以下步骤：
步骤201、在接收到由用户的第一操作触发的第一指令的情况下，通过所述第一总线接口向所述图像处理芯片发送开流指令；
步骤202、向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；
步骤203、通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。
本申请实施例中，在接收到由用户的第一操作触发的第一指令的情况下，通过所述第一总线接口向所述图像处理芯片发送开流指令；向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。这样，图像处理芯片能够在用户拍照或录像时通过第二总线接口及第二相机串行接口实现将图像处理芯片的图像数据回传至处理器芯片，不需要新增硬件接口将图像处理芯片的图像数据回传至处理器芯片，降低了硬件的设计难度。
可选地，所述通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据之后，所述方法还包括：
在接收到由用户的第二操作触发的第二指令的情况下，通过所述第一总线接口向所述图像处理芯片发送关流指令。
该实施方式中，在接收到由用户的第二操作触发的第二指令的情况下，通过所述第一总线接口向所述图像处理芯片发送关流指令，从而使得图像处理芯片能够在用户结束拍照或录像时停止向处理器芯片发流，以适配相机拍照或录像流程。
可选地，所述向所述图像处理芯片发送第一图像数据之前，所述方法还包括：
基于所述图像传感器输出的图像信号获取图层信息，所述图层信息包括图像图层子信息及用户界面UI图层子信息；
将所述图像图层子信息从所述图层信息中进行分离；
其中，所述第一图像数据为分离得到的所述图像图层子信息。
一种实施方式中，图层信息可以形成相机预览界面。处理器芯片可以接收所述图像传感器发送的第三图像数据；对所述第三图像数据进行图像信号处理，得到第四图像数据；生成与所述第四图像数据对应的相机预览界面；其中，所述第四图像数据可以生成图层信息中的图像图层子信息，图像图层子信息可以形成所述相机预览界面显示的图像，且图像图层子信息和UI图层子信息共同形成所述相机预览界面。
该实施方式中，基于所述图像传感器输出的图像信号获取图层信息，所述图层信息包括图像图层子信息及用户界面UI图层子信息；将所述图像图层子信息从所述图层信息中进行分离，其中，所述第一图像数据为分离得到的所述图像图层子信息。这样，处理器芯片能够在用户拍照或录像时将图像图层子信息从所述图层信息中进行分离，并发送至图像处理芯片进行图像处理，以使用户获得较好的拍照或录像体验。
可选的，所述通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据之后，所述方法还包括：
将所述第二图像数据存储至第一存储模块。
其中，处理器芯片能够将通过第一相机串行接口从图像处理芯片端接收到的图像数据直接存储至第一存储模块。存储在第一存储模块的图像数据可以直接用于图片编码或者录像编码。
该实施方式中，将所述第二图像数据存储至第一存储模块，从而处理器芯片能够将图像处理芯片回传至处理器芯片的图像数据直接存储至第一存储模块。
可选的，所述通过所述第一总线接口向所述图像处理芯片发送开流指令之前，所述方法还包括：
在接收到由用户的第三操作触发的第三指令的情况下，初始化所述图像处理芯片。
其中，第三操作可以是启动相机的操作，示例地，第三操作可以是用户启动相机应用程序的操作，或者可以是用户进入相机预览界面的操作，等等。初始化所述图像处理芯片，可以是对图像处理芯片的寄存器进行初始化。在接收到由用户的第三操作触发的第三指令的情况下，可以对图像处理芯片进行上电操作，在完成上电操作后，初始化所述图像处理芯片。
一种实施方式中，如图1所示，处理器芯片使用I2C或SPI总线控制图像处理芯片，图像数据通过MIPI DSI或CSI传输。在相机未工作时，图像处理芯片处于下电的状态，当相机应用程序启动相机，进入拍照或录像模式，启动图像传感器以及图像处理芯片中的虚拟图像传感器，图像传感器对应的物理摄像头和虚拟图像传感器对应的虚拟摄像头分别同时上电，且通过I2C或者SPI总线对物理摄像头和虚拟摄像头进行寄存器的初始化，以及处理器芯片侧的ISP资源相关初始化。进行初始化后，可以先对物理摄像头进行开流，虚拟摄像头处于软件备用(standby)的状态，即图像处理芯片此时工作在standby的状态。
该实施方式中，在接收到由用户的第三操作触发的第三指令的情况下，初始化所述图像处理芯片，从而能够在用户启动相机时初始化所述图像处理芯片，以适配相机拍照或录像流程。
需要说明的是，本实施例作为与图2所示的实施例中对应的处理器芯片的实施方式，其部分具体的实施方式可以参见图2所示的实施例的相关说明，为了避免重复说明，本实施例不再赘述，且还可以达到相同有益效果。
本申请实施例提供的数据传输方法，执行主体可以为图像处理芯片。本申请实施例中以图像处理芯片执行加载数据传输的方法为例，说明本申请实施例提供的图像处理芯片。
参见图4，图4是本申请实施例提供的一种图像处理芯片的结构示意图，如图4所示，所述图像处理芯片300包括：
第一接收模块301，用于通过第二总线接口接收处理器芯片发送的开流指令；
第二接收模块302，用于响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数 据；
发送模块303，用于通过第二相机串行接口向所述处理器芯片发送所述第二图像数据。
可选地，所述发送模块303具体还用于：
通过所述第二总线接口接收所述处理器芯片发送的关流指令；
响应于所述关流指令，停止向所述处理器芯片发送所述第二图像数据。
在本申请实施例中，第一接收模块通过所述第二总线接口接收所述处理器芯片发送的开流指令；第二接收模块响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；发送模块通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据。这样，通过独立于处理器芯片的图像处理芯片对图像数据进行处理，能够降低图像处理能力受处理器芯片的硬件限制的影响，提高图像数据处理能力；且所述图像处理芯片和所述处理器芯片通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令，不需要新增硬件接口将图像处理芯片的图像数据回传至处理器芯片，降低了硬件的设计难度。
需要说明的是，所述图像处理芯片可以为图1所述的图像处理电路中的图像处理芯片。本申请实施例提供的图像处理芯片能够实现图2的方法实施例实现的各个过程，为避免重复，这里不再赘述。
参见图5，图5是本申请实施例提供的一种处理器芯片的结构示意图，如图5所示，所述处理器芯片400包括：
第一发送模块401，用于在接收到由用户的第一操作触发的第一指令的情况下，通过第一总线接口向图像处理芯片发送开流指令；
第二发送模块402，用于向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；
接收模块403，用于通过第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。
可选地，如图6所示，所述处理器芯片400还包括：
第三发送模块404，用于在接收到由用户的第二操作触发的第二指令的 情况下，通过所述第一总线接口向所述图像处理芯片发送关流指令。
可选地，如图7所示，所述处理器芯片400还包括：
获取模块405，用于基于图像传感器输出的图像信号获取图层信息，所述图层信息包括图像图层子信息及用户界面UI图层子信息；
分离模块406，用于将所述图像图层子信息从所述图层信息中进行分离；
其中，所述第一图像数据为分离得到的所述图像图层子信息。
可选地，如图8所示，所述处理器芯片400还包括：
存储模块407，用于将所述第二图像数据存储至第一存储模块。
可选地，如图9所示，所述处理器芯片400还包括：
初始化模块408，用于在接收到由用户的第三操作触发的第三指令的情况下，初始化所述图像处理芯片。
在本申请实施例中，第一发送模块在接收到由用户的第一操作触发的第一指令的情况下，通过第一总线接口向图像处理芯片发送开流指令；第二发送模块向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；接收模块通过第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。这样，图像处理芯片能够在用户拍照或录像时通过第二总线接口及第二相机串行接口实现将图像处理芯片的图像数据回传至处理器芯片，不需要新增硬件接口将图像处理芯片的图像数据回传至处理器芯片，降低了硬件的设计难度。
需要说明的是，所述处理器芯片可以为图1所述的图像处理电路中的处理器芯片。本申请实施例提供的处理器芯片能够实现图3的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图10所示，本申请实施例还提供一种电子设备500，包括处理器501和存储器502，存储器502上存储有可在所述处理器501上运行的程序或指令，该程序或指令被处理器501执行时实现上述数据传输方法实施例的各个步骤，且能达到相同的技术效果，为避免重复，这里不再赘述。
图11为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备600包括但不限于：射频单元601、网络模块602、音频输出单元603、输入单元604、传感器605、显示单元606、用户输入单元607、 接口单元608、存储器609、处理器610及图像处理芯片611等部件。
本领域技术人员可以理解，电子设备600还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器610逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图11中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
其中，传感器605包括图像传感器，处理器610为处理器芯片；所述处理器芯片与所述图像传感器通信连接,所述处理器芯片包括第一相机串行接口及第一总线接口；
所述图像处理芯片611包括第二相机串行接口及第二总线接口，所述第二相机串行接口与所述第一相机串行接口连接，所述第二总线接口与所述第一总线接口连接；
其中，所述图像处理芯片和所述处理器芯片通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令。
其中，图像处理芯片611用于：
通过所述第二总线接口接收所述处理器芯片发送的开流指令；
响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；
通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据。
可选地，图像处理芯片611还用于：
通过所述第二总线接口接收所述处理器芯片发送的关流指令；
响应于所述关流指令，停止向所述处理器芯片发送所述第二图像数据。
其中，处理器610用于：
在接收到由用户的第一操作触发的第一指令的情况下，通过所述第一总线接口向所述图像处理芯片发送开流指令；
向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；
通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像 数据。
可选地，处理器610还用于：
在接收到由用户的第二操作触发的第二指令的情况下，通过所述第一总线接口向所述图像处理芯片发送关流指令。
可选地，处理器610还用于：
基于所述图像传感器输出的图像信号获取图层信息，所述图层信息包括图像图层子信息及用户界面UI图层子信息；
将所述图像图层子信息从所述图层信息中进行分离；
其中，所述第一图像数据为分离得到的所述图像图层子信息。
可选地，处理器610还用于：
将所述第二图像数据存储至第一存储模块。
可选地，处理器610还用于：
在接收到由用户的第三操作触发的第三指令的情况下，初始化所述图像处理芯片。
应理解的是，本申请实施例中，输入单元604可以包括图形处理器(Graphics Processing Unit，GPU)6041和麦克风6042，图形处理器6041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元606可包括显示面板6061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板6061。用户输入单元607包括触控面板6071以及其他输入设备6072中的至少一种。触控面板6071，也称为触摸屏。触控面板6071可包括触摸检测装置和触摸控制器两个部分。其他输入设备6072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。
存储器609可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。存储器609可主要包括存储程序或指令的第一存储区和存储数据的第二存储区，其中，第一存储区可存储操作系统、至少一个功能所需的应用程序或指令(比如声音播放功能、图像播放功能等)等。此外，存储器609可以包括易失性存储器或非易失性存储器，或者，存储器609可以包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器 (Read-Only Memory，ROM)、可编程只读存储器(Programmable ROM，PROM)、可擦除可编程只读存储器(Erasable PROM，EPROM)、电可擦除可编程只读存储器(Electrically EPROM，EEPROM)或闪存。易失性存储器可以是随机存取存储器(Random Access Memory，RAM)，静态随机存取存储器(Static RAM，SRAM)、动态随机存取存储器(Dynamic RAM，DRAM)、同步动态随机存取存储器(Synchronous DRAM，SDRAM)、双倍数据速率同步动态随机存取存储器(Double Data Rate SDRAM，DDRSDRAM)、增强型同步动态随机存取存储器(Enhanced SDRAM，ESDRAM)、同步连接动态随机存取存储器(Synch link DRAM，SLDRAM)和直接内存总线随机存取存储器(Direct Rambus RAM，DRRAM)。本申请实施例中的存储器609包括但不限于这些和任意其它适合类型的存储器。
处理器610可包括一个或多个处理单元；可选地，处理器610集成应用处理器和调制解调处理器，其中，应用处理器主要处理涉及操作系统、用户界面和应用程序等的操作，调制解调处理器主要处理无线通信信号，如基带处理器。可以理解的是，上述调制解调处理器也可以不集成到处理器610中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述数据传输方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器ROM、随机存取存储器RAM、磁碟或者光盘等。
本申请实施例另提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现上述数据传输方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
本申请实施例提供一种计算机程序产品，该计算机程序产品被存储在存储介质中，该计算机程序产品被至少一个处理器执行以实现如上述数据传输 方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (24)

  1. 一种图像处理电路，所述图像处理电路包括:
    图像传感器；
    处理器芯片，所述处理器芯片与所述图像传感器通信连接,所述处理器芯片包括第一相机串行接口及第一总线接口；
    图像处理芯片，所述图像处理芯片包括第二相机串行接口及第二总线接口，所述第二相机串行接口与所述第一相机串行接口连接，所述第二总线接口与所述第一总线接口连接；
    其中，所述图像处理芯片和所述处理器芯片通过所述第二相机串行接口和所述第一相机串行接口传输图像数据，以及通过所述第二总线接口和所述第一总线接口传输控制指令。
  2. 根据权利要求1所述的图像处理电路，其中，所述处理器芯片还包括第一显示串行接口，所述图像处理芯片包括第二显示串行接口，所述第二显示串行接口与所述第一显示串行接口连接。
  3. 根据权利要求2所述的图像处理电路，其中，所述处理器芯片还包括图像信号处理模块及显示合成服务模块，所述显示合成服务模块的一端通过所述图像信号处理模块与所述图像传感器通信连接，所述显示合成服务模块的另一端与所述第一显示串行接口连接。
  4. 根据权利要求1所述的图像处理电路，其中，所述处理器芯片还包括第一存储模块，所述第一相机串行接口与所述第一存储模块通信连接。
  5. 一种电子设备，包括如权利要求1-4中任一项所述的图像处理电路。
  6. 一种数据传输方法，由图像处理芯片执行，其中，所述图像处理芯片为权利要求1-4中任一项所述的图像处理电路中的图像处理芯片，所述方法包括：
    通过所述第二总线接口接收所述处理器芯片发送的开流指令；
    响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；
    通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据。
  7. 根据权利要求6所述的方法，其中，所述通过所述第二相机串行接口向所述处理器芯片发送所述第二图像数据之后，所述方法还包括：
    通过所述第二总线接口接收所述处理器芯片发送的关流指令；
    响应于所述关流指令，停止向所述处理器芯片发送所述第二图像数据。
  8. 一种数据传输方法，由处理器芯片执行，其中，所述处理器芯片为权利要求1-4中任一项所述的图像处理电路中的处理器芯片，所述方法包括：
    在接收到由用户的第一操作触发的第一指令的情况下，通过所述第一总线接口向所述图像处理芯片发送开流指令；
    向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；
    通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。
  9. 根据权利要求8所述的方法，其中，所述通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据之后，所述方法还包括：
    在接收到由用户的第二操作触发的第二指令的情况下，通过所述第一总线接口向所述图像处理芯片发送关流指令。
  10. 根据权利要求8所述的方法，其中，所述向所述图像处理芯片发送第一图像数据之前，所述方法还包括：
    基于所述图像传感器输出的图像信号获取图层信息，所述图层信息包括图像图层子信息及用户界面UI图层子信息；
    将所述图像图层子信息从所述图层信息中进行分离；
    其中，所述第一图像数据为分离得到的所述图像图层子信息。
  11. 根据权利要求8所述的方法，其中，所述通过所述第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据之后，所述方法还包括：
    将所述第二图像数据存储至第一存储模块。
  12. 根据权利要求8所述的方法，其中，所述通过所述第一总线接口向所述图像处理芯片发送开流指令之前，所述方法还包括：
    在接收到由用户的第三操作触发的第三指令的情况下，初始化所述图像处理芯片。
  13. 一种图像处理芯片，所述图像处理芯片包括：
    第一接收模块，用于通过第二总线接口接收处理器芯片发送的开流指令；
    第二接收模块，用于响应于所述开流指令，接收所述处理器芯片发送的第一图像数据，并对所述第一图像数据进行图像处理，得到第二图像数据；
    发送模块，用于通过第二相机串行接口向所述处理器芯片发送所述第二图像数据。
  14. 根据权利要求13所述的图像处理芯片，其中，所述发送模块具体还用于：
    通过所述第二总线接口接收所述处理器芯片发送的关流指令；
    响应于所述关流指令，停止向所述处理器芯片发送所述第二图像数据。
  15. 一种处理器芯片，所述处理器芯片包括：
    第一发送模块，用于在接收到由用户的第一操作触发的第一指令的情况下，通过第一总线接口向图像处理芯片发送开流指令；
    第二发送模块，用于向所述图像处理芯片发送第一图像数据，以使所述图像处理芯片对所述第一图像数据进行图像处理，得到第二图像数据；
    接收模块，用于通过第一相机串行接口接收所述图像处理芯片发送的所述第二图像数据。
  16. 根据权利要求15所述的处理器芯片，其中，所述处理器芯片还包括：
    第三发送模块，用于在接收到由用户的第二操作触发的第二指令的情况下，通过所述第一总线接口向所述图像处理芯片发送关流指令。
  17. 根据权利要求15所述的处理器芯片，其中，所述处理器芯片还包括：
    获取模块，用于基于图像传感器输出的图像信号获取图层信息，所述图层信息包括图像图层子信息及用户界面UI图层子信息；
    分离模块，用于将所述图像图层子信息从所述图层信息中进行分离；
    其中，所述第一图像数据为分离得到的所述图像图层子信息。
  18. 根据权利要求15所述的处理器芯片，其中，所述处理器芯片还包括：
    存储模块，用于将所述第二图像数据存储至第一存储模块。
  19. 根据权利要求15所述的处理器芯片，其中，所述处理器芯片还包括：
    初始化模块，用于在接收到由用户的第三操作触发的第三指令的情况下， 初始化所述图像处理芯片。
  20. 一种电子设备，包括处理器和存储器，其中，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求6-7中任一项所述的数据传输方法的步骤，或者，所述程序或指令被所述处理器执行时实现如权利要求8-12中任一项所述的数据传输方法的步骤。
  21. 一种可读存储介质，所述可读存储介质上存储程序或指令，其中，所述程序或指令被处理器执行时实现如权利要求6-7中任一项所述的数据传输方法的步骤，或者，所述程序或指令被处理器执行时实现如权利要求8-12中任一项所述的数据传输方法的步骤。
  22. 一种芯片，包括处理器和通信接口，其中，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如权利要求6-7中任一项所述的数据传输方法的步骤，或者，实现如权利要求8-12中任一项所述的数据传输方法的步骤。
  23. 一种计算机程序产品，其中，所述计算机程序产品被存储在存储介质中，所述计算机程序产品被至少一个处理器执行以实现如权利要求6-7中任一项所述的数据传输方法的步骤，或者，实现如权利要求8-12中任一项所述的数据传输方法的步骤。
  24. 一种电子设备，被配置为执行如权利要求6-7中任一项所述的数据传输方法的步骤，或者，如权利要求8-12中任一项所述的数据传输方法的步骤。
PCT/CN2022/142802 2021-12-28 2022-12-28 图像处理电路及数据传输方法 WO2023125659A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111627015.7A CN114285957A (zh) 2021-12-28 2021-12-28 图像处理电路及数据传输方法
CN202111627015.7 2021-12-28

Publications (1)

Publication Number Publication Date
WO2023125659A1 true WO2023125659A1 (zh) 2023-07-06

Family

ID=80877020

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2022/142802 WO2023125659A1 (zh) 2021-12-28 2022-12-28 图像处理电路及数据传输方法

Country Status (2)

Country Link
CN (1) CN114285957A (zh)
WO (1) WO2023125659A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114285957A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 图像处理电路及数据传输方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020111188A1 (en) * 2000-12-07 2002-08-15 Nokia Mobile Phones, Ltd. Optimized camera sensor architecture for a mobile telephone
CN105721780A (zh) * 2016-04-05 2016-06-29 华南理工大学 一种基于SoC FPGA的嵌入式图像处理系统与方法
CN106851167A (zh) * 2017-01-16 2017-06-13 广东小天才科技有限公司 一种用于虚拟现实设备的显示方法、系统及虚拟现实设备
CN107509038A (zh) * 2017-10-16 2017-12-22 维沃移动通信有限公司 一种拍摄方法及移动终端
CN109167915A (zh) * 2018-09-29 2019-01-08 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
CN109167916A (zh) * 2018-09-29 2019-01-08 南昌黑鲨科技有限公司 智能终端、图像处理方法及计算机可读存储介质
CN109286753A (zh) * 2018-09-29 2019-01-29 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
CN114285957A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 图像处理电路及数据传输方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170004756A (ko) * 2015-07-03 2017-01-11 삼성전자주식회사 카메라 운영 방법 및 이를 구현하는 전자 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020111188A1 (en) * 2000-12-07 2002-08-15 Nokia Mobile Phones, Ltd. Optimized camera sensor architecture for a mobile telephone
CN105721780A (zh) * 2016-04-05 2016-06-29 华南理工大学 一种基于SoC FPGA的嵌入式图像处理系统与方法
CN106851167A (zh) * 2017-01-16 2017-06-13 广东小天才科技有限公司 一种用于虚拟现实设备的显示方法、系统及虚拟现实设备
CN107509038A (zh) * 2017-10-16 2017-12-22 维沃移动通信有限公司 一种拍摄方法及移动终端
CN109167915A (zh) * 2018-09-29 2019-01-08 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
CN109167916A (zh) * 2018-09-29 2019-01-08 南昌黑鲨科技有限公司 智能终端、图像处理方法及计算机可读存储介质
CN109286753A (zh) * 2018-09-29 2019-01-29 南昌黑鲨科技有限公司 图像处理方法、系统及计算机可读存储介质
CN114285957A (zh) * 2021-12-28 2022-04-05 维沃移动通信有限公司 图像处理电路及数据传输方法

Also Published As

Publication number Publication date
CN114285957A (zh) 2022-04-05

Similar Documents

Publication Publication Date Title
US20140111670A1 (en) System and method for enhanced image capture
JP5236775B2 (ja) シャッターラグを回避する画像キャプチャモジュール及び画像キャプチャ方法
WO2024051824A1 (zh) 图像处理方法、图像处理电路、电子设备和可读存储介质
WO2023125677A1 (zh) 独显插帧电路、方法、装置、芯片、电子设备及介质
WO2023125659A1 (zh) 图像处理电路及数据传输方法
WO2022121731A1 (zh) 图像拍摄方法、装置、电子设备和可读存储介质
WO2015085960A1 (zh) 一种照片处理方法及装置
WO2023030519A1 (zh) 投屏处理方法及相关设备
WO2022161227A1 (zh) 图像处理方法、装置、图像处理芯片和电子设备
KR20230133970A (ko) 사진촬영 방법, 장치 및 전자기기
WO2016161902A1 (zh) 终端设备摄像头接入目标设备的方法和装置
WO2023125657A1 (zh) 图像处理方法、装置和电子设备
WO2018076354A1 (zh) 图像数据的帧同步方法、图像信号处理装置及终端
WO2022111717A1 (zh) 图像处理方法、装置及电子设备
CN116419049A (zh) 图像处理方法、图像处理系统、装置和电子设备
WO2024001956A1 (zh) 视频通话方法、装置、第一电子设备及第二电子设备
WO2023125316A1 (zh) 视频处理方法、装置、电子设备及介质
WO2023125273A1 (zh) 电子设备的图像显示方法、图像处理电路和电子设备
WO2023125217A1 (zh) 图像处理电路、方法和电子设备
WO2023066100A1 (zh) 文件分享方法和装置
WO2023273845A1 (zh) 一种多应用录屏方法及装置
TWM283233U (en) A keyborad with a camera
WO2021213017A1 (zh) 一种视频叠加方法、装置及系统
TWI825972B (zh) 影像處理系統、方法、電子設備及介質
KR101286328B1 (ko) 멀티미디어 스토리지 카드 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22914911

Country of ref document: EP

Kind code of ref document: A1