WO2018228489A1 - 一种电子设备双显示方法、装置及电子设备 - Google Patents

一种电子设备双显示方法、装置及电子设备 Download PDF

Info

Publication number
WO2018228489A1
WO2018228489A1 PCT/CN2018/091331 CN2018091331W WO2018228489A1 WO 2018228489 A1 WO2018228489 A1 WO 2018228489A1 CN 2018091331 W CN2018091331 W CN 2018091331W WO 2018228489 A1 WO2018228489 A1 WO 2018228489A1
Authority
WO
WIPO (PCT)
Prior art keywords
displayed
display screen
driving
physical display
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/091331
Other languages
English (en)
French (fr)
Inventor
阎晓东
张铭
党鹏辉
陶宇全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Asu Tech Co Ltd
Qingdao Haier Co Ltd
Original Assignee
Beijing Asu Tech Co Ltd
Qingdao Haier Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Asu Tech Co Ltd, Qingdao Haier Co Ltd filed Critical Beijing Asu Tech Co Ltd
Publication of WO2018228489A1 publication Critical patent/WO2018228489A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Definitions

  • the present invention relates to the field of display technologies, and in particular, to a dual display method, device, and electronic device for an electronic device.
  • Single-device dual display refers to technologies that display simultaneously on the primary display and the secondary display on one electronic device, such as smart. Wrist watch, the main display is the physical display of LCD (Liquid Crystal Display), and the sub display is the projection display of the image projection by the projector.
  • LCD Liquid Crystal Display
  • the related operation is preset in the device processor, and the display interface corresponding to the display is operated.
  • the operation is compared with a preset operation, and the physical display interface corresponding to the operation is recognized to complete the display of the operation content; on the projection display screen where the image is projected by the projector.
  • the processor completes the operation by recognizing the gesture operation in the laser light path between the projector and the projection display screen, and comparing the gesture operation with a preset operation, and identifying the projection display interface corresponding to the operation.
  • the display of the content for example, when the user views the picture on the projection display screen, the user makes a gesture of sliding to the right in the light path between the projector and the projection display screen, and the projection display screen displays the next picture.
  • the display content of the existing physical display screen has nothing to do with the content of the projection display screen.
  • the user operates on the physical display to perform the functions that the physical display is to implement.
  • the user cannot control the display of the physical display and the projection display by one operation, which brings great inconvenience to the user.
  • An embodiment of the present invention provides a dual display method, device, and electronic device for an electronic device, so that operation of one of the display screens of the electronic device can control the display operation result of the other display screen to ensure operation display of the two display screens. Synchronization to enhance the user experience.
  • the specific technical solutions are as follows:
  • the embodiment of the invention discloses a dual display method for an electronic device, which is applied to an electronic device, wherein the electronic device comprises a physical display screen and a projector, and the method comprises:
  • the displaying the first operation result into the image imaging projected by the projector, so that the corresponding first to-be-displayed information of the first operation is imaged and displayed on the image include:
  • the first to-be-displayed operation of the image imaging is driven by the first driving, so that the corresponding first to-be-displayed information of the first operation is displayed on the image for display, including :
  • Driving by the first frame buffer driving corresponding to the projection imaging, driving the pixels in the first to-be-displayed information into a first to-be-displayed pixel format that can be displayed in the projection display;
  • Driving by the driving of the projector, driving the first signal of the first pixel to be displayed for transmission, and transmitting, according to the first signal, the first pixel to be displayed to the projector, so as to enable the first operation
  • Corresponding first to-be-displayed information is displayed on the image for display.
  • the corresponding first to-be-displayed information of the first operation is displayed on the image, including:
  • the first to be displayed pixel corresponding to the first to-be-displayed information is synthesized, and the first to-be-displayed information in the first to-be-displayed operation is displayed in the projection imaging.
  • Another embodiment of the present invention discloses a dual display method for an electronic device, which is applied to an electronic device, wherein the electronic device includes a physical display screen and a projector, and the method includes:
  • the displaying the second operation result to the physical display screen, so that the second to-be-displayed information corresponding to the second operation is displayed on the physical display screen including:
  • the second to-be-displayed operation of the image image is driven by the second driving, so that the second to-be-displayed information corresponding to the second operation is displayed on the physical display screen, including :
  • All the second pixels to be displayed are stored, and the second pixels to be displayed are sent to the physical display screen;
  • Driving by the driving of the physical display screen, driving the second signal of the second pixel to be displayed for transmission, and sending a second pixel to be displayed to the physical display screen according to the second signal, so that the second The corresponding second to-be-displayed information is operated and displayed on the physical display screen.
  • the second to-be-displayed information corresponding to the second operation is displayed on the physical display screen, including:
  • the second to-be-displayed pixel corresponding to the second to-be-displayed information is synthesized, and the second to-be-displayed information in the second to-be-displayed operation is displayed in the physical display screen.
  • the embodiment of the invention further discloses an electronic device dual display device, which is applied to an electronic device, wherein the electronic device comprises a physical display screen and a projector, and the device comprises:
  • a first obtaining module configured to acquire a first operation on the physical display screen, to obtain a first operation result, where the first operation carries an entity display identifier corresponding to the first operation;
  • a first processing module configured to process the first operation result, and display the first operation result into image imaging projected by the projector, so that the first to-be-displayed information corresponding to the first operation Displaying the image in the image;
  • the second obtaining module is configured to acquire a second operation on the laser light path of the image of the projector to obtain a second operation result, wherein the second operation carries the projection corresponding to the second operation Identification
  • a second processing module configured to process the second operation result, and display the second operation result into the physical display screen, so that the second operation corresponding to the second to-be-displayed information is The physical display is displayed.
  • the embodiment of the invention further discloses an electronic device, comprising a processor, a communication interface, a memory and a communication bus, wherein the processor, the communication interface and the memory complete communication with each other through the communication bus;
  • a memory for storing a computer program
  • the processor when used to execute a program stored on the memory, implements the above-described dual display method steps of the electronic device.
  • An embodiment of the present invention provides a dual display method, apparatus, and electronic device for an electronic device, which first obtains a first operation result by acquiring a first operation on the physical display screen, wherein the first operation carries the Corresponding to the physical display identifier of the first operation; and processing the first operation result, and displaying the first operation result into the image imaging projected by the projector, so that the first operation corresponds to The first to-be-displayed information is displayed on the image for display.
  • the operation of one of the display screens of the electronic device can control the display operation result of the other display screen, and the synchronization of the operation display of the two display screens is ensured, thereby improving the user experience.
  • any product or method embodying the present invention necessarily does not necessarily require all of the advantages described above to be achieved at the same time.
  • FIG. 1 is a first schematic flowchart of a dual display method for an electronic device according to an embodiment of the present invention
  • FIG. 2 is a second schematic flowchart diagram of a dual display method for an electronic device according to an embodiment of the present disclosure
  • FIG. 3 is a schematic diagram of a third process of a dual display method for an electronic device according to an embodiment of the present invention.
  • FIG. 4 is a schematic structural diagram of a dual display device for an electronic device according to an embodiment of the present invention.
  • FIG. 5 is a schematic structural diagram of another dual display device for an electronic device according to an embodiment of the present invention.
  • FIG. 6 is a schematic structural diagram of an electronic device according to an embodiment of the present invention.
  • the invention is suitable for products based on single device dual display, Android system framework and mipi&spi display interface.
  • a dual display method for an electronic device is applied to an electronic device, wherein the electronic device includes a physical display screen and a projector.
  • FIG. 1 is a schematic diagram of a first process of a dual display method for an electronic device according to an embodiment of the present invention, including the following steps:
  • S101 Acquire a first operation on the physical display screen to obtain a first operation result, where the first operation carries a physical display identifier corresponding to the first operation;
  • the display screen of the present invention is a mipi&spi display interface
  • the physical display screen is an LCD (Liquid Crystal Display) display screen
  • the other screen is a projection display screen for image projection projected by the projector.
  • Obtaining the first operation on the physical display for example, obtaining an operation of playing the next picture on the LCD display, and obtaining an operation result of playing the next picture, wherein the operation carries the corresponding LCD display
  • the first operation result is obtained, for example, a click of the operation video pause button is performed, and the obtained operation result is to pause the playback of the video.
  • the first operation is an operation identifiable on the physical display screen, and the first operation is named mainly for distinguishing the second operation on the laser light path imaged by the projector image.
  • the first operation result is processed, and the first operation result is displayed in the image imaging projected by the projector, so that the first to-be-displayed information corresponding to the first operation is imaged and displayed.
  • the application layer After the operation on the physical display, the application layer will get an operation result, and the application layer application first accesses the corresponding hardware device according to the received operation result, and the hardware access is implemented in the Framework (application framework) layer. . Then through the HAL (hardware abstraction) layer and the Linux Kernel (core) layer of the driver synchronization, so that the operation results can be displayed on the corresponding screen, and finally, through the synchronization of the core layer and the physical display point in time To achieve synchronization of the final two screen operation displays.
  • the Framework application framework
  • the dual display method of the electronic device provided by the embodiment of the present invention first obtains the first operation result by acquiring the first operation on the physical display screen, wherein the first operation carries the entity display corresponding to the first operation.
  • the screen is marked; the first operation result is processed, and the first operation result is displayed in the image image projected by the projector, so that the first to-be-displayed information corresponding to the first operation is displayed in the image.
  • the operation of the physical display screen of the electronic device can control the image projected by the projector to obtain the operation result, thereby ensuring the synchronization of the operation display of the two display screens, thereby improving the user experience.
  • the first operation result is displayed in the image image projected by the projector, so that the corresponding first to-be-displayed information of the first operation is displayed on the image, including:
  • the application framework layer looks up the interface corresponding to the physical display at the hardware abstraction layer. Since the hardware access is implemented in the Framework layer, the hardware access service is implemented in the Java language, and the HAL layer is written in the C++ language. Therefore, the hardware access service must call the interface of the hardware abstraction layer through the JNT technology.
  • the purpose of developing hardware access services in the Android application framework layer is to enable upper-level Android applications to access the corresponding hardware devices. In addition, all logical devices of the Android system need to be abstractly encapsulated in the hardware abstraction layer, so that the application can not directly operate the hardware, only access the interface provided through the hardware abstraction layer.
  • the first driver corresponding to the image projected by the projector is searched through the first interface.
  • the HAL layer is first synchronized with the sys file of the Kernel layer.
  • the sys file here refers to the executable code of the driver. Since the driver is an important file that bridges the bridge between the system and the hardware, the system uses the sys file. Control hardware for the interface.
  • the hardware driver is distributed on the Kernel layer on the one hand and the HAL layer in the user space on the other hand.
  • the synchronization of the display content is achieved by synchronizing the sys files in the HAL layer and the Kernel layer.
  • the hardware device of the HAL layer corresponds to the driver of the Kernel layer, and the Kernel layer invokes a driver corresponding to the second display screen to drive the display operation of the second display screen.
  • the first to-be-displayed operation of the physical display screen is driven by the first driving to cause the corresponding first to-be-displayed information of the first operation to be imaged for display.
  • the first to-be-displayed operation of the physical display screen is driven by the driver of the Kernel layer, so that the corresponding first to-be-displayed information of the first operation is displayed in the image.
  • the synchronization of the operation of the physical display screen and the image imaging display content is realized.
  • the first to-be-displayed operation of the image imaging is driven by the first driving, so that the corresponding first to-be-displayed information of the first operation is displayed on the image, including:
  • Driving by the first frame buffer driving corresponding to the projection imaging, driving the pixels in the first to-be-displayed information into a first to-be-displayed pixel format that can be displayed in the projection display;
  • the first pixel to be displayed is stored, and the first pixel to be displayed is sent to the projector.
  • writing data to a Framebuffer is controlled by an SPI (Serial Peripheral Interface) bus to control the LCD (liquid crystal display) display.
  • SPI Serial Peripheral Interface
  • the data transmitted by the existing SPI interface is limited, so it is necessary to Kernel buffers (core layer buffer) pixels in the Framebuffer for a conversion, that is, RGB888 is converted to RGB565, here the converted RGB565 is stored in the LCD SPI buffer, and then the RGB565 in the LCD SPI buffer
  • the driver IC sent to the LCD through the SPI bus protocol integrates the random access memory and drives the display of the screen through the LCD.
  • the driver of the projector generates a signal for driving the pixel to be displayed, and returns to the kernel layer, and the kernel layer sends the pixel to be displayed to the projector according to the driving signal, so that the information to be displayed in the operation to be displayed is imaged on the projector image.
  • Display is a driver interface that appears in Linux 2.2.xx and later kernels. This interface abstracts the display device into a frame buffer device area. Framebuffer provides an abstraction for image hardware devices that represents some video hardware devices that allow applications to access image hardware devices through well-defined interfaces.
  • the time point is synchronized in the Kernel layer and the LCD driver (liquid crystal display driver), and the LCD hardware synchronizes to send a signal of the display pixel to the SPI buffer (RCB565) of the kernel layer LCD for a certain time (for example, every 20 ms).
  • the frame buffer performs an RGB888 to RGB565 conversion, and then sends the RGB565 to the driver IC IRAM (Drive Integrated Circuit Integrated Random Access Memory) of the LCD hardware through the SPI bus protocol.
  • IC IRAM Drive Integrated Circuit Integrated Random Access Memory
  • the corresponding first to-be-displayed information of the first operation is displayed on the image, including:
  • the first to be displayed pixel corresponding to the first to-be-displayed information is synthesized, and the first to-be-displayed information in the first to-be-displayed operation is displayed in the projection imaging.
  • the first to-be-displayed pixel corresponding to the first to-be-displayed information in the application framework layer is synthesized by the image processor, and the first to-be-displayed information in the first to-be-displayed operation is displayed in the projection imaging.
  • the GPU needs to synthesize millions of pixels on the screen to form an image.
  • FIG. 2 is a second schematic flowchart of a dual display method for an electronic device according to an embodiment of the present invention, including the following steps:
  • S201 Obtain a second operation on the laser optical path of the image of the projector to obtain a second operation result, where the second operation carries a projector identifier corresponding to the second operation;
  • the second operation refers to an operation that the projector can recognize, for example, a gesture operation on the laser light path imaged by the projector image
  • the gesture The operation carries a corresponding projector identification.
  • the second operation result is obtained, for example, a click of the operation play button is performed, and the obtained operation result is a play video.
  • the second operation here is an operation that can be recognized on the laser light path of the projector image imaging, and the second operation is mainly for distinguishing from the first operation on the physical display screen.
  • the application layer After performing the operation on the image imaging, the application layer obtains an operation result corresponding to the operation, and the application layer application first accesses the corresponding hardware device according to the received operation result, and the hardware access is in the Framework. Layer implemented. Then through the HAL layer and the Linux Kernel layer driver synchronization, so that the operation results can be displayed on the corresponding screen, and finally, through the synchronization of the core layer and the physical display time point to achieve the final two The synchronization of the operation of the screen is displayed.
  • the dual display method of the electronic device provided by the embodiment of the present invention first obtains the second operation result by acquiring the second operation on the laser light path of the image of the projector, wherein the second operation carries the second operation. Corresponding projector identification; then processing the second operation result, and displaying the second operation result into the physical display screen, so that the second to-be-displayed information corresponding to the second operation is displayed on the physical display screen.
  • the image imaging operation realized by the projector of the electronic device can control the physical display to obtain the operation result, thereby ensuring the synchronization of the operation display of the two display screens, thereby improving the user experience.
  • the second operation result is displayed on the physical display screen, so that the second to-be-displayed information corresponding to the second operation is displayed on the physical display screen, including:
  • the application framework layer searches the hardware abstraction layer for the interface corresponding to the image projection projected by the projector.
  • the second driver corresponding to the physical display screen is searched through the second interface.
  • the driver corresponding to the hardware device is searched, and the display content of the dual screen is synchronized.
  • the second to-be-displayed operation of the image imaging is driven by the second driving, so that the second to-be-displayed information corresponding to the second operation is displayed on the physical display screen.
  • the second to-be-displayed operation of the image imaging is driven by the driver of the Kernel layer, so that the corresponding second to-be-displayed information of the second operation is displayed on the physical display screen.
  • the operation of image imaging is synchronized with the display content of the physical display.
  • the second to-be-displayed operation of the image imaging is driven by the second driving, so that the second to-be-displayed information corresponding to the second operation is displayed on the physical display screen, including:
  • All second pixels to be displayed are stored, and the second pixels to be displayed are sent to the physical display screen;
  • Driving by the driving of the physical display screen, driving the second signal of the second pixel to be displayed for transmission, and transmitting the second pixel to be displayed to the physical display screen according to the second signal, so that the second information to be displayed corresponding to the second operation is The physical display is displayed.
  • the time point is synchronized in the Kernel layer and the LCD driver, and the LCD hardware sends a signal of the display pixel to the SPI buffer (RGB565) of the kernel layer LCD in a certain time synchronization, and the frame buffer performs an RGB888 to RGB565 conversion.
  • the RGB565 is then sent to the driver IC IRAM of the LCD hardware via the SPI bus protocol.
  • the second to-be-displayed information corresponding to the second operation is displayed on the physical display screen, including:
  • the second to-be-displayed pixel corresponding to the second to-be-displayed information is synthesized, and the second to-be-displayed information in the second to-be-displayed operation is displayed in the physical display screen.
  • the second to-be-displayed pixel corresponding to the second to-be-displayed information in the application framework layer is synthesized by the image processor, and the second to-be-displayed information in the second to-be-displayed operation is displayed in the physical display screen.
  • the operation is performed on one of the screens, and the synchronous display of the operation result is realized on the other screen, and finally the synchronization of the dual-screen operation display is realized.
  • a shopping operation is performed on the physical display screen, and the physical display has the identification of the shopping operation.
  • the application framework layer of the system finds the hardware device corresponding to the identification in the hardware abstraction layer, because The hardware abstraction layer and the kernel layer driver are synchronized, so only the driver corresponding to the hardware device, that is, the driver corresponding to the projector is used to drive the shopping operation on the physical display, and the shopping operation result is displayed.
  • the synchronization of the time points driven by the kernel layer and the physical display screen enables the data of the dual-screen sending shopping operation to be completed simultaneously, and the data of the dual-screen receiving shopping operation is also completed simultaneously.
  • the dual-screen interactive function is realized, and the synchronization of the dual-screen operation display is guaranteed.
  • FIG. 3 is a schematic diagram of a third process of a dual display method for an electronic device according to an embodiment of the present invention.
  • FIG. 2 mainly includes a HAL Layer (hardware abstraction layer), a Kernel Layer (core layer), and an LCD hardware ( LCD hardware), the specific implementation process includes two aspects:
  • the first aspect is the synchronization of the hardware abstraction layer and the kernel layer.
  • the HAL layer is synchronized with the sys file of the Kernel layer, and the HAL layer encapsulates the Kernel layer hardware driver, and the hardware driver is packaged in the Layer buffer layer buffer of the HAL layer to provide an interface for the Framework layer.
  • the HAL layer searches for the corresponding hardware device according to the access of the Framework layer, and sends the operation data of the hardware device to the Framebuffer in the Kernel buffers of the Kernel layer, and then calls the driver corresponding to the hardware device in the Kernel layer.
  • the driver performs the operation corresponding to the hardware device.
  • the second aspect is the synchronization of the kernel layer and the LCD driver.
  • the pixel RGB888 in the Framebuffer of the Kernel layer is first converted into RGB565, and the converted pixel RGB565 is stored in the SPI buffer of the LCD, so as to be directly called from the buffer when the display is needed. Then, the time point is synchronized in the Kernel layer and the LCD driver.
  • the LCD hardware sends a signal for displaying pixels to the SPI buffer (RCB565) of the kernel layer LCD every 20ms.
  • the Framebuffer performs an RGB888 to RGB565 conversion and then transmits it through the SPI. (SPI Bus Protocol) Sends RGB565 to the driver IC IRAM of the LCD hardware.
  • SPI Bus Protocol Sends RGB565 to the driver IC IRAM of the LCD hardware.
  • the function of dual screen interaction is realized, and the synchronization of the operation display is ensured.
  • An electronic device dual display device is applied to an electronic device, wherein the electronic device includes a physical display screen and a projector.
  • FIG. 4 is a schematic structural diagram of a dual display device for an electronic device according to an embodiment of the present invention, including the following modules:
  • the first obtaining module 401 is configured to obtain a first operation result on the physical display screen, and obtain a first operation result, where the first operation carries a physical display identifier corresponding to the first operation;
  • the first processing module 402 is configured to process the first operation result, and display the first operation result into the image imaging projected by the projector, so that the first to-be-displayed information corresponding to the first operation is imaged and displayed.
  • the first obtaining module may be an application layer module, and the first processing module may include: an application framework layer module (a virtual module formed by a Framework layer), a hardware abstraction layer module (a virtual module composed of a HAL), and a kernel layer module ( A virtual module consisting of a Kernel layer), a physical display module, and a projector module.
  • the first processing module 402 includes:
  • a first acquiring submodule configured to acquire a first interface corresponding to the physical display screen
  • a first search submodule configured to search, by using the first interface, a first driving corresponding to the image projected by the projector
  • the first driving submodule is configured to drive the first to-be-displayed operation of the physical display screen by the first driving, so that the corresponding first to-be-displayed information of the first operation is imaged and displayed.
  • the first obtaining submodule may be an application framework layer submodule (a virtual submodule composed of a Framework layer), and the first lookup submodule may be a hardware abstraction layer submodule (a virtual submodule composed of a HAL), the first driver
  • the submodule can be a kernel layer submodule (a virtual submodule composed of a Kernel layer).
  • the first driver submodule includes:
  • a first pixel conversion unit configured to convert a pixel in the first to-be-displayed information into a first to-be-displayed pixel format that can be displayed in the projection display by using a first frame buffer driving corresponding to the projection imaging;
  • a first sending unit configured to store the first pixel to be displayed, and send the first pixel to be displayed to the projector
  • a second sending unit configured to drive a first signal of the first pixel to be displayed for transmission by driving of the projector, and send the first pixel to be displayed to the projector according to the first signal, so that the corresponding first Once the information is to be displayed, the image is displayed for imaging.
  • the first pixel conversion unit may be a kernel layer unit (a virtual unit composed of a Kernel layer)
  • the first sending unit may be a kernel layer unit (a virtual unit composed of a Kernel layer)
  • the second sending unit may be a projector unit.
  • first processing module 402 further includes:
  • the first synthesizing sub-module is configured to: synthesize the first to-be-displayed pixel corresponding to the first to-be-displayed information, and display the first to-be-displayed information in the first to-be-displayed operation in the projection imaging.
  • the first synthesis sub-module may be an application framework layer sub-module (a virtual sub-module composed of a Framework layer).
  • FIG. 5 is a schematic structural diagram of another dual display device for an electronic device according to an embodiment of the present invention, including the following modules:
  • the second obtaining module 501 is configured to obtain a second operation on the laser optical path of the image of the projector, to obtain a second operation result, where the second operation carries a projector identifier corresponding to the second operation;
  • the second processing module 502 is configured to process the second operation result, and display the second operation result into the physical display screen, so that the second to-be-displayed information corresponding to the second operation is displayed on the physical display screen.
  • the second obtaining module may be an application layer module, and the second processing module may include: an application framework layer module (a virtual module formed by a Framework layer), a hardware abstraction layer module (a virtual module composed of a HAL), and a kernel layer module ( A virtual module consisting of a Kernel layer), a physical display module, and a projector module.
  • the second processing module 502 includes:
  • a second acquiring submodule configured to acquire a second interface corresponding to the image image projected by the projector
  • a second search submodule configured to search, by using the second interface, a second driver corresponding to the physical display screen
  • the second driving sub-module is configured to drive the second to-be-displayed operation of the image imaging by the second driving, so that the second to-be-displayed information corresponding to the second operation is displayed on the physical display screen.
  • the second obtaining submodule may be an application framework layer submodule (a virtual submodule composed of a Framework layer), and the second searching submodule may be a hardware abstraction layer submodule (a virtual submodule composed of a HAL), and a second driver
  • the submodule can be a kernel layer submodule (a virtual submodule composed of a Kernel layer).
  • the second driver submodule includes:
  • a second pixel conversion unit configured to drive the pixels in the second to-be-displayed information to be converted into a second to-be-displayed pixel format that can be displayed in the physical display screen by using a second frame buffer driving corresponding to the physical display screen;
  • a third sending unit configured to store all the second pixels to be displayed, and send the second pixel to be displayed to the physical display screen
  • a fourth sending unit configured to drive a second signal of the second pixel to be displayed for transmission by driving the physical display screen, and send the second pixel to be displayed to the physical display screen according to the second signal, so that the second operation corresponds to The second information to be displayed is displayed on the physical display screen.
  • the second pixel conversion unit may be a kernel layer unit (a virtual unit composed of a Kernel layer)
  • the third sending unit may be a kernel layer unit (a virtual unit composed of a Kernel layer)
  • the fourth sending unit may be a physical display screen. unit.
  • the second processing module 502 includes:
  • the second synthesizing sub-module is configured to display the second to-be-displayed pixel corresponding to the second to-be-displayed information, and display the second to-be-displayed information in the second to-be-displayed operation in the physical display screen.
  • the second synthesis submodule may be an application framework layer submodule (a virtual submodule composed of a Framework layer).
  • the dual display device of the electronic device operates on the first display screen of the electronic device to obtain a first operation result, wherein the operation carries the first display screen for input carrying The to-be-displayed operation of the information to be displayed, and the information to be displayed is to be displayed on the second display screen; then the first operation result is displayed to the second display screen of the electronic device through the display module, so that the to-be-displayed operation is to be displayed Information is displayed on the second display.
  • One of the display screens of the electronic device can control the operation of another display screen, which ensures the synchronization of the operation display of the two display screens, thereby improving the user experience and increasing the application range of the user.
  • An embodiment of the present invention further provides an electronic device, as shown in FIG. 6, including a processor 601, a communication interface 602, a memory 603, and a communication bus 604.
  • the processor 601, the communication interface 602, and the memory 603 are connected to the communication bus 604. Complete communication with each other,
  • the processor 601 is configured to perform the following steps when executing the program stored on the memory 603:
  • the communication bus mentioned in the above electronic device may be a Peripheral Component Interconnect (PCI) bus or an Extended Industry Standard Architecture (EISA) bus.
  • PCI Peripheral Component Interconnect
  • EISA Extended Industry Standard Architecture
  • the communication bus can be divided into an address bus, a data bus, a control bus, and the like. For ease of representation, only one thick line is shown in the figure, but it does not mean that there is only one bus or one type of bus.
  • the communication interface is used for communication between the above electronic device and other devices.
  • the embodiment of the invention further provides a computer readable storage medium, wherein the computer readable storage medium stores a computer program, and when the computer program is executed by the processor, the following steps are implemented:
  • the second operation result is processed, and the second operation result is displayed on the physical display screen, so that the second to-be-displayed information corresponding to the second operation is displayed on the physical display screen.
  • the memory may include a random access memory (RAM), and may also include a non-volatile memory (NVM), such as at least one disk storage.
  • RAM random access memory
  • NVM non-volatile memory
  • the memory may also be at least one storage device located away from the aforementioned processor.
  • the above processor may be a general-purpose processor, including a central processing unit (CPU), a network processor (NP), etc.; or may be a digital signal processing (DSP), dedicated integration.
  • CPU central processing unit
  • NP network processor
  • DSP digital signal processing
  • ASIC Application Specific Integrated Circuit
  • FPGA Field-Programmable Gate Array

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

本发明提供的方法包括：获取所述实体显示屏上的第一操作，得到第一操作结果，其中，所述第一操作携带有所述第一操作对应的实体显示屏标识；处理所述第一操作结果，并将所述第一操作结果显示到所述投影器投影出的影像成像中，以使所述第一操作对应的第一待显示信息，在所述影像成像进行显示。

Description

一种电子设备双显示方法、装置及电子设备
本申请要求了申请日为2017年06月16日，申请号为201710461483.9，发明名称为“一种电子设备双显示方法、装置及电子设备”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及显示技术领域，特别是涉及一种电子设备双显示方法、装置及电子设备。
背景技术
随着电子产品的不断更新换代，单设备双显示的电子产品越来越受到人们的关注，单设备双显示是指在一个电子设备上通过主显示屏和副显示屏同时显示的技术，例如智能腕投手表，主显示屏为LCD(Liquid Crystal Display，液晶显示器)的实体显示屏，副显示屏为Laser(激光)由投影器投影出影像成像的投影显示屏。
现有的单设备双显示时，通过在设备处理器中预先设定相关的操作，及操作对应显示的显示界面。在实体显示屏上进行操作时，将该操作与预先设定的操作进行比较，识别操作所对应的实体显示界面，来完成操作内容的显示；在由投影器投影出影像成像的投影显示屏上进行操作时，处理器通过识别投影器到投影显示屏之间的激光光路中的手势操作，并将该手势操作与预先设定的操作进行比较，识别操作所对应的投影显示界面，来完成操作内容的显示，例如，当用户在投影显示屏上查看图片时，用户在投影器到投影显示屏之间的光路中做一个向右滑动的手势，投影显示屏会进行下一张图片的显示。由此可知，现有的实体显示屏的显示内容与投影显示屏的内容无关。对用户来说，用户在实体显示屏操作，来完成实体显示屏要实现的功能。而用户需要进行投影显示屏的操作时，用户并不能通过一次操作实现控制实体显示屏和投影显示屏显示，给用户带来了极大的不便。
发明内容
本发明实施例的目的在于提供一种电子设备双显示方法、装置及电子设备，以实现电子设备的其中一个显示屏的操作可以控制另一显示屏显示操作结果，保证两个显示屏的操作显示的同步，从而提升用户的使用体验。具体技术方案如下：
本发明实施例公开了一种电子设备双显示方法，应用于电子设备，其中，所述电子设 备包括实体显示屏和投影器，所述方法包括：
获取所述实体显示屏上的第一操作，得到第一操作结果，其中，所述第一操作携带有所述第一操作对应的实体显示屏标识；
处理所述第一操作结果，并将所述第一操作结果显示到所述投影器投影出的影像成像中，以使所述第一操作对应的第一待显示信息，在所述影像成像进行显示。
可选的，所述将所述第一操作结果显示到所述投影器投影出的影像成像中，以使所述第一操作的对应的第一待显示信息，在所述影像成像进行显示，包括：
获取实体显示屏对应的第一接口；
通过所述第一接口查找投影器投影出的影像成像对应的第一驱动；
通过所述第一驱动，驱动所述实体显示屏的第一待显示操作，以使所述第一操作的对应的第一待显示信息，在所述影像成像进行显示。
可选的，所述通过所述第一驱动，驱动所述影像成像的第一待显示操作，以使所述第一操作的对应的第一待显示信息，在所述影像成像进行显示，包括：
通过与所述投影成像对应的第一帧缓冲驱动，驱动将所述第一待显示信息中的像素转换为所述投影显示中能够显示的第一待显示像素格式；
存储所述第一待显示像素，并将所述第一待显示像素发送给所述投影器；
通过所述投影器的驱动，驱动所述第一待显示像素的第一信号进行发送，并根据所述第一信号向所述投影器发送第一待显示像素，以使所述第一操作的对应的第一待显示信息，在所述影像成像进行显示。
可选的，以使所述第一操作的对应的第一待显示信息，在所述影像成像进行显示，包括：
以使合成与所述第一待显示信息对应的第一待显示像素，并将所述第一待显示操作中的第一待显示信息，在所述投影成像中进行显示。
本发明实施例公开了另一种电子设备双显示方法，应用于电子设备，其中，所述电子设备包括实体显示屏和投影器，所述方法包括：
获取所述投影器影像成像的激光光路上的第二操作，得到第二操作结果，其中，所述第二操作携带有所述第二操作对应的所述投影器标识；
处理所述第二操作结果，并将所述第二操作结果显示到所述实体显示屏中，以使所述第二操作对应的第二待显示信息，在所述实体显示屏进行显示。
可选的，所述将所述第二操作结果显示到所述实体显示屏中，以使所述第二操作对应 的第二待显示信息，在所述实体显示屏进行显示，包括：
获取投影器投影出的影像成像对应的第二接口；
通过所述第二接口查找所述实体显示屏对应的第二驱动；
通过所述第二驱动，驱动所述影像成像的第二待显示操作，以使所述第二操作对应的第二待显示信息，在所述实体显示屏进行显示。
可选的，所述通过所述第二驱动，驱动所述影像成像的第二待显示操作，以使所述第二操作对应的第二待显示信息，在所述实体显示屏进行显示，包括：
通过与所述实体显示屏对应的第二帧缓冲驱动，驱动所述第二待显示信息中的像素转换为所述实体显示屏中能够显示的第二待显示像素格式；
存储所述所有第二待显示像素，并将所述第二待显示像素发送给所述实体显示屏；
通过所述实体显示屏的驱动，驱动所述第二待显示像素的第二信号进行发送，并根据所述第二信号向所述实体显示屏发送第二待显示像素，以使所述第二操作对应的第二待显示信息，在所述实体显示屏进行显示。
可选的，以使所述第二操作对应的第二待显示信息，在所述实体显示屏进行显示，包括：
以使合成与所述第二待显示信息对应的第二待显示像素，并将所述第二待显示操作中的第二待显示信息，在所述实体显示屏中进行显示。
本发明实施例还公开了一种电子设备双显示装置，应用于电子设备，其中，所述电子设备包括实体显示屏和投影器，所述装置包括：
第一获取模块，用于获取所述实体显示屏上的第一操作，得到第一操作结果，其中，所述第一操作携带有所述第一操作对应的实体显示屏标识；
第一处理模块，用于处理所述第一操作结果，并将所述第一操作结果显示到所述投影器投影出的影像成像中，以使所述第一操作对应的第一待显示信息，在所述影像成像进行显示；
或者，第二获取模块，用于获取所述投影器影像成像的激光光路上的第二操作，得到第二操作结果，其中，所述第二操作携带有所述第二操作对应的所述投影器标识
第二处理模块，用于处理所述第二操作结果，并将所述第二操作结果显示到所述实体显示屏中，以使所述第二操作对应的第二待显示信息，在所述实体显示屏进行显示。
本发明实施例还公开了一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；
存储器，用于存放计算机程序；
处理器，用于执行存储器上所存放的程序时，实现上述的电子设备双显示方法步骤。
本发明实施例提供的一种电子设备双显示方法、装置及电子设备，先通过获取所述实体显示屏上的第一操作，得到第一操作结果，其中，所述第一操作携带有所述第一操作对应的实体显示屏标识；再通过处理所述第一操作结果，并将所述第一操作结果显示到所述投影器投影出的影像成像中，以使所述第一操作对应的第一待显示信息，在所述影像成像进行显示。实现了电子设备的其中一个显示屏的操作可以控制另一显示屏显示操作结果，保证了两个显示屏的操作显示的同步，从而提升了用户的使用体验。当然，实施本发明的任一产品或方法必不一定需要同时达到以上所述的所有优点。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例提供的一种电子设备双显示方法的第一种流程示意图；
图2为本发明实施例提供的一种电子设备双显示方法的第二种流程示意图；
图3为本发明实施例提供的一种电子设备双显示方法的第三种流程示意图；
图4为本发明实施例提供的一种电子设备双显示装置的一种结构示意图；
图5为本发明实施例提供的一种电子设备双显示装置的另一种结构示意图；
图6为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明适合基于单设备双显示、Android系统框架、mipi&spi显示接口同时使用的产品。
本发明实施例提供的一种电子设备双显示方法，应用于电子设备，其中，所述电子设 备包括实体显示屏和投影器。
参见图1，图1为本发明实施例提供的一种电子设备双显示方法的第一种流程示意图，包括如下步骤：
S101，获取实体显示屏上的第一操作，得到第一操作结果，其中，第一操作携带有第一操作对应的实体显示屏标识；
具体的，本发明的显示屏为mipi&spi显示接口，例如实体显示屏为LCD(Liquid Crystal Display，液晶显示器)显示屏，另一个屏为投影器投影出的影像成像的投影显示屏。获取实体显示屏上的第一操作，例如，获取LCD显示屏上的一个播放下一张图片的操作，得到播放下一张图片的一个操作结果，其中，该操作携带有过LCD显示屏对应的与该操作对应的LCD显示屏标识。根据第一操作，得到第一操作结果，例如，进行一个操作视频暂停按钮的点击，得到的操作结果是暂停视频的播放。这里，第一操作是实体显示屏上所能识别的操作，命名为第一操作主要是为了和投影器影像成像的激光光路上的第二操作进行区分。
S102，处理第一操作结果，并将第一操作结果显示到投影器投影出的影像成像中，以使第一操作对应的第一待显示信息，在影像成像进行显示。
当在实体显示屏上进行操作之后，应用层会得到一个操作结果，应用层的应用程序会根据接收到的操作结果先访问对应的硬件设备，硬件的访问是在Framework(应用框架)层实现的。然后通过HAL(硬件抽象)层与Linux Kernel(核心)层的驱动程序的同步，以使该操作结果可以显示到相对应的屏幕上，最后，再通过核心层和实体显示屏的时间点的同步，以实现最终的两个屏的操作显示的同步。
由此可见，本发明实施例提供的一种电子设备双显示方法，先通过获取实体显示屏上的第一操作，得到第一操作结果，其中，第一操作携带有第一操作对应的实体显示屏标识；再通过处理第一操作结果，并将第一操作结果显示到投影器投影出的影像成像中，以使第一操作对应的第一待显示信息，在影像成像进行显示。实现了电子设备的实体显示屏的操作可以控制投影器投影出的影像成像得到操作结果，保证了两个显示屏的操作显示的同步，从而提升了用户的使用体验。
在本发明实施例中，将第一操作结果显示到投影器投影出的影像成像中，以使第一操作的对应的第一待显示信息，在影像成像进行显示，包括：
获取实体显示屏对应的第一接口。
应用框架层在硬件抽象层查找实体显示屏对应的接口。由于硬件的访问是在 Framework层实现的，硬件访问服务是用Java语言实现的，HAL层是用C++语言编写的，因此硬件访问服务必须通过JNT技术调用硬件抽象层的接口。在Android应用程序框架层开发硬件访问服务的目的是为了让上层的Android应用程序能够访问对应的硬件设备。另外，Android系统的一个逻辑层级所有的硬件设备都需要在硬件抽象层进行抽象封装，这样应用程序不能直接操作硬件，只能访问通过硬件抽象层提供的接口。因为并不是所有的硬件设备都有标准的Linux Kernel层的接口；另外，如果将硬件设备支持的所有代码都放在Linux Kernel层，那就意味着发布时要公开驱动程序的源代码，公开的源代码就意味着把硬件的相关参数和实现都公开了，而某些设备制造商并不希望公开硬件驱动；还有就是针对某些硬件，Android有一些特殊的需求，基于以上理由，所以采用HAL开发的方式，不仅避免了应用程序直接访问Linux Kernel层，也保护了硬件的隐私。
通过第一接口查找投影器投影出的影像成像对应的第一驱动。
具体的，先将HAL层与Kernel层的sys文件同步，这里的sys文件指的是驱动程序的可执行代码，由于驱动程序是架起系统与硬件之间桥梁的重要文件，所以系统以sys文件为接口控制硬件。这样，HAL层与Kernel层的sys文件同步后，硬件驱动程序一方面分布在Kernel层中，另一方面分布在用户空间的HAL层中。通过在HAL层与Kernel层中的sys文件同步，实现了显示内容的同步。这样，HAL层的硬件设备与Kernel层的驱动程序对应，Kernel层就会调用与第二显示屏对应的驱动程序，来驱动第二显示屏的待显示操作。
通过第一驱动，驱动实体显示屏的第一待显示操作，以使第一操作的对应的第一待显示信息，在影像成像进行显示。
具体的，通过Kernel层的驱动，驱动实体显示屏的第一待显示操作，以使第一操作的对应的第一待显示信息，在影像成像进行显示。实现了实体显示屏的操作与的影像成像显示内容的同步。
在本发明实施例中，通过第一驱动，驱动影像成像的第一待显示操作，以使第一操作的对应的第一待显示信息，在影像成像进行显示，包括：
通过与投影成像对应的第一帧缓冲驱动，驱动将第一待显示信息中的像素转换为投影显示中能够显示的第一待显示像素格式；
存储第一待显示像素，并将第一待显示像素发送给投影器。
通常，往Framebuffer(帧缓冲)中写入数据通过SPI(Serial Peripheral Interface，串行外设接口)总线方式控制LCD(液晶显示屏)显示，但是现有的SPI接口传输的数据有 限，所以要对Kernel buffers(核心层缓冲器)的Framebuffer中的像素进行一个转换，即将RGB888转换为RGB565，这里先将转换后的RGB565存放在LCD的SPI缓冲器中，然后再将LCD的SPI缓冲器中的RGB565通过SPI总线协议发送给LCD的驱动IC集成随机存储器，通过LCD驱动屏幕的显示。投影器的驱动程序产生驱动发送待显示像素的信号，返回给内核层，由内核层根据驱动信号向投影器发送待显示像素，以使待显示操作中的待显示信息，在投影器影像成像上进行显示。这里，帧缓冲是出现在Linux 2.2.xx及以后版本内核当中的一种驱动程序接口，这种接口将显示设备抽象为帧缓冲设备区。帧缓冲为图像硬件设备提供了一种抽象化处理，它代表了一些视频硬件设备，允许应用软件通过定义明确的界面来访问图像硬件设备。
通过投影器的驱动，驱动第一待显示像素的第一信号进行发送，并根据第一信号向投影器发送第一待显示像素，以使第一操作的对应的第一待显示信息，在影像成像进行显示。
具体的，在Kernel层和LCD driver(液晶显示屏驱动)中将时间点同步，LCD硬件以一定的时间(例如每20ms)同步给kernel层LCD的SPI缓冲器(RCB565)发送一个显示像素的信号，帧缓冲会进行一个RGB888到RGB565转换，然后通过SPI总线协议将RGB565发送给LCD硬件的driver IC IRAM(驱动集成电路集成随机存储器)。通过在Kernel层和LCD driver中将时间点同步，保证了双屏显示的时间计时点是同步的，使得主显示屏和副显示屏的SPI具有相同时间点，两者发送数据是同时完成的，两者的接收数据也是同时完成的。
在本发明实施例中，以使第一操作的对应的第一待显示信息，在影像成像进行显示，包括：
以使合成与第一待显示信息对应的第一待显示像素，并将第一待显示操作中的第一待显示信息，在投影成像中进行显示。
具体的，通过图像处理器合成应用框架层中与第一待显示信息对应的第一待显示像素，并将第一待显示操作中的第一待显示信息，在投影成像中进行显示。GPU作为图形处理器，需要在屏幕上合成数百万个像素以形成图像。
参见图2，图2为本发明实施例提供的一种电子设备双显示方法的第二种流程示意图，包括如下步骤：
S201，获取投影器影像成像的激光光路上的第二操作，得到第二操作结果，其中，第二操作携带有第二操作对应的投影器标识；
具体的，获取投影器影像成像的激光光路上的第二操作，这里，第二操作是指投影器 所能识别的操作，例如，在投影器影像成像的激光光路上的一个手势操作，该手势操作携带有对应的投影器标识。根据第二操作，得到第二操作结果，例如，进行一个操作播放按钮的点击，得到的操作结果是播放视频。这里第二操作是投影器影像成像的激光光路上所能识别的操作，命名为第二操作主要是为了和实体显示屏上的第一操作进行区分。
S202，处理第二操作结果，并将第二操作结果显示到实体显示屏中，以使第二操作对应的第二待显示信息，在实体显示屏进行显示。
具体的，当在影像成像上进行操作之后，应用层会得到该操作所对应的一个操作结果，应用层的应用程序会根据接收到的操作结果先访问对应的硬件设备，硬件的访问是在Framework层实现的。然后通过HAL层与Linux Kernel层的驱动程序的同步，以使该操作结果可以显示到相对应的屏幕上，最后，再通过核心层和实体显示屏的时间点的同步，以实现最终的两个屏的操作显示的同步。
由此可见，本发明实施例提供的一种电子设备双显示方法，先通过获取投影器影像成像的激光光路上的第二操作，得到第二操作结果，其中，第二操作携带有第二操作对应的投影器标识；再通过处理第二操作结果，并将第二操作结果显示到实体显示屏中，以使第二操作对应的第二待显示信息，在实体显示屏进行显示。实现了电子设备的投影器投影出的影像成像的操作可以控制实体显示屏得到操作结果，保证了两个显示屏的操作显示的同步，从而提升了用户的使用体验
在本发明实施例中，将第二操作结果显示到实体显示屏中，以使第二操作对应的第二待显示信息，在实体显示屏进行显示，包括：
获取投影器投影出的影像成像对应的第二接口。
应用框架层在硬件抽象层查找投影器投影出的影像成像对应的接口。
通过第二接口查找实体显示屏对应的第二驱动。
这里，通过硬件抽象层与内核层的驱动程序的同步，查找硬件设备所对应的驱动程序，实现了双屏的显示内容的同步。
通过第二驱动，驱动影像成像的第二待显示操作，以使第二操作对应的第二待显示信息，在实体显示屏进行显示。
具体的，通过Kernel层的驱动，驱动影像成像的第二待显示操作，以使第二操作的对应的第二待显示信息，在实体显示屏进行显示。实现了影像成像的操作与实体显示屏的显示内容的同步。
在本发明实施例中，通过第二驱动，驱动影像成像的第二待显示操作，以使第二操作 对应的第二待显示信息，在实体显示屏进行显示，包括：
通过与实体显示屏对应的第二帧缓冲驱动，驱动第二待显示信息中的像素转换为实体显示屏中能够显示的第二待显示像素格式；
存储所有第二待显示像素，并将第二待显示像素发送给实体显示屏；
通过实体显示屏的驱动，驱动第二待显示像素的第二信号进行发送，并根据第二信号向实体显示屏发送第二待显示像素，以使第二操作对应的第二待显示信息，在实体显示屏进行显示。
具体的，在Kernel层和LCD driver中将时间点同步，LCD硬件以一定的时间同步给kernel层LCD的SPI缓冲器(RGB565)发送一个显示像素的信号，帧缓冲会进行一个RGB888到RGB565转换，然后通过SPI总线协议将RGB565发送给LCD硬件的driver IC IRAM。通过在Kernel层和LCD driver中将时间点同步，保证了双屏显示的时间计时点是同步的，使得主显示屏和副显示屏的SPI具有相同时间点，两者发送数据是同时完成的，两者的接收数据也是同时完成的。
在本发明实施例中，以使第二操作对应的第二待显示信息，在实体显示屏进行显示，包括：
以使合成与第二待显示信息对应的第二待显示像素，并将第二待显示操作中的第二待显示信息，在实体显示屏中进行显示。
具体的，通过图像处理器合成应用框架层中与第二待显示信息对应的第二待显示像素，并将第二待显示操作中的第二待显示信息，在实体显示屏中进行显示。
通过本发明实施提供的一种电子设备双显示方法，在具体应用过程中，在其中一个屏上进行操作，在另外一个屏上实现了操作结果的同步显示，最终实现双屏操作显示的同步。例如，在实体显示屏上进行一个购物操作，实体显示屏上有该购物操作的标识，我们只需点击该标识，系统的应用框架层就会在硬件抽象层找到该标识对应的硬件设备，由于硬件抽象层和内核层的驱动程序的同步，所以只需根据硬件设备所对应的驱动程序，即通过投影器所对应的驱动程序来驱动实体显示屏上的购物操作，该购物操作结果就会显示到投影器投影出的影像成像中，另外，通过内核层和实体显示屏驱动的时间点的同步，使得双屏发送购物操作的数据是同时完成的，双屏的接收购物操作的数据也是同时完成的，实现了双屏的互动功能，并保证可双屏操作显示的同步。
参见图3，图3为本发明实施例提供的一种电子设备双显示方法的第三种流程示意图，图2中主要包括HAL Layer(硬件抽象层)、Kernel Layer(内核层)和LCD hardware(液 晶显示屏硬件)，具体实现过程包括两个方面：
第一方面，硬件抽象层和内核层的同步。
具体的，将HAL层与Kernel层的sys文件同步，HAL层对Kernel层硬件驱动程序的封装，将封装了硬件驱动程序存放在HAL层的Layerbuffer层缓冲器中，为Framework层提供接口。HAL层根据Framework层的访问查找对应的硬件设备，并将硬件设备的操作数据发给Kernel层的Kernel buffers(核心缓冲器)中的Framebuffer，然后调用硬件设备在Kernel层所对应的驱动程序，通过驱动程序执行该硬件设备所对应操作。通过在HAL层与Kernel层中的sys文件同步，显示内容会同步显示在对应的显示设备上，实现了显示内容的同步。
第二方面，内核层和LCD驱动的同步。
具体的，先将Kernel层的Framebuffer中的像素RGB888转换为RGB565，并将转换后的像素RGB565存放在LCD的SPI缓冲器中，以方便需要显示的时候直接从缓冲器中调用。然后，在Kernel层和LCD driver中将时间点同步，LCD硬件每20ms同步给kernel层LCD的SPI缓冲器(RCB565)发送一个显示像素的信号，Framebuffer会进行一个RGB888到RGB565转换，然后通过SPI transmit(SPI总线协议)将RGB565发送给LCD硬件的driver IC IRAM。其中，SPI总线在一次数据传输过程中，接口上只能有一个主机和一个从机能够通信，并且，主机总是想从机发送一个字节数据，而从机也总是向主机发送一个字节数据。通过在Kernel层和LCD driver中将时间点同步，保证了双屏显示的时间计时点是同步的，使得主显示屏和副显示屏的SPI具有相同时间点，两者发送数据是同时完成的，两者的接收数据也是同时完成的。
根据以上两个方面中的层层同步的方式，实现了双屏互动的功能，同时保证了操作显示的同步。
本发明实施例提供的一种电子设备双显示装置，应用于电子设备，其中，电子设备包括实体显示屏和投影器。
参见图4，图4为本发明实施例提供的一种电子设备双显示装置的结构示意图，包括如下模块：
第一获取模块401，用于获取实体显示屏上的第一操作，得到第一操作结果，其中，第一操作携带有第一操作对应的实体显示屏标识；
第一处理模块402，用于处理第一操作结果，并将第一操作结果显示到投影器投影出的影像成像中，以使第一操作对应的第一待显示信息，在影像成像进行显示。其中，第一 获取模块可以是应用层模块，第一处理模块可以包括：应用框架层模块(由Framework层构成的虚拟模块)、硬件抽象层模块(由HAL构成的虚拟模块)、内核层模块(由Kernel层构成的虚拟模块)、实体显示屏模块、投影器模块。
进一步的，第一处理模块402，包括：
第一获取子模块，用于获取实体显示屏对应的第一接口；
第一查找子模块，用于通过第一接口查找投影器投影出的影像成像对应的第一驱动；
第一驱动子模块，用于通过第一驱动，驱动实体显示屏的第一待显示操作，以使第一操作的对应的第一待显示信息，在影像成像进行显示。其中，第一获取子模块可以是应用框架层子模块(由Framework层构成的虚拟子模块)，第一查找子模块可以是硬件抽象层子模块(由HAL构成的虚拟子模块)，第一驱动子模块可以是内核层子模块(由Kernel层构成的虚拟子模块)。
进一步的，第一驱动子模块，包括：
第一像素转换单元，用于通过与投影成像对应的第一帧缓冲驱动，驱动将第一待显示信息中的像素转换为投影显示中能够显示的第一待显示像素格式；
第一发送单元，用于存储第一待显示像素，并将第一待显示像素发送给投影器；
第二发送单元，用于通过投影器的驱动，驱动第一待显示像素的第一信号进行发送，并根据第一信号向投影器发送第一待显示像素，以使第一操作的对应的第一待显示信息，在影像成像进行显示。
其中，第一像素转换单元可以是内核层单元(由Kernel层构成的虚拟单元)，第一发送单元可以是内核层单元(由Kernel层构成的虚拟单元)，第二发送单元可以是投影器单元。
进一步的，第一处理模块402，还包括：
第一合成子模块，用于以使合成与第一待显示信息对应的第一待显示像素，并将第一待显示操作中的第一待显示信息，在投影成像中进行显示。其中，第一合成子模块，可以是应用框架层子模块(由Framework层构成的虚拟子模块)。
参见图5，图5为本发明实施例提供的另一种电子设备双显示装置的结构示意图，包括如下模块：
第二获取模块501，用于获取投影器影像成像的激光光路上的第二操作，得到第二操作结果，其中，第二操作携带有第二操作对应的投影器标识；
第二处理模块502，用于处理第二操作结果，并将第二操作结果显示到实体显示屏中， 以使第二操作对应的第二待显示信息，在实体显示屏进行显示。其中，第二获取模块可以是应用层模块，第二处理模块可以包括：应用框架层模块(由Framework层构成的虚拟模块)、硬件抽象层模块(由HAL构成的虚拟模块)、内核层模块(由Kernel层构成的虚拟模块)、实体显示屏模块、投影器模块。
进一步的，第二处理模块502，包括：
第二获取子模块，用于获取投影器投影出的影像成像对应的第二接口；
第二查找子模块，用于通过第二接口查找实体显示屏对应的第二驱动；
第二驱动子模块，用于通过第二驱动，驱动影像成像的第二待显示操作，以使第二操作对应的第二待显示信息，在实体显示屏进行显示。
其中，第二获取子模块可以是应用框架层子模块(由Framework层构成的虚拟子模块)，第二查找子模块可以是硬件抽象层子模块(由HAL构成的虚拟子模块)，第二驱动子模块可以是内核层子模块(由Kernel层构成的虚拟子模块)。
进一步的，第二驱动子模块，包括：
第二像素转换单元，用于通过与实体显示屏对应的第二帧缓冲驱动，驱动第二待显示信息中的像素转换为实体显示屏中能够显示的第二待显示像素格式；
第三发送单元，用于存储所有第二待显示像素，并将第二待显示像素发送给实体显示屏；
第四发送单元，用于通过实体显示屏的驱动，驱动第二待显示像素的第二信号进行发送，并根据第二信号向实体显示屏发送第二待显示像素，以使第二操作对应的第二待显示信息，在实体显示屏进行显示。
其中，第二像素转换单元可以是内核层单元(由Kernel层构成的虚拟单元)，第三发送单元可以是内核层单元(由Kernel层构成的虚拟单元)，第四发送单元可以是实体显示屏单元。
进一步的，第二处理模块502，包括：
第二合成子模块，用于以使合成与第二待显示信息对应的第二待显示像素，并将第二待显示操作中的第二待显示信息，在实体显示屏中进行显示。其中，第二合成子模块，可以是应用框架层子模块(由Framework层构成的虚拟子模块)。
由此可见，本发明实施例提供的一种电子设备双显示装置，通过操作模块在电子设备的第一显示屏上进行操作，得到第一操作结果，其中，操作携带第一显示屏进行输入携带的待显示信息的待显示操作，且在第二显示屏待显示待显示信息；然后通过显示模块将第 一操作结果显示到电子设备的第二显示屏中，以使待显示操作中的待显示信息，在第二显示屏上进行显示。实现了电子设备的其中一个显示屏可以控制操作另一显示屏，保证了两个显示屏的操作显示的同步，从而提升了用户的使用体验，增加了用户的适用范围。
本发明实施例还提供了一种电子设备，如图6所示，包括处理器601、通信接口602、存储器603和通信总线604，其中，处理器601，通信接口602，存储器603通过通信总线604完成相互间的通信，
存储器603，用于存放计算机程序；
处理器601，用于执行存储器603上所存放的程序时，实现如下步骤：
获取实体显示屏上的第一操作，得到第一操作结果，其中，第一操作携带有第一操作对应的实体显示屏标识；
处理第一操作结果，并将第一操作结果显示到投影器投影出的影像成像中，以使第一操作对应的第一待显示信息，在影像成像进行显示；
或者，获取投影器影像成像的激光光路上的第二操作，得到第二操作结果，其中，第二操作携带有第二操作对应的投影器标识；
处理第二操作结果，并将第二操作结果显示到实体显示屏中，以使第二操作对应的第二待显示信息，在实体显示屏进行显示。
上述电子设备提到的通信总线可以是外设部件互连标准(Peripheral Component Interconnect，PCI)总线或扩展工业标准结构(Extended Industry Standard Architecture，EISA)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
通信接口用于上述电子设备与其他设备之间的通信。
本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质内存储有计算机程序，计算机程序被处理器执行时实现如下步骤：
获取实体显示屏上的第一操作，得到第一操作结果，其中，第一操作携带有第一操作对应的实体显示屏标识；
处理第一操作结果，并将第一操作结果显示到投影器投影出的影像成像中，以使第一操作对应的第一待显示信息，在影像成像进行显示；
或者，获取投影器影像成像的激光光路上的第二操作，得到第二操作结果，其中，第二操作携带有第二操作对应的投影器标识；
处理第二操作结果，并将第二操作结果显示到实体显示屏中，以使第二操作对应的第 二待显示信息，在实体显示屏进行显示。
存储器可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。
上述的处理器可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于装置、电子设备、计算机可读存储介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (8)

  1. 一种电子设备双显示方法，其特征在于，应用于电子设备，其中，所述电子设备包括实体显示屏和投影器，所述方法包括：
    获取所述实体显示屏上的第一操作，得到第一操作结果，其中，所述第一操作携带有所述第一操作对应的实体显示屏标识；
    处理所述第一操作结果，并将所述第一操作结果显示到所述投影器投影出的影像成像中，以使所述第一操作对应的第一待显示信息，在所述影像成像进行显示。
  2. 根据权利要求1所述的方法，其特征在于，所述将所述第一操作结果显示到所述投影器投影出的影像成像中，以使所述第一操作的对应的第一待显示信息，在所述影像成像进行显示，包括：
    获取实体显示屏对应的第一接口；
    通过所述第一接口查找投影器投影出的影像成像对应的第一驱动；
    通过所述第一驱动，驱动所述实体显示屏的第一待显示操作，以使所述第一操作的对应的第一待显示信息，在所述影像成像进行显示。
  3. 根据权利要求2所述的方法，其特征在于，所述通过所述第一驱动，驱动所述实体显示屏的第一待显示操作，以使所述第一操作的对应的第一待显示信息，在所述影像成像进行显示，包括：
    通过与所述投影成像对应的第一帧缓冲驱动，驱动将所述第一待显示信息中的像素转换为所述投影显示中能够显示的第一待显示像素格式；
    存储所述第一待显示像素，并将所述第一待显示像素发送给所述投影器；
    通过所述投影器的驱动，驱动所述第一待显示像素的第一信号进行发送，并根据所述第一信号向所述投影器发送第一待显示像素，以使所述第一操作的对应的第一待显示信息，在所述影像成像进行显示。
  4. 根据权利要求1所述的方法，其特征在于，以使所述第一操作的对应的第一待显示信息，在所述影像成像进行显示，包括：
    以使合成与所述第一待显示信息对应的第一待显示像素，并将所述第一待显示操作中的第一待显示信息，在所述投影成像中进行显示。
  5. 一种电子设备双显示方法，其特征在于，应用于电子设备，其中，所述电子设备包括实体显示屏和投影器，所述方法包括：
    获取所述投影器影像成像的激光光路上的第二操作，得到第二操作结果，其中，所述第二操作携带有所述第二操作对应的所述投影器标识；
    处理所述第二操作结果，并将所述第二操作结果显示到所述实体显示屏中，以使所述第二操作对应的第二待显示信息，在所述实体显示屏进行显示。
  6. 根据权利要求5所述的方法，其特征在于，所述将所述第二操作结果显示到所述实体显示屏中，以使所述第二操作对应的第二待显示信息，在所述实体显示屏进行显示，包括：
    获取投影器投影出的影像成像对应的第二接口；
    通过所述第二接口查找所述实体显示屏对应的第二驱动；
    通过所述第二驱动，驱动所述影像成像的第二待显示操作，以使所述第二操作对应的第二待显示信息，在所述实体显示屏进行显示。
  7. 根据权利要求6所述的方法，其特征在于，所述通过所述第二驱动，驱动所述影像成像的第二待显示操作，以使所述第二操作对应的第二待显示信息，在所述实体显示屏进行显示，包括：
    通过与所述实体显示屏对应的第二帧缓冲驱动，驱动所述第二待显示信息中的像素转换为所述实体显示屏中能够显示的第二待显示像素格式；
    存储所述所有第二待显示像素，并将所述第二待显示像素发送给所述实体显示屏；
    通过所述实体显示屏的驱动，驱动所述第二待显示像素的第二信号进行发送，并根据所述第二信号向所述实体显示屏发送第二待显示像素，以使所述第二操作对应的第二待显示信息，在所述实体显示屏进行显示。
  8. 根据权利要求5所述的方法，其特征在于，以使所述第二操作对应的第二待显示信息，在所述实体显示屏进行显示，包括：
    以使合成与所述第二待显示信息对应的第二待显示像素，并将所述第二待显示操作中的第二待显示信息，在所述实体显示屏中进行显示。
PCT/CN2018/091331 2017-06-16 2018-06-14 一种电子设备双显示方法、装置及电子设备 Ceased WO2018228489A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201710461483.9A CN107340983B (zh) 2017-06-16 2017-06-16 一种电子设备双显示方法、装置及电子设备
CN201710461483.9 2017-06-16

Publications (1)

Publication Number Publication Date
WO2018228489A1 true WO2018228489A1 (zh) 2018-12-20

Family

ID=60221134

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/091331 Ceased WO2018228489A1 (zh) 2017-06-16 2018-06-14 一种电子设备双显示方法、装置及电子设备

Country Status (2)

Country Link
CN (1) CN107340983B (zh)
WO (1) WO2018228489A1 (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107340983B (zh) * 2017-06-16 2021-01-22 北京一数科技有限公司 一种电子设备双显示方法、装置及电子设备
CN113741850B (zh) * 2021-11-03 2022-01-25 展讯通信（上海）有限公司 多屏显示控制方法及装置、计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1892585A (zh) * 2005-07-08 2007-01-10 联想(北京)有限公司 屏幕同步切换控制方法
CN104778022A (zh) * 2014-01-09 2015-07-15 联想(北京)有限公司 一种数据处理方法及电子设备
CN105334956A (zh) * 2014-08-15 2016-02-17 联想(北京)有限公司 一种信息处理方法及电子设备
CN107340983A (zh) * 2017-06-16 2017-11-10 北京数科技有限公司 一种电子设备双显示方法、装置及电子设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105743949A (zh) * 2014-12-11 2016-07-06 厦门雅迅网络股份有限公司 一种两个设备间的双屏同步的方法
CN105227882B (zh) * 2015-09-25 2019-01-15 联想(北京)有限公司 一种显示方法及对应装置
CN106201252A (zh) * 2016-06-30 2016-12-07 努比亚技术有限公司 一种移动终端的地图显示装置和方法
CN106125845A (zh) * 2016-06-30 2016-11-16 珠海格力电器股份有限公司 一种移动终端

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1892585A (zh) * 2005-07-08 2007-01-10 联想(北京)有限公司 屏幕同步切换控制方法
CN104778022A (zh) * 2014-01-09 2015-07-15 联想(北京)有限公司 一种数据处理方法及电子设备
CN105334956A (zh) * 2014-08-15 2016-02-17 联想(北京)有限公司 一种信息处理方法及电子设备
CN107340983A (zh) * 2017-06-16 2017-11-10 北京数科技有限公司 一种电子设备双显示方法、装置及电子设备

Also Published As

Publication number Publication date
CN107340983B (zh) 2021-01-22
CN107340983A (zh) 2017-11-10

Similar Documents

Publication Publication Date Title
US12061833B2 (en) Multi-window display method, electronic device, and system
US8362971B1 (en) Independent views generated for multiple display devices by a software application
TWI480851B (zh) 鏡射圖形內容至一外部顯示器
TWI672685B (zh) 顯示驅動器以及顯示系統
WO2024041047A1 (zh) 一种屏幕刷新率切换方法及电子设备
US20060079214A1 (en) Method and apparatus for showing wireless mobile device data content on an external viewer
WO2016091082A1 (zh) 多屏拼接显示处理方法和设备
CN112367557B (zh) Led电视墙的显示方法、电视和计算机可读存储介质
CN108848333A (zh) 信号转换模块和移动终端
US20220391084A1 (en) Information display method, reader, computer storage medium, ink screen reading device and screen projection display system
CN108595134A (zh) 智能交互平板及矢量图处理方法、装置和设备
WO2023125677A1 (zh) 独显插帧电路、方法、装置、芯片、电子设备及介质
TW202008066A (zh) 電腦螢幕局部投影方法與系統
WO2018228489A1 (zh) 一种电子设备双显示方法、装置及电子设备
TWI617197B (zh) 多媒體設備以及多媒體系統
US20130152108A1 (en) Method and apparatus for video processing
US7762670B2 (en) Projector and image generating method thereof
US10719286B2 (en) Mechanism to present in an atomic manner a single buffer that covers multiple displays
CN116719587B (zh) 屏幕显示方法、电子设备及计算机可读存储介质
CN118233685A (zh) 一种显示设备及应用的显示方法
CN111949150B (zh) 控制外设切换方法、装置、存储介质及电子设备
CN117788266A (zh) 数据传输方法、装置及电子设备
CN114268826A (zh) 应用显示方法和装置
JP2005122119A (ja) Ｍｐｕとビデオコーデックとで構成されるシステムにおけるビデオインタフェース装置
US12120433B2 (en) Electronic device and control method therefor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18816621

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18816621

Country of ref document: EP

Kind code of ref document: A1