WO2009081650A1 - 画像表示システム、画像表示方法及び記録媒体 - Google Patents

画像表示システム、画像表示方法及び記録媒体 Download PDF

Info

Publication number
WO2009081650A1
WO2009081650A1 PCT/JP2008/069132 JP2008069132W WO2009081650A1 WO 2009081650 A1 WO2009081650 A1 WO 2009081650A1 JP 2008069132 W JP2008069132 W JP 2008069132W WO 2009081650 A1 WO2009081650 A1 WO 2009081650A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
display
information
window
layer
Prior art date
Application number
PCT/JP2008/069132
Other languages
English (en)
French (fr)
Inventor
Kentarou Sasagawa
Original Assignee
Nec Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nec Corporation filed Critical Nec Corporation
Publication of WO2009081650A1 publication Critical patent/WO2009081650A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/048—Indexing scheme relating to G06F3/048
    • G06F2203/04804—Transparency, e.g. transparent or translucent windows
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/04—Partial updating of the display screen
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/22—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of characters or indicia using display control signals derived from coded signals representing the characters or indicia, e.g. with a character-code memory
    • G09G5/24—Generation of individual character patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/393—Arrangements for updating the contents of the bit-mapped memory
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen

Definitions

  • the present invention relates to an image display device for displaying a window on a display unit, a display control method, and a recording medium.
  • a system having a single drawing system on a single operation system a system having a single drawing system on a plurality of operation systems, such as X window system, or an LCDC (Liquid Crystal Dispray Controller)
  • a plurality of VRAMs Video Random Access Memory
  • OSD function On Screen Display
  • Window control devices using these systems are known.
  • This type of window control apparatus creates a window corresponding to each of different jobs that are simultaneously processed in parallel by a processor.
  • the window control device simultaneously displays a plurality of windows corresponding to these individual jobs on the screen. Further, the window control device can simultaneously monitor the status of a plurality of job processes.
  • Patent Document 1 discloses an output data control apparatus that displays a plurality of output images (image data), for example, image data output from a plurality of devices, on one screen using window display.
  • the output data control apparatus according to Patent Document 1 inputs a plurality of image data from a plurality of information processing terminals (PCs) or video output devices.
  • a plurality of input image data are synthesized in one screen using a main screen and a window screen.
  • the synthesized screen is output to the monitor device.
  • the output data control device calculates a ratio of displaying the window screen so as to overlap the main screen as transparency.
  • the output data control device changes the screen by changing the ratio of displaying the window screen according to the calculated transparency, and outputs the changed screen to the monitor device.
  • JP 2002-182890 A JP 2002-182890 A
  • overlay control is performed by assigning an HW layer to each window using the OSD function which is a conventional technique. It was possible. However, there is a problem that the number of windows that can be handled simultaneously is limited by the number of HW layers.
  • the display order is determined between the HW layers, and in the method of simply superimposing them, there is a local priority used in each HW layer, and drawing is performed for each HW layer. Images drawn in each HW layer are superimposed according to the display order between the HW layers. That is, in HW layer 1 and HW layer 2 (priority is HW layer 1> HW layer 2), the window of HW layer 2 is not displayed in front of the window of HW layer 1.
  • the present invention has been made to solve such a problem, and in a system having a display shared by a plurality of drawing systems, for example, an image display device that enables superimposition in units of windows, It is an object to provide a display control method and program.
  • the image display system acquires image information of an image drawn on each of a plurality of display layers to be combined, and when the first display layer has a lower display order than the second display layer, Based on the image information, an image drawn on the first display layer to be displayed when the first and second display layers are combined is detected as a specific image, and a transparent image for displaying the specific image is displayed.
  • a management unit configured to generate the second display layer, and when the shape of the specific image is a non-rectangular shape, the management unit acquires the shape of the specific image based on the image information; Is generated in the second display layer.
  • a recording medium is a recording medium storing a program for causing a computer to execute a predetermined operation, acquires image information of an image drawn on each of a plurality of display layers to be combined, and When the display order of one display layer is lower than that of the second display layer, the display layer is drawn on the first display layer to be displayed when the first and second display layers are combined based on the image information.
  • the image display method acquires image information of an image drawn on each of a plurality of display layers to be combined, and when the first display layer has a lower display order than the second display layer, Based on the image information, an image drawn on the first display layer to be displayed when the first and second display layers are combined is detected as a specific image, and a transparent image for displaying the specific image is displayed.
  • a window control device it is possible to provide a window control device, a window control method, a program, and an information processing device that enable overlapping in units of windows even in a system having a display shared by a plurality of drawing systems. .
  • the present invention is applied to an image display apparatus capable of combining and displaying a window on a display shared from a drawing system that is activated on each of a plurality of OSs.
  • an image display apparatus capable of displaying a non-rectangular window as a window will be described.
  • FIG. 1 is a schematic view showing such an image display apparatus.
  • the image display apparatus 1100 includes a plurality of processing units 1001 and 1002 including, for example, CPU (Central Processing Unit), and different OSs are installed.
  • processing units 1001 and 1002 including, for example, CPU (Central Processing Unit), and different OSs are installed.
  • window generation units 1010 and 1020 as image generation units and application managers (APM) 1012 and 1022 as management units are activated.
  • one OS is an OS for a control system such as engine control, speed control, or air bag control
  • the other OS is for entertainment or multimedia.
  • the information system OS is an OS for a control system such as engine control, speed control, or air bag control.
  • the window generation unit 1010 generates a window 1711 to be displayed on the hardware layer (HW layer) 1071 as a display layer.
  • the window generation unit 1020 generates a window 1721 to be displayed on the HW layer 1072 displayed on the same display unit as the HW layer 1071.
  • the APMs 1012, 1022 acquire window arrangement information including frame information of each window and Z-axis information (display priority information, hereinafter referred to as priority) of each window as image information from the window generation units 1010, 1020.
  • the window frame information may be the coordinates of the starting point and the vertical and horizontal sizes.
  • the priority indicates the display order of windows used in common by all HW layers. In the present embodiment, it is possible to control the display order of windows across the HW layers by using priority information common to all the HW layers.
  • the APM 1022 should be displayed when the first and second HW layers 1071 and 1072 are combined based on the window arrangement information when the display order of the first HW layer 1071 is lower than that of the second HW layer 1072 A window drawn on the first HW layer 1071 is detected as a specific window 1711. Then, the APM 1022 generates an arrangement command for causing the second HW layer 1072 to generate a transparent window 1725 for displaying the specific window 1711. The APM 1012 generates an arrangement command for generating a window 1711 to be displayed on the first HW layer 1072.
  • the HW layers 1071 and 1072 are subjected to screen composition by an LCD controller (not shown) as a composition unit, and a display screen 1041 is generated.
  • the description will be made assuming that the display order of the HW layers is determined in advance.
  • APM forms a transparent window, which will be described later, according to the vertical relationship of the HW layer and the priority of the window.
  • the LCD controller synthesizes the display screen according to the determined display order.
  • the present invention is not limited to this, and the APM or the like may change the display order of the HW layers.
  • the APM 1022 includes an information acquisition unit 1221 and an instruction generation unit 1222.
  • the information acquisition unit 1221 acquires the arrangement position and the display degree of the image drawn on each of the plurality of display layers to be combined from the window generation units 1020 and 1010 corresponding to the display layers. That is, the information acquisition unit 1221 acquires window arrangement information of the display layer 1072 from the window generation unit 1020. Further, window arrangement information of the display layer 1071 is acquired from the window generation unit 1010 via the APM 1012.
  • the instruction generation unit 1222 is displayed when the first and second HW layers 1071 and 1072 are combined based on the window arrangement information when the display order of the first HW layer 1071 is lower than that of the second HW layer 1072.
  • a window drawn on the first power layer 1071 to be detected is detected as the specific window 1711.
  • the command synthesis unit 1222 generates a placement command that causes the second HW layer 1072 to generate a transparent window 1725 for displaying the specific window 1711.
  • the instruction generation unit 1222 selects the window drawn on the first HW layer 1071 as a specific window. 1711 is detected. Then, an arrangement command for generating a transparent window 1725 for displaying the specific window 1711 in the same shape and the same arrangement position as the first window 1711 in the second HW layer 1072 is generated.
  • the window generation unit 1020 generates a transparent window 1725 in the second HW layer 1072 in accordance with the arrangement instruction from the instruction generation unit 1222 and combines it with the second window 1721.
  • the transparent window refers to an object that is transparent and displays the image displayed on the lower HW layer.
  • the region in the transmissive window is generated by performing mask processing for erasing the image signal in the HW layer. For example, in a system that expresses one dot by 32 bits (8 bits for each of ARGB) consisting of RGB information and transmittance information (A), the APM or the drawing system uses VRAM data (transmittance information) in bit units. By controlling, a transparent window can be generated.
  • each window generation unit controls the display of one window with one HW layer, but it may display two or more windows even with two or more HW layers. Of course.
  • the command generation unit 1222 generates a placement command for the transparent window 1725 using the display priority and the window frame information as the information of the first window 1711. That is, the command generation unit 1222 generates an arrangement command for generating the transparent window 1725 without acquiring image information such as a pixel value of the first window 1711.
  • the LCD controller synthesizes the HW layers 1071 and 1072, a screen in which the window 1711 and the window 1721 are superimposed according to the display priority is generated.
  • window superposition control (Z-axis) between different HW layers can be achieved by only passing a small amount of data without transferring detailed information about images displayed on each other. Control). Accordingly, it is possible to speed up the process of combining image information drawn by a plurality of OSs.
  • non-rectangular window or application By the way, in the embedded GUI system, unlike a PC, it is necessary to display only a part of a non-rectangular window or application. The shape is unknown and it is difficult to perform cooperative operation between OSs using a transparent window. Examples of non-rectangular applications include LCD speedometers for in-vehicle systems and dialog displays for safety applications.
  • bitmap data a non-rectangular window
  • RGB a gradation format composed of RGB
  • the image display apparatus creates a transparent window corresponding to a shape other than a rectangle (non-rectangular shape) in a system in which different drawing systems are operated on a plurality of OSs, and the lower HW It has a mechanism for cooperating with layer applications.
  • an APM application manager having means for selecting boundary information at the time of window generation and acquiring outline information (boundary data) of a non-rectangular window and means for sending only difference information in subsequent operations is provided.
  • FIG. 2 is a schematic view showing an image display apparatus according to an embodiment of the present invention.
  • the image display apparatus 100 includes a plurality of processing units 1 and 2, and different OSs are installed in each.
  • Window generation units 10 and 20 as image generation units and application managers (APM) 12 and 22 as management units are activated.
  • one OS is an OS for a control system such as engine control, speed control, or air bag control, and the other OS is for entertainment or multimedia. Let it be an information system OS.
  • the window generation unit 10 generates a window 711 to be displayed on a hardware layer (HW layer) 71 as a display layer.
  • the window generation unit 20 generates a window 721 to be displayed on the HW layer 72 displayed on the same display unit as the HW layer 71.
  • the window generation units 10 and 20 can generate the windows 711 and 721 by accessing the SDRAM 51.
  • the SDRAM 51 includes a VRAM 1 (132) and a VRAM 2 (131).
  • VRAM1 (132) is an area used by the drawing system on the information system OS side
  • VRAM2 (131) is a drawing area used by the drawing system on the control system OS side.
  • the APMs 12 and 22 acquire window arrangement information including window frame information and Z-axis information (display priority information, hereinafter referred to as priority) of each window as image information from the window generation units 10 and 20. Further, when the window has a non-rectangular shape, rectangular information including the specific image and background information for identifying the specific image and other regions are acquired as the window arrangement information.
  • the APM 22 that generates a placement command for a window to be drawn on the upper HW layer 72 should be displayed when the first and second display layers 71 and 72 are combined based on the window information. An image drawn on the first display layer 71 is detected as the specific image 711.
  • the APM 22 causes the second display layer 72 to generate a transparent image 725 for displaying the specific image 711.
  • the APM 22 acquires the shape of the specific image 711 based on the window information, and causes the second display layer 72 to generate the transparent image 725.
  • the APM 12 generates an arrangement command for generating a window to be displayed on the first HW layer 71.
  • the HW layers 71 and 72 are subjected to screen composition by an LCD controller (not shown) as a composition unit, and a display screen 41 is generated.
  • an LCD controller (not shown) as a composition unit, and a display screen 41 is generated.
  • APM forms a transparent window according to the hierarchical relationship of the HW layer and the priority of the window.
  • the LCD controller synthesizes the display screen according to the determined display order.
  • the present invention is not limited to this, and the APM or the like may change the display order of the HW layers.
  • the APM 22 includes an information acquisition unit 221 and an instruction generation unit 222.
  • the information acquisition unit 221 acquires an arrangement position and display priority information of an image drawn on each of the plurality of display layers to be combined from the window generation unit corresponding to each display layer. That is, the information acquisition unit 221 acquires window arrangement information of the display layer 72 from the window generation unit 20. Further, the window arrangement information of the display layer 71 is acquired from the window generation unit 10 via the APM 12.
  • the command generation unit 222 first and second display layers 71 based on window arrangement information including background information in addition to arrangement information and display priority information. , 72 is detected as a specific image 711 that is drawn on the first layer 71 to be displayed. Then, the command generation unit 222 generates a placement command that causes the second display layer 72 to generate a transparent image 725 for displaying the specific image 711.
  • the instruction generation unit 222 identifies a window to be drawn on the first HW layer 71.
  • An arrangement command for generating a transparent window 725 for displaying the specific window at the same shape and the same arrangement position as the first window 711 in the second HW layer 72 is generated.
  • the window generation unit 20 generates a transparent window 725 in the second HW layer 72 in accordance with the arrangement instruction from the instruction generation unit 222 and synthesizes it with the second window 721.
  • the information acquisition unit 221 includes rectangular information including the specific image 711 (hereinafter referred to as base window information) and the specific image. Background information for identifying other areas is acquired as window arrangement information.
  • the command generation unit 222 detects the contour of the specific image 711 using the background information as a threshold. Specifically, the command generation unit 222 detects the contour of the specific image 711 by determining whether each pixel value is the background from the top, bottom, left, and right of the rectangular area including the specific image 711 using the background information as a threshold value. To do.
  • the command generation unit 222 searches for a rectangular area including the specific image 711 using the background information as a threshold, detects an arbitrary point constituting the outline of the specific image 711, and sets a surrounding pixel value as a threshold from the point By determining, the contour of the specific image is detected.
  • the instruction generation unit 222 acquires the window shape of the non-rectangular window, for example, even if the first window 711 is a non-rectangular window, it can be combined with the second window 721 and displayed.
  • the information acquisition unit 221 is described as acquiring the window shape of the non-rectangular window 711.
  • the window generation unit 10 accesses the first storage unit VRAM 131 and determines the shape of the non-rectangular window or Information for obtaining the shape of the non-rectangular window may be acquired and notified to the APM 22 via the APM 12. Examples of the present invention will be described in detail below.
  • FIG. 3 is a diagram showing details of the image display apparatus according to the embodiment of the present invention.
  • the image display device 100 includes an MPU (Micro Processor Unit) 6, an LCD (Liquid Cristal Display) 4, and an SDRAM (Synchronous Dynamic Random Access Memory) 5.
  • the MPU 6 includes processing units 1 and 2 as control devices, and the OSs 11 and 21, APMs 12 and 22, drawing systems 101 and 201, GUI applications 102 and 103, 202 and 203 are installed in the processing units 1 and 2.
  • the window generation unit described above is configured by the drawing system and the GUI application.
  • the OS 1 is an OS of a control system such as ⁇ ITRON, for example, and is equipped with a unique drawing system 101 and GUI applications 102 and 103 as vehicle cooperation applications such as an LCD speedometer.
  • the OS 2 is an information system OS such as UNIX (registered trademark) in which Xwindowsystem or the like is installed as the drawing system 201, and multimedia applications (AVN, browser, etc.) are installed as GUI applications 202 and 203.
  • the image display device 100 has a plurality of HW layers such as an HW layer 71 to which the VRAM 51 is assigned and an HW layer 72 to which the VRAM 52 is assigned.
  • the LCDC 3 combines these to generate a display screen 41 and displays it on the LCD 4.
  • at least one HW layer is exclusively assigned to the drawing systems 101 and 201 activated on each OS from other drawing systems. That is, the drawing systems 101 and 201 do not share the HW layer.
  • the drawing system 101 accesses the VRAM 51 and uses the HW layer 71 assigned thereto.
  • the drawing system 201 accesses the VRAM 52 and uses the HW layer 72 assigned thereto.
  • the GUI applications 102 and 103 draw a desired window on the HW layer 71 using the drawing system 101.
  • the GUI applications 202 and 203 draw a desired window on the HW layer 72 using the drawing system 201.
  • This image display device 100 is a system for accessing (embedding) the display LCD 4 shared by a plurality of OSs 11 and 21.
  • APMs 12 and 22 are arranged in the OSs 11 and 21, respectively.
  • This APM can be a master-slave system having a master and a slave.
  • the master APM collectively manages window arrangement information (base window information, priority, background information, etc.) arranged by the GUI application.
  • the APMs 12 and 22 on the OSs 11 and 21 are configured to be able to communicate with each other.
  • the master APM can issue a window arrangement command to the drawing systems 101 and 201 of all the OSs 11 and 21 as necessary.
  • the window arrangement command is issued, for example, when the priority is changed or the focus moves when the touch panel is operated.
  • each APM may issue an arrangement command individually without using the master-slave method.
  • the drawing systems 101 and 201 superimpose the transparent windows managed by the APM based on the received arrangement command.
  • APM When APM is set to the master-slave system, it operates as follows. First, an APM master is arranged in one of the OSs, and an APM slave is arranged in the other OSs. The APM master controls and manages all windows. In this example, it is assumed that an APM master is arranged in the OS 21 and an APM slave is arranged in the OS 11. The APM slave 12 mainly performs communication between the APM master 22 and the drawing system 101.
  • the APM master 22 has window layout information (window frame information, priority, and background information) for all windows. When a new window is generated or a window priority is changed, all window arrangement information managed by the APM master 22 is updated.
  • the APM master 22 acquires the window arrangement information of the AP 102 and AP 103 from the APM slave 12. Further, the window arrangement information of the AP 202 and AP 203 is obtained directly from the AP 202 and AP 203. The APM master 22 generates a transparent window based on the updated all window arrangement information. Note that the APM master 22 may output a window arrangement command to the drawing systems 101 and 201 of all the OSs, for example, at a timing when the window arrangement information is updated, as necessary. The drawing system 201 can receive an arrangement command from the APM 12 via the APM 22.
  • FIG. 4 is a sequence diagram illustrating the operation of the image display apparatus according to the present embodiment.
  • FIG. 5 is a diagram for explaining the window control method.
  • the APM is arranged in each OS, and the window arrangement information used by all GUI applications is collectively managed by the APM master 22 arranged in the OS 21.
  • the window arrangement information includes window frame information and priority.
  • the window is a non-rectangular shape, the base window information, background information, priority, and the like are included. It is also possible to control the window arrangement information such as rewriting the priority as necessary.
  • the APM master 22 manages window arrangement information using storage means such as a hard disk.
  • the APM master 22 acquires and holds window arrangement information such as window arrangement information and priority information of all GUI applications operating on each OS from the GUI application.
  • the APM master 22 updates the window arrangement information at the timing when the window is generated by the AP or when the window is discarded.
  • priorities are set for the windows held by the respective drawing systems 101 and 201, and the overlapping of the windows is determined based on the priority level.
  • an OS on which an application 102 having a window other than a rectangle and a drawing system 101 that draws the application 102 is assumed to be an OS 11.
  • the OS having the GUI applications 202 and 203 that generate the rectangular windows 721 and 722 and the drawing system 201 is referred to as an OS 21.
  • An arrangement command is generated by the APM 12 for the window 711 drawn on the HW layer 71.
  • An arrangement command is generated by the APM 22 for the windows 721, 722, and 725 drawn on the HW layer 72.
  • the HW layer 72 is arranged on the upper surface of the HW layer 71, and the display priority of the window is rectangular window 721 (display priority 15)> non-rectangular window 711 (display priority 10)> rectangular window 722 (display priority) Degree 5).
  • the non-rectangular window 711 is arranged in the HW layer 71.
  • the windows 721, 722, and 711 are windows from which display requests are issued by the APs 202, 203, and 102, respectively.
  • the AP 102 is activated by the OS 1 (step S1).
  • the AP 102 requests the APM slave 12 to display the window 711 with the priority 10 (step S2).
  • the APM slave 12 notifies the APM master 22 that the display request for the window 711 has been issued with the priority 10 (step S3).
  • the APM master 22 detects from the window arrangement information of the window 711 that the window is non-rectangular information.
  • the APM 22 on the OS 11 side can select an optimum boundary section depending on the type of the window.
  • the AP 102 notifies the APM 22 of the boundary division.
  • the AP 102 selects a rectangle as a boundary section when it is a rectangular window, and selects a bitmap as a boundary section when it is a non-rectangular window.
  • the snapshot acquisition process described later is not performed.
  • the AP 102 notifies the APM 22 of the coordinates of the upper left corner of the rectangle and the width / height information as boundary data.
  • APM22 can produce
  • the APM 22 that manages the HW layer 72 which is the upper layer, controls the transparent window as in this embodiment, it is not necessary to generate a placement command for the other HW layer, and the system It can be configured simply.
  • the APM slave 12 may send the window arrangement information to the APM master 22 after performing simultaneous drawing processing.
  • the APM master can generate or delete a transparent window according to the sent window arrangement information.
  • the APM 22 acquires information for acquiring the shape of the non-rectangular window 711 from the AP 102 when the bitmap is received as the boundary section. Specifically, the APM 22 receives rectangular information of a rectangle (base window) 715 including a non-rectangular window and auxiliary information for acquiring the shape of the non-rectangular window from the AP 102. Further, the APM 12 takes a snapshot (bitmap data) of the non-rectangular window 711 and stores it in the shared memory 133.
  • the shared memory 133 is a memory accessible from the drawing systems 101 and 201.
  • the base window is rectangular information that is an outer frame of the non-rectangular window.
  • auxiliary information for example, there is background color information indicating the color of the area other than the non-rectangular window in the base window.
  • the window shape can be detected using the background color information as a threshold value.
  • a transmittance alpha blend value
  • a transmittance alpha blend value
  • ⁇ 1 of the non-transmissive value infinitely non-transmissive
  • threshold 125
  • the bitmap data in the base window 715 is extracted as a snapshot. If there is another low priority window in the base window 715, based on the information of the APM 12, a snapshot is extracted in a form in which the area in which the window exists is rewritten with a threshold color or transmittance. It is also possible.
  • the APM 22 on the OS 21 side converts the snapshot data into boundary data (contour information of a non-rectangular window) and saves it (step S4).
  • the APM master 22 updates the window arrangement information with the window arrangement information of the window 711 (step S5).
  • the APM 22 can determine that the transparent window 725 of the window 711 is necessary because the HW layer 72 is positioned on the HW layer 71.
  • the window 711 is sandwiched between the window 721 and the window 722. Note that when the base window of the window 711 overlaps the windows 721 and 722 and the priority is smaller than these windows, the boundary data of the non-rectangular window need not be acquired at the above timing.
  • the APM slave 12 instructs the drawing system 101 to generate the window 711 (step S6).
  • the APM master 22 creates a transparent window 725 based on the boundary data described above (step S7). Considering the priority of the transparent window 725 created in step S7, all windows displayed on the OS2 side are rearranged (step S8).
  • the APM master 22 instructs the drawing system 201 to rearrange the windows based on the window arrangement information. If a new window is added or the window display order is changed, the window layout is updated.
  • the APM master 22 also transmits a window rearrangement request to the APM slave 12 based on the arrangement information (step S9). Based on this, the APM slave 12 instructs the drawing system 101 to rearrange the windows (step S10).
  • the drawing system 101 changes the window display order and the like as necessary.
  • the drawing system 101 displays the window of the HW layer 71 including the window 711 according to the instruction of the APM slave 12 (step S11). Further, the drawing system 201 displays a window of the HW layer 72 including the transparent window 725 according to an instruction from the APM master 22 (step S12).
  • the HW layers 71 and 72 generated in accordance with the placement instruction of the APM master 22 are synthesized by the LCDC 3.
  • a window 711, a window 712, and a window 722 are displayed in the window 722 via a transparent window (see FIG. 5).
  • the APM master 22 when the window 711 on the OS 11 side is moved, communication between APMs is performed, and difference information is notified to the APM master 22. Based on the difference information and the boundary data, the APM master 22 corrects the transparent window and the boundary data value. For example, when the non-rectangular window 711 moves to the left by 2 dots, the APM master 22 may perform calculation based on the boundary data and the difference information, and correct the area and boundary data handled as the transparent window 725.
  • the window being generated is an area that is not temporarily assigned to the HW layer in the VRAM.
  • the non-rectangular window is moved to the save area 70 (hereinafter referred to as the save area 70), and the snapshot is extracted. After the snapshot is extracted at the time of window generation, the above background color and transmittance can be freely changed. Even if a part of the window is hidden by another window, if it is non-rectangular, the shape of the non-rectangular window is extracted. Thus, even when the non-rectangular window is moved and exposed as a whole, the processing can be performed without acquiring shape information of the non-rectangular window again.
  • the APM master 22 performs boundary tracking from the snapshot information stored in the shared memory 133, extracts boundary data, and stores it in the memory VRAM 52 on the OS 21 side.
  • the snapshot extraction and the boundary tracking process on the OS 21 side are basically required only when generating a window. Thereafter, only the difference information is handled, so that no burden is imposed on the system.
  • FIG. 6 is a diagram for explaining a method of converting the snapshot data into the boundary data.
  • the boundary data is expressed in relative coordinates starting from the upper left corner of the specified window. It is assumed that the value increases as the X axis moves to the right and the Y axis moves downward.
  • the APM master 22 calculates the area handled as the transparent window 725 based on the boundary data and displays it on the display.
  • the transparent window 725 can be drawn at high speed.
  • the application on the OS 11 side moves, only the difference information is sent to the OS 21 side.
  • FIG. 7A and 7B are diagrams illustrating a method for extracting boundary data of a non-rectangular window.
  • the command generation unit 222 determines whether or not each pixel value is a background value from the vertical and horizontal directions of the base window 801 including the specific image 802 with background information (background value) as a threshold value. By doing so, the contour of the specific image 802 is detected. For example, the command generation unit 222 determines whether or not each pixel matches the background value for the leftmost column. In this example, when matching is determined from the upper end, it is detected that only the pixel 811 has the pixel value different from the background value, and the pixel 811 is detected to be a contour.
  • each pixel matches the background value.
  • the pixel 812 matches the background value, and it is detected that the pixel 812 is a contour.
  • the pixel 813 is detected.
  • two points of pixels 814 and 815 are detected.
  • the command generation unit 222 searches the base window 821 including the specific image 822 using the background information as a threshold, and detects an arbitrary point 831 constituting the contour of the specific image 821. Then, the command generation unit 222 can detect the contour of the specific image 822 by determining the threshold value of surrounding pixel values starting from the point 831. For example, by examining each row in the horizontal direction and the vertical direction passing through the center of the base window, some contours in the base window are detected as starting points. In this example, the starting point 831 to 834 is detected by comparing the pixel value in the horizontal direction with the background value, and the pixel values around these starting points 831 to 834 (for example, eight neighbors) are compared with the background value. When the contour is detected again, the pixel values in the vicinity of the eight may be compared with the background value.
  • windows drawn by the drawing systems of a plurality of OSs on the respective HW layers can be overlapped using transparent windows.
  • the transparent window is generated using the base window and the background information, the exchange of information may be small.
  • the snapshot extraction method using the shared memory 133 and the drawing process using the boundary data make use of the features of each OS without imposing a burden on the system. Drawing is possible. This function is particularly effective in an embedded GUI system or the like.
  • the hardware configuration has been described.
  • the present invention is not limited to this, and any processing can be realized by causing the CPU to execute a computer program.
  • the computer program can be provided by being recorded on a recording medium, or can be provided by being transmitted via the Internet or another transmission medium.
  • the present invention can be applied to an image display device for displaying a window on a display unit, a display control method, and a recording medium storing a program for causing a computer to execute the display control method.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

　本発明は、複数の描画システムから共有されるディスプレイを有するシステムにおいてもウィンドウ単位での重ね合わせを可能とすることを目的とする。そのために、本発明の画像表示装置(１００)は、合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第１の表示レイヤ(７１)が第２の表示レイヤ(７２)より表示順位が低い場合において、ウィンドウ配置情報に基づき、第１及び第２の表示レイヤ(７１)、(７２)の合成時に表示されるべき第１の表示レイヤ(７１)に描画されるウィンドウを特定ウィンドウ(７１１)として検出し、特定ウィンドウ(７１１)を表示させるための透過ウィンドウ(７２５)を第２の表示レイヤ(７２)に生成させるＡＰＭ(２２)を有する。ＡＰＭ(２２)は、特定ウィンドウ(７１１)の形状が非矩形形状である場合、ウィンドウ配置情報に基づき特定ウィンドウ(７１１)の形状を取得し、透過ウィンドウ(７２５)を第２の表示レイヤ(７２)に生成させる。

Description

[規則37.2に基づきISAが決定した発明の名称]　画像表示システム、画像表示方法及び記録媒体
　本発明は、表示部にウィンドウを表示するための画像表示装置、表示制御方法及び記録媒体に関する。
　従来、例えば、単一のオペレーションシステム上で単一の描画系を有するシステム、X window system等、複数のオペレーションシステム上で単一の描画系を有するシステム、又はＬＣＤＣ（Liquid Crystal Dispray Controller）が有するＯＳＤ機能（On Screen Display）を利用して複数のＶＲＡＭ(Video Random Access Memory)をＨＷレイヤに割り当てるシステムがある。
　これらのシステムを利用したウィンドウ制御装置が知られている。この種のウィンドウ制御装置は、プロセッサで同時に並行して処理される互いに異なるジョブの各々に対応するウィンドウを作成する。そして、ウィンドウ制御装置は、これらの個々のジョブに対応した複数のウィンドウを画面に同時に表示する。さらに、ウィンドウ制御装置は、複数のジョブ処理の状況を同時に監視することも可能である。
　例えば特許文献１には、ウィンドウ表示を用いて１つの画面上で複数の出力画像（画像データ）、例えば、複数のデバイスから出力される画像データを表示する出力データ制御装置が開示されている。この特許文献１にかかる出力データ制御装置は、複数の情報処理端末（ＰＣ）あるいは映像出力機器からの複数の画像データを入力する。入力した複数の画像データをメイン画面とウィンドウ画面とを用いて一画面内に合成する。合成した画面をモニタ装置へ出力する。出力データ制御装置は、メイン画面にウィンドウ画面を重ねて表示する割合を透明度として算出する。出力データ制御装置は、算出した透明度に従ってウィンドウ画面を表示する割合を変更して画面を変更し、変更した画面をモニタ装置へ出力する。
特開２００２－１８２８９０号公報
　このように、複数ＯＳや複数描画システムで共有したＬＣＤ等のディスプレイに複数ウィンドウを表示する場合、従来技術であるＯＳＤ機能を利用し、ウィンドウ毎にＨＷレイヤを割り当てることによって、重ね合わせ制御をすることが可能であった。しかしながら、同時に扱えるウィンドウの数がＨＷレイヤの数に制限を受けてしまうという問題点がある。
　これに対し、描画システムとしてマルチウインドウ表示が可能なウィンドウシステムを採用することにより、同時に扱えるウィンドウ数の制約を取り除くことが可能になった。しかしながら、各々の描画システムが異なるＶＲＡＭに描画するため、異なる描画システム間で動的なウィンドウ単位での重ね合わせ制御ができないという問題点がある。
　また、ＨＷレイヤ間で表示順が決まっており、それらを単に重ね合わせる手法においては、各ＨＷレイヤ内ではそれぞれで使用されるローカル優先度が存在し、ＨＷレイヤ毎に描画が行われる。各ＨＷレイヤで描画された画像はＨＷレイヤ間の表示順に従って重ね合わせが行われる。すなわち、ＨＷレイヤ１、ＨＷレイヤ２（優先度はＨＷレイヤ１＞ＨＷレイヤ２）においては、ＨＷレイヤ２のウィンドウはＨＷレイヤ１のウィンドウより手前に表示されることはない。
　本発明は、このような問題点を解決するためになされたものであり、複数の描画システムから共有されるディスプレイを有するシステムにおいても、例えばウィンドウ単位での重ね合わせを可能とする画像表示装置、表示制御方法及びプログラムを提供することを目的とする。
　本発明に係る画像表示システムは、合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第１の表示レイヤが第２の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１の表示レイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる管理部を有し、前記管理部は、前記特定画像の形状が非矩形形状である場合、前記画像情報に基づき前記特定画像の形状を取得し、前記透過画像を前記第２の表示レイヤに生成させるものである。
　本発明に係る記録媒体は、所定の動作をコンピュータに実行させるためのプログラムを格納した記録媒体であって、合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第１の表示レイヤが第２の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１の表示レイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる管理工程を有し、前記管理工程では、前記特定画像の形状が非矩形形状である場合、前記画像情報に基づき前記特定画像の形状を取得し、前記透過画像を前記第２の表示レイヤに生成させるものである。
　本発明に係る画像表示方法は、合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第１の表示レイヤが第２の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１の表示レイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる管理工程を有し、前記管理工程では、前記特定画像の形状が非矩形形状である場合、前記画像情報に基づき前記特定画像の形状を取得し、前記透過画像を前記第２の表示レイヤに生成させる画像表示方法ものである。
　本発明によれば、複数の描画システムから共有されるディスプレイを有するシステムにおいてもウィンドウ単位での重ね合わせを可能とするウィンドウ制御装置、ウィンドウ制御方法、及びプログラム並びに情報処理装置を提供することができる。
参照例にかかる画像表示装置を示す概略図である。 本発明の実施例にかかる画像表示装置を示す概略図である。 本発明の実施例にかかる画像表示装置の詳細を示す図である。 本発明の実施例にかかる画像表示装置の動作を示すシーケンス図である。 本発明の実施例におけるウィンドウ制御方法を説明するための図である。 スナップショットデータから境界データに変換する方法を説明する図である。 非矩形ウィンドウの境界データを抽出する方法を説明する図である。 非矩形ウィンドウの境界データを抽出する方法を説明する図である。
符号の説明
１０　ウィンドウ生成部
１１、２１　ＯＳ
１２、２２　ＡＰＭ
１０１、２０１　描画システム
１０２、２０２　アプリケーション
２０　ウィンドウ生成部
４１　表示画面
７０　退避領域
７１、７２　ＨＷレイヤ
１００　画像表示装置
１２１　情報取得部
１２２　配置命令生成部
１３３　共有メモリ
７１１、７１２、７１５、７２１、７２２、７２５　ウィンドウ
　以下、本発明を適用した具体的な実施例について、図面を参照しながら詳細に説明する。この実施例は、本発明を、複数のＯＳ上でそれぞれ起動する描画システムから共有されるディスプレイにウィンドウを合成して表示することが可能な画像表示装置に適用したものである。特に、本実施例においては、ウィンドウとして非矩形な形状のウィンドウを表示することができる画像表示装置について説明する。
　複数のＯＳ上でそれぞれ異なる描画システムが動作している場合でも、これらの複数のＯＳが共有する単一のディスプレイに対して協調的にウィンドウを描画するシステムがある。図１は、そのような画像表示装置を示す概略図である。画像表示装置１１００は、複数の、例えばＣＰＵ（Central Processing Unit）等からなる処理部１００１、１００２を有しており、それぞれ異なるＯＳがインストールされている。各ＯＳ上では、それぞれ、画像生成部としてのウィンドウ生成部１０１０、１０２０と、管理部としてのアプリケーションマネージャ（ＡＰＭ）１０１２、１０２２とが起動している。ここで、本実施の形態においては、例えば、一方のＯＳは、例えば、エンジン制御、スピード制御、又はエアバック制御などの制御系のＯＳであり、他方のＯＳは、エンターテーメントやマルチメディア用の情報系のＯＳとする。
　ウィンドウ生成部１０１０は、表示レイヤとしてのハードウェアレイヤ（ＨＷレイヤ）１０７１に表示するウィンドウ１７１１を生成する。ウィンドウ生成部１０２０は、ＨＷレイヤ１０７１と同一の表示部に表示されるＨＷレイヤ１０７２に表示するウィンドウ１７２１を生成する。
　具体的には、ＡＰＭ１０１２、１０２２は、ウィンドウ生成部１０１０、１０２０から画像情報として各ウィンドウの枠情報及び各ウィンドウのＺ軸情報（表示優先情報、以下優先度という。）を含むウィンドウ配置情報を取得する。ウィンドウの枠情報とは、矩形ウィンドウであれば、起点の座標並びに縦及び横の大きさ等とすることができる。優先度とは、全ＨＷレイヤが共通して使用するウィンドウの表示順序を示す。本実施の形態においては、全ＨＷレイヤが共通の優先度情報を使用することにより、ＨＷレイヤを跨いだウィンドウの表示順の制御が可能となる。そして、ＡＰＭ１０２２は、第１のＨＷレイヤ１０７１が第２のＨＷレイヤ１０７２より表示順位が低い場合において、ウィンドウ配置情報に基づき、第１及び第２のＨＷレイヤ１０７１、１０７２の合成時に表示されるべき第１のＨＷレイヤ１０７１に描画されるウィンドウを特定ウィンドウ１７１１として検出する。そして、ＡＰＭ１０２２は、この特定ウィンドウ１７１１を表示させるための透過ウィンドウ１７２５を第２のＨＷレイヤ１０７２に生成させる配置命令を生成する。ＡＰＭ１０１２は、第１のＨＷレイヤ１０７２に表示させるウィンドウ１７１１を生成させる配置命令を生成する。ＨＷレイヤ１０７１、１０７２は、合成部としてのＬＣＤコントローラ（図示せず）によって画面合成され、表示画面１０４１が生成される。なお、本実施の形態においては、ＨＷレイヤの表示順序は予め決められているのとして説明する。ＡＰＭは、ＨＷレイヤの上下関係と、ウィンドウの優先度に応じて、後述する透過ウィンドウを形成する。ＬＣＤコントローラは、決められた表示順序に従ってＬＣＤコントローラが表示画面を合成する。ただし、これに限らず、ＡＰＭ等がＨＷレイヤの表示順序を変更するようにしてもよい。
　以下、ＡＰＭ１０２２について詳述する。ＡＰＭ１０２２は、情報取得部１２２１及び命令生成部１２２２を有する。情報取得部１２２１は、合成される複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示度を各表示レイヤに対応するウィンドウ生成部１０２０、１０１０から取得する。すなわち、情報取得部１２２１は、表示レイヤ１０７２のウィンドウ配置情報をウィンドウ生成部１０２０から取得する。また、表示レイヤ１０７１のウィンドウ配置情報をウィンドウ生成部１０１０からＡＰＭ１０１２を介して取得する。
　命令生成部１２２２は、第１のＨＷレイヤ１０７１が第２のＨＷレイヤ１０７２より表示順位が低い場合において、ウィンドウ配置情報に基づき、第１及び第２のＨＷレイヤ１０７１、１０７２の合成時に表示されるべき第１のＨＷレイヤ１０７１に描画されるウィンドウを特定ウィンドウ１７１１として検出する。そして、命令合成部１２２２は、この特定ウィンドウ１７１１を表示させるための透過ウィンドウ１７２５を第２のＨＷレイヤ１０７２に生成させる配置命令を生成する。
　そして、第２のＨＷレイヤ１０７２の第１のウィンドウ１７１１の優先度が第２のウィンドウ１７２１の優先度より大きい場合、命令生成部１２２２は、第１のＨＷレイヤ１０７１に描画されるウィンドウを特定ウィンドウ１７１１として検出する。そして、第２のＨＷレイヤ１０７２において第１のウィンドウ１７１１と同一形状及び同一配置位置に、上記特定ウィンドウ１７１１を表示させるための透過ウィンドウ１７２５を生成させる配置命令を生成する。ウィンドウ生成部１０２０は、命令生成部１２２２からの配置命令に従い第２のＨＷレイヤ１０７２において、透過ウィンドウ１７２５を生成し、第２のウィンドウ１７２１と合成する。
　ここで、透過ウィンドウとは、自身を透過し下のＨＷレイヤに表示された画像を透過して表示するものをいう。透過ウィンドウの一例としては、透過ウィンドウ内の領域についてＨＷレイヤにおける画像信号を消去するマスク処理を行って生成する。例えば、ＲＧＢ情報と透過率情報（Ａ）からなる３２ビット（ＡＲＧＢ各８ビット）で１ドットを表現するシステムであれば、ＡＰＭ又は描画システムがＶＲＡＭ内のデータ（透過率情報）をビット単位で制御することにより、透過ウィンドウを生成することができる。
　なお、本実施の形態においては、処理部を２つとして説明しているが、２以上であってもよい。さらに、各ウィンドウ生成部は一のＨＷレイヤで、一のウィンドウの表示制御をするものとするが、２以上のＨＷレイヤであっても、２以上のウィンドウを表示させるものであってもよいことは勿論である。
　このように、命令生成部１２２２は、第１のウィンドウ１７１１の情報としては、表示優先度と、ウィンドウ枠情報とを使用して透過ウィンドウ１７２５の配置命令を生成する。つまり、命令生成部１２２２は、第１のウィンドウ１７１１の画素値等の画像情報を取得することなく、透過ウィンドウ１７２５を生成する配置命令を生成する。このような透過ウィンドウ１７２５を生成することにより、ＬＣＤコントローラがＨＷレイヤ１０７１、１０７２を画面合成すると、ウィンドウ１７１１とウィンドウ１７２１とが表示優先度に従って重畳された画面が生成される。このことにより、複数のＯＳで共有されるディスプレイを有するシステムにおいて、互いに表示する画像について詳細な情報を転送することなく少ないデータの受け渡しのみで異なるＨＷレイヤ間でのウィンドウの重ね合わせ制御（Ｚ軸制御）が可能になる。したがって、複数のＯＳによって描画される画像情報を合成する処理を高速化することができる。以下、本発明の実施の形態について詳細に説明する。
　ところで、組込み系のＧＵＩシステムでは、ＰＣとは異なり矩形ではないウィンドウやアプリケーションの一部分だけを表示する必要があるが、複数のＯＳでそれぞれ異なる描画システムが動作している状態では、お互いのウィンドウの形状がわからず、透過ウィンドウを用いたＯＳ間の協調動作を行うことが難しい。矩形ではないアプリケーションの例としては、車載システムのＬＣＤのスピードメータや安全系アプリのダイヤログ表示等が考えられる。
　仮に矩形のウィンドウであれば、左上端の座標と幅、高さの情報だけで済むが、非矩形のウィンドウ（以下、ビットマップデータともいう。）はＲＧＢからなる階調形式で表現されるため、ＡＰＭでウィンドウの形状を把握することが難しく、ＡＰＭ経由で他方の描画システムに対し適切な指示を行うことが難しい。
　そこで、本実施例に係る画像表示装置は、複数のＯＳでそれぞれ異なる描画システムが動作しているシステムにおいて、矩形以外の形状（非矩形形状）にも対応した透過ウィンドウを作成し、下位のＨＷレイヤのアプリケーションと協調動作させるしくみを有するものである。このため、ウィンドウ生成時に境界情報の選択かつ非矩形ウィンドウの輪郭情報（境界データ）を取得する手段、およびその後の動作において差分情報のみを送出する手段を有するＡＰＭ（アプリケーションマネージャー）を備える。
　図２は、本発明の実施例にかかる画像表示装置を示す概略図である。画像表示装置１００は、複数の処理部１、２を有しており、それぞれ異なるＯＳがインストールされている。各ＯＳ上では、それぞれ。画像生成部としてのウィンドウ生成部１０、２０と、管理部としてのアプリケーションマネージャ（ＡＰＭ）１２、２２が起動している。ここで、本実施例においては、例えば、一方のＯＳは、例えば、エンジン制御、スピード制御、又はエアバック制御などの制御系のＯＳであり、他方のＯＳは、エンターテーメントやマルチメディア用の情報系のＯＳとする。
　ウィンドウ生成部１０は、表示レイヤとしてのハードウェアレイヤ（ＨＷレイヤ）７１に表示するウィンドウ７１１を生成する。ウィンドウ生成部２０は、ＨＷレイヤ７１と同一の表示部に表示されるＨＷレイヤ７２に表示するウィンドウ７２１を生成する。ウィンドウ生成部１０、２０は、ＳＤＲＡＭ５１にアクセスすることによりウィンドウ７１１、７２１を生成することができる。ＳＤＲＡＭ５１は、ＶＲＡＭ１（１３２）及びＶＲＡＭ２（１３１）を備えている。ＶＲＡＭ１（１３２）は、情報系ＯＳ側の描画システムが使用するエリアであり、ＶＲＡＭ２（１３１）は、制御系ＯＳ側の描画システムが使用する描画エリアである。ＡＰＭ１２、２２は、ウィンドウ生成部１０、２０から、画像情報として、ウィンドウの枠情報及び各ウィンドウのＺ軸情報（表示優先情報、以下優先度という。）を含むウィンドウ配置情報を取得する。さらに、ウィンドウが非矩形形状の場合は、当該特定画像を含む矩形情報、及び当該特定画像と他の領域とを識別するための背景情報を、上記ウィンドウ配置情報として取得する。ここで、ＡＰＭ１２とＡＰ２２のうち、上位のＨＷレイヤ７２に描画するウィンドウの配置命令を生成するＡＰＭ２２は、ウィンドウ情報に基づき、第１及び第２の表示レイヤ７１、７２の合成時に表示されるべき第１の表示レイヤ７１に描画される画像を特定画像７１１として検出する。そして、ＡＰＭ２２は、特定画像７１１を表示させるための透過画像７２５を第２の表示レイヤ７２に生成させる。この場合、ＡＰＭ２２は、特定画像７１１の形状が非矩形形状である場合、ウィンドウ情報に基づき特定画像７１１の形状を取得し、透過画像７２５を第２の表示レイヤ７２に生成させる。ＡＰＭ１２は、第１のＨＷレイヤ７１に表示するウィンドウを生成させる配置命令を生成する。
　ＨＷレイヤ７１、７２は、合成部としてのＬＣＤコントローラ（図示せず）によって画面合成され、表示画面４１が生成される。なお、本実施の形態においては、ＨＷレイヤの表示順序は予め決められているのとして説明する。ＡＰＭは、ＨＷレイヤの上下関係と、ウィンドウの優先度に応じて、透過ウィンドウを形成する。ＬＣＤコントローラは、決められた表示順序に従ってＬＣＤコントローラが表示画面を合成する。ただし、これに限らず、ＡＰＭ等がＨＷレイヤの表示順序を変更するようにしてもよい。
　以下、ＡＰＭ２２について詳述する。ＡＰＭ２２は、情報取得部２２１及び命令生成部２２２を有する。情報取得部２２１は、合成される複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示優先情報を各表示レイヤに対応するウィンドウ生成部から取得する。すなわち、情報取得部２２１は、表示レイヤ７２のウィンドウ配置情報をウィンドウ生成部２０から取得する。また、表示レイヤ７１のウィンドウ配置情報をウィンドウ生成部１０からＡＰＭ１２を介して取得する。
　第１の表示レイヤ７１が第２の表示レイヤ７２より表示順位が低い場合について説明する。この場合、命令生成部２２２は、特定画像７１１の形状が非矩形形状であれば、配置情報及び表示優先情報の他、背景情報を含むウィンドウ配置情報に基づき、第１及び第２の表示レイヤ７１、７２の合成時に表示されるべき第１のレイヤ７１に描画される画像を特定画像７１１として検出する。そして、命令生成部２２２は、特定画像７１１を表示させるための透過画像７２５を第２の表示レイヤ７２に生成させる配置命令を生成する。
　ここで、第２のＨＷレイヤ７２の第１のウィンドウ７１１の優先度が第２のウィンドウ７２１の優先度より大きい場合、命令生成部２２２は、第１のＨＷレイヤ７１に描画されるウィンドウを特定ウィンドウとして検出し、第２のＨＷレイヤ７２において第１のウィンドウ７１１と同一形状及び同一配置位置に、上記特定ウィンドウを表示させるための透過ウィンドウ７２５を生成させる配置命令を生成する。ウィンドウ生成部２０は、命令生成部２２２からの配置命令に従い第２のＨＷレイヤ７２において、透過ウィンドウ７２５を生成し、第２のウィンドウ７２１と合成する。
　さらに、本実施の形態においては、情報取得部２２１は、特定画像７１１の形状が非矩形形状である場合、特定画像７１１を含む矩形情報（以下、基底ウィンドウ情報という。）、及び当該特定画像と他の領域とを識別するための背景情報を、ウィンドウ配置情報として取得する。命令生成部２２２は、背景情報を閾値として特定画像７１１の輪郭を検出する。具体的には、命令生成部２２２は、特定画像７１１を含む矩形領域の上下左右から背景情報を閾値として各画素値が背景であるか否かを判定することで、特定画像７１１の輪郭を検出する。または、命令生成部２２２は、背景情報を閾値として特定画像７１１を含む矩形領域を探索して特定画像７１１の輪郭を構成する任意の点を検出し、当該点を起点として周囲の画素値を閾値判定することで特定画像の輪郭を検出する。
　このように、命令生成部２２２が非矩形ウィンドウのウィンドウ形状を取得するので、例えば第１のウィンドウ７１１が非矩形ウィンドウであっても、第２のウィンドウ７２１と合成して表示させることができる。なお、本実施例においては、情報取得部２２１が非矩形ウィンドウ７１１のウィンドウ形状を取得するものとして説明するが、ウィンドウ生成部１０が第１の記憶部ＶＲＡＭ１３１にアクセスして非矩形ウィンドウの形状又は非矩形ウィンドウの形状を得るための情報を取得し、これを、ＡＰＭ１２を介してＡＰＭ２２に通知するものとしてもよい。以下、本発明の実施例について詳細に説明する。
　図３は、本発明の実施例にかかる画像表示装置の詳細を示す図である。図３に示すように、画像表示装置１００は、ＭＰＵ（Micro Processor Unit）６、ＬＣＤ（Liquid Cristal Display）４、及びＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）５を有する。ＭＰＵ６は、制御装置としての処理部１、２を有し、各処理部１、２には、ＯＳ１１、２１、ＡＰＭ１２、２２、描画システム１０１、２０１、ＧＵＩアプリケーション１０２及び１０３、２０２及び２０３がインストールされている。描画システムとＧＵＩアプリケーションから上述のウィンドウ生成部が構成される。
　上述したように、ＯＳ１は、例えばμＩＴＲＯＮ等の制御系のＯＳであり、独自描画システム１０１を搭載し、さらにＬＣＤスピードメータなどの車両連携アプリケーションとしてＧＵＩアプリケーション１０２、１０３を搭載している。また、ＯＳ２は、描画システム２０１としてＸｗｉｎｄｏｗｓｙｓｔｅｍ等を搭載したＵＮＩＸ（登録商標）などの情報系ＯＳであり、マルチメディアアプリケーション（ＡＶＮ、ブラウザ等）をＧＵＩアプリケーション２０２、２０３として搭載している。
　さらに、画像表示装置１００は、ＶＲＡＭ５１が割り当てられるＨＷレイヤ７１、ＶＲＡＭ５２が割り当てられるＨＷレイヤ７２など、複数のＨＷレイヤを有する。ＬＣＤＣ３がこれらを合成して表示画面４１を生成し、ＬＣＤ４に表示する。ここで、本実施例においては、各ＯＳ上で起動する描画システム１０１、２０１には、少なくとも１つのＨＷレイヤが他の描画システムとは排他的に割り当てられている。つまり、描画システム１０１、２０１はＨＷレイヤを共有しない。本例においては、描画システム１０１がＶＲＡＭ５１にアクセスし、これに割り当てられたＨＷレイヤ７１を使用する。描画システム２０１はＶＲＡＭ５２にアクセスし、これに割り当てられたＨＷレイヤ７２を使用する。ＧＵＩアプリケーション１０２、１０３は、描画システム１０１を使用してＨＷレイヤ７１に所望のウィンドウを描画する。ＧＵＩアプリケーション２０２、２０３は、描画システム２０１を使用してＨＷレイヤ７２に所望のウィンドウを描画する。
　この画像表示装置１００は、複数のＯＳ１１、２１から共有されるディスプレイＬＣＤ４にアクセスする（組込み）システムである。各ＯＳ１１、２１にＡＰＭ１２、２２が配置されている。このＡＰＭは、マスタとスレーブとを有するマスタ－スレーブ方式とすることができる。この場合、マスタＡＰＭは、ＧＵＩアプリケーションにより配置されるウィンドウ配置情報（基底ウィンドウ報、優先度、背景情報など）を一括管理する。
　また、各ＯＳ１１、２１上のＡＰＭ１２、２２が互いに通信可能に構成されている。マスタＡＰＭは、ウィンドウ配置情報を基に全ＯＳ１１、２１の描画システム１０１、２０１に、必要に応じてウィンドウの配置命令を出すことができる。ウィンドウ配置命令は、後述するように、例えば、タッチパネルの操作時において優先度を変更する場合又はフォーカスの移動する場合などに出される。なお、マスタ－スレーブ方式とせず、各ＡＰＭが配置命令を個別に出すものとしてもよい。描画システム１０１、２０１は、ＡＰＭで管理している透過ウィンドウを、受信した配置命令に基づいて重ね合わせる。
　ＡＰＭをマスタ－スレーブ方式にした場合は、以下のように動作する。先ず、いずれかのＯＳにＡＰＭのマスタを配置し、その他のＯＳにはＡＰＭスレーブを配置する。ＡＰＭマスタは、全ウィンドウの制御及び管理を行う。本例では、ＯＳ２１にＡＰＭマスタが配置され、ＯＳ１１にＡＰＭスレーブが配置されているものとして説明する。ＡＰＭスレーブ１２は、主にＡＰＭマスタ２２と描画システム１０１との間の通信を行う。ＡＰＭマスタ２２は全ウィンドウのウィンドウ配置情報（ウィンドウの枠情報、優先度、及び背景情報）を有する。新たなウィンドウの生成や、ウィンドウの優先度の変更があると、ＡＰＭマスタ２２が管理する全ウィンドウ配置情報が更新される。この際、ＡＰＭマスタ２２は、ＡＰＭスレーブ１２からＡＰ１０２、ＡＰ１０３のウィンドウ配置情報を取得する。また、ＡＰ２０２、ＡＰ２０３のウィンドウ配置情報は、ＡＰ２０２、ＡＰ２０３から直接取得する。ＡＰＭマスタ２２は更新された全ウィンドウ配置情報を基に、透過ウィンドウを生成する。なお、ＡＰＭマスタ２２は、必要に応じて、例えばウィンドウ配置情報を更新するタイミングで全ＯＳの描画システム１０１、２０１にウィンドウの配置命令を出力してもよい。描画システム２０１は、ＡＰＭ２２を介してＡＰＭ１２からの配置命令を受け取ることができる。
　図４は、本実施例にかかる画像表示装置の動作を示すシーケンス図である。図５は、ウィンドウ制御方法を説明するための図である。以下では、ＡＰＭをマスタ－スレーブ方式とし、異なるＨＷレイヤに描画されるウィンドウを合成して表示する処理について具体的に説明する。上述したように、各ＯＳにＡＰＭを配置し、ＯＳ２１に配置されるＡＰＭマスタ２２で全ＧＵＩアプリケーションが使用するウィンドウ配置情報の管理を一括で行う。ウィンドウ配置情報は、ウィンドウが矩形ウィンドウであれば、ウィンドウの枠情報及び優先度である。また、ウィンドウが非矩形形状であれば、基底ウィンドウ情報、背景情報及び優先度などである。なお、必要に応じて優先度を書きかえる等のウィンドウ配置情報の制御を行うことも可能である。ＡＰＭマスタ２２は、ハードディスク等の記憶手段を利用してウィンドウ配置情報を管理する。
　ＡＰＭマスタ２２は、各々のＯＳ上で動作する全ＧＵＩアプリケーションが有するウィンドウの配置情報、優先度情報などのウィンドウ配置情報をＧＵＩアプリケーションから取得し、保有する。ＡＰＭマスタ２２は、ＡＰでウィンドウが生成されたタイミング、又はウィンドウが破棄されたタイミング等で、ウィンドウ配置情報を更新する。
　Ｚ軸制御に関しては、各描画システム１０１、２０１が保有するウィンドウに優先度（表示優先度）を設定し、優先度の高低でウィンドウの重ね合わせを決定する。図５に示す例では、矩形以外のウィンドウを有するアプリケーション１０２及びそれを描画する描画システム１０１が動作するＯＳをＯＳ１１とする。また、矩形ウィンドウ７２１、７２２を生成するＧＵＩアプリケーション２０２、２０３及び描画システム２０１を有するＯＳをＯＳ２１とする。ＨＷレイヤ７１に描画されるウィンドウ７１１は、ＡＰＭ１２により配置命令が生成される。ＨＷレイヤ７２に描画されるウィンドウ７２１、７２２、７２５は、ＡＰＭ２２により配置命令が生成される。ここでは、ＨＷレイヤ７２がＨＷレイヤ７１の上面に配置され、ウィンドウの表示優先度は、矩形ウィンドウ７２１（表示優先度１５）＞非矩形ウィンドウ７１１（表示優先度１０）＞矩形ウィンドウ７２２（表示優先度５）となっている。以下では、非矩形ウィンドウ７１１をＨＷレイヤ７１に配置する場合の動作について説明する。ウィンドウ７２１、７２２、７１１は、それぞれＡＰ２０２、２０３、１０２によって表示要求が出されるウィンドウとする。
　まず、ＯＳ１でＡＰ１０２を起動させる（ステップＳ１）。ＡＰ１０２は、ＡＰＭスレーブ１２に対して優先度１０でウィンドウ７１１の表示を要求する（ステップＳ２）。すると、ＡＰＭスレーブ１２は、優先度１０でウィンドウ７１１の表示要求が出されていることをＯＳ間通信によりＡＰＭマスタ２２に通知する（ステップＳ３）。ＡＰＭマスタ２２は、ウィンドウ７１１のウィンドウ配置情報から、当該ウィンドウが非矩形情報であることを検知する。
　本実施例においては、ＯＳ１１側で動作するアプリケーションのウィンドウ生成時に、ＯＳ１１側のＡＰＭ２２はウィンドウの種類により最適な境界区分を選択できる。ＡＰ１０２は、ＡＰＭ２２に境界区分を通知する。ＡＰ１０２は、矩形ウィンドウのときは、矩形を、非矩形形状のウィンドウのときは、ビットマップを境界区分として選択する。ＡＰＭ２２が境界区分として矩形を受け取った場合、後述するスナップショット取得処理は行わない。この場合、ＡＰ１０２は、矩形の左上端の座標と幅／高さ情報を境界データとしてＡＰＭ２２に通知する。これにより、ＡＰＭ２２は、該当矩形領域が下のＨＷレイヤ７１の表示を透過する透過ウィンドウを生成することができる。
　なお、本実施の形態のように、上位レイヤであるＨＷレイヤ７２を管理するＡＰＭ２２がマスタとなって透過ウィンドウの制御を行えば、他方のＨＷレイヤに対する配置命令を生成する必要がなく、システムを簡易に構成することができる。この場合、ＡＰＭスレーブ１２は、同時の描画処理を実施した後、ウィンドウ配置情報をＡＰＭマスタ２２に送付するものとしてもよい。この場合、ＡＰＭマスタは、送付されたウィンドウ配置情報に応じて透過ウィンドウの生成又は削除を行うものとすることができる。
　ＡＰＭ２２は、境界区分としてビットマップを受け取った場合、非矩形ウィンドウ７１１の形状を取得するための情報をＡＰ１０２から取得する。具体的には、ＡＰＭ２２は、非矩形ウィンドウを含む矩形（基底ウィンドウ）７１５の矩形情報と、非矩形ウィンドウの形状を取得するための補助情報とをＡＰ１０２から受け取る。また、ＡＰＭ１２は、非矩形ウィンドウ７１１のスナップショット(ビットマップデータ)を撮り、共有メモリ１３３に保存する。共有メモリ１３３は、描画システム１０１、２０１からアクセス可能なメモリである。基底ウィンドウは、非矩形ウィンドウの外枠となる矩形情報である。補助情報としては、例えば、基底ウィンドウ内であって非矩形ウィンドウ以外の領域の色を示す背景色情報がある。この背景色情報を閾値としウィンドウ形状を検出することができる。さらに、補助情報としては、背景色情報の他に透過率（アルファブレンド値）を選択することができる。通常透過率は、非透過の値の±１（限りなく非透過）の値を選択する。
　本実施例においては、ウィンドウ７１１のウィンドウ配置情報として、優先度＝１０、閾値＝１２５の情報と、基底ウィンドウの配置位置及び大きさ（画面左端からの距離ｌｅｆｔ＝１００、画面最上端からの距離２００、ウィンドウの幅＝１５０、ウィンドウの高さ＝１５０）を有している。
　以上の結果を基に、基底ウィンドウ７１５内のビットマップデータをスナップショットとして抽出する。なお、基底ウィンドウ７１５内に他の優先度の低いウィンドウがあった場合、ＡＰＭ１２の情報を基に、そのウィンドウが存在する領域を、閾値の色や透過率で書き換えた形でスナップショットを抽出することも可能である。ＯＳ２１側のＡＰＭ２２は、スナップショットデータを境界データ（非矩形ウィンドウの輪郭情報）に変換し、保存する（ステップＳ４）。
　次に、ＡＰＭマスタ２２は、ウィンドウ７１１のウィンドウ配置情報により、ウィンドウ配置情報を更新する（ステップＳ５）。ＡＰＭ２２は、ＨＷレイヤ７１の上にＨＷレイヤ７２が位置することから、ウィンドウ７１１の透過ウィンドウ７２５が必要になると判断することができる。本実施例においては、ウィンドウ７１１は、ウィンドウ７２１とウィンドウ７２２に挟まれている。なお、ウィンドウ７１１の基底ウィンドウがウィンドウ７２１、７２２に重複し、かつ優先度もこれらのウィンドウより小さい場合は、上記タイミングで非矩形ウィンドウの境界データを取得しなくてもよい。
　ＡＰＭスレーブ１２は、ウィンドウ７１１の生成を描画システム１０１に指示する（ステップＳ６）。一方、ＡＰＭマスタ２２は、上述の境界データを基に透過ウィンドウ７２５を作成する（ステップＳ７）。ステップＳ７において作成された透過ウィンドウ７２５の優先度を考慮して、ＯＳ２側に表示されている全てのウィンドウを再配置する（ステップＳ８）。
　次に、ＡＰＭマスタ２２は、ウィンドウ配置情報を基に描画システム２０１に対し、ウィンドウの再配置を行うよう指示する。新たなウィンドウが加わったり、ウィンドウの表示順序が変更になるなどがあればウィンドウの配置を更新する。ＡＰＭマスタ２２は、また配置情報に基づきウィンドウの再配置要求をＡＰＭスレーブ１２に送信する（ステップＳ９）。ＡＰＭスレーブ１２は、これに基づき描画システム１０１にウィンドウの再配置を命令する（ステップＳ１０）。描画システム１０１は、必要に応じてウィンドウの表示順序等を変更する。最後に、ＡＰＭスレーブ１２の指示により、描画システム１０１がウィンドウ７１１を含むＨＷレイヤ７１のウィンドウを表示させる（ステップＳ１１）。また、ＡＰＭマスタ２２の指示により、描画システム２０１が透過ウィンドウ７２５を含むＨＷレイヤ７２のウィンドウを表示する（ステップＳ１２）。
　こうしてＡＰＭマスタ２２の配置命令に従って生成されたＨＷレイヤ７１、７２がＬＣＤＣ３により合成される。そのＬＣＤ表示画面４１には、ウィンドウ７１１、ウィンドウ７１２と、ウィンドウ７２２内に透過ウィンドウを介してウィンドウ７２２が表示されることになる（図５参照）。
　ここで、ＯＳ１１側のウィンドウ７１１を移動した場合、ＡＰＭ間通信を行い、差分情報をＡＰＭマスタ２２に通知する。差分情報及び境界データを基にＡＰＭマスタ２２は、透過ウィンドウ及び境界データ値の修正を行う。例えば、非矩形ウィンドウ７１１が２ドット左に移動する場合、ＡＰＭマスタ２２は、境界データと差分情報を基に計算し、透過ウィンドウ７２５として扱う領域及び境界データの修正を行えばよい。
　また、ウィンドウ生成時に、同一描画システム内に優先度が高いウィンドウがあり、ウィンドウ領域の一部が隠れてしまう場合、生成中のウィンドウは、一時的にＶＲＡＭ内のＨＷレイヤに割り当てられていない領域（以下、退避領域７０という）に非矩形ウィドウを移動し、スナップショットの抽出を行う。ウィンドウ生成時のスナップショット抽出後は、自由に上記の背景色や透過率を変えることが可能である。ウィンドウの一部が他のウィンドウで隠れてしまう場合であっても、非矩形の場合は、当該非矩形ウィンドウの形状を抽出しておく。このことで、当該非矩形ウィンドウが移動して、全体が露出されるような場合であっても、再度非矩形ウィンドウの形状情報を取得することなく処理を行うことができる。
　さらに、ＡＰＭマスタ２２は、共有メモリ１３３に蓄えられたスナップショット情報から境界追跡を行い、境界データを抽出しＯＳ２１側のメモリＶＲＡＭ５２に保存する。スナップショット抽出及びＯＳ２１側の境界追跡処理は、基本的にウィンドウ生成時だけ必要である。その後は差分情報だけ取り扱うようにすることにより、システムに対して負担をかけない。
　図６は、スナップショットデータから境界データに変換する方法を説明する図である。境界データは、規定ウィンドウの左上端を起点とした相対座標で表現する。Ｘ軸は右方向、Ｙ軸は下方向にいくほど値が大きくなるものとする。上述の例では、ＡＰＭマスタ２２は、透過ウィンドウ７２５として扱う領域を、境界データを基に計算し、ディスプレイに表示する。境界データは、例えばＹ＝０～６についてＸ＝（最左端、最右端）で表現することができる。
　ここで、境界データからの透過ウィンドウ７２５の抽出処理には複雑なアルゴリズムを使用しないため、高速な透過ウィンドウ７２５の描画が可能である。ＯＳ１１側のアプリケーションが移動した場合には、差分情報のみがＯＳ２１側に送られる。
　次に、境界データを抽出する他の方法について説明する。図７Ａ、Ｂは、非矩形ウィンドウの境界データを抽出する方法を説明する図である。図７Ａに示すように、命令生成部２２２は、特定画像８０２を含む基底ウィンドウ８０１の上下左右方向から、背景情報（背景値）を閾値として各画素値が背景値であるか否かの判定を行うことで、特定画像８０２の輪郭を検出する。例えば、命令生成部２２２は、最左側一列について、各画素が背景値に一致するか否かを判定する。本例においては、上端から一致判定していくと、画素８１１のみ、当該画素値が背景値と異なることが検出され、当該画素８１１が輪郭であることが検出される。次に、反対側の最右列について、各画素が背景値に一致するかを判定する。本例では、画素８１２のみが背景値と一致し、画素８１２が輪郭であることが検出される。さらに、上端の一列について、各画素が背景値に一致するかを判定すると、画素８１３が検出される。最後に、最下端の一列について、各画素が背景値に一致するかを判定すると、画素８１４、８１５の２点が検出される。以上を繰り返すことで、特定画像８０２の境界データを検出することができる。なお、いずれの列から一致判定してもよい。
　または、図７Ｂに示すように、命令生成部２２２は、背景情報を閾値として特定画像８２２を含む基底ウィンドウ８２１内を探索して特定画像８２１の輪郭を構成する任意の点８３１を検出する。そして、命令生成部２２２は、当該点８３１を起点として周囲の画素値を閾値判定することで特定画像８２２の輪郭を検出することができる。例えば、基底ウィンドウの中心を通る水平方向、垂直方向の各一列について調べることで、基底ウィンドウ内の輪郭を何点か起点として検出する。なお、本例では、水平方向の画素値を背景値と比較することで、起点８３１～８３４を検出し、これらの起点８３１～８３４の周囲（例えば８近傍）の画素値を背景値と比較し、輪郭が再度検出されたら、さらにその８近傍の画素値を背景値と比較するなどすればよい。
　本実施例においては、複数のＯＳの描画システムがそれぞれのＨＷレイヤに描画するウィンドウを、透過ウィンドウを使用して重ね合わせることができる。この場合、基底ウィンドウ及び背景情報を使用して、透過ウィンドウを生成するため、情報のやりとりが少なくてよい。また、非矩形ウィンドウやウィンドウの一部が透過している場合でも、共有メモリ１３３を用いたスナップショット抽出方法及び境界データを用いた描画処理により、システムに負担をかけず各ＯＳの特長を生かした描画が可能になる。この機能は、組込み系のＧＵＩシステム等で特に効果を発揮する。
　なお、本発明は上述した実施例のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
　例えば、上述の実施例では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
　この出願は、２００７年１２月２６日に出願された日本出願特願２００７－３３４８５５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、表示部にウィンドウを表示するための画像表示装置、表示制御方法及びこの表示制御方法をコンピュータに実行させるためのプログラムを格納する記録媒体に適用することができる。

Claims (22)

  1. 　合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第１の表示レイヤが第２の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１の表示レイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる管理部を有し、
    　前記管理部は、前記特定画像の形状が非矩形形状である場合、前記画像情報に基づき前記特定画像の形状を取得し、前記透過画像を前記第２の表示レイヤに生成させる画像表示システム。
  2. 　前記管理部は、
    　合成される複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示優先情報を各表示レイヤに対応する画像生成部から取得する情報取得部と、
    　第１の表示レイヤが第２の表示レイヤより表示順位が低く、前記特定画像の形状が非矩形形状である場合において、前記配置情報及び前記表示優先情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１のレイヤに描画される画像を前記特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる命令生成部と、
    を含む請求項１記載の画像表示システム。
  3. 　前記管理部は、前記配置情報及び前記表示優先情報に基づき、前記第１の表示レイヤに描画される非矩形形状の第１画像であって、前記第２の表示レイヤに描画される第２画像と配置位置が重複し、その表示優先情報が前記第２画像の表示優先度より高い画像を前記特定画像として検出する
    　ことを特徴とする請求項１又は２記載の画像表示システム。
  4. 　前記情報取得部は、前記特定画像の形状が非矩形形状である場合、当該特定画像を含む矩形情報、及び当該特定画像と他の領域とを識別するための背景情報を、前記画像情報として取得する
    　ことを特徴とする請求項２又は３記載の画像表示システム。
  5. 　前記命令生成部は、前記背景情報を閾値として前記特定画像の輪郭を検出する
    　ことを特徴とする請求項４記載の画像表示システム。
  6. 　前記命令生成部は、前記特定画像を含む矩形領域の上下左右から前記背景情報を閾値として各画素値が背景であるか否かを判定することで、前記特定画像の輪郭を検出する
    　ことを特徴とする請求項５記載の画像表示システム。
  7. 　前記命令生成部は、前記背景情報を閾値として前記特定画像を含む矩形領域を探索して前記特定画像の輪郭を構成する任意の点を検出し、当該点を起点として周囲の画素値を閾値判定することで前記特定画像の輪郭を検出する
    　ことを特徴とする請求項５記載の画像表示システム。
  8. 　前記複数の表示レイヤを、予め決められた表示順位に従って合成し、表示部に表示する単一の画面情報を生成する合成部を更に含む
    　ことを特徴とする請求項１乃至７のいずれか１項記載の画像表示システム。
  9. 　前記透過画像は、生成される当該表示レイヤの該当箇所の画像情報を消去する情報であること、又は透過ビットが設定された画像情報である
    　ことを特徴とする請求項１乃至８のいずれか１項記載の画像表示システム。
  10. 　前記第１及び第２のレイヤに表示する画像をそれぞれ管理する第１及び第２の管理部を有し、前記第１及び第２の管理部は、それぞれ異なるＯＳ上で動作する
    　ことを特徴とする請求項１乃至９のいずれか１項記載の画像表示システム。
  11. 　前記第１及び第２の管理部に対応して設けられ、当該第１及び第２の管理部が生成した命令に従って前記第１及び第２の表示レイヤに画像を描画する第１及び第２の画像生成部を有し、前記第１及び第２の画像生成部は、それぞれ異なるＯＳ上で動作する
    　ことを特徴とする請求項１０記載の画像表示システム。
  12. 　前記表示レイヤに描画される画像はウィンドウである
    　ことを特徴とする請求項１乃至１１のいずれか１項記載の画像表示システム。
  13. 　所定の動作をコンピュータに実行させるためのプログラムが格納された記録媒体であって、
    　合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第１の表示レイヤが第２の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１の表示レイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させ、
    　前記特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる際には、前記特定画像の形状が非矩形形状である場合、前記画像情報に基づき前記特定画像の形状を取得し、前記透過画像を前記第２の表示レイヤに生成させるプログラムが格納された記録媒体。
  14. 　前記特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる際には、
    　合成される複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示優先情報を各表示レイヤに対応する画像生成部から取得し、
    　第１の表示レイヤが第２の表示レイヤより表示順位が低く、前記特定画像の形状が非矩形形状である場合において、前記配置情報及び前記表示優先情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１のレイヤに描画される画像を前記特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる
    　ことを特徴とする請求項１３記載の記録媒体。
  15. 　前記特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる際には、前記配置情報及び前記表示優先情報に基づき、前記第１の表示レイヤに描画される非矩形形状の第１画像であって、前記第２の表示レイヤに描画される第２画像と配置位置が重複し、その表示優先情報が前記第２画像の表示優先度より高い画像を前記特定画像として検出する
    　ことを特徴とする請求項１４記載の記録媒体。
  16. 　前記合成される複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示優先情報を各表示レイヤに対応する画像生成部から取得する際には、前記特定画像の形状が非矩形形状である場合、当該特定画像を含む矩形情報、及び当該特定画像と他の領域とを識別するための背景情報を、前記画像情報として取得する
    　ことを特徴とする請求項１３又は１５記載の記録媒体。
  17. 　前記特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる際には、前記背景情報を閾値として前記特定画像の輪郭を検出する
    　ことを特徴とする請求項１６記載の記録媒体。
  18. 　合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第１の表示レイヤが第２の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１の表示レイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させ、
    　前記特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる際には、前記特定画像の形状が非矩形形状である場合、前記画像情報に基づき前記特定画像の形状を取得し、前記透過画像を前記第２の表示レイヤに生成させる画像表示方法。
  19. 　前記特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる際には、
    　合成される複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示優先情報を各表示レイヤに対応する画像生成部から取得し、
    　第１の表示レイヤが第２の表示レイヤより表示順位が低く、前記特定画像の形状が非矩形形状である場合において、前記配置情報及び前記表示優先情報に基づき、前記第１及び第２の表示レイヤの合成時に表示されるべき前記第１のレイヤに描画される画像を前記特定画像として検出し、該特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる
    　ことを特徴とする請求項１８記載の画像表示方法。
  20. 　前記特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる際には、前記配置情報及び前記表示優先情報に基づき、前記第１の表示レイヤに描画される非矩形形状の第１画像であって、前記第２の表示レイヤに描画される第２画像と配置位置が重複し、その表示優先情報が前記第２画像の表示優先度より高い画像を前記特定画像として検出する
    　ことを特徴とする請求項１９記載の画像表示方法。
  21. 　前記合成される複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示優先情報を各表示レイヤに対応する画像生成部から取得する際には、前記特定画像の形状が非矩形形状である場合、当該特定画像を含む矩形情報、及び当該特定画像と他の領域とを識別するための背景情報を、前記画像情報として取得する
    　ことを特徴とする請求項１８又は１９記載の画像表示方法。
  22. 　前記特定画像を表示させるための透過画像を前記第２の表示レイヤに生成させる際には、前記背景情報を閾値として前記特定画像の輪郭を検出する
    　ことを特徴とする請求項２１記載の画像表示方法。
PCT/JP2008/069132 2007-12-26 2008-10-22 画像表示システム、画像表示方法及び記録媒体 WO2009081650A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2007334855A JP4780101B2 (ja) 2007-12-26 2007-12-26 画像表示システム、画像表示方法及びプログラム
JP2007-334855 2007-12-26

Publications (1)

Publication Number Publication Date
WO2009081650A1 true WO2009081650A1 (ja) 2009-07-02

Family

ID=40800966

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/069132 WO2009081650A1 (ja) 2007-12-26 2008-10-22 画像表示システム、画像表示方法及び記録媒体

Country Status (2)

Country Link
JP (1) JP4780101B2 (ja)
WO (1) WO2009081650A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012044400A (ja) * 2010-08-18 2012-03-01 Furuno Electric Co Ltd 重畳画像生成装置及びそれを備える重畳画像表示装置
FR2964236A1 (fr) * 2010-08-31 2012-03-02 Thales Sa Dispositif et procede de generation d'images multifenetres a priorite variable
WO2014062102A1 (en) * 2012-10-15 2014-04-24 Saab Ab Flexible display system
US9384529B2 (en) 2011-02-17 2016-07-05 Saab Ab Flight data display

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110119454A1 (en) * 2009-11-17 2011-05-19 Hsiang-Tsung Kung Display system for simultaneous displaying of windows generated by multiple window systems belonging to the same computer platform
CN112074805B (zh) * 2018-05-07 2023-03-28 华为技术有限公司 一种用于生成显示内容的方法、装置和计算机程序
US11107445B2 (en) 2019-09-13 2021-08-31 Canon Medical Systems Corporation Network centric windowing system for integration and display of visual data from networked sources

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6315285A (ja) * 1986-07-07 1988-01-22 株式会社リコー マルチウインドウ表示機能を有する表示装置
JPH05225328A (ja) * 1991-07-22 1993-09-03 Internatl Business Mach Corp <Ibm> 多重ソース画像のリアルタイムミキシングおよびアンチエリアシングのための装置および方法
JPH08297481A (ja) * 1995-04-27 1996-11-12 Toshiba Corp グラフィック画像表示装置
JP2000149026A (ja) * 1998-11-16 2000-05-30 Dainippon Printing Co Ltd 画像トリミング装置
JP2002182890A (ja) * 2000-12-15 2002-06-28 Mitsubishi Electric Corp 出力データ制御装置及び出力データ制御方法
JP2002229540A (ja) * 2001-01-31 2002-08-16 Mitsubishi Electric Corp データ放送表示システム
JP2005123775A (ja) * 2003-10-15 2005-05-12 Sony Corp 再生装置、再生方法、再生プログラムおよび記録媒体
JP2006098935A (ja) * 2004-09-30 2006-04-13 Matsushita Electric Ind Co Ltd ビデオ・グラフィックス表示装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6315285A (ja) * 1986-07-07 1988-01-22 株式会社リコー マルチウインドウ表示機能を有する表示装置
JPH05225328A (ja) * 1991-07-22 1993-09-03 Internatl Business Mach Corp <Ibm> 多重ソース画像のリアルタイムミキシングおよびアンチエリアシングのための装置および方法
JPH08297481A (ja) * 1995-04-27 1996-11-12 Toshiba Corp グラフィック画像表示装置
JP2000149026A (ja) * 1998-11-16 2000-05-30 Dainippon Printing Co Ltd 画像トリミング装置
JP2002182890A (ja) * 2000-12-15 2002-06-28 Mitsubishi Electric Corp 出力データ制御装置及び出力データ制御方法
JP2002229540A (ja) * 2001-01-31 2002-08-16 Mitsubishi Electric Corp データ放送表示システム
JP2005123775A (ja) * 2003-10-15 2005-05-12 Sony Corp 再生装置、再生方法、再生プログラムおよび記録媒体
JP2006098935A (ja) * 2004-09-30 2006-04-13 Matsushita Electric Ind Co Ltd ビデオ・グラフィックス表示装置

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012044400A (ja) * 2010-08-18 2012-03-01 Furuno Electric Co Ltd 重畳画像生成装置及びそれを備える重畳画像表示装置
FR2964236A1 (fr) * 2010-08-31 2012-03-02 Thales Sa Dispositif et procede de generation d'images multifenetres a priorite variable
US8842129B2 (en) 2010-08-31 2014-09-23 Thales Device and method for generating variable priority multiwindow images
US9384529B2 (en) 2011-02-17 2016-07-05 Saab Ab Flight data display
WO2014062102A1 (en) * 2012-10-15 2014-04-24 Saab Ab Flexible display system
US9691359B2 (en) 2012-10-15 2017-06-27 Saab Ab Vehicle display system with transparent display layer

Also Published As

Publication number Publication date
JP2009157077A (ja) 2009-07-16
JP4780101B2 (ja) 2011-09-28

Similar Documents

Publication Publication Date Title
JP4780101B2 (ja) 画像表示システム、画像表示方法及びプログラム
JP5045428B2 (ja) 画像表示システム、画像表示方法及びプログラム
JP6015656B2 (ja) 情報処理装置、情報処理システム、サーバ、情報処理方法、および、コンピュータ・プログラム
US20180232139A1 (en) Window control method, information processing apparatus, and control method and control program of information processing apparatus
JP4180462B2 (ja) 画面表示装置
CN111066081A (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
JP2005018613A (ja) 情報処理装置、ウィンドウ表示制御方法およびプログラム
WO2020213379A1 (ja) 車両用装置、車両用装置の制御方法
US8441523B2 (en) Apparatus and method for drawing a stereoscopic image
JPH06259217A (ja) マルチウィンドウシステム
JP5229727B2 (ja) マルチ画像表示システム、画像処理方法及びプログラム
JP5025414B2 (ja) 車載用画像表示装置
JP2004318269A (ja) 画像表示装置、画像表示方法、及び画像表示システム
JP2000155637A (ja) マルチウィンドウ表示方法及びマルチウィンドウ表示システム
JP2020177073A (ja) 車両用装置、車両用装置の制御方法
JP2017097120A (ja) 表示制御装置、マルチディスプレイシステム、およびマルチディスプレイシステムの表示方法
JP2010176608A (ja) 描画処理装置
US8466926B2 (en) Renderer for presenting an image frame by help of a set of displaying commands
US12020343B2 (en) Vehicle device and vehicle device control method
WO2022209246A1 (ja) 表示制御システム、表示方法及びプログラム
JP2010128292A (ja) 画像表示システム
JP2020177074A (ja) 車両用装置、車両用装置の制御方法
KR20230076189A (ko) 앱 화면 해상도 최적 제어를 지원하는 단말 장치 및 그 제어 방법
JP2014131144A (ja) 画像処理方法および画像処理装置
JPH10333867A (ja) 画像表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08863461

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08863461

Country of ref document: EP

Kind code of ref document: A1