JP5045428B2 - 画像表示システム、画像表示方法及びプログラム - Google Patents

画像表示システム、画像表示方法及びプログラム Download PDF

Info

Publication number
JP5045428B2
JP5045428B2 JP2007334854A JP2007334854A JP5045428B2 JP 5045428 B2 JP5045428 B2 JP 5045428B2 JP 2007334854 A JP2007334854 A JP 2007334854A JP 2007334854 A JP2007334854 A JP 2007334854A JP 5045428 B2 JP5045428 B2 JP 5045428B2
Authority
JP
Japan
Prior art keywords
display
image
window
layer
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007334854A
Other languages
English (en)
Other versions
JP2009157635A (ja
Inventor
賢太郎 笹川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2007334854A priority Critical patent/JP5045428B2/ja
Priority to PCT/JP2008/071457 priority patent/WO2009081682A1/ja
Publication of JP2009157635A publication Critical patent/JP2009157635A/ja
Application granted granted Critical
Publication of JP5045428B2 publication Critical patent/JP5045428B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14Display of multiple viewports
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/04Partial updating of the display screen
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00Aspects of display data processing
    • G09G2340/14Solving problems related to the presentation of information to be displayed
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/393Arrangements for updating the contents of the bit-mapped memory
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39Control of the bit-mapped memory
    • G09G5/395Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

本発明は、表示部に例えばウィンドウ等を表示するための画像表示装置、表示制御方法及びプログラムに関する。
従来、例えば、単一のOS上で単一の描画系を有するシステム、X window system等、複数のOS上で単一の描画系を有するシステム、又はLCDC(LCDコントローラ)が有するOSD機能(On Screen Display)を利用して複数のVRAMをHWレイヤに割り当てるシステムがある。
これらのシステムを利用したウィンドウ制御装置が知られている。この種のウィンドウ制御装置は、プロセッサで同時に並行して処理される互いに異なるジョブの各々に対応するウィンドウを作成する。そして、ウィンドウ制御装置は、これらの個々のジョブに対応した複数のウィンドウを画面に同時に表示する。さらに、ウィンドウ制御装置は、複数のジョブ処理の状況を同時に監視することも可能になる。
例えば特許文献1には、ウィンドウ表示を用いて1つの画面上で複数の出力画像(画像データ)、例えば、複数のデバイスから出力される画像データを表示する出力データ制御装置が開示されている。この特許文献1にかかる出力データ制御装置は、複数の情報処理端末(PC)あるいは映像出力機器からの複数の画像データを入力する。そして、入力した複数の画像データをメイン画面とウィンドウ画面とを用いて一画面内に合成する。さらに、合成した画面をモニタ装置へ出力する。そして、出力データ制御装置は、メイン画面にウィンドウ画面を重ねて表示する割合を透明度として算出する。さらに、出力データ制御装置は、算出した透明度に従ってウィンドウ画面を表示する割合を変更して画面を変更し、変更した画面をモニタ装置へ出力する。
特許2002−182890号公報
このように、複数OSや複数描画システムで共有したLCD等のディスプレイに複数ウィンドウを表示する場合、従来技術であるOSD機能を利用し、ウィンドウ毎にHWレイヤを割り当てることによって、重ね合わせ制御をすることが可能であった。しかしながら、同時に扱えるウィンドウの数がHWレイヤの数に制限を受けてしまうという問題点がある。
これに対し、描画システムとしてマルチウインドウ表示が可能なウィンドウシステムを採用することにより、同時に扱えるウィンドウ数の制約を取り除くことが可能になった。しかしながら、各々の描画システムが異なるVRAMに描画するため、異なる描画システム間で動的なウィンドウ単位での重ね合わせ制御ができないという問題点がある。
また、HWレイヤ間で表示順が決まっており、それらを単に重ね合わせる手法においては、各HWレイヤ内ではそれぞれで使用されるローカル優先度が存在し、HWレイヤ毎に描画が行われる。各HWレイヤで描画された画像はHWレイヤ間の表示順に従って重ね合わせが行われる。すなわち、HWレイヤ1、HWレイヤ2(優先度はHWレイヤ1>HWレイヤ2)においては、HWレイヤ2のウィンドウはHWレイヤ1のウィンドウより手前に表示されることはない。
本発明は、このような問題点を解決するためになされたものであり、複数の描画システムから共有されるディスプレイを有するシステムにおいても、例えばウィンドウ単位での重ね合わせを可能とする画像表示装置、表示制御方法及びプログラムを提供することを目的とする。
本発明に係る画像表示システムは、合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第1の表示レイヤが第2の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第1及び第2の表示レイヤの合成時に表示されるべき前記第1の表示レイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第2の表示レイヤに生成させる管理部を有するものである。
本発明に係るプログラムは、所定の動作をコンピュータに実行させるためのプログラムであって、合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第1の表示レイヤが第2の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第1及び第2の表示レイヤの合成時に表示されるべき前記第1のレイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第2の表示レイヤに生成させる管理工程を有するものである。
本発明に係る画像表示方法は、合成される複数の表示レイヤのそれぞれに描画される画像の画像情報を取得し、第1の表示レイヤが第2の表示レイヤより表示順位が低い場合において、前記画像情報に基づき、前記第1及び第2の表示レイヤの合成時に表示されるべき前記第1のレイヤに描画される画像を特定画像として検出し、該特定画像を表示させるための透過画像を前記第2の表示レイヤに生成させる管理工程を有するものである。
本発明によれば、複数の描画システムから共有されるディスプレイを有するシステムにおいてもウィンドウ単位での重ね合わせを可能とする画像表示装置、表示制御方法及びプログラムを提供することができる。
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、複数のOS上でそれぞれ起動する描画システムから共有されるディスプレイにウィンドウを合成して表示することが可能な画像表示装置に適用したものである。
図1は、本発明の実施の形態にかかる画像表示装置を示す概略図である。画像表示装置100は、複数の、例えばCPU(Central Processing Unit)等からなる処理部1、2を有しており、それぞれ異なるOSがインストールされている。各OS上では、それぞれ、画像生成部としてのウィンドウ生成部10、20と、管理部としてのアプリケーションマネージャ(APM)12、22とが起動している。ここで、本実施の形態においては、例えば、一方のOSは、例えば、エンジン制御、スピード制御、又はエアバック制御などの制御系のOSであり、他方のOSは、エンターテーメントやマルチメディア用の情報系のOSとする。
ウィンドウ生成部10は、表示レイヤとしてのハードウェアレイヤ(HWレイヤ)71に表示するウィンドウ711を生成する。ウィンドウ生成部20は、HWレイヤ71と同一の表示部に表示されるHWレイヤ72に表示するウィンドウ721を生成する。
具体的には、APM12、22は、ウィンドウ生成部10、20から画像情報として各ウィンドウの枠情報及び各ウィンドウのZ軸情報(表示優先情報、以下優先度という。)を含むウィンドウ配置情報を取得する。ウィンドウの枠情報とは、矩形ウィンドウであれば、起点の座標並びに縦及び横の大きさ等とすることができる。優先度とは、全HWレイヤが共通して使用するウィンドウの表示順序を示す。本実施の形態においては、全HWレイヤが共通の優先度情報を使用することにより、HWレイヤを跨いだウィンドウの表示順の制御が可能となる。そして、APM22は、第1のHWレイヤ71が第2のHWレイヤ72より表示順位が低い場合において、ウィンドウ配置情報に基づき、第1及び第2のHWレイヤ71、72の合成時に表示されるべき第1のHWレイヤ71に描画されるウィンドウを特定ウィンドウ711として検出し、この特定ウィンドウ711を表示させるための透過ウィンドウ725を第2のHWレイヤ72に生成させる配置命令を生成する。APM12は、第1のHWレイヤ71に表示させるウィンドウを生成させる配置命令を生成する。
HWレイヤ71、72は、合成部としてのLCDコントローラ(図示せず)によって画面合成され、表示画面41が生成される。なお、本実施の形態においては、HWレイヤの表示順序は予め決められているのとして説明する。APMは、HWレイヤの上下関係と、ウィンドウの優先度に応じて、透過ウィンドウを形成する。LCDコントローラは、決められた表示順序に従ってLCDコントローラが表示画面を合成する。ただし、これに限らず、APM等がHWレイヤの表示順序を変更するようにしてもよい。
以下、APM22について詳述する。APM22は、情報取得部221及び命令生成部222を有する。情報取得部221は、合成される複数の表示レイヤのそれぞれに描画される画像の配置位置及び優先度を各表示レイヤに対応するウィンドウ生成部から取得する。すなわち、情報取得部221は、表示レイヤ72のウィンドウ配置情報をウィンドウ生成部20から取得する。また、表示レイヤ71のウィンドウ配置情報をウィンドウ生成部10からAPM12を介して取得する。
命令生成部222は、第1のHWレイヤ71が第2のHWレイヤ72より表示順位が低い場合において、ウィンドウ配置情報に基づき、第1及び第2のHWレイヤの合成時に表示されるべき第1のHWレイヤ71に描画されるウィンドウを特定ウィンドウとして検出し、この特定ウィンドウを表示させるための透過ウィンドウを第2のHWレイヤ72に生成させる配置命令を生成する。
そして、第2のHWレイヤ72の第1のウィンドウ711の優先度が第2のウィンドウ721の優先度より大きい場合、命令生成部222は、第1のHWレイヤ71に描画されるウィンドウを特定ウィンドウとして検出し、第2のHWレイヤ72において第1のウィンドウ711と同一形状及び同一配置位置に、上記特定ウィンドウを表示させるための透過ウィンドウ725を生成させる配置命令を生成する。ウィンドウ生成部20は、命令生成部222からの配置命令に従い第2のHWレイヤ72において、透過ウィンドウ725を生成し、第2のウィンドウ721と合成する。
ここで、透過ウィンドウとは、自身を透過し下のHWレイヤに表示された画像を透過して表示するものをいう。透過ウィンドウの一例としては、透過ウィンドウ内の領域についてHWレイヤにおける画像信号を消去するマスク処理を行って生成する。例えば、RGB情報と透過率情報(A)からなる32ビット(ARGB各8ビット)で1ドットを表現するシステムであれば、APM又は描画システムがVRAM内のデータ(透過率情報)をビット単位で制御することにより、透過ウィンドウを生成することができる。
なお、本実施の形態においては、処理部を2つとして説明しているが、2以上であってもよい。さらに、各ウィンドウ生成部は一のHWレイヤで、一のウィンドウの表示制御をするものとするが、2以上のHWレイヤであっても、2以上のウィンドウを表示させるものであってもよいことは勿論である。
このように、命令生成部222は、第1のウィンドウ711の情報としては、表示優先度と、ウィンドウ枠情報とを使用して透過ウィンドウ725の配置命令を生成する。つまり、命令生成部222は、第1のウィンドウ711の画素値等の画像情報を取得することなく、透過ウィンドウを生成する配置命令を生成する。このような透過ウィンドウを生成することにより、LCDコントローラがHWレイヤ71、72を画面合成すると、ウィンドウ711とウィンドウ721とが表示優先度に従って重畳された画面が生成される。このことにより、複数のOSで共有されるディスプレイを有するシステムにおいて、互いに表示する画像について詳細な情報を転送することなく少ないデータの受け渡しのみで異なるHWレイヤ間でのウィンドウの重ね合わせ制御(Z軸制御)が可能になる。したがって、複数のOSによって描画される画像情報を合成する処理を高速化することができる。以下、本発明の実施の形態について詳細に説明する。
図2は、本発明の実施の形態にかかる画像表示装置の詳細を示す図である。図2に示すように、画像表示装置100は、MPU(Micro Processor Unit)6、LCD(Liquid Cristal Display)4、及びSDRAM(Synchronous Dynamic Random Access Memory)5を有する。MPU4は、制御装置としての処理部1、2を有する。各処理部1、2は、OS11、12、APM12、22、ウィンドウ生成部10、20を有する。ウィンドウ生成部は、描画システム101、201、GUIアプリケーション102、103及び202、203を有する。
上述したように、OS1は、例えばμITRON等の制御系のOSであり、独自描画システム101を搭載し、さらにLCDスピードメータなどの車両連携アプリケーションとしてGUIアプリケーション102、103を搭載している。また、OS2は、描画システム201としてXwindowsystem等を搭載したUNIX(登録商標)などの情報系OSであり、マルチメディアアプリケーション(AVN、ブラウザ等)をGUIアプリケーション202、203として搭載している。
さらに、画像表示装置100は、VRAM51が割り当てられるHWレイヤ71、VRAM52が割り当てられるHWレイヤ72など、複数のHWレイヤを有する。上述したように、各HWレイヤには、表示順序が設定されている。ここでは、HWレイヤ72がHWレイヤ71より上に表示されるように設定されているものとする。LCDC3は、これらを合成して表示画面41を生成し、LCD4に表示する。ここで、本実施の形態においては、各OS上で起動する描画システム101、201には、少なくとも1つのHWレイヤが他の描画システムとは排他的に割り当てられている。
つまり、描画システム101、201はHWレイヤを共有しない。本例においては、描画システム101がVRAM51にアクセスし、これに割り当てられたHWレイヤ71を使用する。描画システム201はVRAM52にアクセスし、これに割り当てられたHWレイヤ72を使用する。GUIアプリケーション102、103は、描画システム101を使用してHWレイヤ71に所望のウィンドウを描画する。GUIアプリケーション202、203は、描画システム201を使用してHWレイヤ72に所望のウィンドウを描画する。
この画像表示装置100は、複数のOS11、21から共有されるディスプレイLCD4にアクセスする(組込み)システムである。各OS11、21には、APM12、22が配置されている。このAPMは、マスタとスレーブとを有するマスタ−スレーブ方式とすることができる。この場合、マスタAPMは、GUIアプリケーションが配置するウィドウのウィンドウ配置情報(ウィンドウの枠情報及び優先度)を一括管理する。
また、各OS11、21上のAPM12、22が互いに通信可能に構成されている。マスタAPMは、ウィンドウ配置情報を基に全OS11、21の描画システム101、201に、必要に応じてウィンドウの配置命令を出すことができる。ウィンドウ配置命令は、後述するように、例えば、タッチパネルの操作時において優先度を変更する場合又はフォーカスの移動する場合などに出される。なお、マスタ−スレーブ方式とせず、各APMが配置命令を個別に出すものとしてもよい。描画システム101、201は、APMで管理している透過ウィンドウを、受信した配置命令に基づいて重ね合わせる。
APMをマスタ−スレーブ方式にした場合は、以下のように動作する。先ず、いずれかのOSにAPMのマスタを配置し、その他のOSにはAPMスレーブを配置する。APMマスタは、全ウィンドウの制御及び管理を行う。本例では、OS21にAPMマスタが配置され、OS11にAPMスレーブが配置されているものとして説明する。APMスレーブ12は、主にAPMマスタ22と描画システム101との間の通信を行う。APMマスタ22は全ウィンドウのウィンドウ配置情報(ウィンドウの枠情報及び優先度)を有する。新たなウィンドウの生成や、ウィンドウの優先度の変更があると、APMマスタ22が管理する全ウィンドウ配置情報が更新される。この際、APMマスタ22は、APMスレーブ12からAP102、AP103のウィンドウ配置情報を取得する。また、AP202、AP203のウィンドウ配置情報は、AP202、AP203から直接取得する。APMマスタ22は更新された全ウィンドウ配置情報を基に、透過ウィンドウを生成する。なお、APMマスタ22は、必要に応じて、例えばウィンドウ配置情報を更新するタイミングで全OSの描画システム101、201にウィンドウの配置命令を出力してもよい。描画システム201は、APM22を介してAPM12からの配置命令を受け取ることができる。
図3は、本発明の実施の形態における画像表示装置の動作を示すシーケンス図である。
図4は、ウィンドウ制御方法を説明するための図である。以下では、APMをマスタ−スレーブ方式とし、異なるHWレイヤに描画されるウィンドウを合成して表示する処理について具体的に説明する。上述したように、各OSにAPMを配置し、OS21に配置されるAPMマスタ22で全GUIアプリケーションが使用するウィンドウの枠情報(X,Y軸)及び優先度(Z軸情報)の管理を一括で行う。なお、必要に応じて優先度を書きかえる等のウィンドウ配置情報の制御を行うことも可能である。APMマスタ22は、ハードディスク等の記憶手段を利用してウィンドウ配置情報を管理する。
APMマスタ22は、各々のOS上で動作する全GUIアプリケーションが有するウィンドウの枠情報及び優先度情報からなるウィンドウ配置情報をGUIアプリケーションから取得し、保有する。APMマスタ22は、APでウィンドウが生成されたタイミング、又はウィンドウが破棄されたタイミング等で、ウィンドウ配置情報を更新する。
さらに、APMマスタ22は、システムに搭載されたLCD4が2以上ある場合は、どのLCDとどのHWレイヤが対応しているかを示す割り当て情報を保有する。さらに、APMマスタ22は、VRAM51、52とHWレイヤ71、72間の座標割り当て情報等も保有する。なお、LCDが複数ある場合について及び座標割り当て情報についての詳細は後述する。Z軸制御に関しては、各描画システム101、201が保有するウィンドウに優先度(表示優先度)を設定し、優先度の高低でウィンドウの重ね合わせが決定される。図4に示す例では、上述したように、HWレイヤ72がHWレイヤ71の上に表示される。HWレイヤ72上には、アプリケーションAP202〜AP205により、ウィンドウ821〜824が表示される。HWレイヤ71上には、アプリケーション102、103によりウィンドウ821、822が表示される。AP202〜AP205は、OS21上で起動するアプリケーションであり、AP102、AP103は、OS11上で起動するアプリケーションである。
ここで、AP102のウィンドウの優先度が6、AP103のウィンドウの優先度が14、AP202のウィンドウの優先度が12、AP203のウィンドウの優先度が12、AP204のウィンドウの優先度が10、AP205のウィンドウの優先度が8の場合について説明する。すなわち、各ウィンドウの優先順位は、
AP103のウィンドウ812>AP202のウィンドウ821、AP203のウィンドウ822>AP204のウィンドウ823>AP205のウィンドウ824>AP102のウィンドウ811
となっている。そして、ウィンドウ821、822は、互いに重複しない。ウィンドウ822〜824は互いにその全部が重複している。ウィンドウ811は、ウィンドウ821に対して全部が重複している。ウィンドウ812はウィンドウ822に対して全部が重複している。
ここでは、ウィンドウ821〜824、811が表示されているときに、AP103によって、ウィンドウ812を表示させる場合について説明する。先ず、AP103を起動する(ステップS1)。AP103は、優先度16のウィンドウ812を表示したい旨、スレーブAPM12に通知する(ステップS2)。APM12は、優先度16でウィンドウ812を表示したい旨をマスタAPM22に通知する(ステップS3)。マスタAPM22は、それまでのウィンドウ配置情報、すなわちウィンドウ821〜824、811のウィンドウ配置情報に、ウィンドウ812のウィンドウ配置情報を加え、全体のウィンドウ配置情報を更新する(ステップS4)。本例においては、ウィンドウ812のウィンドウ配置情報として、画面左端からの距離(left=100)、画面最上端からの距離(top=200)、ウィンドウの横幅(width=150)、ウィンドウの高さ幅(height=150)、及び表示優先度=14が入力される例を示している。
なお、本実施の形態のように、上位レイヤであるHWレイヤ72を管理するAPM22がマスタとなって透過ウィンドウの制御を行えば、他方のHWレイヤに対する配置命令を生成する必要がなく、システムを簡易に構成することができる。この場合、スレーブAPM12は、同時の描画処理を実施した後、ウィンドウ枠情報及び優先度情報をマスタAPM22に送付するものとしてもよい。この場合、マスタは、送付されたウィンドウ配置情報に応じて透過ウィンドウの生成又は削除を行うものとすることができる。
次に、スレーブAPM12は、描画システム101にウィンドウ812の作成を要求する(ステップS5)。一方、マスタAPM22は、新たなウィンドウ812の配置位置を判断する。ここでは、
(1)ウィンドウ812が生成されるHWレイヤ71の上にHWレイヤ72が配置されること
(2)HWレイヤ72において、ウィンドウ812の配置位置と対応する位置に、ウィンドウ822〜824が配置されていること
(3)ウィンドウ822〜824より、ウィンドウ812の表示優先度が高いこと
などについてウィンドウ配置情報に基づき、透過ウィンドウの生成の要否を判断する。
すなわち、下位レイヤであるHWレイヤ71上にウィンドウがある場合は、当該ウィンドウを透過表示させるために上位レイヤであるHWレイヤ72上に透過ウィンドウを生成する。また、HWレイヤ71上のウィンドウと、HWレイヤ72上のウィンドウが互いに重複し、かつHWレイヤ71のウィンドウの優先度がHWレイヤ2のウィンドウの優先度より高い場合、同じく、HWレイヤ71上のウィンドウを透過表示するための透過ウィンドウをHWレイヤ2に生成する。ここでは、ウィンドウ811とウィンドウ821は互いに重複する。しかし、ウィンドウ811の優先度がウィンドウ811の優先度より高い。したがって、透過ウィンドウは生成されない。また、ウィンドウ812のHWレイヤ72のウィンドウと、HWレイヤ71のウィンドウとが互いに重複している。そして、HWレイヤ71のウィンドウ812の表示優先度が、HWレイヤ72のウィンドウ822〜824の優先度より高い。このため、HWレイヤ72に透過ウィンドウを生成すると判断する。こうして、HWレイヤ72のウィンドウ812の位置に、透過ウィンドウ825を生成する(ステップS6)。
次に、APMマスタ22は、配置情報を基にウィンドウの再配置を行う。ここで、ウィンドウ812の表示優先度が高くかつウィンドウ812と重複する位置にウィンドウ822〜824が存在する。このため、これらのウィンドウに優先して透過ウィンドウ825が配置される(ステップS7)。なお、例えば、ウィンドウ822より優先度が低くウィンドウ823より優先度が高いような場合は、ウィンドウ812は、ウィンドウ823の上であって、ウィンドウ822の下に配置されるため、透過ウィンドウは生成されない。
また、スレーブAPM12に対し、ウィンドウ配置情報が送られ、これに基づきウィンドウの再配置要求が行われる。本例においては、HWレイヤ71で重複するウィンドウはなく、ウィンドウ811に新しいウィンドウ812を並べて配置するようなウィンドウ配置命令を生成すればよい。スレーブAPM12はこの再配置要求に従って描画システム101にウィンドウの再配置を要求する(ステップS9)。描画システム101は、この再配置要求に応じて必要であればウィンドウの再配置を行う。最後に、スレーブAPM12は、描画システム101にHWレイヤ71にウィンドウ812を含むHWレイヤ71のウィンドウを表示するよう指示する(ステップS10)。同様にマスタAPM22は描画システム201に透過ウィンドウ825を含むHWレイヤ72のウィンドウを表示するよう指示する(ステップS11)。マスタAPM22、スレーブAPM12の配置命令に従って生成されたHWレイヤ71、72をLCDコントローラにより合成するとLCD表示画面41となる。このLCD表示画面41には、ウィンドウ821、ウィンドウ822と、ウィンドウ822内に透過ウィンドウを介してウィンドウ812が表示されることになる(図4参照)。
マスタAPM22は、任意のOS上でGUIアプリケーションが起動した場合やタッチパネルイベント等によりウィンドウのフォーカス情報が移動する場合、ウィンドウの配置情報や優先度情報を更新し、全OSの描画システム101、201にウィンドウの配置命令を出すことができる。APMから配置命令を受けた描画システム101、201は、描画システム内での重ね合わせを考慮した上で、関連するウィンドウの再表示処理を行う。ここで、描画システムによっては、ウィンドウの再表示処理として、透過ウィンドウに対しての処理も含まれる。また本実施の形態では、VRAM内のデータをビット単位で操作することにより、透過率制御を行う。これにより、複数のウィンドウを有する描画システムに対して、複数OS、複数描画システム間で協調的に重ね合わせ制御を行うことができる。透過率制御は、APM101、201で管理する配置情報を基に計算を行い、透過ウィンドウを生成及び表示指示を行う。
次に、LCDが複数ある場合について説明する。図5は、LCDが複数ある場合のHWレイヤの割り当てを説明するための図である。ここでは、フロントモニタとして、LCD31、LCD32、リアモニタとしてLCD33が設けられている例を示す。画像表示装置は、3つの描画システムD1〜D3を有する。例えば描画システムD1、D2は、OS1上で動作し、描画システムD3は、OS2上で動作するものとする。描画システムD1がVRAM51に割り当てられたHWレイヤ71にウィンドウ1111描画する。描画システムD2がVRAM51に割り当てられたHWレイヤ72にウィンドウ1121、1122を描画し、同じくVRAM51に割り当てられたHWレイヤ73にウィンドウ1131を描画する。描画システムD3がVRAM53に割り当てられたHWレイヤ74にウィンドウ1141描画するものとする。
LCDコントローラは、HWレイヤ72とHWレイヤ74を合成した合成画面(優先度:ウィンドウ1121>ウィンドウ1141>ウィンドウ1122)を生成し、LCD31に表示させる。また、LCDコントローラは、HWレイヤ71とHWレイヤ73を合成した合成画面(優先度:ウィンドウ1131>ウィンドウ1111)を生成し、LCD32に表示させる。さらに、LCDコントローラは、HWレイヤ73をLCD33に表示させる。ここで、VRAM52は、2つのHWレイヤに割り当てられている。APMマスタは、この座標割り当て情報を保有する。座標割り当て情報は、HWレイヤ72、HWレイヤ73がVRAMのどの領域に割り当てられているかを示す情報である。ここでは、HWレイヤ72は、(x,y)=(0,0)(幅512、高さ240)となっており、HWレイヤ73は、(x,y)=(512,0)(幅512、高さ240)となっている。APMマスタが座標割り当て情報を管理することで、VRAM52に対し、複数のHWレイヤを割り当てることができる。
次に、透過ウィンドウの生成処理について更に具体的に説明する。APMは、透過ウィンドウが他OS側で動作するウィンドウの座標情報や優先度に同期した動作が行えるように、各描画システムに対して調停指示を行う。このことにより、たとえば、一方のOS側で動作する2つのウィンドウの間に、他方のOSで動作するウィンドウを挟むことが可能になる。
図6は、2つのウィンドウで、他のHWレイヤのウィンドウを挟みこんだ場合を示す図である。HWレイヤ71はHWレイヤ72よりも表示順序が上であるものとする。HWレイヤ71には、優先度が10のAP102によるウィンドウ911と、優先度が3のAP103によるウィンドウ912が描画されている。HWレイヤ72には、優先度が5のAP202によるウィンドウ921が描画されている。
上述したように、APM22は、各ウィンドウ配置情報を把握し、逐次更新し、更新すると当該ウィンドウ配置情報をスレーブAPM12に送る。本例では、このウィンドウ配置情報に基づき、APM12がHWレイヤ71のウィンドウ911とウィンドウ912の間に透過ウィンドウ915を生成する。この透過ウィンドウ915は、ウィンドウ912の上であって、ウィンドウ911の下となるように生成される。このように、マスタAPM22からのウィンドウ配置情報に基づき、スレーブAPM12が、適切な位置に透過ウィンドウを生成することも可能である。これらのHWレイヤは、LCDコントローラによって合成されると、ウィンドウ911と912の間にウィンドウ921が表示された表示画面41が生成される。なお、複数のHWレイヤで同一の優先度のウィンドウが重なって存在する場合は、例えば、先に表示されているウィンドウより、新しく表示されることになるウィンドウを上に表示するものとすればよい。
次に、ウィンドウの再表示処理の具体例として、
(1)新規にウィンドウを生成した場合の処理
(2)後方にあるGUIアプリケーションが、最前面表示になったことによる再表示処理、例えば、ウィンドウ枠の強調表示(フォーカスを意味する)状態の変更による再表示処理
について説明する。図7は、新規にウィンドウが生成された場合の表示制御を説明する図、図8は、各ウィンドウの優先度が変更した場合の表示制御を説明する図である。以下では、HWレイヤ71がHWレイヤ72より表示順序が上である場合について説明する。
先ず、新規にウィンドウが生成される場合について説明する。図7に示すように、HWレイヤ71に、ウィンドウ1011、ウィンドウ1012が表示されている(図7(a))。また、HWレイヤ72にウィンドウ721が表示されている(図7(d))。ウィンドウ優先順位は、ウィンドウ1011>ウィンドウ1021>ウィンドウ1012となっている。この場合、HWレイヤ71には、APM21によりウィンドウ1021を透過するための透過ウィンドウ1015が形成される。このHWレイヤ71、72をLCDコントローラが合成すると図7(g)に示すように、透過ウィンドウ1015を介してウィンドウ1012の上にウィンドウ1021が表示された画面が生成される。
次に、HWレイヤ72にAPによりウィンドウ722が新たに生成されたとする(図7(e))。ウィンドウ1011>ウィンドウ1022>ウィンドウ1021>ウィンドウ1012とする。このとき、HWレイヤ71をそのままとする。こうすると、合成された表示画面41は、図7(h)に示すように、透過ウィンドウ1015のみ形成されているため、ウィンドウ1022の一部(ウィンドウ1021上の部分)のみしか表示されない。
これに対し、APM22からAPM12に対し、ウィンドウ1022を含むウィンドウ配置情報が転送されると、APM12は、HWレイヤ71に、ウィンドウ1022用の透過ウィンドウ1022を形成する(図7(c))。これがLCDコントローラによりHWレイヤ72(図7(f))と合成されると、ウィンドウ1011と1021の間に、ウィンドウ1022が表示された画面が生成される(図7(i))。
次に、ウィンドウ1011>ウィンドウ1022>ウィンドウ1021>ウィンドウ1012から、ウィンドウ1021>ウィンドウ1022>ウィンドウ1011>ウィンドウ1012に変更になった場合について説明する。最初の状態では、HWレイヤ71に、ウィンドウ1011、1012と、透過ウィンドウ1015、1016が形成されている(図8(a))。HWレイヤ72にはウィンドウ1021、1022が形成されている(図8(b))。これらHWレイヤをLCDコントローラにより合成すると、上記の優先順位通りにウィンドウが表示された画面が生成される(図8(g))。ここで、ウィンドウ表示の優先順位をウィンドウ1021>ウィンドウ1022>ウィンドウ1011>ウィンドウ1012に変更する。このとき、HWレイヤ71の表示がそのままで(図8(b))、HWレイヤ72の優先順位のみが変更されると(図8(e))、ウィンドウが優先順位と異なる表示順序となってしまう(図8(h))。これに対し、HWレイヤ71に、ウィンドウ表示優先順序に従って透過ウィンドウ1015、1016が形成されると(図8(c))、合成画面には、上記優先度順のウィンドウ生成が行われる(図8(i))。
なお、上記の処理で発生するAPM間通信は、GUIアプリケーション又はウィンドウの起動/終了、表示/非表示、優先度変更等の情報のみであり、システムに対して通信負荷をかけない。さらに重ね合わせ処理にために、透過ウィンドウの一部を非透過にする仕組みは、各システム構成やパフォーマンス等のシステムの状況によって、APM側に持たせるか描画システム側にもたせるかを選択すればよい。
また、個々のAPMは、内部にOSや描画システムの差異を吸収する機能を有するものとする。これにより、APM間の協調動作を効率的に行うことができる。ここで、システム間の差異とは、OSや描画システムが持つスケジューリング方法やシステムコール(サービスコール)等の差異に加え、透過ウィンドウ機能をAPMが有する場合と描画システムが有する場合との差異も含むものとする。
さらに、本実施の形態においては、一のディスプレイにウィンドウ表示をする場合について説明するが、複数共有ディスプレイの場合でも適用可能である。例えば、一方のLCDにOS_AとOS_B、他方のLCDにOS_BとOS_Cが割り当てられている場合、OS_Bに搭載されたウィンドウシステムは、仮想論理空間を2つに分割し、1つを一方のLCDに、他方を他方のLCDに割り当てる等すればよい。
本実施の形態においては、複数OS、複数描画システムから共有されるディスプレイを有するシステムで、ウィンドウ単位での重ね合わせ制御(Z軸制御)を行うことができる。また、システムを使用するユーザが、複数のOSであることを意識せずにウィンドウ制御を行うことができる。さらに、全ての描画システムでウィンドウシステムを導入した場合、同時に扱えるウィンドウの数の制限をなくすことが可能になる。さらにまた、各処理部間の通信(APM間の通信)は、基本的にアプリケーション(ウィンドウ)の起動/終了、表示/非表示、優先度変更等の情報のみであり、システムに通信負荷をかけない。また、少ないHWレイヤでのウィンドウ重ね合わせ表示を可能とするため、コストを低減することができる。
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
例えば、上述の実施の形態では、ハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、CPUにコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、記録媒体に記録して提供することも可能であり、また、インターネットその他の伝送媒体を介して伝送することにより提供することも可能である。
本発明の実施の形態にかかる画像表示装置を示す概略図である。 本発明の実施の形態にかかる画像表示装置の詳細を示す図である。 本発明の実施の形態における画像表示装置の動作を示すシーケンス図である。 本発明の実施の形態にかかる画像表示装置のウィンドウ制御方法を説明するための図である。 LCDが複数ある場合のHWレイヤの割り当てを説明するための図である。 2つのウィンドウで、他のHWレイヤのウィンドウを挟みこんで表示する場合を示す図である。 新規にウィンドウが生成された場合の表示制御を説明する図、 各ウィンドウの優先度が変更した場合の表示制御を説明する図である。
符号の説明
1、2 処理部
3 LCDC
4 LCD
5 SDRAM
6 MPU
7、71、72 HWレイヤ
10、20 ウィンドウ生成部
11、21 OS
12、22 APM
101、201 描画システム
102、103、202、203 GUIアプリケーション
41 表示画面
71、72、 HWレイヤ
100 画像表示装置
121 情報取得部
122 命令生成部
711、712、721、722、811、812、821−825、911、912、921、1011、1012、1015、1021、1022 ウィンドウ

Claims (5)

  1. 第1及び第2の表示レイヤに表示する画像をそれぞれ管理し、互いに異なるOS上で動作する第1及び第2の管理部と、
    前記複数の表示レイヤを、予め決められた表示順位に従って合成し、表示部に表示する単一の画像情報を生成する合成部とを有し、
    前記第1及び第2の管理部は、
    合成される前記複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示優先情報を各表示レイヤに対応する画像生成部から取得する情報取得部と、
    第1の表示レイヤが第2の表示レイヤより前記表示順位が低い場合において、前記配置位置及び前記表示優先情報に基づき、前記第1の表示レイヤに描画される第1画像であって、前記第2の表示レイヤに描画される第2画像と配置位置が重複し、その表示優先情報が前記第2画像の前記表示優先情報より高い画像を特定画像として検出し、当該特定画像を表示させるための透過画像を前記第2の表示レイヤに生成させる命令生成部と、を含み、
    前記透過画像は、生成される当該表示レイヤの該当箇所の画像情報を消去する情報であること、又は透過ビットが設定された画像情報であり、
    各表示レイヤにおける前記表示優先情報は全表示レイヤで共通の情報である画像表示システム。
  2. 前記第1及び第2の管理部に対応して設けられ、当該第1及び第2の管理部が生成した命令に従って前記第1及び第2の表示レイヤに画像を描画する第1及び第2の画像生成部を有し、前記第1及び第2の画像生成部は、それぞれ異なるOS上で動作する
    ことを特徴とする請求項1記載の画像表示システム。
  3. 前記表示レイヤに描画される画像はウィンドウである
    ことを特徴とする請求項1又は2に記載の画像表示システム。
  4. 所定の動作を、第1及び第2の表示レイヤに表示する画像をそれぞれ管理し、互いに異なるOS上で動作する第1及び第2の管理部を有する画像表示システムのコンピュータに実行させるためのプログラムであって、
    前記複数の表示レイヤを、予め決められた表示順位に従って合成し、表示部に表示する単一の画像情報を生成し、
    合成される前記複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示優先情報を各表示レイヤに対応する画像生成部から取得し、
    第1の表示レイヤが第2の表示レイヤより前記表示順位が低い場合において、前記配置位置及び前記表示優先情報に基づき、前記第1の表示レイヤに描画される第1画像であって、前記第2の表示レイヤに描画される第2画像と配置位置が重複し、その表示優先情報が前記第2画像の前記表示優先情報より高い画像を特定画像として検出し、当該特定画像を表示させるための透過画像を前記第2の表示レイヤに生成させ、
    前記透過画像は、生成される当該表示レイヤの該当箇所の画像情報を消去する情報であること、又は透過ビットが設定された画像情報であり、
    各表示レイヤにおける前記表示優先情報は、全表示レイヤで共通の情報であるプログラム。
  5. 第1及び第2の表示レイヤに表示する画像をそれぞれ管理し、互いに異なるOS上で動作する第1及び第2の管理部を有する画像表示システムを用いた画像表示方法であって、
    前記複数の表示レイヤを、予め決められた表示順位に従って合成し、表示部に表示する単一の画像情報を生成し、
    合成される前記複数の表示レイヤのそれぞれに描画される画像の配置位置及び表示優先情報を各表示レイヤに対応する画像生成部から取得し、
    第1の表示レイヤが第2の表示レイヤより前記表示順位が低い場合において、前記配置位置及び前記表示優先情報に基づき、前記第1の表示レイヤに描画される第1画像であって、前記第2の表示レイヤに描画される第2画像と配置位置が重複し、その表示優先情報が前記第2画像の前記表示優先情報より高い画像を特定画像として検出し、当該特定画像を表示させるための透過画像を前記第2の表示レイヤに生成させ、
    前記透過画像は、生成される当該表示レイヤの該当箇所の画像情報を消去する情報であること、又は透過ビットが設定された画像情報であり、
    各表示レイヤにおける前記表示優先情報は、全表示レイヤで共通の情報である画像表示方法。
JP2007334854A 2007-12-26 2007-12-26 画像表示システム、画像表示方法及びプログラム Expired - Fee Related JP5045428B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007334854A JP5045428B2 (ja) 2007-12-26 2007-12-26 画像表示システム、画像表示方法及びプログラム
PCT/JP2008/071457 WO2009081682A1 (ja) 2007-12-26 2008-11-26 画像表示システム、画像表示方法及び記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007334854A JP5045428B2 (ja) 2007-12-26 2007-12-26 画像表示システム、画像表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2009157635A JP2009157635A (ja) 2009-07-16
JP5045428B2 true JP5045428B2 (ja) 2012-10-10

Family

ID=40800995

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007334854A Expired - Fee Related JP5045428B2 (ja) 2007-12-26 2007-12-26 画像表示システム、画像表示方法及びプログラム

Country Status (2)

Country Link
JP (1) JP5045428B2 (ja)
WO (1) WO2009081682A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5419440B2 (ja) * 2008-12-26 2014-02-19 三菱電機株式会社 グラフィックス表示装置及びグラフィカルユーザインタフェース実行装置
US20110119454A1 (en) * 2009-11-17 2011-05-19 Hsiang-Tsung Kung Display system for simultaneous displaying of windows generated by multiple window systems belonging to the same computer platform
JP2011107414A (ja) * 2009-11-17 2011-06-02 Fujitsu Toshiba Mobile Communications Ltd 表示制御装置および表示制御方法
JP2012044400A (ja) * 2010-08-18 2012-03-01 Furuno Electric Co Ltd 重畳画像生成装置及びそれを備える重畳画像表示装置
WO2012107975A1 (ja) * 2011-02-09 2012-08-16 パナソニック株式会社 仮想計算機表示装置、仮想計算機表示方法、仮想計算機表示プログラム、記録媒体、及び集積回路
US9384529B2 (en) 2011-02-17 2016-07-05 Saab Ab Flight data display
US9691359B2 (en) 2012-10-15 2017-06-27 Saab Ab Vehicle display system with transparent display layer
WO2018119713A1 (zh) * 2016-12-27 2018-07-05 深圳前海达闼云端智能科技有限公司 用于多操作系统的显示方法、装置和电子设备

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6315285A (ja) * 1986-07-07 1988-01-22 株式会社リコー マルチウインドウ表示機能を有する表示装置
US5351067A (en) * 1991-07-22 1994-09-27 International Business Machines Corporation Multi-source image real time mixing and anti-aliasing
JP4615702B2 (ja) * 2000-12-15 2011-01-19 三菱電機株式会社 出力データ制御装置
JP2002229540A (ja) * 2001-01-31 2002-08-16 Mitsubishi Electric Corp データ放送表示システム
JP2005123775A (ja) * 2003-10-15 2005-05-12 Sony Corp 再生装置、再生方法、再生プログラムおよび記録媒体
JP2006098935A (ja) * 2004-09-30 2006-04-13 Matsushita Electric Ind Co Ltd ビデオ・グラフィックス表示装置

Also Published As

Publication number Publication date
JP2009157635A (ja) 2009-07-16
WO2009081682A1 (ja) 2009-07-02

Similar Documents

Publication Publication Date Title
JP5045428B2 (ja) 画像表示システム、画像表示方法及びプログラム
US8687019B2 (en) Composite multi-image display device, composite multi-image information processing device, composite multi-image display system, composite multi-image display method, and composite multi-image formation processing method
JP4780101B2 (ja) 画像表示システム、画像表示方法及びプログラム
KR20100080407A (ko) 무선 장치 및 방법
US11954515B1 (en) Managing signals from multiple virtual machines and controlling hardware directly or through an API by a host operating system
US11024257B2 (en) Android platform based display device and image display method thereof
JP2005018613A (ja) 情報処理装置、ウィンドウ表示制御方法およびプログラム
US20220024315A1 (en) Vehicular device and control method for vehicular device
US20220028029A1 (en) Vehicle device and vehicle device control method
WO2020213380A1 (ja) 車両用装置、車両用装置の制御方法
JP5229727B2 (ja) マルチ画像表示システム、画像処理方法及びプログラム
JP2000155637A (ja) マルチウィンドウ表示方法及びマルチウィンドウ表示システム
CN103489150A (zh) 平铺视区合成
JP2006242977A (ja) 情報処理装置および表示装置
WO2020213400A1 (ja) 車両用装置、車両用装置の制御方法
TW201025285A (en) Projecting system capable of switching programs corresponding to a plurality of frames projected from a multiple view display and method thereof
CN117492607A (zh) 多屏协同方法、车辆及计算机存储介质
CN114489543B (zh) 智能座舱的多屏幕处理方法、装置、芯片、车辆及介质
KR102581600B1 (ko) 신호 처리 장치, 및 이를 구비하는 차량용 디스플레이 장치
KR20180048087A (ko) 가상화 기반 멀티 윈도우 구동 방법
JP2010244324A (ja) 画面表示処理装置
JP6319038B2 (ja) 画像描画装置
CN118061778A (zh) 智能座舱显示系统的显示方法及智能座舱显示系统
CN118233685A (zh) 一种显示设备及应用的显示方法
JPH04240693A (ja) 画面表示制御方式

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20111206

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120523

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120619

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120702

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150727

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees