JP7174926B2 - 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム - Google Patents

表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム Download PDF

Info

Publication number
JP7174926B2
JP7174926B2 JP2021565365A JP2021565365A JP7174926B2 JP 7174926 B2 JP7174926 B2 JP 7174926B2 JP 2021565365 A JP2021565365 A JP 2021565365A JP 2021565365 A JP2021565365 A JP 2021565365A JP 7174926 B2 JP7174926 B2 JP 7174926B2
Authority
JP
Japan
Prior art keywords
display
time information
display control
display devices
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021565365A
Other languages
English (en)
Other versions
JPWO2021124729A1 (ja
Inventor
隆 坪根
大介 御園生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2021124729A1 publication Critical patent/JPWO2021124729A1/ja
Application granted granted Critical
Publication of JP7174926B2 publication Critical patent/JP7174926B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438—Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23—Head-up displays [HUD]
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415—Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1526—Dual-view displays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00—Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16—Type of output information
    • B60K2360/177—Augmented reality
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80—Arrangements for controlling instruments
    • B60K35/81—Arrangements for controlling instruments for controlling displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00—Command of the display device
    • G09G2310/08—Details of timing specific for flat panels, other than clock recovery
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/04—Display device controller operating with a plurality of display units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/06—Use of more than one graphics processor to process data before displaying to one or more screens
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/08—Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00—Specific applications
    • G09G2380/10—Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本開示は、表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラムに関する。
従来、複数の表示装置を制御するための技術が開示されている（例えば特許文献１）。これにより、複数の表示装置を連携させて関連する情報を表示させることができる。
国際公開第２０１０／１０３８２７号
しかしながら、複数の表示装置が連携して関連する情報を表示する際に、各表示装置のＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）の性能に差があると、各表示装置における描画タイミングにずれが生じるという問題がある。
そこで、本開示は、各表示装置における描画タイミングのずれを抑制できる表示制御システム等を提供する。
上記目的を達成するために本開示の一態様に係る表示制御システムは、複数の表示装置と、前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備え、前記表示制御部は、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドをフレームごとに生成し、前記描画コマンドの生成順序に応じた時間情報を前記描画コマンドのそれぞれに付与し、前記複数の表示装置のそれぞれは、前記描画コマンドを取得し、前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第１処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第２処理とを並行して行い、前記第１処理において取得する最新の時間情報と前記第２処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う。
また、上記目的を達成するために本開示の一態様に係る移動体は、上記の表示制御システムと、前記表示制御システムが搭載された移動体本体と、を備える。
また、上記目的を達成するために本開示の一態様に係る表示制御方法は、複数の表示装置と、前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムによる表示制御方法であって、前記表示制御部は、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドをフレームごとに生成し、前記描画コマンドの生成順序に応じた時間情報を前記描画コマンドのそれぞれに付与し、前記複数の表示装置のそれぞれは、前記描画コマンドを取得し、前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第１処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第２処理とを並行して行い、前記第１処理において取得する最新の時間情報と前記第２処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う処理を含む。
また、上記目的を達成するために本開示の一態様に係る表示装置は、複数の表示装置と、前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムにおける前記複数の表示装置のうちのいずれかの表示装置であって、前記表示制御部によってフレームごとに生成された、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドであって、描画コマンドの生成順序に応じた時間情報が付与された描画コマンドを取得し、前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第１処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第２処理とを並行して行い、前記第１処理において取得する最新の時間情報と前記第２処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う。
また、上記目的を達成するために本開示の一態様に係る表示方法は、複数の表示装置と、前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムにおける表示装置による表示方法であって、前記表示制御部によってフレームごとに生成された、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドであって、描画コマンドの生成順序に応じた時間情報が付与された描画コマンドを取得し、前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第１処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第２処理とを並行して行い、前記第１処理において取得する最新の時間情報と前記第２処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う処理を含む。
また、上記目的を達成するために本開示の一態様に係るプログラムは、上記の表示方法をコンピュータに実行させるためのプログラムである。
本開示によれば、各表示装置における描画タイミングのずれを抑制できる。
図１は、実施の形態に係る表示制御システムによって制御される表示器の一例を示す図である。 図２は、実施の形態に係る表示制御システムの用途の一例を示す図である。 図３は、実施の形態に係る表示制御システムの一例を示す構成図である。 図４は、実施の形態に係る、仮想フレームメモリが構築された表示制御システムの一例を示す構成図である。 図５は、実施の形態に係る表示制御システムの動作の一例を示すシーケンス図である。 図６は、実施の形態に係る表示装置の動作の一例を示すフローチャートである。
（実施の形態）
以下、実施の形態に係る表示制御システム及び表示装置について、図面を参照しながら説明する。
図１は、実施の形態に係る表示制御システム１によって制御される表示器の一例を示す図である。
表示制御システム１は、複数の表示装置を連携させて関連する情報を表示させることができるシステムであり、図１に示されるように、例えば、物理的に分離した表示器２１、２２、２３、２４、２５及び２６に関連する情報を表示させる。表示制御システム１は、例えば、自動車等の移動体に搭載される。表示器２１、２２、２３、２４、２５及び２６は、例えば、当該移動体に搭載されるカーナビゲーションシステム、電子ミラーシステム、マルチインフォメーションディスプレイ又はヘッドアップディスプレイ等の表示器である。表示器２１は、カーナビゲーションシステムの表示器である。表示器２２は、移動体の左サイドミラーとして機能する電子ミラーシステムの表示器である。表示器２３は、移動体の右サイドミラーとして機能する電子ミラーシステムの表示器である。表示器２４は、移動体のバックミラーとして機能する電子ミラーシステムの表示器である。表示器２５はマルチインフォメーションディスプレイである。表示器２６は、ヘッドアップディスプレイである。
表示制御システム１は、複数の表示器２１、２２、２３、２４、２５及び２６のそれぞれに、例えば、ナビゲーション情報、撮像画像、車速情報、周辺歩行者情報、周辺車両情報、車線逸脱情報、車両状態情報及び混雑情報等の種々の運転支援情報を表示させ、移動体の運転者に視認させることができる。「撮像画像」は、移動体の周辺（車外）の撮像により得られる画像である。「周辺歩行者情報」及び「周辺車両情報」は、移動体の周辺の歩行者及び移動体の周辺の車両の存在又は距離等を表す情報である。
表示制御システム１は、物理的に分離した表示器２１、２２、２３、２４、２５及び２６のそれぞれに個別に画面を表示させるだけでなく、複数の表示器２１、２２、２３、２４、２５及び２６にて関連する情報を表示させることも可能である。表示制御システム１では、複数の表示器２１、２２、２３、２４、２５及び２６へ画像（フレーム）を描画する複数の表示装置（後述する）を統括的に制御することにより、複数の表示器２１、２２、２３、２４、２５及び２６にて関連する情報を表示可能とする。言い換えると、表示制御システム１は、複数の表示器２１、２２、２３、２４、２５及び２６を単一の表示器（ディスプレイ）のように見立てることにより、複数の表示器２１、２２、２３、２４、２５及び２６に跨って関連する情報を表示させる。ただし、複数の表示器２１、２２、２３、２４、２５及び２６に跨って表示させる関連する情報は、少なくとも２つの表示器に跨って表示されればよく、複数の表示器２１、２２、２３、２４、２５及び２６の全てに跨って表示されなくてもよい。
図２は、実施の形態に係る表示制御システム１の用途の一例を示す図である。図２では、運転者１２０が表示器２１に注目しているときに、移動体の前方に歩行者１３１及び１３２が現れたため、運転者１２０の視線（注視方向）を移動体の前方の歩行者１３１及び１３２に誘導する状況を想定している。運転者１２０が表示器２１に注目していることは、例えば、先進運転支援システム等の視線検知部により、運転者の視線方向等を検知することにより判断可能である。
まず、図２の左側の図に示されるように、表示制御システム１は、表示器２１、２２、２３、２４、２５及び２６のそれぞれに個別に画像を表示させている。運転者１２０は、表示器２１の操作のために表示器２１に注目しており、運転者１２０の視線１２１が表示器２１に向けられている。
その後、図２の中央の図に示されるように、移動体１００の前方に存在する歩行者１３１及び１３２が検知され、表示制御システム１は、歩行者１３１及び１３２を囲む枠状の虚像２６１及び２６２を表示器２６に表示させる。このとき、表示制御システム１は、表示器２１を表示器２６と連携させ、運転者１２０に注意を促すようなアイコン２０１を表示器２１に対して表示させる。そのため、表示器２１に注目している運転者１２０は、何らかのイベントが発生したことに気付くことになる。
その後、図２の右側の図に示されるように、表示制御システム１は、表示器２１及び２５を表示器２６に連携させ、運転者１２０の視線を誘導するようなアイコン２０２及び２０３を、表示器２１及び２５に表示させる。さらに、表示制御システム１は、運転者１２０の視線を誘導するようなアイコン２０４を表示器２６に表示させる。アイコン２０２、２０３及び２０４は、運転者１２０から見て、表示器２１に表示されているアイコン２０１から、表示器２６に表示されている虚像２６１及び２６２に向けて延びる光の筋状の画像（矢印画像）である。なお、表示される各画像（アイコン及び矢印画像）は一例に過ぎず、単なる直線、点線又は文字列等であってもよい。
これにより、運転者１２０の視線１２１は、図２の右側の図に示されるように、表示器２６に表示されている虚像２６１及び２６２に誘導させられる。したがって、運転者１２０の視線１２２は、移動体の前方の歩行者１３１及び１３２に向けられることになる。
このように、表示制御システム１は、複数の表示器２１、２２、２３、２４、２５及び２６に跨って関連する情報を表示させることが可能である。図２の例では、運転者１２０の視線を虚像２６１及び２６２に誘導するためのアイコン２０１、２０２、２０３及び２０４が、関連する情報として、表示器２１、２５及び２６に跨って表示される。
表示制御システム１における複数の表示装置が連携して関連する情報を表示する機能を実現するための具体的な構成について図３及び図４を用いて説明する。
図３は、実施の形態に係る表示制御システム１の一例を示す構成図である。
図４は、実施の形態に係る、仮想フレームメモリ５０が構築された表示制御システム１の一例を示す構成図である。
表示制御システム１は、複数の表示装置と、複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備えるシステムである。図３及び図４に示されるように、表示制御システム１は、例えば、複数の表示装置３１、３２及び３３を備える。複数の表示装置３１、３２及び３３のそれぞれは、例えば、移動体に搭載されるＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）である。例えば、複数の表示装置３１、３２及び３３のいずれかが表示制御部となり、自身を含む複数の表示装置３１、３２及び３３を連携させて関連する情報を表示させる。ここでは、表示装置３１が表示制御部となり、複数の表示装置３１、３２及び３３を連携させて関連する情報を表示させる例について説明する。
表示制御システム１は、複数の表示装置に表示させる１以上の情報を記憶する単一の仮想フレームメモリ５０を備える。具体的には、図４に示されるように、表示制御システム１は、複数の表示器２１、２２、２３、２４、２５及び２６に跨って表示させる関連する情報（例えば画面）を記憶する仮想フレームメモリ５０を備える。表示制御部は、複数の表示装置のうちの少なくとも２つに跨って表示させる情報を仮想フレームメモリ５０に書き込むように構成されている。具体的には、表示制御部（例えば表示装置３１）は、複数の表示器２１、２２、２３、２４、２５及び２６に跨って表示させる画面を、仮想フレームメモリ５０に書き込むように構成されている。「仮想フレームメモリ」は、ＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等が、１つ以上の物理的なメモリ（非一時的な記憶媒体）を用いて、連続した記憶領域を持つように設定する仮想的なメモリである。
複数の表示装置３１、３２及び３３のそれぞれは、表示制御システム１において物理的に分離した構成要素である。複数の表示装置３１、３２及び３３のそれぞれは、例えば、プロセッサ（ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）及びＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ））、メモリ及び通信インタフェース等を含む装置である。複数の表示装置３１、３２及び３３のそれぞれは、通信インタフェースを介して互いに通信可能に接続される。なお、複数の表示装置３１、３２及び３３のそれぞれは、表示制御システム１において物理的に分離した構成要素であるが、通信線等で互いに接続されていてもよい。メモリは、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等であり、プロセッサにより実行されるプログラムを記憶することができる。例えばプロセッサがプログラムに従って動作することにより、複数の表示装置３１、３２及び３３が連携して関連する情報を表示する機能が実現される。
表示装置３１は、ＣＰＵ４１１及びＧＰＵ４１２を含んでいる。同様に、表示装置３２はＣＰＵ４２１及びＧＰＵ４２２を含み、表示装置３３はＣＰＵ４３１及びＧＰＵ４３２を含んでいる。ＧＰＵ４１２、４２２及び４３２は、例えば、ＯｐｅｎＧＬ（Ｏｐｅｎ Ｇｒａｐｈｉｃｓ Ｌｉｂｒａｒｙ）に準拠した描画演算処理を実行する。
また、表示装置３１はフレームメモリ５１を備え、表示装置３２はフレームメモリ５２を備え、表示装置３３はフレームメモリ５３を備える。「フレームメモリ」は、複数の表示器２１、２２、２３、２４、２５及び２６に表示される１画像（１フレーム）分の表示内容（表示状態）を記憶するためのメモリ（フレームバッファ）である。フレームメモリ５１、５２及び５３のそれぞれは、専用のメモリであってもよいし、コンピュータシステムのメモリのうちの一部の領域で構成されていてもよい。
表示制御システム１は、複数の表示器２１、２２、２３、２４、２５及び２６を複数のグループに分類した場合に、それぞれが複数のグループのそれぞれと一対一に対応する複数のプロセッサ（具体的にはＧＰＵ４１２、４２２及び４３２）を有している。また、表示制御システム１は、ＧＰＵ４１２、４２２及び４３２のそれぞれと一対一に対応し、仮想フレームメモリ５０を構成するフレームメモリ５１、５２及び５３を有している。例えば、複数の表示器２１、２２、２３、２４、２５及び２６は第１グループ、第２グループ及び第３グループのいずれかに分類されている。例えば、第１グループには表示器２１が属し、第２グループには表示器２５及び２６が属し、第３グループには表示器２２、２２及び２４が属する。そして、ＧＰＵ４１２は第１グループ及びフレームメモリ５１に対応し、ＧＰＵ４２２は第２グループ及びフレームメモリ５２に対応し、ＧＰＵ４３２は第３グループ及びフレームメモリ５３に対応する。
ここで、ＧＰＵ４１２、４２２及び４３２のそれぞれは、描画コマンドに従って対応するフレームメモリ５１、５２及び５３に書き込むことにより、対応するグループに属するいずれかの表示器に表示させる画面を生成するように構成されている。「描画コマンド」は、複数の表示装置３１、３２及び３３のそれぞれに描画処理を行わせるためのコマンド（命令）であって、具体的には、ＧＰＵ４１２、４２２及び４３２に対してフレームメモリへの描画、つまりフレームメモリへの書き込みを実行させるためのコマンドである。例えば、ＧＰＵ４１２は、描画コマンドに従ってフレームメモリ５１に書き込むことにより、第１グループに属する表示器２１に表示させる画像を生成する。ＧＰＵ４２２は、描画コマンドに従ってフレームメモリ５２に書き込むことにより、第２グループに属する表示器２５及び２６のうち少なくとも１つの表示器に表示させる画像を生成する。ＧＰＵ４３２は、描画コマンドに従ってフレームメモリ５３に書き込むことにより、第３グループに属する表示器２２、２３及び２４のうち少なくとも１つの表示器に表示させる画像を生成する。
例えば、表示装置３１では、ＣＰＵ４１１、ＧＰＵ４１２及びフレームメモリ５１がバス接続されており、ＧＰＵ４１２が表示器２１に何らかの画像を表示させる際には、フレームメモリ５１の内容を書き換え、一定のタイミングでフレームメモリ５１の内容が表示器２１に送信されて、表示器２１の表示内容が更新されることになる。表示装置３２及び３３においても、表示装置３１と同様の構成が採用されている。また、上述したように、表示装置３１と表示装置３２と表示装置３３とは、例えば、イーサネット（登録商標）に準拠した通信方式により、相互に通信可能に構成されている。なお、表示装置３１と表示装置３２と表示装置３３とは、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）等の通信方式により通信してもよい。
図３は、ハードウェア上でＯＳが動作し、ＯＳ上でアプリケーションソフト（アプリ）が動作している構造を、ＣＰＵ及びＧＰＵ等のハードウェアレイヤ、ＯＳレイヤ及びアプリケーションレイヤに分けて概念的に示している。例えば、表示装置３１においては、ハードウェア上でＯＳ６１が動作し、ＯＳ６１上でアプリケーションソフト７１１及び７１２が動作する。表示装置３２においては、ハードウェア上でＯＳ６２が動作し、ＯＳ６２上でアプリケーションソフト７２１及び７２２が動作する。表示装置３３においては、ハードウェア上でＯＳ６３が動作し、ＯＳ６３上でアプリケーションソフト７３１及び７３２が動作する。
表示制御システム１は、ソフトウェア（コンピュータプログラム）により、図４に示されるように、仮想フレームメモリ５０を実現する。
仮想フレームメモリ５０は、フレームメモリ５１、５２及び５３を利用して、複数の表示装置３１、３２及び３３のＯＳ６１、６２及び６３上に構築される。仮想フレームメモリ５０は、複数の表示器２１、２２、２３、２４、２５及び２６に表示させる画面を記憶する。表示制御システム１は、複数の表示器２１、２２、２３、２４、２５及び２６に跨って表示させる画面を、仮想フレームメモリ５０に書き込むように構成されている。つまり、仮想フレームメモリ５０は、アクセス可能な表示器及びＧＰＵが制限されたフレームメモリ５１、５２及び５３とは異なり、複数の表示器２１、２２、２３、２４、２５及び２６並びに複数のＧＰＵ４１２、４２２及び４３２の全てから画一的にアクセス可能である。そのため、仮想フレームメモリ５０に書き込まれた画面については、複数の表示器２１、２２、２３、２４、２５及び２６に跨って表示可能となっている。
図４は、ハードウェア上でＯＳが動作し、ＯＳ上でアプリケーションソフトが動作している構造を、ハードウェアレイヤ、ＯＳレイヤ及びアプリケーションレイヤに分けて概念的に示している。さらに、図４では、フレームメモリ５１、５２及び５３に代えて、複数の表示装置３１、３２及び３３のＯＳ６１、６２及び６３上に構築される仮想フレームメモリ５０を図示している。
表示制御システム１は、図４に示されるように、仮想フレームメモリ５０を有するので、表示装置３１、３２及び３３間において、シームレスな描画演算処理が可能になる。例えば、表示装置３１が表示制御部となることで、表示装置３１に実装されているアプリケーションソフト７１１は、第１グループに属する表示器２１だけでなく、第２グループに属する表示器２５及び２６、並びに、第３グループに属する表示器２２、２３及び２４にも、仮想フレームメモリ５０を通して直接的に描画が可能である。
このようにして、表示制御システム１における複数の表示装置３１、３２及び３３が連携して関連する情報を複数の表示器２１、２２、２３、２４、２５及び２６に表示する機能が実現される。
しかしながら、このように複数の表示器２１、２２、２３、２４、２５及び２６に連携して関連する情報を表示させる際に、複数の表示器２１、２２、２３、２４、２５及び２６へ画像を描画する複数の表示装置３１、３２及び３３のそれぞれのＧＰＵの性能に差があると、各表示装置における描画タイミングにずれが生じるという問題がある。例えば、図２に示されるアイコン２０２、２０３及び２０４のうちの一部のアイコンが遅れて表示されて、光の筋状の画像が途切れてしまい、運転者１２０の視線を正しく誘導できない場合がある。
これに対して、表示制御システム１は、各表示装置における描画タイミングのずれを抑制する機能を有する。例えば各表示装置が備えるプロセッサがプログラムに従って動作することにより、各表示装置における描画タイミングのずれを抑制する機能が実現される。当該機能の詳細について図５及び図６を用いて説明する。
図５は、実施の形態に係る表示制御システム１の動作の一例を示すシーケンス図である。例えば、表示装置３１を複数の表示装置３１、３２及び３３を連携させて関連する情報を表示させる表示制御部とする。
表示装置３１は、複数の表示装置３１、３２及び３３のそれぞれに描画処理を行わせるための描画コマンドをフレームごとに生成する（ステップＳ１０１）。また、表示装置３１は、描画コマンドの生成順序に応じた時間情報を描画コマンドのそれぞれに付与する。例えば、表示装置３１は、描画コマンドを生成していき、描画コマンドを生成したときの時刻を時間情報として描画コマンドに付与する。つまり、早く生成された描画コマンドに対応したフレームほど早く表示され、また、早い時刻が付与される。なお、時間情報は生成順序が１番目の描画コマンド生成時からの経過時間としてもよい。
表示装置３１は、時間情報が付与された描画コマンドを複数の表示装置３２及び３３のそれぞれに送信する（ステップＳ１０２）。例えば、表示装置３１は、生成順序が早い順に描画コマンドを送信する。
そして、複数の表示装置３１、３２及び３３のそれぞれは、時間情報が付与された描画コマンドを用いて遅延抑制処理を行う（ステップＳ１０３ａ、Ｓ１０３ｂ及びＳ１０３ｃ）。表示装置３２及び３３は、表示装置３１から送信された描画コマンドを用いて遅延抑制処理を行い、表示装置３１は、自身が生成した描画コマンドを用いて遅延抑制処理を行う。遅延抑制処理について図６を用いて説明する。
図６は、実施の形態に係る表示装置の動作の一例を示すフローチャートである。例えば、表示装置３２に着目して説明するが、他の表示装置についても同様の動作となっている。表示装置３２は、第１処理と第２処理とを並行して行う。まずは、第１処理について説明する。
まず、表示装置３２は、時間情報が付与された描画コマンドを取得する（ステップＳ１１）。例えば、表示装置３２は、生成順序が早い順に送信された描画コマンドを取得する。
次に、表示装置３２は、取得した描画コマンドをバッファに格納する（ステップＳ１２）。バッファに格納された描画コマンドは第２処理において用いられる。
次に、表示装置３２は、取得した描画コマンドに付与された時間情報のみを取得する（ステップＳ１３）。第１処理では、描画コマンドに従った描画処理が行われず、時間情報の取得のみが行われる。
そして、再度ステップＳ１１からの処理が、生成順序が次の描画コマンドについて行われる。つまり、表示装置３２は、第１処理において、生成順序に応じて描画コマンドに付与された時間情報のみを取得していく。
次に、第２処理について説明する。
まず、表示装置３２は、バッファに格納された描画コマンドを取得する（ステップＳ２１）。例えば、表示装置３２は、生成順序が早い順に描画コマンドを取得する。第２処理では、後述するように、描画コマンドの取得後に当該描画コマンドに基づいて時間情報の取得だけでなく描画処理が行われてから次の描画コマンドが取得されるため、第２処理でバッファから描画コマンドが取り出されていく速さよりも、描画処理が行われない第１処理でバッファに描画コマンドが格納されていく速さの方が速い。このため、表示装置３２は、バッファに溜まっている描画コマンドを取得することになる。
次に、表示装置３２は、取得した描画コマンドに従った描画処理を行う（ステップＳ２２）。なお、表示装置３２が有するＧＰＵ４２２の性能が悪いほど、描画処理に時間がかかり描画遅延が発生する。
次に、表示装置３２は、ステップＳ２２で描画処理を行ったときに当該描画処理を行わせた描画コマンド（すなわちステップＳ２１で取得した描画コマンド）に付与された時間情報を取得する（ステップＳ２３）。なお、表示装置３２は、ステップＳ２２で描画処理を行う前に、描画コマンドに付与された時間情報を取得してもよい。つまり、表示装置３２は、時間情報を取得してから描画処理を行ってもよい。
次に、表示装置３２は、第１処理において取得する最新の時間情報と第２処理において取得する最新の時間情報との差分を算出し、差分が所定の閾値を超えたか否かを判定する（ステップＳ２４）。所定の閾値は、特に限定されず、表示制御システム１の仕様等に応じて適宜設定される。
表示装置３２は、差分が所定の閾値を超えない場合（ステップＳ２４でＮｏ）、描画処理にかかる負荷の低減処理を行わない（ステップＳ２５）。
そして、再度ステップＳ２１からの処理が、生成順序が次の描画コマンドについて行われる。つまり、表示装置３２は、第２処理において、描画コマンドの生成順序に応じて描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる描画コマンドに付与された時間情報を取得していく。
第２処理では、時間情報の取得だけでなく描画処理も行われるため、第２処理の１ループが完了するのに、第１処理の１ループが完了するよりも多くの時間がかかる。したがって、第１処理では、第２処理よりも早いペースで時間情報を取得していくため、第１処理において取得される最新の時間情報が示す時刻は、第２処理において取得される最新の時間情報が示す時刻よりも進むことになる。例えば、描画コマンドの取得が始まってあまり時間が経過していない状態では、第１処理において取得する最新の時間情報と第２処理において取得する最新の時間情報との差分は小さいが、ＧＰＵ４２２の性能が悪いと、時間の経過とともに（言い換えると描画コマンドの取得数が増えるとともに）その差分は徐々に広がっていく。
例えば、複数の表示装置３１、３２及び３３のそれぞれのＧＰＵの性能に差があると、描画処理にかかる時間も複数の表示装置３１、３２及び３３のそれぞれごとに変わり、各表示装置における描画タイミングにずれが生じることになる。
そこで、表示装置３２は、第１処理のループと第２処理のループを並行して行っていき、第１処理において取得する最新の時間情報と第２処理において取得する最新の時間情報との差分が所定の閾値を超えた場合に（ステップＳ２４でＹｅｓ）、描画処理にかかる負荷の低減処理を行う（ステップＳ２６）。描画処理にかかる負荷の低減処理は、特に限定されないが、例えば、フレームレートを下げる処理、又は、解像度を下げる処理である。これにより、描画処理にかかる負荷が小さくなり、すなわち、描画処理にかかる時間が短くなる（言い換えると描画遅延が抑制される）。なお、他の表示装置３１及び３３についても、上記差分が所定の閾値を超えた場合に描画処理にかかる負荷の低減処理が行われるため、複数の表示装置３１、３２及び３３のそれぞれについて描画遅延が抑制され、ひいては、各表示装置における描画タイミングのずれを抑制できる。
以上説明したように、表示制御システム１は、複数の表示装置３１、３２及び３３と、複数の表示装置３１、３２及び３３を連携させて関連する情報を表示させる表示制御部（例えば表示装置３１）と、を備える。表示制御部は、複数の表示装置３１、３２及び３３のそれぞれに描画処理を行わせるための描画コマンドをフレームごとに生成し、描画コマンドの生成順序に応じた時間情報を前記描画コマンドのそれぞれに付与する。複数の表示装置３１、３２及び３３のそれぞれは、描画コマンドを取得し、描画コマンドの生成順序に応じて描画コマンドに付与された時間情報のみを取得していく第１処理と、描画コマンドの生成順序に応じて描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる描画コマンドに付与された時間情報を取得していく第２処理とを並行して行う。そして、複数の表示装置３１、３２及び３３のそれぞれは、第１処理において取得する最新の時間情報と第２処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、差分が所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う。
これによれば、複数の表示装置３１、３２及び３３のそれぞれについて、描画処理にかかる負荷の影響の小さい第１処理で取得される最新の時間情報と、描画処理にかかる負荷の影響の大きい第２処理で取得される最新の時間情報との差分が大きくなったとき、つまり、描画処理にかかる負荷によって描画遅延が大きくなったときに、描画処理にかかる負荷が低減される。したがって、複数の表示装置３１、３２及び３３のそれぞれについてＧＰＵの性能に差があったとしても、それぞれで描画遅延が抑制されるため、表示制御システム１が備える各表示装置における描画タイミングのずれを抑制できる。
また、描画処理にかかる負荷の低減処理は、フレームレートを下げる処理、又は、解像度を下げる処理であってもよい。
このように、フレームレートを下げるか、解像度を下げることで描画処理にかかる負荷を低減することができる。
また、移動体は、表示制御システム１と、表示制御システム１が搭載された移動体本体と、を備える。
これによれば、表示制御システム１を移動体に適用することができ、表示制御システム１が備える各表示装置における描画タイミングのずれを抑制できる移動体を提供できる。
また、表示装置（例えば表示装置３２）は、複数の表示装置３１、３２及び３３と、複数の表示装置３１、３２及び３３を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システム１における複数の表示装置３１、３２及び３３のうちのいずれかの表示装置である。表示装置３２は、表示制御部によってフレームごとに生成された、複数の表示装置３１、３２及び３３のそれぞれに描画処理を行わせるための描画コマンドであって、描画コマンドの生成順序に応じた時間情報が付与された描画コマンドを取得する。表示装置３２は、描画コマンドの生成順序に応じて描画コマンドに付与された時間情報のみを取得していく第１処理と、描画コマンドの生成順序に応じて描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる描画コマンドに付与された時間情報を取得していく第２処理とを並行して行う。そして、表示装置３２は、第１処理において取得する最新の時間情報と第２処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、差分が所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う。
これによれば、表示制御システム１が備える各表示装置における描画タイミングのずれを抑制できる表示装置を提供できる。
（その他の実施の形態）
以上のように、本開示に係る技術の例示として実施の形態を説明した。しかしながら、本開示に係る技術は、これに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。例えば、以下のような変形例も本開示の一実施の形態に含まれる。
例えば、上記実施の形態では、表示装置３１が表示制御部となり、自身を含む複数の表示装置３１、３２及び３３を連携させて関連する情報を表示させる例について説明したが、これに限らない。例えば、表示装置３１が表示制御部となり、複数の表示装置３２及び３３を連携させて関連する情報を表示させてもよい。つまり、表示制御部は、連携させて関連する情報が表示させられる複数の表示装置のいずれかでなくてもよい。また、状況によって、表示制御部となる表示装置が入れ替わってもよい。また、複数の表示装置３１、３２及び３３のいずれかが表示制御部とならなくてもよく、表示制御システム１は、複数の表示装置３１、３２及び３３とは別に、表示制御部を備えていてもよい。
例えば、複数の表示装置のそれぞれは、取得した描画コマンドに対して自身の性能が低いことなどにより、第１処理において取得する時間情報の間隔が第２処理において描画コマンドを処理する時間より明らかに短い場合には、第１処理において取得する最新の時間情報と第２処理において取得する最新の時間情報との差分が所定の閾値を超える前に、描画処理にかかる負荷の低減処理を行ってもよい。言い換えると、複数の表示装置のそれぞれは、第１処理において取得する時間情報の間隔より描画処理のフレームレートを算出し、第２処理が、算出したフレームレートでの描画処理に対応していない場合には、第１処理において取得する最新の時間情報と第２処理において取得する最新の時間情報との差分が所定の閾値を超える前に、描画処理にかかる負荷の低減処理を行ってもよい。例えば、表示装置が１２０ｆｐｓのフレームレートの動画に対応していない場合に、第１処理において取得した２つの描画コマンドの時間情報の間隔から１２０ｆｐｓのフレームレートの動画が再生されようとしていることを認識したときに、描画処理にかかる負荷の低減処理（例えばフレームレートを下げる処理）を行ってもよい。
なお、本開示は、表示制御システム１として実現できるだけでなく、表示制御システム１を構成する各構成要素が行うステップ（処理）を含む表示制御方法として実現できる。
具体的には、複数の表示装置と、複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムによる表示制御方法であって、表示制御部は、図５に示されるように、複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドをフレームごとに生成し、描画コマンドの生成順序に応じた時間情報を前記描画コマンドのそれぞれに付与し（ステップＳ１０１）、複数の表示装置のそれぞれは、図６に示されるように、描画コマンドを取得し（ステップＳ１１）、描画コマンドの生成順序に応じて描画コマンドに付与された時間情報のみを取得していく（ステップＳ１３）第１処理と、描画コマンドの生成順序に応じて描画コマンドに従った描画処理を行っていき（ステップＳ２２）、かつ、当該描画処理を行わせる描画コマンドに付与された時間情報を取得していく（ステップＳ２３）第２処理とを並行して行い、第１処理において取得する最新の時間情報と第２処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し（ステップＳ２４）、差分が所定の閾値を超えた場合（ステップＳ２４でＹｅｓ）、描画処理にかかる負荷の低減処理を行う（ステップＳ２６）。
また、本開示は、表示装置として実現できるだけでなく、表示装置を構成する各構成要素が行うステップ（処理）を含む表示方法として実現できる。
具体的には、複数の表示装置と、複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムにおける表示装置による表示方法であって、図６に示されるように、表示制御部によってフレームごとに生成された、複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドであって、描画コマンドの生成順序に応じた時間情報が付与された描画コマンドを取得し（ステップＳ１１）、描画コマンドの生成順序に応じて描画コマンドに付与された時間情報のみを取得していく（ステップＳ１３）第１処理と、描画コマンドの生成順序に応じて描画コマンドに従った描画処理を行っていき（ステップＳ２２）、かつ、当該描画処理を行わせる描画コマンドに付与された時間情報を取得していく（ステップＳ２３）第２処理とを並行して行い、第１処理において取得する最新の時間情報と第２処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し（ステップＳ２４）、差分が所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う（ステップＳ２６）。
例えば、表示制御方法及び表示方法におけるステップは、コンピュータ（コンピュータシステム）によって実行されてもよい。そして、本開示は、表示制御方法及び表示方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。
さらに、本開示は、そのプログラムを記録したＣＤ－ＲＯＭ等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。
例えば、本開示が、プログラム（ソフトウェア）で実現される場合には、コンピュータのＣＰＵ、メモリ及び入出力回路等のハードウェア資源を利用してプログラムが実行されることによって、各ステップが実行される。つまり、ＣＰＵがデータをメモリ又は入出力回路等から取得して演算したり、演算結果をメモリ又は入出力回路等に出力したりすることによって、各ステップが実行される。
また、上記実施の形態の表示制御システム１に含まれる各構成要素は、専用又は汎用の回路として実現されてもよい。
また、上記実施の形態の表示制御システム１に含まれる各構成要素は、集積回路（ＩＣ：Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として実現されてもよい。
また、集積回路はＬＳＩに限られず、専用回路又は汎用プロセッサで実現されてもよい。プログラム可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又は、ＬＳＩ内部の回路セルの接続及び設定が再構成可能なリコンフィギュラブル・プロセッサが、利用されてもよい。
さらに、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、表示制御システム１に含まれる各構成要素の集積回路化が行われてもよい。
その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
本開示は、移動体に搭載される表示装置等に適用できる。
１ 表示制御システム
２１、２２、２３、２４、２５、２６ 表示器
３１、３２、３３ 表示装置
５０ 仮想フレームメモリ
５１、５２、５３ フレームメモリ
６１、６２、６３ ＯＳ
１２０ 運転者
１２１、１２２ 視線
１３１、１３２ 歩行者
２０１、２０２、２０３、２０４ アイコン
２６１、２６２ 虚像
４１１、４２１、４３１ ＣＰＵ
４１２、４２２、４３２ ＧＰＵ
７１１、７１２、７２１、７２２、７３１、７３２ アプリケーションソフト

Claims (11)

  1. 複数の表示装置と、
    前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備え、
    前記表示制御部は、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドをフレームごとに生成し、前記描画コマンドの生成順序に応じた時間情報を前記描画コマンドのそれぞれに付与し、
    前記複数の表示装置のそれぞれは、
    前記描画コマンドを取得し、
    前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第１処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第２処理とを並行して行い、
    前記第１処理において取得する最新の時間情報と前記第２処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、
    前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う、
    表示制御システム。
  2. 前記低減処理は、フレームレートを下げる処理、又は、解像度を下げる処理である、
    請求項１に記載の表示制御システム。
  3. 前記複数の表示装置のそれぞれは、前記第１処理において取得する時間情報の間隔が前記第２処理において前記描画コマンドを処理する時間より短い場合には、前記第１処理において取得する最新の時間情報と前記第２処理において取得する最新の時間情報との差分が所定の閾値を超える前に、前記低減処理を行う、
    請求項１又は２に記載の表示制御システム。
  4. 前記複数の表示装置のそれぞれは、前記第１処理において取得する時間情報の間隔より前記描画処理のフレームレートを算出し、前記第２処理が前記フレームレートでの描画処理に対応していない場合には、前記第１処理において取得する最新の時間情報と前記第２処理において取得する最新の時間情報との差分が所定の閾値を超える前に、前記低減処理を行う、
    請求項１又は２に記載の表示制御システム。
  5. さらに、前記複数の表示装置に表示させる１以上の情報を記憶する単一の仮想フレームメモリを備え、
    前記表示制御部は、前記複数の表示装置のうちの少なくとも２つに跨って表示させる情報を前記仮想フレームメモリに書き込むように構成されている
    請求項１から４のいずれか１項に記載の表示制御システム。
  6. 前記複数の表示装置はＥＣＵである
    請求項１から５のいずれか１項に記載の表示制御システム。
  7. 請求項１から６のいずれか１項に記載の表示制御システムと、
    前記表示制御システムが搭載された移動体本体と、を備える、
    移動体。
  8. 複数の表示装置と、前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムによる表示制御方法であって、
    前記表示制御部は、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドをフレームごとに生成し、前記描画コマンドの生成順序に応じた時間情報を前記描画コマンドのそれぞれに付与し、
    前記複数の表示装置のそれぞれは、
    前記描画コマンドを取得し、
    前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第１処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第２処理とを並行して行い、
    前記第１処理において取得する最新の時間情報と前記第２処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、
    前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う、
    表示制御方法。
  9. 複数の表示装置と、前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムにおける前記複数の表示装置のうちのいずれかの表示装置であって、
    前記表示制御部によってフレームごとに生成された、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドであって、描画コマンドの生成順序に応じた時間情報が付与された描画コマンドを取得し、
    前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第１処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第２処理とを並行して行い、
    前記第１処理において取得する最新の時間情報と前記第２処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、
    前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う、
    表示装置。
  10. 複数の表示装置と、前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムにおける表示装置による表示方法であって、
    前記表示制御部によってフレームごとに生成された、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドであって、描画コマンドの生成順序に応じた時間情報が付与された描画コマンドを取得し、
    前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第１処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第２処理とを並行して行い、
    前記第１処理において取得する最新の時間情報と前記第２処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、
    前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う、
    表示方法。
  11. 請求項１０に記載の表示方法をコンピュータに実行させるためのプログラム。
JP2021565365A 2019-12-17 2020-11-10 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム Active JP7174926B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019227019 2019-12-17
JP2019227019 2019-12-17
PCT/JP2020/041837 WO2021124729A1 (ja) 2019-12-17 2020-11-10 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021124729A1 JPWO2021124729A1 (ja) 2021-06-24
JP7174926B2 true JP7174926B2 (ja) 2022-11-18

Family

ID=76476556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021565365A Active JP7174926B2 (ja) 2019-12-17 2020-11-10 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム

Country Status (5)

Country Link
US (1) US11467796B2 (ja)
JP (1) JP7174926B2 (ja)
CN (1) CN113348436B (ja)
DE (1) DE112020000617T5 (ja)
WO (1) WO2021124729A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115033152B (zh) * 2022-06-22 2024-06-14 中国商用飞机有限责任公司 显示界面的控制方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015022723A1 (ja) 2013-08-12 2015-02-19 三菱電機株式会社 マルチ画面表示システム、画像描画方法及び画像描画プログラム
JP2016133608A (ja) 2015-01-19 2016-07-25 キヤノン株式会社 表示装置、表示システム及び表示方法
JP2017194509A (ja) 2016-04-18 2017-10-26 三菱電機株式会社 表示端末装置、データ処理方法及びデータ処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244931A (ja) * 2004-01-26 2005-09-08 Seiko Epson Corp マルチ画面映像再生システム
KR101263522B1 (ko) * 2004-09-02 2013-05-13 소니 주식회사 콘텐츠 수신 장치, 비디오 오디오 출력 타이밍 제어 방법및 콘텐츠 제공 시스템
JPWO2010103827A1 (ja) 2009-03-12 2012-09-13 パナソニック株式会社 再生装置、再生方法、記録媒体、アプリケーション、及びオーサリング装置
US9256265B2 (en) * 2009-12-30 2016-02-09 Nvidia Corporation Method and system for artificially and dynamically limiting the framerate of a graphics processing unit
US20120218203A1 (en) * 2011-02-10 2012-08-30 Kanki Noriyoshi Touch drawing display apparatus and operation method thereof, image display apparatus allowing touch-input, and controller for the display apparatus
JP2012208342A (ja) * 2011-03-30 2012-10-25 Sony Corp 信号処理回路と信号処理方法および表示装置
US20140192072A1 (en) * 2012-01-06 2014-07-10 Mitsubishi Electric Corporation Drawing control device
TWI622042B (zh) * 2014-10-13 2018-04-21 緯創資通股份有限公司 矩陣式螢幕、顯示裝置與其相關之顯示方法
JP6929139B2 (ja) * 2017-06-08 2021-09-01 株式会社デンソーテン 表示制御装置、表示システムおよび表示制御方法
JP6986699B2 (ja) 2017-07-04 2021-12-22 パナソニックＩｐマネジメント株式会社 表示制御システム、表示システム、移動体、表示制御方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015022723A1 (ja) 2013-08-12 2015-02-19 三菱電機株式会社 マルチ画面表示システム、画像描画方法及び画像描画プログラム
JP2016133608A (ja) 2015-01-19 2016-07-25 キヤノン株式会社 表示装置、表示システム及び表示方法
JP2017194509A (ja) 2016-04-18 2017-10-26 三菱電機株式会社 表示端末装置、データ処理方法及びデータ処理プログラム

Also Published As

Publication number Publication date
WO2021124729A1 (ja) 2021-06-24
DE112020000617T5 (de) 2021-11-04
US20210349673A1 (en) 2021-11-11
JPWO2021124729A1 (ja) 2021-06-24
CN113348436A (zh) 2021-09-03
CN113348436B (zh) 2023-07-25
US11467796B2 (en) 2022-10-11

Similar Documents

Publication Publication Date Title
JP7481790B2 (ja) 強化された高ダイナミック・レンジ画像化及びトーン・マッピング
US10358146B2 (en) Display control system, display system, movable-body apparatus, display controlling method, and storage medium
US10169066B2 (en) System and method for enhancing advanced driver assistance system (ADAS) as a system on a chip (SOC)
WO2014097587A1 (ja) 車両用表示制御装置
US20150100884A1 (en) Hardware overlay assignment
JP5120125B2 (ja) 画像合成システム、表示制御方法、描画処理装置、及び制御プログラム
TW201901614A (zh) 使用多分辨率改善圖像品質的方法及裝置
TW201901615A (zh) 改善圖像品質的方法及虛擬實境裝置
JP7174926B2 (ja) 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム
WO2016099630A1 (en) Head mounted display update buffer
CN111066081B (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
US12008676B2 (en) Vehicle device, drawing requests using priority queues, and vehicle device control method
CN113892134A (zh) 具有优化的性能的多媒体系统
US10769753B2 (en) Graphics processor that performs warping, rendering system having the graphics processor, and method of operating the graphics processor
US11640358B2 (en) Vehicular device and control method for vehicular device
EP3113169B1 (en) Method for controlling a graphic processing unit in a control unit, in particular of a vehicle, computer program product and system for an embedded control unit
US20190108814A1 (en) Method for improving system performance, device for improving system performance, and display apparatus
EP3977272B1 (en) Multimedia system with optimized performance
WO2022209246A1 (ja) 表示制御システム、表示方法及びプログラム
US12020343B2 (en) Vehicle device and vehicle device control method
US20240329909A1 (en) Display control system, display control method, and recording medium
US20220024466A1 (en) Vehicle device and vehicle device control method
CN115729696A (zh) 车载系统的显示控制方法、装置、设备及介质
KR20170102704A (ko) 자동차의 클러스터가 헤드유닛의 sw컴포넌트를 공유하기 위한 방법
US20200111450A1 (en) Method and display system for displaying sensor data from a sensor device on a display device, and motor vehicle having a display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221025

R151 Written notification of patent or utility model registration

Ref document number: 7174926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350