JP7174926B2 - 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム - Google Patents

表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム Download PDF

Info

Publication number
JP7174926B2
JP7174926B2 JP2021565365A JP2021565365A JP7174926B2 JP 7174926 B2 JP7174926 B2 JP 7174926B2 JP 2021565365 A JP2021565365 A JP 2021565365A JP 2021565365 A JP2021565365 A JP 2021565365A JP 7174926 B2 JP7174926 B2 JP 7174926B2
Authority
JP
Japan
Prior art keywords
display
time information
display control
display devices
control system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021565365A
Other languages
English (en)
Other versions
JPWO2021124729A1 (ja
Inventor
隆 坪根
大介 御園生
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Publication of JPWO2021124729A1 publication Critical patent/JPWO2021124729A1/ja
Application granted granted Critical
Publication of JP7174926B2 publication Critical patent/JP7174926B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1446Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display display composed of modules, e.g. video walls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1423Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display
    • G06F3/1438Digital output to display device ; Cooperation and interconnection of the display device with other functional units controlling a plurality of local displays, e.g. CRT and flat panel display using more than one graphics controller
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363Graphics controllers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/23Head-up displays [HUD]
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/28Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor characterised by the type of the output information, e.g. video entertainment or vehicle dynamics information; characterised by the purpose of the output information, e.g. for attracting the attention of the driver
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1415Digital output to display device ; Cooperation and interconnection of the display device with other functional units with means for detecting differences between the image stored in the host and the images displayed on the displays
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/1526Dual-view displays
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K2360/00Indexing scheme associated with groups B60K35/00 or B60K37/00 relating to details of instruments or dashboards
    • B60K2360/16Type of output information
    • B60K2360/177Augmented reality
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22Display screens
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/80Arrangements for controlling instruments
    • B60K35/81Arrangements for controlling instruments for controlling displays
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2310/00Command of the display device
    • G09G2310/08Details of timing specific for flat panels, other than clock recovery
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/04Display device controller operating with a plurality of display units
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/06Use of more than one graphics processor to process data before displaying to one or more screens
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/08Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00Aspects of the architecture of display systems
    • G09G2360/12Frame memory handling
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2380/00Specific applications
    • G09G2380/10Automotive applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本開示は、表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラムに関する。
従来、複数の表示装置を制御するための技術が開示されている(例えば特許文献1)。これにより、複数の表示装置を連携させて関連する情報を表示させることができる。
国際公開第2010/103827号
しかしながら、複数の表示装置が連携して関連する情報を表示する際に、各表示装置のGPU(Graphics Processing Unit)の性能に差があると、各表示装置における描画タイミングにずれが生じるという問題がある。
そこで、本開示は、各表示装置における描画タイミングのずれを抑制できる表示制御システム等を提供する。
上記目的を達成するために本開示の一態様に係る表示制御システムは、複数の表示装置と、前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備え、前記表示制御部は、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドをフレームごとに生成し、前記描画コマンドの生成順序に応じた時間情報を前記描画コマンドのそれぞれに付与し、前記複数の表示装置のそれぞれは、前記描画コマンドを取得し、前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第1処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第2処理とを並行して行い、前記第1処理において取得する最新の時間情報と前記第2処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う。
また、上記目的を達成するために本開示の一態様に係る移動体は、上記の表示制御システムと、前記表示制御システムが搭載された移動体本体と、を備える。
また、上記目的を達成するために本開示の一態様に係る表示制御方法は、複数の表示装置と、前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムによる表示制御方法であって、前記表示制御部は、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドをフレームごとに生成し、前記描画コマンドの生成順序に応じた時間情報を前記描画コマンドのそれぞれに付与し、前記複数の表示装置のそれぞれは、前記描画コマンドを取得し、前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第1処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第2処理とを並行して行い、前記第1処理において取得する最新の時間情報と前記第2処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う処理を含む。
また、上記目的を達成するために本開示の一態様に係る表示装置は、複数の表示装置と、前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムにおける前記複数の表示装置のうちのいずれかの表示装置であって、前記表示制御部によってフレームごとに生成された、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドであって、描画コマンドの生成順序に応じた時間情報が付与された描画コマンドを取得し、前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第1処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第2処理とを並行して行い、前記第1処理において取得する最新の時間情報と前記第2処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う。
また、上記目的を達成するために本開示の一態様に係る表示方法は、複数の表示装置と、前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムにおける表示装置による表示方法であって、前記表示制御部によってフレームごとに生成された、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドであって、描画コマンドの生成順序に応じた時間情報が付与された描画コマンドを取得し、前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第1処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第2処理とを並行して行い、前記第1処理において取得する最新の時間情報と前記第2処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う処理を含む。
また、上記目的を達成するために本開示の一態様に係るプログラムは、上記の表示方法をコンピュータに実行させるためのプログラムである。
本開示によれば、各表示装置における描画タイミングのずれを抑制できる。
図1は、実施の形態に係る表示制御システムによって制御される表示器の一例を示す図である。 図2は、実施の形態に係る表示制御システムの用途の一例を示す図である。 図3は、実施の形態に係る表示制御システムの一例を示す構成図である。 図4は、実施の形態に係る、仮想フレームメモリが構築された表示制御システムの一例を示す構成図である。 図5は、実施の形態に係る表示制御システムの動作の一例を示すシーケンス図である。 図6は、実施の形態に係る表示装置の動作の一例を示すフローチャートである。
(実施の形態)
以下、実施の形態に係る表示制御システム及び表示装置について、図面を参照しながら説明する。
図1は、実施の形態に係る表示制御システム1によって制御される表示器の一例を示す図である。
表示制御システム1は、複数の表示装置を連携させて関連する情報を表示させることができるシステムであり、図1に示されるように、例えば、物理的に分離した表示器21、22、23、24、25及び26に関連する情報を表示させる。表示制御システム1は、例えば、自動車等の移動体に搭載される。表示器21、22、23、24、25及び26は、例えば、当該移動体に搭載されるカーナビゲーションシステム、電子ミラーシステム、マルチインフォメーションディスプレイ又はヘッドアップディスプレイ等の表示器である。表示器21は、カーナビゲーションシステムの表示器である。表示器22は、移動体の左サイドミラーとして機能する電子ミラーシステムの表示器である。表示器23は、移動体の右サイドミラーとして機能する電子ミラーシステムの表示器である。表示器24は、移動体のバックミラーとして機能する電子ミラーシステムの表示器である。表示器25はマルチインフォメーションディスプレイである。表示器26は、ヘッドアップディスプレイである。
表示制御システム1は、複数の表示器21、22、23、24、25及び26のそれぞれに、例えば、ナビゲーション情報、撮像画像、車速情報、周辺歩行者情報、周辺車両情報、車線逸脱情報、車両状態情報及び混雑情報等の種々の運転支援情報を表示させ、移動体の運転者に視認させることができる。「撮像画像」は、移動体の周辺(車外)の撮像により得られる画像である。「周辺歩行者情報」及び「周辺車両情報」は、移動体の周辺の歩行者及び移動体の周辺の車両の存在又は距離等を表す情報である。
表示制御システム1は、物理的に分離した表示器21、22、23、24、25及び26のそれぞれに個別に画面を表示させるだけでなく、複数の表示器21、22、23、24、25及び26にて関連する情報を表示させることも可能である。表示制御システム1では、複数の表示器21、22、23、24、25及び26へ画像(フレーム)を描画する複数の表示装置(後述する)を統括的に制御することにより、複数の表示器21、22、23、24、25及び26にて関連する情報を表示可能とする。言い換えると、表示制御システム1は、複数の表示器21、22、23、24、25及び26を単一の表示器(ディスプレイ)のように見立てることにより、複数の表示器21、22、23、24、25及び26に跨って関連する情報を表示させる。ただし、複数の表示器21、22、23、24、25及び26に跨って表示させる関連する情報は、少なくとも2つの表示器に跨って表示されればよく、複数の表示器21、22、23、24、25及び26の全てに跨って表示されなくてもよい。
図2は、実施の形態に係る表示制御システム1の用途の一例を示す図である。図2では、運転者120が表示器21に注目しているときに、移動体の前方に歩行者131及び132が現れたため、運転者120の視線(注視方向)を移動体の前方の歩行者131及び132に誘導する状況を想定している。運転者120が表示器21に注目していることは、例えば、先進運転支援システム等の視線検知部により、運転者の視線方向等を検知することにより判断可能である。
まず、図2の左側の図に示されるように、表示制御システム1は、表示器21、22、23、24、25及び26のそれぞれに個別に画像を表示させている。運転者120は、表示器21の操作のために表示器21に注目しており、運転者120の視線121が表示器21に向けられている。
その後、図2の中央の図に示されるように、移動体100の前方に存在する歩行者131及び132が検知され、表示制御システム1は、歩行者131及び132を囲む枠状の虚像261及び262を表示器26に表示させる。このとき、表示制御システム1は、表示器21を表示器26と連携させ、運転者120に注意を促すようなアイコン201を表示器21に対して表示させる。そのため、表示器21に注目している運転者120は、何らかのイベントが発生したことに気付くことになる。
その後、図2の右側の図に示されるように、表示制御システム1は、表示器21及び25を表示器26に連携させ、運転者120の視線を誘導するようなアイコン202及び203を、表示器21及び25に表示させる。さらに、表示制御システム1は、運転者120の視線を誘導するようなアイコン204を表示器26に表示させる。アイコン202、203及び204は、運転者120から見て、表示器21に表示されているアイコン201から、表示器26に表示されている虚像261及び262に向けて延びる光の筋状の画像(矢印画像)である。なお、表示される各画像(アイコン及び矢印画像)は一例に過ぎず、単なる直線、点線又は文字列等であってもよい。
これにより、運転者120の視線121は、図2の右側の図に示されるように、表示器26に表示されている虚像261及び262に誘導させられる。したがって、運転者120の視線122は、移動体の前方の歩行者131及び132に向けられることになる。
このように、表示制御システム1は、複数の表示器21、22、23、24、25及び26に跨って関連する情報を表示させることが可能である。図2の例では、運転者120の視線を虚像261及び262に誘導するためのアイコン201、202、203及び204が、関連する情報として、表示器21、25及び26に跨って表示される。
表示制御システム1における複数の表示装置が連携して関連する情報を表示する機能を実現するための具体的な構成について図3及び図4を用いて説明する。
図3は、実施の形態に係る表示制御システム1の一例を示す構成図である。
図4は、実施の形態に係る、仮想フレームメモリ50が構築された表示制御システム1の一例を示す構成図である。
表示制御システム1は、複数の表示装置と、複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備えるシステムである。図3及び図4に示されるように、表示制御システム1は、例えば、複数の表示装置31、32及び33を備える。複数の表示装置31、32及び33のそれぞれは、例えば、移動体に搭載されるECU(Electronic Control Unit)である。例えば、複数の表示装置31、32及び33のいずれかが表示制御部となり、自身を含む複数の表示装置31、32及び33を連携させて関連する情報を表示させる。ここでは、表示装置31が表示制御部となり、複数の表示装置31、32及び33を連携させて関連する情報を表示させる例について説明する。
表示制御システム1は、複数の表示装置に表示させる1以上の情報を記憶する単一の仮想フレームメモリ50を備える。具体的には、図4に示されるように、表示制御システム1は、複数の表示器21、22、23、24、25及び26に跨って表示させる関連する情報(例えば画面)を記憶する仮想フレームメモリ50を備える。表示制御部は、複数の表示装置のうちの少なくとも2つに跨って表示させる情報を仮想フレームメモリ50に書き込むように構成されている。具体的には、表示制御部(例えば表示装置31)は、複数の表示器21、22、23、24、25及び26に跨って表示させる画面を、仮想フレームメモリ50に書き込むように構成されている。「仮想フレームメモリ」は、OS(Operating System)等が、1つ以上の物理的なメモリ(非一時的な記憶媒体)を用いて、連続した記憶領域を持つように設定する仮想的なメモリである。
複数の表示装置31、32及び33のそれぞれは、表示制御システム1において物理的に分離した構成要素である。複数の表示装置31、32及び33のそれぞれは、例えば、プロセッサ(CPU(Central Processing Unit)及びGPU(Graphics Processing Unit))、メモリ及び通信インタフェース等を含む装置である。複数の表示装置31、32及び33のそれぞれは、通信インタフェースを介して互いに通信可能に接続される。なお、複数の表示装置31、32及び33のそれぞれは、表示制御システム1において物理的に分離した構成要素であるが、通信線等で互いに接続されていてもよい。メモリは、ROM(Read Only Memory)及びRAM(Random Access Memory)等であり、プロセッサにより実行されるプログラムを記憶することができる。例えばプロセッサがプログラムに従って動作することにより、複数の表示装置31、32及び33が連携して関連する情報を表示する機能が実現される。
表示装置31は、CPU411及びGPU412を含んでいる。同様に、表示装置32はCPU421及びGPU422を含み、表示装置33はCPU431及びGPU432を含んでいる。GPU412、422及び432は、例えば、OpenGL(Open Graphics Library)に準拠した描画演算処理を実行する。
また、表示装置31はフレームメモリ51を備え、表示装置32はフレームメモリ52を備え、表示装置33はフレームメモリ53を備える。「フレームメモリ」は、複数の表示器21、22、23、24、25及び26に表示される1画像(1フレーム)分の表示内容(表示状態)を記憶するためのメモリ(フレームバッファ)である。フレームメモリ51、52及び53のそれぞれは、専用のメモリであってもよいし、コンピュータシステムのメモリのうちの一部の領域で構成されていてもよい。
表示制御システム1は、複数の表示器21、22、23、24、25及び26を複数のグループに分類した場合に、それぞれが複数のグループのそれぞれと一対一に対応する複数のプロセッサ(具体的にはGPU412、422及び432)を有している。また、表示制御システム1は、GPU412、422及び432のそれぞれと一対一に対応し、仮想フレームメモリ50を構成するフレームメモリ51、52及び53を有している。例えば、複数の表示器21、22、23、24、25及び26は第1グループ、第2グループ及び第3グループのいずれかに分類されている。例えば、第1グループには表示器21が属し、第2グループには表示器25及び26が属し、第3グループには表示器22、22及び24が属する。そして、GPU412は第1グループ及びフレームメモリ51に対応し、GPU422は第2グループ及びフレームメモリ52に対応し、GPU432は第3グループ及びフレームメモリ53に対応する。
ここで、GPU412、422及び432のそれぞれは、描画コマンドに従って対応するフレームメモリ51、52及び53に書き込むことにより、対応するグループに属するいずれかの表示器に表示させる画面を生成するように構成されている。「描画コマンド」は、複数の表示装置31、32及び33のそれぞれに描画処理を行わせるためのコマンド(命令)であって、具体的には、GPU412、422及び432に対してフレームメモリへの描画、つまりフレームメモリへの書き込みを実行させるためのコマンドである。例えば、GPU412は、描画コマンドに従ってフレームメモリ51に書き込むことにより、第1グループに属する表示器21に表示させる画像を生成する。GPU422は、描画コマンドに従ってフレームメモリ52に書き込むことにより、第2グループに属する表示器25及び26のうち少なくとも1つの表示器に表示させる画像を生成する。GPU432は、描画コマンドに従ってフレームメモリ53に書き込むことにより、第3グループに属する表示器22、23及び24のうち少なくとも1つの表示器に表示させる画像を生成する。
例えば、表示装置31では、CPU411、GPU412及びフレームメモリ51がバス接続されており、GPU412が表示器21に何らかの画像を表示させる際には、フレームメモリ51の内容を書き換え、一定のタイミングでフレームメモリ51の内容が表示器21に送信されて、表示器21の表示内容が更新されることになる。表示装置32及び33においても、表示装置31と同様の構成が採用されている。また、上述したように、表示装置31と表示装置32と表示装置33とは、例えば、イーサネット(登録商標)に準拠した通信方式により、相互に通信可能に構成されている。なお、表示装置31と表示装置32と表示装置33とは、例えば、CAN(Controller Area Network)等の通信方式により通信してもよい。
図3は、ハードウェア上でOSが動作し、OS上でアプリケーションソフト(アプリ)が動作している構造を、CPU及びGPU等のハードウェアレイヤ、OSレイヤ及びアプリケーションレイヤに分けて概念的に示している。例えば、表示装置31においては、ハードウェア上でOS61が動作し、OS61上でアプリケーションソフト711及び712が動作する。表示装置32においては、ハードウェア上でOS62が動作し、OS62上でアプリケーションソフト721及び722が動作する。表示装置33においては、ハードウェア上でOS63が動作し、OS63上でアプリケーションソフト731及び732が動作する。
表示制御システム1は、ソフトウェア(コンピュータプログラム)により、図4に示されるように、仮想フレームメモリ50を実現する。
仮想フレームメモリ50は、フレームメモリ51、52及び53を利用して、複数の表示装置31、32及び33のOS61、62及び63上に構築される。仮想フレームメモリ50は、複数の表示器21、22、23、24、25及び26に表示させる画面を記憶する。表示制御システム1は、複数の表示器21、22、23、24、25及び26に跨って表示させる画面を、仮想フレームメモリ50に書き込むように構成されている。つまり、仮想フレームメモリ50は、アクセス可能な表示器及びGPUが制限されたフレームメモリ51、52及び53とは異なり、複数の表示器21、22、23、24、25及び26並びに複数のGPU412、422及び432の全てから画一的にアクセス可能である。そのため、仮想フレームメモリ50に書き込まれた画面については、複数の表示器21、22、23、24、25及び26に跨って表示可能となっている。
図4は、ハードウェア上でOSが動作し、OS上でアプリケーションソフトが動作している構造を、ハードウェアレイヤ、OSレイヤ及びアプリケーションレイヤに分けて概念的に示している。さらに、図4では、フレームメモリ51、52及び53に代えて、複数の表示装置31、32及び33のOS61、62及び63上に構築される仮想フレームメモリ50を図示している。
表示制御システム1は、図4に示されるように、仮想フレームメモリ50を有するので、表示装置31、32及び33間において、シームレスな描画演算処理が可能になる。例えば、表示装置31が表示制御部となることで、表示装置31に実装されているアプリケーションソフト711は、第1グループに属する表示器21だけでなく、第2グループに属する表示器25及び26、並びに、第3グループに属する表示器22、23及び24にも、仮想フレームメモリ50を通して直接的に描画が可能である。
このようにして、表示制御システム1における複数の表示装置31、32及び33が連携して関連する情報を複数の表示器21、22、23、24、25及び26に表示する機能が実現される。
しかしながら、このように複数の表示器21、22、23、24、25及び26に連携して関連する情報を表示させる際に、複数の表示器21、22、23、24、25及び26へ画像を描画する複数の表示装置31、32及び33のそれぞれのGPUの性能に差があると、各表示装置における描画タイミングにずれが生じるという問題がある。例えば、図2に示されるアイコン202、203及び204のうちの一部のアイコンが遅れて表示されて、光の筋状の画像が途切れてしまい、運転者120の視線を正しく誘導できない場合がある。
これに対して、表示制御システム1は、各表示装置における描画タイミングのずれを抑制する機能を有する。例えば各表示装置が備えるプロセッサがプログラムに従って動作することにより、各表示装置における描画タイミングのずれを抑制する機能が実現される。当該機能の詳細について図5及び図6を用いて説明する。
図5は、実施の形態に係る表示制御システム1の動作の一例を示すシーケンス図である。例えば、表示装置31を複数の表示装置31、32及び33を連携させて関連する情報を表示させる表示制御部とする。
表示装置31は、複数の表示装置31、32及び33のそれぞれに描画処理を行わせるための描画コマンドをフレームごとに生成する(ステップS101)。また、表示装置31は、描画コマンドの生成順序に応じた時間情報を描画コマンドのそれぞれに付与する。例えば、表示装置31は、描画コマンドを生成していき、描画コマンドを生成したときの時刻を時間情報として描画コマンドに付与する。つまり、早く生成された描画コマンドに対応したフレームほど早く表示され、また、早い時刻が付与される。なお、時間情報は生成順序が1番目の描画コマンド生成時からの経過時間としてもよい。
表示装置31は、時間情報が付与された描画コマンドを複数の表示装置32及び33のそれぞれに送信する(ステップS102)。例えば、表示装置31は、生成順序が早い順に描画コマンドを送信する。
そして、複数の表示装置31、32及び33のそれぞれは、時間情報が付与された描画コマンドを用いて遅延抑制処理を行う(ステップS103a、S103b及びS103c)。表示装置32及び33は、表示装置31から送信された描画コマンドを用いて遅延抑制処理を行い、表示装置31は、自身が生成した描画コマンドを用いて遅延抑制処理を行う。遅延抑制処理について図6を用いて説明する。
図6は、実施の形態に係る表示装置の動作の一例を示すフローチャートである。例えば、表示装置32に着目して説明するが、他の表示装置についても同様の動作となっている。表示装置32は、第1処理と第2処理とを並行して行う。まずは、第1処理について説明する。
まず、表示装置32は、時間情報が付与された描画コマンドを取得する(ステップS11)。例えば、表示装置32は、生成順序が早い順に送信された描画コマンドを取得する。
次に、表示装置32は、取得した描画コマンドをバッファに格納する(ステップS12)。バッファに格納された描画コマンドは第2処理において用いられる。
次に、表示装置32は、取得した描画コマンドに付与された時間情報のみを取得する(ステップS13)。第1処理では、描画コマンドに従った描画処理が行われず、時間情報の取得のみが行われる。
そして、再度ステップS11からの処理が、生成順序が次の描画コマンドについて行われる。つまり、表示装置32は、第1処理において、生成順序に応じて描画コマンドに付与された時間情報のみを取得していく。
次に、第2処理について説明する。
まず、表示装置32は、バッファに格納された描画コマンドを取得する(ステップS21)。例えば、表示装置32は、生成順序が早い順に描画コマンドを取得する。第2処理では、後述するように、描画コマンドの取得後に当該描画コマンドに基づいて時間情報の取得だけでなく描画処理が行われてから次の描画コマンドが取得されるため、第2処理でバッファから描画コマンドが取り出されていく速さよりも、描画処理が行われない第1処理でバッファに描画コマンドが格納されていく速さの方が速い。このため、表示装置32は、バッファに溜まっている描画コマンドを取得することになる。
次に、表示装置32は、取得した描画コマンドに従った描画処理を行う(ステップS22)。なお、表示装置32が有するGPU422の性能が悪いほど、描画処理に時間がかかり描画遅延が発生する。
次に、表示装置32は、ステップS22で描画処理を行ったときに当該描画処理を行わせた描画コマンド(すなわちステップS21で取得した描画コマンド)に付与された時間情報を取得する(ステップS23)。なお、表示装置32は、ステップS22で描画処理を行う前に、描画コマンドに付与された時間情報を取得してもよい。つまり、表示装置32は、時間情報を取得してから描画処理を行ってもよい。
次に、表示装置32は、第1処理において取得する最新の時間情報と第2処理において取得する最新の時間情報との差分を算出し、差分が所定の閾値を超えたか否かを判定する(ステップS24)。所定の閾値は、特に限定されず、表示制御システム1の仕様等に応じて適宜設定される。
表示装置32は、差分が所定の閾値を超えない場合(ステップS24でNo)、描画処理にかかる負荷の低減処理を行わない(ステップS25)。
そして、再度ステップS21からの処理が、生成順序が次の描画コマンドについて行われる。つまり、表示装置32は、第2処理において、描画コマンドの生成順序に応じて描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる描画コマンドに付与された時間情報を取得していく。
第2処理では、時間情報の取得だけでなく描画処理も行われるため、第2処理の1ループが完了するのに、第1処理の1ループが完了するよりも多くの時間がかかる。したがって、第1処理では、第2処理よりも早いペースで時間情報を取得していくため、第1処理において取得される最新の時間情報が示す時刻は、第2処理において取得される最新の時間情報が示す時刻よりも進むことになる。例えば、描画コマンドの取得が始まってあまり時間が経過していない状態では、第1処理において取得する最新の時間情報と第2処理において取得する最新の時間情報との差分は小さいが、GPU422の性能が悪いと、時間の経過とともに(言い換えると描画コマンドの取得数が増えるとともに)その差分は徐々に広がっていく。
例えば、複数の表示装置31、32及び33のそれぞれのGPUの性能に差があると、描画処理にかかる時間も複数の表示装置31、32及び33のそれぞれごとに変わり、各表示装置における描画タイミングにずれが生じることになる。
そこで、表示装置32は、第1処理のループと第2処理のループを並行して行っていき、第1処理において取得する最新の時間情報と第2処理において取得する最新の時間情報との差分が所定の閾値を超えた場合に(ステップS24でYes)、描画処理にかかる負荷の低減処理を行う(ステップS26)。描画処理にかかる負荷の低減処理は、特に限定されないが、例えば、フレームレートを下げる処理、又は、解像度を下げる処理である。これにより、描画処理にかかる負荷が小さくなり、すなわち、描画処理にかかる時間が短くなる(言い換えると描画遅延が抑制される)。なお、他の表示装置31及び33についても、上記差分が所定の閾値を超えた場合に描画処理にかかる負荷の低減処理が行われるため、複数の表示装置31、32及び33のそれぞれについて描画遅延が抑制され、ひいては、各表示装置における描画タイミングのずれを抑制できる。
以上説明したように、表示制御システム1は、複数の表示装置31、32及び33と、複数の表示装置31、32及び33を連携させて関連する情報を表示させる表示制御部(例えば表示装置31)と、を備える。表示制御部は、複数の表示装置31、32及び33のそれぞれに描画処理を行わせるための描画コマンドをフレームごとに生成し、描画コマンドの生成順序に応じた時間情報を前記描画コマンドのそれぞれに付与する。複数の表示装置31、32及び33のそれぞれは、描画コマンドを取得し、描画コマンドの生成順序に応じて描画コマンドに付与された時間情報のみを取得していく第1処理と、描画コマンドの生成順序に応じて描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる描画コマンドに付与された時間情報を取得していく第2処理とを並行して行う。そして、複数の表示装置31、32及び33のそれぞれは、第1処理において取得する最新の時間情報と第2処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、差分が所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う。
これによれば、複数の表示装置31、32及び33のそれぞれについて、描画処理にかかる負荷の影響の小さい第1処理で取得される最新の時間情報と、描画処理にかかる負荷の影響の大きい第2処理で取得される最新の時間情報との差分が大きくなったとき、つまり、描画処理にかかる負荷によって描画遅延が大きくなったときに、描画処理にかかる負荷が低減される。したがって、複数の表示装置31、32及び33のそれぞれについてGPUの性能に差があったとしても、それぞれで描画遅延が抑制されるため、表示制御システム1が備える各表示装置における描画タイミングのずれを抑制できる。
また、描画処理にかかる負荷の低減処理は、フレームレートを下げる処理、又は、解像度を下げる処理であってもよい。
このように、フレームレートを下げるか、解像度を下げることで描画処理にかかる負荷を低減することができる。
また、移動体は、表示制御システム1と、表示制御システム1が搭載された移動体本体と、を備える。
これによれば、表示制御システム1を移動体に適用することができ、表示制御システム1が備える各表示装置における描画タイミングのずれを抑制できる移動体を提供できる。
また、表示装置(例えば表示装置32)は、複数の表示装置31、32及び33と、複数の表示装置31、32及び33を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システム1における複数の表示装置31、32及び33のうちのいずれかの表示装置である。表示装置32は、表示制御部によってフレームごとに生成された、複数の表示装置31、32及び33のそれぞれに描画処理を行わせるための描画コマンドであって、描画コマンドの生成順序に応じた時間情報が付与された描画コマンドを取得する。表示装置32は、描画コマンドの生成順序に応じて描画コマンドに付与された時間情報のみを取得していく第1処理と、描画コマンドの生成順序に応じて描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる描画コマンドに付与された時間情報を取得していく第2処理とを並行して行う。そして、表示装置32は、第1処理において取得する最新の時間情報と第2処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、差分が所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う。
これによれば、表示制御システム1が備える各表示装置における描画タイミングのずれを抑制できる表示装置を提供できる。
(その他の実施の形態)
以上のように、本開示に係る技術の例示として実施の形態を説明した。しかしながら、本開示に係る技術は、これに限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。例えば、以下のような変形例も本開示の一実施の形態に含まれる。
例えば、上記実施の形態では、表示装置31が表示制御部となり、自身を含む複数の表示装置31、32及び33を連携させて関連する情報を表示させる例について説明したが、これに限らない。例えば、表示装置31が表示制御部となり、複数の表示装置32及び33を連携させて関連する情報を表示させてもよい。つまり、表示制御部は、連携させて関連する情報が表示させられる複数の表示装置のいずれかでなくてもよい。また、状況によって、表示制御部となる表示装置が入れ替わってもよい。また、複数の表示装置31、32及び33のいずれかが表示制御部とならなくてもよく、表示制御システム1は、複数の表示装置31、32及び33とは別に、表示制御部を備えていてもよい。
例えば、複数の表示装置のそれぞれは、取得した描画コマンドに対して自身の性能が低いことなどにより、第1処理において取得する時間情報の間隔が第2処理において描画コマンドを処理する時間より明らかに短い場合には、第1処理において取得する最新の時間情報と第2処理において取得する最新の時間情報との差分が所定の閾値を超える前に、描画処理にかかる負荷の低減処理を行ってもよい。言い換えると、複数の表示装置のそれぞれは、第1処理において取得する時間情報の間隔より描画処理のフレームレートを算出し、第2処理が、算出したフレームレートでの描画処理に対応していない場合には、第1処理において取得する最新の時間情報と第2処理において取得する最新の時間情報との差分が所定の閾値を超える前に、描画処理にかかる負荷の低減処理を行ってもよい。例えば、表示装置が120fpsのフレームレートの動画に対応していない場合に、第1処理において取得した2つの描画コマンドの時間情報の間隔から120fpsのフレームレートの動画が再生されようとしていることを認識したときに、描画処理にかかる負荷の低減処理(例えばフレームレートを下げる処理)を行ってもよい。
なお、本開示は、表示制御システム1として実現できるだけでなく、表示制御システム1を構成する各構成要素が行うステップ(処理)を含む表示制御方法として実現できる。
具体的には、複数の表示装置と、複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムによる表示制御方法であって、表示制御部は、図5に示されるように、複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドをフレームごとに生成し、描画コマンドの生成順序に応じた時間情報を前記描画コマンドのそれぞれに付与し(ステップS101)、複数の表示装置のそれぞれは、図6に示されるように、描画コマンドを取得し(ステップS11)、描画コマンドの生成順序に応じて描画コマンドに付与された時間情報のみを取得していく(ステップS13)第1処理と、描画コマンドの生成順序に応じて描画コマンドに従った描画処理を行っていき(ステップS22)、かつ、当該描画処理を行わせる描画コマンドに付与された時間情報を取得していく(ステップS23)第2処理とを並行して行い、第1処理において取得する最新の時間情報と第2処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し(ステップS24)、差分が所定の閾値を超えた場合(ステップS24でYes)、描画処理にかかる負荷の低減処理を行う(ステップS26)。
また、本開示は、表示装置として実現できるだけでなく、表示装置を構成する各構成要素が行うステップ(処理)を含む表示方法として実現できる。
具体的には、複数の表示装置と、複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムにおける表示装置による表示方法であって、図6に示されるように、表示制御部によってフレームごとに生成された、複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドであって、描画コマンドの生成順序に応じた時間情報が付与された描画コマンドを取得し(ステップS11)、描画コマンドの生成順序に応じて描画コマンドに付与された時間情報のみを取得していく(ステップS13)第1処理と、描画コマンドの生成順序に応じて描画コマンドに従った描画処理を行っていき(ステップS22)、かつ、当該描画処理を行わせる描画コマンドに付与された時間情報を取得していく(ステップS23)第2処理とを並行して行い、第1処理において取得する最新の時間情報と第2処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し(ステップS24)、差分が所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う(ステップS26)。
例えば、表示制御方法及び表示方法におけるステップは、コンピュータ(コンピュータシステム)によって実行されてもよい。そして、本開示は、表示制御方法及び表示方法に含まれるステップを、コンピュータに実行させるためのプログラムとして実現できる。
さらに、本開示は、そのプログラムを記録したCD-ROM等である非一時的なコンピュータ読み取り可能な記録媒体として実現できる。
例えば、本開示が、プログラム(ソフトウェア)で実現される場合には、コンピュータのCPU、メモリ及び入出力回路等のハードウェア資源を利用してプログラムが実行されることによって、各ステップが実行される。つまり、CPUがデータをメモリ又は入出力回路等から取得して演算したり、演算結果をメモリ又は入出力回路等に出力したりすることによって、各ステップが実行される。
また、上記実施の形態の表示制御システム1に含まれる各構成要素は、専用又は汎用の回路として実現されてもよい。
また、上記実施の形態の表示制御システム1に含まれる各構成要素は、集積回路(IC:Integrated Circuit)であるLSI(Large Scale Integration)として実現されてもよい。
また、集積回路はLSIに限られず、専用回路又は汎用プロセッサで実現されてもよい。プログラム可能なFPGA(Field Programmable Gate Array)、又は、LSI内部の回路セルの接続及び設定が再構成可能なリコンフィギュラブル・プロセッサが、利用されてもよい。
さらに、半導体技術の進歩又は派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて、表示制御システム1に含まれる各構成要素の集積回路化が行われてもよい。
その他、実施の形態に対して当業者が思いつく各種変形を施して得られる形態、本開示の趣旨を逸脱しない範囲で各実施の形態における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。
本開示は、移動体に搭載される表示装置等に適用できる。
1 表示制御システム
21、22、23、24、25、26 表示器
31、32、33 表示装置
50 仮想フレームメモリ
51、52、53 フレームメモリ
61、62、63 OS
120 運転者
121、122 視線
131、132 歩行者
201、202、203、204 アイコン
261、262 虚像
411、421、431 CPU
412、422、432 GPU
711、712、721、722、731、732 アプリケーションソフト

Claims (11)

  1. 複数の表示装置と、
    前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備え、
    前記表示制御部は、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドをフレームごとに生成し、前記描画コマンドの生成順序に応じた時間情報を前記描画コマンドのそれぞれに付与し、
    前記複数の表示装置のそれぞれは、
    前記描画コマンドを取得し、
    前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第1処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第2処理とを並行して行い、
    前記第1処理において取得する最新の時間情報と前記第2処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、
    前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う、
    表示制御システム。
  2. 前記低減処理は、フレームレートを下げる処理、又は、解像度を下げる処理である、
    請求項1に記載の表示制御システム。
  3. 前記複数の表示装置のそれぞれは、前記第1処理において取得する時間情報の間隔が前記第2処理において前記描画コマンドを処理する時間より短い場合には、前記第1処理において取得する最新の時間情報と前記第2処理において取得する最新の時間情報との差分が所定の閾値を超える前に、前記低減処理を行う、
    請求項1又は2に記載の表示制御システム。
  4. 前記複数の表示装置のそれぞれは、前記第1処理において取得する時間情報の間隔より前記描画処理のフレームレートを算出し、前記第2処理が前記フレームレートでの描画処理に対応していない場合には、前記第1処理において取得する最新の時間情報と前記第2処理において取得する最新の時間情報との差分が所定の閾値を超える前に、前記低減処理を行う、
    請求項1又は2に記載の表示制御システム。
  5. さらに、前記複数の表示装置に表示させる1以上の情報を記憶する単一の仮想フレームメモリを備え、
    前記表示制御部は、前記複数の表示装置のうちの少なくとも2つに跨って表示させる情報を前記仮想フレームメモリに書き込むように構成されている
    請求項1から4のいずれか1項に記載の表示制御システム。
  6. 前記複数の表示装置はECUである
    請求項1から5のいずれか1項に記載の表示制御システム。
  7. 請求項1から6のいずれか1項に記載の表示制御システムと、
    前記表示制御システムが搭載された移動体本体と、を備える、
    移動体。
  8. 複数の表示装置と、前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムによる表示制御方法であって、
    前記表示制御部は、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドをフレームごとに生成し、前記描画コマンドの生成順序に応じた時間情報を前記描画コマンドのそれぞれに付与し、
    前記複数の表示装置のそれぞれは、
    前記描画コマンドを取得し、
    前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第1処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第2処理とを並行して行い、
    前記第1処理において取得する最新の時間情報と前記第2処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、
    前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う、
    表示制御方法。
  9. 複数の表示装置と、前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムにおける前記複数の表示装置のうちのいずれかの表示装置であって、
    前記表示制御部によってフレームごとに生成された、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドであって、描画コマンドの生成順序に応じた時間情報が付与された描画コマンドを取得し、
    前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第1処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第2処理とを並行して行い、
    前記第1処理において取得する最新の時間情報と前記第2処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、
    前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う、
    表示装置。
  10. 複数の表示装置と、前記複数の表示装置を連携させて関連する情報を表示させる表示制御部と、を備える表示制御システムにおける表示装置による表示方法であって、
    前記表示制御部によってフレームごとに生成された、前記複数の表示装置のそれぞれに描画処理を行わせるための描画コマンドであって、描画コマンドの生成順序に応じた時間情報が付与された描画コマンドを取得し、
    前記生成順序に応じて前記描画コマンドに付与された時間情報のみを取得していく第1処理と、前記生成順序に応じて前記描画コマンドに従った描画処理を行っていき、かつ、当該描画処理を行わせる前記描画コマンドに付与された時間情報を取得していく第2処理とを並行して行い、
    前記第1処理において取得する最新の時間情報と前記第2処理において取得する最新の時間情報との差分が所定の閾値を超えたか否かを判定し、
    前記差分が前記所定の閾値を超えた場合、描画処理にかかる負荷の低減処理を行う、
    表示方法。
  11. 請求項10に記載の表示方法をコンピュータに実行させるためのプログラム。
JP2021565365A 2019-12-17 2020-11-10 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム Active JP7174926B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019227019 2019-12-17
JP2019227019 2019-12-17
PCT/JP2020/041837 WO2021124729A1 (ja) 2019-12-17 2020-11-10 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021124729A1 JPWO2021124729A1 (ja) 2021-06-24
JP7174926B2 true JP7174926B2 (ja) 2022-11-18

Family

ID=76476556

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021565365A Active JP7174926B2 (ja) 2019-12-17 2020-11-10 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム

Country Status (5)

Country Link
US (1) US11467796B2 (ja)
JP (1) JP7174926B2 (ja)
CN (1) CN113348436B (ja)
DE (1) DE112020000617T5 (ja)
WO (1) WO2021124729A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115033152B (zh) * 2022-06-22 2024-06-14 中国商用飞机有限责任公司 显示界面的控制方法及电子设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015022723A1 (ja) 2013-08-12 2015-02-19 三菱電機株式会社 マルチ画面表示システム、画像描画方法及び画像描画プログラム
JP2016133608A (ja) 2015-01-19 2016-07-25 キヤノン株式会社 表示装置、表示システム及び表示方法
JP2017194509A (ja) 2016-04-18 2017-10-26 三菱電機株式会社 表示端末装置、データ処理方法及びデータ処理プログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005244931A (ja) * 2004-01-26 2005-09-08 Seiko Epson Corp マルチ画面映像再生システム
KR101263522B1 (ko) * 2004-09-02 2013-05-13 소니 주식회사 콘텐츠 수신 장치, 비디오 오디오 출력 타이밍 제어 방법및 콘텐츠 제공 시스템
JPWO2010103827A1 (ja) 2009-03-12 2012-09-13 パナソニック株式会社 再生装置、再生方法、記録媒体、アプリケーション、及びオーサリング装置
US9256265B2 (en) * 2009-12-30 2016-02-09 Nvidia Corporation Method and system for artificially and dynamically limiting the framerate of a graphics processing unit
US20120218203A1 (en) * 2011-02-10 2012-08-30 Kanki Noriyoshi Touch drawing display apparatus and operation method thereof, image display apparatus allowing touch-input, and controller for the display apparatus
JP2012208342A (ja) * 2011-03-30 2012-10-25 Sony Corp 信号処理回路と信号処理方法および表示装置
US20140192072A1 (en) * 2012-01-06 2014-07-10 Mitsubishi Electric Corporation Drawing control device
TWI622042B (zh) * 2014-10-13 2018-04-21 緯創資通股份有限公司 矩陣式螢幕、顯示裝置與其相關之顯示方法
JP6929139B2 (ja) * 2017-06-08 2021-09-01 株式会社デンソーテン 表示制御装置、表示システムおよび表示制御方法
JP6986699B2 (ja) 2017-07-04 2021-12-22 パナソニックIpマネジメント株式会社 表示制御システム、表示システム、移動体、表示制御方法及びプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015022723A1 (ja) 2013-08-12 2015-02-19 三菱電機株式会社 マルチ画面表示システム、画像描画方法及び画像描画プログラム
JP2016133608A (ja) 2015-01-19 2016-07-25 キヤノン株式会社 表示装置、表示システム及び表示方法
JP2017194509A (ja) 2016-04-18 2017-10-26 三菱電機株式会社 表示端末装置、データ処理方法及びデータ処理プログラム

Also Published As

Publication number Publication date
WO2021124729A1 (ja) 2021-06-24
DE112020000617T5 (de) 2021-11-04
US20210349673A1 (en) 2021-11-11
JPWO2021124729A1 (ja) 2021-06-24
CN113348436A (zh) 2021-09-03
CN113348436B (zh) 2023-07-25
US11467796B2 (en) 2022-10-11

Similar Documents

Publication Publication Date Title
JP7481790B2 (ja) 強化された高ダイナミック・レンジ画像化及びトーン・マッピング
US10358146B2 (en) Display control system, display system, movable-body apparatus, display controlling method, and storage medium
US10169066B2 (en) System and method for enhancing advanced driver assistance system (ADAS) as a system on a chip (SOC)
WO2014097587A1 (ja) 車両用表示制御装置
US20150100884A1 (en) Hardware overlay assignment
JP5120125B2 (ja) 画像合成システム、表示制御方法、描画処理装置、及び制御プログラム
TW201901614A (zh) 使用多分辨率改善圖像品質的方法及裝置
TW201901615A (zh) 改善圖像品質的方法及虛擬實境裝置
JP7174926B2 (ja) 表示制御システム、移動体、表示制御方法、表示装置、表示方法及びプログラム
WO2016099630A1 (en) Head mounted display update buffer
CN111066081B (zh) 用于补偿虚拟现实的图像显示中的可变显示设备等待时间的技术
US12008676B2 (en) Vehicle device, drawing requests using priority queues, and vehicle device control method
CN113892134A (zh) 具有优化的性能的多媒体系统
US10769753B2 (en) Graphics processor that performs warping, rendering system having the graphics processor, and method of operating the graphics processor
US11640358B2 (en) Vehicular device and control method for vehicular device
EP3113169B1 (en) Method for controlling a graphic processing unit in a control unit, in particular of a vehicle, computer program product and system for an embedded control unit
US20190108814A1 (en) Method for improving system performance, device for improving system performance, and display apparatus
EP3977272B1 (en) Multimedia system with optimized performance
WO2022209246A1 (ja) 表示制御システム、表示方法及びプログラム
US12020343B2 (en) Vehicle device and vehicle device control method
US20240329909A1 (en) Display control system, display control method, and recording medium
US20220024466A1 (en) Vehicle device and vehicle device control method
CN115729696A (zh) 车载系统的显示控制方法、装置、设备及介质
KR20170102704A (ko) 자동차의 클러스터가 헤드유닛의 sw컴포넌트를 공유하기 위한 방법
US20200111450A1 (en) Method and display system for displaying sensor data from a sensor device on a display device, and motor vehicle having a display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20211112

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20221004

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20221025

R151 Written notification of patent or utility model registration

Ref document number: 7174926

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350