JP6345353B2

JP6345353B2 - 描画制御装置

Info

Publication number: JP6345353B2
Application number: JP2017536116A
Authority: JP
Inventors: 康明瀧本; 水口　武尚; 武尚水口
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2015-08-25
Filing date: 2015-08-25
Publication date: 2018-06-20
Anticipated expiration: 2035-08-25
Also published as: WO2017033289A1; US20190005702A1; JPWO2017033289A1

Description

この発明は、周期ごとに、優先度が付加された複数の描画タスクを実行する描画制御装置に関するものである。

現行の３次元グラフィックスプロセッサでは、描画処理を任意のタイミングで中断して別の描画処理に切り替えることは難しく、優先処理を確実に行えるものは少ない。
そのため、液晶等の表示器を使用したインストルメントパネル（いわゆるグラフィックスインパネ）において３次元グラフィックスプロセッサを使用する際に、リアルタイム性の保証が必要なために高優先度が設定されたメータの指針の描画と、より低優先度が設定されたメータの枠の描画とで３次元グラフィックスプロセッサを共有すると、低優先度の描画処理が完了するまで高優先度の描画処理が開始できず、リアルタイム性を保証できない場合があった。

そこで、例えば特許文献１に記載された描画制御装置においては、描画処理にかかる時間を予測し、描画処理の順序の入れ替えまたは描画処理の細分化を行うことで、実行中の描画処理の途中中断を避けつつ高優先度の描画処理を実行できるようにしている。

国際公開第２０１３／１０２９５６号

しかしながら、従来は、周期ごとに高優先度の描画処理と低優先度の描画処理を実行する場合に、高優先度の描画処理にかかる時間と低優先度の描画処理にかかる時間が周期よりも長くなるような状況について考慮されていなかった。そのため、高優先度の描画処理にかかる時間と低優先度の描画処理にかかる時間が周期よりも長くなるような状況では、高優先度の描画処理を確実に実行できるとは限らず、描画のリアルタイム性を保証できないという課題があった。さらに、描画処理にかかる時間の予測に誤差があった場合、または異常等が発生して描画処理にかかる時間が予測よりのびた場合にも、描画のリアルタイム性を保証できないという課題があった。

この発明は、上記のような課題を解決するためになされたもので、優先度が付加された複数の描画タスクが存在する場合に、優先度が高い描画タスクを確実に実行することを目的とする。

この発明に係る描画制御装置は、垂直同期タイミングを区切りとした周期ごとに、優先度が付加された複数の描画タスクを実行して複数の画像を描画する描画部と、周期ごとに、描画部が描画した複数の画像を合成して出力する出力部と、描画タスクに含まれている１つ以上の描画コマンドごとの描画時間を予測する描画時間予測部と、描画時間予測部が予測した描画時間に基づいて複数の描画タスクの実行順序を計画して描画部を制御する描画調整部とを備え、描画調整部は、今回周期に実行する予定の複数の描画タスクを優先度の高いものから順に描画部に実行させ、今回周期に実行する予定の複数の描画タスクの描画コマンドの中から、今回周期で描画した画像の出力を開始する出力タイミングまでに完了しないと予測して判断した描画タスクの一部または全部の描画コマンドを、次回周期において、当該完了しない描画タスクより優先度の高い描画タスクの実行後に実行させるように実行順序を計画して描画部を制御するものである。

この発明によれば、今回周期に実行する予定の複数の描画タスクを優先度の高いものから順に描画部に実行させ、今回周期で描画した画像の出力を開始する出力タイミングまでに完了しない描画タスクの一部または全部の描画コマンドを、次回周期において、当該完了しない描画タスクより優先度の高い描画タスクの実行後に実行させるようにしたので、各周期において優先度が高い描画タスクを確実に実行することができる。

この発明の実施の形態１に係る描画制御装置の構成例を示すブロック図である。実施の形態１に係る描画制御装置におけるフレームバッファ、レイヤおよび映像出力を説明する図である。実施の形態１に係る描画制御装置におけるレイヤのダブルバッファリングを説明する図である。実施の形態１に係る描画制御装置における周期ごとの描画処理を説明するタイムチャートである。実施の形態１に係る描画制御装置の描画調整部が立てた計画を説明するタイムチャートである。実施の形態１に係る描画制御装置の動作を示すフローチャートである。図６のステップＳＴ１２において行う処理の詳細を示すフローチャートである。この発明の実施の形態２に係る描画制御装置の描画調整部が立てた計画を説明するタイムチャートである。実施の形態２に係る描画制御装置の動作を示すフローチャートである。この発明の実施の形態３に係る描画制御装置の描画調整部が立てた計画を説明するタイムチャートである。この発明の実施の形態４に係る描画制御装置の構成例を示すブロック図である。この発明の各実施の形態に係る描画制御装置のハードウェア構成図である。

以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る描画制御装置の構成例を示すブロック図である。図１に示すように、実施の形態１に係る描画制御装置は、描画処理の内容を示す情報である描画タスクを保持している描画タスク保持部１と、描画タスクに含まれている描画コマンドごとの描画時間を予測する描画時間予測部２と、予測した描画時間に基づいて描画タスクの実行順序を計画する描画調整部３と、計画に沿って描画タスクを実行する描画部４と、描画部４が描画した画像を保持する画像保持部５と、画像保持部５に保持されている画像を出力する出力部６とを備えている。

描画部４、画像保持部５および出力部６は、例えば垂直同期タイミングを区切とした一定周期ごとに画像を連続して出力するものである。この垂直同期タイミングは、今回周期で描画した画像の出力を開始する出力タイミングに相当する。出力部６は、垂直同期タイミングを生成し、この垂直同期タイミングを示す垂直同期信号を描画調整部３へ出力する。

図２は、実施の形態１に係る描画制御装置におけるフレームバッファ、レイヤおよび映像出力を説明する図である。画像保持部５は、フレームバッファであり、複数のレイヤを持つ。１つのレイヤに１つの描画タスクが割り当てられる。
図３は、実施の形態１に係る描画制御装置におけるレイヤのダブルバッファリングを説明する図である。画像保持部５の各レイヤはダブルバッファリングの構成であり、１つのレイヤは描画面と表示面を持つ。

描画部４は、描画タスクを実行する際、この描画タスクに割り当てられたレイヤの描画面に対応するバッファ領域に描画データを書き込んでいき、画像データを生成する。また、描画部４は、描画調整部３からの要求に従って垂直同期タイミングで表示面と描画面を切り替え、前回周期では表示面だったバッファ領域を今回周期では描画面に設定して描画を行う。出力部６は、垂直同期タイミングで画像保持部５の各レイヤの表示面を合成して、図示しない表示器等に出力する。

図４は、実施の形態１に係る描画制御装置における周期ごとの描画処理を説明するタイムチャートである。この例では、画像保持部５がレイヤＡとレイヤＢを持っている。描画部４は、垂直同期タイミングを区切りとした周期Ｔ１，Ｔ２，Ｔ３，Ｔ４ごとに、レイヤＡに割り当てられた描画タスクＡ１，Ａ２，Ａ３，Ａ４とレイヤＢに割り当てられた描画タスクＢ１，Ｂ２を実行する。

画像保持部５を複数レイヤからなるダブルバッファリング構成とすることで、図４に示すようにレイヤごとに異なる周期で描画を行うことができるため、レイヤごとに異なる優先度を持たせて描画を進めることが可能である。
本実施の形態１においては、描画タスクに高と低の２種類の優先度が付加されているものとし、優先度の高い描画内容を描くタスクを高優先描画タスクと呼び、優先度の低い描画内容を描くタスクを低優先描画タスクと呼ぶ。

描画タスク保持部１は、高優先描画タスクと低優先描画タスクを保持している。描画タスクは、例えばグラフィックの部品ごとといった描画コマンドに分かれており、１つの描画タスクに１つ以上の描画コマンドが含まれている。また、描画タスクには、描画コマンドごとの描画時間を予測するための描画時間情報が含まれている。描画時間情報は、例えば、描画コマンドにより描画される描画面積および視点方向などのパラメータである。
例えば、車両のセンタディスプレイまたは統合インパネ等に表示するメータを描画制御装置が描画する場合、高優先描画タスクにはメータの指針を描画する描画コマンドと指針の影を描画する描画コマンドが含まれ、低優先描画タスクにはメータの枠を描画する描画コマンドと目盛りを描画する描画コマンドが含まれている。

描画時間予測部２は、描画タスク保持部１から描画タスクを取得し、描画コマンドごとの描画時間情報を用いて描画コマンドごとの描画時間を予測する。描画時間予測部２は、描画時間情報として取得した描画面積および視点方向などをパラメータとした数式を保持しており、描画面積で支配される塗り潰し時間、および描画する頂点を視点方向に応じて座標変換する時間などを算出することで、描画コマンドの描画時間を予測する。

描画調整部３は、描画タスク保持部１に保持されている描画タスクを取得し、高優先描画タスクおよび低優先描画タスクのどの描画コマンドをどの順序で実行するか計画する。そして、描画調整部３は、出力部６から垂直同期信号を受け取り、垂直同期タイミングを区切りとした一定周期ごとに計画に沿って描画部４を制御する。これは、描画部４が単一であり、複数の描画タスクを同時に実行できず、時間を区切って描画タスクを切り替えながら実行するために必要となる。

図５は、実施の形態１に係る描画制御装置の描画調整部３が立てた計画を説明するタイムチャートである。ここでは、描画タスク保持部１に、周期Ｔ１で実行予定の高優先描画タスクＡ１と低優先描画タスクＢ１、周期Ｔ２で実行予定の高優先描画タスクＡ２、周期Ｔ３で実行予定の高優先描画タスクＡ３と低優先描画タスクＢ２が保持されているものとする。高優先描画タスクＡ１は描画コマンドＡ１１，Ａ１２を含み、高優先描画タスクＡ２は描画コマンドＡ２１，Ａ２２，Ａ２３を含み、高優先描画タスクＡ３は描画コマンドＡ３１，Ａ３２を含む。低優先描画タスクＢ１は描画コマンドＢ１１，Ｂ１２，Ｂ１３，Ｂ１４，Ｂ１５を含み、低優先描画タスクＢ２は少なくとも描画コマンドＢ２１を含む。
実行予定に関する情報、つまりどの周期でどの描画タスクを実行するか指定する情報は、予め、描画タスク保持部１に保持されているものとする。描画調整部３は、この実行予定に基づいて、描画タスクの実行順序を計画することになる。

描画調整部３は、周期Ｔ１における実行順序の計画時、画像保持部５のレイヤＡに高優先描画タスクＡ１を割り当て、レイヤＢに低優先描画タスクＢ１を割り当てる。また、描画調整部３は、高優先描画タスクＡ１を周期Ｔ１の先頭に並べ、高優先描画タスクＡ１の後に低優先描画タスクＢ１を並べる。さらに、描画調整部３は、描画時間予測部２が予測した描画コマンドＡ１１，Ａ１２，Ｂ１１，Ｂ１２，Ｂ１３，Ｂ１４，Ｂ１５の描画時間を積算して低優先描画タスクＢ１の完了時刻を算出し、周期Ｔ１の終りの垂直同期タイミングまでに低優先描画タスクＢ１が完了するか否かを判断する。図５の例において、描画調整部３は、周期Ｔ１の終りの垂直同期タイミングまでに低優先描画タスクＢ１の描画コマンドＢ１４，Ｂ１５が完了しないと判断し、完了しないと判断した描画コマンドＢ１４，Ｂ１５を次回周期Ｔ２に移動する。

周期Ｔ２の計画時、描画調整部３は周期Ｔ１に対する計画と同様に、高優先描画タスクＡ２をレイヤＡに割り当てる。また、描画調整部３は、周期Ｔ１から周期Ｔ２に移動した低優先描画タスクＢ１の描画コマンドＢ１４，Ｂ１５を、レイヤＢに割り当てる。さらに、描画調整部３は、高優先描画タスクＡ２を周期Ｔ２の先頭に並べ、高優先描画タスクＡ２の後に低優先描画タスクＢ１の描画コマンドＢ１４，Ｂ１５を並べる。

なお、描画調整部３は、図５の例では周期Ｔ２に実行予定の低優先描画タスクが存在しないため、高優先描画タスクＡ２の後に低優先描画タスクＢ１の描画コマンドＢ１４，Ｂ１５を並べたが、周期Ｔ２に実行予定の低優先描画タスクが存在する場合に、高優先描画タスクＡ２の後に周期Ｔ２で実行予定の低優先描画タスクを並べることも可能である。さらに、描画調整部３は、残り時間に応じて、低優先描画タスクＢ１の描画コマンドＢ１４，Ｂ１５を破棄することも可能である。
このように、周期１から周期２に移動した低優先描画タスクＢ１の未実行の描画コマンドＢ１４，Ｂ１５と、周期Ｔ２でもともと実行する予定の低優先描画タスクとが存在する場合に、どちらを優先してもよい。

図５に示すように、描画部４が高優先描画タスクＡ１，Ａ２，Ａ３を各周期Ｔ１，Ｔ２，Ｔ３の先頭で実行することにより、高優先描画タスクＡ１，Ａ２，Ａ３の描画時間が予測を超えてのびても、垂直同期タイミングまでの時間的余裕が大きく、高優先描画タスクＡ１，Ａ２，Ａ３の実行の保証が容易となる。

また、描画部４において描画コマンドの実行途中で当該描画コマンドを強制停止して打ち切ると、後述の実施の形態２で説明するような問題があるため、実行途中での中断は好ましくない。そのため、周期Ｔ１において描画コマンドＢ１３の後に続けて描画コマンドＢ１４を実行した場合、少なくともこの描画コマンドＢ１４の実行が完了した後に、高優先描画タスクＡ２の実行を開始することが好ましい。しかしながら、描画コマンドＢ１４の実行完了を待つと、次の周期Ｔ２において高優先描画タスクＡ２の実行開始が遅れ、時間的余裕が小さくなり、高優先描画タスクＡ２の実行を保証できない。
これに対し、図５に示すように、周期Ｔ１の終りの垂直同期タイミングまでに完了しないと予測される描画コマンドＢ１４，Ｂ１５を、予め次の周期Ｔ２の高優先描画タスクＡ２の後ろに移動することにより、高優先描画タスクＡ２の実行の保証が可能となる。

次に、描画制御装置の動作を説明する。
図６は、実施の形態１に係る描画制御装置の動作を示すフローチャートである。
ステップＳＴ１１において、描画時間予測部２は、今回の周期に実行する予定の高優先描画タスクと低優先描画タスクを、描画タスク保持部１から取得する。そして、描画時間予測部２は、高優先描画タスクおよび低優先描画タスクに含まれるすべての描画コマンドの描画時間を、描画時間情報を用いて予測し、予測結果を描画調整部３へ出力する。

ステップＳＴ１２において、描画調整部３は、今回の周期に実行する予定の高優先描画タスクと低優先描画タスクを、描画タスク保持部１から取得する。そして、描画調整部３は、高優先描画タスクおよび低優先描画タスクを割り当てるレイヤを決定する。また、描画調整部３は、描画時間予測部２から受け取った描画時間の予測結果に基づいて、高優先描画タスクと低優先描画タスクの実行順序を計画する。ステップＳＴ１２において行う、実行順序を計画する処理の詳細は後述する。

ステップＳＴ１３において、描画調整部３は、計画に沿って描画部４を制御する。つまり、描画調整部３は、高優先描画タスクおよび低優先描画タスクを割り当てるレイヤの指示、および描画コマンドの実行順序の指示などを、描画部４に出力する。

ステップＳＴ１４において、描画調整部３は、出力部６から垂直同期タイミングであることを示す垂直同期信号を受け取ると（ステップＳＴ１４“ＹＥＳ”）、ステップＳＴ１５へ進み、垂直同期タイミングでなければ（ステップＳＴ１４“ＮＯ”）、ステップＳＴ１３へ戻る。

ステップＳＴ１５において、描画調整部３は、高優先描画タスクを割り当てたレイヤの表示面と描画面を切り替える要求および低優先描画タスクを割り当てたレイヤの表示面と描画面を切り替える要求を、描画部４に出力する。この要求を受け付けた描画部４は、各レイヤにおいて今回周期で描画した描画面を表示面に切り替える。出力部６は、すべてのレイヤにおける切り替え後の表示面の画像を合成して出力する。

図７は、図６のステップＳＴ１２において行う、実行順序を計画する処理の詳細を示すフローチャートである。
ステップＳＴ１２−１において、描画調整部３は、今回周期で実行予定の高優先描画タスクの各描画コマンドの予測時間を積算していき、高優先描画タスクの各描画コマンドの完了時刻を算出する。

ステップＳＴ１２−２において、描画調整部３は、前回周期から今回周期へ移動した低優先描画タスクの未実行の描画コマンドが存在する場合（ステップＳＴ１２−２“ＹＥＳ”）、ステップＳＴ１２−３へ進み、未実行の描画コマンドが存在しない場合（ステップＳＴ１２−２“ＮＯ”）、ステップＳＴ１２−５へ進む。

ステップＳＴ１２−３において、描画調整部３は、今回周期で実行予定の高優先描画タスクの完了時刻に対して、前回周期から今回周期へ移動した低優先描画タスクの未実行の各描画コマンドの予測時間を積算していき、未実行の各描画コマンドの完了時刻を算出する。
続くステップＳＴ１２−４において、描画調整部３は、リアルタイム性を確実に保証する必要がある高優先描画タスクのすべての描画コマンドを今回周期の実行計画に入れる。一方、描画調整部３は、リアルタイム性を確実に保証する必要性が低い低優先描画タスクについては、前回周期で未実行だった各描画コマンドのうち、完了時刻が今回周期の終りの垂直同期タイミング、つまり今回周期の出力タイミングを超える前までの描画コマンドを今回周期の実行計画に入れ、完了時刻が今回周期の終りの垂直同期タイミングを超える描画コマンドを次回周期へ移動する。

ステップＳＴ１２−５において、描画調整部３は、今回周期にもともと実行する予定の低優先描画タスクが存在する場合（ステップＳＴ１２−５“ＹＥＳ”）、ステップＳＴ１２−６へ進み、今回周期にもともと実行する予定の低優先描画タスクが存在しない場合（ステップＳＴ１２−５“ＮＯ”）、ステップＳＴ１２−４へ進む。

ステップＳＴ１２−６において、描画調整部３は、今回周期で実行予定の高優先描画タスクの完了時刻に対して、今回周期で実行予定の低優先描画タスクの各描画コマンドの予測時間を積算していき、低優先描画タスクの各描画コマンドの完了時刻を算出する。
続くステップＳＴ１２−４において、描画調整部３は、今回周期において実行予定の高優先描画タスクのすべての描画コマンドを今回周期の実行計画に入れる。一方、描画調整部３は、今回周期において実行予定の低優先描画タスクの各描画コマンドのうち、完了時刻が今回周期の終りの垂直同期タイミング、つまり今回周期の出力タイミングを超える前までの描画コマンドを今回周期の実行計画に入れ、完了時刻が今回周期の終りの垂直同期タイミングを超える描画コマンドを次回周期へ移動する。

前回周期から今回周期へ移動した低優先描画タスクの未実行の描画コマンドが存在しない場合（ステップＳＴ１２−２“ＮＯ”）、かつ、今回周期にもともと実行する予定の低優先描画タスクが存在しない場合（ステップＳＴ１２−５“ＮＯ”）、続くステップＳＴ１２−４において、描画調整部３は、今回周期で実行予定の高優先描画タスクのすべての描画コマンドを実行計画に入れる。

上記説明では、ステップＳＴ１２−４において、高優先描画タスクは無条件に今回周期の実行計画に入れ、低優先描画タスクはその完了時刻に基づき今回周期の実行計画に入れるか次回周期へ移動するようにしたが、高優先描画タスクもその完了時刻に基づき今回周期の実行計画に入れるか次回周期へ移動するようにしてもよい。
具体的には、ステップＳＴ１２−３に続くステップＳＴ１２−４において、描画調整部３は、今回周期において実行予定の高優先描画タスクの各描画コマンドおよび前回周期において実行予定であった低優先描画タスクの未実行の各描画コマンドのうち、完了時刻が今回周期の終りの垂直同期タイミングを超える前までの描画コマンドを今回周期の実行計画に入れる。一方、描画調整部３は、前記高優先描画タスクの各描画コマンドおよび前記未実行の各描画コマンドのうち、完了時刻が今回周期の終りの垂直同期タイミングを超える描画コマンドを、次回周期へ移動する。
また、ステップＳＴ１２−６に続くステップＳＴ１２−４において、描画調整部３は、今回周期において実行予定の高優先描画タスクの各描画コマンドおよび低優先描画タスクの各描画コマンドのうち、完了時刻が今回周期の終りの垂直同期タイミングを超える前までの描画コマンドを今回周期の実行計画に入れる。一方、描画調整部３は、前記高優先描画タスクの各描画コマンドおよび前記低優先描画タスクの各描画コマンドのうち、完了時刻が今回周期の終りの垂直同期タイミングを超える描画コマンドを、次回周期へ移動する。
また、ステップＳＴ１２−５“ＮＯ”に続くステップＳＴ１２−４において、描画調整部３は、今回周期において実行予定の高優先描画タスクの各描画コマンドのうち、完了時刻が今回周期の終りの垂直同期タイミングを超える前までの描画コマンドを今回周期の実行計画に入れ、完了時刻が今回周期の終りの垂直同期タイミングを超える描画コマンドを次回周期へ移動する。

なお、上記説明では、描画タスクの優先度が高と低の２種類である場合の例を示したが、優先度が３種類以上あってもよい。
例えば、優先度が高、中、低の３種類である場合であって、今回周期において中優先描画タスクの一部の描画コマンドと低優先描画タスクのすべての描画コマンドが完了しない場合、描画調整部３は、次回周期の高優先描画タスクの後に、中優先描画タスクの一部の描画コマンドと低優先描画タスクのすべての描画コマンドを並べる。
また、例えば、優先度が高、中、低の３種類である場合であって、今回周期において低優先描画タスクの一部の描画コマンドが完了しない場合、描画調整部３は、次回周期の高優先描画タスクおよび中優先描画タスクの後に、低優先描画タスクの一部の描画コマンドを並べる。

以上より、実施の形態１における描画制御装置は、周期ごとに、優先度が付加された複数の描画タスクを実行して複数の画像を描画する描画部４と、周期ごとに、描画部４が描画した複数の画像を合成して出力する出力部６と、描画タスクに含まれている１つ以上の描画コマンドごとの描画時間を予測する描画時間予測部２と、描画時間予測部２が予測した描画時間に基づいて複数の描画タスクの実行順序を計画して描画部４を制御する描画調整部３とを備え、描画調整部３は、今回周期に実行する予定の複数の描画タスクを優先度の高いものから順に描画部４に実行させ、今回周期で描画した画像の出力を開始する出力タイミングまでに完了しない描画タスクの一部または全部の描画コマンドを、次回周期において、当該完了しない描画タスクより優先度の高い描画タスクの実行後に実行させる構成にした。より具体的には、描画調整部３は、描画時間予測部２が予測した描画時間に基づいて、今回周期に実行する予定の複数の描画タスクを優先度の高いものから順に描画部４に実行させた場合に今回周期の出力タイミングまでに完了しないと判断した描画コマンドを、次回周期において当該完了しないと判断した描画コマンドより優先度の高い描画タスクの実行後に実行させる構成にした。これにより、各周期において優先度が高い描画タスクを確実に実行することができる。

実施の形態２．
上記実施の形態１に係る描画制御装置においては描画コマンドごとの描画時間を予測したが、必ずしも正確に予測できるとは限らず、描画時間が予測より長くかかることがある。また、描画部の不具合等により、描画が正常に完了しない場合もある。
そこで、本実施の形態２では、描画時間が予測以上にのびた場合であっても高優先描画タスクの実行を保証可能な描画制御装置を実現する。実施の形態２に係る描画制御装置の構成は、実施の形態１の図１に示した構成と図面上は同一であるため、以下では図１を援用する。

図８は、実施の形態２に係る描画制御装置の描画調整部３が立てた計画を説明するタイムチャートである。ここでは、描画タスク保持部１に、周期Ｔ１で実行予定の高優先描画タスクＡ１と低優先描画タスクＢ１、周期Ｔ２で実行予定の高優先描画タスクＡ２、周期Ｔ３で実行予定に高優先描画タスクＡ３が保持されているものとする。高優先描画タスクＡ１は描画コマンドＡ１１，Ａ１２を含み、高優先描画タスクＡ２は描画コマンドＡ２１，Ａ２２，Ａ２３を含み、高優先描画タスクＡ３は描画コマンドＡ３１，Ａ３２を含む。低優先描画タスクＢ１は描画コマンドＢ１１，Ｂ１２，Ｂ１３を含む。

実施の形態２における描画調整部３は、実施の形態１と同様に、画像保持部５のレイヤＡに高優先描画タスクＡ１を割り当て、レイヤＢに低優先描画タスクＢ２を割り当て、高優先描画タスクＡ１の後に低優先描画タスクＢ１を並べる。さらに、描画調整部３は、描画時間予測部２が予測した描画コマンドＡ１１，Ａ１２，Ｂ１１，Ｂ１２，Ｂ１３の描画時間を積算して最後の描画コマンドＢ１３の完了時刻を算出し、ここでは周期Ｔ１の終りの垂直同期タイミングまでに高優先描画タスクＡ１と低優先描画タスクＢ１が完了すると判断したとする。そして、描画調整部３は、当該判断に基づき、今回周期Ｔ１において高優先描画タスクＡ１、低優先描画タスクＢ１の順序で実行する計画を立てたとする。

そして、描画調整部３が上記計画に沿って描画部４を制御していたところ、図８に示すように、描画部４における低優先描画タスクＢ１の描画コマンドＢ１３の描画にかかる時間が、予測した描画時間ｔ１よりも時間ｔ２だけのびたとする。このとき、描画調整部３は、描画部４において描画コマンドＢ１３の実行中に周期Ｔ１の終りの垂直同期タイミングになったことを検知すると、描画コマンドＢ１３の実行を強制停止させて打ち切る。そして、描画部４が復帰処理Ｒ１を行った後、描画調整部３は描画部４に対して高優先描画タスクＡ２を実行させる。

このとき、描画調整部３は、描画部４において低優先描画タスクＢ１の描画コマンドＢ１３を強制停止させて打ち切ったため、周期Ｔ２で高優先描画タスクＡ２を実行させた後に、打ち切った低優先描画タスクＢ１をその先頭の描画コマンドＢ１１から再実行させる計画を立てる。

例えば、描画コマンドＢ１１がメータの枠を描画する内容であり、描画コマンドＢ１３が枠の画像上に目盛りを描画する内容である場合、描画コマンドＢ１３を強制停止すると枠に目盛りが途中まで描画された画像になってしまい、どこまで描画されているかを正確に把握することが困難である。そのため、強制停止した描画コマンドＢ１３から再実行するのではなく、低優先描画タスクＢ１の先頭から再実行して枠の画像を最初から描画し直すことが望ましい。

次に、描画制御装置の動作を説明する。
図９は、実施の形態２に係る描画制御装置の動作を示すフローチャートである。図９のステップＳＴ１１〜ＳＴ１４において行う処理は、図６のステップＳＴ１１〜ＳＴ１４において説明した処理と同じである。
ステップＳＴ１４において、描画調整部３は、出力部６から垂直同期タイミングであることを示す垂直同期信号を受け取ると（ステップＳＴ１４“ＹＥＳ”）、ステップＳＴ２１へ進み、垂直同期タイミングでなければ（ステップＳＴ１４“ＮＯ”）、ステップＳＴ１３へ戻る。

ステップＳＴ２１において、描画調整部３は、今回周期で実行予定の高優先描画タスクと低優先描画タスクがすべて完了した場合（ステップＳＴ２１“ＹＥＳ”）、ステップＳＴ２２へ進み、今回周期の実行予定の高優先描画タスクまたは低優先描画タスクが完了していない場合（ステップＳＴ２１“ＮＯ”）、ステップＳＴ２３へ進む。
なお、今回周期で実行予定の描画タスクとは、描画タスク保持部１に予め保持されている実行予定に関する情報によって指定された描画タスクであってもよいし、描画調整部３が前回周期から今回周期に移動させて今回周期で実行するよう計画した描画タスクであってもよい。

ステップＳＴ２２において、描画調整部３は、高優先描画タスクを割り当てたレイヤの表示面と描画面を切り替える要求および低優先描画タスクを割り当てたレイヤの表示面と描画面を切り替える要求を、描画部４に出力する。この要求を受け付けた描画部４は、各レイヤにおいて今回周期で描画した描画面を表示面に切り替える。出力部６は、すべてのレイヤにおける切り替え後の表示面の画像を合成して出力する。

ステップＳＴ２３において、描画調整部３は、実行中の描画タスクの描画コマンドを途中で打ち切る指示、および打ち切った描画タスクと当該描画タスクを割り当てたレイヤをクリアさせる指示を、描画部４に出力する。この指示を受け付けた描画部４は、実行中の描画タスクの描画コマンドを打ち切り、当該描画タスクを割り当てたレイヤをクリアするなどの復帰処理を行う。

ステップＳＴ２４において、描画調整部３は、垂直同期タイミングまでに完了した描画タスクを割り当てたレイヤの表示面と描画面を切り替える要求を、描画部４に出力する。この要求を受け付けた描画部４は、要求されたレイヤのみ、今回周期で描画した描画面を表示面に切り替える。そして、出力部６は、すべてのレイヤにおける表示面の画像を合成して出力する。

図９のステップＳＴ１２において行う処理は、実施の形態１で図７に示したフローチャートのうち、ステップＳＴ１２−３以外の各ステップの処理と同じである。ステップＳＴ１２−３において、実施の形態１の描画調整部３は、未実行の描画コマンドのみ完了時刻を算出して実行計画に入れるか否か判断していたが、実施の形態２の描画調整部３は、強制停止した描画タスクに含まれるすべての描画コマンドの完了時刻を算出して実行計画に入れるか否か判断する。

なお、上記説明では、描画タスクの優先度が高と低の２種類である場合の例を示したが、優先度が３種類以上あってもよい。

以上より、実施の形態２によれば、描画調整部３は、今回周期に実行する予定の複数の描画タスクを優先度の高いものから順に描画部４に実行させて今回周期の出力タイミングまでに完了しなかった場合、完了しなかった描画タスクの実行を打ち切り、次回周期において、当該完了しなかった描画タスクより優先度の高い描画タスクの実行後に、当該完了しなかった描画タスクを最初の描画コマンドから実行させる構成にしたので、描画時間が予測より長くなった場合であっても優先度が高い描画タスクを確実に実行することができる。

実施の形態３．
上記実施の形態２に係る描画制御装置においては、今回周期で実行予定の描画タスクが今回周期の出力タイミングまでに完了しない場合、今回周期の出力タイミングで描画タスクを打ち切る構成にしたが、本実施の形態３では打ち切るタイミングを今回周期の出力タイミングよりも遅らせる。実施の形態３に係る描画制御装置の構成は、実施の形態１の図１に示した構成と図面上は同一であるため、以下では図１を援用する。

図１０は、実施の形態３に係る描画制御装置の描画調整部３が立てた計画を説明するタイムチャートである。ここでは、描画タスク保持部１に、周期Ｔ１で実行予定の高優先描画タスクＡ１と低優先描画タスクＢ１、周期Ｔ２で実行予定の高優先描画タスクＡ２が保持されているものとする。高優先描画タスクＡ１は描画コマンドＡ１１，Ａ１２を含み、高優先描画タスクＡ２は描画コマンドＡ２１，Ａ２２，Ａ２３を含む。低優先描画タスクＢ１は描画コマンドＢ１１，Ｂ１２，Ｂ１３を含む。

実施の形態３における描画調整部３は、周期Ｔ１の計画時、描画時間予測部２が予測した描画時間に基づいて、次の周期Ｔ２で実行予定の高優先描画タスクＡ２の描画時間と、描画部４において実行中の描画タスクを打ち切ってから次の描画タスクの実行を開始するまでの復帰処理Ｒ１にかかる復帰時間とを合計して、基準時間ｔ３を算出する。そして、描画調整部３は、今回の周期Ｔ１で実行予定の低優先描画タスクＢ１が周期Ｔ１の終りの垂直同期タイミングまでに完了しない場合でも、次の周期Ｔ２の終りの垂直同期タイミングよりも基準時間ｔ３前である時刻ｔ４までは低優先描画タスクＢ１を打ち切らず、時刻ｔ４になっても完了していなかった場合にはじめて当該低優先描画タスクＢ１の描画コマンドＢ１３を打ち切る。そして、描画部４が復帰処理Ｒ１を行った後、描画調整部３は描画部４に対して高優先描画タスクＡ２を実行させ、続けて、打ち切った低優先描画タスクＢ１をその先頭の描画コマンドＢ１１から再実行させる。

これにより、描画部４は、描画コマンドＢ１３の実行が描画時間予測部２により予測された描画時間ｔ１より長いが正常に完了した場合に、復帰処理Ｒ１および描画コマンドＢ１１，Ｂ１２，Ｂ１３の再実行を行わずにすむ。

なお、描画時間予測部２による描画時間の予測に誤差が生じる可能性があるため、描画調整部３は、優先描画タスクＡ２の描画時間と復帰処理Ｒ１にかかる復帰時間に、所定時間を加算して、基準時間ｔ３を算出してもよい。所定時間は、描画時間の予測において生じ得る誤差を考慮した時間であり、描画調整部３に予め設定されているものとする。

また、上記説明では、描画タスクの優先度が高と低の２種類である場合の例を示したが、優先度が３種類以上あってもよい。例えば、優先度が３種類以上ある場合、描画調整部３は、リアルタイム性を確実に保証する必要がある最も高い優先度が付加された描画タスクの描画時間と復帰時間とを加算して基準時間を算出すればよい。

以上より、実施の形態３によれば、描画調整部３は、次回周期に実行する予定の複数の描画タスクのうちの最も優先度が高い描画タスクの描画時間、および実行中の描画タスクを打ち切ってから次の描画タスクの実行を開始するまでにかかる復帰時間を加算して基準時間を算出し、今回周期に実行する予定の複数の描画タスクを優先度の高いものから順に描画部４に実行させて次回周期の出力タイミングよりも基準時間前までに完了しなかった場合、完了しなかった描画タスクの実行を打ち切り、次回周期において、当該完了しなかった描画タスクより優先度の高い描画タスクの実行後に、当該完了しなかった描画タスクを最初の描画コマンドから実行させる構成にしたので、描画時間が予測より長くなった場合でも優先度が高い描画タスクを確実に実行することができる。また、優先度が低い描画タスクの実行が予測より長いが正常に完了した場合に、復帰処理および当該描画タスクの先頭の描画コマンドからの再実行を行わずにすむ。

実施の形態４．
上記実施の形態１〜３に係る描画制御装置において描画コマンドごとの描画時間を予測したが、必ずしも正確に予測できるとは限らず、描画時間が予測よりのびたり短くなったりすることがある。
そこで、本実施の形態４では、描画時間の予測精度を高める描画制御装置を実現する。

図１１は、実施の形態４に係る描画制御装置の構成例を示すブロック図である。図１１において図１と同一または相当する部分は、同一の符号を付し説明を省略する。
実施の形態４における描画調整部３ａは、描画部４において描画コマンドの実行にかかった描画時間を測定し、実測描画時間として描画時間予測部２ａへ通知する。

実施の形態４における描画時間予測部２ａは、描画コマンドごとの実測描画時間を描画調整部３ａから受け取り、実測描画時間に応じて、予測する描画時間を増減する。
例えば、描画時間予測部２ａは式（１）を保持しており、この式（１）を用いて描画面積ｓで支配される塗り潰し時間を算出して、ある描画コマンドの予測描画時間ｔｓとする。

ｔｓ＝ｃ（４ｓ＋１０）（１）
ここで、ｓは、ある描画コマンドにより描画される描画面積を示すパラメータであり、描画タスクに含まれている描画コマンドごとの描画時間情報である。ｃは、補正係数である。

描画時間予測部２ａは、ある描画コマンドについて、式（１）を用いて予測した予測描画時間と、描画調整部３ａから通知された実測描画時間とを比較し、予測描画時間より実測描画時間のほうが長い場合に補正係数ｃを大きくし、予測描画時間より実測描画時間のほうが短い場合に補正係数ｃを小さくする。これにより、次回予測時、描画時間の予測精度を高めることができる。
なお、描画時間予測部２ａは、補正係数ｃを固定値（例えば、０．１）ずつ増減させてもよいし、予測描画時間と実測描画時間との差または比などに応じた値を求め、求めた値分だけ補正係数ｃを増減してもよい。

また、描画調整部３ａは、上記実施の形態２，３において描画コマンドを実行中に打ち切った場合、描画コマンドの実行開始から打ち切りまでの時間を測定し、実測描画時間として描画時間予測部２ａへ通知してもよい。
描画時間予測部２ａは、上記同様、描画コマンドごとの実測描画時間を描画調整部３ａから受け取り、実測描画時間に応じて、予測する描画時間を増減する。
これにより、描画コマンドの実行を完了前に打ち切った場合でも、次回予測時、描画時間の予測精度を高めることができる。

以上より、実施の形態４によれば、描画時間予測部２ａは、描画部４が描画コマンドの実行を開始してから完了するまでの実測の時間に応じて、予測する描画時間を増減する構成にしたので、描画時間の予測精度を高めることができる。

また、実施の形態４によれば、描画時間予測部２ａは、描画部４が描画コマンドの実行を開始してから打ち切るまでの実測の時間に応じて、予測する描画時間を増減する構成にしたので、描画コマンドの実行を完了前に打ち切った場合でも描画時間の予測精度を高めることができる。

次に、この発明の各実施の形態に係る描画制御装置のハードウェア構成例を説明する。図１２は、実施の形態１〜４に係る描画制御装置のハードウェア構成図である。
描画タスク保持部１は、入力装置１１である。この入力装置１１は、例えば車両のセンタディスプレイにメータを表示させるアプリケーションプログラムからの描画指示を受け付け、この描画指示を描画部４で実行できる描画タスクに変換して保持する。

描画時間予測部２および描画調整部３の各機能は、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）１２に格納されるプログラムを実行するＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１３である。
描画時間予測部２および描画調整部３の各機能は、ソフトウェア、ファームウェア、またはソフトウェアとファームウェアとの組み合わせにより実現される。ソフトウェアまたはファームウェアはプログラムとして記述され、ＲＯＭ１２に格納される。ＣＰＵ１３は、ＲＯＭ１２に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。即ち、描画制御装置は、ＣＰＵ１３により実行されるときに、描画タスクに含まれている１つ以上の描画コマンドごとの描画時間を予測するステップ、および複数の描画タスクを実行する順序を計画して描画部４を制御するステップが結果的に実行されることになるプログラムを格納するためのＲＯＭ１２を備える。また、このプログラムは、描画時間予測部２および描画調整部３の手順または方法をコンピュータに実行させるものであるともいえる。

描画部４は、３次元グラフィックスプロセッサなどのＧＰＵ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）１４である。画像保持部５は、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）１５である。出力部６は、出力装置１６である。この出力装置１６は、例えば車両のセンタディスプレイに対してメータを描画した画像を出力する。

なお、本発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、各実施の形態の任意の構成要素の変形、または各実施の形態の任意の構成要素の省略が可能である。

この発明に係る描画制御装置は、描画タスクに付加された優先度に基づいて実行する順序を変更するようにしたので、描画処理を任意のタイミングで中断して別の描画処理に切り替えることが難しい３次元グラフィックスプロセッサを備えた描画制御装置などに用いるのに適している。

１描画タスク保持部、２，２ａ描画時間予測部、３，３ａ描画調整部、４描画部、５画像保持部、６出力部、１１入力装置、１２ＲＯＭ、１３ＣＰＵ、１４ＧＰＵ、１５ＲＡＭ、１６出力装置。

Claims

垂直同期タイミングを区切りとした周期ごとに、優先度が付加された複数の描画タスクを実行して複数の画像を描画する描画部と、
前記周期ごとに、前記描画部が描画した前記複数の画像を合成して出力する出力部と、
描画タスクに含まれている１つ以上の描画コマンドごとの描画時間を予測する描画時間予測部と、
前記描画時間予測部が予測した描画時間に基づいて前記複数の描画タスクの実行順序を計画して前記描画部を制御する描画調整部とを備え、
前記描画調整部は、今回周期に実行する予定の前記複数の描画タスクを優先度の高いものから順に前記描画部に実行させ、今回周期に実行する予定の前記複数の描画タスクの描画コマンドの中から、今回周期で描画した画像の出力を開始する出力タイミングまでに完了しないと予測して判断した描画タスクの一部または全部の描画コマンドを、次回周期において、当該完了しない描画タスクより優先度の高い描画タスクの実行後に実行させるように前記実行順序を計画して前記描画部を制御することを特徴とする描画制御装置。
前記描画調整部は、前記描画時間予測部が予測した描画時間に基づいて、今回周期に実行する予定の前記複数の描画タスクを優先度の高いものから順に前記描画部に実行させた場合に今回周期の出力タイミングまでに完了しないと判断した描画コマンドを、次回周期において、当該完了しないと判断した描画コマンドを含む描画タスクより優先度の高い描画タスクの実行後に実行させることを特徴とする請求項１記載の描画制御装置。
前記描画調整部は、今回周期に実行する予定の前記複数の描画タスクを優先度の高いものから順に前記描画部に実行させて今回周期の出力タイミングまでに完了しなかった場合、完了しなかった描画タスクの実行を打ち切り、次回周期において、当該完了しなかった描画タスクより優先度の高い描画タスクの実行後に、当該完了しなかった描画タスクを最初の描画コマンドから実行させることを特徴とする請求項１記載の描画制御装置。
前記描画調整部は、次回周期に実行する予定の前記複数の描画タスクのうちの最も優先度が高い描画タスクの描画時間、および実行中の描画タスクを打ち切ってから次の描画タスクの実行を開始するまでにかかる復帰時間を加算して基準時間を算出し、今回周期に実行する予定の前記複数の描画タスクを優先度の高いものから順に前記描画部に実行させて次回周期の出力タイミングよりも前記基準時間前までに完了しなかった場合、完了しなかった描画タスクの実行を打ち切り、次回周期において、当該完了しなかった描画タスクより優先度の高い描画タスクの実行後に、当該完了しなかった描画タスクを最初の描画コマンドから実行させることを特徴とする請求項１記載の描画制御装置。
前記描画時間予測部は、前記描画部が描画コマンドの実行を開始してから完了するまでの実測の時間に応じて、予測する描画時間を増減することを特徴とする請求項１記載の描画制御装置。
前記描画時間予測部は、前記描画部が描画コマンドの実行を開始してから打ち切るまでの実測の時間に応じて、予測する描画時間を増減することを特徴とする請求項３記載の描画制御装置。
前記描画時間予測部は、前記描画部が描画コマンドの実行を開始してから打ち切るまでの実測の時間に応じて、予測する描画時間を増減することを特徴とする請求項４記載の描画制御装置。