JP6388748B2 - 描画タイミング制御装置 - Google Patents

描画タイミング制御装置 Download PDF

Info

Publication number
JP6388748B2
JP6388748B2 JP2018518888A JP2018518888A JP6388748B2 JP 6388748 B2 JP6388748 B2 JP 6388748B2 JP 2018518888 A JP2018518888 A JP 2018518888A JP 2018518888 A JP2018518888 A JP 2018518888A JP 6388748 B2 JP6388748 B2 JP 6388748B2
Authority
JP
Japan
Prior art keywords
graphic
management unit
graphic element
loading
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018518888A
Other languages
English (en)
Other versions
JPWO2017203659A1 (ja
Inventor
康祐 中島
康祐 中島
卓見 秋山
卓見 秋山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2017203659A1 publication Critical patent/JPWO2017203659A1/ja
Application granted granted Critical
Publication of JP6388748B2 publication Critical patent/JP6388748B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Digital Computer Display Output (AREA)

Description

本発明は、画面上に配置されるグラフィック要素の描画タイミングの制御を行う描画タイミング制御装置に関するものである。
従来、グラフィック要素の描画タイミングを制御する技術として、グラフィック要素のデコードを待つために描画が遅延してしまうことを防ぐ技術があった(例えば、特許文献1参照)。すなわち、画面に描画する必要のあるグラフィック要素の中に、エンコードされた画像や映像などのデータがあり、こうしたデータがデコード中である場合、画面描画がデコードを待ってしまうため、描画間隔があいてしまう問題がある。これを防ぐために、デコード中のグラフィック要素の描画順序を後回しにする手段を利用し、デコードが完了している要素から先行して描画することを可能にしていた。
特開2009−3370号公報
一般に、Flash Player(登録商標)を初めとするいくつかのアプリケーションランタイムでは、予め設定されたフレームレートに従って、ある時間間隔で画面が描画される。こうしたランタイムでは、描画タイミングにおいて、一部のグラフィック要素が描画できない状況にあると、設計者の意図には反して描画が一部欠けてしまう問題が生じうる。具体的には、あるグラフィック要素の描画に必要なデータを、非同期的にメモリ上にロードしている場合、そのグラフィック要素を描画することができない、という問題である。
Flash Playerでは、画像や映像を外部記憶装置やネットワーク上の別のコンピュータからメモリ上にロードしてきて、これを画面に描画することができる。このとき、データのメモリへのロードは非同期で実行される。つまり、グラフィック要素の描画に必要なデータのロードが完了していなくても、他の処理(画面の描画)を実行できるようになっている。
非同期でのメモリ上へのロードは、画面描画の滑らかさを保つためには有用である。メモリへのロードが長時間に及ぶ場合でも、画面の描画を停止させることなく、フレームレートを保てるからである。
しかしながら、非同期でのメモリ上へのロードでは、非同期ロード中のグラフィック要素(画像や映像など)が表示できないため、ロードが完了するまでの間、画面の一部が欠けて表示されてしまうという問題がある。すなわち、本来は同時に表示すべき複数のグラフィック要素が、こうした表示の欠損により、バラバラなタイミングで表示されてしまう問題があった。
例えば、複数のグラフィック要素からなる部品(ボタンやスライダなどのユーザインタフェース部品、あるいは、同時に表示すべきあらゆる要素群)が画面に配置されており、その部品の一部のグラフィック要素を表示するために非同期に画像をメモリへロードしているとする。ロードが完了するまでに描画タイミングが訪れると、ランタイムはロード中のグラフィック要素の描画はスキップして、それ以外の要素を画面に表示してしまう。すると、本来は一体的に表示されるべき部品が、一部欠損した状態で描画されてしまう。描画がスキップされた要素は、非同期ロードが完了したタイミングでようやく描画される。
この表示の欠損は、ボタンやスライダなどの部品であることが理解しにくくなったり、操作方法が伝わらなくなったりする問題を引き起こす。
このような問題に対して、例えば、上記特許文献1に記載されたような技術では、画面上の全てのグラフィック要素のデコードが終わるまで、描画が一時的に停止するシステムを前提としており、メモリ上へのロードが完了しなくても、描画可能なグラフィック要素から描画が始まるようなシステムには適用は困難であった。
この発明は、かかる問題を解決するためになされたもので、同時に表示すべき複数のグラフィック要素群を、同じタイミングで表示させることのできる描画タイミング制御装置を得ることを目的とする。
この発明に係る描画タイミング制御装置は、描画対象となるグラフィック要素をディスプレイリストとして管理するディスプレイリスト管理部と、グラフィック要素の描画に必要なデータがロード中である場合にグラフィック要素が登録され、ロードが終了した場合に登録が解除されるロード中要素管理部と、ロード中要素管理部に登録されているグラフィック要素に対して不可視属性を付与すると共に、描画するグラフィック要素が他のグラフィック要素に重なっており、かつ他のグラフィック要素がロード中要素管理部に登録されていた場合は描画するグラフィック要素を不可視属性とする待機要素指定部と、設定された時間間隔で、不可視属性を持たないグラフィック要素を描画する描画部とを備えたものである。
この発明に係る描画タイミング制御装置は、描画するグラフィック要素が他のグラフィック要素に重なっており、かつ他のグラフィック要素がメモリへのロード中であった場合は描画するグラフィック要素を不可視属性とするようにしたものである。これにより、同時に表示すべき複数のグラフィック要素群を、同じタイミングで表示させることができる。
この発明の実施の形態1の描画タイミング制御装置を示す構成図である。 この発明の実施の形態1の描画タイミング制御装置のハードウェア構成図である。 この発明の実施の形態2の描画タイミング制御装置のディスプレイツリーを示す説明図である。
以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態1.
図1は、本実施の形態による描画タイミング制御装置の構成図である。
本実施の形態による描画タイミング制御装置は、図示のように、グラフィック要素1、ディスプレイリスト2、メモリ3、非同期ロード実行部4、描画用データ5、ディスプレイリスト管理部6、ロード中要素管理部7、待機中要素管理部8、新規要素管理部9、待機要素指定部10、描画部11を備える。また、描画部11には表示装置12が接続されている。
グラフィック要素1は、画面上に表示されるテキストや画像といった表示単位の情報であり、自身の可視性、画面上での座標、画面上でのサイズを示す属性を保持しているものとする。これらのグラフィック要素1はディスプレイリスト2として管理される。なお、ディスプレイリスト2とは、グラフィック要素1毎に描画コマンドの情報をまとめた図形情報である。メモリ3は、グラフィック要素1の描画用データ5がロードされる記憶部である。非同期ロード実行部4は、グラフィック要素1の描画に必要なデータである描画用データ5を非同期にメモリ3にロードするための処理部である。描画用データ5は、グラフィック要素1を描画するための画像または映像あるいはテキストといった各種のデータである。
ディスプレイリスト管理部6は、グラフィック要素1をディスプレイリスト2として管理する処理部であり、ディスプレイリスト2の変化に応じて次のような処理を行う。すなわち、グラフィック要素1が新たにディスプレイリスト2に追加された場合は、その情報を新規要素管理部9に登録する。また、新たにディスプレイリスト2に追加されたグラフィック要素1の描画に必要な描画用データ5が非同期ロード実行部4によって非同期ロード中である場合には、そのグラフィック要素1の情報をロード中要素管理部7にも登録する。さらに、ディスプレイリスト2からグラフィック要素1が削除された場合には、そのグラフィック要素1が登録されているロード中要素管理部7〜新規要素管理部9から削除する。
ロード中要素管理部7は、いずれかのグラフィック要素1の描画用データ5が非同期ロード実行部4によってメモリ3にロード中である場合にそのグラフィック要素1が登録され、グラフィック要素1の描画用データ5のロードが終了した場合に登録を解除する管理部である。待機中要素管理部8は、描画が待機中であるグラフィック要素1を管理するための処理部である。新規要素管理部9は、新たにグラフィック要素1が登録された場合にそのグラフィック要素1の情報を管理するための処理部である。待機要素指定部10は、ロード中要素管理部7に登録されているグラフィック要素1に対して不可視属性を付与すると共に、描画部11によって描画されるグラフィック要素1が他のグラフィック要素1に重なっており、かつ重なるグラフィック要素1がロード中要素管理部7で登録されていた場合にそのグラフィック要素1を不可視属性として待機中要素管理部8に登録する処理部である。
描画部11は、所定の時間間隔で動作するアプリケーションランタイムであり、グラフィック要素1のうち、不可視属性を持たないグラフィック要素1を所定の重なり順で描画し、表示装置12の画面に表示する。
図2は、描画タイミング制御装置のハードウェア構成図である。図示の描画タイミング制御装置は、CPU101、メモリ3、入出力インタフェース102、ストレージ103、バス104を備える。このような構成において、図1の非同期ロード実行部4〜描画部11の機能にそれぞれ対応したプログラムがストレージ103に格納されている。CPU101は、これらのプログラムをストレージ103から読み出してメモリ3上にロードして実行することで、非同期ロード実行部4〜描画部11のそれぞれの機能を実現する。入出力インタフェース102は、外部装置との入出力のインタフェースであり、図1に示した表示装置12が接続される。また、ストレージ103は、例えばハードディスク装置からなる補助記憶装置であり、非同期ロード実行部4〜描画部11に対応したプログラムデータを格納すると共に描画用データ5を格納する。バス104は、CPU101、メモリ3、入出力インタフェース102及びストレージ103をそれぞれ相互に接続するためのバスである。なお、図1における非同期ロード実行部4〜描画部11の少なくともいずれかの処理部を専用のハードウェアで構成してもよい。
次に、実施の形態1の描画タイミング制御装置の動作について説明する。
実施の形態1の動作のポイントは、描画用データ5のロードを待っているグラフィック要素1が描画できるようになるまで、即座に描画できるグラフィック要素1を描画しないように待たせることである。また、そのとき各グラフィック要素1の関係性から、同時に描画すべきまとまりを自動的に検出し、描画を待たせるべきグラフィック要素1を自動的に選択する。
描画部11は、所定の時間間隔、例えばフレームレートに従って、定期的に表示装置12の画面を描画する。
各フレームは、各種の演算処理を実行する実行パートと、ディスプレイリスト2に含まれているグラフィック要素1の状態(可視性、レイアウト情報などの属性値)に基づいて画面を出力するレンダリングパートに分かれるものとする。図1に示す構成では、ディスプレイリスト管理部6〜待機要素指定部10が実行パートであり、描画部11がレンダリングパートである。以下、あるフレームでの処理の流れを示す。
実行パートの間中、ディスプレイリスト管理部6は、ディスプレイリスト2の変更を監視し、テキストや画像などのグラフィック要素1が新たに追加されたり削除されたりしたことを検出する。
そして、検出されたグラフィック要素1は、ロード中要素管理部7〜新規要素管理部9のうち、適切な管理部に登録される。ロード中要素管理部7は、ディスプレイリスト2に含まれるグラフィック要素1のうち、描画に必要なデータのロードが完了していない要素を監視し、ロードが完了した場合にそのグラフィック要素1の登録を解除する。新規要素管理部9は、ディスプレイリスト2に含まれるグラフィック要素1のうち、現在のフレームで新たにディスプレイリスト2に追加されたグラフィック要素1の情報を登録する。待機中要素管理部8は、ディスプレイリスト2に含まれるグラフィック要素1のうち、以下に述べる一連の処理の中で描画されないように指定されたグラフィック要素1を監視し、そのグラフィック要素1への不可視属性が解除された場合にその登録を解除する(現在のフレームで追加されたものだけでなく、過去に追加されたものも監視対象のグラフィック要素1として含む)。
ディスプレイリスト管理部6は、新たにディスプレイリスト2に追加されたグラフィック要素1を、新規要素管理部9に登録する。また、新たにディスプレイリスト2に追加されたグラフィック要素1の描画に必要なデータが非同期ロード中である場合には、そのグラフィック要素1をロード中要素管理部7にも登録する。このとき、非同期ロード中であるかどうかは、例えば、そのグラフィック要素1に問い合わせて確認すればよい。
ディスプレイリスト管理部6は、グラフィック要素1がディスプレイリスト2から削除された場合には、そのグラフィック要素1を、ロード中要素管理部7からも、新規要素管理部9からも、待機中要素管理部8からも削除する。
グラフィック要素1の描画に必要なデータのロードが完了したとき、ロード中要素管理部7は、そのグラフィック要素1の登録を解除する。
実行パートの最後に、すなわちレンダリングパートの直前に、以下の一連の処理を実行する。
待機要素指定部10は、このフレームで描画すべきでない要素を探索し、それらの可視性を「不可視」にセットしていく。すなわち、待機要素指定部10は、新規要素管理部9及び待機中要素管理部8に登録されているグラフィック要素1の中から、ロード中要素管理部7に含まれるグラフィック要素1とレイアウト的に重なっているグラフィック要素1を、順次探索する。これは、ボタンやスライダのように、背景画像やテキストなどの複数のグラフィック要素1からなるUI部品について、その構成要素が異なるフレームにまたがってバラバラと描画されることを防ぐことを意図している。
レイアウト的な重なりの検出には、いくかの方法が考えられるが、例えば、各グラフィック要素1が持っている座標属性とサイズ属性を利用した次のような方法でもよい。
全てのグラフィック要素1は、自身が占める画面領域上の広さを、長方形のバウンディングボックスとして持ち、その長方形の左上座標を座標属性(X,Y)として、横幅、縦幅をサイズ属性(W,H)として保持するものとする。
次の四つの条件のいずれか一つが満たされる場合、要素Bは、ロード中の要素Aに重なっていない、すなわち、要素Bは、そのフレームで即時描画してよいと判定する。なお、X,Yは要素Aの左上座標、X,Yは要素Bの左上座標、W,Hは要素Aの横幅と縦幅、W,Hは要素Bの横幅と縦幅である。
(i) X+W<X
(ii) X+W<X
(iii)Y+H<Y
(iv) Y+H<Y
この探索において、ある新規要素管理部9に登録されているグラフィック要素1または待機中要素管理部8から参照されるグラフィック要素1が、少なくとも一つのロード中要素と重なっていることが分かった時点で、待機要素指定部10は、その新規追加要素または描画待機中要素の可視属性を「不可視」にセットする。そして、待機要素指定部10は、待機中要素管理部8に、そのグラフィック要素1を登録する。
結果として、描画すべきでないと判定された全ての要素、すなわちロード中要素と重なる要素は、待機中要素管理部8に登録されることになる。
その後、新規要素管理部9は、登録されていたグラフィック要素1の情報を全て破棄する。すなわち、新規要素管理部9をリセットする。待機中要素管理部8に登録されなかった要素、すなわちロード中の要素と重なっていなかった要素は、次のフレーム以降、上記の不可視判定を受けなくてよいからである。
なお、ロード中要素管理部7や待機中要素管理部8は、各フレームでリセットせず、フレームをまたいで引き継ぐ。つまり、ロード中要素管理部7に登録されたグラフィック要素1であれば、対応する描画用データ5のロードが完了するか、ロード中のグラフィック要素1がディスプレイリスト2から削除されるまで、ロード中要素管理部7に登録されたままになる。このことは、以後のフレームで追加されたグラフィック要素1でも、ロード中のグラフィック要素1に重なっていた場合、描画を待機させられるようになる。このことは、意図した表示順序を守るために必要である。
フレームの最後に、描画部11は、レンダリングパートを実行し、画面を出力する。このとき、描画部11は、ディスプレイリスト2内のグラフィック要素1を、所定の順序で描画していく。グラフィック要素1の可視属性が「不可視」である場合には、その要素を描画しない。これによって、ロード中で表示できないグラフィック要素1がある場合に、それと重なるグラフィック要素1は、描画されないようになる。これにより、描画タイミングを一致させることが可能となる。
実施の形態1では以上のように構成されているため、次のような効果がある。すなわち、ボタンやスライダのようなUI部品を始めとして、複数のグラフィック要素を組み合わせて画面上の一つの部品を構成する場合はよくある。このとき、ある部品のなかに、描画に必要なデータのロードを要求するグラフィック要素があった場合、そのグラフィック要素の描画タイミングだけが遅れてしまい、例えば、ボタンの中に含まれる背景画像が遅れてしまい、テキストだけが先に描画されるようなことが起きる。ユーザから見ると、背景画像のボタンらしい外観がないために、表示されたテキストは一瞬あるいは数秒単なるテキストラベルであるように見え、ボタンであるとは認識できない。これはユーザビリティを損ねる問題である。
このような問題に対し、実施の形態1の構成であれば、描画に必要なデータを非同期ロードしているグラフィック要素が描画できるようになるまで、同じ部品の構成要素の描画を待たせておくことができる。これによって、UI部品のような一つのまとまりを、同時に、例えば同じフレームで描画できるようになる。一つ一つの要素に着目すれば、描画のタイミングを遅くすることになるが、画面上の複数のグラフィック要素がばらばらのタイミングで描画されてしまうことを防ぎ、UI部品が一つのまとまりとして出現する、分かりやすいユーザインタフェースが実現する。
しかも、上記の構成においては、どのグラフィック要素とどのグラフィック要素が、一つのまとまりであるかを予め入力しておく必要がない。単に、レイアウト情報だけに基づいて重なりを見ることで、同時に描画すべき要素を自動的に判定している。
以上説明したように、実施の形態1の描画タイミング制御装置によれば、描画対象となるグラフィック要素をディスプレイリストとして管理するディスプレイリスト管理部と、グラフィック要素の描画に必要なデータがロード中である場合にグラフィック要素が登録され、ロードが終了した場合に登録が解除されるロード中要素管理部と、ロード中要素管理部に登録されているグラフィック要素に対して不可視属性を付与すると共に、描画するグラフィック要素が他のグラフィック要素に重なっており、かつ他のグラフィック要素がロード中要素管理部に登録されていた場合は描画するグラフィック要素を不可視属性とする待機要素指定部と、設定された時間間隔で、不可視属性を持たないグラフィック要素を描画する描画部とを備えたので、同時に表示すべき複数のグラフィック要素群を、同じタイミングで表示させることができる。
実施の形態2.
上記実施の形態1では、レイアウト情報を利用して、ボタンやスライダなどの部品のまとまりを抽出していた。これによって、部品に含まれるグラフィック要素が同じタイミングで描画されるようになっていた。これに対し、実施の形態2では、レイアウト情報ではなく、ディスプレイリスト内に含まれる要素間の包含関係に基づいて、ボタンやスライダなどのUI部品のまとまりを抽出する。ここで、描画タイミング制御装置としての図面上の構成は図1に示した実施の形態1と同様であるため、図1を用いて実施の形態2の構成を説明する。
実施の形態2では、実施の形態1のようなレイアウト情報に基づく表示タイミング制御ではなく、ディスプレイリスト2の階層構造に基づく表示タイミングの制御を行う。具体的にはディスプレイツリーを利用して部品のまとまりを抽出する。図3はディスプレイツリーの一例を示す説明図である。
Flash Playerや多くのウェブブラウザなどのアプリケーションランタイムでは、グラフィック要素をツリー構造として管理している。このツリー構造は、ディスプレイツリーやコンテンツツリーなどと呼ばれる。こうしたツリー構造では、図3に示すように、最上位に画面全域(文書全体)を示す要素が配置され、そこに含まれるグラフィック要素がそれに連なった階層構造となっている。
すなわち、図1に示すディスプレイリスト2の構成として図3に示すようなツリー構造をなしており、グラフィック要素1間の包含関係が明確なものである。
このツリー構造において、各ノードは一つのグラフィック要素1を示し、各エッジはノード間の包含関係を示す。ツリーは単一の先祖ノードから派生する構成とする。各グラフィック要素1は、例えば唯一の親要素をもち、親要素は任意の数の子要素を持ってよい。サブツリー302は、描画に必要なデータをロードしているロード中の要素301を全て含む最小のサブツリーとして定義されるものとする。
このような構成において、実施の形態2の待機要素指定部10は、ロード中要素管理部7に登録されているグラフィック要素1に対して不可視属性を付与すると共に、描画するグラフィック要素1のうち、ロード中要素管理部7に登録されているグラフィック要素を含む最小のサブツリー内に含まれるグラフィック要素を不可視属性とするよう構成されている。その他の構成は実施の形態1と同様であるため、ここでの説明は省略する。
次に、実施の形態2の描画タイミング制御装置の動作について説明する。
実行パートのディスプレイリスト管理部6〜新規要素管理部9の動作については実施の形態1と同様であるため、ここでの説明は省略する。
実行パートの最後に、すなわちレンダリングパートの直前に以下の一連の処理を実行する。
待機要素指定部10は、このフレームで描画すべきでない要素を探索し、それらの可視性を「不可視」にセットしていく。実施の形態2では、待機要素指定部10は、新規要素管理部9及び待機中要素管理部8から参照されているグラフィック要素1の中から、ディスプレイリスト2のツリー構造を利用して描画を待機すべき要素を抽出する。すなわち、実施の形態2においても、ボタンやスライダのように、背景画像やテキストなどの複数のグラフィック要素からなるUI部品について、その構成要素が異なるフレームにまたがってバラバラと描画されることを防ぐことを意図している。
まず、待機要素指定部10は、図3に示すディスプレイツリー全体を見て、このフレームでロード中要素管理部7に登録されている要素301を全て含む、最小のサブツリー302を抽出する。待機要素指定部10は、サブツリー302に含まれる新規要素303の可視属性を「不可視」にセットする。ここで新規要素303とは、新規要素管理部9に登録されるグラフィック要素1、すなわち、このフレームに新たにディスプレイツリーに登録された要素である。そして、このときに「不可視」にセットしたグラフィック要素1を待機中要素管理部8に登録する。
その後、新規要素管理部9は、登録されていたグラフィック要素1の情報を全て破棄する。すなわち、新規要素管理部9をリセットする。待機中要素管理部8に登録されなかった要素、すなわちロード中の要素と重なっていなかった要素は、次のフレーム以降、上記の不可視判定を受けなくてよいからである。
なお、実施の形態2においても、ロード中要素管理部7や待機中要素管理部8は、各フレームでリセットせず、フレームをまたいで引き継ぐ。対応する描画用データ5のロードが完了するか、ロード中のグラフィック要素1がディスプレイリスト2から削除されるまで、描画に必要なデータがロード中であるグラフィック要素は、ロード中要素管理部7に登録されたままになる。このことは、以後のフレームで追加されたグラフィック要素1でも、ロード中のグラフィック要素1に重なっていた場合、描画を待機させられるようになる。このことは、意図した表示順序を守るために必要である。
描画部11による画面出力については実施の形態1と同様であるため、ここでの説明は省略する。
実施の形態2では以上のように構成されているため次のような効果がある。すなわち、実施の形態1と同様の効果を、レイアウト情報なしで実行できる。各グラフィック要素1のサイズなどのレイアウト情報は、描画に必要なデータがロードされるまで決定されない場合がある。例えば、ウェブサイトから画像をダウンロードしてきて画面の表示するような場合、画像のサイズを予め知っておくことは難しい。ロードが完了するまで画像のサイズが明らかでなく、かつ、グラフィック要素にも予めサイズが指定されていない場合、実施の形態1では、サイズ情報がないまま、レイアウト情報に基づき重なりを判定していたため、適切に部品のまとまりを抽出できない恐れもある。これに対し、実施の形態2では、サイズに基づかず、要素の包含関係だけをみて、部品のまとまりを検出するため、サイズが後から決まるような場合でも、適切に部品のまとまりを抽出できる。
以上説明したように、実施の形態2の描画タイミング制御装置によれば、描画対象となるグラフィック要素を、階層構造で構成されているツリー上の包含関係を示すディスプレイリストとして管理するディスプレイリスト管理部と、グラフィック要素の描画に必要なデータがロード中である場合にグラフィック要素が登録され、ロードが終了した場合に登録が解除されるロード中要素管理部と、ロード中要素管理部に登録されているグラフィック要素に対して不可視属性を付与すると共に、描画するグラフィック要素のうち、ツリーにおいて、ロード中要素管理部に登録されているグラフィック要素を含む最小のサブツリー内に含まれるグラフィック要素を不可視属性とする待機要素指定部と、設定された時間間隔で、不可視属性を持たないグラフィック要素を描画する描画部とを備えたので、実施の形態1と同様の効果を有すると共に、この効果を、画面上のグラフィック要素のレイアウト情報を必要とせずに得ることができる。
なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
以上のように、この発明に係る描画タイミング制御装置は、画面上に配置されるグラフィック要素の描画タイミングを制御する構成に関するものであり、画像や映像などのグラフィック要素を複数画面に描画する描画装置に用いるのに適している。
1 グラフィック要素、2 ディスプレイリスト、3 メモリ、4 非同期ロード実行部、5 描画用データ、6 ディスプレイリスト管理部、7 ロード中要素管理部、8 待機中要素管理部、9 新規要素管理部、10 待機要素指定部、11 描画部、12 表示装置、101 CPU、102 入出力インタフェース、103 ストレージ、104 バス、301 要素、302 サブツリー、303 新規要素。

Claims (2)

  1. 描画対象となるグラフィック要素をディスプレイリストとして管理するディスプレイリスト管理部と、
    前記グラフィック要素の描画に必要なデータがロード中である場合に当該グラフィック要素が登録され、ロードが終了した場合に当該登録が解除されるロード中要素管理部と、
    前記ロード中要素管理部に登録されているグラフィック要素に対して不可視属性を付与すると共に、描画するグラフィック要素が他のグラフィック要素に重なっており、かつ当該他のグラフィック要素が前記ロード中要素管理部に登録されていた場合は前記描画するグラフィック要素を不可視属性とする待機要素指定部と、
    設定された時間間隔で、前記不可視属性を持たないグラフィック要素を描画する描画部とを備えたことを特徴とする描画タイミング制御装置。
  2. 描画対象となるグラフィック要素を、階層構造で構成されているツリー上の包含関係を示すディスプレイリストとして管理するディスプレイリスト管理部と、
    前記グラフィック要素の描画に必要なデータがロード中である場合に当該グラフィック要素が登録され、ロードが終了した場合に当該登録が解除されるロード中要素管理部と、
    前記ロード中要素管理部に登録されているグラフィック要素に対して不可視属性を付与すると共に、描画するグラフィック要素のうち、前記ツリーにおいて、前記ロード中要素管理部に登録されているグラフィック要素を含む最小のサブツリー内に含まれるグラフィック要素を不可視属性とする待機要素指定部と、
    設定された時間間隔で、前記不可視属性を持たないグラフィック要素を描画する描画部とを備えたことを特徴とする描画タイミング制御装置。
JP2018518888A 2016-05-26 2016-05-26 描画タイミング制御装置 Active JP6388748B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/065601 WO2017203659A1 (ja) 2016-05-26 2016-05-26 描画タイミング制御装置

Publications (2)

Publication Number Publication Date
JPWO2017203659A1 JPWO2017203659A1 (ja) 2018-08-30
JP6388748B2 true JP6388748B2 (ja) 2018-09-12

Family

ID=60412425

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018518888A Active JP6388748B2 (ja) 2016-05-26 2016-05-26 描画タイミング制御装置

Country Status (2)

Country Link
JP (1) JP6388748B2 (ja)
WO (1) WO2017203659A1 (ja)

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3213225B2 (ja) * 1995-11-01 2001-10-02 松下電器産業株式会社 マルチメディア再生装置
JP4425177B2 (ja) * 2005-05-20 2010-03-03 株式会社ソニー・コンピュータエンタテインメント グラフィックプロセッサ、情報処理装置
EP2128824A1 (en) * 2007-02-28 2009-12-02 Panasonic Corporation Graphics plotting device and graphics plotting method
WO2014024255A1 (ja) * 2012-08-07 2014-02-13 株式会社 Real Samurai 端末および動画再生プログラム
JP6442760B2 (ja) * 2014-07-29 2018-12-26 富士通コネクテッドテクノロジーズ株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
WO2017203659A1 (ja) 2017-11-30
JPWO2017203659A1 (ja) 2018-08-30

Similar Documents

Publication Publication Date Title
WO2018196457A1 (zh) 一种弹幕显示方法及电子设备
US8769398B2 (en) Animation control methods and systems
US8810576B2 (en) Manipulation and management of links and nodes in large graphs
JP6133318B2 (ja) クロス・ウィンドウ・アニメーション
CN104850388B (zh) 网页绘制方法及装置
KR102590100B1 (ko) 비디오 처리 방법 및 장치, 디바이스 및 저장 매체
US10147400B2 (en) Display control device, display control method, and display control program
CN104063125B (zh) 一种桌面图标管理方法和装置
US10282887B2 (en) Information processing apparatus, moving image reproduction method, and computer readable medium for generating display object information using difference information between image frames
US11941728B2 (en) Previewing method and apparatus for effect application, and device, and storage medium
CN112367549B (zh) 电视浏览器的视频播放实现方法及浏览器应用运行方法
CN106815880B (zh) 动画复用方法和系统
CN110471700B (zh) 图形处理方法、装置、存储介质及电子设备
CN103049430A (zh) 一种基于idf格式文件的页面显示方法
CN113010075B (zh) 多信号源窗口交互方法、系统、可读存储介质和电子设备
CN107621951B (zh) 一种视图层级优化的方法及装置
JP6388748B2 (ja) 描画タイミング制御装置
CN105739962A (zh) 基于html的表格单元格编辑器控件扩展方法和系统
US10706217B2 (en) Quick access panel for displaying a web page on a mobile device
US9021346B2 (en) Systems and methods for displaying and editing state-specific link attributes
WO2017113737A1 (zh) 一种视图的动画显示方法及装置和终端设备
CN109976849B (zh) 基于编程语言将web组件悬浮于桌面的方法和电子设备
US20160170945A1 (en) Information processing device, information processing method, and computer program product
KR102151364B1 (ko) 애니메이션 생성 방법 및 장치
JP6538574B2 (ja) 認識装置、認識システム、認識方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180523

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20180523

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20180709

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180717

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180814

R150 Certificate of patent or registration of utility model

Ref document number: 6388748

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250