JP6699730B2 - 描画データ生成プログラム、描画データ生成装置、及び描画データ生成方法 - Google Patents

描画データ生成プログラム、描画データ生成装置、及び描画データ生成方法 Download PDF

Info

Publication number
JP6699730B2
JP6699730B2 JP2018530289A JP2018530289A JP6699730B2 JP 6699730 B2 JP6699730 B2 JP 6699730B2 JP 2018530289 A JP2018530289 A JP 2018530289A JP 2018530289 A JP2018530289 A JP 2018530289A JP 6699730 B2 JP6699730 B2 JP 6699730B2
Authority
JP
Japan
Prior art keywords
updated
drawing data
elements
character string
partial character
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018530289A
Other languages
English (en)
Other versions
JPWO2018020647A1 (ja
Inventor
勇輝 長尾
勇輝 長尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2018020647A1 publication Critical patent/JPWO2018020647A1/ja
Application granted granted Critical
Publication of JP6699730B2 publication Critical patent/JP6699730B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00Animation
    • G06T13/802D [Two Dimensional] animation, e.g. using sprites

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)

Description

本発明は、描画データ生成プログラム、描画データ生成装置、及び描画データ生成方法に関する。
近年、HyperText Markup Language(HTML)ブラウザの適用範囲は、パーソナルコンピュータ及びスマートフォンにとどまらず、デジタルサイネージ装置等の大きな画面を持つ装置に対してもHTMLブラウザが適用されるようになっている。画面サイズが大きくなる一方で、Central Processing Unit(CPU)、メモリ等の処理速度に関わる部品は、従来の組込み機器と大差はない。このため、画面が大きくなるほど描画時間は長くなる。
HTMLブラウザは、HTMLコンテンツを解析して、内部情報をDocument Object Model(DOM)情報として保持した上で、そのDOM情報に従ってHTMLコンテンツを画面上に描画する。このとき、HTMLブラウザは、画面に表示可能な領域のうち、更新された領域を差分として描画することで、描画処理の高速化を図っている。
最近では、組込み機器において描画処理をソフトウェアで実行するのではなく、OpenGL/ES2.0等のApplication Program Interface(API)に対応するハードウェアによって実行することが可能になっている。このようなハードウェアを活用することで、描画処理の高速化を図ることができる。
ページデータの更新時に更新後のデータを外部装置からキャッシュ内に直接書き込む方法、及びダウンロードしてある先読みページが選択された場合に、その先読みページのデータを表示させる方法も知られている(例えば、特許文献1及び特許文献2を参照)。
特開2001−356957号公報 特開2002−014798号公報
ハードウェアによるHTMLコンテンツの描画処理では、2つの描画バッファを切り替える度に全画面の描画データが生成されるため、処理時間が長くなると考えられる。
なお、かかる問題は、HTMLコンテンツの描画処理に限らず、階層化構造を有する他のコンテンツの描画処理においても生ずるものである。また、かかる問題は、2つの描画バッファを切り替える描画処理に限らず、3つ以上の描画バッファを切り替える描画処理においても生ずるものである。
1つの側面において、本発明は、階層化構造を有するコンテンツの描画処理において、生成する描画データのデータ量を削減することを目的とする。
1つの案では、描画データ生成プログラムは、以下の処理をコンピュータに実行させる。
(1)コンピュータは、コンテンツの階層化構造の解析結果に応じて、コンテンツの表示情報から描画データを生成する。
(2)コンピュータは、描画データを複数の描画バッファのうち第1描画バッファに格納する。
(3)コンピュータは、コンテンツの更新に応じて、解析結果に基づき、コンテンツの表示情報のうち非更新領域と更新領域とを特定する。
(4)コンピュータは、更新領域の更新後の表示情報から更新描画データを生成する。
(5)コンピュータは、第1描画バッファに格納した非更新領域の描画データと、更新描画データとを、複数の描画バッファのうち第2描画バッファに格納する。
実施形態によれば、階層化構造を有するコンテンツの描画処理において、生成する描画データのデータ量を削減することができる。
2つの描画バッファに格納される描画データを示す図である。 描画データ生成装置の機能的構成図である。 描画データ生成処理のフローチャートである。 描画データ生成装置の具体例を示す機能的構成図である。 HTMLブラウザの構成図である。 DOM情報の構成図である。 初回表示時の描画データ生成処理のフローチャートである。 画面更新処理のフローチャートである。 更新時の描画データ生成処理のフローチャートである。 部分文字列を表すDOM情報の構成図である。 部分文字列を表すDOM情報を用いた画面更新処理のフローチャートである。 部分文字列描画処理のフローチャートである。 情報処理装置の構成図である。
以下、図面を参照しながら、実施形態を詳細に説明する。
上述したハードウェアによる描画処理では、ハードウェアの構成にも依存するが、例えば、表示装置の画面上に表示されている表画面の描画バッファと、画面上に表示されていない裏画面の描画バッファとが設けられることがある。そして、描画対象のコンテンツは裏画面の描画バッファに描画され、描画完了時点で裏画面と表画面とを切り替えることで、裏画面の描画データが画面上に表示される。このとき、ハードウェアの仕様に依存するが、それまで表画面に描画されていた描画データが裏画面に保持される保証はない。
このように、描画バッファの切り替え後に切り替え前の描画データが保持されない環境においては、ソフトウェアによるダブルバッファリングと同様にして更新部分の部分描画を行うと、非更新部分はまったく描画されず、更新部分のみが表示されてしまう。
したがって、ハードウェアによる描画処理では、HTMLブラウザの画面の一部分を差分で描画することは困難であり、表画面と裏画面とを切り替える度に画面全体の描画データが生成されることになる。この場合、ハードウェアによる描画処理の利点が必ずしも生かせるとは限らず、得られる効果は限定的である。
図1は、2つの描画バッファに格納される描画データの例を示している。表画面101の描画バッファに文字列及び画像を含むコンテンツの描画データが格納されており、そのうち画像のみが更新された場合を想定する。この場合、裏画面102に含まれる領域111〜領域118のうち、文字列を含む領域111〜領域117の表示情報は更新されず、画像を含む領域118の表示情報のみが更新される。
しかし、表示情報が更新されたか否かにかかわらず、領域111〜領域118のすべてに対して表示情報を表す描画データが生成され、裏画面102の描画バッファに格納される。そして、裏画面102と表画面101とを切り替えることで、裏画面102の描画データが画面上に表示される。
例えば、描画対象のコンテンツが文字列である場合、DOM情報に基づく描画処理は、以下のような手順で行われる。
(a)HTMLブラウザは、DOM情報に含まれる文字列の幅及び高さを計算する。このとき、HTMLブラウザは、描画対象の文字列を、指定された描画領域に収まるように複数の部分文字列に分割し、各部分文字列の幅を取得して、その部分文字列が描画領域に収まるか否かを判定する。そして、HTMLブラウザは、すべての部分文字列が描画領域に収まるまで、部分文字列の分割を繰り返す。
(b)HTMLブラウザは、文字列の描画データを生成する。
(c)HTMLブラウザは、生成した描画データを裏画面の描画バッファに格納する。
このうち、(a)及び(b)の処理に多くの処理時間がかかるが、文字列の表示情報が更新されなければ、(b)の描画データは変化しない。そこで、描画処理の完了時に描画データをキャッシュしておき、再描画要求に対しては(a)及び(b)の処理を行わず、前回の描画データを裏画面の描画バッファに格納する処理のみを行う方法が考えられる。これにより、生成する描画データのデータ量を削減して、処理時間を短縮することが可能になる。
図2は、実施形態の描画データ生成装置の機能的構成例を示している。図2の描画データ生成装置201は、描画バッファ211−1〜描画バッファ211−NのN個の描画バッファと、生成部212とを含む。
図3は、図2の描画データ生成装置201が行う描画データ生成処理の例を示すフローチャートである。まず、生成部212は、コンテンツの階層化構造の解析結果に応じて、コンテンツの表示情報から描画データを生成する(ステップ301)。そして、生成部212は、生成した描画データを、描画バッファ211−1〜描画バッファ211−Nのうち第1描画バッファに格納する(ステップ302)。
次に、生成部212は、コンテンツの更新に応じて、解析結果に基づき、コンテンツの表示情報のうち非更新領域及び更新領域を特定し(ステップ303)、更新領域の更新後の表示情報から更新描画データを生成する(ステップ304)。そして、生成部212は、第1描画バッファに格納した非更新領域の描画データと、生成した更新描画データとを、描画バッファ211−1〜描画バッファ211−Nのうち第2描画バッファに格納する(ステップ305)。
このような描画データ生成装置201によれば、階層化構造を有するコンテンツの描画処理において、生成する描画データのデータ量を削減することができる。
図4は、図2の描画データ生成装置201の具体例を示している。図4の描画データ生成装置201は、描画バッファ211−1、描画バッファ211−2、通信部401、処理部402、表示部403、及び記憶部404を含む。記憶部404は、HTMLブラウザ411、階層化構造を有するHTMLコンテンツ412、及びDOM情報413を記憶する。
処理部402は、図2の生成部212に対応し、HTMLブラウザ411を実行することで、通信ネットワークを介して外部のサーバにHTMLコンテンツ412を要求する。通信部401は、通信ネットワークを介して外部のサーバからHTMLコンテンツ412を受信し、受信したHTMLコンテンツ412を記憶部404に格納する。
処理部402は、HTMLブラウザ411を実行することで、HTMLコンテンツ412から、複数の要素を含むDOM情報413を生成する。次に、処理部402は、DOM情報413に含まれる各要素の描画データを生成し、生成した描画データを、描画バッファ211−1及び描画バッファ211−2のうち裏画面の描画バッファに格納する。
そして、処理部402は、裏画面の描画バッファと表画面の描画バッファとを入れ替えることで、生成した描画データを表示部403の画面上に表示する。これにより、画面に表示中の描画データを格納していた表画面の描画バッファが裏画面の描画バッファに変更され、次の描画データを格納できる状態になる。
図5は、図4のHTMLブラウザ411の構成例を示している。図5のHTMLブラウザ411は、パーサ501、DOM管理部502、ラスタライザ503、及びスクリプトエンジン504を含む。パーサ501は、HTMLコンテンツ412を解析することで、HTMLコンテンツ412をDOM情報413に変換し、DOM情報413を記憶部404に格納する。DOM管理部502は、ラスタライザ503を用いてDOM情報413をラスタ形式の画像データに変換し、DOM情報413を視覚化する。
スクリプトエンジン504は、例えば、オブジェクト指向のスクリプト言語で記述されたスクリプトを解釈して実行することで、DOM情報413に含まれる要素の表示情報を更新する更新要求を出力する。DOM管理部502は、スクリプトエンジン504から出力される更新要求に応じて、DOM情報413に含まれる対象要素の状態を更新し、対象要素の表示情報が変更される場合は、ラスタライザ503を用いてDOM情報413を再度視覚化する。スクリプトエンジン504は、JavaScript(登録商標)エンジンであってもよい。
図6は、図4のDOM情報413の構成例を示している。HTMLElement601は、各要素に共通なクラスであり、HTMLDivElement602、HTMLSpanElement603等を含むすべての要素は、HTMLElement601を継承して実装される。
そこで、このHTMLElement601に対して、描画データ生成処理で用いられる属性を追加することで、DOM情報413のすべての要素に対して共通の属性を追加することができる。例えば、以下のような属性が追加される。
(a1)cachedContent:キャッシュされた描画データ
(a2)isContentModified:要素が更新されたか否かを示すフラグ
(a3)isVisible:要素が表示されているか否かを示すフラグ
isContentModifiedがtrueのとき、要素が更新されたことを示し、isContentModifiedがfalseのとき、要素が更新されていないことを示す。したがって、isContentModifiedがtrueである要素は、更新領域に対応し、isContentModifiedがfalseである要素は、非更新領域に対応する。
また、isVisibleがtrueのとき、要素が表示されていることを示し、isVisibleがfalseのとき、要素が表示されていないことを示す。
処理部402は、各要素のisContentModifiedを参照することで、その要素が更新されたか否かを判定することができ、isVisibleを参照することで、その要素が描画対象であるか否かを判定することができる。
例えば、<br>等のように、画面上に表示されない要素のisVisibleは、falseに設定される。さらに、HTMLコンテンツ412、スクリプト、Cascading Style Sheets(CSS)、Scalable Vector Graphics(SVG)等によって、画面上に表示しないように指定された要素のisVisibleも、falseに設定される。後者の例は、スクリプトによってvisibilityが動的に書き換えられた場合、CSSによってdisplay:noneが指定された場合等である。
処理部402は、描画対象の要素の描画データを生成した場合、生成した描画データをその要素のcachedContentとして格納する。
図7は、図4の処理部402がHTMLコンテンツ412の初回表示時に行う描画データ生成処理の例を示すフローチャートである。処理部402は、HTMLブラウザ411を実行することで、DOM管理部502の機能を用いて図7の描画データ生成処理を行う。
まず、処理部402は、HTMLコンテンツ412を解析して(ステップ701)、DOM情報413を生成する(ステップ702)。このとき、処理部402は、HTMLコンテンツ412の記述に従って、DOM情報413に含まれる各要素のisVisibleにtrue又はfalseを設定し、各要素のisContentModifiedにtrueを設定する。そして、処理部402は、画面更新処理を行う(ステップ703)。
図8は、図7のステップ703における画面更新処理の例を示すフローチャートである。まず、処理部402は、DOM情報413に含まれる1つの要素を選択し(ステップ801)、選択した要素のisVisibleをチェックする(ステップ802)。isVisibleがtrueである場合(ステップ802,YES)、処理部402は、選択した要素のisContentModifiedをチェックする(ステップ803)。
isContentModifiedがtrueである場合(ステップ803,YES)、処理部402は、選択した要素の表示情報から描画データを生成する(ステップ804)。例えば、選択した要素が文字列である場合、処理部402は、上述した(a)及び(b)の処理を行う。そして、処理部402は、生成した描画データを、選択した要素のcachedContentに格納する(ステップ805)。
次に、処理部402は、生成した描画データを裏画面の描画バッファに格納することで、選択した要素を裏画面に描画し(ステップ806)、その要素のisContentModifiedをtrueからfalseへ変更する(ステップ807)。そして、処理部402は、DOM情報413に含まれるすべての要素を選択したか否かをチェックする(ステップ808)。
未選択の要素が残っている場合(ステップ808,NO)、処理部402は、次の要素についてステップ801以降の処理を繰り返す。isibleがfalseである場合(ステップ802,NO)、処理部402は、次の要素についてステップ801以降の処理を繰り返す。
isContentModifiedがfalseである場合(ステップ803,NO)、処理部402は、描画データ生成をスキップして、ステップ806以降の処理を行う。この場合、生成した描画データの代わりに、cachedContentに格納されている描画データが裏画面の描画バッファに格納される。ただし、図7の描画データ生成処理では、すべての要素のisContentModifiedにtrueが設定されているため、描画データ生成がスキップされることはない。
そして、すべての要素を選択した場合(ステップ808,YES)、処理部402は、裏画面の描画バッファと表画面の描画バッファとを入れ替えることで、裏画面に描画したHTMLコンテンツ412を画面上に表示する(ステップ809)。
図9は、処理部402がHTMLコンテンツ412の更新時に行う描画データ生成処理の例を示すフローチャートである。処理部402は、HTMLブラウザ411を実行することで、DOM管理部502の機能を用いて図9の描画データ生成処理を行う。HTMLコンテンツ412の更新は、例えば、以下のような場合に発生し、いずれかの要素の表示座標、表示情報等が変化する。
(b1)スクリプトによるDOM操作
(b2)CSSアニメーション又はSVGアニメーションによる更新
(b3)ユーザ操作による更新
このうち、(b3)のユーザ操作による更新としては、例えば、テキストボックスの選択によってカーソルの表示を行う場合、スクロールバーを用いてHTMLコンテンツ412をスクロールする場合等が考えられる。
まず、処理部402は、HTMLコンテンツ412の更新に応じて、HTMLコンテンツ412の記述に従って、更新対象となる対象要素の状態を更新する(ステップ901)。そして、対象要素のisVisibleをチェックする(ステップ902)。isVisibleがtrueである場合(ステップ902,YES)、処理部402は、対象要素の表示情報が変更されたか否かをチェックする(ステップ903)。
対象要素の表示情報が変更された場合(ステップ903,YES)、処理部402は、対象要素のisContentModifiedをfalseからtrueへ変更して(ステップ904)、図8の画面更新処理を行う(ステップ905)。
この場合、対象要素のisContentModifiedにはtrueが設定されているため、ステップ804において、対象要素の描画データが生成され、ステップ805において、対象要素の描画データがcachedContentに格納される。そして、ステップ806において、対象要素が裏画面に描画される。
一方、対象要素以外の要素のisContentModifiedにはfalseが設定されているため、その要素の描画データ生成はスキップされる。そして、ステップ806において、cachedContentに格納されている描画データを用いて、対象要素以外の要素が裏画面に描画される。
isVisibleがfalseである場合(ステップ902,NO)、又は対象要素の表示情報が変更されていない場合(ステップ903,NO)、処理部402は、画面更新処理を行うことなく、処理を終了する。
図8の画面更新処理によれば、更新部分の部分描画が困難な環境において、DOM情報413に含まれるすべての要素を再描画する場合であっても、非更新領域に対応する要素の描画データ生成をスキップすることで、生成する描画データのデータ量が削減される。これにより、描画データ生成処理の処理時間を削減することができる。
特に、アニメーションを使用した広告バナーを含むコンテンツ、動画サイトのコンテンツ等は、アニメーション又は動画のように、頻繁に表示情報が更新される要素と、テキスト又は静止画のように、ほとんど表示情報が更新されない要素とからなることが多い。このようなコンテンツの場合、テキスト又は静止画を再描画するための処理時間を削減することで、アニメーション又は動画のフレームレートの低下等を抑止することが可能になる。
さらに、図8の画面更新処理は、更新部分の部分描画が可能な環境においても適用することができるため、部分描画が困難であるか否かにかかわらず、処理時間を削減することができる。
図6のDOM情報413では、描画データ生成処理で用いられる属性が要素毎に追加されているが、各要素に含まれる描画単位毎に属性を追加することも可能である。例えば、要素に含まれる文字列は、複数の部分文字列に分割されることがあるため、部分文字列毎に描画データをキャッシュすることにより、描画データ生成処理の処理時間をさらに削減することができる。
図10は、各要素に含まれる部分文字列毎に属性を追加したDOM情報413の構成例を示している。HTMLDivElement602、HTMLSpanElement603等を含むすべての要素は、TextRun1001を使用することができ、TextRun1001は、RenderedString1002を使用することができる。
TextRun1001は、文字列を表すオブジェクトであり、string[]を有する。文字列が複数の部分文字列に分割されている場合、string[]には、それぞれの部分文字列を表す複数のRenderedString1002が設定される。一方、文字列が分割されていない場合、string[]には、その文字列を表す1つのRenderedString1002が設定される。
RenderedString1002は、文字列又は部分文字列を表すオブジェクトであり、例えば、以下のような属性を有する。
(c1)cachedString:キャッシュされた描画データ
(c2)isStringModified:文字列又は部分文字列が更新されたか否かを示すフラグ
(c3)isVisible:文字列又は部分文字列が表示されているか否かを示すフラグ
(c4)string:文字列又は部分文字列を表す表示情報
isStringModifiedがtrueのとき、文字列又は部分文字列が更新されたことを示し、isStringModifiedがfalseのとき、文字列又は部分文字列が更新されていないことを示す。したがって、isStringModifiedがtrueである文字列又は部分文字列は、更新領域に対応し、isStringModifiedがfalseである文字列又は部分文字列は、非更新領域に対応する。
また、isVisibleがtrueのとき、文字列又は部分文字列が表示されていることを示し、isVisibleがfalseのとき、文字列又は部分文字列が表示されていないことを示す。文字列又は部分文字列は画面上に表示されるため、RenderedString1002のisVisibleはtrueに設定される。
図11は、図10のDOM情報413を用いた場合に、図7のステップ703又は図9のステップ905において行われる画面更新処理の例を示すフローチャートである。まず、処理部402は、DOM情報413に含まれる1つの要素を選択し(ステップ1101)、選択した要素が表す文字列の幅及び高さを計算する(ステップ1102)。そして、処理部402は、計算した幅及び高さに基づいて、その文字列を分割するか否かを判定する(ステップ1103)。
例えば、処理部402は、計算した幅及び高さが指定された描画領域に収まる場合、文字列を分割しないと判定し、幅又は高さが描画領域に収まらない場合、文字列を分割すると判定することができる。
文字列を分割する場合(ステップ1103,YES)、処理部402は、その文字列を、描画領域に収まる幅及び高さを有する複数の部分文字列に分割する(ステップ1104)。そして、処理部402は、1つの部分文字列を描画対象として選択し(ステップ1105)、選択した部分文字列について部分文字列描画処理を行う(ステップ1106)。これにより、選択した部分文字列の描画データが裏画面の描画バッファに格納される。
次に、処理部402は、すべての部分文字列を選択したか否かをチェックする(ステップ1107)。未選択の部分文字列が残っている場合(ステップ1107,NO)、処理部402は、次の部分文字列についてステップ1105以降の処理を繰り返す。
そして、すべての部分文字列を選択した場合(ステップ1107,YES)、処理部402は、DOM情報413に含まれるすべての要素を選択したか否かをチェックする(ステップ1108)。未選択の要素が残っている場合(ステップ1108,NO)、処理部402は、次の要素についてステップ1101以降の処理を繰り返す。
一方、文字列を分割しない場合(ステップ1103,NO)、処理部402は、その文字列について文字列描画処理を行う(ステップ1110)。これにより、文字列の描画データが裏画面の描画バッファに格納される。そして、処理部402は、ステップ1108以降の処理を行う。
すべての要素を選択した場合(ステップ1108,YES)、処理部402は、裏画面の描画バッファと表画面の描画バッファとを入れ替えることで、裏画面に描画したHTMLコンテンツ412を画面上に表示する(ステップ1109)。
図12は、図11のステップ1106における部分文字列描画処理の例を示すフローチャートである。まず、処理部402は、TextRun1001のstring[]を参照して、部分文字列を表すRenderedString1002が存在するか否かをチェックする(ステップ1201)。HTMLコンテンツ412の初回表示時には、RenderedString1002が未だ存在しておらず、HTMLコンテンツ412の更新時には、RenderedString1002が存在している。
RenderedString1002が存在しない場合(ステップ1201,NO)、処理部402は、部分文字列を表すRenderedString1002を生成し、そのisVisibleにtrueを設定する(ステップ1210)。
次に、処理部402は、部分文字列の表示情報から描画データを生成し(ステップ1203)、生成した描画データを、RenderedString1002のcachedStringに格納する(ステップ1204)。
次に、処理部402は、RenderedString1002のstringに部分文字列を格納し(ステップ1205)、isStringModifiedにtrueを設定する(ステップ1206)。
次に、処理部402は、RenderedString1002をTextRun1001のstring[]に設定する(ステップ1207)。そして、処理部402は、生成した描画データを裏画面の描画バッファに格納することで、部分文字列を裏画面に描画する(ステップ1208)。
一方、RenderedString1002が存在する場合(ステップ1201,YES)、処理部402は、描画対象の部分文字列がRenderedString1002のstringが表す部分文字列と同じか否かをチェックする(ステップ1202)。部分文字列が更新されていない場合、描画対象の部分文字列はstringが表す部分文字列と同じであり、部分文字列が更新されている場合、描画対象の部分文字列はstringが表す部分文字列とは異なっている。
描画対象の部分文字列がstringが表す部分文字列とは異なっている場合(ステップ1202,NO)、処理部402は、ステップ1203以降の処理を行う。
一方、描画対象の部分文字列がstringが表す部分文字列と同じである場合(ステップ1202,YES)、処理部402は、描画データ生成をスキップする。そして、処理部402は、RenderedString1002のisStringModifiedをtrueからfalseへ変更し(ステップ1209)、ステップ1208の処理を行う。この場合、生成した描画データの代わりに、cachedStringに格納されている描画データが裏画面の描画バッファに格納される。
図11のステップ1110における文字列描画処理では、図12のフローチャートにおいて部分文字列を文字列に置き換えた処理が行われる。
図11の画面更新処理によれば、複数の部分文字列に分割された文字列を再描画する場合に、非更新領域に対応する部分文字列の描画データ生成をスキップすることで、生成する描画データのデータ量がさらに削減される。これにより、描画データ生成処理の処理時間をさらに削減することができる。
図2及び図4の描画データ生成装置201の構成は一例に過ぎず、描画データ生成装置201の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、描画データ生成装置201の外部の装置によって描画データが表示される場合は、図4の表示部403を省略することができる。図4の描画データ生成装置201は、3個以上の描画バッファを含んでいてもよい。
図3、図7〜図9、図11、及び図12のフローチャートは一例に過ぎず、描画データ生成装置201の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、外部の装置によってDOM情報413が生成される場合は、図7のステップ701及びステップ702の処理を省略することができ、外部の装置によって描画データが表示される場合は、図8のステップ809及び図11のステップ1109の処理を省略することができる。
図1の描画データは一例に過ぎず、描画データは、描画対象のコンテンツに応じて変化する。描画対象のコンテンツは、HTMLコンテンツ412に限られず、eXtensible Markup Language(XML)で記述されたコンテンツのように、階層化構造を有する別のコンテンツであってもよい。図5のHTMLブラウザ411の構成は一例に過ぎず、一部の構成要素を省略又は変更してもよい。図6及び図10のDOM情報413は一例に過ぎず、一部の属性を省略又は変更してもよい。
図13は、図2及び図4の描画データ生成装置201として用いられる情報処理装置(コンピュータ)の構成例を示している。図13の情報処理装置は、CPU1301(プロセッサ)、メモリ1302、入力装置1303、補助記憶装置1304、媒体駆動装置1305、ネットワーク接続装置1306、Graphics Processing Unit(GPU)1307、及び表示装置1308を含む。情報処理装置は、さらに描画バッファ211−1及び描画バッファ211−2を含む。
CPU1301、メモリ1302、入力装置1303、補助記憶装置1304、媒体駆動装置1305、ネットワーク接続装置1306、及びGPU1307は、バス1309により互いに接続されている。描画バッファ211−1、描画バッファ211−2、及び表示装置1308は、GPU1307に接続されている。
メモリ1302は、例えば、Read Only Memory(ROM)、Random Access Memory(RAM)、フラッシュメモリ等の半導体メモリであり、描画データ生成処理に用いられるプログラム及びデータを格納する。メモリ1302は、図4の記憶部404として用いることができる。
CPU1301は、例えば、メモリ1302を利用してプログラムを実行することにより、図2の生成部212及び図4の処理部402として動作する。
入力装置1303は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。
補助記憶装置1304は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置1304は、ハードディスクドライブであってもよい。情報処理装置は、補助記憶装置1304にプログラム及びデータを格納しておき、それらをメモリ1302にロードして使用することができる。補助記憶装置1304は、図4の記憶部404として用いることができる。
媒体駆動装置1305は、可搬型記録媒体1310を駆動し、その記録内容にアクセスする。可搬型記録媒体1310は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体1310は、Compact Disk Read Only Memory(CD−ROM)、Digital Versatile Disk(DVD)、Universal Serial Bus(USB)メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体1310にプログラム及びデータを格納しておき、それらをメモリ1302にロードして使用することができる。
このように、描画データ生成処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ1302、補助記憶装置1304、又は可搬型記録媒体1310のような、物理的な(非一時的な)記録媒体である。
ネットワーク接続装置1306は、Local Area Network、Wide Area Network等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェースである。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置1306を介して受信し、それらをメモリ1302にロードして使用することができる。ネットワーク接続装置1306は、図4の通信部401として用いることができる。
表示装置1308は、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果を画面上に表示する。処理結果は、HTMLコンテンツ412の描画データであってもよい。表示装置1308は、図4の表示部403として用いることができる。
GPU1307は、CPU1301からの指示に従って、描画データを裏画面の描画バッファに格納する処理を行う。GPU1307は、CPU1301からの指示に従って、裏画面の描画バッファと表画面の描画バッファとを入れ替えることで、裏画面に描画したHTMLコンテンツ412を表示装置1308の画面上に表示する処理も行う。
なお、情報処理装置が図13のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、可搬型記録媒体1310を使用しない場合は、媒体駆動装置1305を省略してもよい。情報処理装置は、3個以上の描画バッファを含んでいてもよい。
GPU1307が描画処理を行う代わりに、CPU1301がGPU1307の動作をエミュレートすることも可能である。この場合、GPU1307、描画バッファ211−1、及び描画バッファ211−2が省略され、メモリ1302内に2つの描画バッファが設けられる。
開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

Claims (9)

  1. コンテンツの階層化構造の解析結果に応じて、前記階層化構造に含まれる複数の要素それぞれの表示情報から描画データを生成し、
    前記複数の要素それぞれの描画データを複数の描画バッファのうち第1描画バッファに格納し、
    前記解析結果に含まれる、前記複数の要素それぞれが更新されたか否かを示すフラグを、更新されていないことを示す値に設定し、
    前記コンテンツの更新により更新された要素のフラグを、更新されたことを示す値に変更し、
    前記解析結果に含まれる、前記複数の要素それぞれが更新されたか否かを示すフラグに基づき、更新されていない要素と更新された要素とを特定し、
    前記更新された要素の更新後の表示情報から更新描画データを生成し、
    前記第1描画バッファに格納した前記更新されていない要素の描画データと、前記更新描画データとを、前記複数の描画バッファのうち第2描画バッファに格納する、
    処理をコンピュータに実行させる描画データ生成プログラム。
  2. 前記コンピュータは、前記更新されていない要素の描画データ生成をスキップすることを特徴とする請求項1記載の描画データ生成プログラム。
  3. 前記コンピュータは、前記複数の要素のうち特定の要素に含まれる文字列を複数の部分文字列に分割し、前記複数の部分文字列それぞれの表示情報から前記描画データを生成し、前記複数の部分文字列それぞれの前記描画データを前記第1描画バッファに格納し、前記複数の部分文字列それぞれが非更新領域又は更新領域のいずれに対応するかを特定し、前記非更新領域に対応する部分文字列の描画データ生成をスキップし、前記更新領域に対応する部分文字列の前記更新描画データを生成し、前記第1描画バッファに格納した前記非更新領域に対応する部分文字列の前記描画データと、前記更新領域に対応する部分文字列の前記更新描画データとを、前記第2描画バッファに格納することを特徴とする請求項2記載の描画データ生成プログラム。
  4. 複数の描画バッファと、
    コンテンツの階層化構造の解析結果に応じて、前記階層化構造に含まれる複数の要素それぞれの表示情報から描画データを生成し、前記複数の要素それぞれの描画データを前記複数の描画バッファのうち第1描画バッファに格納し、前記解析結果に含まれる、前記複数の要素それぞれが更新されたか否かを示すフラグを、更新されていないことを示す値に設定し、前記コンテンツの更新により更新された要素のフラグを、更新されたことを示す値に変更し、前記解析結果に含まれる、前記複数の要素それぞれが更新されたか否かを示すフラグに基づき、更新されていない要素と更新された要素とを特定し、前記更新された要素の更新後の表示情報から更新描画データを生成し、前記第1描画バッファに格納した前記更新されていない要素の描画データと、前記更新描画データとを、前記複数の描画バッファのうち第2描画バッファに格納する生成部と、
    を備えることを特徴とする描画データ生成装置。
  5. 前記生成部は、前記更新されていない要素の描画データ生成をスキップすることを特徴とする請求項4記載の描画データ生成装置。
  6. 前記生成部は、前記複数の要素のうち特定の要素に含まれる文字列を複数の部分文字列に分割し、前記複数の部分文字列それぞれの表示情報から前記描画データを生成し、前記複数の部分文字列それぞれの前記描画データを前記第1描画バッファに格納し、前記複数の部分文字列それぞれが非更新領域又は更新領域のいずれに対応するかを特定し、前記非更新領域に対応する部分文字列の描画データ生成をスキップし、前記更新領域に対応する部分文字列の前記更新描画データを生成し、前記第1描画バッファに格納した前記非更新領域に対応する部分文字列の前記描画データと、前記更新領域に対応する部分文字列の前記更新描画データとを、前記第2描画バッファに格納することを特徴とする請求項5記載の描画データ生成装置。
  7. コンピュータが、
    コンテンツの階層化構造の解析結果に応じて、前記階層化構造に含まれる複数の要素それぞれの表示情報から描画データを生成し、
    前記複数の要素それぞれの描画データを複数の描画バッファのうち第1描画バッファに格納し、
    前記解析結果に含まれる、前記複数の要素それぞれが更新されたか否かを示すフラグを、更新されていないことを示す値に設定し、
    前記コンテンツの更新により更新された要素のフラグを、更新されたことを示す値に変更し、
    前記解析結果に含まれる、前記複数の要素それぞれが更新されたか否かを示すフラグに基づき、更新されていない要素と更新された要素とを特定し、
    前記更新された要素の更新後の表示情報から更新描画データを生成し、
    前記第1描画バッファに格納した前記更新されていない要素の描画データと、前記更新描画データとを、前記複数の描画バッファのうち第2描画バッファに格納する、
    ことを特徴とする描画データ生成方法。
  8. 前記コンピュータは、前記更新されていない要素の描画データ生成をスキップすることを特徴とする請求項7記載の描画データ生成方法。
  9. 前記コンピュータは、前記複数の要素のうち特定の要素に含まれる文字列を複数の部分文字列に分割し、前記複数の部分文字列それぞれの表示情報から前記描画データを生成し、前記複数の部分文字列それぞれの前記描画データを前記第1描画バッファに格納し、前記複数の部分文字列それぞれが非更新領域又は更新領域のいずれに対応するかを特定し、前記非更新領域に対応する部分文字列の描画データ生成をスキップし、前記更新領域に対応する部分文字列の前記更新描画データを生成し、前記第1描画バッファに格納した前記非更新領域に対応する部分文字列の前記描画データと、前記更新領域に対応する部分文字列の前記更新描画データとを、前記第2描画バッファに格納することを特徴とする請求項8記載の描画データ生成方法。
JP2018530289A 2016-07-28 2016-07-28 描画データ生成プログラム、描画データ生成装置、及び描画データ生成方法 Active JP6699730B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/072239 WO2018020647A1 (ja) 2016-07-28 2016-07-28 描画データ生成プログラム、描画データ生成装置、及び描画データ生成方法

Publications (2)

Publication Number Publication Date
JPWO2018020647A1 JPWO2018020647A1 (ja) 2019-05-16
JP6699730B2 true JP6699730B2 (ja) 2020-05-27

Family

ID=61015847

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018530289A Active JP6699730B2 (ja) 2016-07-28 2016-07-28 描画データ生成プログラム、描画データ生成装置、及び描画データ生成方法

Country Status (2)

Country Link
JP (1) JP6699730B2 (ja)
WO (1) WO2018020647A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7154822B2 (ja) * 2018-05-23 2022-10-18 キヤノン株式会社 プログラム、画像処理装置、及び制御方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5519825A (en) * 1993-11-16 1996-05-21 Sun Microsystems, Inc. Method and apparatus for NTSC display of full range animation
JP2004350185A (ja) * 2003-05-26 2004-12-09 Seiko Epson Corp 画像処理装置、画像処理方法及び画像処理のためのプログラム
US8004535B2 (en) * 2006-06-01 2011-08-23 Qualcomm Incorporated Apparatus and method for selectively double buffering portions of displayable content
JP2015125509A (ja) * 2013-12-25 2015-07-06 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Also Published As

Publication number Publication date
JPWO2018020647A1 (ja) 2019-05-16
WO2018020647A1 (ja) 2018-02-01

Similar Documents

Publication Publication Date Title
US20180374184A1 (en) Methods and apparatuses for providing a hardware accelerated web engine
EP2805258B1 (en) Low resolution placeholder content for document navigation
US8881055B1 (en) HTML pop-up control
US9830308B2 (en) Rendering apparatus and method for operating a web-platform
US9514242B2 (en) Presenting dynamically changing images in a limited rendering environment
US20030184552A1 (en) Apparatus and method for graphics display system for markup languages
CN108256062B (zh) 网页动画实现方法、装置、电子设备、存储介质
JP2010532513A (ja) データシステム及び方法
US9224367B2 (en) Image processing apparatus, image processing method, and image processing program
KR20150079867A (ko) Html5-프로토콜 기반 웹페이지 표시 방법 및 장치
US8548263B2 (en) Delayed image decoding
US8643674B2 (en) Rendering changed portions of composited images
US9886465B2 (en) System and method for rendering of hierarchical data structures
CN104809123A (zh) 一种网页渲染方法及系统
US20150370439A1 (en) Gpu-optimized scrolling systems and methods
CN112667330A (zh) 一种页面显示方法及计算机设备
JP6699730B2 (ja) 描画データ生成プログラム、描画データ生成装置、及び描画データ生成方法
EP3008697B1 (en) Coalescing graphics operations
US10002400B2 (en) Method and apparatus for dynamic generation of vector graphics
US20160342570A1 (en) Document presentation qualified by conditions evaluated on rendering
US9685140B1 (en) Optimized rendering of multimedia content
JP6721049B2 (ja) ページ表示プログラム、ページ表示装置、及びページ表示方法
TW509873B (en) Generation method for dynamic user interface with arbitrary shape
JP2005108101A (ja) 構造化文書再表示処理装置、構造化文書再表示処理方法、構造化文書再表示処理プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181206

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200312

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20200312

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20200312

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200331

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200413

R150 Certificate of patent or registration of utility model

Ref document number: 6699730

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150