WO2017203659A1 - 描画タイミング制御装置 - Google Patents

描画タイミング制御装置 Download PDF

Info

Publication number
WO2017203659A1
WO2017203659A1 PCT/JP2016/065601 JP2016065601W WO2017203659A1 WO 2017203659 A1 WO2017203659 A1 WO 2017203659A1 JP 2016065601 W JP2016065601 W JP 2016065601W WO 2017203659 A1 WO2017203659 A1 WO 2017203659A1
Authority
WO
WIPO (PCT)
Prior art keywords
graphic
management unit
graphic element
loading
unit
Prior art date
Application number
PCT/JP2016/065601
Other languages
English (en)
French (fr)
Inventor
康祐 中島
卓見 秋山
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2018518888A priority Critical patent/JP6388748B2/ja
Priority to PCT/JP2016/065601 priority patent/WO2017203659A1/ja
Publication of WO2017203659A1 publication Critical patent/WO2017203659A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Definitions

  • the present invention relates to a drawing timing control apparatus that controls the drawing timing of graphic elements arranged on a screen.
  • Flash Player registered trademark
  • a screen is drawn at certain time intervals according to a preset frame rate.
  • some graphic elements cannot be drawn at the drawing timing, there is a problem that a part of the drawing is lost contrary to the intention of the designer.
  • data necessary for drawing a certain graphic element is asynchronously loaded on a memory, the graphic element cannot be drawn.
  • Flash Player an image or video can be loaded onto a memory from an external storage device or another computer on a network and rendered on the screen. At this time, loading of data into the memory is executed asynchronously. That is, other processing (screen drawing) can be executed even if loading of data necessary for drawing graphic elements is not completed.
  • Asynchronous loading onto the memory is useful for maintaining the smoothness of screen drawing. This is because the frame rate can be maintained without stopping drawing on the screen even when loading into the memory takes a long time.
  • graphic elements images, videos, etc.
  • Asynchronous loading onto the memory is useful for maintaining the smoothness of screen drawing. This is because the frame rate can be maintained without stopping drawing on the screen even when loading into the memory takes a long time.
  • graphic elements images, videos, etc.
  • a component consisting of multiple graphic elements (user interface components such as buttons and sliders, or any group of elements that should be displayed at the same time) is placed on the screen, and in order to display some graphic elements of the component
  • graphic elements user interface components such as buttons and sliders, or any group of elements that should be displayed at the same time
  • This lack of display causes problems such as difficulty in understanding parts such as buttons and sliders, and difficulty in understanding the operation method.
  • Patent Document 1 assumes a system in which drawing is temporarily stopped until decoding of all graphic elements on the screen is completed. Even if loading up is not completed, it has been difficult to apply to a system in which drawing starts from a drawable graphic element.
  • the present invention has been made to solve such a problem, and an object of the present invention is to obtain a drawing timing control apparatus capable of displaying a plurality of graphic element groups to be displayed at the same time at the same timing.
  • the drawing timing control device includes a display list management unit that manages a graphic element to be drawn as a display list, and a graphic element that is registered when data necessary for drawing the graphic element is being loaded.
  • the in-load attribute is assigned to the loading element management unit that is unregistered when the process ends and the graphic element registered in the loading element management unit, and the graphic element to be drawn overlaps with other graphic elements. If there are other graphic elements registered in the loading element management unit, a standby element designating unit that makes the graphic element to be rendered invisible, and a graphic element that has no invisible attribute at the set time interval And a drawing unit for drawing.
  • the drawing timing control device when a graphic element to be drawn overlaps with another graphic element and the other graphic element is being loaded into the memory, the graphic element to be drawn is set to an invisible attribute. It is a thing. Thereby, a plurality of graphic element groups to be displayed at the same time can be displayed at the same timing.
  • FIG. 1 It is a block diagram which shows the drawing timing control apparatus of Embodiment 1 of this invention. It is a hardware block diagram of the drawing timing control apparatus of Embodiment 1 of this invention. It is explanatory drawing which shows the display tree of the drawing timing control apparatus of Embodiment 2 of this invention.
  • FIG. 1 is a configuration diagram of a drawing timing control apparatus according to this embodiment.
  • the drawing timing control apparatus according to the present embodiment includes a graphic element 1, a display list 2, a memory 3, an asynchronous load execution unit 4, a drawing data 5, a display list management unit 6, and a loading element management unit 7 as shown in the figure.
  • a display device 12 is connected to the drawing unit 11.
  • the graphic element 1 is information of a display unit such as text and an image displayed on the screen, and holds attributes indicating its own visibility, coordinates on the screen, and size on the screen. These graphic elements 1 are managed as a display list 2.
  • the display list 2 is graphic information in which drawing command information is collected for each graphic element 1.
  • the memory 3 is a storage unit into which the drawing data 5 for the graphic element 1 is loaded.
  • the asynchronous load execution unit 4 is a processing unit for asynchronously loading the drawing data 5 which is data necessary for drawing the graphic element 1 into the memory 3.
  • the drawing data 5 is various data such as an image, video or text for drawing the graphic element 1.
  • the display list management unit 6 is a processing unit that manages the graphic element 1 as the display list 2, and performs the following processing according to changes in the display list 2. That is, when the graphic element 1 is newly added to the display list 2, the information is registered in the new element management unit 9. In addition, when drawing data 5 necessary for drawing the graphic element 1 newly added to the display list 2 is being asynchronously loaded by the asynchronous load execution unit 4, information on the graphic element 1 is managed during loading. Register also in part 7. Further, when the graphic element 1 is deleted from the display list 2, the graphic element 1 is deleted from the loading element management unit 7 to the new element management unit 9 in which the graphic element 1 is registered.
  • the loading element management unit 7 registers the graphic element 1 when the drawing data 5 of any graphic element 1 is being loaded into the memory 3 by the asynchronous load execution unit 4, and the graphic element 1 drawing data 5 is a management unit that cancels registration when the loading of No. 5 is completed.
  • the waiting element management unit 8 is a processing unit for managing the graphic element 1 whose drawing is waiting.
  • the new element management unit 9 is a processing unit for managing information on a graphic element 1 when a new graphic element 1 is registered.
  • the standby element designation unit 10 gives an invisible attribute to the graphic element 1 registered in the loading element management unit 7, and the graphic element 1 drawn by the drawing unit 11 overlaps with another graphic element 1. In addition, when the graphic element 1 that overlaps is registered in the loading element management unit 7, the graphic element 1 is registered in the waiting element management unit 8 as an invisible attribute.
  • the drawing unit 11 is an application runtime that operates at a predetermined time interval, draws the graphic elements 1 having no invisible attribute among the graphic elements 1 in a predetermined overlapping order, and displays them on the screen of the display device 12.
  • FIG. 2 is a hardware configuration diagram of the drawing timing control device.
  • the illustrated drawing timing control apparatus includes a CPU 101, a memory 3, an input / output interface 102, a storage 103, and a bus 104.
  • programs corresponding to the functions of the asynchronous load execution unit 4 to the drawing unit 11 in FIG. The CPU 101 reads out these programs from the storage 103, loads them on the memory 3, and executes them, thereby realizing the functions of the asynchronous load execution unit 4 to the drawing unit 11.
  • the input / output interface 102 is an input / output interface with an external device, and is connected to the display device 12 shown in FIG.
  • the storage 103 is an auxiliary storage device formed of, for example, a hard disk device, and stores program data corresponding to the asynchronous load execution unit 4 to the drawing unit 11 and also stores drawing data 5.
  • the bus 104 is a bus for connecting the CPU 101, the memory 3, the input / output interface 102, and the storage 103 to each other. Note that at least any one of the asynchronous load execution unit 4 to the drawing unit 11 in FIG. 1 may be configured by dedicated hardware.
  • the point of the operation of the first embodiment is to wait for the graphic element 1 that can be drawn immediately without drawing until the graphic element 1 waiting for the loading of the drawing data 5 can be drawn. At that time, from the relationship between the graphic elements 1, a group to be drawn at the same time is automatically detected, and the graphic element 1 to be drawn is automatically selected.
  • the drawing unit 11 periodically draws the screen of the display device 12 according to a predetermined time interval, for example, a frame rate.
  • a predetermined time interval for example, a frame rate.
  • Each frame is divided into an execution part that executes various arithmetic processes and a rendering part that outputs a screen based on the state (attribute values such as visibility and layout information) of the graphic element 1 included in the display list 2.
  • the display list management unit 6 to the standby element designation unit 10 are execution parts, and the drawing unit 11 is a rendering part.
  • the processing flow in a certain frame is shown below.
  • the display list management unit 6 monitors the change of the display list 2 and detects that the graphic element 1 such as text or image is newly added or deleted.
  • the detected graphic element 1 is registered in an appropriate management unit among the loading element management unit 7 to the new element management unit 9.
  • the loading element management unit 7 monitors the elements of the graphic elements 1 included in the display list 2 that have not been loaded with data necessary for drawing, and registers the graphic elements 1 when the loading is completed. To release.
  • the new element management unit 9 registers information on the graphic element 1 newly added to the display list 2 in the current frame among the graphic elements 1 included in the display list 2.
  • the waiting element management unit 8 monitors a graphic element 1 designated not to be drawn in a series of processes described below among the graphic elements 1 included in the display list 2, and invisible to the graphic element 1.
  • the registration is released (not only those added in the current frame but also those added in the past are included as the graphic element 1 to be monitored).
  • the display list management unit 6 registers the graphic element 1 newly added to the display list 2 in the new element management unit 9. Further, when data necessary for drawing the graphic element 1 newly added to the display list 2 is being asynchronously loaded, the graphic element 1 is also registered in the loading element management unit 7. At this time, whether or not the asynchronous loading is in progress may be confirmed by inquiring the graphic element 1, for example.
  • the display list management unit 6 displays the graphic element 1 from the loading element management unit 7, the new element management unit 9, and the waiting element management unit. Delete from 8.
  • the loading element management unit 7 cancels the registration of the graphic element 1.
  • the standby element designation unit 10 searches for elements that should not be rendered in this frame, and sets their visibility to “invisible”. That is, the waiting element specifying unit 10 overlaps the graphic element 1 included in the loading element management unit 7 from the graphic elements 1 registered in the new element management unit 9 and the waiting element management unit 8 in terms of layout.
  • the graphic elements 1 are searched sequentially. This is intended to prevent UI components composed of a plurality of graphic elements 1 such as a background image and text such as buttons and sliders from being drawn apart across different frames. .
  • the layout overlap detection For example, the following method using the coordinate attribute and size attribute of each graphic element 1 may be used. All the graphic elements 1 have the area on the screen area occupied by the graphic element 1 as a rectangular bounding box, the upper left coordinate of the rectangle is the coordinate attribute (X, Y), the horizontal width and the vertical width are the size attributes (W, H). If any one of the following four conditions is satisfied, it is determined that the element B does not overlap the element A being loaded, that is, the element B may be immediately drawn in the frame.
  • X A and Y A are the upper left coordinates of element A
  • X B and Y B are the upper left coordinates of element B
  • W A and HA are the horizontal width and vertical width of element A
  • W B and H B are the horizontal width of element B And height.
  • the standby element designating unit 10 sets the visible attribute of the newly added element or the drawing standby element to “invisible”. Then, the waiting element specifying unit 10 registers the graphic element 1 in the waiting element management unit 8. As a result, all elements that are determined not to be drawn, that is, elements that overlap with the loaded element are registered in the waiting element management unit 8.
  • the new element management unit 9 discards all the registered graphic element 1 information. That is, the new element management unit 9 is reset. This is because an element that is not registered in the waiting element management unit 8, that is, an element that does not overlap with the element being loaded does not need to be subjected to the invisible determination after the next frame.
  • the loading element management unit 7 and the waiting element management unit 8 do not reset each frame but take over the frames. That is, if the graphic element 1 is registered in the loading element management unit 7, the loading of the corresponding drawing data 5 is completed or the loading graphic element 1 is deleted from the display list 2 until loading. It remains registered in the element management unit 7. This means that even if the graphic element 1 added in the subsequent frame overlaps with the graphic element 1 being loaded, drawing can be made to wait. This is necessary to keep the intended display order.
  • the drawing unit 11 executes the rendering part and outputs the screen. At this time, the drawing unit 11 draws the graphic elements 1 in the display list 2 in a predetermined order. When the visual attribute of the graphic element 1 is “invisible”, the element is not drawn. As a result, when there is a graphic element 1 that cannot be displayed during loading, the graphic element 1 that overlaps the graphic element 1 is not drawn. This makes it possible to match the drawing timing.
  • the first embodiment is configured as described above, the following effects are obtained. That is, it is often the case that a single component on the screen is configured by combining a plurality of graphic elements, including UI components such as buttons and sliders. At this time, if there is a graphic element that requires loading of data necessary for drawing in a certain part, only the drawing timing of the graphic element is delayed, for example, the background image included in the button is delayed. And only text will be drawn first. From the viewpoint of the user, since the appearance of the background image is not a button, the displayed text appears to be a simple text label for a moment or for a few seconds, and cannot be recognized as a button. This is a problem that impairs usability.
  • the drawing of the component of the same part is kept waiting until the graphic element that asynchronously loads the data necessary for drawing can be drawn. be able to.
  • a single unit such as a UI component can be simultaneously drawn, for example, in the same frame. Focusing on each element slows down the drawing timing, but prevents multiple graphic elements on the screen from being drawn at different timings, and UI components appear as a single unit. An easy-to-understand user interface is realized.
  • the display list management unit that manages the graphic elements to be drawn as a display list and the data necessary for drawing the graphic elements are being loaded.
  • the graphic element is registered, and when loading is completed, the loading element management unit that is deregistered and the graphic element registered in the loading element management unit are provided with an invisible attribute and drawn. If the graphic element overlaps with another graphic element, and the other graphic element is registered in the loading element management unit, the standby element specification unit that sets the graphic element to be rendered invisible, and the set time interval And a drawing unit for drawing graphic elements having no invisible attribute. It can be displayed a plurality of graphic element group to be simultaneously displayed at the same timing.
  • Embodiment 2 a collection of parts such as buttons and sliders is extracted using layout information. As a result, the graphic elements included in the component are drawn at the same timing.
  • a group of UI parts such as buttons and sliders is extracted based on the inclusion relationship between elements included in the display list, instead of layout information.
  • FIG. 3 is an explanatory diagram showing an example of a display tree.
  • graphic elements are managed as a tree structure.
  • This tree structure is called a display tree or content tree.
  • FIG. 3 an element indicating the entire screen (the entire document) is arranged at the top, and a graphic structure included therein is connected to the hierarchical structure. That is, the structure of the display list 2 shown in FIG. 1 has a tree structure as shown in FIG.
  • each node represents one graphic element 1 and each edge represents an inclusion relationship between the nodes.
  • a tree is derived from a single ancestor node.
  • Each graphic element 1 has, for example, only one parent element, and the parent element may have any number of child elements.
  • the subtree 302 is defined as the smallest subtree that includes all the loaded elements 301 that are loaded with data necessary for rendering.
  • the standby element specifying unit 10 gives an invisible attribute to the graphic element 1 registered in the loading element management unit 7, and among the graphic elements 1 to be drawn,
  • the graphic element included in the smallest subtree including the graphic element registered in the loading element management unit 7 is configured to have an invisible attribute. Since other configurations are the same as those of the first embodiment, description thereof is omitted here.
  • the standby element designation unit 10 searches for elements that should not be rendered in this frame, and sets their visibility to “invisible”.
  • the standby element designation unit 10 waits for drawing using the tree structure of the display list 2 from the graphic elements 1 that are referred to by the new element management unit 9 and the standby element management unit 8. Extract the elements that should be done. That is, also in the second embodiment, a UI component composed of a plurality of graphic elements such as a background image and text, such as buttons and sliders, is prevented from being drawn separately across different frames. Is intended.
  • the standby element designating unit 10 looks at the entire display tree shown in FIG. 3 and extracts the minimum subtree 302 including all the elements 301 registered in the loading element management unit 7 in this frame.
  • the standby element designation unit 10 sets the visibility attribute of the new element 303 included in the subtree 302 to “invisible”.
  • the new element 303 is a graphic element 1 registered in the new element management unit 9, that is, an element newly registered in the display tree in this frame.
  • the graphic element 1 set to “invisible” is registered in the waiting element management unit 8.
  • the new element management unit 9 discards all the registered graphic element 1 information. That is, the new element management unit 9 is reset. This is because an element that is not registered in the waiting element management unit 8, that is, an element that does not overlap with the element being loaded does not need to be subjected to the invisibility determination after the next frame.
  • the loading element management unit 7 and the waiting element management unit 8 do not reset each frame but take over the frames. Until the loading of the corresponding drawing data 5 is completed or the graphic element 1 being loaded is deleted from the display list 2, the graphic element for which data necessary for drawing is loaded is loaded into the loaded element management unit 7. It remains registered. This means that even if the graphic element 1 added in the subsequent frame overlaps with the graphic element 1 being loaded, drawing can be made to wait. This is necessary to keep the intended display order. Since the screen output by the drawing unit 11 is the same as that of the first embodiment, the description thereof is omitted here.
  • the second embodiment has the following effects because it is configured as described above. That is, the same effect as in the first embodiment can be executed without layout information.
  • Layout information such as the size of each graphic element 1 may not be determined until data necessary for drawing is loaded. For example, when an image is downloaded from a website and displayed on a screen, it is difficult to know the size of the image in advance. In the case where the size of the image is not clear until the loading is completed and the size is not designated in advance in the graphic element, the overlap is determined based on the layout information in the first embodiment without the size information. There is also a possibility that a group of parts cannot be extracted properly. On the other hand, according to the second embodiment, since a group of parts is detected not only based on the size but only by the inclusion relationship of the elements, the group of parts can be appropriately extracted even when the size is determined later.
  • the display list management unit that manages the graphic elements to be drawn as the display list indicating the inclusion relation on the tree configured in a hierarchical structure.
  • the graphic element is registered when data necessary for drawing graphic elements is being loaded, and is registered in the loading element management unit that is unregistered when loading is completed, and registered in the loading element management unit.
  • Invisible attributes are assigned to graphic elements that are drawn, and among the graphic elements to be drawn, the graphic elements included in the smallest subtree including the graphic elements registered in the loading element management unit in the tree are defined as invisible attributes.
  • the invisible attribute at the set time interval Since a drawing unit for drawing a graphic element, which has the same effect as in the first embodiment, this effect can be obtained without requiring the layout information of the graphic elements on the screen.
  • the drawing timing control apparatus relates to a configuration for controlling the drawing timing of graphic elements arranged on a screen, and draws graphic elements such as images and videos on a plurality of screens. Suitable for use in.

Abstract

グラフィック要素（１）の描画に必要なデータがメモリ（３）へのロード中である場合はロード中要素管理部（７）に登録する。待機要素指定部（１０）は、描画するグラフィック要素（１）が他のグラフィック要素（１）に重なっており、かつ他のグラフィック要素（１）がロード中要素管理部（７）に登録されていた場合は描画するグラフィック要素（１）を不可視属性とする。描画部１１は、不可視属性を持たないグラフィック要素（１）を描画する。

Description

描画タイミング制御装置
　本発明は、画面上に配置されるグラフィック要素の描画タイミングの制御を行う描画タイミング制御装置に関するものである。
　従来、グラフィック要素の描画タイミングを制御する技術として、グラフィック要素のデコードを待つために描画が遅延してしまうことを防ぐ技術があった（例えば、特許文献１参照）。すなわち、画面に描画する必要のあるグラフィック要素の中に、エンコードされた画像や映像などのデータがあり、こうしたデータがデコード中である場合、画面描画がデコードを待ってしまうため、描画間隔があいてしまう問題がある。これを防ぐために、デコード中のグラフィック要素の描画順序を後回しにする手段を利用し、デコードが完了している要素から先行して描画することを可能にしていた。
特開２００９－３３７０号公報
　一般に、Ｆｌａｓｈ　Ｐｌａｙｅｒ（登録商標）を初めとするいくつかのアプリケーションランタイムでは、予め設定されたフレームレートに従って、ある時間間隔で画面が描画される。こうしたランタイムでは、描画タイミングにおいて、一部のグラフィック要素が描画できない状況にあると、設計者の意図には反して描画が一部欠けてしまう問題が生じうる。具体的には、あるグラフィック要素の描画に必要なデータを、非同期的にメモリ上にロードしている場合、そのグラフィック要素を描画することができない、という問題である。
　Ｆｌａｓｈ　Ｐｌａｙｅｒでは、画像や映像を外部記憶装置やネットワーク上の別のコンピュータからメモリ上にロードしてきて、これを画面に描画することができる。このとき、データのメモリへのロードは非同期で実行される。つまり、グラフィック要素の描画に必要なデータのロードが完了していなくても、他の処理（画面の描画）を実行できるようになっている。
　非同期でのメモリ上へのロードは、画面描画の滑らかさを保つためには有用である。メモリへのロードが長時間に及ぶ場合でも、画面の描画を停止させることなく、フレームレートを保てるからである。
　しかしながら、非同期でのメモリ上へのロードでは、非同期ロード中のグラフィック要素（画像や映像など）が表示できないため、ロードが完了するまでの間、画面の一部が欠けて表示されてしまうという問題がある。すなわち、本来は同時に表示すべき複数のグラフィック要素が、こうした表示の欠損により、バラバラなタイミングで表示されてしまう問題があった。
　例えば、複数のグラフィック要素からなる部品（ボタンやスライダなどのユーザインタフェース部品、あるいは、同時に表示すべきあらゆる要素群）が画面に配置されており、その部品の一部のグラフィック要素を表示するために非同期に画像をメモリへロードしているとする。ロードが完了するまでに描画タイミングが訪れると、ランタイムはロード中のグラフィック要素の描画はスキップして、それ以外の要素を画面に表示してしまう。すると、本来は一体的に表示されるべき部品が、一部欠損した状態で描画されてしまう。描画がスキップされた要素は、非同期ロードが完了したタイミングでようやく描画される。
　この表示の欠損は、ボタンやスライダなどの部品であることが理解しにくくなったり、操作方法が伝わらなくなったりする問題を引き起こす。
　このような問題に対して、例えば、上記特許文献１に記載されたような技術では、画面上の全てのグラフィック要素のデコードが終わるまで、描画が一時的に停止するシステムを前提としており、メモリ上へのロードが完了しなくても、描画可能なグラフィック要素から描画が始まるようなシステムには適用は困難であった。
　この発明は、かかる問題を解決するためになされたもので、同時に表示すべき複数のグラフィック要素群を、同じタイミングで表示させることのできる描画タイミング制御装置を得ることを目的とする。
　この発明に係る描画タイミング制御装置は、描画対象となるグラフィック要素をディスプレイリストとして管理するディスプレイリスト管理部と、グラフィック要素の描画に必要なデータがロード中である場合にグラフィック要素が登録され、ロードが終了した場合に登録が解除されるロード中要素管理部と、ロード中要素管理部に登録されているグラフィック要素に対して不可視属性を付与すると共に、描画するグラフィック要素が他のグラフィック要素に重なっており、かつ他のグラフィック要素がロード中要素管理部に登録されていた場合は描画するグラフィック要素を不可視属性とする待機要素指定部と、設定された時間間隔で、不可視属性を持たないグラフィック要素を描画する描画部とを備えたものである。
　この発明に係る描画タイミング制御装置は、描画するグラフィック要素が他のグラフィック要素に重なっており、かつ他のグラフィック要素がメモリへのロード中であった場合は描画するグラフィック要素を不可視属性とするようにしたものである。これにより、同時に表示すべき複数のグラフィック要素群を、同じタイミングで表示させることができる。
この発明の実施の形態１の描画タイミング制御装置を示す構成図である。 この発明の実施の形態１の描画タイミング制御装置のハードウェア構成図である。 この発明の実施の形態２の描画タイミング制御装置のディスプレイツリーを示す説明図である。
　以下、この発明をより詳細に説明するために、この発明を実施するための形態について、添付の図面に従って説明する。
実施の形態１．
　図１は、本実施の形態による描画タイミング制御装置の構成図である。
　本実施の形態による描画タイミング制御装置は、図示のように、グラフィック要素１、ディスプレイリスト２、メモリ３、非同期ロード実行部４、描画用データ５、ディスプレイリスト管理部６、ロード中要素管理部７、待機中要素管理部８、新規要素管理部９、待機要素指定部１０、描画部１１を備える。また、描画部１１には表示装置１２が接続されている。
　グラフィック要素１は、画面上に表示されるテキストや画像といった表示単位の情報であり、自身の可視性、画面上での座標、画面上でのサイズを示す属性を保持しているものとする。これらのグラフィック要素１はディスプレイリスト２として管理される。なお、ディスプレイリスト２とは、グラフィック要素１毎に描画コマンドの情報をまとめた図形情報である。メモリ３は、グラフィック要素１の描画用データ５がロードされる記憶部である。非同期ロード実行部４は、グラフィック要素１の描画に必要なデータである描画用データ５を非同期にメモリ３にロードするための処理部である。描画用データ５は、グラフィック要素１を描画するための画像または映像あるいはテキストといった各種のデータである。
　ディスプレイリスト管理部６は、グラフィック要素１をディスプレイリスト２として管理する処理部であり、ディスプレイリスト２の変化に応じて次のような処理を行う。すなわち、グラフィック要素１が新たにディスプレイリスト２に追加された場合は、その情報を新規要素管理部９に登録する。また、新たにディスプレイリスト２に追加されたグラフィック要素１の描画に必要な描画用データ５が非同期ロード実行部４によって非同期ロード中である場合には、そのグラフィック要素１の情報をロード中要素管理部７にも登録する。さらに、ディスプレイリスト２からグラフィック要素１が削除された場合には、そのグラフィック要素１が登録されているロード中要素管理部７～新規要素管理部９から削除する。
　ロード中要素管理部７は、いずれかのグラフィック要素１の描画用データ５が非同期ロード実行部４によってメモリ３にロード中である場合にそのグラフィック要素１が登録され、グラフィック要素１の描画用データ５のロードが終了した場合に登録を解除する管理部である。待機中要素管理部８は、描画が待機中であるグラフィック要素１を管理するための処理部である。新規要素管理部９は、新たにグラフィック要素１が登録された場合にそのグラフィック要素１の情報を管理するための処理部である。待機要素指定部１０は、ロード中要素管理部７に登録されているグラフィック要素１に対して不可視属性を付与すると共に、描画部１１によって描画されるグラフィック要素１が他のグラフィック要素１に重なっており、かつ重なるグラフィック要素１がロード中要素管理部７で登録されていた場合にそのグラフィック要素１を不可視属性として待機中要素管理部８に登録する処理部である。
　描画部１１は、所定の時間間隔で動作するアプリケーションランタイムであり、グラフィック要素１のうち、不可視属性を持たないグラフィック要素１を所定の重なり順で描画し、表示装置１２の画面に表示する。
　図２は、描画タイミング制御装置のハードウェア構成図である。図示の描画タイミング制御装置は、ＣＰＵ１０１、メモリ３、入出力インタフェース１０２、ストレージ１０３、バス１０４を備える。このような構成において、図１の非同期ロード実行部４～描画部１１の機能にそれぞれ対応したプログラムがストレージ１０３に格納されている。ＣＰＵ１０１は、これらのプログラムをストレージ１０３から読み出してメモリ３上にロードして実行することで、非同期ロード実行部４～描画部１１のそれぞれの機能を実現する。入出力インタフェース１０２は、外部装置との入出力のインタフェースであり、図１に示した表示装置１２が接続される。また、ストレージ１０３は、例えばハードディスク装置からなる補助記憶装置であり、非同期ロード実行部４～描画部１１に対応したプログラムデータを格納すると共に描画用データ５を格納する。バス１０４は、ＣＰＵ１０１、メモリ３、入出力インタフェース１０２及びストレージ１０３をそれぞれ相互に接続するためのバスである。なお、図１における非同期ロード実行部４～描画部１１の少なくともいずれかの処理部を専用のハードウェアで構成してもよい。
　次に、実施の形態１の描画タイミング制御装置の動作について説明する。
　実施の形態１の動作のポイントは、描画用データ５のロードを待っているグラフィック要素１が描画できるようになるまで、即座に描画できるグラフィック要素１を描画しないように待たせることである。また、そのとき各グラフィック要素１の関係性から、同時に描画すべきまとまりを自動的に検出し、描画を待たせるべきグラフィック要素１を自動的に選択する。
　描画部１１は、所定の時間間隔、例えばフレームレートに従って、定期的に表示装置１２の画面を描画する。
　各フレームは、各種の演算処理を実行する実行パートと、ディスプレイリスト２に含まれているグラフィック要素１の状態（可視性、レイアウト情報などの属性値）に基づいて画面を出力するレンダリングパートに分かれるものとする。図１に示す構成では、ディスプレイリスト管理部６～待機要素指定部１０が実行パートであり、描画部１１がレンダリングパートである。以下、あるフレームでの処理の流れを示す。
　実行パートの間中、ディスプレイリスト管理部６は、ディスプレイリスト２の変更を監視し、テキストや画像などのグラフィック要素１が新たに追加されたり削除されたりしたことを検出する。
　そして、検出されたグラフィック要素１は、ロード中要素管理部７～新規要素管理部９のうち、適切な管理部に登録される。ロード中要素管理部７は、ディスプレイリスト２に含まれるグラフィック要素１のうち、描画に必要なデータのロードが完了していない要素を監視し、ロードが完了した場合にそのグラフィック要素１の登録を解除する。新規要素管理部９は、ディスプレイリスト２に含まれるグラフィック要素１のうち、現在のフレームで新たにディスプレイリスト２に追加されたグラフィック要素１の情報を登録する。待機中要素管理部８は、ディスプレイリスト２に含まれるグラフィック要素１のうち、以下に述べる一連の処理の中で描画されないように指定されたグラフィック要素１を監視し、そのグラフィック要素１への不可視属性が解除された場合にその登録を解除する（現在のフレームで追加されたものだけでなく、過去に追加されたものも監視対象のグラフィック要素１として含む）。
　ディスプレイリスト管理部６は、新たにディスプレイリスト２に追加されたグラフィック要素１を、新規要素管理部９に登録する。また、新たにディスプレイリスト２に追加されたグラフィック要素１の描画に必要なデータが非同期ロード中である場合には、そのグラフィック要素１をロード中要素管理部７にも登録する。このとき、非同期ロード中であるかどうかは、例えば、そのグラフィック要素１に問い合わせて確認すればよい。
　ディスプレイリスト管理部６は、グラフィック要素１がディスプレイリスト２から削除された場合には、そのグラフィック要素１を、ロード中要素管理部７からも、新規要素管理部９からも、待機中要素管理部８からも削除する。
　グラフィック要素１の描画に必要なデータのロードが完了したとき、ロード中要素管理部７は、そのグラフィック要素１の登録を解除する。
　実行パートの最後に、すなわちレンダリングパートの直前に、以下の一連の処理を実行する。
　待機要素指定部１０は、このフレームで描画すべきでない要素を探索し、それらの可視性を「不可視」にセットしていく。すなわち、待機要素指定部１０は、新規要素管理部９及び待機中要素管理部８に登録されているグラフィック要素１の中から、ロード中要素管理部７に含まれるグラフィック要素１とレイアウト的に重なっているグラフィック要素１を、順次探索する。これは、ボタンやスライダのように、背景画像やテキストなどの複数のグラフィック要素１からなるＵＩ部品について、その構成要素が異なるフレームにまたがってバラバラと描画されることを防ぐことを意図している。
　レイアウト的な重なりの検出には、いくかの方法が考えられるが、例えば、各グラフィック要素１が持っている座標属性とサイズ属性を利用した次のような方法でもよい。
　全てのグラフィック要素１は、自身が占める画面領域上の広さを、長方形のバウンディングボックスとして持ち、その長方形の左上座標を座標属性（Ｘ，Ｙ）として、横幅、縦幅をサイズ属性（Ｗ，Ｈ）として保持するものとする。
　次の四つの条件のいずれか一つが満たされる場合、要素Ｂは、ロード中の要素Ａに重なっていない、すなわち、要素Ｂは、そのフレームで即時描画してよいと判定する。なお、ＸＡ，ＹＡは要素Ａの左上座標、ＸＢ，ＹＢは要素Ｂの左上座標、ＷＡ，ＨＡは要素Ａの横幅と縦幅、ＷＢ，ＨＢは要素Ｂの横幅と縦幅である。
（ｉ）　　ＸＢ＋ＷＢ＜ＸＡ
（ｉｉ）　ＸＡ＋ＷＡ＜ＸＢ
（ｉｉｉ）ＹＢ＋ＨＢ＜ＹＡ
（ｉｖ）　ＹＡ＋HＡ＜ＹＢ
　この探索において、ある新規要素管理部９に登録されているグラフィック要素１または待機中要素管理部８から参照されるグラフィック要素１が、少なくとも一つのロード中要素と重なっていることが分かった時点で、待機要素指定部１０は、その新規追加要素または描画待機中要素の可視属性を「不可視」にセットする。そして、待機要素指定部１０は、待機中要素管理部８に、そのグラフィック要素１を登録する。
　結果として、描画すべきでないと判定された全ての要素、すなわちロード中要素と重なる要素は、待機中要素管理部８に登録されることになる。
　その後、新規要素管理部９は、登録されていたグラフィック要素１の情報を全て破棄する。すなわち、新規要素管理部９をリセットする。待機中要素管理部８に登録されなかった要素、すなわちロード中の要素と重なっていなかった要素は、次のフレーム以降、上記の不可視判定を受けなくてよいからである。
　なお、ロード中要素管理部７や待機中要素管理部８は、各フレームでリセットせず、フレームをまたいで引き継ぐ。つまり、ロード中要素管理部７に登録されたグラフィック要素１であれば、対応する描画用データ５のロードが完了するか、ロード中のグラフィック要素１がディスプレイリスト２から削除されるまで、ロード中要素管理部７に登録されたままになる。このことは、以後のフレームで追加されたグラフィック要素１でも、ロード中のグラフィック要素１に重なっていた場合、描画を待機させられるようになる。このことは、意図した表示順序を守るために必要である。
　フレームの最後に、描画部１１は、レンダリングパートを実行し、画面を出力する。このとき、描画部１１は、ディスプレイリスト２内のグラフィック要素１を、所定の順序で描画していく。グラフィック要素１の可視属性が「不可視」である場合には、その要素を描画しない。これによって、ロード中で表示できないグラフィック要素１がある場合に、それと重なるグラフィック要素１は、描画されないようになる。これにより、描画タイミングを一致させることが可能となる。
　実施の形態１では以上のように構成されているため、次のような効果がある。すなわち、ボタンやスライダのようなＵＩ部品を始めとして、複数のグラフィック要素を組み合わせて画面上の一つの部品を構成する場合はよくある。このとき、ある部品のなかに、描画に必要なデータのロードを要求するグラフィック要素があった場合、そのグラフィック要素の描画タイミングだけが遅れてしまい、例えば、ボタンの中に含まれる背景画像が遅れてしまい、テキストだけが先に描画されるようなことが起きる。ユーザから見ると、背景画像のボタンらしい外観がないために、表示されたテキストは一瞬あるいは数秒単なるテキストラベルであるように見え、ボタンであるとは認識できない。これはユーザビリティを損ねる問題である。
　このような問題に対し、実施の形態１の構成であれば、描画に必要なデータを非同期ロードしているグラフィック要素が描画できるようになるまで、同じ部品の構成要素の描画を待たせておくことができる。これによって、ＵＩ部品のような一つのまとまりを、同時に、例えば同じフレームで描画できるようになる。一つ一つの要素に着目すれば、描画のタイミングを遅くすることになるが、画面上の複数のグラフィック要素がばらばらのタイミングで描画されてしまうことを防ぎ、ＵＩ部品が一つのまとまりとして出現する、分かりやすいユーザインタフェースが実現する。
　しかも、上記の構成においては、どのグラフィック要素とどのグラフィック要素が、一つのまとまりであるかを予め入力しておく必要がない。単に、レイアウト情報だけに基づいて重なりを見ることで、同時に描画すべき要素を自動的に判定している。
　以上説明したように、実施の形態１の描画タイミング制御装置によれば、描画対象となるグラフィック要素をディスプレイリストとして管理するディスプレイリスト管理部と、グラフィック要素の描画に必要なデータがロード中である場合にグラフィック要素が登録され、ロードが終了した場合に登録が解除されるロード中要素管理部と、ロード中要素管理部に登録されているグラフィック要素に対して不可視属性を付与すると共に、描画するグラフィック要素が他のグラフィック要素に重なっており、かつ他のグラフィック要素がロード中要素管理部に登録されていた場合は描画するグラフィック要素を不可視属性とする待機要素指定部と、設定された時間間隔で、不可視属性を持たないグラフィック要素を描画する描画部とを備えたので、同時に表示すべき複数のグラフィック要素群を、同じタイミングで表示させることができる。
実施の形態２．
　上記実施の形態１では、レイアウト情報を利用して、ボタンやスライダなどの部品のまとまりを抽出していた。これによって、部品に含まれるグラフィック要素が同じタイミングで描画されるようになっていた。これに対し、実施の形態２では、レイアウト情報ではなく、ディスプレイリスト内に含まれる要素間の包含関係に基づいて、ボタンやスライダなどのＵＩ部品のまとまりを抽出する。ここで、描画タイミング制御装置としての図面上の構成は図１に示した実施の形態１と同様であるため、図１を用いて実施の形態２の構成を説明する。
　実施の形態２では、実施の形態１のようなレイアウト情報に基づく表示タイミング制御ではなく、ディスプレイリスト２の階層構造に基づく表示タイミングの制御を行う。具体的にはディスプレイツリーを利用して部品のまとまりを抽出する。図３はディスプレイツリーの一例を示す説明図である。
　Ｆｌａｓｈ　Ｐｌａｙｅｒや多くのウェブブラウザなどのアプリケーションランタイムでは、グラフィック要素をツリー構造として管理している。このツリー構造は、ディスプレイツリーやコンテンツツリーなどと呼ばれる。こうしたツリー構造では、図３に示すように、最上位に画面全域（文書全体）を示す要素が配置され、そこに含まれるグラフィック要素がそれに連なった階層構造となっている。
　すなわち、図１に示すディスプレイリスト２の構成として図３に示すようなツリー構造をなしており、グラフィック要素１間の包含関係が明確なものである。
　このツリー構造において、各ノードは一つのグラフィック要素１を示し、各エッジはノード間の包含関係を示す。ツリーは単一の先祖ノードから派生する構成とする。各グラフィック要素１は、例えば唯一の親要素をもち、親要素は任意の数の子要素を持ってよい。サブツリー３０２は、描画に必要なデータをロードしているロード中の要素３０１を全て含む最小のサブツリーとして定義されるものとする。
　このような構成において、実施の形態２の待機要素指定部１０は、ロード中要素管理部７に登録されているグラフィック要素１に対して不可視属性を付与すると共に、描画するグラフィック要素１のうち、ロード中要素管理部７に登録されているグラフィック要素を含む最小のサブツリー内に含まれるグラフィック要素を不可視属性とするよう構成されている。その他の構成は実施の形態１と同様であるため、ここでの説明は省略する。
　次に、実施の形態２の描画タイミング制御装置の動作について説明する。
　実行パートのディスプレイリスト管理部６～新規要素管理部９の動作については実施の形態１と同様であるため、ここでの説明は省略する。
　実行パートの最後に、すなわちレンダリングパートの直前に以下の一連の処理を実行する。
　待機要素指定部１０は、このフレームで描画すべきでない要素を探索し、それらの可視性を「不可視」にセットしていく。実施の形態２では、待機要素指定部１０は、新規要素管理部９及び待機中要素管理部８から参照されているグラフィック要素１の中から、ディスプレイリスト２のツリー構造を利用して描画を待機すべき要素を抽出する。すなわち、実施の形態２においても、ボタンやスライダのように、背景画像やテキストなどの複数のグラフィック要素からなるＵＩ部品について、その構成要素が異なるフレームにまたがってバラバラと描画されることを防ぐことを意図している。
　まず、待機要素指定部１０は、図３に示すディスプレイツリー全体を見て、このフレームでロード中要素管理部７に登録されている要素３０１を全て含む、最小のサブツリー３０２を抽出する。待機要素指定部１０は、サブツリー３０２に含まれる新規要素３０３の可視属性を「不可視」にセットする。ここで新規要素３０３とは、新規要素管理部９に登録されるグラフィック要素１、すなわち、このフレームに新たにディスプレイツリーに登録された要素である。そして、このときに「不可視」にセットしたグラフィック要素１を待機中要素管理部８に登録する。
　その後、新規要素管理部９は、登録されていたグラフィック要素１の情報を全て破棄する。すなわち、新規要素管理部９をリセットする。待機中要素管理部８に登録されなかった要素、すなわちロード中の要素と重なっていなかった要素は、次のフレーム以降、上記の不可視判定を受けなくてよいからである。
　なお、実施の形態２においても、ロード中要素管理部７や待機中要素管理部８は、各フレームでリセットせず、フレームをまたいで引き継ぐ。対応する描画用データ５のロードが完了するか、ロード中のグラフィック要素１がディスプレイリスト２から削除されるまで、描画に必要なデータがロード中であるグラフィック要素は、ロード中要素管理部７に登録されたままになる。このことは、以後のフレームで追加されたグラフィック要素１でも、ロード中のグラフィック要素１に重なっていた場合、描画を待機させられるようになる。このことは、意図した表示順序を守るために必要である。
　描画部１１による画面出力については実施の形態１と同様であるため、ここでの説明は省略する。
　実施の形態２では以上のように構成されているため次のような効果がある。すなわち、実施の形態１と同様の効果を、レイアウト情報なしで実行できる。各グラフィック要素１のサイズなどのレイアウト情報は、描画に必要なデータがロードされるまで決定されない場合がある。例えば、ウェブサイトから画像をダウンロードしてきて画面の表示するような場合、画像のサイズを予め知っておくことは難しい。ロードが完了するまで画像のサイズが明らかでなく、かつ、グラフィック要素にも予めサイズが指定されていない場合、実施の形態１では、サイズ情報がないまま、レイアウト情報に基づき重なりを判定していたため、適切に部品のまとまりを抽出できない恐れもある。これに対し、実施の形態２では、サイズに基づかず、要素の包含関係だけをみて、部品のまとまりを検出するため、サイズが後から決まるような場合でも、適切に部品のまとまりを抽出できる。
　以上説明したように、実施の形態２の描画タイミング制御装置によれば、描画対象となるグラフィック要素を、階層構造で構成されているツリー上の包含関係を示すディスプレイリストとして管理するディスプレイリスト管理部と、グラフィック要素の描画に必要なデータがロード中である場合にグラフィック要素が登録され、ロードが終了した場合に登録が解除されるロード中要素管理部と、ロード中要素管理部に登録されているグラフィック要素に対して不可視属性を付与すると共に、描画するグラフィック要素のうち、ツリーにおいて、ロード中要素管理部に登録されているグラフィック要素を含む最小のサブツリー内に含まれるグラフィック要素を不可視属性とする待機要素指定部と、設定された時間間隔で、不可視属性を持たないグラフィック要素を描画する描画部とを備えたので、実施の形態１と同様の効果を有すると共に、この効果を、画面上のグラフィック要素のレイアウト情報を必要とせずに得ることができる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　以上のように、この発明に係る描画タイミング制御装置は、画面上に配置されるグラフィック要素の描画タイミングを制御する構成に関するものであり、画像や映像などのグラフィック要素を複数画面に描画する描画装置に用いるのに適している。
　１　グラフィック要素、２　ディスプレイリスト、３　メモリ、４　非同期ロード実行部、５　描画用データ、６　ディスプレイリスト管理部、７　ロード中要素管理部、８　待機中要素管理部、９　新規要素管理部、１０　待機要素指定部、１１　描画部、１２　表示装置、１０１　ＣＰＵ、１０２　入出力インタフェース、１０３　ストレージ、１０４　バス、３０１　要素、３０２　サブツリー、３０３　新規要素。

Claims (2)

  1. 　描画対象となるグラフィック要素をディスプレイリストとして管理するディスプレイリスト管理部と、
    　前記グラフィック要素の描画に必要なデータがロード中である場合に当該グラフィック要素が登録され、ロードが終了した場合に当該登録が解除されるロード中要素管理部と、
    　前記ロード中要素管理部に登録されているグラフィック要素に対して不可視属性を付与すると共に、描画するグラフィック要素が他のグラフィック要素に重なっており、かつ当該他のグラフィック要素が前記ロード中要素管理部に登録されていた場合は前記描画するグラフィック要素を不可視属性とする待機要素指定部と、
    　設定された時間間隔で、前記不可視属性を持たないグラフィック要素を描画する描画部とを備えたことを特徴とする描画タイミング制御装置。
  2. 　描画対象となるグラフィック要素を、階層構造で構成されているツリー上の包含関係を示すディスプレイリストとして管理するディスプレイリスト管理部と、
    　前記グラフィック要素の描画に必要なデータがロード中である場合に当該グラフィック要素が登録され、ロードが終了した場合に当該登録が解除されるロード中要素管理部と、
    　前記ロード中要素管理部に登録されているグラフィック要素に対して不可視属性を付与すると共に、描画するグラフィック要素のうち、前記ツリーにおいて、前記ロード中要素管理部に登録されているグラフィック要素を含む最小のサブツリー内に含まれるグラフィック要素を不可視属性とする待機要素指定部と、
    　設定された時間間隔で、前記不可視属性を持たないグラフィック要素を描画する描画部とを備えたことを特徴とする描画タイミング制御装置。
PCT/JP2016/065601 2016-05-26 2016-05-26 描画タイミング制御装置 WO2017203659A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018518888A JP6388748B2 (ja) 2016-05-26 2016-05-26 描画タイミング制御装置
PCT/JP2016/065601 WO2017203659A1 (ja) 2016-05-26 2016-05-26 描画タイミング制御装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/065601 WO2017203659A1 (ja) 2016-05-26 2016-05-26 描画タイミング制御装置

Publications (1)

Publication Number Publication Date
WO2017203659A1 true WO2017203659A1 (ja) 2017-11-30

Family

ID=60412425

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/065601 WO2017203659A1 (ja) 2016-05-26 2016-05-26 描画タイミング制御装置

Country Status (2)

Country Link
JP (1) JP6388748B2 (ja)
WO (1) WO2017203659A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09128371A (ja) * 1995-11-01 1997-05-16 Matsushita Electric Ind Co Ltd マルチメディア再生装置
WO2014024255A1 (ja) * 2012-08-07 2014-02-13 株式会社 Ｒｅａｌ Ｓａｍｕｒａｉ 端末および動画再生プログラム
JP2016031677A (ja) * 2014-07-29 2016-03-07 富士通株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4425177B2 (ja) * 2005-05-20 2010-03-03 株式会社ソニー・コンピュータエンタテインメント グラフィックプロセッサ、情報処理装置
US20100020088A1 (en) * 2007-02-28 2010-01-28 Panasonic Corporation Graphics rendering device and graphics rendering method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09128371A (ja) * 1995-11-01 1997-05-16 Matsushita Electric Ind Co Ltd マルチメディア再生装置
WO2014024255A1 (ja) * 2012-08-07 2014-02-13 株式会社 Ｒｅａｌ Ｓａｍｕｒａｉ 端末および動画再生プログラム
JP2016031677A (ja) * 2014-07-29 2016-03-07 富士通株式会社 情報処理装置、情報処理方法、及び情報処理プログラム

Also Published As

Publication number Publication date
JPWO2017203659A1 (ja) 2018-08-30
JP6388748B2 (ja) 2018-09-12

Similar Documents

Publication Publication Date Title
WO2018196457A1 (zh) 一种弹幕显示方法及电子设备
JP6133318B2 (ja) クロス・ウィンドウ・アニメーション
US8769398B2 (en) Animation control methods and systems
KR102590100B1 (ko) 비디오 처리 방법 및 장치, 디바이스 및 저장 매체
CN104850388B (zh) 网页绘制方法及装置
US10147400B2 (en) Display control device, display control method, and display control program
US10282887B2 (en) Information processing apparatus, moving image reproduction method, and computer readable medium for generating display object information using difference information between image frames
CN112367549B (zh) 电视浏览器的视频播放实现方法及浏览器应用运行方法
US20230129509A1 (en) Previewing method and apparatus for effect application, and device, and storage medium
CN106815880B (zh) 动画复用方法和系统
CN109445891B (zh) 画面组态及展示方法、装置、计算机可读存储介质
CN103294451A (zh) 富页面中应用的多任务多窗口实现方法及系统
KR102040359B1 (ko) 상태 정보를 위한 동기화 지점
CN110471700B (zh) 图形处理方法、装置、存储介质及电子设备
JP2000200180A (ja) 組込みシステム内における子グラフィックス・コンテキストを使用したディスプレイ・ウィジェット・インタラクション
US6522335B2 (en) Supplying data to a double buffering process
CN113010075B (zh) 多信号源窗口交互方法、系统、可读存储介质和电子设备
JP6388748B2 (ja) 描画タイミング制御装置
CN103902727B (zh) 网络搜索方法和装置
US20170357412A1 (en) Data creating device, data creating method, and data creating program
CN110971958A (zh) 直播礼物横幅逐帧动画展示方法、存储介质、设备及系统
US20130262982A1 (en) Quick access panel for displayng a web page on a mobile device
US9021346B2 (en) Systems and methods for displaying and editing state-specific link attributes
WO2017113737A1 (zh) 一种视图的动画显示方法及装置和终端设备
JP6161546B2 (ja) 特定領域を生成し表示する方法、装置及びプログラム。

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2018518888

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16903140

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 16903140

Country of ref document: EP

Kind code of ref document: A1