JP7337968B2 - 垂直同期信号に基づいた画像処理の方法及び電子機器 - Google Patents

垂直同期信号に基づいた画像処理の方法及び電子機器 Download PDF

Info

Publication number
JP7337968B2
JP7337968B2 JP2021578085A JP2021578085A JP7337968B2 JP 7337968 B2 JP7337968 B2 JP 7337968B2 JP 2021578085 A JP2021578085 A JP 2021578085A JP 2021578085 A JP2021578085 A JP 2021578085A JP 7337968 B2 JP7337968 B2 JP 7337968B2
Authority
JP
Japan
Prior art keywords
electronic device
period
frame
rendering
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021578085A
Other languages
English (en)
Other versions
JP2022538464A (ja
Inventor
ワン，リアン
リ，ユィ
チェン，ジアン
ジィ，シンチュン
グオ，イファン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Publication of JP2022538464A publication Critical patent/JP2022538464A/ja
Application granted granted Critical
Publication of JP7337968B2 publication Critical patent/JP7337968B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/001—Arbitration of resources in a display system, e.g. control of access to frame buffer by video controller and/or main processor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0252—Improving the response speed
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
    • G09G2330/02—Details of power systems and of start or stop of display operation
    • G09G2330/021—Power management, e.g. power saving
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/10—Mixing of images, i.e. displayed pixel being the result of an operation, e.g. adding, on the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/08—Power processing, i.e. workload management for processors involved in display operations, such as CPUs or GPUs
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Description

本願の実施形態は、画像処理及び表示技術の分野に、特に、垂直同期信号に基づいた画像処理の方法及び電子機器に関係がある。
電子技術の発展とともに、様々な電子製品（例えば、携帯電話機）の性能はより良くなっている。電子製品の人と機械との間のインタラクション性能に対する消費者の要求は、ますます高まっている。フルエンシは、人と機械との間の重要なインタラクション性能である。例えば、フルエンシには、タッチレイテンシが含まれ得る。
フルエンシは、ユーザが電子製品にユーザ操作を入力してから、そのユーザ操作に対応する画像を電子製品が表示するまでのレイテンシ時間の長さとして反映され得る。例えば、ユーザ操作は、マウス又はキーを使用することによってユーザが入力した操作であってよい。代替的に、ユーザ操作は、タッチスクリーン上でユーザが実行したタッチ操作であってもよい。レイテンシ時間は、電子機器の応答レイテンシとも呼ばれることがある。例えば、ユーザ操作がタッチ操作である場合には、レイテンシ時間は、タッチ応答レイテンシとも呼ばれ得る。レイテンシ時間がより長い場合には、フルエンシ（例えば、タッチレイテンシ）は悪化し、あるいは、レイテンシ時間がより短い場合には、フルエンシ（例えば、タッチレイテンシ）は改善する。従って、いかにしてレイテンシ時間を短縮しかつ電子製品のフルエンシを改善するかは、至急解決されるべき課題である。
本願の実施形態は、電子機器の応答レイテンシを短縮しかつ電子機器のフルエンシを改善するよう、垂直同期信号に基づいた画像処理の方法及び電子機器を提供する。
上記の目的を達成するために、次の技術的解決法が、本願の実施形態では使用される。
第１の態様に従って、本願の実施形態は、垂直同期信号に基づいた画像処理の方法を提供する。方法は、表示スクリーンを含む電子機器に適用され得る。方法は、次のステップを含んでよい：電子機器は、第１垂直同期信号に応答して１つ以上の第１レイヤを描画し、該１つ以上の第１レイヤをレンダリングし、該１つ以上の第１レイヤをレンダリングした後に、該レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得し；そして、第２垂直同期信号に応答して前記第１画像フレームをリフレッシュ及び表示する。
第１の場合に、電子機器は、１つの同期信号でレイヤの描画、レンダリング、及び組み立てを完了することができる。つまり、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間は、１つの同期周期よりも短いか又はそれと等しい。同期周期は、第２垂直同期信号の信号周期に等しい。この場合に、電子機器は、第３垂直同期信号の到着を待った後にのみ、第３垂直同期信号に応答して、レンダリングされた第１レイヤに対してレイヤ組み立てを実行するのではなく、第１垂直同期信号に応答してレイヤの描画、レンダリング、及び組み立てを実行し得る。このようにして、電子機器は、１つの同期周期（例えば、第１同期周期）でレイヤの描画、レンダリング、及び組み立てを完了することができる。つまり、本願のこの実施形態における方法は、１つの同期周期だけ電子機器のメモリの応答レイテンシを短縮することができ、また、電子機器のフルエンシ（例えば、タッチレイテンシ）を改善することができる。
第２の場合に、電子機器は、１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができない。つまり、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間は、１つの同期周期よりも長い。この場合に、「第３垂直同期信号に応答してレイヤ組み立てを実行する」と言う従来の解決法が使用されるならば、画像フレームをリフレッシュ及び表示する工程で、フレーム損失現象が起こる可能性がある。しかし、本願のこの実施形態における方法は、表示スクリーンが繰り返し画像フレームを表示することを防ぐために、画像表示においてフレーム損失現象を回避することができる。つまり、本願のこの実施形態における方法は、表示スクリーンの画像表示のフルエンシを確かにすることができ、それによって、ユーザの視覚体験を改善する。加えて、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率は、高められ得る。
第１の態様を参照して、可能な設計において、電子機器でユーザ操作又はユーザインターフェース（user interface，ＵＩ）イベントを検出する場合に、電子機器は、第１垂直同期信号に応答して１つ以上の第１レイヤを描画し、該１つ以上の第１レイヤをレンダリングし得る。ユーザ操作は、インターフェースを更新するよう電子機器をトリガするために使用され得る。
第１の態様を参照して、他の可能な設計において、本願のこの実施形態における方法は、電子機器が、レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために電子機器によって必要とされる存続期間を短縮するよう、電子機器のハードウェアリソースに対してポジティブスケジューリングを実行することを更に含んでもよい。
第１の態様を参照して、他の可能な設計において、電子機器が該電子機器のハードウェアリソースに対してポジティブスケジューリングを実行することは、電子機器が、レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために電子機器によって必要とされる存続期間を短縮するよう、次のハードウェアリソーススケジューリングのうちの１つ以上を実行することを含んでもよい。
ポジティブスケジューリングは、電子機器のプロセッサの動作周波数を増大させること、方法を実行するラージコアプロセッサを選択すること、及び電子機器のメモリの動作周波数を増大させることを含み得る。プロセッサは、中央演算処理装置（central processing unit，ＣＰＵ）及び／又はグラフィクス処理ユニット（graphics processing unit，ＧＰＵ）を含み得る。
プロセッサの動作周波数がより高い場合には、プロセッサの計算速度は高くなり、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間は短くなる、と理解され得る。ラージコアプロセッサの計算速度は、スモールコアプロセッサの計算速度よりも高い。電子機器のメモリの動作周波数がより高い場合には、電子機器のリード／ライト速度は高くなり、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間は短くなる。電子機器は、レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために電子機器によって必要とされる存続期間を短縮し、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率を高めるよう、電子機器のハードウェアリソースに対してポジティブスケジューリングを実行することができる。従って、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができる場合に、電子機器の応答レイテンシは１つの同期周期だけ短縮可能であり、遠視機器のフルエンシ（例えば、タッチレイテンシ）は改善され得る。
第１の態様を参照して、他の可能な設計において、電子機器は、レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために電子機器によって必要とされる存続期間を短縮するよう、第１フレーム処理期間に基づいて電子機器のハードウェアリソースに対してポジティブスケジューリングを実行してもよい。例えば、電子機器がプロセッサの動作周波数を増大させると仮定すると、第１フレーム処理期間がより長い場合に、電子機器は、プロセッサの動作周波数を調整するときに、プロセッサの動作周波数をより高い周波数へと調整する。
第１の態様を参照して、他の可能な設計において、電子機器は、レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために電子機器によって必要とされる存続期間を短縮するよう、第１測定周期内の１つの同期周期で電子機器によってレイヤ描画、レイヤレンダリング、及びレイヤ組み立てを完了する回数又は確率に基づいて、電子機器のハードウェアリソースに対するポジティブスケジューリングを実行してもよい。例えば、電子機器がプロセッサの動作周波数を増大させると仮定すると、第１測定周期内の１つの同期周期で電子機器によってレイヤ描画、レイヤレンダリング、及びレイヤ組み立てを完了する回数がより少ないか、あるいは、第１測定周期内の１つの同期周期で電子機器によってレイヤ描画、レイヤレンダリング、及びレイヤ組み立てを完了する確率がより低い場合に、電子機器は、プロセッサの動作周波数を調整するときに、プロセッサの動作周波数をより高い周波数へと調整する。
第１の態様を参照して、他の可能な設計において、電子機器は、レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために電子機器によって必要とされる存続期間を短縮するよう、電子機器のフォアグラウンドアプリケーションに対してポジティブスケジューリングを実行してもよい。フォアグラウンドアプリケーションは、表示スクリーンに現在表示されているインターフェースに対応するアプリケーションである。
複数のアプリケーションが電子機器にインストールされる可能性がある、と理解され得る。電子機器がフォアグラウンドで異なるアプリケーションを実行する場合に、レイヤの描画、レンダリング、及び組み立てのために、異なる時間が必要とされる。従って、電子機器のハードウェアリソースに対してポジティブスケジューリングを実行するために使用される方法及びポリシーは、アプリケーションごとにセットされ得る。例えば、電子機器がプロセッサの動作周波数を増大させると仮定すると、電子機器がフォアグラウンドアプリケーションを実行する場合に、レイヤの描画、レンダリング、及び組み立てに必要な存続期間がより長いならば、電子機器は、プロセッサの動作周波数調整するときに、プロセッサの動作周波数をより高い周波数へと調整する。
第１の態様を参照して、他の可能な設計において、第１測定周期における第１フレーム処理期間が予めセットされた単フレーム期間よりも短いか又はそれと等しい場合に、電子機器は、第１垂直同期信号に応答して１つ以上の第１レイヤを描画し、該１つ以上の第１レイヤをレンダリングし、該１つ以上の第１レイヤをレンダリングした後に、該レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得し得る。
第１フレーム処理期間は、第１フレームレンダリング期間と第１ＳＦフレーム期間との和である。第１フレームレンダリング期間は、レイヤを描画し、該描画されたレイヤをレンダリングするために必要な期間である。第１ＳＦフレーム期間は、レンダリングされたレイヤに対してレイヤ組み立てを実行するために必要な期間である。
第１測定周期（すなわち、現時点より前の測定周期）における第１フレーム処理期間が予めセットされた単フレーム期間よりも短いか又はそれと等しい場合に、それは、電子機器が第１測定周期内の１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができることを示す、と理解され得る。この場合に、第１測定周期の次の測定周期（つまり、現時点が位置している測定周期）では、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率が比較的に高い。
第１の態様を参照して、他の可能な設計において、予めセットされた単フレーム期間は、前記第２垂直同期信号の信号周期よりも短いか又はそれと等しい。
第１の態様を参照して、他の可能な設計において、第１測定周期（つまり、現時点より前の測定周期）における第１フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に、それは、電子機器が、第１測定周期内の１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができないことを示す。この場合に、第１測定周期の次の測定周期（すなわち、現時点が位置している測定周期）では、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率が比較的に低い。この場合に、電子機器は、第１垂直同期信号に応答して前記１つ以上の第１レイヤを描画し、第３垂直同期信号に応答して前記レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得し得る。
第１の態様を参照して、他の可能な設計において、第１フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に、電子機器は、第１垂直同期信号に応答して１つ以上の第１レイヤを描画し、１つ以上の第１レイヤをレンダリングし、該１つ以上の第１レイヤをレンダリングした後に、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得してもよい。従って、電子機器は、予めレイヤ組み立てを実行することができ、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率は、高められ得る。
第１の態様を参照して、他の可能な設計において、本願のこの実施形態のおける方法は、電子機器が、第１測定周期における１つ以上の第２フレーム処理期間を取得し、該１つ以上の第２フレーム処理期間に基づいて第１フレーム処理期間を決定することを更に含んでもよい。各第２フレーム処理期間は、第２フレームレンダリング期間と第２ＳＦフレーム期間との和である。第２フレームレンダリング期間は、レイヤを描画し、該描画されたレイヤをレンダリングするために必要な期間である。第２ＳＦフレーム期間は、レンダリングされたレイヤに対してレイヤ組み立てを実行するために必要な期間である。１つ以上の第２フレーム処理期間が複数の第２フレーム処理期間を含む場合に、第１フレーム処理期間は、複数の第２フレーム処理期間の中で最長の第２フレーム処理期間であるか、あるいは、第１フレーム処理期間は、複数の第２フレーム処理期間の平均値である。
第１の態様を参照して、他の可能な設計において、第１垂直同期信号に応答して１つ以上の第１レイヤを描画し、１つ以上の第１レイヤをレンダリングし、該１つ以上の第１レイヤをレンダリングした後に、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することは、電子機器が、第１垂直同期信号に応答して第１同期周期で１つ以上の第１レイヤを描画し、１つ以上の第１レイヤをレンダリングし、該１つ以上の第１レイヤをレンダリングした後に、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することを含んでもよい。第１同期周期は、第１垂直同期信号に対応する同期周期である。つまり、本願のこの実施形態では、電子機器は、レイヤの描画及びレンダリングが実行される１つの同期周期（つまり、第１同期周期）でレイヤ組み立てを開始し得る。
第１の態様を参照して、他の可能な設計において、本願のこの実施形態における方法は、第１フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に電子機器が、レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために電子機器によって必要とされる存続期間を短縮するよう、電子機器のハードウェアリソースに対してポジティブスケジューリングを実行することを更に含んでもよい。電子機器のハードウェアリソースに対して電子機器によってポジティブスケジューリングを実行する具体的な方法及び達成される技術的効果については、上記の可能な設計における記載を参照されたい。詳細は、本願のこの実施形態において再びここで記載されない。
第１の態様を参照して、他の可能な設計において、１つ以上のレイヤは、１つ以上のアプリケーションに対応する描画タスクを実行することによって電子機器によって描画されたレイヤを含み得る。１つ以上のアプリケーションは、１つ以上のシステムレベルアプリケーション及び１つ以上のユーザレベルアプリケーションのうちの少なくとも１つを含み得る。例えば、システムレベルアプリケーションは、ステータスバー、ラウンチャ、ナビゲーションバー、及び壁紙を含んでもよい。ユーザレベルアプリケーションは、「設定」、「電話」、及び「ＳＭＳ」などの、電子機器のシステムアプリケーションと、ユーザ操作に応答してアプリケーションストアから電子機器がダウンロードすることができるサードパーティアプリケーションとを含んでもよい。例えば、サードパーティアプリケーションには、ＷｅＣｈａｔ、Ａｌｉｐａｙ、又はＢａｉｄｕ Ｍａｐなどのアプリケーションが含まれ得る。
第１の態様を参照して、他の可能な設計において、電子機器が第１垂直同期信号に応答して１つ以上の第１レイヤを描画し、１つ以上の第１レイヤをレンダリングし、該１つ以上の第１レイヤをレンダリングした後に、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することは、電子機器が第１垂直同期信号に応答して１つ以上のアプリケーションの夫々について１つ以上の第１レイヤを描画し、１つ以上の第１レイヤをレンダリングし、そして、電子機器が、１つ以上のアプリケーションのために電子機器によってレンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することを特に含んでもよい。つまり、電子機器は、第１垂直同期信号に応答してアプリケーションごとにレイヤの描画及びレンダリングを実行し、それから、１つ以上のアプリケーションの全てのために電子機器によってレンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得し得る。
第１の態様を参照して、他の可能な設計において、１つ以上の第１レイヤをレンダリングした後に、該レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することは、１つ以上のアプリケーションの中のフォーカスアプリケーション、キーアプリケーション、又は電子機器のフルエンシに密接に関係があるアプリケーションの１つ以上の第１レイヤをレンダリングした後に、電子機器が、１つ以上のアプリケーションのために電子機器によってレンダリングされた第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することを特に含んでもよい。つまり、電子機器がフォーカスアプリケーションのためのレイヤレンダリングを完了する場合には、たとえ他のアプリケーションのためのレイヤレンダリングが完了していないとしても、電子機器は、第１画像フレームを取得するために、レンダリングされた第１レイヤに対してレイヤ組み立てを実行し始めてよい。
第１の態様を参照して、他の可能な設計において、１つ以上の第１レイヤをレンダリングした後に、該レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することは、１つ以上の第１レイヤの中のフォーカスレイヤ、キーレイヤ、又は電子機器のフルエンシに密接に関係があるレイヤをレンダリングした後に、電子機器が、１つ以上のアプリケーションのために電子機器によってレンダリングされた第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することを特に含んでもよい。
第１の態様を参照して、他の可能な設計において、電子機器は、１つ以上のアプリケーションの中のフォーカスアプリケーションに対応する第１フレームレンダリング期間と、電子機器による１つ以上のアプリケーションに対応する第１ＳＦフレーム期間とに基づいて第１フレーム処理期間を決定してもよい。
第１の態様を参照して、他の可能な設計において、電子機器は、１つ以上のアプリケーションの全部に対応する第１フレームレンダリング期間の中で最長の第１フレームレンダリング期間と、電子機器による１つ以上のアプリケーションに対応する第１ＳＦフレーム期間とに基づいて第１フレーム処理期間を決定してもよい。
第１の態様を参照して、他の可能な設計において、電子機器が該電子機器のハードウェアリソースに対してポジティブスケジューリングを実行した後に、電子機器のスクリーンリフレッシュレートが予めセットされたリフレッシュレート閾値よりも大きい場合に、電子機器は、電子機器の電力消費量を減らすよう、電子機器のハードウェアリソースに対してネガティブスケジューリングを実行してもよい。従って、電子機器は、表示スクリーンが繰り返し画像フレームを表示することを防ぐよう、電力消費量を低減しながら、第２の場合における画像表示でフレーム損失現象を回避することができる。
第１の態様を参照して、他の可能な設計において、電子機器が該電子機器のハードウェアリソースに対してポジティブスケジューリングを実行した後に、電子機器のスクリーンリフレッシュレートが予めセットされたリフレッシュレート閾値よりも大きい場合に、第１フレーム処理期間が予めセットされたデュアルフレーム期間よりも長いならば、電子機器は、電子機器の電力消費量を減らすよう、電子機器の前記ハードウェアリソースに対してネガティブスケジューリングを実行してもよい。従って、電子機器は、表示スクリーンが繰り返し画像フレームを表示することを防ぐよう、電力消費量を低減しながら、第２の場合における画像表示でフレーム損失現象を回避することができる。
第１の態様を参照して、他の可能な設計において、電子機器は、電子機器の電力消費量を減らすよう次のネガティブスケジューリングのうちの１つ以上を実行してもよい。ネガティブスケジューリングは、電子機器のプロセッサの動作周波数を低減させること、方法を実行するスモールコアプロセッサを選択すること、及び電子機器のメモリの動作周波数を低減させることを含む。
第１の態様を参照して、他の可能な設計において、予めセットされたデュアルフレーム期間は、第２垂直同期信号の信号周期のＫ倍よりも短いか又はそれと等しく、このとき、Ｋ≧２である。
第１の態様を参照して、他の可能な設計において、電子機器によってプロセッサの動作周波数増大させる方法は、電子機器が、第１の予めセットされたステップに基づいてプロセッサの動作周波数を増大させるか、あるいは、電子機器が、第１フレーム処理期間と予めセットされた単フレーム期間との間の差に基づいてプロセッサの動作周波数を増大させることを含んでもよい。プロセッサの動作周波数を調整する範囲は、前記差の値に比例する。
第１の態様を参照して、他の可能な設計において、本願のこの実施形態における方法は、第１フレーム処理期間が予めセットされた条件を満足する場合に、プロセッサの動作周波数を低減させることを更に含んでもよい。第１フレーム処理期間が予めセットされた条件を満足することは、第１フレーム処理期間が予めセットされた単フレーム期間よりも短いこと、又は第１フレーム処理期間が予めセットされた単フレーム期間よりも短く、かつ予めセットされた単フレーム期間と第１フレーム処理期間との間の差が第１の予めセットされた存続期間よりも長いことを特に含む。
第１フレーム処理期間が予めセットされた単フレーム期間よりも短い場合に、それは、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率が比較的に高いことを示す、と理解され得る。この場合に、場合により、プロセッサの動作周波数は比較的に高いので、プロセッサの計算速度は相対的に高く、電子機器は１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができる。しかし、プロセッサの極端に高い動作周波数は、電子機器の相対的に高い電力消費量を引き起こす。そのため、電子機器は、プロセッサの動作周波数を低減させることがある。
第１の態様を参照して、他の可能な設計において、プロセッサの動作周波数の調整中にピンポン現象を防ぐために、本願のこの実施形態における方法は、Ｎ個の連続した測定周期における第１フレーム処理期間が予めセットされた条件を満足する場合に、プロセッサの動作周波数を低減させることを更に含んでもよく、このとき、Ｎ≧２であり、Ｎは正の整数である。これは、プロセッサの動作周波数の調整中にピンポン現象を防ぐことだけでなく、プロセッサの動作周波数の調整中に速い立ち上がり及び遅い立ち下がりを実装することもできる。レイヤの描画、レンダリング、及び組み立てにおける電子機器のシステム安定性を確かにしながら、これは、電子機器のタッチ応答レイテンシを短縮し、かつ、電子機器のフルエンシ（例えば、タッチレイテンシ）を改善することができる。
第１の態様を参照して、他の可能な設計において、電子機器によってプロセッサの動作周波数を低減させる方法は、電子機器が第２の予めセットされたステップに基づいてプロセッサの動作周波数を低減させることを含んでもよい。
第２の予めセットされたステップは、第１の予めセットされたステップと等しくてもよい。代替的に、第２の予めセットされたステップは、第１の予めセットされたステップよりも小さくてもよい。
留意されるべきは、第２の予めセットされたステップが第１の予めセットされたステップよりも小さい場合に、電子機器は、速い立ち上がり及び遅い立ち下がりの様態でプロセッサの動作周波数を調整し得る、ことである。このことは、電子機器が本願のこの実施形態における方法を実行し、電子機器のタッチ応答レイテンシを短縮し、電子機器のフルエンシ（例えば、タッチレイテンシ）を改善するのを助ける。
第１の態様を参照して、他の可能な設計において、本願のこの実施形態における方法は、測定周期において、１つ以上の第３レイヤの描画及びレンダリング中の第１特性点で消費された存続期間が、前記第１特性点に対応する第２の予めセットされた存続期間よりも長い場合には、プロセッサの動作周波数を該プロセッサの最大動作周波数へと調整することを更に含んでもよい。第１特性点は、次の：１つ以上の第３レイヤを描画すること、１つ以上の第３レイヤをレンダリングすること、１つ以上の第３レイヤを描画する過程で任意の機能を実行すること、及び１つ以上の第３レイヤをレンダリングする過程で任意の機能を実行すること、のうちの少なくともいずれか１つを含む。
測定周期で、第１特性点で消費された存続期間が該第１特性点に対応する第２の予めセットされた存続期間よりも長い場合に、それは、電子機器が、加速されたレンダリングモードに対応する方法を使用することによって１つ以上の第３レイヤの描画及びレンダリングを完了することができない確率が比較的に高いことを示す、と理解され得る。
１つ以上の第３レイヤは、測定周期で電子機器によって描画又はレンダリングされているレイヤである。この場合に、電子機器は、プロセッサの周波数を瞬間的に増大させ、プロセッサの動作周波数を該プロセッサの最大動作周波数へと調整し得る。プロセッサの周波数が瞬間的に像出された後、プロセッサの計算速度は高められ得、更には、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間は短縮され得る。
第１の態様を参照して、他の可能な設計において、電子機器がプロセッサの動作周波数を該プロセッサの最大動作周波数へと調整した後に、本願のこの実施形態における方法は、第３フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に、第３垂直同期信号に応答して、レンダリングされたレイヤに対してレイヤ組み立てを実行して画像フレームを取得することを更に含んでもよい。第３フレーム処理期間は、第３フレームレンダリング期間と第３ＳＦフレーム期間との和である。第３フレームレンダリング期間は、１つ以上の第３レイヤを描画及びレンダリングするために必要な期間である。第３ＳＦフレーム期間は、レンダリングされた１つ以上の第３レイヤに対してレイヤ組み立てを実行するために必要な期間である。
第１の態様を参照して、他の可能な設計において、予めセットされた単フレーム期間は、同期周期と予めセットされたレイテンシ閾値との間の差である。予めセットされたレイテンシ閾値は、ゼロ以上である。
第１の態様を参照して、他の可能な設計において、電子機器が第１垂直同期信号に応答して１つ以上の第１レイヤを描画し、１つ以上の第１レイヤをレンダリングし、該１つ以上の第１レイヤをレンダリングした後に、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することの前に、本願のこの実施形態における方法は、第１イベントに応答して、加速されたレンダリングモードを開始することを更に含んでもよい。
加速されたレンダリングモードが開始された後に、第１垂直同期信号に応答して、電子機器は、１つ以上の第１レイヤを描画し、１つ以上の第１レイヤをレンダリングするだけでなく、第１画像フレームを取得するよう、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行してもよい。第１イベントは、ユーザの第１操作が受け取られること、及び／又は第１測定周期における第１フレーム処理期間が予めセットされた単フレーム期間以下であること、を含んでもよい。第１測定周期は、現時点より前の測定周期である。
第１の態様を参照して、他の可能な設計において、第２イベントに応答して、電子機器は、加速されたレンダリングモードから出てもよい。第２イベントは、ユーザの第２操作が受け取られること、及び／又は第１測定周期における第１フレーム処理期間が予めセットされた単フレーム期間よりも長いこと、を含んでもよい。
電子機器が加速されたレンダリングモードから出た後に、本願のこの実施形態における方法は、第１垂直同期信号に応答して１つ以上の第２レイヤを描画し、１つ以上の第２レイヤをレンダリングすることと、第３垂直同期信号に応答して前記レンダリングされた１つ以上の第２レイヤに対してレイヤ組み立てを実行して第２画像フレームを取得することと、第２垂直同期信号に応答して第２画像フレームをリフレッシュ及び表示することとを更に含んでもよい。
第２の態様に従って、本願は、電子機器であって、タッチスクリーン、メモリ、及び１つ以上のプロセッサを含み、タッチスクリーン及びメモリがプロセッサへ結合され、メモリがコンピュータプログラムコードを記憶するよう構成され、コンピュータプログラムコードがコンピュータ命令を含み、プロセッサが前記コンピュータ命令を実行する場合に、第１の態様及び第１の態様の可能な設計のうちいずれか１つに従う方法を実行する電子機器を提供する。
第３の態様に従って、本願は、タッチスクリーンを含む電子機器に適用されるシステム・オン・チップであって、１つ以上のインターフェース回路及び１つ以上のプロセッサを含み、インターフェース回路及びプロセッサが、ラインを使用することによって相互接続され、インターフェース回路が、電子機器のメモリから信号を受信し、該信号をプロセッサへ送信するよう構成され、信号が、メモリに記憶されているコンピュータ命令を含み、プロセッサがコンピュータ命令を実行する場合に、電子機器が、第１の態様及び第１の態様の可能な設計のうちのいずれか１つに従う方法を実行する、システム・オン・チップを提供する。
第４の態様に従って、本願は、コンピュータ命令を含むコンピュータ記憶媒体であって、コンピュータ命令が電子機器で実行される場合に、電子機器が、第１の態様及び第１の態様の可能な設計のうちのいずれか１つに従う方法を実行することを可能にされる、コンピュータ記憶媒体を提供する。
第５の態様に従って、本願は、コンピュータプログラム製品であって、コンピュータで実行される場合に、コンピュータが、第１の態様及び第１の態様の可能な設計のうちのいずれか１つに従う方法を実行することを可能にされる、コンピュータプログラム製品を提供する。
第２の態様で提供される電子機器、第３の態様でのシステム・オン・チップ、第４の態様でのコンピュータ記憶媒体、及び第５の態様でのコンピュータプログラム製品によって達成可能な有利な効果については、第１の態様及び第１の態様の可能な設計のうちのいずれか１つでの有利な効果を参照されたい。詳細は、ここで再び記載されない。
本願の実施形態に従って、電子機器がタッチ操作に応答して画像を表示するソフトウェア処理プロシージャの概略図である。 図１Ａに示されるソフトウェア処理プロシージャでのレイテンシの概略図である。 本願の実施形態に従う電子機器のハードウェア構造の概略図である。 本願の実施形態に従う画像処理プロシージャの概略図である。 本願の実施形態に従って、垂直同期信号に基づいた画像処理の方法のフローチャートである。 本願の実施形態に従って、レイヤ描画をトリガするために使用される垂直同期信号、レイヤレンダリングをトリガするために使用される垂直同期信号、及びレイヤ組み立てをトリガするために使用される垂直同期信号の概略図である。 本願の実施形態に従って、垂直同期信号に基づいた画像処理の方法の概略原理図である。 本願の実施形態に従って、垂直同期信号に基づいた画像処理の方法の概略原理図である。 本願の実施形態に従って、垂直同期信号に基づいた画像処理の他の方法の概略原理図である。 本願の実施形態に従って、垂直同期信号に基づいた画像処理の他の方法の概略原理図である。 本願の実施形態に従って、垂直同期信号に基づいた画像処理の他の方法の概略原理図である。 本願の実施形態に従って、垂直同期信号に基づいた画像処理の他の方法の概略原理図である。 本願の実施形態に従って、垂直同期信号に基づいた画像処理の他の方法の概略原理図である。 本願の実施形態に従って、垂直同期信号に基づいた画像処理の他の方法の概略原理図である。 本願の実施形態に従って、垂直同期信号に基づいた画像処理の他の方法のフローチャートである。 本願の実施形態に従って、垂直同期信号に基づいた画像処理の他の方法のフローチャートである。 本願の実施形態に従う表示インターフェースの概略図である。 本願の実施形態に従う表示インターフェースの概略図である。 本願の実施形態に従って、垂直同期信号に基づいた画像処理の他の方法のフローチャートである。 本願の実施形態に従って、垂直同期信号に基づいた画像処理の他の方法のフローチャートである。 本願の実施形態に従って、垂直同期信号に基づいた画像処理の他の方法のフローチャートである。 本願の実施形態に従って、垂直同期信号の位相を調整する装置の構造の概略図である。 本願の実施形態に従って、電子機器がタッチ操作に応答して画像を表示する他のソフトウェア処理プロシージャの概略図である。 本願の実施形態に従うテストシナリオのテスト結果の概略図である。 本願の実施形態に従うテストシナリオのテスト結果の概略図である。 本願の実施形態に従うテストシナリオのテスト結果の概略図である。 本願の実施形態に従うシステム・オン・チップの構造の概略図である。
次の「第１」及び「第２」との用語は、単に記載を目的として意図されており、示されている技術的特徴の相対的な重要性の指示若しくは言外の意味又は暗黙的な数の指示として理解されるべきではない。そのため、「第１」又は「第２」によって限定されている特徴は、明示的に又は暗黙的に１つ以上の特徴を含んでもよい。実施形態の記載において、別段述べられない限りは、「複数の～」は、２つ以上を意味する。
本願の実施形態は、垂直同期信号に基づいた画像処理の方法を提供する。方法は、タッチスクリーンを含む電子機器に適用され得る。具体的に、方法は、電子機器が、タッチスクリーン上でユーザによって実行されたタッチ操作に応答して、タッチスクリーンに画像を表示するプロセスに適用され得る。
ユーザが電子機器にユーザ操作を入力してから、そのユーザ操作に対応する画像を電子機器が表示するまでのレイテンシ時間は、電子機器の応答レイテンシと呼ばれ得る。電子機器のフルエンシ（例えば、タッチレイテンシ）は、応答レイテンシの長さによって反映され得る。例えば、ユーザ操作がタッチ操作である場合に、フルエンシはタッチレイテンシであってよく、応答レイテンシはタッチ応答レイテンシと呼ばれ得る。タッチ応答レイテンシは、ユーザの指によってタッチスクリーンにタッチ操作を入力してから、そのタッチ操作に対応する画像をタッチスクリーンによって表示するまでのレイテンシ時間である。
具体的に、電子機器の応答レイテンシがより長い場合には、電子機器のフルエンシ（例えば、タッチレイテンシ）は悪化し、あるいは、電子機器のレイテンシ時間がより短い場合には、電子機器のフルエンシ（例えば、タッチレイテンシ）は改善する電子機器のフルエンシ（例えば、タッチレイテンシ）がより良い場合に、ユーザは、より良いユーザ経験を有し、ユーザ操作（例えば、タッチ操作）を通じて電子機器を制御するときに、より流ちょうに感じる。本願のこの実施形態における方法は、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率を高めることができる。従って、電子機器の応答レイテンシは短縮可能であり、電子機器のフルエンシ（例えば、タッチレイテンシ）は改善され、ユーザ経験は改善される。
ユーザ操作がタッチ操作であると仮定すると、図１Ａは、ユーザの指によってタッチスクリーンにタッチ操作を入力してから、そのタッチ操作に対応する画像をタッチスクリーンによって表示するまでの過程での電子機器のソフトウェア処理プロシージャの概略図である。図１Ａに示されるように、電子機器は、タッチパネル（touch panel，ＴＰ）／ＴＰドライバ（driver）１０、入力フレームワーク（input framework）２０、ＵＩフレームワーク（UI framework）３０、表示フレームワーク（display framework）４０、及びハードウェア表示モジュール５０を含み得る。
図１Ａに示されるように、電子機器のソフトウェア処理プロシージャは、次のステップ（１）からステップ（５）を含み得る。
ステップ（１）：ＴＰ ＩＣ／ＴＰドライバ１０におけるＴＰが、電子機器のＴＰでユーザの指によって実行されたタッチ操作を捕捉した後、ＴＰドライバは、対応するタッチイベントをイベントハブに報告する。
ステップ（２）：入力フレームワーク２０の入力リーダスレッドは、イベントハブからタッチイベントを読み出し、それから、タッチイベントを入力ディスパッチャスレッドへ送信し得る。そして、入力ディスパッチャスレッドは、ＵＩフレームワーク３０におけるＵＩスレッド（例えば、ＤｏＦｒａｍｅ）にタッチイベントをアップロードする。
ステップ（３）：ＵＩフレームワーク３０におけるＵＩスレッドは、タッチイベントに対応する１つ以上のレイヤを描画し、レンダリングスレッド（例えば、ＤｒａｗＤｒａｍｅ）は、１つ以上のレイヤに対してレイヤレンダリングを実行する。
ステップ（４）：表示フレームワーク４０における組み立てスレッドは、画像フレームを取得するよう、描画された１つ以上のレイヤ（つまり、レンダリングされた１つ以上のレイヤ）に対してレイヤ組み立てを実行する。
ステップ（５）：ハードウェア表示モジュール５０の液晶ディスプレイパネル（liquid crystal display，ＬＣＤ）ドライバは、組み立てられた画像フレームを受け取ってよく、ＬＣＤは、組み立てられた画像フレームを表示する。画像フレームがＬＣＤで表示されたの後、ＬＣＤで表示されている画像は、人の目によって認知され得る。
本願のこの実施形態において、「タッチスクリーン上でユーザの指によってタッチ操作を入力すること」から「画像が人の目によって認知されるように、タッチ操作に対応する画像をタッチスクリーンに表示すること」までの過程での電子機器の処理プロシージャは、電子機器の応答レイテンシを短縮する原理を簡潔に記載するために、ここで解析される。
ステップ（１）で、ＴＰ ＩＣ／ＴＰドライバ１０がタッチ操作を捕捉し、タッチイベントを入力フレームワーク２０に報告する過程で、図１Ｂに示されるカーネルレイテンシは存在する可能性がある。ステップ（２）で、入力フレームワーク２０がタッチイベントを処理し、タッチイベントをＵＩフレームワークに入力する過程で、図１Ｂに示される入力レイテンシは存在する可能性がある。ステップ（３）で、図１Ｂに示される描画レイテンシ（ＵＩスレッドレイテンシとも呼ばれる）は、ＵＩフレームワークにおけるＵＩスレッドがタッチイベントに対応する１つ以上のレイヤを描画するときに存在する可能性がある。更に、図１Ｂに示されるレンダリングレイテンシは、レンダリングスレッドがレイヤレンダリングを実行するときに存在する可能性がある。ステップ（４）で、図１Ｂに示される組み立てレイテンシは、表示フレームワーク４０における組み立てスレッドがレイヤ組み立てを実行するときに存在する可能性がある。ステップ（５）で、ハードウェア表示モジュール５０が組み立てられた画像フレームを表示する過程で、図１Ｂに示される表示レイテンシは存在する可能性がある。
本願のこの実施形態に従う、垂直同期信号に基づいた画像処理の方法は、電子機器の応答レイテンシを短縮しかつ電子機器のフルエンシ（例えば、タッチレイテンシ）を改善するよう、図１Ｂに示される「描画レイテンシ」、「レンダリングレイテンシ」、及び「組み立てレイテンシ」を短縮することができる。
例えば、本願のこの実施形態における電子機器は、携帯電話機、タブレットコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、ハンドヘルドコンピュータ、ノートブックコンピュータ、ウルトラモバイルパーソナルコンピュータ（ultra-mobile personal computer，ＵＭＰＣ）、ネットブック、あるいは、セルラー電話機、パーソナル・デジタル・アシスタント（personal digital assistant，ＰＤＡ）、又は拡張現実（augmented reality，ＡＲ）若しくは仮想現実（virtual reality，ＶＲ）デバイスなどの、タッチスクリーンを含むデバイスであってよい。電子機器の具体的な形態は、本願のこの実施形態において特に限定されない。
以下は、添付の図面を参照して詳細に本願の実施形態の実施について記載する。
図２は、本願の実施形態に従う電子機器２００の構造の概略図である。図２に示されるように、電子機器２００は、プロセッサ２１０、外部メモリインターフェース２２０、内部メモリ２２１、ユニバーサル・シリアル・バス（universal serial bus，ＵＳＢ）インターフェース２３０、充電管理モジュール２４０、電力管理モジュール２４１、バッテリ２４２、アンテナ１、アンテナ２、モバイル通信モジュール２５０、無線通信モジュール２６０、オーディオモジュール２７０、スピーカ２７０Ａ、電話レシーバ２７０Ｂ、マイクロホン２７０Ｃ、ヘッドセットジャック２７０Ｄ、センサモジュール２８０、キー２９０、モータ２９１、インジケータ２９２、カメラ２９３、表示スクリーン２９４、及び加入者識別モジュール（subscriber identification module，ＳＩＭ）カードインターフェース２９５、などを含んでもよい。
センサモジュール２８０は、圧力センサ２８０Ａ、ジャイロセンサ２８０Ｂ、気圧センサ２８０Ｃ、磁気センサ２８０Ｄ、加速度センサ２８０Ｅ、近接センサ２８０Ｆ、光学近接センサ２８０Ｇ、指紋センサ２８０Ｈ、温度センサ２８０Ｊ、タッチセンサ２８０Ｋ、周囲光センサ２８０Ｉ、及び骨伝導センサ２８０Ｍ、などを含んでもよい。
本願で説明されている構造は、電子機器２００に対する特定の限定を構成しないことが理解され得る。他の実施形態において、電子機器２００は、図示されているものよりも多い又は少ないコンポーネントを含んでもよく、あるいは、いくつかのコンポーネントは組み合わされ、あるいは、いくつかのコンポーネントは分割され、あるいは、コンポーネント配置は異なっている。表されているコンポーネントは、ハードウェア、ソフトウェア、又はソフトウェアとハードウェアとの組み合わせによって実装されてもよい。
プロセッサ２１０は、１つ以上のプロセッシングユニットを含んでもよい。例えば、プロセッサは、アプリケーションプロセッサ（application processor，ＡＰ）、モデムプロセッサ、ＧＰＵ、画像信号プロセッサ（image signal processor，ＩＳＰ）、コントローラ、メモリ、ビデオコーデック、デジタル信号プロセッサ（digital signal processor，ＤＳＰ）、ベースバンドプロセッサ、及び／又はニューラルネットワークプロセッシングユニット（neural-network processing unit，ＮＰＵ）を含んでもよい。異なるプロセッシングユニットは、独立したコンポーネントであってもよく、あるいは、１つ以上のプロセッサに一体化されてもよい。
コントローラは、電子機器２００の中枢部及びコマンド中心であってよい。コントローラは、命令オペレーションコード及びタイミング信号に基づいてオペレーション制御信号を生成し、命令フェッチ及び命令実行に対する制御を実装し得る。
メモリは、プロセッサ２１０に更に配置されてもよく、命令及びデータを記憶するよう構成される。いくつかの実施形態において、プロセッサ２１０内のメモリはキャッシュメモリである。メモリは、プロセッサ２１０によってまさに使用されているか、又は周期的に使用される命令又はデータを記憶し得る。プロセッサ２１０が命令又はデータを再び使用する必要がある場合に、プロセッサ２１０は、メモリから直接に命令又はデータを呼び出し得る。従って、繰り返しのアクセスは回避され、プロセッサ２１０の待ち時間は削減され、システム効率は改善される。
いくつかの実施形態において、プロセッサ２１０は１つ以上のインターフェースを含んでもよい。インターフェースは、インター・インテグレーテッド・サーキット（inter-integrated circuit，Ｉ２Ｃ）インターフェース、インター・インテグレーテッド・サーキット・サウンド（inter-integrated circuit sound，Ｉ２Ｓ）インターフェース、パルス符号変調（pulse code modulation，ＰＣＭ）インターフェース、ユニバーサル非同期受信器／送信器（universal asynchronous receiver/transmitter，ＵＡＲＴ）インターフェース、モバイル・インダストリ・プロセッサ・インターフェース（mobile industry processor interface，ＭＩＰＩ）、汎用入力/出力（general-purpose input/output，ＧＰＩＯ）インターフェース、加入者識別モジュール（subscriber identity module，ＳＩＭ）インターフェース、及び／又はユニバーサル・シリアル・バス（universal serial bus，ＵＳＢ）インターフェース、などを含んでもよい。
この実施形態で説明されているモジュール間のインターフェース接続関係は、記載のための例にすぎず、電子機器２００の構造に対する限定を構成しないことが理解され得る。他の実施形態においては、電子機器２００は、上記の実施形態における異なるインターフェース接続様態、又は複数のインターフェース接続様態の組み合わせを代替的に使用してもよい。
充電管理モジュール２４０は、充電器から充電入力を受けるよう構成される。バッテリ２４２を充電する場合に、充電管理モジュール２４０は、電力管理モジュール２４１を使用することによって電子機器へ電力を更に供給し得る。
電力管理モジュール２４１は、バッテリ２４２、充電管理モジュール２４０、及びプロセッサ２１０を接続するよう構成される。電力管理モジュール２４１は、バッテリ及び／又は充電管理モジュール２４０から入力を受け、電力をプロセッサ２１０、内部メモリ２２１、外部メモリ、表示スクリーン２９４、カメラ２９３、無線通信モジュール２６０、などへ供給する。他の実施形態においては、電力管理モジュール２４１は、代替的に、プロセッサ２１０に配置されてもよい。他の実施形態においては、電力管理モジュール２４１及び充電管理モジュール２４０は、代替的に、同じコンポーネントに配置されてもよい。
電子機器２００の無線通信機能は、アンテナ１、アンテナ２、モバイル通信モジュール２５０、無線通信モジュール２６０、モデムプロセッサ、ベースバンドプロセッサ、などを使用することによって実装され得る。
アンテナ１及びアンテナ２は、電磁波信号を送信及び受信するよう構成される。電子機器２００の各アンテナは、単一又は複数の通信周波数バンドをカバーするために使用され得る。異なるアンテナはまた、アンテナ利用を改善するために再利用されてもよい。例えば、アンテナ１は、無線ローカルエリアネットワークでのダイバーシティアンテナとして再利用されてもよい。
モバイル通信モジュール２５０は、電子機器２００に適用される、２Ｇ／３Ｇ／４Ｇ／５Ｇを含む無線通信ソリューションを提供し得る。モバイル通信モジュール２５０は、少なくとも１つのフィルタ、スイッチ、電力増幅器、低雑音増幅器（low noise amplifier，ＬＮＡ）、などを含んでもよい。モバイル通信モジュール２５０は、アンテナ１を使用することによって電磁波を受け、受け取られた電磁波に対してフィルタリング及び増幅などの処理を実行し、電磁波を復調のためにモデムプロセッサへ伝送し得る。モバイル通信モジュール２５０は更に、モデムプロセッサによって変調された信号を増幅し、信号を、アンテナ１を使用することによる放射のために、電磁波に変換し得る。
モデムプロセッサは、変調器及び復調器を含んでもよい。変調器は、送信されるべき低周波ベースバンド信号を中間又は高周波信号に変調するよう構成される。復調器は、受信された電磁波信号を低周波ベースバンド信号に復調するよう構成される。ベースバンドプロセッサによって処理された後、低周波ベースバンド信号は、アプリケーションプロセッサへ伝送される。アプリケーションプロセッサは、オーディオデバイス（スピーカ２７０Ａｌ、電話レシーバ２７０Ｂ、などに限定されず）を使用することによって音響信号を出力するか、あるいは、表示スクリーン２９４を使用することによって画像又は映像を表示する。
無線通信モジュール２６０は、電子機器２００に適用される、無線ローカルエリアネットワーク（wireless local area network，ＷＬＡＮ）（例えば、ワイヤレス・フィデリティ（wireless Fidelity，Ｗｉ－Ｆｉ）ネットワーク）、ブルートゥース（Bluetooth，ＢＴ）、グローバル・ナビゲーション・サテライト・システム（global navigation satellite system，ＧＮＳＳ）、周波数変調（frequency modulation，ＦＭ）、近距離通信（near field communication，ＮＦＣ）技術、赤外線（infrared，ＩＲ）技術、などを含む無線通信ソリューションを提供し得る。無線通信モジュール２６０は、少なくとも１つの通信処理モジュールを組み込む１つ以上のコンポーネントであってよい。無線通信モジュール２６０は、アンテナ２を使用することによって電磁波を受け、電磁波信号に対して周波数変調及びフィルタリング処理を実行し、処理された信号プロセッサ２１０へ送る。無線通信モジュール２６０は更に、送信されるべき信号をプロセッサ２１０から受信し、その信号に対して周波数変調及び増幅を実行し、信号を、アンテナ２を使用することによる放射のために、電磁波に変換し得る。
いくつかの実施形態において、電子機器２００のアンテナ１は、モバイル通信モジュール２５０へ結合され、アンテナ２は、無線通信モジュール２６０へ結合され、それにより、電子機器２００は、無線通信技術を使用することによってネットワーク及び他のデバイスと通信することができる。無線通信技術には、グローバル・システム・フォー・モバイル・コミュニケーションズ（global system for mobile communications，ＧＳＭ）、汎用パケット無線サービス（general packet radio service，ＧＰＲＳ）、符号分割多重アクセス（code division multiple access，ＣＤＭＡ）、広帯域符号分割多重アクセス（wideband code division multiple access，ＷＣＤＭＡ）、時分割符号分割多重アクセス（time-division code division multiple access，ＴＤ－ＳＣＤＭＡ）、ロング・ターム・エボリューション（long term evolution，ＬＴＥ）、ＢＴ、ＧＮＳＳ、ＷＬＡＮ、ＮＦＣ、ＦＭ、及び／又はＩＲ技術を含まれ得る。ＧＮＳＳには、グローバル・ポジショニング・システム（global positioning system，ＧＰＳ）、グローバル・ナビゲーション・サテライト・システム（global navigation satellite system，ＧＬＯＮＡＳＳ）、北斗衛星導航系統（Beidou navigation satellite system，ＢＤＳ）、準天頂衛星システム（quasi-zenith satellite system，ＱＺＳＳ）、及び／又は衛星に基づいた補助システム（satellite based augmentation system，ＳＢＡＳ）が含まれ得る。
電子機器２００は、ＧＰＵ，表示スクリーン２９４、アプリケーションプロセッサ、などを使用することによって表示機能を実装する。ＧＰＵは、画像処理のためのマイクロプロセッサであり、表示スクリーン２９４及びアプリケーションプロセッサへ接続されている。ＧＰＵは、数学演算及び幾何演算を実行するよう構成され、グラフィクスレンダリングのために使用される。プロセッサ２１０は、表示情報を生成又は変更するようプログラム命令を実行する１つ以上のＧＰＵを含んでもよい。
表示スクリーン２９４は、画像、映像、などを表示するよう構成される。表示スクリーン２９４は表示パネルを含む。表示パネルは、液晶ディスプレイ（liquid crystal display，ＬＣＤ）、有機発光ダイオード（organic light-emitting diode、ＯＬＥＤ）、アクティブマトリクス有機発光ダイオード（active-matrix organic light emitting diode，ＡＭＯＬＥＤ）、フレックス発光ダイオード（flex light-emitting diode，ＦＬＥＤ）、ミニＬＥＤ、マイクロＬＥＤ、マイクロＯＬＥＤ、量子ドット発光ダイオード（quantum dot light emitting diode，ＱＬＥＤ）、などであってもよい。
本願のこの実施形態における表示スクリーン２９４は、タッチスクリーンであってよい。つまり、タッチセンサ２８０Ｋは、表示スクリーン２９４に組み込まれている。タッチセンサ２８０Ｋは、「タッチパネル」としても知られ得る。具体的に言えば、表示スクリーン２９４は、表示パネル及びタッチパネルを含み得る。タッチセンサ２８０Ｋ及び表示スクリーン２９４は、「タッチスクリーン」とも呼ばれるタッチスクリーンを形成する。タッチセンサ２８０Ｋは、タッチセンサ２８０Ｋで又はその近くで起こるタッチ操作を検出するよう構成される。タッチセンサ２８０Ｋがタッチ操作を検出した後、カーネルレイヤのドライバ（例えば、ＴＰドライバ）は、タッチイベントタイプを決定すべく、タッチ操作を上位レイヤへ転送し得る。タッチ操作に関連した視覚出力は、表示スクリーン２９４を使用することによって提供され得る。他の実施形態においては、タッチセンサ２８０Ｋは、電子機器２００の表面に代替的に配置されるか、あるいは、表示スクリーン２９４とは別の位置に配置されてもよい。
電子機器２００は、ＩＳＰ、カメラ２９３、ビデオコーデック、ＧＰＵ、表示スクリーン２９４、アプリケーションプロセッサ、などを使用することによって撮影機能を実装してもよい。ＩＳＰは、カメラ２９３によってフィードバックされたデータを処理するよう構成される。カメラ２９３は、静止画又は映像を捕捉するよう構成される。デジタル信号プロセッサは、デジタル信号を処理するよう構成され、デジタル画像信号に加えて他のデジタル信号を処理してもよい。ビデオコーデックは、デジタル映像を圧縮又は圧縮解除するよう構成される。電子機器２００は、１つ以上のビデオコーデックをサポートしてもよい。従って、電子機器２００は、複数の符号化フォーマット、例えば、ムービング・ピクチャ・エキスパート・グループ（moving picture experts group，ＭＰＥＧ）１、ＭＰＥＧ２、ＭＰＥＧ３、及びＭＰＥＧ４で映像を再生又は記録することができる。
ＮＰＵは、ニューラルネットワーク（neural-network，ＮＮ）コンピューティングプロセッサである。生物学的ニューラルネットワークの構造を参照して、例えば、人の脳のニューロン間の転送モードを参照して、ＮＰＵは、入力情報を即座に処理し、更には、自己学習を連続して実行することができる。ＮＰＵは、インテリジェント・コグニションなどのアプリケーション、例えば、画像認識、人の顔の認識、発話認識、及びテキスト理解を電子機器２００で実装することができる。
外部メモリインターフェース２２０は、外部記憶カード、例えば、マイクロＳＤカードを接続して、電子機器２００の記憶容量を拡張するよう構成され得る。外部記憶カードは、データ記憶機能を実装するよう、外部メモリインターフェース２２０を使用することによってプロセッサ２１０と通信する。内部メモリ２２１は、コンピュータ実行可能なプログラムコードを記憶するよう構成され得、コンピュータ実行可能なプログラムコードは命令を含む。プロセッサ２１０は、内部メモリ２２１に記憶されている命令を実行することによって、電子機器２００の様々な機能アプリケーション及びデータ処理を実行する。例えば、本願のこの実施形態において、プロセッサ２１０は、内部メモリ２２１に記憶されている命令を実行してもよい。内部メモリ２２１は、プログラム記憶エリア及びデータ記憶エリアを含み得る。プログラム記憶エリアは、オペレーティングシステム、少なくとも１つの機能によって必要とされるアプリケーションプログラム（例えば、音響再生機能又は画像再生機能）、などを記憶し得る。データ記憶エリアは、電子機器２００を使用する過程で生成されたデータ（例えば、オーディオデータ又は電話帳）を記憶し得る。加えて、内部メモリ２２１は、高速ランダム・アクセス・メモリを含んでもよく、更には、不揮発性メモリ、例えば、少なくとも１つの磁気ディスク記憶デバイス、フラッシュメモリ、又はユニバーサル・フラッシュ・ストレージ（universal flash storage，ＵＦＳ）を含んでもよい。
電子機器２００は、オーディオモジュール２７０、スピーカ２７０Ａ、電話レシーバ２７０Ｂ、マイクロホン２７０Ｃ、ヘッドセットジャック２７０Ｄ、アプリケーションプロセッサ、などを使用することによって音楽の再生又は録音などのオーディオ機能を実装してもよい。
オーディオモジュール２７０は、デジタルオーディオ情報を出力のためにアナログオーディオ信号に変換するよう構成され、また、アナログオーディオ入力をデジタルオーディオ信号に変換するよう構成される。オーディオモジュール２７０は、オーディオ信号をエンコード及びデコードするよう更に構成されてもよい。「ラウドスピーカ」とも呼ばれるスピーカ２７０は、オーディオ電気信号を音響信号に変換するよう構成される。「イヤピース」とも呼ばれる電話レシーバ２７０Ｂは、オーディオ電気信号を音響信号に変換するよう構成される。「マイク」又は「電気音響変換器」とも呼ばれるマイクロホン２７０Ｃは、音響信号を電気信号に変換するよう構成される。ヘッドセットジャック２７０Ｄは、有線ヘッドセットへ接続するよう構成される。
圧力センサ２８０Ａは、圧力信号を検知するよう構成され、圧力信号を電気信号に変換し得る。いくつかの実施形態において、圧力センサ２８０Ａは、表示スクリーン２９４に配置されてもよい。圧力センサ２８０Ａは、抵抗性圧力センサ、誘導性圧力センサ、及び容量性圧力センサなどの複数のタイプに分類される。容量性圧力センサは、導電材料を有する少なくとも２つの平行板を含み得る。力が圧力センサ２８０Ａに加えられると、電極間の容量が変化する。電子機器２００は、容量の変換に基づいて圧力の強さを決定する。タッチ操作が表示スクリーン２９４で起こると、電子機器２００は、圧力センサ２８０Ａに基づいてタッチ操作の強さを検出する。電子機器２００はまた、圧力センサ２８０Ａの検出信号に基づいてタッチ位置を計算し得る。いくつかの実施形態において、同じタッチ位置で起こるがタッチ操作の強さが異なっているタッチ操作は、異なるオペレーション命令に対応し得る。本願のこの実施形態において、電子機器２００は、圧力センサ２８０Ａを使用することによってユーザのタッチ操作の圧力を取得し得る。
キー２９０は、パワーオンキー、ボリュームキー、などを含む。キー２９０は、機械的なキーであってよく、あるいは、タッチキーであってもよい。電子機器２００は、キーから入力を受け取って、電子機器２００のユーザ設定及び機能制御に関連したキー信号入力を生成し得る。モータ２９１は、振動プロンプトを生成し得る。モータ２９１は、着呼振動プロンプトのために使用されてもよく、あるいは、タッチ振動フィードバックのために使用されてもよい。インジケータ２９２は、インジケータであってよく、充電状態又は電力変化を示すために使用されてもよく、あるいは、メッセージ、不在着信、通知、などを示すために使用されてもよい。ＳＩＭカードインターフェース２９５は、ＳＩＭカードを接続するよう構成される。ＳＩＭカードは、ＳＩＭカードが電子機器２００から着脱されるように、ＳＩＭカードインターフェース２９５に挿入されるか、あるいは、ＳＩＭカードインターフェース２９５から引き抜かれ得る。電子機器２００は、１つのＳＩＭカードインターフェース又はＮ個のＳＩＭカードインターフェースをサポートしてよく、ここで、Ｎは１よりも大きい正の整数である。ＳＩＭカードインターフェース２９５は、ナノＳＩＭカード、マイクロＳＩＭカード、ＳＩＭカード、などをサポートし得る。
次の実施形態における全ての方法は、上記のハードウェア構造を備えている電子機器２００で実装され得る。
以下は、本願の実施形態で使用される用語について記載する。
垂直同期信号１：例えば、ＶＳＹＮＣ＿ＡＰＰ。垂直同期信号１は、１つ以上のレイヤの描画をトリガするために使用され得る。留意されるべきは、本願の実施形態において、「垂直同期信号１は、１つ以上のレイヤの描画をトリガするために使用され得る」とは、具体的に、垂直同期信号１が１つ以上のレイヤの描画をトリガしかつ１つ以上のレイヤのレンダリングをトリガするために使用され得ることを意味することである。つまり、本願の実施形態において、描画された１つ以上のレイヤは、レンダリングされた１つ以上のレイヤである。本願の実施形態において、垂直同期信号１に応答して、電子機器は、複数の描画スレッド内の各描画スレッドを使用することによってアプリケーションごとに１つ以上のレイヤを描画し得る。具体的に言えば、垂直同期信号１に応答して、電子機器は、１つ以上のアプリケーションのために同時に描画タスクを実行して、各アプリケーションに対応する１つ以上のレイヤを描画し得る。１つ以上のアプリケーションの詳細な説明については、以下の実施形態における関連する内容を参照されたい。詳細は、本願の実施形態においてここで記載されない。
垂直同期信号２：例えば、ＶＳＹＮＣ＿ＳＦ。垂直同期信号２は、画像フレームを取得するよう、描画された１つ以上のレイヤに対するレイヤ組み立てをトリガするために使用され得る。
垂直同期信号３：例えば、ＨＷ＿ＶＳＹＮＣ。垂直同期信号３は、画像フレームをリフレッシュ及び表示するようハードウェアをトリガするために使用され得る。
本願の実施形態において、垂直同期信号１（例えば、ＶＳＹＮＣ＿ＡＰＰ）は、特許請求の範囲で記載される第１垂直同期信号であり、垂直同期信号２（例えば、ＶＳＹＮＣ＿ＳＦ）は、特許請求の範囲で記載される第３垂直同期信号であり、垂直同期信号３（ＨＷ＿ＶＳＹＮＣ）は、特許請求の範囲で記載される第２垂直同期信号である。
留意されるべき、垂直同期信号の名称は、異なるシステム又はアーキテクチャでは異なる場合があることである。例えば、いくつかのシステム又はアーキテクチャでは、１つ以上のレイヤの描画をトリガするために使用される垂直同期信号（つまり、垂直同期信号１）の名称は、ＶＳＹＮＣ＿ＡＰＰでなくてもよい。ただし、垂直同期信号の名称にかかわらず、垂直同期信号が、類似した機能を備え、かつ、本願の実施形態で提供される方法の技術的考えに従う同期信号である限りは、そのような考えは、本願の保護範囲内に含まれるべきである。
更に、垂直同期信号の定義は、異なるシステム又はアーキテクチャにおいて異なってもよい。例えば、他のシステム又はアーキテクチャでは、垂直同期信号１の定義は、垂直同期信号１が１つ以上のレイヤのレンダリングをトリガするために使用される、というものであってもよく、垂直同期信号２の定義は、垂直同期信号２が、１つ以上のレイヤに基づいた画像フレームの生成をトリガするために使用される、というものであってもよく、垂直同期信号３の定義は、垂直同期信号３が画像フレームの表示をトリガするために使用され得る、というものであってもよい。本願の実施形態において、垂直同期信号の定義は限定されない。ただし、垂直同期信号の定義にかかわらず、垂直同期信号が、類似した機能を有しており、かつ、本願の実施形態で提供される方法の技術的考えに従う同期信号である限りは、そのような考えは、本願の保護範囲内に含まれるべきである。
図１Ａを参照して、ユーザ操作に応答して（例えば、タッチ操作がＴＰに対してユーザによって行われ、図３に示されるように、指がＴＰにタッチする）、あるいは、ＵＩイベントが電子機器で起こる場合に、ＵＩフレームワークは、タッチイベントに対応する１つ以上のレイヤを描画するよう、垂直同期信号１が到着する時点でＵＩスレッドを呼び出し、次いで、１つ以上のレイヤをレンダリングするようレンダリングスレッドを呼び出し得る。例えば、ユーザ操作は、代替的に、マウス、キー、などを使用することによってユーザによって入力された操作であってもよい。マウス、キー、などを使用することによってユーザによって入力されたユーザ操作に応答して、電子機器はまた、電子機器のフルエンシを改善するために本願の実施形態における方法を使用し得る。次いで、ハードウェアコンポーザ（hardware composer，ＨＷＣ）は、描画された１つ以上のレイヤ（つまり、レンダリングされた１つ以上のレイヤ）に対してレイヤ組み立てを実行して画像フレームを取得するよう、垂直同期信号２が到着する時点で組み立てスレッドを呼び出し得る。最後に、ハードウェア表示モジュールは、垂直同期信号３が到着する時点で、ＬＣＤ（つまり、表示スクリーン、例えば、表示スクリーン２９４、ここでは、ＬＣＤが例として使用される）で画像フレームをリフレッシュ及び表示し得る。ＵＩイベントは、ＴＰに対してユーザによって行われたタッチ操作によってトリガされてもよい。例えば、ＵＩイベントは、電子機器のフォアグラウンドアプリケーションが自動的にピクチャを切り替えるときにトリガされ得る。フォアグラウンドアプリケーションは、電子機器の表示スクリーンに現在表示されているインターフェースに対応するアプリケーションである。
留意されるべきは、ＵＩフレームワークは、垂直同期信号１に基づいてレイヤの描画及びレンダリングを周期的に実行し、ハードウェアコンポーザＨＷＣは、垂直同期信号２に基づいてレイヤの組み立てを周期的に実行し、ＬＣＤは、垂直同期信号３に基づいて画像フレームを周期的にリフレッシュする、ことである。
垂直同期信号３は、電子機器の表示スクリーンによって能動的にトリガされるハードウェア信号である。本願の実施形態において、垂直同期信号３（例えば、ＨＷ＿ＶＳＹＮＣ）の信号周期Ｔ３は、電子機器の表示スクリーンのスクリーンリフレッシュレートに基づき決定される。具体的に、垂直同期信号３の信号周期Ｔ３は、電子機器の表示スクリーン（例えば、ＬＣＤ）のスクリーンリフレッシュレートの逆数である。
例えば、電子機器の表示スクリーンのスクリーンリフレッシュレートは、６０ヘルツ（Ｈｚ）、７０Ｈｚ、７５Ｈｚ、又は８０Ｈｚといった如何なる値であってもよい。スクリーンリフレッシュレートが６０Ｈｚであると仮定すると、垂直同期信号３の信号周期は、Ｔ３＝１／６０＝０．０１６６７秒（ｓ）＝１６．６６７ミリ秒（ｍｓ）である。留意されるべきは、電子機器は、複数の異なるスクリーンリフレッシュレートをサポートしてもよい、ことである。例えば、電子機器によってサポートされている最大スクリーンリフレッシュレートは８０Ｈｚであることが仮定される。この場合に、電子機器は、８０Ｈｚ、６０Ｈｚ、４０Ｈｚ、などのスクリーンリフレッシュレートをサポートし得る。本願の実施形態におけるスクリーンリフレッシュレートは、電子機器によって現在使用されているスクリーンリフレッシュレートである。すなわち、垂直同期信号３の信号周期Ｔ３は、電子機器によって現在使用されているスクリーンリフレッシュレートの逆数である。
留意されるべきは、本願の実施形態における垂直同期信号３は、周期離散信号である、ことである。例えば、図５に示されるように、１つの信号周期（例えば、Ｔ３）のインターバルで、ハードウェアによって能動的にトリガされる１つの垂直同期信号３が存在する。図５で複数回現れる垂直同期信号３は、垂直同期信号３の信号周期Ｔ３に基づいて順次的に到着する。
垂直同期信号１及び垂直同期信号２は、垂直同期信号３に基づき生成される。すなわち、垂直同期信号３は、垂直同期信号１及び垂直同期信号２の信号源であり得る。代替的に、垂直同期信号１及び垂直同期信号２は、垂直同期信号３と同期する。従って、垂直同期信号１及び垂直同期信号２の信号周期は、垂直同期信号３の信号周期と同じであり、信号の位相は一致する。例えば、図５に示されるように、垂直同期信号１の信号周期Ｔ１、垂直同期信号２の信号周期Ｔ２、及び垂直同期信号３の信号周期Ｔ３は、同じである。つまり、Ｔ１＝Ｔ２＝Ｔ３である。更に、図５に示されるように、垂直同期信号１、垂直同期信号２、及び垂直同期信号３の位相は一致する。実際の実施プロセスでは、様々な要因（例えば、プロセッシング性能）に起因して、垂直同期信号１と、垂直同期信号２と、垂直同期信号３との間には、位相誤差が存在することがある、と理解され得る。留意されるべきは、位相誤差は、本願の実施形態における方法の理解の中では無視されることである。
留意されるべきは、垂直同期信号１及び垂直同期信号２も周期離散信号であることである。例えば、図５に示されるように、１つの信号周期（例えば、Ｔ１）のインターバルで１つの垂直同期信号１が存在し、１つの信号周期（例えば、Ｔ２）のインターバルで１つの垂直同期信号２が存在する。つまり、図５で複数回現れる垂直同期信号１は、垂直同期信号１の信号周期Ｔ１に基づき順次的に到着し、図５で複数回現れる垂直同期信号２は、垂直同期信号２の信号周期Ｔ２に基づき順次的に到着する。そのため、垂直同期信号３、垂直同期信号１、及び垂直同期信号２は全て、周期離散信号と見なされ得る。
垂直同期信号１、垂直同期信号２、及び垂直同期信号３は全て、周期信号である。従って、本願の実施形態において、垂直同期信号の到着（例えば、垂直同期信号１の到着）は、垂直同期信号のパルスエッジの到着を意味し、垂直同期信号に対する応答（例えば、垂直同期信号１に対する応答）は、垂直同期信号のパルスエッジに対する応答を意味する。例えば、図５に示されるように、時間ｔ１での垂直同期信号１の到着は、時間ｔ１での垂直同期信号１のパルスエッジの到着を意味し、時間ｔ１での垂直同期信号に対する応答は、時間ｔ１での垂直同期信号１のパルスエッジに対する応答を意味する。
パルスエッジは、オシロスコープ又は観測システムから視覚的に観測されるパルスエッジである。異なるシステムでは、立ち上がりエッジ、立ち下がりエッジ、又は両方が含まれ得る。実際のシステムでは、パルスエッジは、タイマ、割り込み信号、などのフリッピングによって実装され得る。
本願の実施形態において、垂直同期信号１、垂直同期信号２、及び垂直同期信号３の信号周期は全て、同期周期Ｔｚと呼ばれ得る。つまり、Ｔ１＝Ｔ２＝Ｔ３＝Ｔｚである。すなわち、本願の実施形態における同期周期は、電子機器の表示スクリーンのスクリーンリフレッシュレートの逆数である。図３に示されるフレーム１、フレーム２、フレーム３、及びフレーム４の全てが、上記の同期周期である。例えば、電子機器の表示スクリーンのスクリーンリフレッシュレートは、６０ヘルツ（Ｈｚ）、７０Ｈｚ、７５Ｈｚ、又は８０Ｈｚといった如何なる値であってもよい。スクリーンリフレッシュレートが６０Ｈｚであり得ると仮定すると、同期周期Ｔｚ＝１／６０＝０．０１６６７秒（ｓ）＝１６．６６７ミリ秒（ｍｓ）、すなわち、Ｔ１＝Ｔ２＝Ｔ３＝Ｔｚ＝１６．６６７ｍｓである。
ＴＰはタッチパネルであり、ＴＰは表示スクリーン２９４に組み込まれ得る。ＴＰは、上記のタッチセンサ２８０Ｋなどの、タッチセンサとも呼ばれる。ＴＰは、ユーザのタッチ操作を周期的に検出し得る。タッチ操作を検出した後、ＴＰは、垂直同期信号１に基づきレイヤの描画及びレンダリングを実行するようＵＩフレームワークをトリガし、垂直同期信号２に基づきレイヤの組み立てを実行するようハードウェアコンポーザＨＷＣをトリガするために、垂直同期信号１及び垂直同期信号２をウェイクアップし得る。ＴＰによってタッチ操作を検出する検出周期は、垂直同期信号３（例えば、ＨＷ＿ＶＳＹＮＣ）の信号周期Ｔ３と同じである。
電子機器によって実行されるレイヤの描画、レンダリング、及び組み立ては、２つの同期周期でしか完了され得ないことが理解され得る。これは、描画スレッドが垂直同期信号１に基づきレイヤ描画を実行し、次いで、レンダリングスレッドがレイヤレンダリングを実行し、組み立てスレッドが垂直同期信号２（例えば、ＶＳＹＮＣ＿ＳＰ）に基づきレイヤ組み立てを実行するからである。
例えば、図３に示されるように、レイヤの描画及びレンダリングはフレーム２で完了し、一方、画像フレーム組み立てはフレーム３で完了する。図３に示されるフレーム１、フレーム２、フレーム３、及びフレーム４の夫々は、１つの同期周期に対応する。
しかし、いくつかの場合に、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間は、１つの同期周期以下であり得る。具体的に言えば、上記の２つの同期周期（図３に示されるフレーム２及びフレーム３）で、電子機器は、レイヤの描画、レンダリング、及び組み立てでほんの少しの時間しか費やさなくてもよいが、垂直同期信号２及び垂直同期信号３の到着を待つことに他の時間を費やす。従って、電子機器の応答レイテンシは必ずしも延長されず、電子機器のフルエンシ（例えば、タッチレイテンシ）は影響を及ぼされる。
本願の実施形態で提供される方法では、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間が単フレームレンダリング要件（例えば、必要とされる存続期間が１つの同期周期よりも短いか又はそれと等しい）場合に、レイヤの描画、レンダリング、及び組み立ては１つの同期周期で行われる。このようにして、図１Ｂに示される「描画レイテンシ」、「レンダリングレイテンシ」、及び「組み立てレイテンシ」は短縮可能であり、それにより、電子機器の応答レイテンシは短縮され、電子機器のフルエンシ（例えば、タッチレイテンシ）は改善される。具体的に、本願の実施形態における方法は、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率を高めることができる。すなわち、利点は、電子機器の応答レイテンシを１つの同期周期に短縮することであり得る。
本願の実施形態に従う、垂直同期信号に基づいた画像処理の方法は、画像フレーム生成装置によって実行され得る。画像フレーム生成装置は、上記の電子機器のうちのいずれか１つであってよい（例えば、位相を調整する装置は、図２に示される電子機器２００であってよい）。代替的に、画像フレーム生成装置は、電子機器のＣＰＵ、あるいは、す電子機器で垂直同期信号に基づいた画像処理の方法を実行するよう構成された制御モジュールであってもよい。本願の実施形態に従う、垂直同期信号に基づいた画像処理の方法は、電子機器が垂直同期信号に基づいた画像処理の方法を実行する例を使用することによって、記載される。
上記の実施形態では、本願の実施形態における方法は、第１垂直同期信号が垂直同期信号１（例えば、ＶＳＹＮＣ＿ＡＰＰ信号）であり、第３垂直同期信号が垂直同期信号２（例えば、ＶＳＹＮＣ＿ＳＦ信号）であり、第２垂直同期信号は垂直同期信号３（例えば、ＨＷ＿ＶＳＹＮＣ）である例を使用することによって、記載される。
本願のこの実施形態は、垂直同期信号に基づいた画像処理の方法を提供する。図４に示されるように、垂直同期信号に基づいた画像処理の方法は、Ｓ４０１及びＳ４０２を含み得る。
Ｓ４０１．電子機器は、垂直同期信号１に応答して１つ以上の第１レイヤを描画し、１つ以上の第１レイヤをレンダリングし、１つ以上の第１レイヤをレンダリングした後に、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得する。
一般に、垂直同期信号３に対する垂直同期信号１のレイテンシ時間はゼロであり、それらの位相差はゼロである。例えば、図５に示されるように、垂直同期信号３に対する垂直同期信号１のレイテンシ時間及び垂直同期信号２のレイテンシ時間はゼロであり、それらの位相差はゼロである。垂直同期信号１の信号周期Ｔ１、垂直同期信号２の信号周期Ｔ２、及び垂直同期信号３の信号周期Ｔ３が同じである（すなわち、Ｔ１＝Ｔ２＝Ｔ３）との前提で、垂直同期信号３に対する垂直同期信号１のレイテンシ時間及び垂直同期信号２のレイテンシ時間はゼロである。具体的に、垂直同期信号３が到着するとき、垂直同期信号１及び垂直同期信号２も到着する。
例えば、図５又は図６Ａ（ａ）に示されるように、時間ｔ１で、垂直同期信号１、垂直同期信号２、及び垂直同期信号３は同時に到着し、時間ｔ２で、垂直同期信号１、垂直同期信号２、及び垂直同期信号３は同時に到着し、時間ｔ３で、垂直同期信号１、垂直同期信号２、及び垂直同期信号３は同時に到着し、時間ｔ４で、垂直同期信号１、垂直同期信号２、及び垂直同期信号３は同時に到着し、時間ｔ５で、垂直同期信号１、垂直同期信号２、及び垂直同期信号３は同時に到着する。
例えば、図６Ａ（ａ）に示されるように、垂直同期信号１は時間ｔ１で到着し、時間ｔ１での垂直同期信号１に応答して、電子機器は描画１及びレンダリング１を実行してもよく、時間ｔ２で、垂直同期信号１は到着し、時間ｔ２での垂直同期信号１に応答して、電子機器は描画２及びレンダリング２を実行してもよい。
一般に、電子機器（つまり、電子機器のＨＷＣ）は、垂直同期信号２に基づきレイヤ組み立てを実行する。具体的に言えば、電子機器（つまり、電子機器のＵＩスレッド及びレンダリングスレッド）が１つ以上の第１レイヤのレンダリングを完了した場合でさえ、垂直同期信号２が検出されない場合には、ＨＷＣは、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行しない。ＨＷＣは、垂直同期信号２の時間が到着する場合にのみ、画像フレームを取得するようレイヤ組み立てを実行する。
例えば、図６Ａ（ａ）に示されるように、電子機器が時間ｔ６でレイヤレンダリング（つまり、「レンダリング１」）を完了した場合でさえ、垂直同期信号２は、時間ｔ６の後の時間ｔ２にしか到着することができず、時間ｔ２での垂直同期信号２に応答して、電子機器（つまり、電子機器のＨＷＣ）は、第１画像フレームを取得するようレイヤ組み立てを実行する（つまり、「画像フレーム組み立て１」を実行する）ことができる。すなわち、電子機器は、図６Ａ（ａ）に示されるように、Δｔ１の間待った後にしか「画像フレーム組み立て１」を実行することができない。
他の例として、図６Ａ（ａ）に示されるように、電子機器が時間ｔ７でレイヤレンダリング（つまり、「レンダリング２」）を完了した場合でさえ、垂直同期信号２は、時間ｔ７の後の時間ｔ３にしか到着することができず、時間ｔ３での垂直同期信号２に応答して、電子機器（つまり、電子機器のＨＷＣ）は、第１画像フレームを取得するようレイヤ組み立てを実行する（つまり、「画像フレーム組み立て２」を実行する）ことができる。すなわち、電子機器は、図６Ａ（ａ）に示されるように、Δｔ２の間待った後にしか「画像フレーム組み立て２」を実行することができない。
従って、電子機器によって実行されるレイヤの描画、レンダリング、及び組み立ては、２つの同期周期でしか完了することができない。例えば、図６Ａ（ａ）に示されるように、「描画１」及び「レンダリング１」は、時間ｔ１から時間ｔ２までの同期周期で完了し、一方、「画像フレーム組み立て１」は、時間ｔ２からｔ３までの同期周期で完了する。他の例として、図６Ａ（ａ）に示されるように、「描画２」及び「レンダリング２」は、時間ｔ２から時間ｔ３までの同期周期で完了し、一方、「画像フレーム組み立て２」は、時間ｔ３から時間ｔ４までの同期周期で完了する。
しかし、本願のこの実施形態では、電子機器は垂直同期信号２を待つ必要がなく、代わりに、垂直同期信号１に応答して１つ以上の第１レイヤを描画及びレンダリングした後に、つまり、１つ以上の第１レイヤのレンダリングが完了した後に、電子機器は、第１画像フレームを取得するために、レンダリングされた第１レイヤに対してレイヤ組み立てを実行し始め得る。すなわち、電子機器は、レンダリングされた第１レイヤに対するレイヤ組み立てを前もって実行し得る。
例えば、図６Ａ（ｂ）に示されるように、電子機器は、垂直同期信号１に応答して、「描画１」、「レンダリング１」及び「画像フレーム組み立て１」を実行し得る。図６Ａ（ｂ）に示されるように、時間ｔ６で、「描画１」及び「レンダリング１」は終了している。時間ｔ２での垂直同期信号２が到着する前に、電子機器は、時間ｔ６でレイヤ組み立てを実行すること、つまり、「画像フレーム組み立て１」を実行することを開始し得る。すなわち、電子機器は、時間ｔ２での垂直同期信号２の到着を待たずに、「画像フレーム組み立て１」を実行し始め得る。
他の例として、図６Ａ（ｂ）に示されるように、電子機器は、垂直同期信号１に応答して、「描画２」、「レンダリング２」及び「画像フレーム組み立て２」を実行し得る。図６Ａ（ｂ）に示されるように、時間ｔ７で、「描画２」及び「レンダリング２」は終了している。時間ｔ３での垂直同期信号２が到着する前に、電子機器は、時間ｔ ７ でレイヤ組み立てを実行すること、つまり、「画像フレーム組み立て２」を実行することを開始し得る。すなわち、電子機器は、時間ｔ３での垂直同期信号２の到着を待たずに、「画像フレーム組み立て２」を実行し始め得る。
留意されるべきは、１つ以上の第１レイヤが１つの第１レイヤしか含まない場合に、電子機器がその第１レイヤに対してレイヤ組み立てを実行することは、電子機器が、第１レイヤを第１画像フレームに変換するよう第１レイヤのフォーマットを変換することを特に含む。１つ以上の第１レイヤが複数の第１レイヤを含む場合には、電子機器がそれら複数の第１レイヤに対してレイヤ組み立てを実行することは、電子機器が、第１画像フレームを取得するよう複数の第１レイヤに対してレイヤ組み立てを実行することを特に含む。
例えば、Ｓ４０１で、電子機器が、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することは、レンダリングスレッドが１つ以上の第１レイヤのレンダリングを完了した後に、組み立てスレッドが、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得するために呼び出され得るか、あるいは、１つ以上の第１レイヤのレンダリングを完了した後に、レンダリングスレッドが、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得するよう組み立てスレッドをトリガするために、指示メッセージを組み立てスレッドへ送るか、あるいは、レンダリングスレッドが１つ以上の第１レイヤのレンダリングを完了したことを検出すると、組み立てスレッドが、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得し得る、ことを特に含む。
Ｓ４０１で、１つ以上の第１レイヤのレンダリングを完了した後に、電子機器は、レンダリングされた１つ以上の第１レイヤに対して直ちにレイヤ組み立て実行してもよい、と理解され得る。代替的に、Ｓ４０１で、１つ以上の第１レイヤのレンダリングを完了した後に、電子機器は、特定のレイテンシ時間の後に、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行してもよい。すなわち、実際の実施プロセスでは、電子機器によって実行されるレイヤレンダリングからレイヤ組み立ての間には、レイテンシが存在することがある。
Ｓ４０２．電子機器は、垂直同期信号３に応答して、第１画像フレームをリフレッシュ及び表示する。
図６Ａ（ｂ）に示されるように、時間ｔ２で、垂直同期信号３が到着し、時間ｔ２での垂直同期信号３に応答して、電子機器は、「画像フレーム組み立て１」を実行することによって取得された画像フレーム（例えば、第１画像フレーム）をリフレッシュ及び表示し、つまり、「画像フレーム表示１」を実行し得る。時間ｔ３で、垂直同期信号３が到着し、時間ｔ３での垂直同期信号３に応答して、電子機器は、「画像フレーム組み立て２」を実行することによって取得された画像フレームをリフレッシュ及び表示し、つまり、「画像フレーム表示２」を実行し得る。
実施形態（１）で電子機器の応答レイテンシを短縮する原理及び効果に関する解析：
本願のこの実施形態では、図６Ａ（ｂ）を参照して、電子機器がＳ４０１を実行した後に電子機器の応答レイテンシを短縮する原理及び効果が解析され、ここで記載される。
（１）レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間が１つの同期周期よりも短いか又はそれと等しい場合（つまり、第１の場合）に、本願のこの実施形態で応答レイテンシを短縮する原理及び効果は、記載される。
レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間が１つの同期周期以下であり得る。この場合に、電子機器は、Ｓ４０１を実行することによって、１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができる。
例えば、図６Ａ（ｂ）に示されるように、電子機器は、時間ｔ１から時間ｔ２までの同期周期で「描画１」、「レンダリング１」、及び「画像フレーム組み立て１」を完了し、図６Ａ（ｂ）に示されるように、電子機器は、時間ｔ２から時間ｔ３までの同期周期で「描画２」、「レンダリング２」、及び「画像フレーム組み立て２」を完了する。
図６Ａ（ｂ）を図６Ａ（ａ）と比較することによって、電子機器によって第１画像フレームをリフレッシュ及び表示する時間は、本願のこの実施形態における方法を使用することによって、１つの同期周期だけ進むことができることが分かる（例えば、時間ｔ２は、時間ｔ３よりも１同期周期Ｔｚ進んでいる）。すなわち、本願のこの実施形態における方法は、１つの同期周期だけ電子機器の応答レイテンシを短縮することができ、かつ、電子機器のフルエンシ（例えば、タッチレイテンシ）を改善することができる。
（２）レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間が１つの同期周期よりも長い場合（つまり、第２の場合）に、本願のこの実施形態で応答レイテンシを短縮する原理及び効果は、記載される。
レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間、又はレイヤの描画及びレンダリングのために電子機器によって必要とされる存続期間は、１つの同期周期よりも長いことがある。この場合に、「垂直同期信号２に応答してレイヤ組み立てを実行する」と言う従来の解決法が使用されるならば、画像フレームをリフレッシュ及び表示する過程で、フレーム損失現象が起こる可能性がある。具体的に、画像フレームをリフレッシュ及び表示する過程で、表示スクリーンは、繰り返し画像フレームを表示する可能性がある。従って、表示スクリーンの画像表示のフルエンシは影響を及ぼされ、ユーザの視覚体験は影響を及ぼされる。
例えば、図７（ａ）に示されるように、時間ｔ１で、垂直同期信号１が到着し、電子機器は、時間ｔ１で垂直同期信号１に応答して「描画１」及び「レンダリング１」を実行する。時間ｔ２で、垂直同期信号２が到着し、電子機器は、時間ｔ２で垂直同期信号２に応答して「画像フレーム組み立て１」を実行する。時間ｔ３で、垂直同期信号３が到着し、電子機器は、時間ｔ３で垂直同期信号３に応答して「画像フレーム表示１」を実行する。図７（ａ）に示されるように、時間ｔ２で、垂直同期信号１が到着し、電子機器は、時間ｔ２で垂直同期信号１に応答して「描画２」及び「レンダリング２」を実行する。「描画２」及び「レンダリング２」は１つの同期周期（例えば、時間ｔ２から時間ｔ３までの同期周期）で完了され得ないので、つまり、電子機器は、時間ｔ３での垂直同期信号２が到着する前に「レンダリング２」を完了することができないので、電子機器は、時間ｔ４での垂直同期信号２の到着を待つしかなく、時間ｔ４で垂直同期信号２に応答して「画像フレーム組み立て２」を実行することができる。従って、電子機器は、時間ｔ５での垂直同期信号３の到着も待つことになり、電子機器は、時間ｔ５で垂直同期信号３に応答して「画像フレーム表示２」を実行する。
上記の記載を参照して、図７（ａ）からは、「描画２」及び「レンダリング２」が１つの同期周期（例えば、時間ｔ２からｔ３までの同期周期）で完了され得ないので、電子機器は、時間ｔ４での垂直同期信号２の到着を待つしかなく、時間ｔ４で垂直同期信号２に応答して「画像フレーム組み立て２」を実行することができる、ことが分かる。従って、時間ｔ４から時間ｔ５までの同期周期では、表示スクリーンの画像表示においてフレーム損失現象が起こり、つまり、表示スクリーンは繰り返し画像フレームを表示し、つまり、表示スクリーンは、時間ｔ４から時間ｔ５まで「画像フレーム表示１」を実行し続ける。時間ｔ４から時間ｔ５まで表示スクリーンによって表示される画像フレームと、時間ｔ３から時間ｔ４まで表示される画像フレームとは、同じ画像フレームである。
しかし、本願のこの実施形態における方法は、表示スクリーンが繰り返し画像フレームを表示することを防ぐために、画像表示においてフレーム損失現象を回避することができる。つまり、本願のこの実施形態における方法は、表示スクリーンの画像表示のフルエンシを確かにすることができ、それによって、ユーザの視覚体験を改善する。
例えば、図７（ｂ）に示されるように、電子機器は、垂直同期信号１に応答して「描画１」、「レンダリング１」、及び「画像フレーム組み立て１」を実行し得る。図７（ｂ）に示されるように、時間ｔ９で、「描画１」及び「レンダリング１」は終了している。時間ｔ２での垂直同期信号２が到着する前に、電子機器は、時間ｔ９でレイヤ組み立てを実行すること、つまり、「画像フレーム組み立て１」を実行することを開始し得る。すなわち、電子機器は、時間ｔ２での垂直同期信号２の到着を待たずに、「画像フレーム組み立て１」を実行し始める。
他の例として、図７（ｂ）に示されるように、電子機器は、垂直同期信号１に応答して「描画２」、「レンダリング２」、及び「画像フレーム組み立て２」を実行し得る。図７（ｂ）に示されるように、時間ｔ１０で、「描画２」及び「レンダリング２」は終了している。時間ｔ４での垂直同期信号２が到着する前に、電子機器は、時間ｔ１０でレイヤ組み立てを実行すること、つまり、「画像フレーム組み立て２」を実行することを開始し得る。すなわち、電子機器は、時間ｔ４での垂直同期信号２の到着を待たずに、「画像フレーム組み立て２」を実行し始める。
他の例として、図７（ｂ）に示されるように、電子機器は、垂直同期信号１に応答して「描画３」、「レンダリング３」、及び「画像フレーム組み立て３」を実行し得る。図７（ｂ）に示されるように、時間ｔ１１で、「描画３」及び「レンダリング３」は終了している。時間ｔ５での垂直同期信号２が到着する前に、電子機器は、時間ｔ１１でレイヤ組み立てを実行すること、つまり、「画像フレーム組み立て３」を実行することを開始し得る。すなわち、電子機器は、時間ｔ５での垂直同期信号２の到着を待たずに、「画像フレーム組み立て３」を実行し始める。
図７（ｂ）からは、電子機器が時間ｔ１０で「画像フレーム組み立て２」を実行し始め、時間ｔ４での垂直同期信号３が到着する前に「画像フレーム組み立て２」を完了し得る、ことが分かる。従って、時間ｔ４での垂直同期信号３が到着した後に、電子機器は、時間ｔ４で垂直同期信号３に応答して「画像フレーム表示２」を実行し得る。従って、表示スクリーンの画像表示でのフレーム損失現象は回避され得、表示スクリーンの画像表示のフルエンシは確かにされ、それによってユーザの視覚体験を改善することができる。
留意されるべきは、第２の場合に、電子機器は、１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができないことである。図７（ｂ）に示されるように、電子機器は、時間ｔ１から時間ｔ３までの２つの同期周期でのみ「描画１」、「レンダリング１」、及び「組み立て１」を完了し、時間ｔ２から時間ｔ４までの２つの同期周期でのみ「描画２」、「レンダリング２」、及び「組み立て２」を完了する。しかし、表示スクリーンの画像表示でのフレーム損失現象は回避され得、表示スクリーンの画像表示のフルエンシは確かにされ、それによってユーザの視覚体験を改善することができる。加えて、電子機器は、レイヤ組み立てを前もって実行し、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率は、高められ得る。
本願のこの実施形態では、１つ以上のアプリケーションのために電子機器によって上記の方法を実行する原理が記載される。
１つ以上のレイヤは、１つ以上のアプリケーションに対応する描画タスクを実行することによって電子機器によって描画されたレイヤを含んでよい。１つ以上のアプリケーションは、１つ以上のシステムレベルアプリケーション及び１つ以上のユーザレベルアプリケーションのうちの少なくとも１つを含んでよい。例えば、システムレベルアプリケーションには、ステータスバー、ラウンチャ、ナビゲーションバー、及び壁紙が含まれ得る。ユーザレベルアプリケーションには、「設定」、「電話」、及び「ＳＭＳ」などの電子機器のシステムアプリケーション、並びにユーザ操作に応答して電子機器がアプリケーションストアからダウンロードすることができるサードパーティアプリケーションが含まれ得る。例えば、サードパーティアプリケーションは、ＷｅＣｈａｔ、Ａｌｉｐａｙ、又はＢａｉｄｕ ＭＡＰなどのアプリケーションを含んでもよい。本願のこの実施形態で記載される描画タスクは、「レイヤ描画」及び「レイヤレンダリング」を含む。
相応して、Ｓ４０１は、Ｓ４０１ａ及びＳ４０１ｂを含んでもよい．Ｓ４０１ａ．電子機器は、垂直同期信号１に応答して１つ以上のアプリケーションの夫々のために１つ以上の第１レイヤを描画し、１つ以上の第１レイヤをレンダリングする。Ｓ４０１ｂ．電子機器は、１つ以上のアプリケーションのために電子機器によってレンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得する。
留意されるべきは、本願のこの実施形態では、電子機器は、画像フレームを取得するために、１つ以上のアプリケーションのために電子機器によってレンダリングされたレイヤに対してレイヤ組み立てを実行し得ることである。代替的に、電子機器は、複数の画像フレームを取得するように、各アプリケーションのために電子機器によってレンダリングされたレイヤに対して別々にレイヤ組み立てを実行してもよい。本願のこの実施形態（例えば、Ｓ４０１ｂ）は、電子機器が１つ以上のアプリケーションのために電子機器によってレンダリングされたレイヤに対してレイヤ組み立てを実行して画像フレームを取得する例を使用することによって、記載される。
以下は、レイヤの描画、レンダリング、及び組み立てと、画像フレーム表示とを実行するための本願のこの実施形態における方法を１つ以上のアプリケーションのために電子機器によって実行する原理について記載するために、２つの適用シナリオを使用する。
適用シナリオ（１）では、１つ以上のアプリケーションはただ１つのアプリケーションしか含まなくてもよい。電子機器は、１つ以上のレイヤを描画（すなわち、描画及びレンダリング）するよう、そのアプリケーションに対応する描画タスクを実行し得る。すなわち、電子機器は、そのアプリケーションのためにＳ４０１ａを実行して、１つ以上の対応するレイヤを描画及びレンダリングし得る。次いで、電子機器は、Ｓ４０１ｂを実行して、そのアプリケーションのためにレンダリングされた１つ以上のレイヤに対してレイヤ組み立てを実行し得る。
例えば、アプリケーションがアプリケーション１であると仮定すると、電子機器は、アプリケーション１のために１つ以上のレイヤ１を描画及びレンダリングするようＳ４０１ａを実行してもよく、それから、電子機器は、アプリケーション１のためにレンダリングされた１つ以上のレイヤ１に対してレイヤ組み立てを実行して画像フレーム１を取得するようＳ４０１ｂを実行してもよい。
例えば、図６Ａ（ｂ）に示されるように、時間ｔ１での垂直同期信号１に応答して、電子機器は、１つ以上のレンダリングされたレイヤ１を取得するよう「描画１」及び「レンダリング１」を実行し、それから、レンダリングされた１つ以上のレイヤ１に対してレイヤ組み立てを実行して、つまり、「画像フレーム組み立て１」を実行して、画像フレーム１を取得し得る。時間ｔ２での垂直同期信号３に応答して、電子機器は、画像フレーム１をリフレッシュ及び表示するよう「画像フレーム表示１」を実行し得る。
適用シナリオ（２）では、１つ以上のアプリケーションは複数のアプリケーションを含んでもよい。電子機器は、複数のアプリケーションの夫々に対応する描画タスクを実行し、複数のアプリケーションの夫々について１つ以上のレイヤを別々に描画（すなわち、描画及びレンダリング）し得る。具体的に言えば、電子機器は、複数のアプリケーションの夫々のために別々にＳ４０１ａを実行して、１つ以上の対応するレイヤを描画及びレンダリングし得る。次いで、電子機器は、Ｓ４０１ｂを実行して、複数のアプリケーションの夫々のためにレンダリングされた１つ以上のレイヤに対してレイヤ組み立てを実行し得る。すなわち、Ｓ４０１ｂでのレンダリングされた１つ以上のレイヤは、複数のアプリケーションに対応する描画タスクを実行することによって電子機器によって取得されたレイヤを含み得る。
例えば、複数のアプリケーションが２つのアプリケーション（アプリケーション１及びアプリケーションａを含む）であると仮定すると、電子機器は、アプリケーション１のために描画及びレンダリングを実行して１つ以上のレイヤ１を取得し、アプリケーションａのために描画及びレンダリングを実行して１つ以上のレイヤａを取得し得る。次いで、電子機器は、１つ以上のレイヤ１及び１つ以上のレイヤａに対してレイヤ組み立てを実行して画像フレームａを取得し得る。
例えば、図６Ｂに示されるように、時間ｔ１での垂直同期信号１に応答して、電子機器は、１つ以上のレイヤ１を取得するようアプリケーション１のために「描画１」及び「レンダリング１」を実行し、１つ以上のレイヤａを取得するようアプリケーションａのために「描画ａ」及び「レンダリングａ」を実行してよく、それから、電子機器は、１つ以上のレイヤ１及び１つ以上のレイヤａに対して「画像フレーム組み立て１＋ａ」を実行して画像フレームａを取得してよく、時間ｔ２での垂直同期信号３に応答して、電子機器は、画像フレームａをリフレッシュ及び表示するよう「画像フレーム表示１＋ａ」を実行し得る。他の例として、図６Ｂに示されるように、時間ｔ２での垂直同期信号１に応答して、電子機器は、１つ以上のレイヤ２を取得するようアプリケーション１のために「描画２」及び「レンダリング２」を実行し、１つ以上のレイヤｂを取得するようアプリケーションａのために「描画ｂ」及び「レンダリングｂ」を実行してよく、それから、電子機器は、１つ以上のレイヤｂ及び１つ以上のレイヤｂに対して「画像フレーム組み立て２＋ｂ」を実行して画像フレームｂを取得してよく、時間ｔ３での垂直同期信号３に応答して、電子機器は、画像フレームｂをリフレッシュ及び表示するよう「画像フレーム表示２＋ｂ」を実行し得る。
留意されるべきは、図６Ｂに示される「画像フレーム組み立て１＋ａ」及び「画像フレーム組み立て２＋ｂ」は両方とも、１回のレイヤ組み立てを表すことである。電子機器が「画像フレーム表示１＋ａ」又は「画像フレーム表示２＋ｂ」を実行するとき、１つの画像フレームがやはりリフレッシュ及び表示される。
上記の記載からは、本願のこの実施形態における方法が、電子機器が単一のウィンドウを使用することによって１つのアプリケーションのインターフェースを表示するシナリオにだけではなく、複数のウィンドウを使用することによって複数のアプリケーションのインターフェースを表示するシナリオにも適用され得る、ことが分かる。例えば、本願のこの実施形態における方法は、電子機器が横長モードで複数のウィンドウを表示するシナリオに適用されてもよく、あるいは、電子機器が折りたたみ可能なスクリーン上の複数のウィンドウで複数のアプリケーションインターフェースを表示するシナリオに適用されてもよい。単一のウィンドウ又は複数のウィンドウを使用することによってアプリケーションのインターフェースを電子機器によって表示する方法は、本願のこの実施形態においてここでは記載されない。
留意されるべきは、本願のこの実施形態は、電子機器が１つのアプリケーションのために本願のこの実施形態における方法を実行する例を使用することによって記載されることである。しかし、それは、本願のこの実施形態における方法で、電子機器が複数のアプリケーションのためにレイヤの描画、レンダリング、組み立て、及び画像フレーム表示を同時に実行することができないことを意味するものではない。
この実施形態では、上記の適用シナリオ（２）、つまり、複数のアプリケーションのシナリオについて、電子機器によってＳ４０１ｂを実行する具体的な方法が記載される。
場合（１）で、電子機器は、複数のアプリケーションの全てのためのレイヤレンダリングが終わるときに、レンダリングされたレイヤに対してレイヤ組み立てを実行して、第１画像フレームを取得し得る。
例えば、図６Ｂに示されるように、時間ｔ１での垂直同期信号１に応答して、電子機器は、１つ以上のレイヤ１を取得するようアプリケーション１のために「描画１」及び「レンダリング１」を実行し、１つ以上のレイヤａを取得するようアプリケーションａのために「描画ａ」及び「レンダリングａ」を実行し得る。図６Ｂに示されるように、電子機器は、時間ｔ１５で「レンダリングａ」を完了し、時間ｔ６で「レンダリング１」を完了する。場合（１）で、たとえ電子機器が時間ｔ１５で「レンダリングａ」を完了していたとしても、電子機器は「レンダリング１」を完了していないので、電子機器は、時間ｔ１５でレイヤ組み立て（つまり、「画像フレーム組み立て１＋ａ」）を実行し始めない。図６Ｂに示されるように、電子機器は、時間ｔ６では「レンダリングａ」及び「レンダリング１」を完了している。従って、電子機器は、画像フレームａを取得するよう「画像フレーム組み立て１＋ａ」を実行し得る。時間ｔ２での垂直同期信号３に応答して、電子機器は、「画像フレーム表示１＋ａ」、つまり、画像フレームａをリフレッシュ及び表示することを実行し得る。
同様に、電子機器は、時間ｔ１６の後の時間ｔ７で「レンダリングｂ」及び「レンダリング２」を完了している。従って、電子機器は、画像フレームｂを取得するよう「画像フレーム組み立て２＋ｂ」を実行し得る。時間ｔ３での垂直同期信号３に応答して、電子機器は、「画像フレーム表示２＋ｂ」、つまり、画像フレームｂをリフレッシュ及び表示することを実行し得る。
場合（２）で、電子機器は、複数のアプリケーションのうちの一部のレイヤレンダリングが終わるときに、レンダリングされたレイヤに対してレイヤ組み立てを実行して、第１画像フレームを取得し得る。
場合（２）で、上記のＳ４０１ｂは、１つ以上のアプリケーションの中のフォーカスアプリケーション、キーアプリケーション、又は電子機器のフルエンシに密接に関連したアプリケーションの１つ以上の第１レイヤをレンダリングする場合に、１つ以上のアプリケーションのために電子機器によってレンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得すること、により置換されてもよい。フォーカスアプリケーションは、電子機器によって受け取られたユーザタッチ操作に対応するアプリケーション、つまり、実際の焦点が合わせられているアプリケーションである。
例えば、フォーカスアプリケーションが一例として使用される。上記の例を参照して、アプリケーションａがフォーカスアプリケーションであることが仮定される。図６Ｃに示されるように、電子機器は、時間ｔ１５でアプリケーションａのための「レンダリングａ」を完了し、時間ｔ６でアプリケーション１のための「レンダリング１」を完了する。場合（２）で、電子機器は時間ｔ１５では「レンダリング１」を完了していないが、電子機器は、時間ｔ１５でフォーカスアプリケーションのための「レンダリングａ」を完了している。従って、電子機器は、時間ｔ１５でレイヤ組み立てを実行し得る（つまり、「画像フレーム組み立てａ」を実行する）。他の例として、図６Ｃに示されるように、電子機器は、時間ｔ１６でアプリケーションａのための「レンダリングｂ」を完了し、時間ｔ ７ でアプリケーション１のための「レンダリング２」を完了する。場合（２）で、電子機器は時間ｔ１６では「レンダリング２」を完了していないが、電子機器は、時間ｔ１６でフォーカスアプリケーションのための「レンダリングｂ」を完了している。従って、電子機器は、時間ｔ１６でレイヤ組み立てを実行し得る（つまり、「画像フレーム組み立て１＋ｂ」を実行する）。
アプリケーションａはフォーカスアプリケーションであるから、ユーザはアプリケーションａのインターフェースの変化により注意を払う、と理解され得る。すなわち、ユーザは、電子機器のフルエンシに対するフォーカスアプリケーションのインターフェースの変化の影響により注意を払う。上記の例では、電子機器は、時間ｔ１５で「画像フレーム組み立てａ」を実行し、時間ｔ１６で「画像フレーム表示１＋ｂ」を実行する。フォーカスアプリケーションａのインターフェースの変化もインターフェース上で反映され得る。従って、電子機器のフルエンシに対するユーザの視覚体験は改善され得る。
場合（３）で、電子機器は、複数のアプリケーションのうちの一部の予めセットされたレイヤのレンダリングが終わるときに、レンダリングされたレイヤに対してレイヤ組み立てを実行して、第１画像フレームを取得し得る。
例えば、フォーカスアプリケーション、又は電子機器のフルエンシに密接に関連したアプリケーションなどのアプリケーションの予めセットされたレイヤのレンダリングが終わるとき、電子機器は、電子機器によってレンダリングされた１つ以上の第１レイヤに対してレイヤ組み立て実行して第１画像フレームを取得し得る。予めセットされたレイヤは、フォーカスアプリケーション、又は電子機器のフルエンシに密接に関連したアプリケーションなどのアプリケーションのために電子機器によって描画された１つ以上の第１レイヤの中で、表示スクリーンの面積に対するレイヤ面積の比が予めセットされた比率閾値よりも大きいレイヤであってよい。代替的に、予めセットされたレイヤは、フォーカスアプリケーション、キーアプリケーション、又は電子機器のフルエンシに密接に関連したアプリケーションなどのアプリケーションのために電子機器によって描画された１つ以上の第１レイヤの中で、電子機器によって受け取られたユーザタッチ操作に対応するレイヤ、つまり、実際の焦点が合わせられているレイヤであってよい。代替的に、予めセットされたレイヤは、フォーカスアプリケーション、キーアプリケーション、電子機器のフルエンシに密接に関連したアプリケーションなどのアプリケーションのために電子機器によって描画された１つ以上の第１レイヤの中で、電子機器のフルエンシに密接に関連したアプリケーションであってもよい。
例えば、フォーカスアプリケーションの予めセットされたレイヤが一例として使用される。上記の例を参照して、アプリケーションａがフォーカスアプリケーションであることが仮定される。図６Ｄに示されるように、電子機器は、時間ｔ１５でアプリケーションａのための「レンダリングａ」を完了し、時間ｔ６でアプリケーション１のための「レンダリング１」を完了する。電子機器は、時間ｔ１５より前の時間ｔ１７で「レンダリングａ」の中の予めセットされたレイヤのレンダリングを完了している。「レンダリングａ」は、「レンダリングａ１」及び「レンダリングａ２」を含んでもよい。「レンダリングａ１」は、「レンダリングａ」における予めセットされたレイヤのレンダリングである。従って、図６Ｄに示されるように、電子機器は、時間ｔ１７でレイヤ組み立てを実行し（つまり、「画像フレーム組み立てａ１」を実行し）、すなわち、「レンダリングａ１」によって実行された予めセットされたレイヤに対してレイヤ組み立てを実行し得る。他の例として、図６Ｄに示されるように、電子機器は、時間ｔ１６でアプリケーションａのための「レンダリングｂ」を完了し、時間ｔ ７ でアプリケーション１のための「レンダリング２」を完了する。電子機器は、時間ｔ１６より前の時間ｔ１８で「レンダリングｂ」の中の予めセットされたレイヤのレンダリングを完了している。「レンダリングｂ」は、「レンダリングｂ１」及び「レンダリングｂ２」を含んでもよい。「レンダリングｂ１」は、「レンダリングｂ」における予めセットされたレイヤのレンダリングである。従って、電子機器は、時間ｔ１８でレイヤ組み立てを実行し（つまり、「画像フレーム組み立て１＋ａ２＋ｂ１」を実行し）、すなわち、「レンダリング１」、「レンダリングａ２」、及び「レンダリングｂ１」によって実行された予めセットされたレイヤに対してレイヤ組み立てを実行し得る。
アプリケーションａはフォーカスアプリケーションであるから、ユーザはアプリケーションａのインターフェースの変化により注意を払う、と理解され得る。フォーカスアプリケーションのインターフェースの変化は、予めセットされたレイヤのレンダリングレイヤの変化において主に反映される。すなわち、ユーザは、電子機器のフルエンシに対するフォーカスアプリケーションの予めセットされたレイヤの変化の影響により注意を払う。上記の例では、電子機器は、時間ｔ１７で「画像フレーム組み立てａ１」を実行し、時間ｔ１８で「画像フレーム表示１＋ａ２＋ｂ１」を実行する。フォーカスアプリケーションａの予めセットされたレイヤのレンダリングレイヤの変化もインターフェース上で反映され得る。従って、電子機器のフルエンシに対するユーザの視覚体験は改善され得る。
留意されるべきは、本願のこの実施形態において、アプリケーション若しくはレイヤの重要性又は電子機器のフルエンシに対する影響は、予めセットされた優先情報を（例えば、研究室で）測定及び認識又は（例えば、開発中に）適用することによって認識及び比較を通じて取得されてもよく、あるいは、ユーザの行動、注意の集中、などを解析及び予測することによって取得されてもよい。本願のこの実施形態において、電子機器によるアプリケーションの重要性及び電子機器のフルエンシに対するアプリケーションの影響を決定する具体的な方法は、ここで限定されない。
実施例（１）を参照して、この実施形態では、電子機器は、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間を短縮するために、電子機器のハードウェアリソースに対してポジティブスケジューリングを更に実行し得る。具体的に、電子機器は、レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために電子機器によって必要とされる存続期間を短縮するよう次のハードウェアリソーススケジューリングのうちの１つ以上を実行し得る。ポジティブスケジューリングは、電子機器のプロセッサの動作周波数を増大させること、方法を実行するラージコアプロセッサを選択すること、及び電子機器のメモリの動作周波数を増大させることを含んでもよい。プロセッサは、ＣＰＵ及び／又はＧＰＵを含んでもよい。
プロセッサの動作周波数がより高い場合には、プロセッサの計算速度は高くなり、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間は短くなる、と理解され得る。加えて、ラージコアプロセッサの計算速度は、スモールコアプロセッサの計算速度よりも高い。電子機器のメモリの動作周波数がより高い場合には、電子機器のリード／ライト速度は高くなり、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間は短くなる。レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間を短縮し、かつ、電子機器の応答レイテンシを短縮するために、電子機器は、電子機器のハードウェアリソースに対してポジティブスケジューリングを実行し得る。
電子機器によって電子機器のハードウェアリソースに対して実行されたポジティブスケジューリングは、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間を短縮することができる。従って、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率は高くなり、電子機器の応答レイテンシは短縮可能であり、電子機器は、電子機器のハードウェアリソースに対してポジティブスケジューリングを実行することができる。
実施において、電子機器は、レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために電子機器によって必要とされる存続期間を短縮するよう、第１フレーム処理期間に基づき電子機器のハードウェアリソースに対してポジティブスケジューリングを実行し得る。第１フレーム処理期間がより長い場合に、電子機器のハードウェアリソースに対して電子機器によって実行されるポジティブスケジューリングの範囲はより大きい。例えば、電子機器がプロセッサの動作周波数を増大させると仮定すると、第１フレーム処理期間がより長い場合に、電子機器は、プロセッサの動作周波数を調整するときに、プロセッサの動作周波数をより高い周波数へと調整する。
他の実施においては、電子機器は、レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために電子機器によって必要とされる存続期間を短縮するよう、第１測定周期における１つの同期周期で電子機器によってレイヤ描画、レイヤレンダリング、及びレイヤ組み立てを完了する回数又は確率に基づき、電子機器のハードウェアリソースに対してポジティブスケジューリングを実行してもよい。確率は、総回数に対する、第１測定周期における１つの同期周期で電子機器によってレイヤ描画、レイヤレンダリング、及びレイヤ組み立てを完了する回数の割合である。
第１測定周期における１つの同期周期で電子機器によってレイヤ描画、レイヤレンダリング、及びレイヤ組み立てを完了する回数がより少ないか、又は確率がより低い場合には、電子機器のハードウェアリソースに対して電子機器によって実行されるポジティブスケジューリングの範囲はより大きい。例えば、電子機器がプロセッサの動作周波数を増大させると仮定すると、第１測定周期における１つの同期周期で電子機器によってレイヤ描画、レイヤレンダリング、及びレイヤ組み立てを完了する回数がより少ないか、又は確率がより低い場合に、電子機器は、プロセッサの動作周波数を調整するときに、プロセッサの動作周波数をより高い周波数へと調整する。
他の実施においては、電子機器は、レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために電子機器によって必要とされる存続期間を短縮するよう、電子機器のフォアグラウンドアプリケーションに基づき電子機器のハードウェアリソースに対してポジティブスケジューリングを実行してもよい。フォアグラウンドアプリケーションは、電子機器の表示スクリーンに現在表示されてるインターフェースに対応するアプリケーションであってよい。
複数のアプリケーションが電子機器にインストールされる可能性がある、ことが理解され得る。電子機器がフォアグラウンドで異なるアプリケーションを実行する場合に、異なる時間がレイヤの描画、レンダリング、及び組み立てのために必要とされる。電子機器が１つのフォアグラウンドアプリケーションを実行する場合に、レイヤの描画、レンダリング、及び組み立てに必要な時間がより長い場合には、電子機器のハードウェアリソースに対して電子機器によって実行されるポジティブスケジューリングの範囲はより大きい。本願のこの実施形態において、ハードウェアリソースに対してポジティブスケジューリングを実行するために使用される方法又はポリシーは、アプリケーションごとにセットされてもよい。
例えば、電子機器がプロセッサの動作周波数を増大させると仮定すると、電子機器がフォアグラウンドアプリケーションを実行する場合に、レイヤの描画、レンダリング、及び組み立てに必要な存続期間がより長いならば、電子機器は、プロセッサの動作周波数調整するときに、プロセッサの動作周波数をより高い周波数へと調整する。
他の実施においては、電子機器は、予めセットされた人工知能（artificial intelligence，ＡＩ）モデルのモデルコードを記憶してもよい。予めセットされたＡＩモデルは、「第１フレーム処理期間」、「第１測定周期における１つの同期周期で電子機器によってレイヤ描画、レイヤレンダリング、及びレイヤ組み立てを完了する回数又は確率」、又は「電子機器のフォアグラウンドアプリケーション」に基づき電子機器のハードウェアリソースに対してポジティブスケジューリングを実行して、単フレームでのレンダリング及び組み立ての確率を高める機能を備えているＡＩモデルである。予めセットされたＡＩモデルは、「第１フレーム処理期間」、「第１測定周期における１つの同期周期で電子機器によってレイヤ描画、レイヤレンダリング、及びレイヤ組み立てを完了する回数又は確率」、又は「電子機器のフォアグラウンドアプリケーション」に基づき複数回サンプルトレーニングを実行することによって取得される。単フレームでのレンダリング及び組み立ては、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することを意味する。
電子機器は、予めセットされたＡＩのモデルコードを実行し、「第１フレーム処理期間」、「第１測定周期における１つの同期周期で電子機器によってレイヤ描画、レイヤレンダリング、及びレイヤ組み立てを完了する回数又は確率」、又は「電子機器のフォアグラウンドアプリケーション」に基づき電子機器のハードウェアリソースに対してポジティブスケジューリングを実行して、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間を短縮し得る。従って、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率は高められ得、電子機器の応答レイテンシは短縮可能であり、電子機器は、電子機器のハードウェアリソースに対してポジティブスケジューリングを実行することができる。
留意されるべきは、電子機器のハードウェアリソースに対して電子機器によってポジティブスケジューリングを実行する具体的な方法については、以下の実施形態における関連する記載を参照されたい。詳細は、本願のこの実施形態でここでは記載されない。
本願のこの実施形態では、応答レイテンシを短縮するために電子機器のハードウェアリソースに対して電子機器によって実行されるポジティブスケジューリングの効果が記載される。例えば、図７（ｂ）は、電子機器が、電子機器のハードウェアリソースに対してポジティブスケジューリングを実行する前に、垂直同期信号に基づき画像処理を実行する時間シーケンスの概略図である。図８Ａは、電子機器が、電子機器のハードウェアリソースに対してポジティブスケジューリングを実行した後に、垂直同期信号に基づき画像処理を実行する時間シーケンスの概略図である。図７（ｂ）を図８Ａと比較することによって、次のことが結論づけられ得る。
電子機器は、図７（ｂ）に示されるように、時間ｔ１で「描画１」及び「レンダリング１」実行し始め、時間ｔ９で「レンダリング１」を完了する。電子機器は、図８Ａに示されるように、時間ｔ１で「描画１」及び「レンダリング１」を実行し始め、時間ｔ９より前の時間ｔ１２で「レンダリング１」を完了する。すなわち、図８Ａに示される、「描画１」及び「レンダリング１」のために電子機器によって必要とされる存続期間は、図７（ｂ）に示される、「描画１」及び「レンダリング１」のために電子機器によって必要とされる存続期間よりも短い。図８Ａに示される、「画像フレーム組み立て１」のために電子機器によって必要とされる存続期間は、図７（ｂ）に示される、「画像フレーム組み立て１」のために電子機器によって必要とされる存続期間よりも短い。
電子機器は、図７（ｂ）に示されるように、時間ｔ２で「描画２」及び「レンダリング２」実行し始め、時間ｔ１０で「レンダリング２」を完了する。電子機器は、図８Ａに示されるように、時間ｔ２で「描画２」及び「レンダリング２」を実行し始め、時間ｔ１０より前の時間ｔ１３で「レンダリング２」を完了する。すなわち、図８Ａに示される、「描画２」及び「レンダリング２」のために電子機器によって必要とされる存続期間は、図７（ｂ）に示される、「描画２」及び「レンダリング２」のために電子機器によって必要とされる存続期間よりも短い。図８Ａに示される、「画像フレーム組み立て２」のために電子機器によって必要とされる存続期間は、図７（ｂ）に示される、「画像フレーム組み立て２」のために電子機器によって必要とされる存続期間よりも短い。
電子機器は、図７（ｂ）に示されるように、時間ｔ３で「描画３」及び「レンダリング３」実行し始め、時間ｔ１１で「レンダリング３」を完了する。電子機器は、図８Ａに示されるように、時間ｔ３で「描画３」及び「レンダリング３」を実行し始め、時間ｔ１１より前の時間ｔ１４で「レンダリング３」を完了する。すなわち、図８Ａに示される、「描画３」及び「レンダリング３」のために電子機器によって必要とされる存続期間は、図７（ｂ）に示される、「描画３」及び「レンダリング３」のために電子機器によって必要とされる存続期間よりも短い。図８Ａに示される、「画像フレーム組み立て３」のために電子機器によって必要とされる存続期間は、図７（ｂ）に示される、「画像フレーム組み立て３」のために電子機器によって必要とされる存続期間よりも短い。
まとめると、電子機器は、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間を短縮することができる。従って、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率は、高められ得る。例えば、図８Ａに示されるように、電子機器は、時間ｔ１から時間ｔ２までの同期周期（つまり、Ｔｚ）で「描画１」、「レンダリング１」、及び「画像フレーム組み立て１」を完了し、時間ｔ２からｔ３までの同期周期（つまり、Ｔｚ）で「描画２」、「レンダリング２」、及び「画像フレーム組み立て２」を完了し、時間ｔ３から時間ｔ４までの同期周期（つまり、Ｔｚ）で「描画３」、「レンダリング３」、及び「画像フレーム組み立て３」を完了し得る。
この実施形態では、電子機器のハードウェアリソースに対して電子機器によってスケジューリング（例えば、ポジティブスケジューリング又はネガティブスケジューリング）を実行する具体的な条件が記載される。具体的に言えば、電子機器は、次の条件の下で電子機器のハードウェアリソースをスケジューリングし得る。
（１）電子機器は、第１測定周期内の第１フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に、電子機器のハードウェアリソースに対してポジティブスケジューリングを実行する。
本願のこの実施形態において、予めセットされた単フレーム期間は、同期周期Ｔｚよりも短いか又はそれと等しい。例えば、予めセットされた単フレーム期間は、同期周期Ｔｚと予めセットされたレイテンシ閾値との間の差であってもよい。予めセットされたレイテンシ閾値は、０ｍｓ以上である。例えば、予めセットされたレイテンシ閾値は０ｍｓ、１ｍｓ、２ｍｓ、１．５ｍｓ、又は３ｍｓであってよい。例えば、同期周期Ｔｚ＝１６．６６７ｍｓであり、予めセットされたレイテンシ閾値が１ｍｓであることが仮定される。予めセットされた単フレーム期間は１５．６６７ｍｓであってよい。
第１測定周期（つまり、現時点より前の測定周期）における第１フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に、それは、電子機器が、第１測定周期内の１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができないことを示す。従って、電子機器は、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間を短縮し、かつ、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率を高めるよう、電子機器のハードウェアリソースに対してポジティブスケジューリングを実行してもよい。
（２）電子機器が電子機器のハードウェアリソースに対してポジティブスケジューリングを実行した後に、電子機器のスクリーンリフレッシュレートが予めセットされたリフレッシュレート閾値よりも大きい場合に、電子機器は、表示スクリーンの画像表示におけるフレーム損失現象を回避しかつ表示スクリーンの画像表示のフルエンシを確かにしながら、電子機器の電力消費量を減らすよう、電子機器のハードウェアリソースに対してネガティブスケジューリングを実行してもよい。
本願のこの実施形態において、電子機器のスクリーンリフレッシュレートが予めセットされたリフレッシュレート閾値よりも大きい場合に、電子機器は高いリフレッシュレートにあると言われることがある。例えば、予めセットされたリフレッシュレート閾値は、８０Ｈｚ、９０Ｈｚ、又は８５Ｈｚであってよい。
一般に、電子機器が高いスクリーンリフレッシュレートにある場合には、その高いスクリーンリフレッシュレートに合うように、電子機器は、電子機器のフレームレートを増大させ、表示スクリーンの画像表示でのフレーム損失現象を回避し、かつ、表示スクリーンの画像表示のフルエンシを確かにするよう、デフォルトで電子機器のハードウェアリソースに対してポジティブスケジューリングを実行してもよい。しかし、スクリーンリフレッシュレートが高い場合に、電子機器のハードウェアリソースに対してポジティブスケジューリングを実行することは、電子機器の電力消費量を大幅に増大させる。
本願のこの実施形態において、電子機器が電子機器のハードウェアリソースに対してポジティブスケジューリングを実行した後に、電子機器が高いスクリーンリフレッシュレートにある場合には、電子機器が垂直同期信号１に応答してレイヤの描画、レンダリング、及び組み立てを実行する解決法を参照して、電子機器は、ハードウェアリソースに対して大幅にポジティブスケジューリングを実行する必要がなく、あるいは、電子機器は、ハードウェアリソースに対してポジティブスケジューリングを実行する必要がない。電子機器が２つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができる限りは、表示スクリーンの画像表示でのフレーム損失現象は回避可能であり、表示スクリーンの画像表示のフルエンシは確保可能である。この場合に、電子機器は、表示スクリーンの画像表示でのフレーム損失現象を回避しかつ表示スクリーンの画像表示のフルエンシを確かにしながら、電子機器の負荷を減らすよう、ハードウェアリソースに対してネガティブスケジューリングを実行してもよい。
例えば、ネガティブスケジューリングは、電子機器のプロセッサの動作周波数を低減させること、方法を実行するスモールコアプロセッサを選択すること、及び電子機器のメモリの動作周波数を低減させることを含んでもよい。プロセッサはＣＰＵ及び／又はＧＰＵを含んでもよい。
まとめると、電子機器は、電子機器のスクリーンリフレッシュレートが予めセットされたリフレッシュレート閾値よりも大きい場合に、ハードウェアリソースに対してネガティブスケジューリングを実行し得る。従って、スクリーンリフレッシュレートが高い表示システムについては、表示スクリーンの画像表示でのフレーム損失現象が回避可能であるだけではなく、表示スクリーンの画像表示のフルエンシも確保可能である。加えて、電子機器によってハードウェアリソーススケジューリングを実行する閾値は下げられ得、それにより、高いスクリーンリフレッシュレートに合うフレームレートが供給され、一方で、必要とされるハードウェアリソースが少なくなり、ユーザは、高いスクリーンリフレッシュレートでのフレーム損失を伴わないユーザ経験を提供される。
更に、電子機器が電子機器のハードウェアリソースに対してポジティブスケジューリングを実行した後に、電子機器のスクリーンリフレッシュレートが予めセットされたリフレッシュレート閾値よりも大きい場合には、電子機器は、第１フレーム処理期間が予めセットされたデュアルフレーム期間よりも長いならば、電子機器のハードウェアリソースに対してネガティブスケジューリングを実行して、表示スクリーンの画像表示でのフレーム損失現象を回避しかつ表示スクリーンの画像表示のフルエンシを確かにしながら電子機器の電力消費量を低減し得る。
予めセットされたデュアルフレーム期間は、予めセットされた単フレーム期間よりも長い。例えば、予めセットされたデュアルフレーム期間は、予めセットされた単フレーム期間よりも長く、垂直同期信号３の信号周期（つまり、上記の同期周期）の３倍以下であってよい。Ｋは、２以上である。例えば、Ｋは２又は２．５であってもよい。例えば、Ｋ＝２であると仮定すると、予めセットされた単フレーム期間が１１．１ｍｓであるとき、予めセットされたデュアルフレーム期間は２２．２ｍｓになる。
第１フレーム処理期間が予めセットされたデュアルフレーム期間よりも長い場合に、それは、電子機器が２つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができないことを示す。この場合に、図７（ａ）に示されるフレーム損失現象が起こる可能性がある。表示スクリーンの画像表示でのフレーム損失現象を回避しかつ表示スクリーンの画像表示のフルエンシを確かにするために、電子機器は、電子機器が２つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率を高めるよう電子機器のハードウェアリソースに対してネガティブスケジューリングを実行し得る。
実施例（１）と比較して、この実施形態では、Ｓ４０１を実行する前に、電子機器は最初に、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間が予めセットされた単フレーム期間（予めセットされた単フレーム期間は上記の同期周期よりも短い）以下であるかどうかを予測してもよい。予測された時間が予めセットされた単フレーム期間よりも短いか又はそれと等しい場合には、それは、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率が比較的に高いことを示す。電子機器は、この場合にのみ、Ｓ４０１及びＳ４０２を実行する。具体的に、図８Ｂに示されるように、図４に示されるＳ４０１の前に、本願のこの実施形態は、Ｓ８０１からＳ８０３を更に含んでもよい。
Ｓ８０１．電子機器は、第１測定周期内の第１フレーム処理期間が予めセットされた単フレーム期間以下であるかどうかを決定する。
第１フレーム処理期間は、第１フレームレンダリング期間と第１ＳＦフレーム期間との和である。第１フレームレンダリング期間は、レイヤを描画し、その描画されたレイヤをレンダリングするのに必要な存続期間である。第１ＳＦフレーム期間は、レンダリングされたレイヤに対してレイヤ組み立てを実行するのに必要な存続期間である。
例えば、電子機器は、次の実施（ｉ）及び実施（ｉｉ）で第１フレーム処理期間を決定してもよい。
実施（ｉ）：電子機器は、１つ以上のアプリケーションの中のフォーカスアプリケーションに対応する第１フレームレンダリング期間と、電子機器による１つ以上のアプリケーションに対応する第１ＳＦフレーム期間とに基づいて、第１フレーム処理期間を決定する。フォーカスアプリケーションは、電子機器によって受け取られたユーザタッチ操作に対応するアプリケーションである。第１フレームレンダリング期間は、レイヤを描画し、その描画されたレイヤをレンダリングするのに必要な存続期間である。
例えば、１つ以上のアプリケーションは、アプリケーションａ、アプリケーションｂ、及びアプリケーションｃを含むことが仮定され、ここで、アプリケーションａがフォーカスアプリケーションである。アプリケーションａの第１フレームレンダリング期間ａは、アプリケーションａのためのレイヤを描画し、その描画されたレイヤをレンダリングするために電子機器によって必要とされる存続期間である。アプリケーションｂの第１フレームレンダリング期間ｂは、アプリケーションｂのためのレイヤを描画し、その描画されたレイヤをレンダリングするために電子機器によって必要とされる存続期間である。アプリケーションｃの第１フレームレンダリング期間ｃは、アプリケーションｃのためのレイヤを描画し、その描画されたレイヤをレンダリングするために電子機器によって必要とされる存続期間である。第１ＳＦフレーム期間ｘは、アプリケーションａのためにレンダリングされたレイヤと、アプリケーションｂのためにレンダリングされたレイヤと、アプリケーションｃのためにレンダリングされたレイヤとに対してレイヤ組み立てを実行するために電子機器によって必要とされる存続期間である。
電子機器は、フォーカスアプリケーションａの第１フレームレンダリング期間ａ及び第１ＳＦフレーム期間ｘに基づき第１フレーム処理期間を決定し得る。例えば、第１フレーム処理期間は、第１フレームレンダリング期間ａと第１ＳＦフレーム期間ｘとの和である。
実施（ｉｉ）：電子機器は、１つ以上のアプリケーションの全てに対応する第１フレームレンダリング期間の中で最も長い第１フレームレンダリング期間と、電子機器による１つ以上のアプリケーションに対応する第１ＳＦフレーム期間とに基づいて、第１フレーム処理期間を決定する。
上記の例を参照して、第１フレームレンダリング期間ｂ＞第１フレームレンダリング期間ａ＞第１フレームレンダリング期間ｃと仮定すると、電子機器は、第１フレームレンダリング期間ｂ及び第１ＳＦフレーム期間ｘに基づき第１フレーム処理期間を決定し得る。例えば、第１フレーム処理期間は、第１フレームレンダリング期間ｂと第１ＳＦフレーム期間ｘとの和である。
例えば、電子機器は、各測定周期で第１フレーム処理期間を周期的に測定してもよい。第１測定周期は、現時点より前の測定周期、つまり先の測定周期である。例えば、本願のこの実施形態における測定周期は、１ｓ、２ｓ、３ｓ、又は５ｓのいずれかの存続期間であってよい。例えば、電子機器は、第１測定周期内の第１フレーム処理期間を取得するためにＳ８０１ａ及びＳ８０１ｂを実行してもよい。
Ｓ８０１ａ．電子機器は、第１測定周期内の１つ以上の第２フレーム処理期間を取得し、ここで、各第２フレーム処理期間は、第２フレームレンダリング期間と第２ＳＦフレーム期間との和である。
電子機器は、第１測定周期において毎回レイヤの描画及びレンダリングに必要とされる存続期間（つまり、第２フレームレンダリング期間）と、レンダリングされた画像に対するレイヤ組み立てに必要とされる存続期間（つまり、第２ＳＦフレーム期間）とを測定し、第２フレームレンダリング期間と対応する第２ＳＦフレーム期間との和を計算して合計期間（つまり、毎回レイヤの描画、レンダリング、及び組み立てに必要とされる第２フレーム処理期間）を取得し得る。
例えば、電子機器は、第１測定周期において３回レイヤの描画、レンダリング、及び組み立てを実行する、ことが仮定される。レイヤａを描画し、レイヤａをレンダリングするために電子機器によって必要とされる存続期間は、第２フレームレンダリング期間ａであり、レンダリングされたレイヤａに対するレイヤ組み立てのために電子機器によって必要とされる存続期間は、第２ＳＦフレーム期間ａである。レイヤｂを描画し、レイヤｂをレンダリングするために電子機器によって必要とされる存続期間は、第２フレームレンダリング期間ｂであり、レンダリングされたレイヤｂに対するレイヤ組み立てのために電子機器によって必要とされる存続期間は、第２ＳＦフレーム期間ｂである。レイヤｃを描画し、レイヤｃをレンダリングするために電子機器によって必要とされる存続期間は、第２フレームレンダリング期間ｃであり、レンダリングされたレイヤｃに対するレイヤ組み立てのために電子機器によって必要とされる存続期間は、第２ＳＦフレーム期間ｃである。電子機器は、第２フレーム処理期間ａを取得するよう第２フレームレンダリング期間ａと第２ＳＦフレーム期間ａとの和を計算し、第２フレーム処理期間ｂを取得するよう第２フレームレンダリング期間ｂと第２ＳＦフレーム期間ｂとの和を計算し、第２フレーム処理期間ｃを取得するよう第２フレームレンダリング期間ｃと第２ＳＦフレーム期間ｃとの和を計算し得る。このようにして、電子機器は、第１測定周期内の３つの第２フレーム処理期間を取得することができる。
Ｓ８０１ｂ．電子機器は、１つ以上の第２フレーム処理期間に基づき第１測定周期内の第１フレーム処理期間を決定する。
実施において、１つ以上の第２フレーム処理期間は、ただ１つの第２フレーム処理期間しか含まない。この実施では、第１フレーム処理期間は第２フレーム処理期間と等しい。
実施において、１つ以上の第２フレーム処理期間は、複数の第２フレーム処理期間を含んでもよい。第１フレーム処理期間は、複数の第２フレーム処理期間の平均値である。上記の例を参照して、第１測定周期内の第１フレーム処理期間は、第２フレーム処理期間ａと、第２フレーム処理期間ｂと、第２フレーム処理期間ｃとの平均値であってもよい。
他の実施においては、１つ以上の第２フレーム処理期間は、複数の第２フレーム処理期間を含んでもよい。第１フレーム処理期間は、複数の第２フレーム処理期間の中で最も長い第２フレーム処理期間である。上記の例を参照して、第１測定周期内の第１フレーム処理期間は、第２フレーム処理期間ａ、第２フレーム処理期間ｂ、及び第２フレーム処理期間ｃの中の最小の１つであってよい。
第１測定周期内（つまり、現時点より前の測定周期）の第１フレーム処理期間が予めセットされた単フレーム期間よりも短いか又はそれと等しい場合に、それは、電子機器が、第１測定周期内の１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができることを示す、ことが理解され得る。この場合に、第１測定周期の次の測定周期（つまり、現時点が位置している測定周期）では、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率が比較的に高い。この場合に、電子機器はＳ４０１を実行し得る。
留意されるべきは、本願のこの実施形態において、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを実行することは、電子機器が垂直同期信号１に応答して第１同期周期内で１つ以上の第１レイヤを描画し、１つ以上の第１レイヤをレンダリングし、１つ以上の第１レイヤをレンダリングした後に、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することを特定に含んでもよいことである。第１同期周期は、垂直同期信号１に対応する同期周期である。例えば、第１同期周期は、図６Ａ（ｂ）に示される、時間ｔ１から時間ｔ２までの同期周期Ｔｚであってもよい。すなわち、本願のこの実施形態において、電子機器は、レイヤの描画及びレンダリングが実行される１つの同期周期（つまり、第１同期周期）でレイヤ組み立てを開始し得る。
第１測定周期（つまり、現時点より前の測定周期）内の第１フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に、それは、電子機器が第１測定周期内の１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができないことを示す。この場合に、第１測定周期の次の測定周期（つまり、現時点が位置している測定周期）では、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率が比較的に低い。この場合に、電子機器はＳ８０２及びＳ８０２を実行し得る。
Ｓ８０２．電子機器は、垂直同期信号１に応答して１つ以上の第１レイヤを描画し、１つ以上の第１レイヤをレンダリングする。
Ｓ８０３．垂直同期信号２に応答して、電子機器は、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得する。
具体的に、垂直同期信号２に応答して、電子機器は、第２同期周期で、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得し得る。第２同期周期は、第１同期周期とは異なる。例えば、図６Ａ（ａ）に示されるように、第１同期周期は、時間ｔ１から時間ｔ２までの同期周期Ｔｚであってよい。第２同期周期は、時間ｔ２から時間ｔ３までの同期周期Ｔｚであってよい。
例えば、第１測定周期内の第１フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に、図６Ａ（ａ）に示されるように、電子機器は、時間ｔ６ではレイヤ組み立て（つまり、画像フレーム組み立て）を実行せず、時間ｔ２での垂直同期信号２が到着した後に、時間ｔ２での垂直同期信号２に応答してレイヤ組み立てを実行する。
本願のこの実施形態において、電子機器は、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間が予めセットされ単フレーム期間以下であることが予測される場合にのみ、垂直同期信号１に応答して１つ以上の第１レイヤを描画及びレンダリングしてもよく、そして、１つ以上の第１レイヤをレンダリングした後に、電子機器は、レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得し得る。従って、レイヤ組み立てが前もって実行され得るだけで、電子デバイスの応答レイテンシが第２の場合に短縮され得ないという現象の確率は、低減され得る。
この実施形態では、上記の実施形態のうちのいずれか１つで垂直同期信号に基づき電子機器によって画像処理の方法を実行する条件が、記載される。具体的に、電子機器が上記の方法を実行することができる条件又は環境は、この実施形態で記載され得る。
電子機器は、加速されたレンダリングモードで本願のこの実施形態における方法、例えば、Ｓ４０１及びＳ４０２、並びにその関連ステップを実行し得る。具体的に、Ｓ４０１の前に、本願のこの実施形態における方法は、Ｓ９０１を更に含んでもよい。例えば、図９に示されるように、図４に示されるＳ４０１の前に、本願のこの実施形態における方法は、Ｓ９０１を更に含んでもよい。
Ｓ９０１．電子機器は、第１イベントに応答して、加速されたレンダリングモードを開始する。
加速されたレンダリングモードを開始した後、かつ、１つ以上の第１レイヤのレンダリングが終わった後の最初の垂直同期信号２が到着する前に、電子機器は、画像フレームを取得するよう、レンダリングされたレイヤに対してレイヤ組み立てを実行し始めてよい。
例えば、本願のこの実施形態において、第１イベントは、次の２つの実施：実施（Ｉ）及び実施（ＩＩ）を使用することによって、ここで説明される。
実施（Ｉ）で、第１イベントは、電子機器がユーザの第１操作を受け取ることであってよい。第１操作は、加速されたレンダリングモードを開始するよう電子機器をトリガするために使用される。
例えば、電子機器は携帯電話機１００１である。図１０（ａ）に示されるように、第１操作は、携帯電話機１００１によって表示されている設定インターフェース１００２上の「加速レンダリング」オプション１００３に対してユーザによって実行されたタップ操作であってもよい。第１操作は、加速されたレンダリングモードを開始するよう携帯電話機１００１をトリガすべく、「加速レンダリング」オプション１００３を有効にするために使用される。
他の例として、図１０（ｂ）に示されるように、第１操作は、携帯電話機１００１によって表示されている通知バー１００４の「加速レンダリング」ボタン１００５に対してユーザによって実行されたタップ操作であってもよい。第１操作は、加速されたレンダリングモードを開始するよう携帯電話機１００１をトリガすべく、「加速レンダリング」ボタン１００５を有効にするために使用される。
実施（ＩＩ）で、第１イベントは、第１測定周期内の第１フレーム処理期間が予めセットされた単フレーム期間よりも短いか又はそれと等しいことであってよい。第１測定周期、予めセットされた単フレーム期間、及び予めセットされた単フレーム期間よりも短いか又はそれと等しい第１フレーム処理期間の詳細な説明については、上記の実施形態における関連する内容を参照されたい。詳細は、本願のこの実施形態でここでは記載されない。
更に、電子機器は、加速されたレンダリングモードから出てもよい。電子機器が加速されたレンダリングモードから出た後、電子機器は、垂直同期信号２に応答してのみレイヤ組み立てを実行することができる。具体的に、本願のこの実施形態における方法は、Ｓ９０２からＳ９０５を更に含んでもよい。例えば、図９に示されるように、本願のこの実施形態における方法は、Ｓ９０２からＳ９０５を更に含んでもよい。
Ｓ９０２．電子機器は、第２イベントに応答して、加速されたレンダリングモードから出る。
例えば、本願のこの実施形態において、第２イベントは、次の２つの実施：実施（ａ）及び実施（ｂ）を使用することによって、ここで説明される。
実施（ａ）で、第２イベントは、電子機器がユーザの第２操作を受け取ることであってよい。第２操作は、加速されたレンダリングモードから出るよう電子機器をトリガするために使用される。
第２操作は第１操作に対応する。例えば、第２操作は、加速されたレンダリングモードを開始するためにユーザの第１操作に応答して「加速レンダリング」オプション１００３又は「加速レンダリング」ボタン１００５を有効にした後に、電子機器が、「加速レンダリング」オプション１００３又は「加速レンダリング」ボタン１００５に対してユーザによって実行されたタップ操作を受け取ることであってもよい。第２操作に応答して、携帯電話機１００１は、加速されたレンダリングモードから出るか又はそれを無効にするために、「加速レンダリング」オプション１００３又は「加速レンダリング」ボタン１００５を無効にし得る。
実施（ｂ）で、第２イベントは、第１測定周期内の第１フレーム処理期間が予めセットされた単フレーム期間よりも長いことであってよい。第１測定周期、予めセットされた単フレーム期間、及び予めセットされた単フレーム期間よりも長いか又はそれと等しい第１フレーム処理期間の詳細な説明については、上記の実施形態における関連する内容を参照されたい。詳細は、本願のこの実施形態でここでは記載されない。
Ｓ９０３．電子機器は、垂直同期信号１に応答して１つ以上の第２レイヤを描画し、１つ以上の第２レイヤをレンダリングする。
Ｓ９０４．垂直同期信号２に応答して、電子機器は、第２画像フレームを取得するよう、レンダリングされた１つ以上の第２レイヤに対してレイヤ組み立てを実行する。
加速されたレンダリングモードから出た後、かつ、１つ以上の第１レイヤのレンダリングが終わった後の最初の垂直同期信号２が到着する前に、電子機器は、レンダリングされた第２レイヤに対してレイヤ組み立てを実行し始めることができない。代わりに、電子機器は、垂直同期信号２の到着を待つ必要があり、垂直同期信号２に応答して、電子機器は、第２画像フレームを取得するよう、レンダリングされた第２フレームに対してレイヤ組み立てを実行する。
例えば、図６Ａ（ａ）に示されるように、電子機器は、時間ｔ６ではレイヤ組み立て実行しない。代わりに、電子機器は、時間ｔ２での垂直同期信号２の到着を待った後にのみ、時間ｔ２での垂直同期信号２に応答して、レンダリングされたレイヤに対してレイヤ組み立てを実行して画像フレームを取得することができる。
Ｓ９０５．電子機器は、垂直同期信号３に応答して第２画像フレームをリフレッシュ及び表示する。
本願のこの実施形態において、電子機器は、ユーザの操作に応答して、加速されたレンダリングモードを開始してもよく、あるいは、測定周期でのレイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間に基づき、加速されたレンダリングモードを自動的に開始してもよい。
留意されるべきは、加速されたレンダリングモードは、電子デバイスが本願のこの実施形態における方法を実行する動作モードの名称にすぎないことである。加速されたレンダリングモードはまた、他の名称を有してもよい。これは、本願のこの実施形態において限定されない。例えば、加速されたレンダリングモードはまた、加速されたレンダリング及び組み立てモード、又は加速された組み立てモードとも呼ばれ得る。
上記の実施形態を参照して、本願の実施形態における方法は、この実施形態で更に説明される。具体的に、電子機器は、各測定周期において第１フレーム処理期間を周期的に取得し得る。１つの測定周期（例えば、第１測定周期）内の第１フレーム処理期間が予めセットされた単フレーム期間よりも長い場合には、それは、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率が比較的に低いことを示す。この場合に、この実施形態では、電子機器は、レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために電子機器によって必要とされる存続期間を短縮するために、電子機器のハードウェアリソースに対してポジティブスケジューリングを実行してもよい。従って、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率は、高められ得る。本願のこの実施形態において、ハードウェアリソースに対して電子機器によってポジティブスケジューリングを実行する具体的な方法は、電子機器が電子機器のプロセッサの動作周波数を増大させる例を使用することによって、記載される。
具体的に、本願のこの実施形態における方法は、Ｓ１１０１からＳ１１０４を更に含んでもよい。例えば、図１１に示されるように、本願のこの実施形態における方法は、Ｓ１１０１からＳ１１０４を更に含んでもよい。
Ｓ１１０１．電子機器は、第１測定周期内の第１フレーム処理期間を取得する。
電子機器は、第１測定周期内の第１フレーム処理期間を取得するよう、第１測定周期の経過に応答してＳ８０１ａ及びＳ８０１ｂを実行してもよい。
Ｓ１１０２．電子機器は、第１測定周期内の第１フレーム処理期間が予めセットされた単フレーム期間以下であるかどうかを決定する。
第１フレーム処理期間は、第１フレームレンダリング期間と第１ＳＦフレーム期間との和である。第１フレームレンダリング期間は、レイヤを描画し、その描画されたレイヤをレンダリングするために必要な存続期間である。第１ＳＦフレーム期間は、レンダリングされたレイヤに対してレイヤ組み立てを実行するために必要な存続期間である。
例えば、電子機器は、各測定周期において第１フレーム処理期間を周期的に測定し得る。第１測定周期は、現時点より前の測定周期である。例えば、本願のこの実施形態における測定周期は、１ｓ、２ｓ、３ｓ、又は５ｓのいずれかの存続期間であってもよい。Ｓ１００２の詳細な記載については、Ｓ８０１における関連する記載を参照されたい。詳細は、本願のこの実施形態で再びここでは記載されない。
プロセッサの動作周波数がより高い場合には、プロセッサの計算速度はより高く、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間は短くなる。第１測定周期内の第１フレーム処理期間が予めセットされた単フレーム期間よりも短いか又はそれと等しい場合には、それは、プロセッサの動作周波数が、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することを確かにするために十分であって、電子機器はプロセッサの動作周波数を更に増大させる必要がないことを示す。
第１測定周期内の第１フレーム処理期間が予めセットされた単フレーム期間よりも長い場合には、それは、プロセッサの動作周波数が比較的に低く、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することを確かにするためには不十分であることを示し、電子機器はプロセッサの動作周波数を増大させてよい。例えば、電子機器は、プロセッサの動作周波数を増大させるようＳ１１０４を実行してもよい。ただし、電子機器は、プロセッサの現在の動作周波数がプロセッサの最大動作周波数よりも低い場合にのみ、プロセッサの動作周波数を増大させることができる。従って、図１１に示されるように、Ｓ１１０２の後、第１測定周期内の第１フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に、電子機器はＳ１１０３を実行してもよい。
Ｓ１１０３．電子機器は、プロセッサの現在の動作周波数がプロセッサの最大動作周波数よりも低いことを決定する。
具体的に、プロセッサの現在の動作周波数がプロセッサの最大動作周波数よりも低い場合に、電子機器はＳ１１０４を実行し得る。プロセッサの現在の動作周波数がプロセッサの最大動作周波数である場合には、電子機器はプロセッサの動作周波数を調整する必要がない。
Ｓ１１０４．電子機器は、プロセッサの動作周波数を増大させる。
例えば、本願のこの実施形態におけるプロセッサは、ＣＰＵ及びＧＰＵのうちの少なくとも１つを含んでもよい。プロセッサの動作周波数ｆの単位はヘルツ（Ｈｚ、略してＨｚ）、キロヘルツ（ｋＨｚ）、メガヘルツ（ＭＨｚ）、又はギガヘルツ（ＧＨｚ）であってよい。
実施において、電子機器は、第１の予めセットされたステップに基づいてプロセッサの動作周波数を増大させてもよい。例えば、第１の予めセットされたステップの単位は、Ｈｚ、ｋＨｚ、又はＭＨｚであってよい。第１の予めセットされたステップは、電子デバイスで事前設定され得る。代替的に、第１の予めセットされたステップは、電子デバイスでユーザによってセットされてもよい。
他の実施においては、電子機器は、第１フレーム処理期間と予めセットされた単フレーム期間との間の差に基づいてプロセッサの動作周波数を増大させてもよく、それにより、次の測定周期での第２フレーム処理期間は、予めセットされた単フレーム期間よりも短いか又はそれと等しい。この実施においては、電子機器によってプロセッサの動作周波数を調整する範囲は、差の値に比例する。すなわち、第１フレーム処理期間と予めセットされた単フレーム期間との間の差がより大きい場合には、電子機器によってプロセッサの動作周波数を調整する範囲はより大きい。第１フレーム処理期間と予めセットされた単フレーム期間との間の差がより小さい場合には、電子機器によってプロセッサの動作周波数を調整する範囲はより小さい。
いくつかの実施形態において、電子機器は、第１フレーム処理期間及び予めセットされた単フレーム期間に基づき、予めセットされたＡＩモデルを使用することによってプロセッサの動作周波数を調整してもよい。予めセットされたＡＩモデルは、大量のサンプルを訓練することによって取得される。予めセットされたＡＩモデルは、単フレームでのレンダリング及び組み立ての確率を高めるよう第１フレーム処理期間に基づきプロセッサの動作周波数を調整する機能を備えているＡＩモデルである。単フレームでのレンダリング及び組み立ては、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することを意味する。
図１１に示されるように、Ｓ１１０２の後、第１フレーム処理期間が予めセットされた単フレーム期間よりも短いか又はそれと等しい場合には、電子機器は、Ｓ４０１及びＳ４０２実行してもよく、あるいは、第１フレーム処理期間が予めセットされた単フレーム期間よりも長い場合には、電子機器は、Ｓ８０２、Ｓ８０３、及びＳ４０２を更に実行してもよい。
Ｓ１１０２の後、第１フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に、電子機器はＳ１１０３を実行する。すなわち、電子機器がＳ１１０３を実行する場合に、第１フレーム処理期間は予めセットされた単フレーム期間よりも長く、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率は比較的に低い。従って、Ｓ１１０３の後、電子機器の現在の動作周波数が最大動作周波数に等しい場合には、それは、たとえプロセッサが最大動作周波数で作動するとしても、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率は比較的に低いことを示す。
この場合に、電子機器は、従来の解決法を使用することによってレイヤの描画、レンダリング、及び組み立てを実行してもよい。図１１に示されるように、Ｓ１００３の後、電子機器の現在の動作周波数が最大動作周波数に等しい場合に、電子機器は、Ｓ８０２、Ｓ８０３及びＳ４０２を実行し得る。
留意されるべきは、図１１に示されるように、電子機器がＳ４０１及びＳ４０２を実行する場合には、電子機器は、加速されたレンダリングモードにあり、あるいは、電子機器がＳ８０２、Ｓ８０３及びＳ４０２を実行する場合には、電子機器は、加速されたレンダリングモードから出ていることである。
本願のこの実施形態において、第１フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に、つまり、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率が比較的に低い場合に、電子機器は、電子機器のプロセッサの動作周波数を増大させ得る。このようにして、プロセッサの計算速度は、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間を短縮し、かつ、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率を高めるよう、高められ得る。従って、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができる場合に、電子機器の応答レイテンシは１つの同期周期だけ短縮可能であり、電子機器のフルエンシ（例えば、タッチレイテンシ）は改善可能である。
電子機器のプロセッサは比較的に高い動作周波数を有しており、このことは、電子機器の計算速度を増大させかつレイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間を短縮することができるが、プロセッサのより高い動作周波数は、より高い電力消費量を意味する、ことが理解され得る。本願のこの実施形態において、電子機器は更に、第１フレーム処理期間が予めセットされた条件を満足する場合に、プロセッサの動作周波数を低減してもよい。このように、電子機器の電力消費量は低減され得る。具体的に、本願のこの実施形態における方法は、Ｓ１２０１を更に含んでもよい。
Ｓ１２０１．第１フレーム処理期間が予めセットされた条件を満足する場合に、プロセッサの動作周波数を低減させる。
実施において、第１フレーム処理期間が予めセットされた条件を満足することは、第１フレーム処理期間が予めセットされた単フレーム期間よりも短いことを特に含んでもよい。
第１フレーム処理期間が予めセットされた単フレーム期間よりも短い場合に、それは、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率が比較的に高いことを示す。この場合に、場合により、プロセッサの動作周波数は比較的に高いので、プロセッサの計算速度は相対的に高く、電子機器は１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができる。しかし、プロセッサの極端に高い動作周波数は、電子機器の相対的に高い電力消費量を引き起こす。従って、電子機器は、プロセッサの動作周波数を低減させる。
他の実施において、第１フレーム処理期間が予めセットされた条件を満足することは、第１フレーム処理期間が予めセットされた単フレーム期間よりも短く、かつ、予めセットされた単フレーム期間と第１フレーム処理期間との間の差が第１の予めセットされた存続期間よりも大きいことを特に含んでもよい。
第１フレーム処理期間が予めセットされた単フレーム期間よりも短く、予めセットされた単フレーム期間と第１フレーム処理期間との間の差が第１の予めセットされた存続期間よりも大きい場合には、それは、電子機器が１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了した後に、電子機器が垂直同期信号３の到着を一定期間待つ必要が更にある可能性があり、それから、垂直同期信号３に応答して、組み立てられた画像フレームをリフレッシュ及び表示することができることを示す。この場合に、プロセッサは、一般的に、比較的に高い周波数で作動する。電子機器の電力消費量を低減させるために、電子機器はプロセッサの動作周波数を低減させ得る。
本願のこの実施形態において、電子機器によってプロセッサの動作周波数を低減させる方法は、電子機器が第２の予めセットされたステップに基づきプロセッサの動作周波数を低減させることを含んでもよい。第２の予めセットされたステップは、第１の予めセットされたステップと等しくてもよい。代替的に、第２の予めセットされたステップは、第１の予めセットされたステップよりも小さくてもよい。
留意されるべきは、第２の予めセットされタップが第１の予めセットされたステップよりも小さい場合に、電子機器は、速い立ち上がり及び遅い立ち下がりの様態でプロセッサの動作周波数を調整し得る、ことである。このことは、電子機器が本願のこの実施形態における方法を実行し、電子機器のタッチ応答レイテンシを短縮し、電子機器のフルエンシ（例えば、タッチレイテンシ）を改善するのを助ける。
いくつかの実施形態において、プロセッサの動作周波数の調整中にピンポン現象を防ぐために、電子機器は、Ｎ個の連続した測定周期における第１フレーム処理期間が予めセットされた条件を満足する場合にのみ、プロセッサの動作周波数を低減させてもよい。例えば、図１２に示されるように、図１１に示されるＳ１１０２の後に、本願のこの実施形態における方法は、Ｓ１２０１ａ及びＳ１２０２を更に含んでもよい。
Ｓ１２０１ａ．電子機器は、Ｎ個の連続した測定周期における第１フレーム処理期間が予めセットされた条件を満足することを決定する。
Ｎ≧２であり、Ｎは正の整数である。例えば、Ｎは、５、４、３、２、又は６などの如何なる正の整数であってもよい。
例えば、Ｎ個の連続した測定周期における第１フレーム処理期間が予めセットされた条件を満足することを電子機器によって決定する方法は、１つの測定周期（例えば、測定周期１）内の第１フレーム処理期間が予めセットされた条件を満足する場合に、電子機器は、カウンタのカウント値に１を加えてよく、このとき、カウンタの初期カウント値は０であり、測定周期１の次の測定周期内の第１フレーム処理期間が予めセットされた条件を満足する場合に、電子機器は、カウンタのカウント値に１を加え、あるいは、測定周期１の次の測定周期内の第１フレーム処理期間が予めセットされた条件を満足しない場合に、電子機器は、カウンタのカウント値を０にリセットすることを含んでもよい。
任意に、いくつかの実施形態において、電子機器は、Ｎ個の連続した測定周期における第１フレーム処理期間が予めセットされた条件を満足することを決定する場合にのみ、加速されたレンダリングモードに入ってもよい。
Ｓ１２０２．電子機器は、プロセッサの動作周波数を低減させる。
留意されるべきは、この実施形態では、第１フレーム処理期間が予めセットされた条件を満足することと、電子機器によってプロセッサの動作周波数を低減させる方法とについては、上記の実施形態における関連する記載を参照されたい。詳細は、本願のこの実施形態で再びはここで記載されない。
本願のこの実施形態において、電子機器は、Ｎ個の連続した測定周期における第１フレーム処理期間が予めセットされた条件を満足する場合にのみプロセッサの動作周波数を低減させ得る。これは、プロセッサの動作周波数の調整中にピンポン現象を防ぐことだけでなく、プロセッサの動作周波数の調整中に速い立ち上がり及び遅い立ち下がりを実装することもできる。レイヤの描画、レンダリング、及び組み立てにおける電子機器のシステム安定性を確かにしながら、これは、電子機器が、電子機器のタッチ応答レイテンシを短縮し、かつ、電子機器のフルエンシ（例えば、タッチレイテンシ）を改善するよう、１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了する確率を高めることができる。
各測定周期で、長い存続期間が１つ以上のレイヤの描画及びレンダリング中にいくつかの特性点で消費される場合には、電子機器は、１つの同期周期でレイヤの描画、レンダリング、及び組み立てを完了することができない可能性がある。この場合に、電子機器は、加速されたレンダリングモードから出てもよい。それから、電子機器は、繰り返し発生する第１イベントに応答して、加速されたレンダリングモードを開始してもよい。
しかし、電子機器が加速されたレンダリングモードに入るたびに、フレーム損失が起こる。例えば、図６Ａ（ａ）に示されるように、加速されたレンダリングモードに入る前に、電子機器は、時間ｔ２での垂直同期信号２の到着を待ち、次いで、時間ｔ２での垂直同期信号２に応答してのみレイヤ組み立て（つまり、画像フレーム組み立て）を実行することができ、電子機器は、時間ｔ３での垂直同期信号３の到着を待ち、次いで、時間ｔ３での垂直同期信号３に応答してのみ、組み立てられた画像フレームをリフレッシュ及び表示することができる。しかし、図６Ａ（ｂ）に示されるように、加速されたレンダリングモードに入った後、電子機器は、時間ｔ７でレイヤ組み立て（つまり、画像フレーム組み立て）を実行してもよく、そして、時間ｔ２での垂直同期信号３に応答して、組み立てられた画像フレームをリフレッシュ及び表示することができる。従って、電子機器が加速されたレンダリングモードに入る場合に、画像の１つのフレーム（つまり、１つの画像フレーム）が、電子機器が加速されたレンダリングモードに入る前の垂直同期信号２に応答して組み立てられ得る。電子機器が加速されたレンダリングモードに入った後、画像のそのフレームは、表示スクリーンによってリフレッシュ及び表示されず、フレーム損失が起こる。
１つの時折りのフレーム損失は表示スクリーンの表示効果に大きな影響を与えないので、ユーザの視覚体験に大きな影響を与えない、ことが理解され得る。しかし、電子機器が加速されたレンダリングモードに頻繁に出入りする場合には、フレーム損失現象は頻繁に起こる。頻繁なフレーム損失現象は、表示スクリーンの表示効果に影響を及ぼし、更にはユーザの視覚体験に影響を及ぼす。
いくつかの実施形態において、電子機器が加速されたレンダリングモードに頻繁に出入りすることを防ぐために、電子機器が加速されたレンダリングモードに入った後に、本願のこの実施形態における方法は、Ｓ１３０１を更に含んでもよい。
Ｓ１３０１．測定周期において、１つ以上の第３レイヤの描画及びレンダリング中に第１特性点で消費される存続期間が、第１特性点に対応する第２の予めセットされた存続期間よりも長い場合には、電子機器は、プロセッサの動作周波数をプロセッサの最大動作周波数へと調整する。
第１特性点は、次のうちの少なくともいずれか１つを含んでもよい：電子機器は１つ以上の第３レイヤを描画し、電子機器は１つ以上の第３レイヤをレンダリングし、電子機器は、１つ以上の第３レイヤを描画する過程でいずれかの機能を実行し、電子機器は、１つ以上の第３レイヤをレンダリングする過程でいずれかの機能を実行する。
本願のこの実施形態において、１つ以上の第２の予めセットされた存続期間は、夫々の第１の特性点についてセットされてもよい。第２の予めセットされた存続期間は、第１特徴点に対応する操作を複数回実行するために大量の電子機器によって必要とされる時間を測定することによって、決定されてもよい。
測定周期で、第１特性点で消費される存続期間が、第１特性点に対応する第２の予めセットされた存続期間よりも長い場合に、それは、電子機器が、加速されたレンダリングモードに対応する方法を使用することによって１つ以上の第３レイヤの描画及びレンダリングを完了することができないことを示す、ことが理解され得る。１つ以上の第３レイヤは、測定周期で電子機器によって描画又はレンダリングされているレイヤである。この場合に、電子機器は、プロセッサの周波数を即座に増大させ、プロセッサの動作周波数をプロセッサの最大動作周波数へと調整し得る。プロセッサの周波数が即座に増大した後に、プロセッサの計算速度は増大し、レイヤの描画、レンダリング、及び組み立てのために電子機器によって必要とされる存続期間は短縮され得る。
電子機器が、プロセッサの周波数を即座に増大させた後に１つの同期周期でレイヤの描画、レンダリング、及び組み立てを依然として完了することができない場合に、電子機器は、電子機器がレイヤの描画、レンダリング、及び組み立てを完了することができることを確かにし、電子デバイスの表示スクリーンの表示効果を確かにするために、加速されたレンダリングモードから出てもよい。具体的に、Ｓ１３０１の後、本願のこの実施形態における方法は、Ｓ１３０２を更に含んでもよい。
Ｓ１３０２．第３フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に、電子機器は、画像フレームを取得するよう、垂直同期信号２に応答して、レンダリングされたレイヤに対してレイヤ組み立てを実行する。
第３フレーム処理期間は、第３フレームレンダリング期間と第３ＳＦフレーム期間との和である。第３フレームレンダリング期間は、１つ以上の第３レイヤを描画及びレンダリングするために必要な存続期間であり、第３ＳＦフレーム期間は、レンダリングされた１つ以上の第３レイヤに対してレイヤ組み立てを実行するために必要な存続期間である。
第３フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に、それは、プロセッサの周波数を即座に増大させた後に、電子機器が、１つの同期周期で１つ以上の第３レイヤの描画、レンダリング、及び組み立てを依然として完了することができないことを示す。この場合に、電子機器は、加速されたレンダリングモードから出てもよい。すなわち、１つ以上の第１レイヤのレンダリングが終わった後の最初の垂直同期信号２が到着する前に、電子機器は、レンダリングされたレイヤに対してレイヤ組み立てを実行せず、垂直同期信号２の到着を待ち、垂直同期信号２に応答してのみ、レンダリングされたレイヤに対してレイヤ組み立てを実行して画像フレームを取得する。
図１３は、本願のこの実施形態に従って、垂直同期信号に基づいた画像処理の方法の略フローチャートである。
図１３に示されるように、測定周期が経過した後、電子機器は、測定周期内の第１フレーム処理期間を取得するようＳ－１を実行し得る。Ｓ－１の詳細な説明については、Ｓ８０１ａ、Ｓ８０１ｂ、Ｓ１１０１、及び上記の実施形態における関連する記載を参照されたい。詳細は再びここでは記載されない。それから、電子機器は、測定周期内の第１フレーム処理期間が予めセットされた単フレーム期間よりも長いかどうかを決定するようＳ－２を実行し得る。Ｓ－２の詳細な説明については、Ｓ８０１及び上記の実施形態における関連する記載を参照されたい。詳細は再びここでは記載されない。
測定周期内の第１フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に、電子機器は、プロセッサの動作周波数を上げる（つまり、周波数を増大させる）ようＳ－３を実行し得る。Ｓ－３の詳細な説明については、Ｓ１１０４及び上記の実施形態における関連する記載を参照されたい。詳細は再びここでは記載されない。測定周期内の第１フレーム処理期間が予めセットされた単フレーム期間よりも短いか又はそれと等しい場合に、電子機器は、Ｎ個の連続した測定周期内の第１フレーム処理期間が予めセットされた条件を満足するかどうかを決定するようＳ－４を実行し得る。Ｓ－４の詳細な説明については、Ｓ１２０１ａ及び上記の実施形態における関連する記載を参照されたい。詳細は再びここでは記載されない。Ｎ個の連続した測定周期内の第１フレーム処理期間が予めセットされた条件を満足する場合に、電子機器はＳ－５及びＳ－６を実行する。電子機器は、プロセッサの動作周波数を下げる（つまり、周波数を低減させる）ようＳ－５を実行し得る。Ｓ－５の詳細な説明については、Ｓ１２０２及び上記の実施形態における関連する記載を参照されたい。詳細は再びここでは記載されない。電子機器は、加速されたレンダリングモードを開始するようＳ－６を実行する。本願のこの実施形態において、電子機器はまた、第１イベントに応答して、加速されたレンダリングモードを開始してもよい。加速されたレンダリングモードで、電子機器はＳ４０１及びＳ４０２を実行し得る。
更に、加速されたレンダリングモードで、電子機器は、第１特性点で消費される存続期間が、その第１特性点に対応する第２の予めセットされた存続期間よりも長いかどうかを決定するよう、Ｓ－７を実行し得る。第１特性点で消費される存続期間が第１特性点に対応する第２の予めセットされた存続期間よりも長い場合に、電子機器は、周波数を即座に増大させるようＳ－８を実行し得る。Ｓ－７及びＳ－８の詳細な説明については、Ｓ１３０１及び上記の実施形態における関連する記載を参照されたい。詳細は再びここでは記載されない。
第１特性点で消費される存続期間が第１特性点に対応する第２の予めセットされた存続期間よりも短いか又はそれと等しい場合に、電子機器は、加速されたレンダリングモードにあり続ける。周波数を即座に上げた（すなわち、Ｓ－８を実行した）後、電子機器は、第３フレーム処理期間が予めセットされた単フレーム期間よりも長いかどうかを決定するようＳ－９を実行し得る。第３フレーム処理期間が予めセットされた単フレーム期間よりも長い場合に、電子機器は、加速されたレンダリングモードから出るようＳ－１０を実行し得る。Ｓ－９及びＳ－１０の詳細な説明については、Ｓ１３０２及び上記の実施形態における関連する記載を参照されたい。詳細は再びここでは記載されない。第３フレーム処理期間が予めセットされた単フレーム期間よりも短いか又はそれと等しい場合に、電子機器は、加速されたレンダリングモードにあり続ける。本願のこの実施形態において、電子機器または、第２イベントに応答して、加速されたレンダリングモードから出てもよい。加速されたレンダリングモードから出た後、電子機器は、Ｓ９０３からＳ９０５の方法でレイヤの描画、レンダリング、及び組み立てと、画像フレーム表示とを実行し得る。
図１４は、本願のこの実施形態に従う最適化モジュールの概略図である。最適化モジュールは、画像フレーム生成装置又は電子機器内にあって、本願の実施形態における方法を実装するよう構成されている機能モジュールであってよい。図１４に示されるように、最適化モジュールは、サービス通信インターフェースモジュール１４０１、フレーム存続期間検出モジュール１４０２、単フレームレンダリングポリシーモジュール１４０３、及び動的調整アルゴリズムモジュール１４０４を含み得る。
フレーム存続期間検出モジュール１４０２は、測定周期（例えば、第１測定周期）内の複数の第２フレーム処理期間を取得し、測定周期内の第１フレーム処理期間を決定し、測定周期内の第１フレーム処理期間を動的調整アルゴリズムモジュール１４０４へ送るよう構成される。フレーム存続期間検出モジュール１４０２は、サービス通信インターフェースモジュール１４０１を使用することによって測定周期内の複数の第２フレーム処理期間を取得し得る。例えば、フレーム存続期間検出モジュール１４０２は、上記の方法の実施形態におけるＳ８０１ａ、Ｓ８０１ｂ、及びＳ１１０１、並びに／又は本明細書で記載されている技術の他のプロセスを実行することにおいて電子機器をサポートするよう構成される。
動的調整アルゴリズムモジュール１４０４は、フレーム存続期間検出モジュール１４０２によって決定された第１フレーム処理期間に基づきプロセッサの動作周波数を調整するためにスケジューリングモジュールを呼び出すよう構成される。例えば、動的調整アルゴリズムモジュール１４０４は、上記の方法の実施形態におけるＳ８０１、Ｓ１１０２、Ｓ１１０３、Ｓ１１０４、Ｓ１２０１、Ｓ１２０１ａ、Ｓ１２０２、Ｓ１３０１、及びＳ１３０２での「第３フレーム処理期間が予めセットされた単フレーム期間よりも長いことを決定する」動作、並びに／又は本明細書で記載されている技術において他のプロセスで使用される動作を実行することにおいて電子機器をサポートするよう構成される。
単フレームレンダリングポリシーモジュール１４０３は、動的調整アルゴリズムモジュール１４０４の制御に応答して、電子機器のＵＩスレッド、レンダリングスレッド、及び組み立てスレッドを制御して、レイヤの描画、レンダリング、及び組み立てを対応する方法で実行するよう構成される。例えば、単フレームレンダリングポリシーモジュール１４０３は、上記の方法の実施形態におけるＳ４０１、Ｓ４０２、Ｓ８０２、Ｓ８０３、Ｓ９０３、Ｓ９０４、Ｓ９０５、及びＳ１３０２での「レイヤ組み立て」の動作、並びに／又は本明細書で記載されている技術において他のプロセスで使用される動作を実行することにおいて電子機器をサポートするよう構成される。
図１５に示されるように、図１Ａに示されるソフトウェアアーキテクチャは、最適化モジュール６０を更に含んでもよい。最適化モジュール６０は、サービス通信インターフェースモジュール１４０１、フレーム存続期間検出モジュール１４０２、単フレームレンダリングポリシーモジュール１４０３、及び動的調整アルゴリズムモジュール１４０４を含み得る。
図１６（ａ）から図１６（ｃ）は、２つのブランドの携帯電話機の機械手の速度が１００ミリメートル（ｍｍ）／ｓである場合の「コンタクト」アプリケーションのスライドテストシナリオのテスト結果の概略図である。
図１６（ａ）は、ブランドの携帯電話機１（例えば、ｉＰｈｏｎｅ ｘｓの携帯電話機）の機械手の速度が１００ｍｍ／ｓである場合の「コンタクト」アプリケーションのスライドテストシナリオのテスト結果を示す。図１６（ａ）に示されるように、携帯電話機１のタッチ応答時間は、８２ｍｓから１１４ｍｓである。
図１６（ｂ）は、他のブランドの携帯電話機２（例えば、Ｈｕａｗｅｉの携帯電話機）が本願の実施形態における方法を実行する前の、機械手の速度が１００ｍｍ／ｓである場合の「コンタクト」アプリケーションのスライドテストシナリオのテスト結果を示す。図１６（ｂ）に示されるように、携帯電話機２が本願のこの実施形態における方法を実行する前には、タッチ応答時間は８２ｍｓから１３６ｍｓである。
図１６（ｃ）は、携帯電話機２が本願のこの実施形態における方法を実行する後の、機械手の速度が１００ｍｍ／ｓである場合の「コンタクト」アプリケーションのスライドテストシナリオのテスト結果を示す。図１６（ｃ）に示されるように、携帯電話機２が本願のこの実施形態における方法を実行する後には、タッチ応答時間は６５ｍｓから８４ｍｓである。
図１６（ｃ）を図１６（ｂ）と比較することによって、テストが同じ機械手速度（例えば、１００ｍｍ／ｓ）で同じテストシナリオにおいて行われる場合に、携帯電話機２が本願のこの実施形態における方法を実行する前のタッチ応答時間（略して、「タッチ応答時間（前）」、例えば、８２ｍｓから１３６ｍｓ）と比較して、携帯電話機２が本願のこの実施形態における方法を実行した後のタッチ応答時間（略して、「タッチ応答時間（後）」、例えば、６５ｍｓから８４ｍｓ）は、相対的に長いレイテンシ時間だけ短縮されている、ことが分かる。すなわち、本願のこの実施形態における方法は、電子機器の応答レイテンシを短縮し、かつ、電子機器のフルエンシ（例えば、タッチレイテンシ）を改善し得る。
図１６（ａ）を図１６（ｂ）と比較することによって、テストが同じテストシナリオにおいて同じ機械手速度（例えば、１００ｍｍ／ｓ）で行われる場合に、携帯電話機１のタッチ応答時間（例えば、８２ｍｓから１１４ｍｓ）と比較して、「タッチ応答時間（前）」（例えば、８２ｍｓから１３６ｍｓ）は相対的に長い、ことが分かる。
図１６（ａ）及び図１６（ｂ）を図１６（ｃ）と比較することによって、テストが同じテストシナリオにおいて同じ機械手速度（例えば、１００ｍｍ／ｓ）で行われる場合に、「タッチ応答時間（後）」（例えば、６５ｍｓから８４ｍｓ）は、「タッチ応答時間（前）」（例えば、８２ｍｓから１３６ｍｓ）と比較して相対的に長いレイテンシ時間だけ短縮されるだけでなく、携帯電話機１のタッチ応答時間（例えば、８２ｍｓから１１４ｍｓ）と比較してもいくらかの時間だけ短縮されている、ことが分かる。
上記のテストシナリオからは、本願のこの実施形態における方法が、電子機器の応答レイテンシを大いに短縮し、かつ、電子機器のフルエンシ（例えば、タッチレイテンシ）を改善することができる、ことが分かる。
本願のいくつかの実施形態は電子機器を提供する。電子機器は、表示スクリーン（例えば、タッチスクリーン）、メモリ、及び１つ以上のプロセッサを含み得る。表示スクリーン及びメモリはプロセッサへ結合されている。メモリは、コンピュータプログラムコードを記憶するよう構成されており、コンピュータプログラムコードはコンピュータ命令を含む。プロセッサがコンピュータ命令を実行する場合に、電子機器は、上記の方法の実施形態で電子機器によって実行された機能又はステップを実行し得る。電子機器の構造については、図２に示される電子機器２００の構造を参照されたい。
本願の実施形態はシステム・オン・チップを更に提供する。図１７に示されるように、システム・オン・チップは、少なくとも１つのプロセッサ１７０１及び少なくとも１つのインターフェース回路１７０２を含む。プロセッサ１７０１及びインターフェース回路１７０２は、ラインを使用することによって相互接続され得る。例えば、インターフェース回路１７０２は、他の装置（例えば、電子機器のメモリ）から信号を受信するよう構成され得る。他の例として、インターフェース回路１７０２は、他の装置（例えば、電子機器のプロセッサ１７０１又はタッチスクリーン）へ信号を送信するよう構成され得る。例えば、インターフェース回路１７０２は、メモリに記憶されている命令を読み出し、命令をプロセッサ１７０１へ送信してもよい。命令がプロセッサ１７０１によって実行される場合に、電子機器は、上記の実施形態における各ステップを実行することを可能にされ得る。確かに、システム・オン・チップは、他のディスクリート部品を更に含んでもよい。これは、本願のこの実施形態で特に限定されない。
本願の実施形態は、コンピュータ記憶媒体を更に提供する。コンピュータ記憶媒体は、コンピュータ命令を含み、コンピュータ命令が上記の電子機器で実行される場合に、電子機器は、上記の方法の実施形態で電子機器によって実行された機能又はステップを実行することを可能にされる。
本願の実施形態は、コンピュータプログラム製品を更に提供する。コンピュータプログラム製品がコンピュータで実行される場合に、コンピュータは、上記の方法の実施形態で電子機器によって実行された機能又はステップを実行することを可能にされる。
実施に関する上記の説明は、当業者が、便宜上、及び、記載を簡潔にするために、上記の機能モジュールの分割が説明のための例として使用されている、とを明りょうに理解することを可能にする。実際の用途では、上記の機能は、異なるモジュールに割り当てられ、要件に応じて実装され得る。すなわち、装置の内部構造は、上記の機能の全部又はいくつかを実装するよう、異なる機能モジュールに分割される。
本願で提供されているいくつかの実施形態で、開示されている装置及び方法は、他の様態で実装されてもよいことが理解されるべきである。例えば、記載されている装置の実施形態は、一例にすぎない。例えば、モジュール又はユニットの分割は、論理的な機能分割にすぎず、実際の実施では他の分割であってもよい。例えば、複数のユニット又はコンポーネントは、他の装置に結合又は一体化されてもよく、あるいは、いくつかの特徴は、無視されてもよく、又は実行されなくてもよい。更に、表示又は議論されている相互結合又は直接結合若しくは通信接続は、何らかのインターフェースを使用することによって実装されてもよい。装置又はユニット間の間接結合又は通信接続は、電気的な、機械的な、又は他の形式で実装されてもよい。
別個の部分として記載されているユニットは、物理的に分離していてもいなくてもよく、ユニットとして表示されている部分は、１つ以上の物理ユニットであってよく、１つの場所に位置していてもよく、あるいは、異なる場所に分散していてもよい。ユニットのいくつか又は全部は、実施形態の解決法の目的を達成するために実際の要件に基づき選択されてもよい。
更に、本願の実施形態における機能ユニットは、１つのプロセッシングユニットに組み込まれてもよく、あるいは、ユニットの夫々は物理的に単独で存在してもよく、あるいは、２つ以上のユニットが１つのユニットに一体化されてもよい。一体化されたユニットは、ハードウェアの形で実装されてもよく、あるいは、ソフトウェア機能ユニットの形で実装されてもよい。
いったいかされｓがソフトウェア機能ユニットの形で実装され、独立した製品として販売又は使用される場合に、一体化されたユニットは、読み出し可能な記憶媒体に記憶されてもよい。かような理解に基づいて、本願の技術的解決法は本質的に、あるいは、従来技術に寄与する部分、又は技術的解決法の全部若しくはいくつかは、ソフトウェア製品の形で実装されてもよい。ソフトウェア製品は、記憶媒体に記憶され、本願の実施形態で記載されている方法のステップの全部又はいくつかを実行するようにデバイス（シングルチップのマイクロコンピュータ、チップ、などであってよい）又はプロセッサ（processor）に命令するためのいくつかの命令を含む。上記の記憶媒体には、ＵＳＢフラッシュドライブ、リムーバブルハードディスク、リード・オンリー・メモリ（read only memory，ＲＯＭ）、ランダム・アクセス・メモリ（random access memory，ＲＡＭ）、磁気ディスク、又は光ディスクなどの、プログラムコードを記憶することができる如何なる媒体も含まれる。
上記の説明は、本願の具体的な実施にすぎず、本願の保護範囲を限定する意図はない。本願で開示されている技術範囲内の如何なる変形又は置換も、本願の保護範囲内に入るべきである。従って、本願の保護範囲は、特許請求の範囲の保護範囲に従うべきである。
本願は、２０１９年７月３日付けで「METHOD FOR IMAGE PROCESSING BASED ON VERTICAL SYNCHRONIZATION SIGNALS AND ELECTRONIC DEVICE」との発明の名称で中国国家知識産権局に出願された中国特許出願第２０１９１０５９６１７８．Ｘ号と、２０１９年７月９日付けで「METHOD FOR IMAGE PROCESSING BASED ON VERTICAL SYNCHRONIZATION SIGNALS AND ELECTRONIC DEVICE」との発明の名称で中国国家知識産権局に出願された中国特許出願第２０１９１０６１７１０１．６号とに対する優先権を主張するものであり、これらの中国特許出願はいずれも、それらの全文を参照により本願に援用される。

Claims (21)

  1. 垂直同期信号に基づいた画像処理の方法であって、当該方法は、表示スクリーンを有する電子機器に適用される、前記方法において、
    前記電子機器によって、第１垂直同期信号に応答して１つ以上の第１レイヤを描画し、該１つ以上の第１レイヤをレンダリングし、該１つ以上の第１レイヤをレンダリングした後に、該レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することと、
    前記電子機器によって、第２垂直同期信号に応答して前記第１画像フレームをリフレッシュ及び表示することと、
    前記電子機器のスクリーンリフレッシュレートが予めセットされたリフレッシュレート閾値よりも大きい場合に、第１測定周期における第１フレーム処理期間が予めセットされたデュアルフレーム期間よりも長いならば、前記電子機器の電力消費量を減らすよう、前記電子機器によって、該電子機器のハードウェアリソースに対してネガティブスケジューリングを実行することと
    を有する方法。
  2. 当該方法は、
    レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために前記電子機器によって必要とされる存続期間を短縮するよう、前記電子機器によって、該電子機器のハードウェアリソースに対してポジティブスケジューリングを実行することを更に有する、
    請求項１に記載の方法。
  3. 前記電子機器によって、第１垂直同期信号に応答して１つ以上の第１レイヤを描画し、該１つ以上の第１レイヤをレンダリングすることは、
    前記電子機器でユーザ操作又はユーザインターフェース（ＵＩ）イベントを検出する場合に、前記電子機器によって、前記第１垂直同期信号に応答して前記１つ以上の第１レイヤを描画し、該１つ以上の第１レイヤをレンダリングすることを有する、
    請求項１又は２に記載の方法。
  4. 前記電子機器によって、第１垂直同期信号に応答して１つ以上の第１レイヤを描画し、該１つ以上の第１レイヤをレンダリングし、該１つ以上の第１レイヤをレンダリングした後に、該レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することは、
    第１測定周期における第１フレーム処理期間が予めセットされた単フレーム期間以下である場合に、前記電子機器によって、前記第１垂直同期信号に応答して前記１つ以上の第１レイヤを描画し、該１つ以上の第１レイヤをレンダリングし、該１つ以上の第１レイヤをレンダリングした後に、該レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して前記第１画像フレームを取得することを有し、
    前記第１フレーム処理期間は、第１フレームレンダリング期間と、前記第１レイヤを組み立てる第１ＳＦフレーム期間との和であり、前記第１フレームレンダリング期間は、レイヤを描画し、該描画されたレイヤをレンダリングするために必要な期間であり、前記第１ＳＦフレーム期間は、前記レンダリングされたレイヤに対してレイヤ組み立てを実行するために必要な期間である、
    請求項１乃至３のうちいずれか一項に記載の方法。
  5. 前記予めセットされた単フレーム期間は、前記第２垂直同期信号の信号周期以下である、
    請求項４に記載の方法。
  6. 当該方法は、
    前記第１フレーム処理期間が前記予めセットされた単フレーム期間よりも長い場合に、前記電子機器によって、前記第１垂直同期信号に応答して前記１つ以上の第１レイヤを描画し、第３垂直同期信号に応答して前記レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して前記第１画像フレームを取得することを更に有する、
    請求項４又は５に記載の方法。
  7. 当該方法は、
    前記第１フレーム処理期間が前記予めセットされた単フレーム期間よりも長い場合に、レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために前記電子機器によって必要とされる存続期間を短縮するよう、前記電子機器によって、該電子機器のハードウェアリソースに対してポジティブスケジューリングを実行することを更に有する、
    請求項４又は５に記載の方法。
  8. 前記１つ以上の第１レイヤは、１つ以上のアプリケーションに対応する描画タスクを実行することによって前記電子機器によって描画されたレイヤを有し、前記１つ以上のアプリケーションは、１つ以上のシステムレベルアプリケーション及び１つ以上のユーザレベルアプリケーションのうちの少なくとも１つを有し、前記システムレベルアプリケーションは、ステータスバー、ラウンチャ、ナビゲーションバー、及び壁紙を有する、
    請求項４乃至７のうちいずれか一項に記載の方法。
  9. 前記１つ以上の第１レイヤをレンダリングした後に、該レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することは、
    前記１つ以上のアプリケーションの中のフォーカスアプリケーション、キーアプリケーション、又は前記電子機器のフルエンシに密接に関係があるアプリケーションの１つ以上の第１レイヤをレンダリングした後に、前記１つ以上のアプリケーションのために前記電子機器によってレンダリングされた前記第１レイヤに対してレイヤ組み立てを実行して前記第１画像フレームを取得することを有する、
    請求項８に記載の方法。
  10. 前記１つ以上の第１レイヤをレンダリングした後に、該レンダリングされた１つ以上の第１レイヤに対してレイヤ組み立てを実行して第１画像フレームを取得することは、
    前記１つ以上の第１レイヤの中のフォーカスレイヤ、キーレイヤ、又は前記電子機器のフルエンシに密接に関係があるレイヤをレンダリングした後に、前記１つ以上のアプリケーションのために前記電子機器によってレンダリングされた前記第１レイヤに対してレイヤ組み立てを実行して前記第１画像フレームを取得することを有する、
    請求項８に記載の方法。
  11. 当該方法は、
    前記電子機器によって、前記１つ以上のアプリケーションの中のフォーカスアプリケーションに対応する第１フレームレンダリング期間と、前記電子機器による前記１つ以上のアプリケーションに対応する第１ＳＦフレーム期間とに基づいて前記第１フレーム処理期間を決定することを更に有する、
    請求項８乃至１０のうちいずれか一項に記載の方法。
  12. 当該方法は、
    前記電子機器によって、前記１つ以上のアプリケーションの全部に対応する第１フレームレンダリング期間の中で最長の第１フレームレンダリング期間と、前記電子機器による前記１つ以上のアプリケーションに対応する第１ＳＦフレーム期間とに基づいて前記第１フレーム処理期間を決定することを更に有する、
    請求項８乃至１０のうちいずれか一項に記載の方法。
  13. 前記予めセットされたデュアルフレーム期間は、前記第２垂直同期信号の信号周期のＫ倍以下であり、Ｋ≧２である、
    請求項１乃至１２のうちいずれか一項に記載の方法。
  14. レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために前記電子機器によって必要とされる存続期間を短縮するよう、前記電子機器によって、該電子機器のハードウェアリソースに対してポジティブスケジューリングを実行することは、
    レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために前記電子機器によって必要とされる前記存続期間を短縮するよう、前記電子機器によって、次のポジティブスケジューリングのうちの１つ以上を実行することを有し、
    前記ポジティブスケジューリングは、前記電子機器のプロセッサの動作周波数を増大させること、当該方法を実行するラージコアプロセッサを選択すること、及び前記電子機器のメモリの動作周波数を増大させることを有し、
    前記プロセッサは、中央演算処理装置（ＣＰＵ）及び／又はグラフィクス処理ユニット（ＧＰＵ）を有する、
    請求項２又は７に記載の方法。
  15. レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために前記電子機器によって必要とされる存続期間を短縮するよう、前記電子機器によって、該電子機器のハードウェアリソースに対してポジティブスケジューリングを実行することは、
    レイヤ描画、レイヤレンダリング、及び／又はレイヤ組み立てのために前記電子機器によって必要とされる前記存続期間を短縮するよう、前記電子機器によって、第１測定周期における第１フレーム処理期間、前記第１測定周期内の１つの同期周期で前記電子機器によってレイヤ描画、レイヤレンダリング、及びレイヤ組み立てを完了する回数若しくは確率、又は前記電子機器のフォアグラウンドアプリケーション若しくはフォーカスアプリケーションに基づいて、前記電子機器の前記ハードウェアリソースに対してポジティブスケジューリングを実行することを有し、
    前記フォアグラウンドアプリケーションは、前記表示スクリーンに現在表示されているインターフェースに対応する、
    請求項２又は７に記載の方法。
  16. 前記電子機器は、該電子機器の電力消費量を減らすよう次のネガティブスケジューリングのうちの１つ以上を実行し、
    前記ネガティブスケジューリングは、前記電子機器のプロセッサの動作周波数を低減させること、当該方法を実行するスモールコアプロセッサを選択すること、及び前記電子機器のメモリの動作周波数を低減させることを有し、
    前記プロセッサは、ＣＰＵ及び／又はグラフィクス処理ユニット（ＧＰＵ）を有する、
    請求項１乃至１５のうちいずれか一項に記載の方法。
  17. 当該方法は、
    前記電子機器によって、第１測定周期における１つ以上の第２フレーム処理期間を取得することであり、各第２フレーム処理期間は、第２フレームレンダリング期間と第２ＳＦフレーム期間との和であり、前記第２フレームレンダリング期間は、レイヤを描画し、該描画されたレイヤをレンダリングするために必要な期間であり、前記第２ＳＦフレーム期間は、前記レンダリングされたレイヤに対してレイヤ組み立てを実行するために必要な期間である、ことと、
    前記電子機器によって、前記１つ以上の第２フレーム処理期間に基づいて前記第１測定周期における第１フレーム処理期間を決定することと
    を更に有し、
    前記１つ以上の第２フレーム処理期間が複数の第２フレーム処理期間を有する場合に、前記第１フレーム処理期間は、前記複数の第２フレーム処理期間の中で最長の第２フレーム処理期間であるか、あるいは、前記第１フレーム処理期間は、前記複数の第２フレーム処理期間の平均値である、
    請求項４乃至１６のうちいずれか一項に記載の方法。
  18. 電子機器であって、
    タッチスクリーン、メモリ、及び１つ以上のプロセッサを有し、
    前記タッチスクリーン及び前記メモリは、前記プロセッサへ結合され、
    前記メモリは、コンピュータプログラムコードを記憶するよう構成され、
    前記コンピュータプログラムコードは、コンピュータ命令を有し、
    前記プロセッサが前記コンピュータ命令を実行する場合に、当該電子機器は、請求項１乃至１７のうちいずれか一項に記載の方法を実行する、
    電子機器。
  19. システム・オン・チップであって、
    タッチスクリーンを有する電子機器に適用され、
    １つ以上のインターフェース回路及び１つ以上のプロセッサを有し、
    前記インターフェース回路及び前記プロセッサは、ラインを使用することによって相互接続され、
    前記インターフェース回路は、前記電子機器のメモリから信号を受信し、該信号を前記プロセッサへ送信するよう構成され、
    前記信号は、前記メモリに記憶されているコンピュータ命令を有し、
    前記プロセッサが前記コンピュータ命令を実行する場合に、前記電子機器は、請求項１乃至１７のうちいずれか一項に記載の方法を実行する、
    システム・オン・チップ。
  20. コンピュータ命令を有するコンピュータ記憶媒体であって、
    前記コンピュータ命令が電子機器で実行される場合に、該電子機器は、請求項１乃至１７のうちいずれか一項に記載の方法を実行することを可能にされる、
    コンピュータ記憶媒体。
  21. プロセッサを、請求項１乃至１７のうちいずれか一項に記載の方法を実行するよう適応させるプログラム。
JP2021578085A 2019-07-03 2020-07-03 垂直同期信号に基づいた画像処理の方法及び電子機器 Active JP7337968B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
CN201910596178.X 2019-07-03
CN201910596178 2019-07-03
CN201910617101.6A CN110503708A (zh) 2019-07-03 2019-07-09 一种基于垂直同步信号的图像处理方法及电子设备
CN201910617101.6 2019-07-09
PCT/CN2020/100014 WO2021000921A1 (zh) 2019-07-03 2020-07-03 一种基于垂直同步信号的图像处理方法及电子设备

Publications (2)

Publication Number Publication Date
JP2022538464A JP2022538464A (ja) 2022-09-02
JP7337968B2 true JP7337968B2 (ja) 2023-09-04

Family

ID=68586206

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021578085A Active JP7337968B2 (ja) 2019-07-03 2020-07-03 垂直同期信号に基づいた画像処理の方法及び電子機器

Country Status (5)

Country Link
US (1) US11887557B2 (ja)
EP (1) EP3971715A4 (ja)
JP (1) JP7337968B2 (ja)
CN (1) CN110503708A (ja)
WO (1) WO2021000921A1 (ja)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110503708A (zh) * 2019-07-03 2019-11-26 华为技术有限公司 一种基于垂直同步信号的图像处理方法及电子设备
CN110942500A (zh) * 2019-11-29 2020-03-31 广州久邦世纪科技有限公司 一种静态图转化成动态图的方法和装置
CN111124230B (zh) * 2019-12-24 2020-11-17 腾讯科技（深圳）有限公司 输入响应方法、装置、电子设备及计算机可读存储介质
WO2021142780A1 (en) * 2020-01-17 2021-07-22 Qualcomm Incorporated Methods and apparatus for reducing frame latency
WO2021232328A1 (en) * 2020-05-21 2021-11-25 Qualcomm Incorporated Methods and apparatus for tickless pre-rendering
WO2021248370A1 (en) * 2020-06-10 2021-12-16 Qualcomm Incorporated Methods and apparatus for reducing frame drop via adaptive scheduling
CN114092595B (zh) * 2020-07-31 2022-11-04 荣耀终端有限公司 一种图像处理方法及电子设备
CN112104855B (zh) * 2020-09-17 2022-05-31 联想(北京)有限公司 一种图像处理方法及装置
CN114327697A (zh) * 2020-09-30 2022-04-12 华为技术有限公司 一种事件处理方法及设备
CN114338952B (zh) * 2020-09-30 2023-07-11 华为技术有限公司 一种基于垂直同步信号的图像处理方法及电子设备
CN113867663B (zh) * 2020-10-22 2024-04-09 华为技术有限公司 一种显示方法及电子设备
WO2022089153A1 (zh) * 2020-10-31 2022-05-05 华为技术有限公司 一种基于垂直同步信号的控制方法及电子设备
CN114520854B (zh) * 2020-11-18 2024-01-12 格科微电子（上海）有限公司 一种多摄像头信号同步方法及装置
CN114756359A (zh) * 2020-12-29 2022-07-15 华为技术有限公司 一种图像处理方法和电子设备
CN114764358A (zh) * 2021-01-13 2022-07-19 华为技术有限公司 一种界面显示方法及电子设备
CN112929741B (zh) * 2021-01-21 2023-02-03 杭州雾联科技有限公司 一种视频帧渲染方法、装置、电子设备和存储介质
CN112767524A (zh) * 2021-01-26 2021-05-07 北京小米移动软件有限公司 图像显示方法及装置、电子设备、存储介质
CN115225940B (zh) * 2021-04-15 2023-07-28 青岛海信宽带多媒体技术有限公司 一种机顶盒及机顶盒页面显示方法
CN113064728B (zh) * 2021-04-16 2022-11-04 上海众链科技有限公司 高负载应用图像显示方法、终端及可读存储介质
CN113190315B (zh) * 2021-04-29 2022-11-25 安徽华米健康医疗有限公司 一种显示器刷新方法及其装置
CN113364767B (zh) * 2021-06-03 2022-07-12 北京字节跳动网络技术有限公司 一种流媒体数据显示方法、装置、电子设备及存储介质
CN114089933B (zh) * 2021-06-09 2022-09-02 荣耀终端有限公司 显示参数的调整方法、电子设备、芯片及可读存储介质
CN113426112B (zh) * 2021-07-02 2023-07-14 腾讯科技（深圳）有限公司 游戏画面的显示方法和装置、存储介质及电子设备
CN115048012B (zh) * 2021-09-30 2023-04-25 荣耀终端有限公司 数据处理方法和相关装置
CN113992981B (zh) * 2021-10-21 2024-03-15 稿定（厦门）科技有限公司 视频图像的处理方法及装置
CN114040252A (zh) * 2021-11-03 2022-02-11 Oppo广东移动通信有限公司 显示帧率控制方法及装置、计算机可读介质和电子设备
CN115639920B (zh) * 2021-12-24 2023-12-22 荣耀终端有限公司 绘制方法、电子设备和可读存储介质
CN114217730A (zh) * 2021-12-27 2022-03-22 科大讯飞股份有限公司 一种书写显示方法、装置、设备、系统及存储介质
CN115550708B (zh) * 2022-01-07 2023-12-19 荣耀终端有限公司 数据处理方法及电子设备
WO2023216146A1 (zh) * 2022-05-11 2023-11-16 北京小米移动软件有限公司 显示图像的更新方法、装置及存储介质
CN115190351B (zh) * 2022-07-06 2023-09-29 Vidaa国际控股(荷兰)公司 显示设备及媒资缩放控制方法
CN117492628A (zh) * 2022-07-26 2024-02-02 华为技术有限公司 一种图像处理方法及装置
CN116723265A (zh) * 2022-09-14 2023-09-08 荣耀终端有限公司 图像处理方法、可读存储介质、程序产品和电子设备
CN116704087B (zh) * 2022-10-17 2024-02-27 荣耀终端有限公司 一种参数调整方法及电子设备
CN117215426A (zh) * 2023-01-28 2023-12-12 荣耀终端有限公司 一种显示方法及电子设备
CN116594543B (zh) * 2023-07-18 2024-03-26 荣耀终端有限公司 显示方法、设备及可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005322144A (ja) 2004-05-11 2005-11-17 Namco Ltd 画像生成プログラム、情報記憶媒体及び画像生成システム
US20160247484A1 (en) 2013-11-06 2016-08-25 Huawei Device Co., Ltd. Method for Generating Display Frame and Terminal Device
US20180121213A1 (en) 2016-10-31 2018-05-03 Anthony WL Koo Method apparatus for dynamically reducing application render-to-on screen time in a desktop environment

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140088691A (ko) 2013-01-03 2014-07-11 삼성전자주식회사 Ｄｖｆｓ 정책을 수행하는 시스템-온 칩 및 이의 동작 방법
US9811388B2 (en) 2015-05-14 2017-11-07 Qualcomm Innovation Center, Inc. VSync aligned CPU frequency governor sampling
CN105913371A (zh) * 2015-11-16 2016-08-31 乐视致新电子科技（天津）有限公司 一种针对虚拟现实应用延迟的系统优化方法和装置
JP2017130040A (ja) * 2016-01-20 2017-07-27 株式会社ジャパンディスプレイ タッチ検出機能付き表示装置及び表示方法
JP6598408B2 (ja) * 2016-03-08 2019-10-30 華為技術有限公司 表示方法および端末デバイス
KR20180067220A (ko) 2016-12-12 2018-06-20 삼성전자주식회사 모션 기반 영상을 처리하는 방법 및 장치
CN106933587B (zh) * 2017-03-10 2019-12-31 Oppo广东移动通信有限公司 一种图层绘制控制方法、装置及移动终端
CN106658691B (zh) * 2017-03-10 2020-01-14 Oppo广东移动通信有限公司 一种显示控制方法、装置及移动终端
CN107220019B (zh) * 2017-05-15 2021-01-08 固安县朔程燃气有限公司 一种基于动态vsync信号的渲染方法、移动终端及存储介质
CN108829475B (zh) * 2018-05-29 2021-08-17 北京小米移动软件有限公司 Ui绘制方法、装置及存储介质
CN110503708A (zh) 2019-07-03 2019-11-26 华为技术有限公司 一种基于垂直同步信号的图像处理方法及电子设备

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005322144A (ja) 2004-05-11 2005-11-17 Namco Ltd 画像生成プログラム、情報記憶媒体及び画像生成システム
US20160247484A1 (en) 2013-11-06 2016-08-25 Huawei Device Co., Ltd. Method for Generating Display Frame and Terminal Device
US20180121213A1 (en) 2016-10-31 2018-05-03 Anthony WL Koo Method apparatus for dynamically reducing application render-to-on screen time in a desktop environment

Also Published As

Publication number Publication date
JP2022538464A (ja) 2022-09-02
CN110503708A (zh) 2019-11-26
US11887557B2 (en) 2024-01-30
US20220358894A1 (en) 2022-11-10
EP3971715A1 (en) 2022-03-23
EP3971715A4 (en) 2022-07-06
WO2021000921A1 (zh) 2021-01-07

Similar Documents

Publication Publication Date Title
JP7337968B2 (ja) 垂直同期信号に基づいた画像処理の方法及び電子機器
EP3971692A1 (en) Control method based on vertical synchronizing signal, and electronic device
KR102470275B1 (ko) 음성 제어 방법 및 전자 장치
US11450315B2 (en) Electronic apparatus and method for operating same
WO2021032097A1 (zh) 一种隔空手势的交互方法及电子设备
JP7280005B2 (ja) 無線充電方法および電子デバイス
KR20180083587A (ko) 전자 장치 및 그의 동작 방법
JP7397861B2 (ja) スタイラスペン検出方法、システムおよび関連装置
WO2020073288A1 (zh) 一种触发电子设备执行功能的方法及电子设备
KR102464280B1 (ko) 입력 처리 방법 및 장치
WO2021027678A1 (zh) 一种基于垂直同步信号的图像处理方法及电子设备
WO2021110133A1 (zh) 一种控件的操作方法及电子设备
CN112423138A (zh) 一种搜索结果展示方法及终端设备
CN114092595A (zh) 一种图像处理方法及电子设备
WO2022057512A1 (zh) 分屏方法、装置及电子设备
WO2017206918A1 (zh) 终端加速唤醒方法以及相关产品
CN108874554B (zh) 信息通信方法及装置
CN107193551B (zh) 一种生成图像帧的方法和装置
CN114666433A (zh) 一种终端设备中啸叫处理方法及装置、终端
US20150070360A1 (en) Method and mobile terminal for drawing sliding trace
WO2015139595A1 (en) Method and apparatus for controlling presentation of multimedia data
EP4152756A1 (en) Device recommendation method and electronic device
CN108845755A (zh) 分屏处理方法、装置、存储介质及电子设备
JP2023546870A (ja) インターフェースディスプレイ方法及び電子デバイス
CN110995932A (zh) 备忘录设置方法、装置、存储介质及电子设备

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220105

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220105

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230126

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230221

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230823

R150 Certificate of patent or registration of utility model

Ref document number: 7337968

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150