JP6560484B2 - イメージオーバレイを用いてディスプレイ遅延を低減する方法及び装置 - Google Patents

Description

本特許出願は、「Ａ Ｍｅｔｈｏｄ ａｎｄ Ａｐｐａｒａｔｕｓ ｔｏ Ｒｅｄｕｃｅ Ｄｉｓｐｌａｙ Ｌａｇ Ｕｓｉｎｇ Ｉｍａｇｅ Ｏｖｅｒｌａｙ」という名称で２０１３年４月２２日付けで提出され、その全体が参照により本明細書に取り込まれる、米国予備出願一連番号６１／８１４，７５０の優先権及び利益を主張する。

本発明の実施形態は、タッチ入力デバイスを備えるディスプレイデバイスに関するものであり、さらに詳しくは、タッチ入力デバイス及びディスプレイデバイス間のディスプレイ遅延（ｄｉｓｐｌａｙ ｌａｇ）を低減するシステム及び方法に関する。

重なり合っているタッチセンサーパネルに組み付けられたり結合されたりするディスプレイパネルは、モバイル電話機、タブレットコンピュータ、ラップトップコンピュータ及びデスクトップコンピュータなどのタッチ−可能コンピューティングデバイスに相互作用システム（ｉｎｔｅｒａｃｔｉｏｎ ｓｙｓｔｅｍ）を提供する。そのようなコンピューティングデバイスにおいて、ディスプレイパネルの上にグラフィックがディスプレイされ、ユーザーは、スクリーンをタッチして（例えば、能動スタイラス、手動スタイラス、又は指のような身体の一部を用いて）これらのデバイスと相互作用することにより、直観的なユーザーインターフェースが提供される。

タッチセンサーパネルにより検出されるタッチイベント（ｔｏｕｃｈ ｅｖｅｎｔ）は、典型的にデバイスのアプリケーションプロセッサ（ａｐｐｌｉｃａｔｉｏｎ ｐｒｏｃｅｓｓｏｒ;ＡＰ）上で駆動される高レベルアプリケーションソフトウェアによりプロセシングされる。タッチセンサーパネル及びＡＰ間の多くのプロセシングステップとＡＰ上での非決定性（ｎｏｎ−ｄｅｔｅｒｍｉｎｉｓｔｉｃ）プロセシング時間（ＡＰにより行われる他の計算業務による遅延を含む）によりユーザーのタッチ入力に対するコンピューティングデバイスの応答性（ｒｅｓｐｏｎｓｉｖｅｎｅｓｓ）を低減する高レベルの待ち時間（ｌａｔｅｎｃｙ）が導入される。

いくつかの実証研究によって、ほとんどの人々が、例えばタッチすることと、見ることとの感覚間で、３０ミリ秒の非同時性（ａｓｙｎｃｈｒｏｎｙ）さえ検出することができるということが明らかとなった（例えば、Ｌｏｎｄｏｎ Ｔａｙｌｏｒ ＆ Ｆｒａｎｃｉｓ ＧｒｏｕｐのＫｅｅｔｅｌｓ， Ｍ．及びＶｒｏｏｍｅｎ， Ｊの（２０１２） Ｐｅｒｃｅｐｔｉｏｎ ｏｆ Ｓｙｎｃｈｒｏｎｙ Ｂｅｔｗｅｅｎ ｔｈｅ Ｓｅｎｓｅｓ、及びＭ． Ｍ． Ｍｕｒｒａｙ及びＭ． Ｔ． Ｗａｌｌａｃｅ （Ｅｄｓ）のＦｒｏｎｔｉｅｒｓ ｉｎ ｔｈｅ ｎｅｕｒａｌ ｂａｓｉｓ ｏｆ ｍｕｌｔｉｓｅｎｓｏｒｙ ｐｒｏｃｅｓｓｅｓ（ページ１４７−１７７を参照すること）。５０〜２００ミリ秒の遅延は、このコンピューティングデバイスのユーザーのほとんどが検出することができる筈であり、これは、ユーザーの入力にフィードバックを直ちに提供するようにデバイスをコンピューティングすることができないため、ユーザーの不満の増加につながる虞がある。

本発明の目的は、タッチイベント及びこのタッチイベントに対するディスプレイ応答間の待ち時間（レイテンシ）を低減するところにある。

本発明の一つの実施形態によれば、システムは、複数のタッチイベントを受信し、タッチイベントに基づいて出力を生成するように構成されるタッチ経路ロジックと、レンダリングロジックと、を備え、レンダリングロジックは、ビデオイメージを受信し、タッチ経路ロジックの出力を受信し、組み合わせられたディスプレイイメージを生成するためにタッチ経路ロジックの出力に応じてビデオイメージをオーバレイデータと組み合わせ、組み合わせられたディスプレイイメージを出力するように構成される。

ビデオイメージはディスプレイされたラインを備えていてもよく、オーバレイデータの特性はディスプレイされたラインの特性と整合されてもよい。

特性は、カラーを備えていてもよい。

タッチ経路ロジックはアプリケーションプロセッサの構成要素であってもよく、アプリケーションプロセッサはビデオイメージを生成するように構成されてもよい。

タッチ経路ロジックは、ディスプレイ駆動機インターフェース制御器の構成要素であってもよく、ディスプレイ駆動機インターフェース制御器は、アプリケーションプロセッサからビデオイメージを受信し、組み合わせられたディスプレイイメージをディスプレイパネルに供給するように構成されてもよい。

タッチ経路ロジックは、タッチセンサーパネルに組み付けられるタッチ制御器の構成要素であってもよく、タッチ制御器は、タッチセンサーパネルから複数のタッチ信号を受信し、複数のタッチイベントを生成するように構成されてもよい。

タッチ経路ロジックは、タッチセンサーパネルからタッチイベントを受信し、受信されたタッチイベントに応じてマスクデータを生成するように構成されてもよく、マスクデータは、数値のマトリックスを備え、数値のそれぞれは、組み合わせられたディスプレイイメージを製作するためにレンダリングロジックの動作を識別し、マトリックス内の数値の位置は、組み合わせられたディスプレイイメージ内のピクセルの位置に対応してもよい。

レンダリングロジックは、組み合わせられたディスプレイイメージ内のそれぞれのピクセル別に、マスクデータ内の対応する位置における値に応じてビデオイメージの対応するピクセル又はオーバレイデータを出力するか否かを決定することにより、ビデオイメージをオーバレイデータと組み合わせるように構成されてもよい。

レンダリングロジックは、組み合わせられたディスプレイイメージ内のそれぞれのピクセル別に、マスクデータ内の対応する位置における値に応じてビデオイメージの対応するピクセル及びオーバレイデータを混合する方法を決定することにより、ビデオイメージをオーバレイデータと組み合わせるように構成されてもよい。

混合は、エッジ向上動作、ダッジ動作、バーン動作又はアルファ合成効果であってもよい。

マスクデータの数値のそれぞれは、組み合わせられたディスプレイイメージ内の正確に一つのピクセルに対応してもよい。

マスクデータの数値のそれぞれは、組み合わせられたディスプレイイメージ内の１以上のピクセルに対応してもよい。

オーバレイデータは複数のページを備えていてもよく、マスクデータは複数のページのうちの少なくとも一つを識別する情報を備えていてもよい。

タッチ経路ロジックは、パラメータを受信し、タッチイベントに応じて推定タッチ経路を計算し、推定タッチ経路及びパラメータに応じてマスクデータを生成するようにさらに構成されてもよく、ここで、パラメータは、マスク領域の位置を制御してもよく、推定タッチ経路の幅、スタイル又は形状を制御してもよい。

システムは、ビデオイメージを生成するように構成されるアプリケーションプロセッサをさらに備えていてもよく、ここで、レンダリングロジックは、アプリケーションプロセッサの構成要素であってもよい。

レンダリングロジックは、タッチイベントの下位セットに基づいてビデオイメージをオーバレイデータと組み合わせるようにさらに構成されてもよく、下位セットは、固定された数のビデオイメージに対応してもよい。

レンダリングロジックは、ビデオイメージをレンダリングロジックに供給するように構成されるアプリケーションプロセッサにより導入される遅延に対応する多数のビデオイメージに対応するタッチイベントの下位セットに基づいてビデオイメージをオーバレイデータと組み合わせるようにさらに構成されてもよい。

レンダリングロジックは、ビデオイメージをレンダリングロジックに供給するように構成されるアプリケーションプロセッサの以前のレンダリングされた出力から計算される複数のビデオイメージに対応するタッチイベントの下位セットに基づいてビデオイメージをオーバレイデータと組み合わせるようにさらに構成されてもよい。

オーバレイデータは、ビットマップイメージを備えていてもよい。

オーバレイデータは、単一のカラー値を有していてもよい。

レンダリングロジックは、アプリケーションプロセッサからの入力なしにオーバレイデータを生成するように構成されてもよい。

レンダリングロジックは、アプリケーションプロセッサから供給されるデータ及びシステム内部のデータを用いてオーバレイデータを生成するように構成されてもよい。

レンダリングロジックは、アプリケーションプロセッサからオーバレイデータを受信するように構成されてもよい。

タッチイベントは、ポインティングツール及びタッチ入力パネル間の相互作用の結果として発生されてもよい。

本発明の一実施形態によれば、タッチ入力に視覚的なフィードバックを提供する方法は、ディスプレイに組み付けられたタッチセンサーパネルから複数のタッチイベントを受信するステップと、ビデオイメージを受信するステップと、組み合わせられたディスプレイイメージを生成するためにタッチイベントに応じてビデオイメージをオーバレイデータと組み合わせるステップと、組み合わせられたディスプレイイメージをディスプレイに供給するステップと、を含む。

前記方法は、パラメータを受信するステップと、タッチイベントに応じて推定タッチ経路を計算するステップと、をさらに含んでいてもよく、ここで、ビデオイメージは、推定タッチ経路及びパラメータに応じてオーバレイデータと組み合わせられてもよく、パラメータは、組み合わせられたディスプレイイメージにおけるオーバレイデータの位置を制御してもよく、推定タッチ経路の幅、スタイル又は形状を制御してもよい。

前記方法は、タッチイベントに応じて推定タッチ経路を計算するステップをさらに含んでいてもよく、ここで、ビデオイメージは、推定タッチ経路に応じてオーバレイデータと組み合わせられてもよく、推定タッチ経路は、固定された数のフレームに対応するタッチイベントの下位セットに基づいて計算されてもよい。

前記方法は、タッチイベントに応じて推定タッチ経路を計算するステップをさらに含んでいてもよく、ここで、ビデオイメージは、推定タッチ経路に応じてオーバレイデータと組み合わせられてもよく、推定タッチ経路は、アプリケーションプロセッサにより導入される遅延に対応する複数のフレームに対応するタッチイベントの下位セットに基づいて計算されてもよい。

前記方法は、タッチイベントに応じて推定タッチ経路を計算するステップをさらに含んでいてもよく、ここで、ビデオイメージは、推定タッチ経路に応じてオーバレイデータと組み合わせられてもよく、推定タッチ経路は、アプリケーションプロセッサの以前のレンダリングされた出力から計算される複数のフレームに対応するタッチイベントの下位セットに基づいて計算されてもよい。

オーバレイデータは、ビットマップイメージを備えていてもよい。

オーバレイデータは、単一のカラー値を有していてもよい。

前記方法は、アプリケーションプロセッサからの入力なしにオーバレイデータを生成するステップをさらに含んでいてもよい。

前記方法は、アプリケーションプロセッサから供給されるデータ及び内部データを用いてオーバレイデータを生成するステップをさらに含んでいてもよい。

前記方法は、アプリケーションプロセッサからオーバレイデータを受信するステップをさらに含んでいてもよい。

組み合わせられたディスプレイイメージを生成するためにタッチイベントに応じてビデオイメージをオーバレイデータと組み合わせるステップは、タッチイベントに基づいてマスクデータを生成するステップであって、マスクデータは数値のマトリックスを備え、数値のそれぞれは組み合わせられたディスプレイイメージを製作するための動作を識別する、生成するステップを含んでいてもよく、ここで、マトリックス内の数値の位置は、組み合わせられたディスプレイイメージ内のピクセルの位置に対応してもよい。

前記方法は、組み合わせられたディスプレイイメージ内のそれぞれのピクセル別に、マスクデータでの対応する位置における値に応じてビデオイメージの対応するピクセル又はオーバレイデータを出力するか否かを決定するステップをさらに含んでいてもよい。

前記方法は、組み合わせられたディスプレイイメージ内のそれぞれのピクセル別に、マスクデータでの対応する位置における値に応じてビデオイメージの対応するピクセル及びオーバレイデータを混合する方法を決定するステップをさらに含んでいてもよい。

混合は、エッジ向上動作、ダッジ動作、バーン動作又はアルファ合成効果であってもよい。

マスクデータの数値のそれぞれは、組み合わせられたディスプレイイメージ内の正確に一つのピクセルに対応してもよい。

マスクデータの数値のそれぞれは、組み合わせられたディスプレイイメージ内の１以上のピクセルに対応してもよい。

オーバレイデータは複数のページを備えていてもよく、マスクデータは複数のページのうちの少なくとも一つを識別する情報を備えていてもよい。

タッチイベントは、ポインティングツール及びタッチ入力パネル間の相互作用の結果として発生されてもよい。

本発明の一実施形態によれば、タッチセンサーパネルと、アプリケーションプロセッサ及びディスプレイを備えるディスプレイデバイス上に描画される経路に応答してフィードバックを提供する加速器は、プロセッサと、内部に命令が保存されるメモリと、を備え、命令は、プロセッサにより起動されるとき、プロセッサに、アプリケーションプロセッサからレンダリングされたビデオフレームを受信させ、タッチセンサーパネルから複数のタッチ信号を受信させ、タッチ信号に基づいてタッチ経路を決定させ、更新されたビデオフレームを生成するためにタッチ経路及び保存されたオーバレイデータに基づいてレンダリングされたビデオフレームを更新させ、更新されたビデオフレームをディスプレイに出力させてもよい。

添付図面は明細書と共に本発明の例示的な実施形態を説明し、前記技術と共に本発明の原理を説明する役割を果たす。
従来のタッチ入力プロセシングデバイスを備えるデバイスの応答を示す図である。 本発明の実施形態によるタッチ入力プロセシングデバイスを備えるデバイスの応答を示す図である。 本発明の実施形態による低待ち時間のフィードバック経路及び従来のフィードバック経路の概略図である。 本発明の一実施形態による低待ち時間のオーバレイシステムを備えるデバイスを示すブロック図である。 本発明の一実施形態による低待ち時間のオーバレイシステム内の構成要素を示すブロック図である。 本発明の一実施形態により、第１組み合わせディスプレイイメージを生成するビデオイメージデータ、オーバレイデータ及びタッチ経路情報の組み合わせの概略図である。 本発明の一実施形態により、第２組み合わせディスプレイイメージを生成するビデオイメージデータ、オーバレイデータ及びタッチ経路情報の組み合わせの概略図である。 本発明の一実施形態により、オーバレイデータの適用を決定し、オーバレイデータをビデオイメージと組み合わせる方法を示すフローチャートである。

以下の詳細な説明において、例を挙げて単に本発明の特定の例示的な実施形態のみが示されて記述される。当業者が認識するように、本発明は、多くの異なる形態として実現可能であり、本願で挙げる実施形態に制限されると解釈されてはならない。なお、同じ参照番号は、明細書全体に亘って同じ要素を指し示す。

本発明の実施形態は、アプリケーションプロセッサがレンダリングするイメージに先立ってタッチ位置に基づいてイメージをディスプレイすることにより、ユーザーにより速いタッチ応答を感知させる。

タッチインターフェースのために設計されるソフトウェアは、視覚的なフィードバック（例えば、スワイプ操作（ｓｗｉｐｉｎｇ）又はジェスチャー基盤のオンスクリーンキーボードにおける指の軌跡に対する、描画又はスケッチブックアプリケーションにおける経路の軌跡に対する、そしてゲームで描画（ｄｒａｗｉｎｇ）される経路に対する）を提供するためにスクリーン上における経路の描画及び／又は擬似「現実世界」（ｐｓｅｕｄｏ “ｒｅａｌ−ｗｏｒｌｄ”）物体の直接的な物理的操作のメタファー（ｍｅｔａｐｈｏｒ）を頻繁に用いる。

モバイル電話機に対するよくある不満は、ユーザーインターフェース（ｕｓｅｒ ｉｎｔｅｒｆａｃｅ;ＵＩ）の遅延である。現在のモバイル電話機では、典型的にタッチ行為に応答してディスプレイをアップデートするのに５０〜２０ミリ秒がかかる。例えば、サムスンＧａｌａｘｙ Ｎｏｔｅ ２で測定されるようなタッチイベントに対する典型的なディスプレイ応答時間は、１秒当たりに６０フレーム（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ;ＦＰＳ）のリフレッシュ率（ｒｅｆｒｅｓｈ ｒａｔｅ）に基づいて、１００ミリ秒よりも大きいか、又は、略６フレーム以上のビデオイメージであることもあり、これは、かなりのユーザーにより認知される。

図１Ａは、タッチ入力プロセシングデバイスを有するデバイスの応答を示し、ここで、ディスプレイされたライン１００には指の位置及びディスプレイされたライン１００の最終的に描画された部分の間にギャップ１０２があることにより、ユーザーのタッチ及びディスプレイされたライン間に顕著なディスプレイ遅延が発生する。なお、スタイラスを用いるとき、それが能動であるにせよ、手動であるにせよ、典型的に類似のディスプレイ遅延に遭遇する。

本発明の実施形態は、ＡＰによりレンダリングされるイメージに先立ってタッチ経路でイメージをオーバレイすることにより、ユーザーにさらに速いタッチ応答を感知させる。スクリーン上でのユーザーのタッチ地点（例えば、指、スタイラス又は他のツールを用いる）及びラインの描画間のギャップを狭めることにより、感知されるディスプレイ遅延が低減される。本願では、動詞として用いられるとき、用語「オーバレイ」は、ビデオイメージ（例えば、ＡＰがレンダリングするイメージ）及び追加のイメージデータを組み合わせて追加のイメージデータに原ビデオイメージの一部分を代替させる（又は、「オーバレイ」）ことをいう。名詞として用いられるとき、用語「オーバレイ」は、組み合わせられたディスプレイイメージにおいて前記追加のイメージデータの外形を称することがある。

さらに、オーバレイ法を用いることにより、アプリケーションソフトウェアは、タッチイベントに対してディスプレイされる応答の領域（例えば、ディスプレイ上の位置）、カラー及びレンダリング動作を制御することができる。

図１Ｂは、本発明の実施形態によりタッチ入力プロセシングデバイスを有するデバイスのディスプレイされた応答を示し、ここで、ディスプレイされたラインは、本発明の実施形態による低待ち時間のオーバレイシステムにより描画される推定又は計算の部分１０４を有することにより、ユーザーにより感知されるディスプレイ遅延を低減する。

図２を参照すると、コンピューティングデバイス２５０において、類似システムに対する代案として、本発明の実施形態は、アプリケーションプロセッサ２０２を通過する従来の待ち時間経路２１０に通じる従来の待ち時間レベルのビデオイメージに先行して、タッチ制御器２００及びディスプレイ駆動機インターフェース制御器（ｄｉｓｐｌａｙ ｄｒｉｖｅｒ ｉｎｔｅｒｆａｃｅ ｃｏｎｔｒｏｌｌｅｒ;ＤＤＩＣ）２０４を通過する低待ち時間経路２１２に通じる視覚的フィードバックを即座で又はさらに速かに提供する低待ち時間オーバレイシステム（「加速器（ａｃｃｅｌｅｒａｔｏｒ）」又は「視覚的フィードバック加速器」として称することがある）に関するものである。

図３を参照すると、典型的にタッチスクリーンシステム及びディスプレイシステムは独自に動作する。タッチ制御器２００は、タッチセンサーパネル３００からのタッチ信号３０２をプロセシングし、座標などのこれらのタッチイベント３０４をアプリケーションプロセッサ（ＡＰ）２０２に出力する。

図３を参照すると、タッチセンサーパネル３００はユーザーのタッチを検出するように構成され、データバスを介してタッチ制御器２００に供給されるタッチ信号３０２を生成する。本発明の実施形態は、身体の一部（例えば、指）、スタイラスなどの任意の類型のポインティングツールを用いるユーザーのタッチを検出するタッチセンサーパネル３００と併用することができる。本願では、用語「ポインティングツール（ｐｏｉｎｔｉｎｇ ｉｍｐｌｅｍｅｎｔ）」は、デバイス（能動型スタイラス及び手動型スタイラスなどの）及び身体の一部（指又は頭などの）をはじめとして、タッチセンサーパネル３００により検出可能な物体のことをいう。本発明の実施形態は、抵抗性タッチパネル、表面弾性波タッチパネル、容量性タッチパネル、赤外線タッチパネル、光タッチパネルなどの様々な類型のタッチ入力パネルのうちの任意のパネルと併用することができる。一つの実施形態において、タッチ信号３０２は、タッチセンサーパネル内のそれぞれの位置に対するキャパシタンス又は電圧又は電流の測定値のように、タッチセンサーパネル３００により供給される原データ（ｒａｗ ｄａｔａ）に対応する。タッチイベント３０４に対するデータバスは、ＡＰ２０２及び低待ち時間のオーバレイシステム３１０の両方に接続される。タッチイベント３０４は、ユーザーによるタッチが検出された位置（例えば、タッチイベントの検出を構成するのに十分に高い値のキャパシタンス又は電圧又は電流の変更）に対応するデータ値のストリームであってもよい。一部の実施形態において、タッチイベント３０４は、タッチセンサーパネルに加えられた圧力を示す圧力データを備える。

ＡＰ２０２はタッチイベント３０４をプロセシングし、ＡＰから起動されるアプリケーションソフトウェアはディスプレイパネル３２２上にディスプレイするためにビデオイメージ３１６（又は、フレーム又はビデオイメージ）をＤＤＩＣ２０４にレンダリングすることにより、前記プロセシングに合わせてディスプレイ合成を更新する。ＡＰ２０２は、中央処理装置（ｃｅｎｔｒａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ;ＣＰＵ）、グラフィック処理装置（ｇｒａｐｈｉｃａｌ ｐｒｏｃｅｓｓｉｎｇ ｕｎｉｔ;ＧＰＵ）及びメモリを備えていてもよい。

ＡＰ２０２はＤＤＩＣ２０４に接続され、ＤＤＩＣ２０４は順次にディスプレイパネル３２２に接続される。ＤＤＩＣ２０４はＡＰ２０２からビデオイメージ３１６を受信し、ピクセル駆動信号３２０をディスプレイパネル３２２に供給する。

一つの実施形態において、タッチセンサーパネル３００と、タッチ制御器２００と、ＤＤＩＣ２０４及びディスプレイパネル３２２は、ディスプレイモジュールの全ての構成要素であり、これらはアプリケーションプロセッサ２０２とは別のものであってもよい。他の実施形態において、タッチセンサーパネル３００と、タッチ制御器２００と、ＤＤＩＣ２０４及びディスプレイパネル３２２又はこれらの組み合わせは、別個のモジュールに配設されてもよく、アプリケーションプロセッサ２０２と組み合わせられてもよい。

ＤＤＩＣ２０４は、アプリケーションプロセッサ２０２から受信されるビデオイメージ（又は、ビデオイメージのフレーム）３１６をプロセシングし、ピクセル駆動信号３２０をディスプレイパネルに出力する。

パラメータ３１２及びオーバレイデータ３１４の機能はより詳細に後述される。

本発明の実施形態によれば、低待ち時間のオーバレイシステム３１０は、ディスプレイパネル３２２が類似の実現よりもタッチイベントに対する視覚的な応答をより速く表示できるようにタッチイベント３０４をビデオイメージ３１６でプロセシングする。一部の類似のデバイスにおける略６フレーム以上のディスプレイ遅延とは対照的に、本発明の実施形態は遅延を１〜２フレームに低減することができる。

より具体的に、図４は、本発明の一つの実施形態による低待ち時間のオーバレイシステム３１０を有するデバイスを示すブロック図である。図４を参照すると、本発明の実施形態は、４つの主要部分を備える:タッチ経路ロジック４００、マスクバッファ４０２、オーバレイバッファ４０６及びレンダリングロジック４０４。オーバレイシステム３１０はＤＤＩＣ２０４の構成要素として含まれてもよく、オーバレイシステム３１０の一部はＤＤＩＣ２０４又はＡＰ２０２に含まれてもよく、他の一部はタッチ制御器２００に含まれてもよい。

図４に示すように、一つの実施形態において、タッチ経路ロジック４００はタッチ制御器２００に接続され、タッチ制御器２００からタッチイベント２０４を受信する。また、タッチ経路ロジック４００は、構成パラメータ３１２を受信するためにＡＰ２０２に接続される。タッチ経路ロジック４００は、レンダリングロジック４０４により用いられるマスクバッファ４０２に接続される。

一つの実施形態によれば、オーバレイバッファ４０６は、ＡＰ２０２に接続され、ＡＰ２０２から受信されるオーバレイデータ３１４を保存するＤＤＩＣ２０４内のメモリデバイスである。オーバレイバッファ４０６は、レンダリングロジック４０４に保存されたオーバレイデータ３１４を供給するように構成される。しかしながら、本発明の実施形態はこれに制限されない。例えば、一つの実施形態において、オーバレイデータ３１４は、ＡＰ２０２からの入力なしにオーバレイシステム３１０内で作成されてもよい。他の実施形態において、オーバレイデータ３１４は、オーバレイシステム３１０の内部で作成されたデータ及びＡＰ２０２からの入力に対応するデータの組み合わせであってもよい。

一つの実施形態によれば、レンダリングロジック４０４は、ＡＰ２０２及びオーバレイバッファ４０６に組み付けられ、マスクデータ５００における値に応じてオーバレイデータ３１４をビデオイメージ３１６と組み合わせるように構成される。レンダリングロジック４０４の出力は、オーバレイデータ３１４及びビデオイメージ３１６の組み合わせられたディスプレイイメージをディスプレイパネル３２２にピクセル駆動信号３２０として供給するためにディスプレイパネル３２２に接続される。

しかしながら、本発明の実施形態はこれに制限されない。

例えば、一つの実施形態において、タッチ経路ロジック４００、マスクバッファ４０２、オーバレイバッファ４０６及びレンダリングロジック４０４はそれぞれ異なるＡＳＩＣ（ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ）を用いて実現する。本発明の他の実施形態において、全ての機能を実現するために単一のＡＳＩＣが用いられる。本発明のさらに他の実施形態において、フィールドプログラマブルゲートアレイ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ;ＦＰＧＡ）は、タッチ経路ロジック４００、マスクバッファ４０２、オーバレイバッファ４０６及びレンダリングロジック４０４の機能を行うようにプログラムされる。代案として、汎用プロセッサは、タッチ経路ロジック４００、マスクバッファ４０２、オーバレイバッファ４０６及びレンダリングロジック４０４のそれぞれの機能を行うようにプログラムされてもよい（例えば、汎用プロセッサに接続されるメモリ内に保存される命令で）。さらに他の実施形態において、タッチ経路ロジック４００、マスクバッファ４０２、オーバレイバッファ４０６及びレンダリングロジック４０４のうちの１以上の機能は、アプリケーションプロセッサ２０２の構成要素として実現される。

さらに、タッチ経路ロジック４００、マスクバッファ４０２、オーバレイバッファ４０６及びレンダリングロジック４０４が図４にＤＤＩＣ２０４の構成要素として示されても、本発明の実施形態はこれに制限されない。一部の実施形態において、タッチ経路ロジック４００、オーバレイバッファ３１４及びマスクバッファ４０２及びレンダリングロジック４０４（又は、これらの機能が行える構成要素）のうちの１以上は、例えば、タッチ制御器２００、ＡＰ２０２内に配設されてもよく、別個の構成要素として配設されてもよい。さらに、これらの構成要素又はこれらが行う機能は、デバイスの異なる部分に位置してもよい。例えば、タッチ経路ロジック４００は、タッチ制御器２００の構成要素又は機能として実現されてもよく、オーバレイバッファ４０６及びレンダリングロジック４０４は両方ともＡＰ２０２の構成要素（又は、複数の構成要素）又は機能（又は、複数の機能）として実現されてもよい。

さらに、タッチ制御器２００が物理的に別個の構成要素として示されても、本発明の一部の実施形態において、タッチ制御器２００は、より大きな集積回路の一部であってもよい。例えば、タッチ制御器は、ＡＰ及び／又はＤＤＩＣと一緒に同じ集積回路内に実現されてもよい。

図５は、本発明の一つの実施形態により、Ｎ番目のフレーム中に組み合わせられたディスプレイイメージ５１０の第１セットを生成するための（例えば、フレームＮを生成するための）ビデオイメージ３１６（又は、ビデオイメージのフレーム）、オーバレイデータ３１４及びタッチイベント３０４の組み合わせの概略図である。図５を参照すると、タッチ経路ロジック４００は、タッチ制御器からのタッチイベント３０４をプロセシングし、多数の以前の連続フレーム（例えば、過去のＸ個のフレーム）に亘って受信されたタッチイベントの下位セット、例えば、連続するタッチイベントのセットの位置の間で内挿（ｉｎｔｅｒｐｏｌａｔｉｏｎ）及び／又は外挿（ｅｘｔｒａｐｏｌａｔｉｏｎ）することにより推定タッチ経路を生成する。推定タッチ経路は、その後に、タッチ経路ロジック４００によりマスクバッファ４０２内に保存されるマスクデータ５００を生成するのに適用される。レンダリングロジックは、マスクデータ５００に応じてオーバレイバッファ４０６内に保存されたオーバレイデータ３１４をＡＰ２０２からのフレームＮに対するビデオイメージと組み合わせ、オーバレイデータ３１４及びビデオイメージ３１６から選択（又は、これらの両方を混合）することにより組み合わせられたディスプレイイメージ５１０を生成する。

一つの実施形態によれば、マスクデータ５００は数値のマトリックスであり、ここで、マトリックス内の位置はディスプレイパネル３２２内のピクセル（又は、ピクセル）の位置に対応し、マトリックス内の値の相対位置はディスプレイパネル３２２内のピクセルの相対位置に対応する（例えば、マスクデータ５００は、組み合わせられたディスプレイイメージ５１０内のピクセル位置の２次元マップに対応する２次元マトリックスと見なされることがある）。一つの実施形態によれば、マスクデータ５００の値のそれぞれは単一ビットとして表現され、マスクデータマトリックスにおける値の位置は組み合わせられたディスプレイイメージ内の位置に対応する。組み合わせられたディスプレイイメージでオーバレイデータが表示されるべき位置は第１値（例えば、「１」）にセットされた値を有し、オーバレイデータが表示されないべき（例えば、ビデオイメージデータが表示されるべき）位置は異なる第２値（例えば、「０」）にセットされた値を有する。

本発明の一つの実施形態によれば、マスクデータ５００における数値のそれぞれは多数のビット（例えば、８ビット）により表現され、ここで、マスクデータ５００の数値はディスプレイ内のそれぞれの場所におけるオーバレイデータの「透明度（ｔｒａｎｓｐａｒｅｎｃｙ）」を称する。本願では、用語「透明度」は、オーバレイデータ３１４及びビデオイメージ３１６を混合（例えば、併合）して組み合わせられたディスプレイイメージ５１０に、オーバレイデータ３１４及びビデオイメージ３１６の両方の特性を含ませることを示す。

レンダリングロジック４０４によりマスクバッファ４０２を用いることがより詳細に後述される。

一つの実施形態において、それぞれのビデオフレームに対して、タッチ経路ロジック４００は、固定された数のビデオフレームに対応するタッチイベントの下位セットに基づいて推定タッチ経路を生成する。

他の実施形態において、ビデオフレームの数は、ＡＰ２０２からのディスプレイ遅延と一致するように構成可能である。

他の実施形態において、タッチ経路ロジック４００は、可変する数のビデオフレームに対するタッチ経路を生成する。ビデオフレームの数は、ＡＰ２０２からの過去のビデオイメージ３１６に基づいて外部ロジックから決定される。

パラメータのセット３１２は、経路が生成されるときに推定タッチ経路の特性を統制する。これらのパラメータは、起動デフォルト（ｓｔａｒｔ−ｕｐ ｄｅｆａｕｌｔ）を有していてもよいが、ソフトウェア又は他の手段によりランタイム中に必要に応じて調整されてもよい。これらのパラメータは下記を備えるが、これに制限されない:生成される経路の幅;単一の直線セグメント及び曲線のように生成されるラインセグメントのスタイル;経路が許容されるディスプレイの領域（例えば、活性描画エリア）;及びレンダリング動作のスタイル（例えば、アンチエイリアシング（ａｎｔｉａｌｉａｓｉｎｇ）動作、スムージング（ｓｍｏｏｔｈｉｎｇ）動作及び透明化）。

例えば、本発明の実施形態が描画用ソフトウェアアプリケーション（例えば、デジタルスケッチブック）の状況で用いられるとき、組み合わせられたディスプレイイメージ５１０の一部であるオーバレイイメージセグメント５０８（また、コンピューティングされた部分１０４と称されることがある）は、単に活性描画エリアに対応するディスプレイの部分に適用される。オーバレイシステム３１０は、一般に、活性描画エリアの外部にあるディスプレイの部分に亘ってオーバレイデータを適用しない。このように、パラメータ３１２は、推定タッチ経路を活性描画エリアに対応するディスプレイの部分に制限するようにセットされてもよい。他の例において、パラメータ３１２は、描画されたラインのライン幅を備えていてもよい。タッチ経路ロジック４００は、ＡＰ２０２からのＡＰ生成ライン（又は、イメージセグメント）に先立って、マスクデータ５００に前記ラインの形状をレンダリングするためにこのパラメータをタッチイベント３０４からの圧力データと併用するはずである（また、イメージセグメント５０６は、ディスプレイライン１００と称されることがある）。

ビデオイメージ３１６のそれぞれのピクセルがレンダリングロジック４０４によりプロセシングされるとき、レンダリングロジック４０４はマスクデータ内の値の位置（例えば、マトリックス内の位置）がビデオイメージ３１６内のピクセルの場所に対応するようなマスクデータ５００における値を検索し、所望の視覚効果（例えば、透明及び／又はアンチエイリアシング）を達成するためにマスクデータ５００内の値に応じてビデオイメージ３１６のピクセル及びオーバレイデータ３１４を混合したりビデオイメージ３１６のピクセルをオーバレイデータ３１４に代替したりし、オーバレイデータ３１４又はビデオイメージ３１６のピクセル又はこれらの混合をピクセル駆動信号３２０によりディスプレイパネル３２２に出力する。

例えば、本発明の代替の実施形態において、レンダリングロジック４０４のレンダリング動作は、マスクデータ５００における値により規定されるように、単一ビットを用いて明示される。レンダリング動作は、組み合わせられたディスプレイイメージ５１０内のピクセルの位置に対応するマスクデータ５００内の位置における値に基づいて各ピクセルに対するオーバレイデータ３１４であるか、あるいは、ビデオイメージ３１６であるようにレンダリングロジックの出力を選択する。

本発明の一つの実施形態において、マスクデータ５００の値の数（又は、大きさ）は、ビデオイメージ３１６の一つのフレーム内のピクセルの数と同様であり、これは、結果的に、組み合わせられたディスプレイイメージ５１０内のピクセルの数と同様である。このため、マスクデータ５００におけるそれぞれの値及びビデオイメージ３１６のそれぞれのピクセルの間には一対一の関係が存在する。すなわち、レンダリングロジック４０４の代替の実施形態は、マスクデータ５００内のそれぞれの値をビデオイメージ３１６内の対応するピクセルと整合させ、ビデオイメージ３１６のピクセル又はオーバレイデータ３１４をディスプレイパネル３２２に出力することにより行われる。例えば、一つの実施形態において、レンダリングロジック４０４は、マスクデータ５００のそれぞれの値により繰り返す。０の値がマスクデータ５００内の特定の位置に存在すれば、レンダリングロジック４０４は、ビデオイメージ３１６の対応するピクセルを出力する。一方、１の値がマスクデータ５００内の特定の位置に存在すれば、レンダリングロジックはオーバレイデータ３１４を出力する。繰り返しプロセスの結果として、レンダリングロジック４０４は、ピクセル駆動信号３２０で表現されるような組み合わせられたディスプレイイメージ５１０をディスプレイパネル３２２に出力する。

本発明の他の実施形態において、マスクデータ５００における値の数は、ビデオイメージ３１６のフレーム内のピクセルの数よりも小さいことがある。このため、マスクデータ５００におけるそれぞれの値がビデオイメージ５００のピクセルと一対多の関係を有することにより、マスクデータ５００における値がビデオイメージ３１６の多数のピクセルと対応し、これにより、マスクデータ５００の大きさが縮小されてマスクバッファ４０２のメモリ要件が低減される。

しかしながら、本発明の実施形態はこれに制限されない。例えば、本発明の代替の実施形態において、レンダリングロジック４０４のレンダリング動作は、マスクデータ５００における値により規定されるように多数のビットを用いて明示される。例えば、マスクデータ５００における値は、レンダリングロジック４０４によりレンダリングされる混合のレベル（例えば、透明度のレベル）を識別することができる。他の例において、レンダリングロジック４０４により多数のレンダリング動作が支援される場合、マスクデータ５００における値の１以上のビットは、所望のレンダリング動作を規定するのに用いられ、これに対し、他のビットは前記レンダリング動作の仕様を調整するのに用いられる。レンダリングロジック４０４は、エッジ向上（ｅｄｇｅ−ｅｎｈａｎｃｅ）、ダッジ（ｄｏｄｇｅ）（明るくする）、バーン（暗くする）などのように、ビデオイメージ３１６で搬送される情報及びオーバレイデータ３１４で搬送される情報の間の様々なレンダリング動作を行うことができる。他の実施形態において、レンダリング動作は、ビデオイメージ３１６の部分のカラー又は白色度（ｌｕｍｉｎｏｓｉｔｙ）を変更することにより、透明カラーリング（又は、ハイライター（ｈｉｇｈｌｉｇｈｔｅｒ））効果又はアルファ合成（ａｌｐｈａ ｃｏｍｐｏｓｉｔｉｎｇ）効果を発生することができる。

レンダリングロジック４０４は２つの入力を受信するが、第１入力はＡＰ２０２からのビデオイメージ３１６を備え、第２入力はオーバレイバッファ４０６からのオーバレイデータ３１４を備える。オーバレイバッファ４０６は、レンダリングロジック４０４によりプロセシングされるオーバレイデータ３１４を保存する。オーバレイデータ３１４は、ＡＰ２０２により提供されるか、あるいは、オーバレイシステム３１０で内部的に生成され、ここで、オーバレイデータ３１４の特性はレンダリングロジック４０４の所望の出力により決定される。一つの実施形態において、オーバレイデータ３１４の特性（例えば、外形）は、ディスプレイされたライン１００に沿ってビデオイメージ３１６の特性（例えば、外形）に整合されることにより、マスクデータ５００によりレンダリングされるとき、組み合わせられたディスプレイイメージ５１０は、イメージセグメント５０６及びオーバレイイメージセグメント５０８間の切れのない切り換えを備えることになる。これらの特性は、カラーを備えていてもよい。例えば、アプリケーションソフトウェアが黒いラインを描画すれば、オーバレイデータ３１４はソフトウェアが描画したラインと同じ黒いカラー（例えば、ピクセルが全て黒いビットマップイメージ）を備えるためにＡＰ２０２により提供されるか、あるいは、オーバレイシステム３１０により内部的に生成されるはずである。レンダリングロジック４０４は、マスクデータ５００及びオーバレイデータ３１４により決定されるように、ＡＰ２０２からのイメージセグメント５０６（例えば、ソフトウェアが描画したライン）及びオーバレイイメージセグメント５０８を隣接させることにより形成される黒いラインを備える組み合わせられたディスプレイイメージ５１０を出力するはずである。また、オーバレイデータ３１４は、テクスチャ化又はカラー化されてもよく、ビットマップイメージデータを備えていてもよい。オーバレイデータ３１４のコンテンツは時間に対して動的であってもよく、ＡＰ２０２により更新されてもよく、ＤＤＩＣ２０４内のメカニズムにより更新されてもよい。さらに、コンテンツは、大きさ及び形状において動的であってもよい。

本発明の一つの実施形態において、多数のオーバレイを表現する複数の異なるオーバレイデータ３１４のセットはオーバレイバッファ４０６内に保存されてもよく、例えば、それぞれのセットは異なるカラー、異なるイメージ又は異なるテクスチャを有する。このオーバレイデータ３１４のセットは、本願で「ページ（ｐａｇｅ）」として称されることがある。それらの実施形態において、また、マスクデータ５００内の値は、レンダリングロジック４０４がオーバレイデータ３１４の特定のページを識別し、レンダリング動作中に単に識別されたページのみを用いることを可能にする情報を備えていてもよい。このように、一部の実施形態において、マスクデータ５００の値は、レンダリングロジック４０４がレンダリング動作中にオーバレイデータ３１４の異なるページの間で切り換えることが可能なようにオーバレイデータ３１４のページに対するインデックスを備える。

本発明の一つの実施形態において、オーバレイデータ３１４のそれぞれのページの値の数（又は、大きさ）は、ビデオイメージ３１６の一つのフレーム内のピクセルの数と同様であり、これは、結果的に、組み合わせられたディスプレイイメージ５１０内のピクセルの数と同様である。このため、オーバレイデータ３１４のそれぞれのページのそれぞれの値及びビデオイメージ３１６のそれぞれのピクセルの間には一対一の関係が存在する。

本発明の他の実施形態において、オーバレイデータ３１４のそれぞれのページの値の数（又は、大きさ）は、ビデオイメージ３１６のフレーム内のピクセルの数よりも小さいことがある。このため、オーバレイデータ３１４のそれぞれのページのそれぞれの値がビデオイメージ３１６のピクセルと一対多の関係を有することによりオーバレイデータ３１４のそれぞれのページの値がビデオイメージ３１６の多数のピクセルと対応し、これにより、オーバレイデータ３１４の大きさが縮小されてオーバレイバッファ４０６のメモリ要件が低減される。例えば、一部の実施形態において、オーバレイデータ３１４は、ＲＧＢ（ｒｅｄ、ｇｒｅｅｎ、ｂｌｕｅ）カラー値のような単一のカラー値を有し、ここで、全体のオーバレイイメージ（又は、オーバレイイメージセグメント）５０８は、前記単一のカラー値として描画される。他の実施形態において、オーバレイデータ３１４の異なるページは、単一のカラー（例えば、異なるカラー）に対応する単一値である。さらに他の実施形態において、単一値は、オーバレイデータ３１４内の他の値又はビットマップイメージを有する他のページと混在（ｉｎｔｅｒｍｉｎｇｌｅ）されてもよい。

図６は、本発明の一つの実施形態により、Ｎ＋１番目のフレーム中に組み合わせられたディスプレイイメージ５１０'の第２セットを生成するための（例えば、フレームＮ＋１を生成するための）ビデオイメージ３１６'、オーバレイデータ３１４及びタッチ経路３０４'の組み合わせに対する概略図である。後続するフレームにおいて（例えば、Ｎが組み合わせられたディスプレイイメージ５１０の第１セットに対応するフレームの場合、フレームＮ＋１において）、ＡＰ２０２からのビデオイメージ３１６'はフレームＮでディスプレイされなかった（例えば、図５に示すようにビデオイメージ３１６で示されなかった）イメージセグメント６００を備える。さらに、フレームＮ＋１中に、タッチ経路ロジック４００は、タッチイベント３０５'から、図５に示すマスク５００の値とは異なる値のセットを有する異なるマスク５００'を計算する。このように、レンダリングロジック４０４は、マスクデータ５００'に応じたＡＰ２０２からのビデオイメージ３１５'及びオーバレイデータ３１４の合成である組み合わせられたディスプレイイメージ５０６'を出力する。

図７は、本発明の一つの実施形態により組み合わせられたディスプレイイメージを生成するためにオーバレイデータをビデオイメージと組み合わせる方法を例示するフローチャートである。図７を参照すると、本発明の一つの実施形態によれば、動作７０２において、タッチイベントが外部ソース（例えば、タッチセンサーパネル）から受信される。タッチ経路（又は、推定タッチ経路）は、動作７０４においてタッチイベントの間で内挿又は外挿することによりタッチイベントから生成され、ここで、内挿方法は、例えば、組み合わせられたディスプレイイメージのオーバレイイメージセグメント５０８の幅、スタイル、直線又は曲線領域及びカラーを構成するパラメータにより調整されてもよい。

マスクデータ５００は、動作７０６においてタッチ経路から生成され、このタッチ経路において、マスクデータ５００の値の相対位置はディスプレイパネルのピクセルの相対位置に対応し、これらのマスクデータ５００の値は、組み合わせられたディスプレイイメージの対応するピクセルがオーバレイバッファ４０６からのオーバレイデータ又はＡＰからのビデオイメージ又はこれらの混合された組み合わせを備えなければならないかを示す。マスクデータ５００は、マスクバッファ４０２に保存される。動作７０８において、マスクデータ５００はマスクバッファ４０２から検索され、ここで検索される値はレンダリングロジックにより現在プロセシングされているピクセルの位置に対応するマスクデータ５００内の位置に配置される。

動作７１０において、ディスプレイパネル内で現在プロセシングされているピクセルの位置に対応するマスクデータ５００の値は、オーバレイバッファ４０６からのオーバレイデータ又はＡＰからのビデオイメージ又はこれらの混合を選択的に出力するのに用いられる。

動作７１２において、組み合わせられたディスプレイイメージは、ビデオイメージと合成されているオーバレイデータ３１４をディスプレイするために出力されてディスプレイパネルに供給される。

このように、本発明の実施形態は、類似の高待ち時間のループ内に低待ち時間のループを取り込むことにより全体のシステム待ち時間を低減するシステム及び方法を提供する。

低待ち時間のディスプレイイメージは、タッチ経路から生成されるマスクデータ５００からの情報、オーバレイバッファからのオーバレイデータ３１４及びＡＰからの高待ち時間のビデオイメージを組み合わせることにより生成される。タッチ経路は、経時的に記録されるタッチイベント（例えば、タッチ制御器からの出力）から計算される。オーバレイデータ３１４は、ＡＰにより提供されてもよく、オーバレイシステムで生成されてもよい。

カラー、サイズ（例えば、幅）、持続性、シェーディング（ｓｈａｄｉｎｇ）及びタイミングを備えるがこれに制限されないオーバレイ特性は、動的に調整可能である。これらの調整はＡＰによりパラメータのセットとして提供されるか、あるいは、例えば、ＡＰからのビデオイメージを分析することによりオーバレイシステムの内部から導き出される。さらに、前記調整は、タッチ行為により決定される。例えば、結果的なラインの幅は、タッチセンサーパネルに加えられる圧力に応じて調整される（例えば、幅パラメータは、タッチイベントの測定された圧力に比例する）。

ディスプレイイメージは、オーバレイシステムによりマスクデータ５００を介して生成され、これは、タッチ経路から計算される。マッピング及び大きさ調整パラメータはＡＰにより提供されてもよく、あるいは、例えば、タッチイベント及びＡＰからのビデオイメージを分析することによりオーバレイシステム内で計算されてもよい。

オーバレイデータは、レンダリングロジックによりＡＰからのビデオイメージとピクセルレベルで併合されてもよい。一つの実施形態において、ビデオイメージからのピクセル特性は、マスクデータの値に応じてオーバレイデータからのピクセル特性により代替される。他の実施形態において、新たなピクセル特性は、ビデオイメージ及びオーバレイデータのそれぞれのピクセル特性の混合に基づいて製作される。

たとえ本発明が特定の例示的な実施形態と結び付けられて記述されたとしても、本発明はこれらの開示された実施形態に制限されるものではなく、むしろ、添付の請求項及びその等価の思想及び範囲内に含まれる様々な変形及び等価の配列を包括するように意図されることが理解されるべきである。

Claims (16)

1. タッチセンサーパネルに組みつけられたコントローラーであって、タッチセンサーパネルから複数のタッチ信号を受信して、これに対応する複数のタッチイベントを生成するタッチ制御器と、
   ディスプレイパネルに組みつけられたコントローラーであって、ディスプレイパネルにディスプレイイメージを出力するディスプレイ駆動機インターフェース制御器と、
   ビデオイメージを生成するように構成されたアプリケーションプロセッサとを含む
   システムにおいて、
   ディスプレイ駆動機インターフェース制御器は、
   複数のタッチイベントをタッチ制御器から受信し、前記タッチイベントに応じて推定タッチ経路を計算し、アプリケーションプロセッサからパラメータを受信し、前記推定タッチ経路及び前記パラメータに基づいてマスクデータを生成するように構成されるタッチ経路ロジックと、
   レンダリングロジックと、
   を備え、
   前記レンダリングロジックは、
   アプリケーションプロセッサからビデオイメージを受信し、
   前記タッチ経路ロジックから前記マスクデータを受信し、
   組み合わせられたディスプレイイメージを生成するために前記マスクデータに応じて前記ビデオイメージをオーバレイデータと組み合わせ、
   前記組み合わせられたディスプレイイメージをディスプレイパネルに出力するように構成され、
   前記マスクデータは、数値のマトリックスを備え、前記数値のそれぞれは、前記組み合わせられたディスプレイイメージを製作するために前記レンダリングロジックの動作を識別し、
   前記マトリックス内の数値の位置は、前記組み合わせられたディスプレイイメージ内のピクセルの位置に対応し、
   前記タッチ経路ロジックは、前記アプリケーションプロセッサを経ずに、タッチ制御器から前記タッチイベントを受信するように構成され、
   前記パラメータは、マスク領域の位置を制御したり、前記推定タッチ経路の幅、スタイル又は形状を制御するシステム。
2. 前記タッチイベントが、アプリケーションプロセッサにも同時に供給され、
   アプリケーションプロセッサからレンダリングロジックに供給されるビデオイメージは、タッチ経路に関連して、直前のフレームで示されなかったイメージセグメントを備えうることを特徴とする請求項１に記載のシステム。
3. 前記レンダリングロジックは、前記組み合わせられたディスプレイイメージ内のそれぞれのピクセル別に、前記マスクデータ内の対応する位置における値に応じて前記ビデオイメージの対応するピクセル又は前記オーバレイデータを出力するか否かを決定することにより、前記ビデオイメージを前記オーバレイデータと組み合わせるように構成される請求項１または２に記載のシステム。
4. 前記レンダリングロジックは、前記組み合わせられたディスプレイイメージ内のそれぞれのピクセル別に、前記マスクデータ内の対応する位置における値に応じて前記ビデオイメージの対応するピクセル及び前記オーバレイデータを混合する方法を決定することにより、前記ビデオイメージを前記オーバレイデータと組み合わせるように構成される請求項１または２に記載のシステム。
5. 前記オーバレイデータは複数のページを備え、
   前記マスクデータは前記複数のページのうちの少なくとも一つを識別する情報を備える請求項１または２に記載のシステム。
6. 前記レンダリングロジックは、前記タッチイベントの下位セットに基づいて前記ビデオイメージを前記オーバレイデータと組み合わせるようにさらに構成され、前記下位セットは、固定された数のビデオイメージに対応する請求項１または２に記載のシステム。
7. 前記レンダリングロジックは、前記ビデオイメージを前記レンダリングロジックに供給するように構成されたアプリケーションプロセッサにより導入される遅延に対応するものである複数のビデオイメージに対応するタッチイベントについての下位セットに基づいて、前記ビデオイメージを前記オーバレイデータと組み合わせるようにさらに構成される請求項１または２に記載のシステム。
8. 前記レンダリングロジックは、前記ビデオイメージを前記レンダリングロジックに供給するように構成されたアプリケーションプロセッサの以前のレンダリングされた出力から計算されるものである複数のビデオイメージに対応するタッチイベントについての下位セットに基づいて、前記ビデオイメージを前記オーバレイデータと組み合わせるようにさらに構成される請求項１に記載のシステム。
9. タッチセンサーパネルに組みつけられたコントローラーであって、タッチセンサーパネルから複数のタッチ信号を受信して、これに対応する複数のタッチイベントを生成するタッチ制御器と、
   ディスプレイパネルに組みつけられたコントローラーであって、ディスプレイパネルにディスプレイイメージを出力するディスプレイ駆動機インターフェース制御器と、
   ビデオイメージを生成するように構成されたアプリケーションプロセッサとを含む
   システムを用いて、タッチ入力に視覚的なフィードバックを提供する方法において、
   ディスプレイ駆動機インターフェース制御器により実行されるステップとして、
   前記アプリケーションプロセッサを経ずに、タッチ制御器センサーパネルから前記から複数のタッチイベントを受信するステップと、
   前記タッチイベントに応じて推定タッチ経路を計算するステップと、
   アプリケーションプロセッサからビデオイメージを受信するステップと、
   アプリケーションプロセッサからパラメータを受信するステップと、
   前記推定タッチ経路及び前記パラメータに基づいてマスクデータを生成するステップと、
   組み合わせられたディスプレイイメージを生成するために前記マスクデータに応じて前記ビデオイメージをオーバレイデータと組み合わせるステップと、
   前記組み合わせられたディスプレイイメージを前記ディスプレイパネルに供給するステップと、
   を含み、
   前記マスクデータは、数値のマトリックスを備え、前記数値のそれぞれは、前記組み合わせられたディスプレイイメージを製作するために前記レンダリングロジックの動作を識別し、
   前記マトリックス内の数値の位置は、前記組み合わせられたディスプレイイメージ内のピクセルの位置に対応し、
   前記パラメータは、マスク領域の位置を制御したり、前記推定タッチ経路の幅、スタイル又は形状を制御する方法。
10. 前記タッチイベントが、アプリケーションプロセッサにも同時に供給され、
    アプリケーションプロセッサからレンダリングロジックに供給されるビデオイメージは、タッチ経路に関連して、直前のフレームで示されなかったイメージセグメントを備えうることを特徴とする請求項９に記載の方法。
11. 前記推定タッチ経路は、アプリケーションプロセッサにより導入される遅延に対応する複数のフレームに対応するタッチイベントの下位セットに基づいて計算される請求項９または１０に記載の方法。
12. 前記推定タッチ経路は、アプリケーションプロセッサの以前のレンダリングされた出力から計算される複数のフレームに対応するタッチイベントの下位セットに基づいて計算される請求項９または１０に記載の方法。
13. 前記組み合わせられたディスプレイイメージ内のそれぞれのピクセル別に、前記マスクデータでの対応する位置における値に応じて前記ビデオイメージの対応するピクセル又は前記オーバレイデータを出力するか否かを決定するステップをさらに含む請求項９または１０に記載の方法。
14. 前記組み合わせられたディスプレイイメージ内のそれぞれのピクセル別に、前記マスクデータでの対応する位置における値に応じて前記ビデオイメージの対応するピクセル及び前記オーバレイデータを混合する方法を決定するステップをさらに含む請求項９または１０に記載の方法。
15. タッチセンサーパネルと、タッチセンサーパネルに組みつけられたコントローラーであって、タッチセンサーパネルから複数のタッチ信号を受信して、これに対応する複数のタッチイベントを生成するタッチ制御器と、ビデオイメージを生成するように構成されたアプリケーションプロセッサと、ディスプレイパネルとを備えるディスプレイデバイス上に、描画される経路に応答してフィードバックを提供する加速器において、
    前記加速器は、ディスプレイパネルに組みつけられたコントローラーであり、
    プロセッサと、
    内部に命令が保存されるメモリと、
    を備え、
    前記命令は、前記プロセッサにより起動されるとき、前記プロセッサに、
    前記アプリケーションプロセッサからレンダリングされたビデオフレームを受信させ、
    パラメータを前記アプリケーションプロセッサから受信させ、
    アプリケーションプロセッサを経ずに、前記タッチ制御器から複数のタッチイベントを受信させ、
    前記タッチイベントに基づいてタッチ経路を決定させ、
    前記タッチ経路及び前記パラメータに基づいてマスクデータを生成させ、
    更新されたビデオフレームを生成するために前記マスクデータ及び保存されたオーバレイデータに基づいて前記レンダリングされたビデオフレームを更新させ、
    前記更新されたビデオフレームを前記ディスプレイパネルに出力させる加速器であって、
    前記マスクデータは、数値のマトリックスを備え、前記数値のそれぞれは、前記組み合わせられたディスプレイイメージを製作するためにレンダリングロジックの動作を識別し、
    前記マトリックス内の数値の位置は、前記組み合わせられたディスプレイイメージ内のピクセルの位置に対応し、
    前記パラメータは、マスク領域の位置を制御したり、前記推定タッチ経路の幅、スタイル又は形状を制御する加速器。
16. 前記タッチイベントが、アプリケーションプロセッサにも同時に供給され、
    アプリケーションプロセッサからレンダリングロジックに供給されるビデオイメージは、タッチ経路に関連して、直前のフレームで示されなかったイメージセグメントを備えうることを特徴とする請求項１５に記載の加速器。

Images