JP7467726B1 - 情報処理システム、表示装置および制御方法 - Google Patents

Abstract

【課題】ユーザに対し操作に係るカーソルを容易に識別させる。【解決手段】ホストシステムは、背景画像を取得し、入力デバイスを用いて指示される座標をサンプリングしてコントローラに通知し、コントローラは、背景画像を座標のサンプリング周期よりも長い更新周期で更新し、背景画像に対し座標にカーソルを配置した出力画像を表示媒体に出力する。本実施形態は、情報処理システム、表示装置、制御方法などのいずれの態様でも実現することができる。【選択図】図１

Description

本願は、情報処理システム、表示装置および制御方法、例えば、入力操作に係るカーソルの表示に関する。

情報処理装置には、電気泳動ディスプレイ（ＥＰＤ：Electro-Phoretic Display）を備えるものがある。特許文献１には、情報処理装置においてＥＰＤを採用することで、消費電力を抑制できる点について記載されている。しかしながら、ＥＰＤでは、画面の更新にかかる時間が長い。通例、ＥＰＤのリフレッシュレートは８Ｈｚ程度であるのに対し、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）や有機発光ダイオード（ＯＬＥＤ：Organic Light Emitting Diode）ディスプレイのリフレッシュレートは６０Ｈｚ以上である。

また、ＯＳ（Operating System）により提供されるユーザインタフェースでは、間接・相対ポインティングによる入力操作が用いられる。間接・相対ポインティングは、入力デバイスにより指示される位置を直接特定するのではなく、その位置に対応する画面上の座標にカーソルを表示し、入力操作を受けて表示されたカーソルの座標を特定する機能である。間接・相対ポインティングは、主に入力デバイスとしてマウスなどのポインティングデバイスが用いられる場合に適用される。

特開２０１５－６４４２１号公報

間接・相対ポインティングは、ユーザの行動を含むフィードバックシステムとみなすここともできる。即ち、ユーザは、画面上のカーソルの動きを追いながら入力デバイスを操作し、システムは、操作に応じてカーソルを表示させる位置を変更する。このような状況では、ユーザは、（１）画面に表れるカーソルを発見する、（２）入力デバイスを操作してカーソルを移動させる、（３）カーソルをターゲット（操作目標）に置き、クリックなどの操作を行う。ＥＰＤが採用されている情報処理装置では、操作により指示される位置へのカーソルの表示が遅延するため、しばしば操作が困難になる。

指示される位置が移動すると、複数のカーソルが離散的に異なる位置に表示される（図６参照）。そのため、ユーザが操作目標とする位置に表示されるべきカーソルを認識できずに見失うことがある。また、カーソルを認識できたとしても操作に支障が生じることがある。その原因として、画素の輝度変化における遅延が比較大きいことが掲げられる。例えば、白黒反転において１００ｍｓ以上の時間を要する。一旦輝度の反転を指示した画素に対し、輝度を復元する際、直前の輝度変化が完了するまで待機する必要がある。また、逐次に移動するカーソルの描画処理において、ある位置に対するカーソルの描画処理が終了した後で、最新の位置に対する描画処理を開始する過程が繰り返される。

そこで、カーソルを含む画面全体に対して描画処理を行うのではなく、カーソル周辺の矩形領域に限定して画像を更新することも考えられる。この手法では、指示される位置の移動により直前に表示させたカーソルを含む矩形領域との重複が生じなくなる段階で新たな矩形領域を確定し、確定した矩形領域内にカーソルを表示させる（図７参照）。更新対象とする矩形領域の重複が回避されるので、個々のカーソルが分別される。また、矩形領域のサイズを小さくすることで、描画頻度を高くして、断続的に表れる複数のカーソル間の距離を小さくすることも考えられる。しかしながら、依然として円滑なカーソルの動作を表現することが困難なことがある。

本願は上記の課題を解決するためになされたものであり、本願の一態様に係る情報処理システムは、入力デバイスを用いて指示される座標をサンプリングし、背景画像を取得するホストシステムと、前記背景画像に基づく出力画像を表示媒体に表示させるコントローラと、を備える情報処理システムであって、前記ホストシステムは、前記コントローラに前記座標を通知し、前記コントローラは、前記背景画像を前記座標のサンプリング周期よりも長い更新周期で更新し、前記背景画像に対し前記座標にカーソルを配置した前記出力画像を前記表示媒体に出力する。

上記の情報処理システムにおいて、前記ホストシステムは、前記座標とカーソルを示す描画指令を前記コントローラに出力し、前記コントローラは、前記描画指令で指示される座標に当該カーソルを配置してもよい。

上記の情報処理システムにおいて、前記コントローラは、最新の座標に基づくカーソルの表示領域が、配置時点からの経過時間が更新周期内となるカーソルの表示領域を含まないとき、前記最新の座標にカーソルを配置してもよい。

上記の情報処理システムにおいて、前記コントローラは、配置時点からの経過時間が更新周期内となるカーソルが存在しないとき、前記出力画像とする背景画像を最新の背景画像に更新してもよい。

上記の情報処理システムにおいて、前記コントローラは、配置時点からの経過時間が更新周期以上となり、最新の座標に基づくカーソルの表示領域を含まない表示領域に配置されたカーソルを消去してもよい。

上記の情報処理システムにおいて、前記コントローラは、最後に更新された背景画像から前記座標において前記カーソルを包含する大きさを有する部分画像を抽出し、当該部分画像に前記カーソルを重畳してカーソルアイコンを構成し、前記座標に前記カーソルアイコンを配置してもよい。

上記の情報処理システムにおいて、前記ホストシステムは、少なくとも２サンプルの座標に基づいて、現在から所定の経過時間後の予測座標を予測し、前記コントローラは、前記背景画像に対し前記予測座標に前記カーソルを配置してもよい。

本願の第２態様に係る表示装置は、背景画像に基づく出力画像を表示媒体に表示させるコントローラを備える表示装置であって、前記コントローラは、座標のサンプリング周期よりも長い更新周期で前記背景画像を更新し、前記座標にカーソルを配置した出力画像を前記表示媒体に出力してもよい。

本願の第３態様に係る制御方法は、ホストシステムとコントローラを備える情報処理システムにおける制御方法であって、前記ホストシステムは、入力デバイスを用いて指示される座標をサンプリングし、前記コントローラに前記座標を通知し、背景画像を取得し、前記コントローラは、前記座標のサンプリング周期よりも長い更新周期で前記背景画像を更新し、前記座標にカーソルを配置した出力画像を表示媒体に出力する。

本願の実施形態によれば、ユーザに対し操作に係るカーソルを容易に識別させることができる。

本実施形態に係る情報処理システムの機能構成例を示す概略ブロック図である。 本実施形態に係る情報処理システムの機能構成例を示す概略ブロック図である。 本実施形態に係るカーソル表示処理の例を示すフローチャートである。 本実施形態に係るカーソル表示処理の実行例を説明するための説明図である。 カーソル表示処理の比較例を説明するための説明図である。 カーソルを含む出力画像と表示画像の例を示す説明図である。 カーソル表示処理の他の比較例を説明するための説明図である。

以下、本願の実施形態について、図面を参照して説明する。まず、本願の実施形態に係る情報処理システムＳ１の構成例について説明する。図１は、本実施形態に係る情報処理システムＳ１の機能構成例を示す概略ブロック図である。
情報処理システムＳ１は、ホストシステム１０と表示装置３０を備える。ホストシステム１０と表示装置３０は、相互に各種のデータを送受信可能に接続される。マウス４０は、入力デバイスの一例であり、ホストシステム１０と有線または無線で接続される。

ホストシステム１０には、マウス４０から入力信号が入力される。ホストシステム１０は、マウス４０からの入力信号で指示される座標を所定のサンプリング周期ごとにサンプリングする。サンプリングされる座標は、表示装置３０の表示画面内の所定の基準点（例えば、原点、重心などのいずれか）を基準とする相対的な位置を示す。
ホストシステム１０は、各種のプログラムを実行して背景画像を取得する。背景画像は、主に動画像である。背景画像は、一定のフレーム周期ごとに更新される。ホストシステム１０は、背景画像が更新される都度、更新された背景画像を示す表示データを表示装置３０に出力する。ホストシステム１０は、サンプリングした座標を示す座標情報を表示装置３０に出力する。

表示装置３０は、タイミングコントローラ３６とＥＰＤ３８を備える。
タイミングコントローラ３６は、ホストシステム１０から入力される表示データに示される背景画像に基づく出力画像をＥＰＤ３８に表示させる。
タイミングコントローラ３６は、所定の更新周期ごとに最新の背景画像を含む出力画像をＥＰＤ３８に表示させるコントローラの一例である。更新周期は、出力画像もしくは出力画像の要素として採用する背景画像を更新する周期を指し、ＥＰＤ３８のリフレッシュレートの逆数に相当する。更新周期は、座標のサンプリング周期よりも長い。タイミングコントローラ３６は、ＥＰＤ３８に表示させる背景画像に対し、座標情報で指示される座標にカーソルを配置（上書き）して出力画像を構成し、構成した出力画像をＥＰＤ３８に表示させる。

なお、情報処理システムＳ１は、単一の情報処理装置として構成されてもよいし、ホストシステム１０を有する情報処理装置と表示装置３０とが別体であってもよい。これらの情報処理装置は、パーソナルコンピュータ、タブレット端末、携帯電話機、などのいずれの形態で実現されてもよい。
本願では、プロセッサその他のハードウェアが、各種のプログラムに記述された指令で指示される処理を実行することを「プログラムを実行する」、「プログラムの実行」などと呼ぶことがある。

本願では、「画像」とは、必ずしも濃淡または色の空間分布に限られず、視認されうる情報、即ち、文字、記号、図形、模様または、それらの任意の組み合わせを指す。「背景画像」とは、カーソルの配置対象とする画像を指し、必ずしも「背景」のみを表す画像に限られない。背景画像には、いわゆるデスクトップ画像、アプリケーションプログラム（本願では、「アプリ」と呼ぶことがある）などを実行して表示される各種の実行画像などが含まれる。

入力デバイスは、必ずしもマウス４０に限られない。入力デバイスは、表示装置３０の表示画面上にカーソルを表示させる位置を定めるための位置情報を検出できるポインティングデバイスであればよい。入力デバイスは、例えば、ジョイスティック、トラックボール、などであってもよい。
以下の説明では、入力デバイスがマウス４０であり、情報処理システムＳ１が１個の情報処理装置として構成されている場合を主とする。

次に、情報処理システムＳ１のハードウェア構成例について説明する。図２は、本実施形態に係る情報処理システムＳ１のハードウェア構成例を示す概略ブロック図である。
ホストシステム１０は、プロセッサ１２と、メインメモリ１４と、チップセット２０と、フラッシュメモリ２２と、を備える。

プロセッサ１２は、ホストシステム１０を備える情報処理装置全体の機能を制御する。プロセッサ１２は、例えば、１個以上のＣＰＵ（Central Processing Unit）である。プロセッサ１２は、所定のプログラムを実行し、メインメモリ１４と、その他のハードウェアと協働し、ホストシステム１０としての機能を奏する。

メインメモリ１４は、プロセッサ１２の作業領域、即ち、実行されるプログラム、各種設定データの読み込み領域、プログラムの実行により取得した処理データの書き込み領域として利用される書き込み可能メモリである。メインメモリ１４は、例えば、複数個のＤＲＡＭ（Dynamic Random Access Memory）チップを含んで構成される。実行プログラムには、ＯＳ、周辺機器等を制御するための各種デバイスドライバ、各種サービス／ユーティリティ、アプリ、などが含まれる。

プロセッサ１２、および、メインメモリ１４は、情報処理装置の中核となるコンピュータシステム、つまり、ホストシステム１０をなすシステムデバイスとして機能する。ホストシステム１０は、ハードウェアとしてシステムデバイスと、ＯＳ、スケジュール・タスクなどのソフトウェアと、を含んで構成される。

チップセット２０は、１個または複数のコントローラを備え、複数のデバイスと各種のデータを入出力できるように接続可能とする入出力インタフェース（Ｉ／Ｆ：Interface）を備える。チップセット２０には、プロセッサ１２、フラッシュメモリ２２、表示装置３０およびマウス４０と各種のデータを入出力可能に接続される。マウス４０との接続では、例えば、ＩＥＥＥ８０２．１５．１規格が用いられてもよい。

チップセット２０は、汎用入出力Ｉ／Ｆ２０ａとグラフィックＩ／Ｆ２０ｂを備える。
汎用入出力Ｉ／Ｆ２０ａは、主にサンプリングされた座標を示す座標情報の表示装置３０への出力に用いられる。汎用入出力Ｉ／Ｆ２０ａは、例えば、ＵＳＢ（Universal Serial Bus）規格に従って、座標情報を出力する。
グラフィックＩ／Ｆ２０ｂは、主に背景画像を示す表示データの表示装置３０への出力に用いられる。グラフィックＩ／Ｆ２０ｂは、例えば、ＵＳＢ規格、ＭＩＰＩ（Mobile Industry Processor Interface）規格などのいずれかに従って表示データを出力する。

フラッシュメモリ２２には、各種のプログラムとデータを記憶させておく。各種のプログラムには、例えば、ファームウェア、デバイスドライバ、サービス／ユーティリティ、アプリ、などが含まれる。これらのプログラムは、プロセッサ１２により実行される。記憶されるデータには、プロセッサ１２における処理対象となるデータ、処理により生成されるデータが含まれる。生成されるデータは、最終データの他、ある処理ステップまでに生成され後続する処理ステップで用いられる中間データも含まれうる。

表示装置３０は、タイミングコントローラ（Ｔ－ＣＯＮ: Timing Controller）３６とＥＰＤ３８を備える。
タイミングコントローラ３６は、所定のファームウェアを実行して表示装置３０の機能を制御する。タイミングコントローラ３６には、ホストシステム１０から表示データと座標情報が入力される。タイミングコントローラ３６は、表示データに示される背景画像に対し座標情報で指示される座標にカーソルを配置して出力画像を構成する。タイミングコントローラ３６は、構成した出力画像をＥＰＤ３８に表示させる。

タイミングコントローラ３６は、所定のリフレッシュレートで出力画像を構成する画素ごとの信号値を特定し、特定した信号値に対応する濃度で表示させるタイミングを指示するための出力信号を生成する。ＥＰＤ３８に対して、リフレッシュ周期ごとにリフレッシュ処理がなされる。タイミングコントローラ３６は、生成した出力信号をＥＰＤ３８の駆動回路に出力する。駆動回路は、例えば、ＴＴＬ（Transistor-Transistor Logic）回路を備える。

ＥＰＤ３８は、高さと幅よりも厚みが格段に薄い形状を有し、その表面に画面領域が設けられる。画面領域において一定間隔に複数の画素が二次元配置される。個々の画素は、電気泳動素子と画素電極を備える。ＥＰＤ３８は、駆動回路を備える。駆動回路は、タイミングコントローラ３６から画素ごとに指示される信号値に対応する駆動電圧を当該画素の画素電極に印加する。電気泳動素子は、駆動電圧に応じた明るさで表示される。画面領域における画素ごとの明るさの分布により表示画像が表現される。

背景画像は、モノクロの二値画像であってもよいし、グレースケール画像であってもよい。二値画像は、画素ごとの信号値が２通りの値をとる。２通りの値は、それぞれ明暗（白黒）に対応付けられる。グレースケール画像は、画像ごとの信号値（グレースケール値）が３通り以上の値をとり、明るさの程度を示す。背景画像は、カラー画像であってもよい。カラー画像は、画素ごとに発光可能な色の明るさを示す色信号値、例えば、ＲＧＢ信号値をもって表される。

なお、タイミングコントローラ３６にグレースケール画像を表す表示データが入力される場合には、画素ごとのグレースケール値に対してディザリング（Dithering）を行い二値画像に変換し、得られた二値画像を出力画像に採用してもよい。ディザリングは、二値化の一例である。ディザリングは、次の手順を含む。（ｉ）グレースケール値を判定閾値として設定する、（ｉｉ）グレースケール値と同様の値域を有し、その値域内で出現確率が均一な乱数（一様乱数）を生成する、（ｉｉｉ）生成した乱数が判定閾値以上となる場合、二値情報の値を１と設定し、生成した乱数が判定閾値未満となる場合、二値情報の値を０と設定する。二値情報の値が１とは、その画素を明部として白で表示させることを示し、二値情報の値が０とは、その画素を暗部として黒で表示させることを示す。

タイミングコントローラ３６にカラー画像を表す表示データが入力される場合には、画素ごとの色信号値に対して公知のグレースケール変換を行い、グレースケール値に変換してもよいグレースケール変換は、色ごとの色信号値の加重平均値をグレースケール値として算出する処理を含む。グレースケール変換により、カラー画像が画素ごとの強度分布を有するモノクロのグレースケール画像に変換される。変換されたグレースケール画像は、二値化され、二値画像に変換されてもよい。

次に、本実施形態に係る情報処理システムＳ１の機能構成例について説明する。図２は、本実施形態に係る情報処理システムＳ１の機能構成例を示す概略ブロック図である。
ホストシステム１０の機能構成例について説明する。ホストシステム１０は、入力処理部１１２と、ＯＳ処理部１１４と、出力処理部１１６と、を備える。

入力処理部１１２には、マウス４０から入力信号が入力され、入力信号で指示される相対位置を所定のサンプリング周期ごとにサンプリングする。サンプリング周期は、例えば、８～３０ｍｓ（サンプリング周波数１６０Ｈｚ～３０Ｈｚに相当）となる。相対位置ひいては座標のサンプリング周期は、通例、背景画像のフレーム周期と同等となり、更新周期よりも短い。相対位置は、画面空間における基準点からの変位に相当する。基準点として、ホストシステム１０からの標準出力として設定されたＥＰＤ３８の画面領域の一点（例えば、原点）が用いられる。入力処理部１１２は、サンプリングされたサンプルごとの座標を示す座標情報をＯＳ処理部１１４に出力する。入力処理部１１２の機能は、ＣＰＵ１２が、ＯＳ上で、専用のデバイスドライバを実行して実現される。

ＯＳ処理部１１４は、プロセッサ１２がＯＳの中核をなすカーネルを実行し、ＯＳの基本機能を提供する。ＯＳ処理部１１４は、基本機能として、ホストシステム１０によるアプリ、ファームウェア、デバイスドライバ、その他のプログラムの実行状態、ホストシステム１０の計算資源（リソース）の割り当て、などの制御が含まれる。
ホストシステム１０は、ＯＳ処理部１１４による制御のもとで（本願では、「ＯＳ上で」と呼ぶことがある）、各種のプログラムを実行する。プログラムの実行により、背景画像を取得する。背景画像を取得することは、背景画像を生成すること、背景画像を他機器から入力されること、予め自システムの記憶媒体に記憶しておいた背景画像を示す表示データを読み出すこと、などのいずれの機能も該当しうる。該当する機能は、実行されるプログラムに依存しうる。

ＯＳ処理部１１４は、取得された背景画像を示す表示データを表示装置３０に出力処理部１１６を経由して出力する。背景画像のフレーム周期は、座標のサンプリング周期と同等（例えば、８～３０ｍｓ（フレームレート１６０Ｈｚ～３０Ｈｚに相当））となってもよい。
ＯＳ処理部１１４は、入力処理部１１２から入力される座標情報を表示装置３０に出力処理部１１６を経由して出力する。ＯＳ処理部１１４は、プログラムの実行中の処理において、入力される座標情報を用いることがある。ＯＳ処理部１１４によりにおいて座標情報に基づいて背景画像が変動することがある。
なお、ＯＳ処理部１１４は、実行中のプログラムに従って、表示データを出力する際、入力処理部１１２の機能と出力処理部１１６の機能の一方または両方を呼び出してもよい。
入力処理部１１２と出力処理部１１６の機能は、それぞれＡＰＩ（Application Programming Function）として記述されてもよい。

出力処理部１１６は、カーソル処理部１１６ａと表示制御部１１６ｂと、を備える。
カーソル処理部１１６ａは、ＯＳ処理部１１４から入力される座標情報を表示装置３０に出力する。カーソル処理部１１６ａには、カーソルの画像を予め設定しておき、取得した座標情報とカーソルを示す描画指令（描画コマンド）を生成してもよい。描画指令は、座標情報で指示される座標へのカーソルの表示を表示装置３０に指示するための指令である。カーソル処理部１１６ａは、生成した描画指令を表示装置３０に出力する。カーソル処理部１１６ａの機能は、プロセッサ１２がＯＳ上でカーソル描画アプリを実行し、汎用入出力Ｉ／Ｆ２０ａと協働して実現されてもよい。カーソル描画アプリは、上記のＡＰＩ関数として構成され、他のプログラムから呼び出されてもよい。

表示制御部１１６ｂは、ＯＳ処理部１１４から入力される表示データを表示装置３０に出力する。表示制御部１１６ｂの機能は、プロセッサ１２がＯＳ上で表示装置３０のデバイスドライバを実行し、グラフィックＩ／Ｆ２０ｂと協働して実現されてもよい。デバイスドライバは、上記のＡＰＩ関数として構成されうる。

次に、タイミングコントローラ３６の機能構成例について説明する。タイミングコントローラ３６は、背景画像バッファ３６２と、更新処理部３６４と、フレームバッファ３６６と、を備える。タイミングコントローラ３６は、所定のファームウェアを実行して、その機能を実現する。

背景画像バッファ３６２は、ホストシステム１０から入力される表示データを記憶する。背景画像バッファ３６２には、表示データが入力される都度、記憶された表示データを入力された表示データに更新する（上書き、Update）。背景画像バッファ３６２には、その時点において最新の背景画像を示す表示データが記憶される。

更新処理部３６４は、ＥＰＤ３８に表示させる背景画像とカーソルの更新に関する処理を行う。ホストシステム１０から座標情報が入力されないとき、更新処理部３６４は、更新周期ごとに背景画像バッファ３６２に記憶された背景画像をフレームバッファ３６６に書き込む。フレームバッファ３６６には、ＥＰＤ３８に表示させる出力画像が保存される。よって、カーソルを表示させない場合には、フレームバッファ３６６は、更新周期ごとに新たな背景画像をＥＰＤ３８に表示させることができる。なお、背景画像バッファ３６２は、フレームバッファ３６６に書き込むことにより更新に用いられた背景画像を、少なくとも次の更新まで保持してもよい。

ホストシステム１０から更新される座標情報が入力されるとき、更新処理部３６４は、フレームバッファ３６６に記憶されている出力画像のうち座標情報で指示される座標にカーソルを配置する。よって、その座標を基準点とする表示領域にカーソルが重畳（上書き、Overlay）される。基準点は、原点、重心など、カーソルの位置を代表する位置であればよい。座標情報が描画指令に含めて入力される場合には、更新処理部３６４は、予め自部に設定されたカーソルに代え、描画指令で伝達されるカーソルを配置してもよい。

座標情報はサンプリング周期ごとに更新されるため、更新処理部３６４は、更新された座標情報に基づいてカーソルを配置する処理もサンプリング周期ごとに実行する。即ち、ＥＰＤ３８の画面領域に表示させるカーソルの位置がサンプリング周期ごとに更新される。ＥＰＤ３８の更新周期は、ＥＰＤ３８の応答時間よりも長く、サンプリング周期の２倍以上となりうる。そのため、ＥＰＤ３８からの表示画像に複数のカーソルが表示されることがある。座標の移動速度が低い場合には、単純に更新周期ごとにカーソルを表示させると、ある時点におけるカーソルの表示領域と次のサンプリング周期におけるカーソルの表示領域の一部が重なり合う重複領域が生じ、ここのカーソルが区別されずに視認性が害される可能性がある。

そこで、更新処理部３６４は、最新の更新された座標を基準とする表示領域を配置した時点（本願では、「配置時点」と呼ぶことがある）からの経過時間が更新周期以内となるカーソルのいずれの表示領域の一部または全部を含まないとき、その最新の更新された座標にカーソルを配置する。位置が異なるカーソルが互いに重なり合わずに表示されるため、視認性が害されない。

図２の構成によれば、座標情報の更新が、背景画像バッファ３６２に記憶される背景画像の更新と並行する。更新処理部３６４は、背景画像の更新よりもカーソルの位置の更新を優先する。即ち、更新処理部３６４は、配置時点からの経過時間が更新周期内となるカーソルが画面領域に存在するとき、その時点において出力画像とする背景画像を最新画像に更新せずに維持する。このとき、更新処理部３６４は、背景画像バッファ３６２に記憶された背景画像をフレームバッファ３６６に書き込みを行わない。

更新処理部３６４は、配置時点からの経過時間が更新周期内となるカーソルが画面領域に存在しないとき、その時点において出力画像とする背景画像を最新画像に更新する。そのような場合には、入力される座標情報で指示される座標が更新周期以上の期間にわたり変化せずに維持される場合、有効な座標を示す座標情報が更新周期以上の期間にわたり継続して入力されない場合などがある。このとき、更新処理部３６４は、背景画像バッファ３６２に記憶された背景画像をフレームバッファ３６６に書き込みを行わない。更新後の座標に基づくカーソルの配置を背景画像の更新よりも優先することで、残像の原因となるカーソルの発生を回避することで、主観的な画質の低下を抑制することができる。

更新処理部３６４は、カーソルアイコンを生成してもよい。カーソルアイコンを生成する際、更新処理部３６４は、背景画像バッファ３６２に記憶された最後の更新に用いられた背景画像のうち、座標情報で指示される座標を基準点とする部分領域内の画像（本願では、「部分画像」と呼ぶことがある）を抽出する。そして、更新処理部３６４は、抽出した部分画像にカーソルを重畳する。部分領域は、所定の形状（例えば、長方形または正方形）を有し、そのカーソルの全体を包含できる限り小さい方が望ましい。部分領域は、例えば、カーソルの外縁または一定幅の周縁に内接する大きさを有していればよい。更新処理部３６４は、生成したカーソルアイコンもカーソルの一例として、情報処理システムＳ１における配置、消去、位置の更新などの処理対象とすることができる。

更新処理部３６４は、配置時点からの経過時間が更新周期以上となり、かつ、最新の座標に基づくカーソルの表示領域の一部または全部と重複しない表示領域に配置されたカーソルを消去してもよい。例えば、更新処理部３６４は、配置時点からの経過時間が更新周期以上となるカーソルを特定する。更新処理部３６４は、背景画像バッファ３６２に記憶された最後の更新に用いられた背景画像から、特定したカーソルと同じ表示領域を有する部分画像を抽出する。そして、更新処理部３６４は、抽出した部分画像を特定したカーソルの表示領域に配置する。これにより表示されていたカーソルが最新の背景画像の一部をなす部分画像に置き換わる。

フレームバッファ３６６は、ＥＰＤ３８に出力する出力画像を保存する。フレームバッファ３６６は、出力画像を表す画素ごとの信号値を記憶する記憶媒体を有することで、ＥＰＤ３８の画面領域に対応する記憶領域を備える。タイミングコントローラ３６は、フレームバッファ３６６に記憶された画素ごとの信号値をもって更新周期ごとに出力画像を示す出力信号を生成する出力信号生成回路（図示せず）を備える。出力信号生成回路は、生成した出力信号をＥＰＤ３８の駆動回路に出力する。
本実施形態では、背景画像、カーソルが重畳した背景画像、部分画像がさらに重畳した背景画像が出力画像となりうる。

次に、本実施形態に係るカーソル表示処理の例について説明する。図３は、本実施形態に係るカーソル表示処理の例を示すフローチャートである。図３は、ホストシステム１０がフレーム周期ごとに背景画像を示す表示データと、サンプリング周期ごとに座標とカーソルを示す描画指令を表示装置３０に出力する場合を例としている。そして、タイミングコントローラ３６の背景画像バッファ３６２は、ホストシステム１０から表示データが入力される都度、入力される表示データを保存し、もとの表示データに上書きする。

（ステップＳ１０４）更新処理部３６４は、ホストシステム１０から入力される最新の描画指令で指示される座標が、直前の描画指令で指示される座標から変化したか否かを判定する。変化したと判定される場合（ステップＳ１０４ ＹＥＳ）、ステップＳ１０６の処理に進む。変化しないと判定される場合（ステップＳ１０４ ＮＯ）、ステップＳ１１２の処理に進む。

（ステップＳ１０６）更新処理部３６４は、フレームバッファ３６６に書き込んだ背景画像を、背景画像バッファ３６２に保存された最新の背景画像に更新する処理を停止する。
（ステップＳ１０８）更新処理部３６４は、最新の描画指令で指示される座標を基準点とする部分領域内の部分画像を、背景画像バッファ３６２に記憶された最後に更新された背景画像から抽出する。更新処理部３６４は、抽出した部分画像に描画指令で伝達されるカーソルを重ね合わせカーソルアイコンを生成する。更新処理部３６４は、フレームバッファ３６６の記憶領域のうち、描画指令で指示される座標を基準点とする部分領域に対応する記憶領域に生成したカーソルアイコンを上書き（配置）する。

（ステップＳ１１０）更新処理部３６４は、過去に上書きしたカーソルアイコンのうち、配置時点からの経過時間が更新周期以上となり、最新の座標に基づくカーソルアイコンのの表示領域を含まない表示領域に上書きされたカーソルアイコンを更新可能なカーソルアイコンとして判定する。更新処理部３６４は、更新可能なカーソルアイコンを消去する。更新可能なカーソルアイコンを消去する際、更新処理部３６４は、当該カーソルアイコンの表示領域を特定し、特定した表示領域内の部分画像を背景画像バッファ３６２に記憶された最新の背景画像から抽出する。更新処理部３６４は、特定した表示領域に対応するフレームバッファ３６６の記憶領域に抽出した部分画像を上書きする。その後、ステップＳ１０４の処理に戻る。

（ステップＳ１１２）更新処理部３６４は、背景画像を更新可能か否か判定する。更新処理部３６４は、配置時点からの経過時間が更新周期内となるカーソルが画面領域に存在していないか否かにより、背景画像が更新可能か否かを判定することができる。背景画像が更新可能と判定されるとき（ステップＳ１１２ ＹＥＳ）、ステップＳ１１４の処理に進む。背景画像が更新可能と判定されないとき（ステップＳ１１２ ＮＯ）、ステップＳ１０４の処理に戻る。

図４は、本実施形態に係るカーソル表示処理の実行例を説明するための説明図である。図４は、更新周期を１２５ｍｓ（リフレッシュレートＲＲ＝８Ｈｚに相当）、フレーム周期を１６ｍｓ（フレームレートＦＲ＝６０Ｈｚに相当）として図３の処理を実行する場合を例示する。また、この例では、フレーム周期と座標のサンプリング周期が等しい。
図４は、第１行においてホストシステム１０からの表示データに示されるフレームごとの背景画像ＤＴと描画指令に示される座標ＯＰを示す。この例では、背景画像ＤＴの時間変化がほとんどなく、座標ＯＰが画面領域の上方から下方に向けて移動する。背景画像バッファ３６２には、その時点で最新の背景画像ＤＴがフレーム周期ごとに記憶される。

第２行は、背景画像バッファ３６２に保存された背景画像のうち出力画像の更新に用いられる背景画像を示す。背景画像は、第１更新周期、第２更新周期において更新されない。ステップＳ１０４、Ｓ１０６の処理により、描画指令で指示される座標の移動が検出され、背景画像の更新が停止されたためである。第３更新周期において、背景画像が更新される。ステップＳ１１２、Ｓ１１４の処理により、配置時点からの経過時間が更新周期内となるカーソルが画面領域に存在せず、背景画像の全領域が更新可能と判定されたためである。

第３行は、フレームバッファ３６６に書き込まれる出力画像の要素を示す。ここで、カーソルアイコン、部分画像および背景画像が出力画像の要素となる。カーソルアイコンは、サンプリング周期ごとに異なる座標を示す。カーソルアイコンは、ステップＳ１０８の処理により生成される。更新処理部３６４は、描画指令で指示される座標を基準点とする部分領域内の部分画像を最後の更新に用いられた背景画像から抽出する（ステップＳ１０８ａ）。更新処理部３６４は、描画指令で伝達されるカーソルを抽出した部分画像に重ね合わせる（ステップＳ１０８ｂ）。

更新処理部３６４によれば、配置時点から更新周期以上経過したカーソルアイコンは更新可能と判定される。更新可能と判定されたカーソルアイコンは、ステップＳ１１０の処理により消去される。即ち、背景画像バッファから最後に更新された背景画像のうち、更新可能と判定されたカーソルアイコンの表示領域内の部分画像が抽出される。抽出された部分画像は当該カーソルアイコンの表示領域に上書きされる。そして、一連の入力操作が終了することで配置時点からの経過時間が更新周期内となるカーソルが画面領域に存在しなくなるとき、更新に係る最新の背景画像がフレームバッファ３６６に書き込まれる。また、その時点において指示されている座標に係るカーソルアイコンが書き込まれる。

第４行は、ＥＰＤ３８が表示する表示画像を示す。表示画像は、フレームバッファ３６６からの出力画像に基づいて表される。出力画像には、サンプリング周期ごとに位置が異なるカーソルが時間経過に応じて順次表示される。但し、表示開始からの経過時間が更新周期に達するまで、カーソルアイコンの表示が維持される。そのため、表示画像においてサンプリング周期ごとに異なる座標に配置されたカーソルが時間経過に応じて累積する。表示開始からの経過時間が更新周期以上となるカーソルは、部分画像の上書きにより消去される。そのため、カーソルの累積が抑制される。そして、入力操作が終了し、指示される座標の移動が停止する期間が更新周期以上継続することで、背景画像が更新され、その位置におけるカーソルの表示が維持される。

次に、カーソル表示処理の比較例について説明する。図５は、カーソル表示処理の比較例を説明するための説明図である。比較例では、フレーム周期、サンプリング周期および更新周期は、図４の例と同様である。但し、比較例では、ホストシステム１０は、フレーム周期ごとに背景画像に入力操作により指示される座標にカーソルを重畳してなる出力画像を表示装置３０に出力する。表示装置３０の背景画像バッファ３６２は、表示装置３０から入力される出力画像を更新周期ごとに保存する。背景画像バッファ３６２に新たに保存された出力画像は、そのままフレームバッファ３６６を経由してＥＰＤ３８に出力される。

ＥＰＤ３８は、フレームバッファ３６６から伝達される出力画像に基づく表示画像を表示する。表示画像が個々の更新周期内で維持されるので、表示画像に表れるカーソルの位置が固定される。そのため、カーソルが表れる位置が更新周期ごとに離散的に変化する。これに対し、本実施形態ではカーソルの位置がサンプリング周期ごとに変化するため、より滑らかなカーソルの移動が表現される。

なお、上記の説明では、座標のサンプリング周期と背景画像のフレーム周期が等しい場合を主としたが、これには限られない。本実施形態では、座標のサンプリング周期と背景画像のフレーム周期が異なっていてもよい。また、表示装置３０の更新処理部３６４は、自部に入力された最新の座標情報の一部を間引き、一定の周期ごとにカーソル表示のために採用してもよい。間引きにより、サンプリング周期が実質的に長くなるように調整される。

但し、本実施形態では、調整後のサンプリング周期が少なくとも更新周期よりも短くなるように設定される。一般にサンプリング周期が短いほどカーソルの移動が滑らかに表現されるが、更新周期ごとに表示されるカーソルの個数が増加する。そこで、滑らかなカーソルの移動が表現される限り、できるだけ長いサンプリング周期（例えば、４０～８０ｍｓ（１２～２４Ｈｚに相当））が設定されればよい。

ホストシステム１０により実行されるプログラムの機能により要求されるカーソルの移動の滑らかさが異なりうる。例えば、描画アプリ、ゲームアプリなど、入力デバイスにより指示される座標の移動が継続する状況で使用されるプログラムに対しては、カーソルの滑らかな移動の必要性が高い。かかるプログラムに対しては、座標のサンプリング周期が短い方が好ましい。他方、テキストを主体とする文書作成アプリ、など、入力デバイスにより指示される座標の移動が稀なプログラムに対しては、カーソルの滑らかな移動の必要性が低い。かかるプログラムに対しては、座標のサンプリング周期が長くしても許容されうる。

そこで、ホストシステム１０のカーソル処理部１１６ａには、予めプログラムごとにサンプリング周期を設定しておき、ＯＳ処理部１１４により実行されるプログラムに対応するサンプリング周期を表示装置３０に通知してもよい。表示装置３０の更新処理部３６４は、通知されたサンプリング周期ごとにホストシステム１０から入力される座標情報を採用する。

上記の説明では、更新処理部３６４が、ホストシステム１０から通知された座標で指示される位置にカーソルを表示させる場合を例としたが、これには限られない。更新処理部３６４は、その時点までの２サンプル（例えば、最新のサンプルとその直前のサンプル）以上の座標情報に示される座標に基づいて所定の予測モデルを用いて所定の経過時間後における予測座標を予測してもよい。予測モデルとして、例えば、線形モデルを用いることができる。更新処理部３６４は、座標情報に示される座標に代え、予測座標で指示される位置にカーソルを表示させる。経過時間として、例えば、座標の検出からカーソルの表示までに要する遅延時間を設定することで、カーソルの表示までの遅延が補償される。

上記の説明では、背景画像が動画像である場合を主としたが、これには限られない。背景画像は、静止画像であってもよい。背景画像が静止画像である場合であっても、更新処理部３６４は、上記の背景画像バッファ３６２に記憶された背景画像に対する処理を実行すればよい。
また、カーソルは、必ずしも矢印に限られない。カーソルは、任意の形状、模様、色または、これらの組み合わせを有し、他の画像と明瞭に区別できる画像であればよい。カーソルは、例えば、×印、■印、などであってもよい。

以上に説明したように、本実施形態に係る情報処理システムＳ１は、入力デバイスを用いて指示される座標をサンプリングし、背景画像を取得するホストシステム１０と、背景画像に基づく出力画像を表示媒体に表示させるコントローラ（例えば、タイミングコントローラ３６）と、を備える。ホストシステムは、コントローラにサンプリングした座標を通知する。コントローラは、背景画像を座標のサンプリング周期よりも長い更新周期で更新し、背景画像に対しサンプリングされた座標にカーソルを配置した出力画像を表示媒体に出力する。また、入力デバイスはマウス４０であり、表示媒体はＥＰＤ３８であってもよい。
この構成によれば、コントローラはホストシステム１０から取得した背景画像を座標のサンプリング周期よりも長い更新周期で更新し、背景画像に対してサンプリングされた座標にカーソルが配置された出力画像を表示媒体に表示させる。表示媒体は、背景画像の更新周期よりも短いサンプリング周期ごとにカーソルを表示することができる。カーソルの動作が円滑に表現されるため、指示される座標を表すカーソルをユーザに対し、より容易に識別させることができる。

ホストシステム１０は、サンプリングした座標とカーソルを示す描画指令をコントローラに出力し、コントローラは、描画指令で指示される座標に当該カーソルを配置してもよい。
この構成によれば、ホストシステム１０から入力される描画指令で指示される座標に、その描画指令で指示されるカーソルが表示される。そのため、コントローラに予めカーソルを設定しておかなくても、ホストシステム１０から指示される所望の形態を有するカーソルが表示される。

コントローラは、最新の座標に基づくカーソルの表示領域が、配置時点からの経過時間が更新周期内となるカーソルの表示領域を含まないとき、その最新の座標にカーソルを配置してもよい。
この構成によれば、既に表示させたカーソルと表示領域が重複しない離れた新たな座標にカーソルが表示される。表示領域が重なり合わないように個々のカーソルが逐次に表示されるので、カーソルの視認性が害されない。

コントローラは、配置時点からの経過時間が表示媒体の更新周期内となるカーソルが存在しないとき、出力画像の要素とする背景画像を最新の背景画像に更新してもよい。
そのため、背景画像の更新よりも、サンプリングにより更新される座標へのカーソルの表示よりも優先される。カーソルの移動を観察してなされるユーザの入力操作が妨げられないため、入力デバイスの操作性の低下が抑制される。

コントローラは、配置時点からの経過時間が更新周期以上となり、最新の座標に基づくカーソルの表示領域を含まない表示領域に配置されたカーソルを消去してもよい。
そのため、消去による残像の発生を抑制しながら、その時点で指示されていないカーソルが消去される。よって、表示画像において無用なカーソルの累積を抑制することができる。

コントローラは、最後に更新された背景画像から最新のサンプリングされた座標においてカーソルを包含する大きさを有する部分画像を抽出し、当該部分画像にカーソルを重畳してカーソルアイコンを構成し、その座標にカーソルアイコンを配置してもよい。
そのため、最新の背景画像から抽出された部分画像に重畳されたカーソルアイコンが、その背景画像に配置される。よって、処理対象とする領域をカーソルアイコンの領域としながら、変化が視認される領域をカーソルの領域に限定することができる。カーソルよりも単純な形状を有する部分画像を導入することで、カーソルの書き込みに係る処理を簡素化することができる。

ホストシステム１０は、少なくとも２サンプルの座標に基づいて、現在から所定の経過時間後の予測座標を予測し、コントローラは、背景画像に対し予測された予測座標に前記カーソルを配置してもよい。
この構成により、経過時間後の予測座標にカーソルが配置されるため、座標の検出からカーソルの表示までの遅延時間が補償される。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成は上述の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。上述の実施形態において説明した各構成は、任意に組み合わせることができる。

Ｓ１…情報処理システム、１０…ホストシステム、１２…プロセッサ、１４…メインメモリ、２０…チップセット、３０…表示装置、３６…タイミングコントローラ、３８…ＥＰＤ、４０…マウス、１１２…入力処理部、１１４…ＯＳ処理部、１１６…出力処理部、１１６ａ…カーソル処理部、１１６ｂ…表示制御部、３６２…背景画像バッファ、３６４…更新処理部、３６６…フレームバッファ

Claims (6)

1. 入力デバイスを用いて指示される座標をサンプリングし、
   背景画像を取得するホストシステムと、
   前記背景画像に基づく出力画像を表示媒体に表示させるコントローラと、
   を備える情報処理システムであって、
   前記ホストシステムは、
   前記コントローラに前記背景画像を更新される都度、出力し、
   前記コントローラに前記座標とカーソルを示す描画指令をサンプリング周期ごとに出力し、
   前記コントローラは、
   前記背景画像を前記座標のサンプリング周期よりも長い更新周期で更新し、
   前記描画指令で指示される座標の移動が検出される場合、背景画像の更新を停止し、
   前記描画指令で指示される座標を基準点とする部分領域内の部分画像を最後の更新に用いられた背景画像から抽出し、
   前記描画指令で伝達されるカーソルを前記部分画像に重ね合わせて配置し、
   配置された時点から前記更新周期以上経過したカーソルを更新可能と判定し、
   最後に更新された背景画像から更新可能と判定したカーソルの表示領域内の部分画像を抽出し、
   当該部分画像を当該カーソルの表示領域に上書きし、
   配置された時点からの経過時間が前記更新周期内となるカーソルが画面領域に存在しなくなるとき、当該背景画像を前記出力画像として前記表示媒体に出力する
   情報処理システム。
2. 前記コントローラは、
   最後に更新された背景画像から前記座標において前記カーソルを包含する大きさを有する部分画像を抽出し、当該部分画像に前記カーソルを重畳してカーソルアイコンを構成し、
   前記座標に前記カーソルアイコンを配置する
   請求項１に記載の情報処理システム。
3. 前記ホストシステムは、
   少なくとも２サンプルの座標に基づいて、現在から所定の経過時間後の予測座標を予測し、
   前記コントローラは、
   前記背景画像に対し前記予測座標に前記カーソルを配置する
   請求項１に記載の情報処理システム。
4. 前記入力デバイスは、マウスであり、
   前記表示媒体は、電気泳動ディスプレイである
   請求項１に記載の情報処理システム。
5. 背景画像に基づく出力画像を表示媒体に表示させるコントローラを備える表示装置であって、
   前記コントローラは、
   前記背景画像が更新される都度、入力され、
   座標とカーソルを示す描画指令が前記座標のサンプリング周期ごとに入力され、
   前記背景画像を前記座標のサンプリング周期よりも長い更新周期で更新し、
   前記描画指令で指示される座標の移動が検出される場合、背景画像の更新を停止し、
   前記描画指令で指示される座標を基準点とする部分領域内の部分画像を最後の更新に用いられた背景画像から抽出し、
   前記描画指令で伝達されるカーソルを前記部分画像に重ね合わせて配置し、
   配置された時点から前記更新周期以上経過したカーソルを更新可能と判定し、
   最後に更新された背景画像から更新可能と判定したカーソルの表示領域内の部分画像を抽出し、当該部分画像を当該カーソルの表示領域に上書きし、
   配置された時点からの経過時間が前記更新周期内となるカーソルが画面領域に存在しなくなるとき、当該背景画像を前記出力画像として前記表示媒体に出力する
   表示装置。
6. ホストシステムとコントローラを備える情報処理システムにおける制御方法であって、 前記ホストシステムは、
   入力デバイスを用いて指示される座標をサンプリングし、
   前記コントローラに背景画像を更新される都度、出力し、
   前記コントローラに前記座標とカーソルを示す描画指令をサンプリング周期ごとに出力し、
   前記コントローラは、
   前記背景画像を前記座標のサンプリング周期よりも長い更新周期で更新し、
   前記描画指令で指示される座標の移動が検出される場合、背景画像の更新を停止し、
   前記描画指令で指示される座標を基準点とする部分領域内の部分画像を最後の更新に用いられた背景画像から抽出し、
   前記描画指令で伝達されるカーソルを前記部分画像に重ね合わせて配置し、
   配置された時点から前記更新周期以上経過したカーソルを更新可能と判定し、
   最後に更新された背景画像から更新可能と判定したカーソルの表示領域内の部分画像を抽出し、当該部分画像を当該カーソルの表示領域に上書きし、
   配置された時点からの経過時間が前記更新周期内となるカーソルが画面領域に存在しなくなるとき、当該背景画像を出力画像として表示媒体に出力する
   制御方法。

Images