JPH06289982A - 手書き入力用描画入出力制御システム - Google Patents

Abstract

(57)【要約】 【目的】CRT 上に表示された任意の位置のアプリケーシ
ョン操作画面を液晶ディスプレイ付きタブレットに表示
させ、電子ペン操作による図形入力、文字入力などの機
能を用いて、アプリケーションの操作性を向上させる。 【構成】前記主ディスプレイ上の任意の位置に指定され
た切出し領域内において発生する描画を逐次液晶ディス
プレイにも表示する描画制御部と、液晶ディスプレイ付
きタブレットからの電子ペン操作をマウス入力操作と同
等に処理する電子ペン入力処理部とを備えている手書き
入力用描画入出力制御システム。更に、描画制御部は、
描画単位の一部が前記切出し領域の領域外の場合は、領
域内の部分にその描画単位を変更する画面切出し条件判
定部を備えている。また、電子ペン入力処理部は、電子
ペンのボタン操作等の情報を、マウス操作におけるマウ
スイベント情報に変換するイベント設定部を備えてい
る。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、主ディスプレイと電子
ペンにより手書き入力を行う液晶ディスプレイ付きタブ
レットとを備えたコンピュータにおける入出力制御に関
するものである。

【０００２】

【従来の技術】既存のCRT とマウスとキーボードで構成
されるコンピュータにおいて、手書き入力を実現する方
法として、デジタイザのみを有するタブレットを入力装
置として付加し、文字入力や図形作成を手書き入力で行
えるようにしたシステムが知られていた( 特開昭61-255
463 号）。この技術は図７に示すように既存の入力装置
の入力フォーマットに対応したデータフォーマットで入
力情報をやり取りできる座標入出力装置を用いて、座標
入力装置を他の入力装置と共通の処理仕様で使用可能と
したものである。

【０００３】また、既存のCRT とマウスとキーボードで
構成されるコンピュータに液晶ディスプレイ付きタブレ
ットを接続して、手書き入力を行えるようにしたシステ
ムが商品化されていた( 竹中工務店「T-Board 」) 。こ
のシステムでは、CRT 表示のためのハードウェアレベル
の信号を分岐して液晶ディスプレイに表示を行ってい
る。

【０００４】

【発明が解決しようとする課題】従来のシステムで、デ
ジタイザのみを有するタブレットを付加したシステムで
は、操作しているアプリケーションと入力の結果は手元
に表示されないため、CRT を見ながらペンで入力するこ
とになり手書き文字入力等の操作性を損ねるという問題
があった。

【０００５】また、ハードウェアレベルで表示信号を分
岐するシステムでは、ディスプレイ表示の解像度が異な
るCRT と液晶ディスプレイを接続することはできなかっ
た。これらの課題を解決するためには、CRT に表示され
る画像データから任意の矩形領域を逐次切り出して液晶
ディスプレイへコピーする機能、および、タブレットか
らの入力をマウスからの入力と同等に扱う機能の作成が
必要となる。

【０００６】一般的に、ディスプレイ表示から任意の領
域を切り出すには、ディスプレイ用VRAM中での対応する
領域をバッファにコピーする方式が採られる。このとき
に問題となるのは、以下の点である。 ( 1 ) 表示の変化に瞬時に対応して、バッファにコピー
する必要がある。 ( ２) 切り出し領域を一度に全て描き換えるとCPU 、ハ
ードウェアへの負荷が高くなり、その間、他の処理に影
響を与える。

【０００７】

【課題を解決するための手段】本発明は、上記の問題点
を解決するためになされたものであり、表示解像度の異
なるCRT と液晶ディスプレイとを接続でき、手書き入力
操作の結果が手元で見られるという操作性を備えた手書
き入力システムを提供することを目的とする。

【０００８】まず、第１の発明は、主ディスプレイと電
子ペンにより手書き入力を行う液晶ディスプレイ付きタ
ブレットとを備えたコンピュータにおいて、前記主ディ
スプレイ上の任意の位置に指定された切出し領域内にお
いて発生する描画を逐次液晶ディスプレイにも表示する
描画制御部と、前記液晶ディスプレイ付きタブレットか
らの電子ペン操作をマウス入力操作と同等に処理する電
子ペン入力処理部とを備えている手書き入力用描画入出
力制御システムである。

【０００９】第２の発明は、前記描画制御部は、描画単
位を決定する手段と、その描画単位が前記切出し領域の
領域外か領域内かを判定し、その描画単位の一部が前記
切出し領域の領域外の場合は、領域内の部分にその描画
単位を変更する画面切出し条件判定部を備えていること
とした上記記載の手書き入力用描画入出力制御システム
である。

【００１０】第３の発明は、前記電子ペン入力処理部
は、前記電子ペンのボタン操作および前記電子ペンと前
記タブレットとの接触の有無の情報を、マウス操作にお
けるマウスイベント情報に変換するイベント設定部を備
えていることとした上記記載の手書き入力用描画入出力
制御システムである。

【００１１】

【作用】これらの問題点を解決するために、本発明にお
いては、タブレットへの描画領域の算出機能を最適化
し、無駄となる処理を省くことにより高速化を図る。

【００１２】本発明を使用した場合のシステム全体の動
作状況を図２によって説明する。本発明によって構成さ
れた描画入出力プログラムは、マウス、キーボード、あ
るいは、タブレットからの情報を受け付け、イベント情
報としてアプリケーションへ受け渡す。このとき、タブ
レットからの情報は主ディスプレイ上におけるマウスの
動作として渡される。アプリケーションからの描画要求
は描画処理部によって処理され、主ディスプレイと液晶
ディスプレイの各々へ描き込みされる。

【００１３】描画入出力プログラムでのディスプレイへ
の描画は、図３に示すように、表示画面中で変更すべき
最小の矩形領域( 以下、描画単位と呼ぶ) を算出して、
その描画単位のデータだけをVRAMへ描き込むことが行わ
れる。つまり、VRAMへのアクセス量を減らすことで描画
の高速化を図っている。

【００１４】本発明におけるタブレット用VRAMへの描き
込みは上記の手法を応用して行う。本発明の構成上、デ
ィスプレイへの描画とタブレットへの描画を同時に行う
必要がある。そこで、ディスプレイへの描画を行ったの
ち、ディスプレイ用VRAMから切り出し領域のデータをタ
ブレット用VRAMへ描き込む。このとき、CPU とハードウ
ェアの負荷が高まり、他のプロセスに対して影響を及ぼ
すという問題点がある。この点を解決するために、描画
単位のタブレットへの描き込みを最適化する機能を作成
する。

【００１５】ペン入力データ処理ルーチンの作成につい
ては、次のようにする。通常の描画入出力プログラムで
は、アプリケーションでのマウスカーソル位置とスイッ
チボタンの検出を、アプリケーションからの要求によっ
て、イベント情報という形で受け渡す。また、アプリケ
ーションからの描画要求によって、主ディスプレイへの
描画を行う。

【００１６】ペン入力を可能にするためには、アプリケ
ーションに対して、任意の矩形領域において、ペンの動
作をマウス動作と同等のイベントとして描画入出力プロ
グラムに設定する機能が必要である。これを解決するた
めのペン入力データ処理ルーチンを作成する。

【００１７】本発明の構成は、この描画入出力プログラ
ムに、ディスプレイ上で指定された領域を切り出し、そ
のデータの液晶ディスプレイへの描き込みを主ディスプ
レイへの描き込みと同時に行う機能と、タブレットから
のデータをマウスイベントとして処理する機能とが付加
されたものとなる。

【００１８】以下に、図１の機能ブロック図を用いて説
明する。このシステムは、描画制御部と電子ペン入力処
理部から構成される。まず、描画制御部について説明す
る。本発明の描画制御部の主な構成要素は、画面切出し
設定要求処理部・画面切り出し条件判定部・タブレット
用VRAM表示部である。

【００１９】画面切出し設定要求処理部は、アプリケー
ションからの要求を受け付けて処理する。アプリケーシ
ョンからの要求には、切り出しフラグの設定要求と切り
出し領域の設定要求がある。切り出しフラグとはタブレ
ット画面への切り出しの開始／終了を表すフラグであ
る。切り出し領域設定要求はディスプレイ上での切り出
し矩形領域の始点座標と幅、高さを情報として持ち、こ
れを描画入出力プログラムの変数に代入する。

【００２０】画面切り出し条件判定部は、描画単位が切
り出し領域内か否かを判定し、その結果により描画処理
を行う。まず、描画単位が切り出し領域外の場合には、
その領域の描画は行わない。描画単位が切り出し領域の
外と内にまたがる場合には、後述のように、切り出し領
域内の領域へ変更する処理を行う。描画単位が切り出し
領域内に収まる場合には、そのまま描画を行う。この処
理によって、切り出し領域外のコピーを行う必要がな
く、処理の高速化が図られる。

【００２１】タブレット用VRAM表示部は、上記処理部に
よって、描画単位として指定された矩形領域のデータを
ディスプレイ用VRAMから読み込み、タブレット用VRAMへ
描き込む。

【００２２】次に、電子ペン入力処理部について説明す
る。電子ペン入力処理部の主な構成要素は、入力データ
解析部・イベント設定部である。

【００２３】入力データ解析部は、初めに、タブレット
の出力フォーマットで送られてきたデータから、タブレ
ット座標系でのペン入力座標値とボタンのスイッチモー
ドを得る。つづいて、タブレット画面の表示スケールで
ある最大座標値(Lxmax,Lymax) における座標に変換す
る。最後に、その座標値に切り出し領域の始点座標値を
加えることによって、ディスプレイ上での座標値を得
る。

【００２４】イベント設定部は、前入力時のスイッチモ
ードと現入力時のスイッチモードとの比較により、ボタ
ン状態を決定する。このボタン状態と入力データ解析部
で得られた入力座標値をマウスイベント情報として、描
画入出力プログラムに設定する。

【００２５】アプリケーションは、必要となるイベント
情報の種類を予め設定しておくことにより、イベント発
生時に描画入出力プログラムから、その情報を得ること
が可能となる。

【００２６】

【実施例】以下に本発明の動作を図４と図５のフローチ
ャートによって説明する。まず、描画制御部を図４に示
す。

【００２７】第０ステップ：アプリケーション ここで云うアプリケーションとは、描画入出力プログラ
ム上で動作するプログラムを指し、マウスおよびキーボ
ードからの入力を描画入出力プログラムからのイベント
情報として受取り、それに対する処理を行う。

【００２８】アプリケーションは、その処理によって画
面表示に変更が生じた場合、描画入出力プログラムに対
して描画要求を送信する。また、画面切り出し設定要求
の出力を行う。

【００２９】画面切り出し設定要求の出力を行わないア
プリケーションを使用する場合は、画面切り出し設定変
更プログラムを並行に動作させる。 第１ステップ：画面切り出し設定変更アプリケーション 画面切り出し設定変更プログラムは、マウス入力あるい
はキーボード入力によって、液晶ディスプレイ付きタブ
レットへの切り出し開始／終了および描画する矩形領域
を指定し、その情報を描画入出力プログラムに画面切り
出し設定要求として送出する。

【００３０】指定方法はマウス入力の場合、ディスプレ
イ上で切り出し領域の始点をクリックすることによって
切り出しの開始と矩形領域が設定される。このときの幅
と高さはデフォルトで液晶ディスプレイ付きタブレット
の最大表示領域に設定される。キーボード入力の場合、
コマンドラインからコマンド名につづいて切り出しの開
始／終了を表す文字列を加える。また、描画する矩形領
域を指定するにはコマンド名につづいて、矩形領域の始
点座標、幅、高さを入力する。

【００３１】この画面切り出し設定要求には、切り出し
フラグの設定要求と切り出し領域の設定要求の２種類が
ある。切り出しフラグの設定要求には、液晶ディスプレ
イ付きタブレットへの表示を行うか否かの情報が付加さ
れ、描画入出力プログラムに渡される。切り出し領域の
設定要求には、指定した矩形領域の始点の座標値、矩形
の幅／高さの情報が付加され描画入出力プログラムに渡
される。

【００３２】第２ステップ：画面切り出し設定要求処理
部 画面切り出し設定要求処理部は、描画ルーチンで受け付
けた要求が画面切り出し設定要求の場合に実行される。

【００３３】画面切り出し設定要求が切り出しフラグの
設定要求である場合、その情報が「液晶ディスプレイ付
きタブレットへの表示を行う」であれば、切り出しフラ
グFを真(TRUE)に設定する。逆に、「 LCDタブレットへ
の表示を行わない」であれば、切り出しフラグF を偽(F
ALSE) に設定する。

【００３４】画面切り出し設定要求が切り出し領域の設
定要求である場合には、その情報から矩形領域の始点の
座標値(Cx 、Cy) 、矩形の幅Cw・高さChを、描画入出力
プログラムの切り出し領域情報保存用内部変数に設定す
る。ここで、Cw・Chは液晶ディスプレイ付きタブレット
の表示領域サイズである(Lxmax,Lymax) より大きくては
ならないので、表示領域より大きな値の場合には表示領
域のサイズに変更する。

【００３５】また、切り出し領域の設定要求で渡された
矩形領域が、ディスプレイの領域である(Dxmax,Dymax)
からはみ出す場合には、矩形領域の幅と高さを変更せず
にディスプレイ内に収まるように始点の座標値(Cx,Cy)
を変更し、切り出し領域情報保存用内部変数に設定す
る。

【００３６】第３ステップ： 描画演算部およびディス
プレイ用VRAM表示部 前処理として、受け付けた要求がアプリケーションから
の描画要求である場合に、まず切り出しフラグF のチェ
ックを行う。

【００３７】ここで、切り出しフラグが偽(F=FALSE) の
場合には、処理部A において、描画領域を複数の矩形描
画単位に分割し順番にディスプレイ用VRAMに描き出すと
いう通常の処理を行う。この処理によってVRAMを変更す
る部分が縮小されるため高速な描画が可能となる。

【００３８】ここで得られる描画単位は、描画データお
よびディスプレイ上での始点／終点座標値の情報から構
成される。

【００３９】切り出しフラグが真(F=TRUE)の場合、つづ
いて画面切り出し領域(Cx,Cy),Cw,Ch が設定されている
か否かの判断を行う。これが設定されていない場合には
通常処理ルーチンへ行き、設定されているのであれば、
ディスプレイ用VRAMとタブレット用VRAMの両方へ描き出
すルーチン( 処理部B)に飛ぶ。

【００４０】第４ステップ： 画面切り出し条件判定部
( 描画領域最適化処理部) およびタブレット用VRAM表示
部( 処理部B) ここでは、切り出しフラグが真(F=TRUE)であり、かつ、
画面切り出し領域が設定されている場合に、処理部B に
おいて、描画領域をディスプレイ用VRAMとタブレット用
VRAMの両方へ描き出す処理を行う。

【００４１】まず、通常処理と同様に描画領域中の描画
単位を決定し、ディスプレイ用VRAMに描き出す。つづい
て、画面切り出し条件判定部において、描画単位を液晶
ディスプレイ付きタブレットに表示するか否かの処理を
行う。この中では、まず初めに描画単位の全体が先に指
定した切り出し領域の外にあるか否かの判断をする。

【００４２】描画単位全体が切り出し領域外であれば、
その描画単位のタブレット用VRAMへの描きだしは行わな
い。描画単位全体が切り出し領域内であるならば、その
描画単位をタブレット用VRAMへ描き出す。

【００４３】上記２つの条件以外の場合、即ち描画単位
が切り出し領域の内外にまたがる場合には、描画単位が
切り出し領域内に収まるように描画単位の始点／終点座
標値の変更を行う。

【００４４】この処理を図６で説明する。 (a) では描画単位の始点と終点の一方をx 方向かy 方向
に移動することにより、目的とする矩形領域を得る。 (b) では始点と終点の一方をx,y 方向共に移動すること
により、目的領域を得る。 (c) では始点と終点の両方ををx,y 方向に移動すること
により、目的領域を得る。

【００４５】これらは、共に同一の処理で設定が可能で
ある。今、描画単位の始点座標値を(x1,y1) 、終点座標
値を(x2,y2) 、切り出し領域の始点座標値を(Cx,Cy) 、
終点座標値を(Cx',Cy') とする。

【００４６】ここで、(Cx',Cy') は以下の式で表され
る。 Cx' = Cx + Cw - 1 Cy' = Cy + Ch - 1 このとき、描画単位の変更は以下の様にして行われる。

【００４７】 x1 < Cx かつ x2 >= Cx ならば x1 = Cx y1 < Cy かつ y2 >= Cy ならば y1 = Cy x1 =< Cx' かつ x2 > Cx' ならば x2 = Cx' y1 =< Cy' かつ y2 > Cy' ならば y2 = Cy' この処理によって変更された描画単位部分をディスプレ
イ用VRAMから読み込み、タブレット用VRAMへ描き出す。

【００４８】最後にアプリケーションから要求された描
画領域を全て描き終わったか否かの判断を行い、終了で
あればアプリケーションからの要求入力部に戻り、終了
でなければ次の描画単位を決定し、ここまでの処理を繰
り返す。

【００４９】次に、電子ペン入力処理部を図５に示す。 第５ステップ： 入力データ解析部 タブレットとの通信モードの初期化後、ペンデータを入
力し、入力データ解析部での処理を行う。

【００５０】まず、タブレットの出力フォーマットで送
られて来たデータから、ビット演算により、タブレット
座標系でのペン入力座標値(Tx,Ty) とボタン状態を表す
スイッチモードを得る。

【００５１】タブレット座標値は、タブレットの仕様に
よりTx=0〜Txmax 、Ty=0〜Tymax の範囲で与えられる。
スイッチモードには、ペンがタブレットから離れた状態
(B0)、先端ボタンが押された状態(B1)、側ボタンが押さ
れた状態(B2)がある。次にペン入力値を表示スケールで
の値(Lx,Ly) に丸める。これは、以下の式により求めら
れる。

【００５２】Lx = Tx * Lxmax / Txmax Ly = Ty * Lymax / Tymax つづいて、ディスプレイ上での座標値(X,Y) を得るため
に、切り出し領域の始点座標値(Cx,Cy) を(Lx,Ly) に加
える。つまり、(X,Y) は次式で表される。

【００５３】X = Lx + Cx Y = Ly + Cy ここまでの処理によって、ペンによるタブレット上での
動作をディスプレイ上の切り出し領域内の動作として得
ることができる。

【００５４】第６ステップ：イベント設定部 イベント設定部では、ペンの動作をマウスイベントとし
て設定する処理を行う。描画入出力プログラムで必要と
なるマウスイベントは、ボタンが押された・ボタンが放
された・前入力時とボタンの状態が変わらないのボタン
変更状況を表す３種類とカーソルのディスプレイ上での
座標値である。

【００５５】前入力時のスイッチモードと現入力時のス
イッチモードとの比較からボタン変更状況を決定する。
このボタン変更状況と入力データ解析部で得られた入力
座標値をマウスイベント情報として描画入出力プログラ
ムに設定する。

【００５６】最後に現入力時のスイッチモードを次回の
処理時に参照するために保存する。アプリケーションは
イベント情報を参照することによって、その処理を決定
する。

【００５７】本発明の応用例として以下のものも可能で
ある。 （イ）電子ペンによるマウスの代用 切り出しを行わない間は、タブレットの表示機能は停止
させて、デジタイザ機能は働かせておく。このとき、デ
ジタイザからの座標値をディスプレイのスケールに変更
することにより、ディスプレイ領域でのカーソル移動が
可能になる。これによって、マウスを全く使用しない
で、描画入出力プログラムを利用することが可能であ
る。

【００５８】（ロ）図面編集アプリケーションへの適用 本発明の効果的な利用法に図面編集アプリケーションへ
の適用が考えられる。オペレータはタブレット画面を見
ながらペン入力が可能となり、マウスによる図形作成に
比べて作業能率が向上する。

【００５９】（ハ）文書編集アプリケーションへの適用 本発明と手書き文字認識フロントエンドプロセッサとの
組み合わせにより、文書処理アプリケーションを使用し
た文書編集が可能となる。

【００６０】（ニ）既存アプリケーションへの適用 本発明は、画面切り出し設定要求を出力するためのプロ
グラムを動作させることによって、描画入出力プログラ
ム上で動作する既存のアプリケーションへの適用も可能
である。

【００６１】

【発明の効果】本発明によれば、表示解像度の異なる、
一般的には解像度の高いCRT と解像度の低い液晶ディス
プレイ付きタブレットとをひとつのコンピュータに接続
して、CRT 内の矩形領域を液晶ディスプレイ付きタブレ
ットの画面に対応させて表示することが可能となる。

【００６２】さらに、CRT 上の座表系でのアプリケーシ
ョンに対して、液晶ディスプレイ付きタブレット上での
電子ペンによるポインティングデータをCRT 上の座標系
でアプリケーションに通知することが可能になる。

【００６３】これにより、CRT 上に表示された任意の位
置のアプリケーション操作画面を液晶ディスプレイ付き
タブレットに表示させ、電子ペン操作による図形入力、
文字入力などの機能を用いて、アプリケーションの操作
性を向上させることができる。

【図面の簡単な説明】

【図１】本発明の機能ブロック図である。

【図２】本発明の全体構成を表す図である。

【図３】ディスプレイ上の切り出し領域、描画単位の配
置を表わす図である。

【図４】描画制御部のフローチャートである。

【図５】電子ペン入力処理部のフローチャートである。

【図６】描画単位最適化処理の概念図である。

【図７】従来の技術に係わるシステムのブロック図であ
る。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 渡辺 隆弘 東京都千代田区丸の内一丁目１番２号 日 本鋼管株式会社内

Claims (3)

【特許請求の範囲】
1. 【請求項１】主ディスプレイと電子ペンにより手書き入
   力を行う液晶ディスプレイ付きタブレットとを備えたコ
   ンピュータにおいて、前記主ディスプレイ上の任意の位
   置に指定された切出し領域内において発生する描画を逐
   次液晶ディスプレイにも表示する描画制御部と、前記液
   晶ディスプレイ付きタブレットからの電子ペン操作をマ
   ウス入力操作と同等に処理する電子ペン入力処理部とを
   備えている手書き入力用描画入出力制御システム。
2. 【請求項２】前記描画制御部は、描画単位を決定する手
   段と、その描画単位が前記切出し領域の領域外か領域内
   かを判定し、その描画単位の一部が前記切出し領域の領
   域外の場合は、領域内の部分にその描画単位を変更する
   画面切出し条件判定部を備えていることを特徴とする請
   求項１記載の手書き入力用描画入出力制御システム。
3. 【請求項３】前記電子ペン入力処理部は、前記電子ペン
   のボタン操作および前記電子ペンと前記タブレットとの
   接触の有無の情報を、マウス操作におけるマウスイベン
   ト情報に変換するイベント設定部を備えていることを特
   徴とする請求項１記載の手書き入力用描画入出力制御シ
   ステム。