1、表示装置の構成
図1は、本発明の一実施形態であるタッチパネルシステム1の構成を示すブロック図である。表示装置であるタッチパネルシステム1は、タッチパネル付きディスプレイ(以下「ディスプレイ」という)10および表示制御装置20を含んで構成される。本発明に係る表示方法は、タッチパネルシステム1で実行される。
ディスプレイ10は、ディスプレイコントローラ11、メモリ12、画像メモリ13、表示部14、タッチパネル15、映像入力端子16、ディスプレイ電源部17およびペン19を含んで構成される。ディスプレイコントローラ11は、たとえば中央処理装置(以下「CPU」という)によって構成され、ディスプレイ10全体を制御する。ディスプレイコントローラ11は、メモリ12に記憶されるプログラムを実行することによって、画像メモリ13、表示部14、タッチパネル15および映像入力端子16を制御する。ディスプレイコントローラ11は、取込手段、データ処理手段、領域特定部、変倍率算出部、処理前代表点特定部、処理後代表点算出部、作成部、処理後領域生成部、制御手段および行特定部に相当する。
メモリ12は、たとえば半導体メモリあるいはハードディスク装置などの記憶装置によって構成される。メモリ12は、ディスプレイコントローラ11で実行されるプログラム、およびディスプレイコントローラ11がプログラムを実行するために必要な情報を記憶する。メモリ12に記憶される情報は、ディスプレイコントローラ11によって書き込みおよび読み出しが行われる。画像メモリ13は、表示部14に表示するための画像データを記憶する。画像メモリ13に記憶される画像データは、ディスプレイコントローラ11によって書き込みおよび読み出しが行われる。
表示手段である表示部14は、たとえば液晶ディスプレイなどによって構成され、表示画面を有する。表示部14は、ディスプレイコントローラ11から受け取る画像データを表示画面に表示する。ディスプレイコントローラ11は、映像入力端子16から受け取る映像信号を表示画面データに変換し、変換した表示画面データを画像メモリ13に記憶し、画像メモリ13に記憶される表示画面データを表示部14に送って表示画面に表示させる。
接触状態検出手段および接触点検出手段であるタッチパネル15は、表示部14の表示画面に対向して設けられ、タッチパネル15に対するペン19などの物体の接触点の位置を検出するとともに、接触点の数を検出する。タッチパネル15は、検出した接触点の位置および数を表す位置情報を表示制御装置20に送信する。
以下、ディスプレイ10および表示制御装置20の表示画面に向かって表示画面の左上を原点とし、右方向をX軸の正方向、下方向をY軸の正方向とするX−Y座標で位置座標を表す。また、X軸方向を、水平方向または横方向ともいい、Y軸方向を、垂直方向または縦方向ともいう。
タッチパネル15は、受信部151、出力部152およびタッチパネル電源部153を含んで構成される。受信部151は、ペン19と通信する通信装置である。受信部151は、ペン19から、ペン19の状態を表す状態情報を受信する。出力部152は、ペン19が表示部14の表示画面に接触した位置を表す位置情報およびペン19が表示部14の表示画面に接触しているか否かを表す接触状態情報を、表示制御装置20に送信する。タッチパネル電源部153は、受信部151および出力部152などに電力を供給する動作用電源部である。
映像入力端子16は、表示制御装置20から入力される映像信号を受信するための端子である。映像入力端子16は、受信した映像信号をディスプレイコントローラ11に送る。ディスプレイ電源部17は、ディスプレイコントローラ11、メモリ12、画像メモリ13および映像入力端子16に電力を供給する電源である。表示部14およびタッチパネル15は、それぞれ独立した動作用電源部、つまり電源を有する。ペン19は、タッチパネル15から情報を入力するための指示具、つまりポインティングデバイスであり、たとえばタッチペンによって構成される。
表示制御装置20は、たとえばパーソナルコンピュータによって構成される。表示制御装置20は、表示画面を有する図示しない表示部、CPU21、ランダムアクセスメモリ(以下「RAM」という)22、グラフィカルRAM(以下「GRAM」という)23、映像出力端子24、記憶デバイス25、入出力端子26、バス27および表示制御電源部28を含んで構成される。
接触動作判断手段であるCPU21は、記憶デバイス25に記憶されるプログラムを実行することによって、GRAM23、映像出力端子24および入出力端子26を制御する。RAM22は、CPU21がプログラムを実行するために必要な情報を記憶する。GRAM23は、ディスプレイ10に表示するための画像データを記憶する。GRAM23に記憶される画像データとしては、たとえば表示制御装置20で作成されたイメージデータおよびテキストデータなどの下書きデータが挙げられる。RAM22およびGRAM23に記憶される情報は、CPU21によって、書き込みおよび読み出しが行われる。CPU21は、GRAM23に記憶された下書きデータを用いて、後述する第1余白処理および第2余白処理を実行する。またCPU21は、タッチパネル15から知らされる情報、たとえばペン19が表示画面に接触する位置を表す位置情報に基づいて、後述する第3余白拡大表示処理を実行する。
映像出力端子24は、GRAM23に記憶される画像データをディスプレイ10に送信するための端子である。CPU21は、GRAM23から画像データを読み出して、映像出力端子24に送る。映像出力端子24は、ディスプレイ10の映像入力端子16に接続され、CPU21から受け取る画像データを映像信号として映像入力端子16に送信する。GRAM23に記憶される画像データが表示部14の表示画面に表示される。すなわち、CPU21は、GRAM23に記憶される画像データを書き換えることによって、表示部14の表示画面に表示される画像を変更することができる。
記憶手段である記憶デバイス25は、たとえば半導体メモリあるいはハードディスク装置などの記憶装置によって構成される。記憶デバイス25は、CPU21で実行されるプログラム、および設定情報などの情報を記憶する。入出力端子26は、タッチパネル15の出力部152から送信される情報を受信するための端子であり、受信した情報をCPU21に送る。バス27は、CPU21、RAM22、GRAM23、映像出力端子24、記憶デバイス25および入出力端子26のそれぞれの間で情報を送受信するためのデータバスである。表示制御電源部28は、CPU21、RAM22、GRAM23、映像出力端子24、記憶デバイス25および入出力端子26に電力を供給する電源である。
図2は、タッチパネル15の構成を示すブロック図である。図2に示したタッチパネル15は、赤外線発光ダイオードとフォトトランジスタとを用いる赤外線方式の一例である。タッチパネル15のタッチパネル実現方式は、赤外線方式に限定されるものではなく、たとえば抵抗膜方式あるいは静電容量方式などの方式であってもよい。
タッチパネル15は、上述した受信部151、出力部152およびタッチパネル電源部153のほかに、タッチパネルコントローラ154、発光部制御回路155、第1赤外線発光部アレイ156、第2赤外線発光部アレイ157、第1赤外線受光部アレイ158、第2赤外線受光部アレイ159、受光部制御回路160、座標生成部161およびタッチパネル電源スイッチ162を含んで構成される。
タッチパネルコントローラ154は、たとえばCPUによって構成され、図示しない記憶装置に記憶されるプログラムを実行することによって、受信部151、出力部152、発光部制御回路155、受光部制御回路160および座標生成部161を制御する。発光部制御回路155は、タッチパネルコントローラ154からの指示によって、第1赤外線発光部アレイ156および第2赤外線発光部アレイ157を制御する。
第1赤外線発光部アレイ156は、複数の赤外線発光ダイオードを含んで構成される。第1赤外線発光部アレイ156の複数の赤外線発光ダイオードは、Y軸方向に配列される。第2赤外線発光部アレイ157は、複数の赤外線発光ダイオードを含んで構成される。第2赤外線発光部アレイ157の複数の赤外線発光ダイオードは、X軸方向に配列される。
第1赤外線受光部アレイ158は、複数のフォトトランジスタあるいはフォトダイオードを含んで構成される。第1赤外線受光部アレイ158の複数のフォトトランジスタあるいはフォトダイオードは、Y軸方向に配列される。第1赤外線受光部アレイ158の各フォトトランジスタあるいは各フォトダイオードは、第1赤外線発光部アレイ156の各赤外線発光ダイオードとそれぞれ対になるように配列され、各フォトトランジスタあるいは各フォトダイオードは、対になる赤外線発光ダイオードからの赤外線を受光する。第2赤外線受光部アレイ159は、複数のフォトトランジスタあるいはフォトダイオードを含んで構成される。第2赤外線受光部アレイ159の複数のフォトトランジスタあるいはフォトダイオードは、X軸方向に配列される。第2赤外線受光部アレイ159の各フォトトランジスタあるいは各フォトダイオードは、第2赤外線発光部アレイ157の各赤外線発光ダイオードとそれぞれ対になるように配列され、各フォトトランジスタあるいは各フォトダイオードは、対になる赤外線発光ダイオードからの赤外線を受光する。
第1赤外線発光部アレイ156および第1赤外線受光部アレイ158は、表示画面上でのY軸方向、つまり縦方向のペン19のペン先の位置を検出する。第2赤外線発光部アレイ157および第2赤外線受光部アレイ159は、表示画面上でのX軸方向、つまり横方向のペン19のペン先の位置を検出する。
発光部制御回路155は、第1赤外線発光部アレイ156の赤外線発光ダイオード、つまり縦方向の赤外線発光ダイオードを1つずつ順次点灯するとともに、第2赤外線発光部アレイ157の赤外線発光ダイオード、つまり横方向の赤外線発光ダイオードを1つずつ順次点灯して、スキャンする。
受光部制御回路160は、第1赤外線受光部アレイ158および第2赤外線受光部アレイ159での受光状態を検出する。もしも、ペン19がタッチパネル15に接触していれば、第1赤外線発光部アレイ156の赤外線発光ダイオードのうちのいずれか1つの赤外線発光ダイオードから発光された赤外線は、ペン19のペン先で散乱あるいは遮断されるため、その赤外線発光ダイオードと対のフォトトランジスタあるいはフォトダイオードが検出する赤外線の量が低下する。また、第2赤外線発光部アレイ157の赤外線発光ダイオードのうちのいずれか1つの赤外線発光ダイオードから発光された赤外線は、ペン19のペン先で散乱あるいは遮断されるため、その赤外線発光ダイオードと対のフォトトランジスタあるいはフォトダイオードが検出する赤外線の量が低下する。
受光部制御回路160は、第1赤外線受光部アレイ158のフォトトランジスタあるいはフォトダイオードのうちで、赤外線の量が低下したフォトトランジスタあるいはフォトダイオードの位置、つまり縦方向の位置、および第2赤外線受光部アレイ159のフォトトランジスタあるいはフォトダイオードのうちで、赤外線の量が低下したフォトトランジスタあるいはフォトダイオードの位置、つまり横方向の位置を座標生成部161に送る。
座標生成部161は、受光部制御回路160から受け取る位置、つまり赤外線の量が低下したフォトトランジスタあるいはフォトダイオードの縦方向および横方向の位置に基づいて、位置座標を生成する。具体的には、受光部制御回路160から受け取る位置、つまり赤外線の量が低下したフォトトランジスタあるいはフォトダイオードの縦方向および横方向の位置を、XY座標系での位置座標に変換する。座標生成部161は、生成した位置座標をタッチパネルコントローラ154に送る。タッチパネルコントローラ154は、座標生成部161から受け取る位置座標によって、ペン19のペン先がタッチパネル15、つまり表示画面に接触しているXY座標系での位置を認識することができる。
座標生成部161が生成する位置座標は、タッチパネル15の左上を原点としたときの位置座標であり、タッチパネル15に重ねて配置されるディスプレイ10の表示部14の表示画面において、X軸方向の画素数がXmax2個であり、Y軸方向の画素数がYmax2個である場合、(0,0)の位置座標の右隣の位置座標を(1,0)で表し、X軸方向に1つずれるにつれて、位置座標を順に(2,0)、(3,0)・・・(Xmax2−1,0)、(Xmax2,0)と表す。また、(0,0)の位置座標の下隣の位置座標を(0,1)と表し、Y軸方向に1つずれるにつれて、位置座標を順に(0,2)、(0,3)・・・(0,Ymax2−1)、(0,Ymax2)と表す。
タッチパネル電源スイッチ162は、タッチパネル電源部153による電力の供給および電力の供給停止を切り換えるスイッチである。
タッチパネル15は、タッチパネル15に押し付けられているペン19のペン先190の位置を、発光部制御回路155、第1赤外線発光部アレイ156、第2赤外線発光部アレイ157、第1赤外線受光部アレイ158、第2赤外線受光部アレイ159および受光部制御回路160によってスキャンし、スキャンして得られたペン先190の位置座標およびペン19の後述するスイッチの状態を表す情報を、出力部152を介して表示制御装置20に送信する。
図3は、ペン19の構成を示す模式図である。ペン19は、ペン先スイッチ191、操作スイッチ192、スイッチ検出部193、送信部194、ペン電源スイッチ195およびペン電源部196を含んで構成される。
ペン先スイッチ191は、ペン先190がタッチパネル15に押し付けられたことを検出するスイッチである。操作スイッチ192は、ペン19の動作を切り換えるための切換操作などを行うための押しボタン式のスイッチである。スイッチ検出部193は、ペン先スイッチ191の状態、および操作スイッチ192の状態を検出し、検出した状態を表す情報を送信部194に送る。
送信部194は、スイッチ検出部193から受け取る状態を表す情報を、タッチパネル15の受信部151に送信する。ペン電源スイッチ195は、ペン電源部196による電力の供給および電力の供給停止を切り換えるスイッチである。ペン電源部196は、ペン先スイッチ191、操作スイッチ192、スイッチ検出部193および送信部194に電力を供給する動作用電源部である。
上述のようなタッチパネルシステム1において、以下に示す余白処理を行う。
2、余白処理
(1)第1余白処理
図4は、第1余白処理を説明するための図である。図4(a)は、下書きデータに基づく画像37aが表示された表示制御装置20の表示画面を示す図であり、図4(b)は、第1余白処理が行われた下書きデータに基づく画像37bが表示されたディスプレイ10の表示画面を示す図である。図5は、画像37cが表示されたディスプレイ10の表示画面を示す図である。第1余白処理は変倍処理に相当する。
第1余白処理は、イメージデータに対して行われる処理である。タッチパネルシステム1は、表示制御装置20を用いて、図4(a)に示すような画像37aを表示できる下書きデータをイメージデータで作成し、この下書きデータに対してディスプレイ10で第1余白処理を行い、第1余白処理が行われた下書きデータに基づく画像37bである第1処理後画像37bをディスプレイ10の表示画面に表示させる。第1余白処理が行われていない画像37aを、以後、処理前画像37aと記載する。
処理前画像37aに含まれる6つの矩形は、その内部に文字、記号または図形の少なくとも1つが記載されている第1〜第6の領域(以下「記載領域」と記載する)30a,31a,32a,33a,34a,35aである。第1処理後画像37bに含まれる6つの矩形は、その内部に文字、記号または図形の少なくとも1つが記載されている第1〜第6記載領域30b,31b,32b,33b,34b,35bである。以下、第1〜第6記載領域30a,31a,32a,33a,34a,35aをまとめて記載領域aと記載し、第1〜第6記載領域30b,31b,32b,33b,34b,35bをまとめて記載領域bとも記載する。処理前画像37aにおいて、記載領域a以外の領域は、文字などが何も表示されていない空白の領域(以下「空白領域」と記載する)36aである。第1処理後画像37bにおいて、記載領域b以外の領域は、空白領域36bである。
処理前画像37aと第1処理後画像37bとでは、画像全体に対する空白領域36a,36bの割合がそれぞれ異なり、第1処理後画像37b全体に対する空白領域36bの割合のほうが、処理前画像37a全体に対する空白領域36aの割合よりも大きい。また、記載領域a,bの形状、および、画像全体における記載領域a,bの相対的な位置は同じである。
このように第1処理後画像37bは、処理前画像37aを単にディスプレイ10の表示画面の大きさに応じた大きさに変倍した画像よりも、記載領域bが狭くて空白領域36bが広く、また、記載領域bの形状および相対的な位置が処理前画像37aと同じである。
空白領域36a,36bは余白であり、第1処理後画像37bの空白領域36bには、空白領域36bと対応するタッチパネル15の領域にユーザがペン19などを用いて手書きで文字などを入力することで、入力した文字などを表示させることができる。そのため、第1余白処理を行う本発明のタッチパネルシステム1を用いると、下書きデータの作成時に予め余白を確保するための手間を掛けることなく、ディスプレイ10の表示画面に充分な広さの余白が確保された第1処理後画像37bを表示させることができる。
第1余白処理の具体的な処理内容を以下に記載する。
第1余白処理では、処理前画像37aにおいて記載領域aを特定し、記載領域a以外の領域を空白領域36aとして特定する。特定された記載領域aの処理前画像37aにおける位置は、たとえば矩形である記載領域aの対角線上にある2つの頂点の位置座標を用いて検出する。
記載領域aは、本分野で常法として用いられる各種の方法によって特定することができる。文字、記号、絵などが記載されている場合、その記載された部分に対して、たとえば外接矩形を設定し、設定した外接矩形を1つのオブジェクトとして認識する。認識した各オブジェクトを記載領域aとして特定することができる。オブジェクト以外にも、文字、記号、絵などの軌跡として認識するストロークデータとして特定したり、1ピクセルごとに余白部分を構成するピクセル(たとえば白色ピクセル)と文字、記号など記載部分を構成する有色ピクセル(たとえば黒色)とに区別する、または予め定める複数のピクセルからなるブロックごとに空白領域に属するか記載領域に属するかを区別するビットマップデータとして特定することも可能である。
第1〜第6記載領域30a,31a,32a,33a,34a,35aを2つの頂点の位置座標((左上位置座標)−(右下位置座標))で表わすと以下のように表される。
第1記載領域30a:(x1,y1)−(x3,y3)
第2記載領域31a:(x2,y6)−(x4,y7)
第3記載領域32a:(x2,y9)−(x3,y11)
第4記載領域33a:(x6,y2)−(x7,y4)
第5記載領域34a:(x5,y5)−(x8,y8)
第6記載領域35a:(x6,y10)−(x7,y12)
特定された記載領域a内に処理前代表点38aを1つずつ設定し、処理前代表点38aの処理前画像37aにおける位置を算出する。処理前代表点38aは記載領域a内(外形線上を含む)であればどの位置にでも設定することができる。本実施形態では、処理前代表点38aは記載領域aそれぞれの左上位置座標であるが、たとえば記載領域aの重心でもよい。
記載領域aの上記の2つの頂点の位置座標を、処理前代表点38aからの距離に基づく相対的な位置座標に変換する。この変換を行った後の位置座標を変換後位置座標と呼ぶ。なお、処理前代表点38aとなっている位置座標の値は変換しない。変換後位置座標は、以下のように表される。
第1記載領域30a:
(x1,y1)−(x1+(x3−x1),y1+(y3−y1))
第2記載領域31a:
(x2,y6)−(x2+(x4−x2),y6+(y7−y6))
第3記載領域32a:
(x2,y9)−(x2+(x3−x2),y9+(y11−y9))
第4記載領域33a:
(x6,y2)−(x6+(x7−x6),y2+(y4−y2))
第5記載領域34a:
(x5,y5)−(x5+(x8−x5),y5+(y8−y5))
第6記載領域35a:
(x6,y10)−(x6+(x7−x6),y10+(y12−y10))
処理前画像37aおよび第1処理後画像37bの大きさは、表示制御装置20の表示画面の画素数(X軸の位置座標の最大値およびY軸の位置座標の最大値)に基づいて記憶される。表示制御装置20の表示画面の画素数と、ディスプレイ10の表示画面の画素数とが異なる場合、第1余白処理では、記載領域aの位置座標について表示画面の画素数に関する変換を行う。
ディスプレイ10の表示画面の大きさが表示制御装置20の表示画面の大きさよりも大きい場合に、記載領域aの位置座標について表示画面の画素数に関する変換を行わないと、ディスプレイ10の表示画面には、図5に示すような画像37cが表示される。画像37cでは、第1〜第6記載領域30c,31c,32c,33c,34c,35c間の空白領域36cが狭く、第1〜第6記載領域30c,31c,32c,33c,34c,35c間において充分な広さの余白を確保することができず、さらに第1〜第6記載領域30c,31c,32c,33c,34c,35cの視認性が低い。また、ディスプレイ10の表示画面の大きさが、表示制御装置20の表示画面の大きさよりも小さい場合、記載領域aの位置座標について表示画面の画素数に関する位置座標の変換を行わないと、ディスプレイ10の表示画面に下書きデータに基づく画像全体を表示させることができない。
したがって、表示制御装置20の表示画面の画素数をXmax1、Ymax1とし、ディスプレイ10の表示画面の画素数をXmax2,Ymax2とした場合、少なくともXmax1≠Xmax2またはYmax1≠Ymax2であれば、記載領域aの位置座標について表示画面の画素数に関する位置座標の変換が必要となる。
記載領域aの位置座標について表示画面の画素数に関する変換を行う際、処理前画像37a全体の大きさに対する第1処理後画像37b全体の大きさの割合である変倍率を用いる。変倍率には、表示画面のX軸方向に対応する割合である横方向拡大縮小率Vxと、Y軸方向に対応する割合である縦方向拡大縮小率Vyとがあり、横方向拡大縮小率Vxは(Xmax2/Xmax1)の計算で求められ、縦方向拡大縮小率Vyは(Ymax2/Ymax1)の計算で求められる。これらの値は、第1処理後画像37bが生成される前に予め、事前設定テーブルに記憶される。
図6は、事前設定テーブルの一例を示す図である。事前設定テーブルは、表示制御装置20の記憶デバイス25に記憶される設定情報である。図6A(a)は、ディスプレイ画素数記憶テーブル40の一例を示す図である。図6A(b)は、表示制御装置画素数記憶テーブル41の一例を示す図である。図6A(c)は、呼出拡大縮小率記憶テーブル42の一例を示す図である。図6A(d)は、記載領域最小サイズ制限値設定テーブル43の一例を示す図である。図6A(e)は、記載領域呼出率補正テーブル44の一例を示す図である。
図6A(a)に示すディスプレイ画素数記憶テーブル40は、ディスプレイ10の表示画面の画素数、すなわち第1処理後画像37bの画素数が記憶されているテーブルである。ディスプレイ画素数記憶テーブル40には、横画素数記憶欄401および縦画素数記憶欄402が設けられている。
図6A(a)には、ディスプレイ画素数記憶テーブル40の例が示され、横画素数記憶欄401には、「横画素数Xmax2」は「1920」であることが示されている。縦画素数記憶欄402には、「縦画素数Ymax2」は「1360」であることが示されている。すなわち、ディスプレイ画素数記憶テーブル40として、ディスプレイ10の表示画面の画素数は、表示画面の横方向が1920画素、表示画面の縦方向が1360画素であるという情報が記憶されている。
図6A(b)に示す表示制御装置画素数記憶テーブル41は、表示制御装置20の表示画面の画素数、すなわち処理前画像37aの画素数が記憶されているテーブルである。表示制御装置画素数記憶テーブル41には、テーブルのタイトル欄、横画素数記憶欄411および縦画素数記憶欄412が設けられている。
図6A(b)には、表示制御装置画素数記憶テーブル41の例が示され、横画素数記憶欄411には、「横画素数Xmax1」は「1024」であることが示されている。縦画素数記憶欄412には、「縦画素数Ymax1」は「768」であることが示されている。すなわち、表示制御装置画素数記憶テーブル41として、表示制御装置20の表示画面の画素数は、表示画面の横方向が1024画素、表示画面の縦方向が768画素であるという情報が記憶されている。
図6A(c)に示す呼出拡大縮小率記憶テーブル42は、前述の横方向拡大縮小率Vxおよび縦方向拡大縮小率Vyが記憶されているテーブルである。呼出拡大縮小率記憶テーブル42には、テーブルのタイトル欄、横方向拡大縮小率記憶欄421および縦方向拡大縮小率記憶欄422が設けられている。
図6A(c)には、呼出拡大縮小率記憶テーブル42の例が示され、横方向拡大縮小率記憶欄421には、「横方向拡大縮小率Vx」は「2」であることが示されている。縦方向拡大縮小率記憶欄422には、「縦方向拡大縮小率Vy」は「2」であることが示されている。
図6A(d)に示す記載領域最小サイズ制限値設定テーブル43は、第1処理後画像37bにおける記載領域bの最小サイズが設定されているテーブルである。第1余白処理では、第1処理後画像37bにおける記載領域bの大きさは、記載領域最小サイズ制限値設定テーブル43に記憶されている値以上になるように制御される。記載領域最小サイズ制限値設定テーブル43には、テーブルのタイトル欄、横方向記載領域最小値設定欄431および縦方向記載領域最小値設定欄432が設けられている。
図6A(d)には、記載領域最小サイズ制限値設定テーブル43の例が示され、横方向記載領域最小値設定欄431には、「横方向記載領域最小値LDSx」は「24」であることが示されている。縦方向記載領域最小値設定欄432には、「縦方向記載領域最小値LDSy」は「24」であることが示されている。。すなわち、記載領域最小サイズ制限値設定テーブル43として、第1処理後画像37bにおける記載領域bの横方向の最小値が24画素、記載領域bの縦方向の最小値が24画素であるという情報が記憶されている。
横方向記載領域最小値LDSxおよび縦方向記載領域最小値LDSyは、ディスプレイ10の表示画面の横画素数Xmax2および縦画素数Ymax2に基づいて設定されるものであり、ディスプレイ10の表示画面に表示されたときの記載領域bの視認性を確保するために設定される。
図6A(e)に示す記載領域呼出率補正テーブル44は、第1余白処理において、記載領域aの大きさを補正するための横方向呼出補正値Rx、および、記載領域aの大きさを補正するための縦方向呼出補正値Ryが設定されているテーブルである。記載領域呼出率補正テーブル44には、テーブルのタイトル欄、横方向呼出補正値設定欄441および縦方向呼出補正値設定欄442が設けられている。
図6A(e)には、記載領域呼出率補正テーブル44の例が示され、横方向呼出補正値設定欄441には、「横方向呼出補正値Rx」は「0.7」であることが示されている。縦方向呼出補正値設定欄442には、「縦方向呼出補正値Ry」は「0.7」であることが示されている。
横方向呼出補正値Rxおよび縦方向呼出補正値Ryの値は、第1処理後画像37bの記載領域bの大きさが、記載領域最小サイズ制限値設定テーブル43に記憶されている横方向記載領域最小値LDSxおよび縦方向記載領域最小値LDSyの値よりも小さくならない値以上、1未満の範囲で、図示しない変倍率変更手段によって変更することができる。
事前設定テーブルには、他に、図6B(f)に示すようなテキストデータ描画用数値記憶テーブル46、図6B(g)に示すようなテキストデータ表示情報テーブル45、後述する第2余白処理に対応する、ディスプレイ画素数記憶テーブル、表示制御装置画素数記憶テーブル、ならびに呼出拡大縮小率記憶テーブル、後述する横方向補正率Mxの値と後述する縦方向補正率Myの値とを記憶するためのテーブル、後述する行補正率RDyの値を記憶するためのテーブル、および、後述するディスプレイ空白ラインテーブルなどがある。
なお、処理前画像37aおよび第1処理後画像37bの大きさを、表示画面の画素数ではなく表示画面の大きさで表わす場合、表示制御装置20の表示画面の大きさをAインチ、ディスプレイ10の表示画面の大きさをBインチとすると、横方向拡大縮小率Vxおよび縦方向拡大縮小率Vyはそれぞれ(B÷A)となる。
2つの変換後位置座標それぞれにおいて、x座標値に横方向拡大縮小率Vxを掛け、y座標値に縦方向拡大縮小率Vyを掛けることで、表示画面の画素数に関する変換を行う。
処理前画像37aの記載領域aと第1処理後画像37bの記載領域bとで相対的な位置を同じにするために、第1処理後画像37bの記載領域bにおける処理後代表点38bの位置座標を算出する。処理後代表点38bの位置座標は、処理前代表点38a(本実施形態では左上位置座標)である位置座標のx座標値に横方向拡大縮小率Vxを掛け、y座標値に縦方向拡大縮小率Vyを掛けることで算出できる。処理前画像37aにおける処理前代表点38aと、第1処理後画像37bにおける処理後代表点38bとは、画像全体における相対的な位置が等しい。
第1処理後画像37b全体に対する空白領域36bの割合を、処理前画像37a全体に対する空白領域36aの割合よりも大きくするために、記載領域aの位置座標について余白を拡大するための変換を行う。余白を拡大するための変換は、処理後代表点38bの位置座標を考慮して行う。これによって、記載領域a,bの形状および画像全体における記載領域a,bの相対的な位置を変化させることなく、第1処理後画像37b全体に対する空白領域36bの割合を、処理前画像37a全体に対する空白領域36aの割合よりも大きくすることができる。
上記のようにして算出した変換後位置座標において、x座標値のうち処理前代表点38aからの距離を表す値に横方向呼出補正値Rxを掛け、y座標値のうち処理前代表点38aからの距離を表す値に縦方向呼出補正値Ryを掛けることで、余白拡大に関する変換を行う。このとき、本実施形態のように、2つの変換後位置座標のどちらかが処理前代表点38aである場合には、処理前代表点38aであるほうの変換後位置座標には、横方向呼出補正値Rxおよび縦方向呼出補正値Ryを掛けない。
上記のようにして表示画面の画素数に関する変換および余白拡大に関する変換を行った2つの位置座標をつなぐ直線を対角線とした矩形の範囲を、第1処理後画像37bに含まれる記載領域bの範囲として第1処理後画像37bを生成する。これによって、横方向拡大縮小率Vxおよび縦方向拡大縮小率Vyよりも小さい値に基づいて、記載領域aに第1余白処理を施すことができる。
本実施形態では、横方向拡大縮小率Vxが2であり、縦方向拡大縮小率Vyが2であり、横方向呼出補正値Rxが0.7であり、縦方向呼出補正値Ryが0.7なので、処理後画像37b全体の大きさは処理前画像37a全体の大きさの2倍となるが、記載領域bの大きさは、記載領域aの大きさの1.4倍(Vx×Rx=Vy×Ry=1.4)となる。
第1〜6記載領域30b,31b,32b,33b,34b,35bの2つの頂点の位置座標((左上位置座標)−(右下位置座標))は以下のように表される。
第1記載領域30b:
(x1・Vx,y1・Vy)−(x1・Vx+(x3−x1)・Rx,y1・Vy+(y3−y1)・Ry)
第2記載領域31b:
(x2・Vx,y6・Vy)−(x2・Vx+(x4−x2)・Rx,y1・Vy+(y7−y1)・Ry)
第3記載領域32b:
(x2・Vx,y9・Vy)−(x2・Vx+(x3−x2)・Rx,y1・Vy+(y11−y1)・Ry)
第4記載領域33b:
(x6・Vx,y2・Vy)−(x6・Vx+(x7−x6)・Rx,y1・Vy+(y4−y1)・Ry)
第5記載領域34b:
(x5・Vx,y5・Vy)−(x5・Vx+(x8−x5)・Rx,y1・Vy+(y8−y1)・Ry)
第6記載領域35b:
(x6・Vx,y10・Vy)−(x6・Vx+(x7−x6)・Rx,y1・Vy+(y12−y1)・Ry)となる。
第1余白処理を行うことによって、広い余白が確保された第1処理後画像37bをディスプレイ10の表示画面に表示させることができる。また、記載領域bと記載領域aとで画像全体に対する相対的な位置が同じなので、記載領域b間に充分な広さの余白を確保することができる。
(2)第2余白処理
図7は、第2余白処理を説明するための図である。図7(a)は、下書きデータに基づく画像50aが表示されている表示制御装置20の表示画面を示す図であり、図7(b)は、第2余白処理が行われた下書きデータに基づく画像50bが表示されているディスプレイ10の表示画面を示す図である。第2余白処理は変倍処理に相当する。
第2余白処理は、テキストデータに対して行われる処理である。タッチパネルシステム1は、表示制御装置20を用いて、図7(a)に示すような画像50aを表示できる下書きデータをテキストデータで作成し、この下書きデータに対してディスプレイ10で第2余白処理を行い、第2余白処理が行われた下書きデータに基づく画像50bである第2処理後画像50bをディスプレイ10の表示画面に表示させる。第2余白処理を行う前の画像50aを、以後、処理前画像50aと記載する。
処理前画像50aでは、文字または記号を少なくとも含む記載行51と、文字および記号を含まない空白行52とが隙間なく連続して縦方向に並んでいる。
第2余白処理は、処理前画像50aを単にディスプレイ10の表示画面の大きさに応じた大きさに変倍した画像よりも、記載行51の縦方向の長さ(行高さ)が短く、記載行51と記載行51との間および記載行51と空白行52との間に、文字および記号を含まない間隙行53を挿入させた第2処理後画像50bをディスプレイ10の表示画面に表示するための処理である。
空白行52および間隙行53は余白である。間隙行53が挿入されるので、第2処理後画像50b全体に対する余白の面積の割合は、処理前画像50a全体に対する余白の面積の割合よりも大きくなる。そのため、第2余白処理を行う本発明のタッチパネルシステム1を用いると、下書きデータの作成時に余白を確保するための手間を掛けることなく、ディスプレイ10の表示画面に充分な広さの余白が確保された第2処理後画像50bを表示させることができる。
第2余白処理の具体的な処理内容を以下に記載する。
第2余白処理では、処理前画像50aにおいて記載行51と空白行52とを特定し、記載行51および空白行52それぞれの行数を検出する。
検出した記載行51および空白行52それぞれの行数は、図6B(f)に示すようなテキストデータ描画用数値記憶テーブル46に記憶される。図6B(f)に示すテキストデータ描画用数値記憶テーブル46は、処理前画像50aの記載行51の行数(以下「記載行数」と記載する)、空白行52の行数(以下「空白行数」と記載する)および後述する描画処理位置が記憶されているテーブルである。テキストデータ描画用数値記憶テーブル46には、テーブルのタイトル欄、記載行数記憶欄461、空白行数記憶欄462および描画処理位置記憶欄463が設けられている。
図6B(f)には、テキストデータ描画用数値記憶テーブル46の例が示され、記載行数記憶欄461には、「記載行数LT」は「3」であることが示されている。空白行数記憶欄462には、「空白行数LV」は「5」であることが示されている。描画処理位置記憶欄463には、「描画処理位置」は「0」であることが示されている。すなわち、テキストデータ描画用数値記憶テーブル46として、処理前画像50aにおいて記載行数LTが3行であり、空白行数LVが5行であり、描画処理位置が0であるという情報が記憶されている。
間隙行53の縦方向の長さ(行高さ)Haは、処理前画像50aにおける記載行数LTおよび空白行数LV、ディスプレイ10の表示画面の縦画素数Ymax2、および、第2処理後画像50bにおける記載行51の縦方向の長さHbを用いて下記式(1)に基づいて求められる。
Ha={(Ymax2−LT・Hb)÷(LT+LV)} …(1)
第2処理後画像50bにおける記載行51の縦方向の長さHbは、表示制御装置20の表示画面の縦方向の長さYmax2を、第2処理後画像50bに含まれる全ての行の行数で割ることで求められる。第2処理後画像50bに含まれる全ての行の行数は、処理前画像50aにおける記載行数LTと空白行数LVと記載行数LTとの和、すなわち2LT+LVである。
間隙行53の縦方向の長さHaと、第2処理後画像50bにおける空白行52の縦方向の長さとは等しい。そのため、第2処理後画像50bでは、処理前画像50aにおいて縦方向に隣接して並んでいた記載行51と記載行51との間に長さHaの余白が確保され、処理前画像50aにおいて縦方向に空白行52を1行挟んで並んでいた2つの記載行51の間に長さ2Haの余白が確保され、処理前画像50aにおいて縦方向に空白行52を2行挟んで並んでいた2つの記載行51の間に長さ3Haの余白が確保される。以下、間隙行53の縦方向の長さHa、第2処理後画像50bにおける空白行52の縦方向の長さを描画ピッチとも呼ぶ。
図6B(g)に示すテキストデータ表示情報テーブル45は、第2処理後画像50bにおける記載行51の縦方向の長さHb、および、描画ピッチが記憶されるテーブルである。テキストデータ表示情報テーブル45には、テーブルのタイトル欄、記載行の縦方向の長さ記憶欄451および描画ピッチ記憶欄452が設けられている。
図6B(g)には、テキストデータ表示情報テーブル45の例が示され、記載行の縦方向の長さ記憶欄451には、「記載行の縦方向の長さHb」は「56」であることが示されている。描画ピッチ記憶欄452には、「描画ピッチ」は「60」であることが示されている。すなわち、テキストデータ表示情報テーブル45として、第2処理後画像50bにおける記載行51の縦方向の長さHbが56画素であり、描画ピッチが60画素であるという情報が記憶されている。
(3)第3余白処理
図8は、第3余白処理を説明するための図である。第3余白処理は、第1処理後画像37bまたは第2処理後画像50bが表示されているディスプレイ10の表示画面に対してタッチパネル15を介してピンチアウトを行うことによって、第1処理後画像37bまたは第2処理後画像50bの余白を拡大してディスプレイ10の表示画面に表示させる処理である。また、タッチパネル15を介してピンチインを行うことによって、第1処理後画像37bまたは第2処理後画像50bの余白を縮小してディスプレイ10の表示画面に表示させる処理である。
一般的に電子黒板では、その表示画面に表示されている画像において範囲を指定し、その範囲内の画像を移動させることができるので、表示画面に表示されている画像において文字などが記載されている範囲を指定し移動させることで、移動させた分だけ余白を広げることができる。しかしながら、余白を広げたい箇所が複数ある場合、その箇所ごとに文字などが記載されている範囲を指定して移動させなければならず、手間がかかる。
第3余白処理を行うことによって、余白に対してピンチアウトまたはピンチインを1回行うという簡単な動作で、第1処理後画像37bまたは第2処理後画像50bの全体にわたって余白を所望の広さに調整することができる。
図8(a)は、ディスプレイ10の表示画面に表示されている第1処理後画像37bの余白に対してタッチパネル15を介してピンチアウトを行う様子を示し、図8(b)は、ディスプレイ10の表示画面に表示されている第1処理後画像37bの余白に対してタッチパネル15を介してピンチインを行う様子を示す。
第1接触動作であるピンチアウトは、図8(a)に示すように、互いに近づけてタッチパネル15に接触させた2本の指を、タッチパネル15に接触させたまま遠ざける動作であり、第2接触動作であるピンチインは、図8(b)に示すように、互いに離してタッチパネル15に接触させた2本の指を、タッチパネル15に接触させたまま近づける動作である。第3余白処理では、ピンチアウトを行うときの2本の指を遠ざけた距離およびピンチインを行うときの2本の指を近づけた距離に基づいて、余白を拡大または縮小する程度を調整できる。
第3余白処理は、第1処理後画像37bが表示されているときには、ピンチアウトまたはピンチインが行われた位置が第1処理後画像37bの空白領域36b内であれば行われる。
具体的には、ピンチアウトまたはピンチインにおいて、2本の指がそれぞれタッチパネル15の(fx1,fy1),(fx2,fy2)の位置座標の位置に接触し、(fx1,fy1)の位置座標に接触した指が(fx3,fy3)の位置座標、(fx2,fy2)の位置座標に接触した指が(fx4,fy4)の位置座標の位置まで接触したまま移動したとすると、ピンチアウトの場合には、(fx3,fy3)の位置座標の位置と(fx4,fy4)の位置座標の位置とを結ぶ斜めの直線を対角線とし、四辺がX軸またはY軸に垂直または平行な矩形の領域内が全て空白領域36b内であれば第3余白処理を行い、ピンチインの場合には、(fx1,fy1)の位置座標と(fx2,fy2)の位置座標とを結ぶ斜めの直線を対角線とし、四辺がX軸またはY軸に直角または平行な矩形の領域内が全て空白領域36b内であれば、第3余白処理を行う。
また、ピンチアウトの場合に、(fx3,fy3)の位置座標の位置と(fx4,fy4)の位置座標の位置とを結ぶ直線がX軸に略垂直または略平行であり、その直線が空白領域36b内であれば第3余白処理を行い、ピンチインの場合に、(fx1,fy1)の位置座標と(fx2,fy2)の位置座標とを結ぶ直線がX軸に略垂直または略平行であり、その直線が空白領域36b内であれば、第3余白処理を行う。該矩形の領域と記載領域bとが一部でも重なる場合または該直線が一部でも記載領域bに重なる場合には、第3余白処理を行わない。
ピンチアウトおよびピンチインの操作は、ユーザが指で行う操作であるので、指の移動前の座標と指の移動後の座標が必ずしもX軸に垂直または平行となることはないので、略垂直または略平行(この場合、垂直および平行をそれぞれ含む)であれば第3余白処理を行うこととしている。なお、略垂直および略平行は、タッチパネルの解像度にもよるが数ピクセル程度のずれまでなら略垂直または略平行とする。
第3余白処理において、空白領域36bの拡大または縮小の程度は、横方向補正率Mxおよび縦方向補正率Myによって決まる。横方向補正率Mxおよび縦方向補正率Myは、ピンチアウトまたはピンチインで2本の指を動かした距離に基づいて、下記式(2),(3)を用いて求められる。
Mx=(fx2−fx1)/(fx4−fx3) …(2)
My=(fy2−fy1)/(fy4−fy3) …(3)
または、上記式(2),(3)でそれぞれ求められる大きいほうの値を、横方向補正率Mxおよび縦方向補正率Myの値としてもよい。
たとえば、(fx1,fy1)=(300,300)、(fx2,fy2)=(305,305)、(fx3,fy3)=(270,270)、(fx4,fy4)=(350,350)とすると、横方向補正率Mxおよび縦方向補正率Myは0.06となる。
なお、処理対象の画像データの大きさにもよるが、処理後に記載領域および余白領域が極端に小さくなってしまうことを防止するために、横方向補正率Mxおよび縦方向補正率Myを、たとえば0.5〜3の範囲内とすることが好ましい。
第3余白処理では、第1処理後画像37bの記載領域bの2つの位置座標において、x座標値のうち処理後代表点38bからの距離を表す値に横方向補正率Mxを掛け、y座標値のうち処理後代表点38bからの距離を表す値に縦方向補正率Myを掛ける。2つの位置座標のうち、本実施形態のようにどちらかの位置座標が処理後代表点38bである場合、処理後代表点38bである位置座標には、横方向補正率Mxおよび縦方向補正率Myを掛けない。
第3余白処理を行った下書きデータに基づく画像である第3処理後画像の第1〜第6記載領域の位置座標((左上位置座標)−(右下位置座標))は以下のように表される。
第1記載領域:
(x1・Vx,y1・Vy)−(x1・Vx+(x3−x1)・Rx・Mx,y1・Vy+(y3−y1)・Ry・My)
第2記載領域:
(x2・Vx,y6・Vy)−(x2・Vx+(x4−x2)・Rx・Mx,y1・Vy+(y7−y1)・Ry・My)
第3記載領域:
(x2・Vx,y9・Vy)−(x2・Vx+(x3−x2)・Rx・Mx,y1・Vy+(y11−y1)・Ry・My)
第4記載領域:
(x6・Vx,y2・Vy)−(x6・Vx+(x7−x6)・Rx・Mx,y1・Vy+(y4−y1)・Ry・My)
第5記載領域:
(x5・Vx,y5・Vy)−(x5・Vx+(x8−x5)・Rx・Mx,y1・Vy+(y8−y1)・Ry・My)
第6記載領域:
(x6・Vx,y10・Vy)−(x6・Vx+(x7−x6)・Rx・Mx,y1・Vy+(y12−y1)・Ry・My)となる。
横方向補正率Mxおよび縦方向補正率Myは、ピンチアウトが行われた場合には1未満の値となり、ピンチインが行われた場合には1よりも大きい値となる。したがって、第3余白処理では、ピンチアウトを行うと記載領域bが縮小するので余白を拡大でき、ピンチインを行うと記載領域bが拡大するので余白を縮小できる。
なお、第3余白処理では、第3処理後画像の記載領域bの大きさは、図6A(d)に示す記載領域最小サイズ制限値設定テーブル43に記憶されている横方向記載領域最小値LDSxおよび縦方向記載領域最小値LDSyの値よりも小さくならないように制御される。第3処理後画像の記載領域bの大きさがこれらの値まで縮小されると、ピンチアウトを行っても余白をこれ以上拡大することはできない。
上記のような第3余白処理を行うことによって、第1余白処理後および第2余白処理後に、余白の大きさを容易に所望の大きさに調整することができる。
3、制御方法
(1)第1余白処理および第2余白処理
図9A〜9Cは、第1余白処理および第2余白処理を示すフローチャートである。ユーザによってディスプレイ10の表示画面に呼び出す画像の下書きデータが選択されると、本フローチャートの開始となる。
ステップS1では、ディスプレイコントローラ11は、映像入力端子16を介して、表示制御装置20から入力される映像信号を受信し、下書きデータ(画像データ)を読み込む。
ステップS2では、ディスプレイコントローラ11は、読み込んだ下書きデータの形式を判別する。
ステップS3では、ディスプレイコントローラ11は、読み込んだ下書きデータの形式がテキストデータであるかどうか判断する。テキストデータであると判断されるとBに進み、第2余白処理が行われる。テキストデータではないと判断されると、すなわちイメージデータであると判断されるとAに進み、第1余白処理が行われる。
なお、ユーザによって下書きデータが選択される時点でファイル名に拡張子などの情報が付与されていれば、下書きデータを調べることなく、形式がテキストデータかどうか判断することも可能である。
ステップS11では、ディスプレイコントローラ11は、表示制御装置20の表示画面の横画素数Xmax1および縦画素数Ymax1を調べる。ディスプレイコントローラ11は、調べた横画素数Xmax1および縦画素数Ymax1を表示制御装置画素数記憶テーブル41に記憶する。
ステップS12では、ディスプレイコントローラ11は、ディスプレイ10の表示画面の横画素数Xmax2および縦画素数Ymax2を調べる。ディスプレイコントローラ11は、調べた横画素数Xmax2および縦画素数Ymax2をディスプレイ画素数記憶テーブル40に記憶する。
ステップS13では、ディスプレイコントローラ11は、横方向拡大縮小率Vxおよび縦方向拡大縮小率Vyを算出する。ディスプレイコントローラ11は、算出した横方向拡大縮小率Vxおよび縦方向拡大縮小率Vyを、呼出拡大縮小率記憶テーブル42に記憶する。
ステップS14では、ディスプレイコントローラ11は、処理前画像37aにおいて、記載領域aと空白領域36aとを判別し、記載領域aの左上位置座標と右下位置座標とを算出する。また、記載領域a内において処理前代表点38aを設定する。
ステップS15では、ディスプレイコントローラ11は、第1処理後画像37bにおける処理後代表点38bを算出し、記載領域bの左上位置座標と右下位置座標とを算出する。
ステップS16では、ディスプレイコントローラ11は、第1処理後画像37bを作成し、第1処理後画像37bをディスプレイ10の表示画面に表示させる。これによって第1余白処理が終了し、本フローチャートの終了となる。
ステップS21では、ディスプレイコントローラ11は、ディスプレイ10の表示画面の縦画素数Ymax2を調べる。
ステップS22では、ディスプレイコントローラ11は、処理前画像50aの任意の1行について調べる。本ステップの処理を行うのが初めてであれば、処理前画像50aの縦方向における1番目の行について調べる。
ステップS23では、ディスプレイコントローラ11は、調べた行が空白行52かどうか判断する。空白行52であると判断されるとステップS24に進み、空白行52ではない、すなわち記載行51であると判断されるとステップS25に進む。
ステップS24では、ディスプレイコントローラ11は、テキストデータ描画用数値記憶テーブル46において記載行数LTの値を1つ大きくして記憶する。ステップS25では、ディスプレイコントローラ11は、テキストデータ描画用数値記憶テーブル46において空白行数LVの値を1つ大きくして記憶する。なお、本ステップの処理を行うのが初めての時点では、図6B(g)に示すテキストデータ描画用数値記憶テーブル46には、記載行数LTの値は0であり、空白行数LVの値は0である。
ステップS26では、ディスプレイコントローラ11は、調べた行が最終の行かどうか、すなわち処理前画像50aの縦方向の一番下の行かどうか判断する。最終の行であると判断されると、ステップS28に進み、最終の行ではないと判断されるとステップS27に進む。
ステップS27では、ディスプレイコントローラ11は、調べる行を処理前画像37aの縦方向における1行下の行に変更し、その後、ステップS22に戻る。
ステップS28では、ディスプレイコントローラ11は、第2処理後画像50bにおける間隙行53の縦方向の長さHaを算出する。
ステップS29では、ディスプレイコントローラ11は、ステップS23〜25の検出結果に基づいて、処理前画像50aの任意の1行について調べる。本ステップの処理を行うのが初めてであれば、画像αの縦方向の1番目の行について調べる。
ステップS30では、ディスプレイコントローラ11は、ステップS23〜25の検出結果に基づいて、調べた行が空白行52かどうか判断する。空白行52であると判断されるとステップS31に進み、空白行52ではない、すなわち記載行51であると判断されるとステップS32に進む。
ステップS31〜S34では、ディスプレイコントローラ11は、第2処理後画像50bを作成していく。
ステップS31では、ディスプレイコントローラ11は、大きさがディスプレイ10の表示画面の大きさと同じであり、何も記載されていない画像αにおいて、描画処理位置を、描画ピッチの長さ、すなわち間隙行53の縦方向の長さHaだけ縦方向に移動させるとともに、テキストデータ描画用数値記憶テーブル46の描画処理位置の値を、描画ピッチの長さ分だけ大きくして記憶する。なお、本ステップの処理が初めて行われる前の時点では、描画処理位置は、画像αの縦方向の一番上の位置であり、0である。
ステップS32では、ディスプレイコントローラ11は、ステップS29で調べた行に記載されているフォントを読み出す。ステップS33では、ディスプレイコントローラ11は、第2処理後画像50bにおける記載行51の縦方向の長さHbを算出し、算出した長さHbに基づいた大きさで、呼び出したフォントを、画像αにおける現在の描画処理位置に描画する描画処理を行う。
ステップS34では、ディスプレイコントローラ11は、描画処理位置を、第2処理後画像50bにおける記載行51の縦方向の長さHbだけ、画像αの縦方向に変更する。
ステップS35では、ディスプレイコントローラ11は、調べた行が最終の行かどうか判断する。最終の行ではないと判断されるとステップS36に進む。最終の行であると判断されるとステップS37に進む。なお、最終の行であると判断された時点での描画処理位置は画像αの縦方向の一番下であり、この時点で画像αは、第2処理後画像50bである。
ステップS36では、ディスプレイコントローラ11は、調べる行を処理前画像50aにおける縦方向に1行下の行に変更し、その後、ステップS29に戻る。
ステップS37では、ディスプレイコントローラ11は、第2処理後画像50bの全ての行に対して、記載行51か、空白行52か、または間隙行53か判断し、ディスプレイ空白ラインテーブルに記憶する。ディスプレイ空白ラインテーブルは、第2処理後画像50bに含まれる行が、記載行51か、空白行52か、または間隙行53か記憶するためのテーブルである。
ステップS38では、ディスプレイコントローラ11は、第2処理後画像50bをディスプレイ10の表示画面に表示させる。これによって第2余白処理が終了し、本フローチャートの終了となる。
(2)第3余白処理
図10Aは、第1処理後画像37bが表示されているときに第3余白処理を行うフローチャートを示し、図10Bは、第2処理後画像50bが表示されているときに第3余白処理を行うフローチャートを示す。
図10Aに示すフローチャートは、CPU21によって、第1処理後画像37bが表示されているディスプレイ10の表示画面に対してピンチアウトまたはピンチインが行われたことが検出されると開始される。
ステップS41では、ディスプレイコントローラ11は、ピンチアウトまたはピンチインが行われたときの接触点の位置が空白領域36b内、すなわち余白かどうか判断する。位置が余白であると判断されるとステップS42に進み、位置が余白ではないと判断されると本フローチャートの終了となる。
ステップS42では、ディスプレイコントローラ11は、横方向補正率Mxおよび縦方向補正率Myを算出する。
ステップS43では、ディスプレイコントローラ11は、横方向補正率Mxおよび縦方向補正率Myを用いて、第3処理後画像における記載領域の位置座標を算出する。
ステップS44では、ディスプレイコントローラ11は、第3処理後画像における記載領域の位置座標を用いて第3処理後画像を作成し、第3処理後画像をディスプレイ10の表示画面に表示させる。これによって第3余白処理が終了し、本フローチャートの終了となる。
図10Bに示すフローチャートは、CPU21によって、第2処理後画像50bが表示されているディスプレイ10の表示画面に対してピンチアウトまたはピンチインが行われたことが検出されると開始される。
ステップS51では、ディスプレイコントローラ11は、ピンチアウトまたはピンチインが行われたときの接触点の位置が空白行52または間隙行53内、すなわち余白かどうか判断する。位置が余白であると判断されるとステップS52に進み、位置が余白ではないと判断されると本フローチャートの終了となる。
ステップS52では、ディスプレイコントローラ11は、行補正率RDyを算出する。
ステップS53では、ディスプレイコントローラ11は、行補正率RDyを用いて第3処理後画像を作成し、第3処理後画像における、記載行、空白行および間隙行それぞれの縦方向の長さを算出する。
ステップS54では、ディスプレイコントローラ11は、第3処理後画像をディスプレイ10の表示画面に表示させる。これによって第3余白処理が終了し、本フローチャートの終了となる。
本発明は次の実施の形態が可能である。
(1) 画像を表示する表示面を有する表示手段と、
表示面に表示させる画像データとして、文字または記号が並ぶ行を含む文書画像データを取り込む取込手段と、
取込手段が取り込んだ文書画像データに基づく画像を、該画像の全体が前記表示面に表示されるように変倍する変倍処理を行うデータ処理手段であって、
変倍処理を行う前の文書画像データに基づく画像である処理前文書画像において、少なくとも文字または記号を含む行である記載行と、空白のみからなる空白行とを特定する行特定部と、
処理前文書画像において連続して並ぶ2つの記載行の間に、前記表示面の大きさに応じた行高さの空白行を新たに挿入して変倍処理を行った後の画像データに基づく画像である処理後画像を作成する作成部と、を有するデータ処理手段と、
データ処理手段によって変倍処理が施された処理後画像を表示面に表示させるように表示手段を制御する制御手段と、を含むことを特徴とする表示装置。
本発明によれば、表示装置は、画像を表示する表示面を有する表示手段と、表示面に表示させる画像データとして、文字または記号が並ぶ行を含む文書画像データを取り込む取込手段と、取込手段が取り込んだ文書画像データに基づく画像を、該画像の全体が前記表示面に表示されるように変倍する変倍処理を行うデータ処理手段と、データ処理手段によって変倍処理が施された処理後画像を表示面に表示させるように表示手段を制御する制御手段と、を含む。
データ処理手段は、行特定部と、作成部と、を有する。行特定部は、変倍処理を行う前の文書画像データに基づく画像である処理前文書画像において、少なくとも文字または記号を含む行である記載行と、空白のみからなる空白行とを特定する。作成部は、処理前文書画像において連続して並ぶ2つの記載行の間に、前記表示面の大きさに応じた行高さの空白行を新たに挿入して変倍処理を行った後の画像データに基づく画像である処理後画像を作成する。
上記のようにして変倍処理が施された処理後画像は、空白行が新たに挿入されているので、取込手段が取り込んだ画像データに基づく画像を単に表示手段の表示面の大きさに応じた大きさに変倍しただけの画像よりも、空白行が広い。空白行は、ユーザがタッチペンなどを用いて手書きで入力した文字などを表示させることができる余白である。本発明の表示装置を用いることによって、下書きデータの作成時に予め余白を確保するための手間を掛けることなく、表示手段の表示面に充分な広さの余白が確保された処理後画像を表示させることができる。
(2)表示手段の表示面に重ねて設けられるタッチパネルと、
タッチパネルに対する物体の接触の開始と接触の終了とを検出する接触状態検出手段と、
タッチパネルに対する物体の接触点の位置を検出するとともに、同時に検出される接触点の数を検出する接触点検出手段と、
接触点検出手段の検出結果に基づいて、接触点の数が2つであり、接触の開始から接触終了までに2つの接触点の位置が相対的に変化した場合であって、2つの接触点の位置が相対的に離反する場合は、第1接触動作が行われたと判断し、2つの接触点の位置が相対的に接近する場合は、第2接触動作が行われたと判断する接触動作判断手段と、をさらに含み、
前記データ処理手段は、
前記表示面に処理後画像が表示されている状態で、接触動作判断手段によって第1接触動作が行われたと判断され、かつ接触の開始から接触終了までの接触点の位置が前記空白行に対応する位置である場合、表示されている処理後画像に対して、記載行の行高さを小さくし、空白行の行高さを大きくするよう処理し、
前記表示面に処理後画像が表示されている状態で、接触動作判断手段によって第2接触動作が行われたと判断され、かつ接触の開始から接触終了までの接触点の位置が前記空白行に対応する位置である場合、表示されている処理後画像に対して、空白行の行高さを小さくし、記載行の行高さを大きくするよう処理する拡大縮小手段をさらに有することを特徴とする表示装置。
本発明によれば、表示装置は、表示手段の表示面に重ねて設けられるタッチパネルと、タッチパネルに対する物体の接触の開始と接触の終了とを検出する接触状態検出手段
と、タッチパネルに対する物体の接触点の位置を検出するとともに、同時に検出される接触点の数を検出する接触点検出手段と、接触点検出手段の検出結果に基づいて、接触点の数が2つであり、接触の開始から接触終了までに2つの接触点の位置が相対的に変化した場合であって、2つの接触点の位置が相対的に離反する場合は、第1接触動作が行われたと判断し、2つの接触点の位置が相対的に接近する場合は、第2接触動作が行われたと判断する接触動作判断手段と、をさらに含む。
データ処理手段は拡大縮小手段をさらに有し、拡大縮小手段は、表示面に処理後画像が表示されている状態で、接触動作判断手段によって第1接触動作が行われたと判断され、かつ接触の開始から接触終了までの接触点の位置が空白行に対応する位置である場合、表示されている処理後画像に対して、記載行の行高さを小さくし、空白行の行高さを大きくするよう処理する。また拡大縮小手段は、表示面に処理後画像が表示されている状態で、接触動作判断手段によって第2接触動作が行われたと判断され、かつ接触の開始から接触終了までの接触点の位置が空白行に対応する位置である場合、表示されている処理後画像に対して、空白行の行高さを小さくし、記載行の行高さを大きくするよう処理する。
第1接触動作はピンチアウトであり、第2接触動作はピンチインである。したがって、空白行に対してピンチアウトまたはピンチインを1回行うという簡単な動作で、処理後画像の全体にわたって余白を所望の広さに調整することができる。