JP5278058B2 - 表示装置 - Google Patents

Description

本発明は、表示領域に表示されている画像に対して操作者が描画した内容をその表示領域に表示する表示装置及びプログラムに関する。

電子的なデータを表示するデバイスとして、電子ペーパーと呼ばれるものがある。電子ペーパーにはさまざまなタイプがあり、その一つとして表示の記憶性を高め低消費電力化を狙うタイプのデバイスがある。その類のデバイスは一般的に応答性能が低く、具体的にはペンなどによる追記描画の際に、ペン動作に対する軌跡描画の追従が遅れるため、実用が困難である。
特許文献１では、ペンの座標に該当する画素をひとまず高速に駆動・表示した後に、ペンが離れてから（保持してある）全体画面を再描画する方式を提示している。
上記の方法は、一回目の書き込みでは十分なコントラストが出ないために二回目に本来の画質を出す駆動を行っているのであるが、より高電圧な駆動回路・高速な表示材料が開発されれば二回目の駆動の必要がなくなり、一回の直接書込みで十分になる可能性がある。

特許第４０３６０４５号公報

グレー数階調表現可能な記憶性のある電子ペーパー表示体においては、基本画像に対して追記画像を追加表示した場合、基本画像の意味のある領域に追記画像を加える場合、本来の基本画像の画素の値（例：濃さ）を変化させてしまう。例えば、マーカーペンによる追記描画を想定した場合、表示された文書に対するマーキングは薄い色（グレー）で黒い字に対する上書きとなるだろう。その場合、単純に画素を駆動すると文書の該当部分の濃いグレー（と仮定）は更に濃くなってしまう。また、先ほどマーキングした部分に重ねてマークを施すとマーキングの色が益々濃くなっていき、文書内容が消える可能性がある。特許文献１に記載の構成は、これを解決する一つの手段になるが、描画中に起こる上記現象に対してはこれを解決できない。
また、表示内容をすべて消去（リセット)する場合、先のプロセスで不意に濃く表示された画素は、通常の濃度の消去方法では消去されにくくなり、残像として残りやすくなる課題がある。

本発明は、上記課題の少なくとも一つを解決するように、以下の適用例または形態として実現され得る。

〔適用例１〕本適用例の表示装置は、画像を表示領域に表示する表示手段と、前記表示領域に表示させるための基本画像を生成する基本画像生成手段と、前記生成された前記基本画像を保存する基本画像保存手段と、前記基本画像保存手段に保存された前記基本画像を指定することにより前記表示手段の前記表示領域に前記基本画像を表示する表示制御手段と、前記基本画像が表示されている前記表示領域に対して操作者が直接追記描画内容を入力する操作を受け付ける入力手段と、前記入力手段から得られる座標位置の描画画素を特定し、描画画素情報を生成する、描画画素情報生成手段と、前記描画画素情報を記憶する描画画素記憶手段と、前記保存された前記描画画素情報を前記表示手段の表示領域の一部に追記する際に、前記描画画素情報の色情報とその画素の座標に対応する前記基本画像の画素の色情報を比較し、色濃度の差に応じて、前記表示手段が表示する基本画像に対し画像を追記する処理を行う第二の表示制御手段と、を備えることを特徴とする。
これにより、表示領域に表示されている基本画像のある濃度を持った画素と、操作者がその表示領域に対して描画したある濃度の画素が重なった場合、二つの濃度から最適な画素の色で表示ができるため、表示内容を消してしまったり、残像が残るような画素をつくる原因が軽減される。

〔適用例２〕また、上記適用例に記載の表示装置において、前記色情報はグレースケールであるとしてもよい。ここで、グレースケールとは、画像を白から黒の明暗で表現する方法である。画素を表現する情報量によって中間色の表現階調が異なり、ここでは特に説明が無ければ各画素８ビット相当の２５６階調のグレースケールとすることが好ましい。
この適用例によれば、表示領域に表示されている基本画像のグレースケール値を持った画素に、操作者がその表示領域に対してグレースケール値を持った画素による描画を重ねた場合に、二つのグレースケール濃度から最適なグレースケール値の画素を書き込むことが可能になり、基本画像の表示内容を不意に消してしまったり、黒や白の残像を残す原因となる濃すぎる黒や薄すぎる白の画素を軽減することができる。

〔適用例３〕また、上記適用例に記載の表示装置において、前記第二の表示制御手段は、描画画素の色濃度（Ａ）と座標的に対応する基本画像中の画素の色濃度（Ｂ）の差に応じて、ＡがＢよりも前記色濃度が薄いまたは等しい場合には、その画素の表示処理は行わず、ＡがＢよりも前記色濃度が濃い場合には、その画素の表示処理を行い、さらに、表示方法はＡとＢの前記色濃度の差の量に応じて変化させることが好ましい。
この適用例によれば、表示を行わなくても良い画素の処理を選択的に省略できるため、表示処理が効率化でき、低消費電力化や高速処理が見込むことができる。また、濃度の差による追記表示方法の選択ができるため、表示結果の濃度を把握したり制御することができるようになり、次に起こりえる表示をクリアする処理において残像を消しやすくなる効果がある。

〔適用例４〕また、上記適用例に記載の表示装置において、前記第二の表示制御手段は、近接する複数の画素の表示手段を個別に異なる表示方法で前記表示手段の表示領域に前記描画画素情報を追記することが好ましい。
この態様によれば、たとえ同じ画面に対する同時複数画素書き込みにおいて、画素ごとことなる表示方法であったとしても、一度に複数の画素を同時に表示することができるため、追記表示が高速化できる効果がある。

〔適用例５〕本適用例のプログラムは、表示領域に画像を表示する表示手段と記憶装置を備えるコンピューターのプログラムであって、前記表示手段の前記表示領域に表示するための基本画像を生成する基本画像生成機能と、前記生成された基本画像を前記記憶装置に保存する基本画面保存機能と、前記記憶装置に保存された前記基本画像を前記表示領域に表示する表示制御機能と、前記基本画像が表示されている前期表示領域に対して操作者が直接追記描画内容を入力する操作を受け付ける入力手段と、前記入力手段から得られる座標位置から、追記すべき前記表示領域中の描画画素を特定し、描画画素情報として前記記憶装置に保存する描画画素記憶機能と、前記保存された描画画素情報を前記表示領域の一部に追記する際に、前記描画画素情報が占める核がその色情報とその画素の座標に対応する前記基本画像の画素の色情報を比較し、色濃度の差に応じて、前記表示手段が表示する基本画像に対し画像を追記する第二の表示制御機能と、を備えることを特徴とする。
これにより、表示領域に表示されている基本画像のある濃度を持った画素と、操作者がその表示領域に対して描画したある濃度の画素が重なった場合、二つの濃度から最適な画素の色で表示ができるため、表示内容を消してしまったり、残像が残るような画素をつくる原因が軽減される。

表示装置の外枠および表示部分およびペンを示す図である。 表示装置の機能構成の一例を示すブロック図である。 描画方法選択テーブルの構成の一例を示す図である。 表示装置がペンによる追記描画を開始して描画命令を出す動作を示すフローチャート図である。 表示装置に基本画像が表示された画面の一例を示した図である。 表示装置が描画命令を発行してからペン画像を描画するまでの動作を示すフローチャート図である。 ペンで描画された画像を囲む矩形の座標情報の一例を示す表である。 ペンで描画された画像を囲む矩形の一例を示す図である。 ペンで描画された画像を囲む矩形での基本画像と追記画像の濃度差情報の一例を表す表である。 ペンで描画された画像を囲む矩形での基本画像の濃度情報の一例を示す表である。 ペンで描画された画像を囲む矩形での追記画像の濃度情報の一例を示す表である。

以下、図面を参照して本発明の実施の形態を説明する。
［構成］
図１は、本実施形態に係る表示装置１の外観を示す図である。この表示装置１は、小型且つ軽量に構成されたいわゆる電子ペーパーであり、画像データに基づいて画像を表示する機能のほかに、操作者が描画した内容をも表示する機能を備えている。よって、表示装置１の操作者は、例えば文書などが表示された表示領域Ｆの表面をスタイラスペン２を用いてなぞることにより、表示領域Ｆに所望の文字や図形などを描き込むことができる。

図２は、図１に示した表示装置１の構成を示す図である。同図に示すように、表示装置１は、電源部１０と、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、記憶性表示体１４と、表示制御部１５と、タッチパネル１６と、タッチパネル制御部１７とを備えている。

電源部１０は、例えば充電可能なバッテリーと電力制御回路とを備え、表示装置１の作動に必要な電力を、図中の一点鎖線で囲まれた表示装置１の各部に供給する。ＣＰＵ１１は、ＲＯＭ１２に記憶されているプログラムを実行することにより、表示装置１全体の動作を制御するとともに、各種の処理を行う制御手段である。ＲＯＭ１２は、読み出し専用メモリーであり、ＣＰＵ１１によって実行されるプログラムと、そのプログラムが扱う各種データなどを記憶している。また、このＲＯＭ１２には、操作者の操作により入力された描画内容の表示の際に使用される駆動波形テーブルＴが記憶されている。ＲＡＭ１３は、ＣＰＵ１１がプログラムを実行する際に、ＣＰＵ１１のワークエリアとして使用される。

記憶性表示体１４は、コレステリック液晶や電気泳動などを利用した表示手段であり、ＣＰＵ１１による指示の下、その表示領域に各種の画像を表示する。この記憶性表示体１４は、記憶性を有しており、電力供給が停止しても画像を表示し続けることができる。以下の説明では、記憶性表示体１４に表示されている画像を「表示画像」という。表示制御部１５は、記憶性表示体１４を制御して、供給された画像データに基づいた画像を表示させる表示制御手段である。この表示制御部１５は、記憶性表示体１４に表示される画像の少なくとも１フレーム分の画像データおよび、さらに追記描画画像を記憶する領域が記憶されるＶＲＡＭ１５０を備えており、基本画像保存手段となるとともに、追記画像保存手段となる。

タッチパネル１６は、上述した記憶性表示体１４の表面に重ねて設けられる透明なパネルであり、所定の微小領域毎に物体の接触の有無を感知するものである。この微小領域は、記憶性表示体１４における所定数の画素（例えば、１×１画素や３×３画素）にそれぞれ対応付けられている。タッチパネル１６が、物体と接触していることを示す感知信号を微小領域毎に出力すると、タッチパネル制御部１７は、その感知信号に基づいて、検出した位置を表す接触位置情報を生成してＣＰＵ１１に供給する。このとき、タッチパネル制御部１７は、記憶性表示体１４の表示領域の左上隅点を原点０としたｘｙ座標系に従って、それぞれの位置を表す接触位置情報を生成する。タッチパネル制御部１７からＣＰＵ１１に対して連続して供給される接触位置情報は、描画データとしてＲＡＭ１３に記録される。すなわち、タッチパネル１６とタッチパネル制御部１７とは、協働して動作することにより、記憶性表示体１４の表示領域に対して操作者が描画内容を入力する操作を受け付ける入力手段として機能する。

ＣＰＵ１１で実行されるプログラムは、入力手段から得られる接触位置情報を用いて描画画素情報を生成する手段として機能し、またＶＲＡＭ１５０は描画画素記憶手段としても機能する。

ＣＰＵ１１で実行されるプログラムと連携し、表示制御部１５はＶＲＡＭ１５０に保存される基本画像情報と描画画素情報を用いて記憶性表示体１４に画像を追記表示する第二の表示制御手段として機能する。

ここで、ＲＯＭ１２に記憶されている駆動波形テーブルＴについて説明する。この駆動波形テーブルＴは、基本画像と追記画像の差に対する描画シーケンスの定義を表すテーブルである。

図３は、駆動波形テーブルＴの一例を示す図である。同図に示すようにこの駆動波形テーブルＴには、基本画像の特定座標の濃度Ａと追記画像の同座標の濃度Ｂの濃度差に、描画シーケンスが対応付けられている。
濃度差は、画素の濃度表現値の差である。画素濃度表現が８ｂｉｔのグレースケールの場合、白画素は２５５で、黒画素は０であるとすると、濃度差は−２５５から２５５までの値をとる。濃度差が負の値の場合は基本画像の画素の方が追記画像の画素よりも濃いことを示すので、これ以上の濃度変更の必要は無いと判定できる。また、濃度差が無い場合も同様に濃度変更の必要は無いと判定する。濃度差が正の値の場合は、基本画像の画素の方が追記画像の画素よりも薄いことを示すので、その画素はより濃度を増すように変更する必要があると判定する。

描画シーケンスは、表示制御部１５において記憶性表示体を制御する命令のシーケンスを示している。図３の例では、濃度差はＡ−Ｂであって、Ａ−Ｂが−２５５以上０以下であれば、描画終了コマンドしかないので描画を行わない。また、Ａ−Ｂが０より大きく６４未満である場合には、追記画像の５０ｍｓｅｃの期間だけ黒書込み駆動を一回行った後に描画終了となる。また、Ａ−Ｂが６４以上１２８未満の場合には、５０ｍｓｅｃの期間の黒書込み駆動を２回行った後に描画終了となる。以下同様に、Ａ−Ｂが１２８以上１９２未満の場合、１９２以上２５５以下の場合には、それぞれ５０ｍｓｅｃの黒書込みが３回、４回の後に描画終了となる。

［動作］
次に図４は、ＣＰＵ１１が実行する手順を示すフロー図である。この図４を参照して、表示装置１の動作について説明する。
操作者は、まず、スタイラスペン２を用いて、記憶性表示体１４の表示領域に文書等の画像を表示させるための操作を行う。この操作に応じて、ＣＰＵ１１は、図示せぬ補助記憶装置などから画像データを読み出し、これを表示制御部１５に供給して、記憶性表示体１４の表示領域に上記画像データに応じた基本画像ＢＡＳＥを表示させる（ステップＳ１００）。

図５は、このときに、記憶性表示体１４の表示領域Ｆに画像Ｐ（表示画像）が表示される様子を示す図である。

次に、ＣＰＵ１１は、操作者によってスタイラスペン２がペンダウンされたか否かを判定する（図４のステップＳ１１０）。このペンダウンとは、操作者がスタイラスペン２をタッチパネル１６の表面に接触させることである。操作者によりスタイラスペン２がペンダウンされていない場合（ステップＳ１１０：ＮＯ）、ＣＰＵ１１はペンダウンされるまで待機する。一方、操作者によりスタイラスペン２がペンダウンされると（ステップＳ１１０：ＹＥＳ）、ＣＰＵ１１は、タッチパネル制御部１７から順次供給される接触位置情報を時系列に連ねていくことで、スタイラスペン２によって入力された座標データをＲＡＭ１３に記録する（ステップＳ１２０）。次に、ＣＰＵ１１は、スタイラスペン２による所定単位の追記内容の入力が終了したか否かを判定する（ステップＳ１３０）。ここでは、スタイラスペン２のペンダウンが検出されてから一定時間経過した時に一旦入力終了、またはペンアップしたときに入力終了と判定する。追記内容の入力が終了していないと判定した場合（ステップＳ１３０：ＮＯ）、ＣＰＵ１１は、ステップＳ１１０の処理に戻る。

追記内容の入力が終了と判定した場合（ステップＳ１３０：ＹＥＳ）、ＣＰＵ１１は、追記画像描画を依頼する（ステップＳ１４０）。ステップＳ１４０の処理は別途説明する。ステップＳ１４０の処理の後、先ほどの追記終了判定（Ｓ１３０）がペンアップによるものである場合（ステップＳ１５０：ＮＯ）処理を終了する。追記終了判定が一定時間経過によるものである場合（ステップＳ１５０：ＹＥＳ）、ステップＳ１２０に戻り、追記データの記録を再開する。このとき、描画依頼中の遅延によるペンサンプルの取りこぼしが無い様に、タッチパネル制御部にサンプルバッファーがあってもよい。また、このＳ１１０からＳ１５０までの処理は、追記画像の描画とは並列に動作可能であってもよい。この場合、ペン座標のサンプリングと追記画像の描画が並行に処理でき、ペンサンプルの取りこぼしが少なくできる効果が期待できる。

次に図６は、ＣＰＵ１１が追記画像ＨＷ１の描画を処理するシーケンスである。
ステップＳ１４０の追記画像描画依頼によってこのシーケンスがスタートする。まず、ＣＰＵ１１は、追記データから追記画像ＨＷ１を生成する（ステップＳ２００）。このとき、追記画像が占める画面Ｆ中の矩形領域座標を生成する。図７は矩形領域座標情報Ｌである。図７と図８を用いて、矩形領域座標情報を説明する。

図７の左上座標ＬＴのＬＴｘ、ＬＴｙは、追記画像ＨＷ１を囲む矩形の矩形領域Ｒの左上座標ＬＴのそれぞれｘ座標、ｙ座標である。また右下座標ＲＢのＲＢｘ、ＲＢｙは、追記画像ＨＷ１を囲む矩形領域Ｒの右下座標ＲＢのそれぞれｘ座標、ｙ座標である。図８は追記画像ＨＷ１と左上座標ＬＴ、右下座標ＲＢの様子を示したものである。

次に、ＣＰＵ１１は、追記画像ＨＷ１と基本画像ＢＡＳＥを比較し、矩形領域座標情報Ｌに示される矩形に含まれる画素の濃度差を計算し、濃度差情報ＧＤＩＦを作成する（ステップＳ２１０）。図９を用いて濃度差情報を説明する。図９は、矩形領域情報Ｌによる矩形領域Ｒをビットマップ形式で表現したものである。各画素の値は−２５５から２５５までの値をとる。図９の左上の値は矩形領域Ｒの左上の画素の値である。その右隣の数値は左上がその右となりの画素の値に該当する。同様に、図９の右下の数値は、右下の画素の値となる。

ここで、ステップ２１０での濃度差情報ＧＤＩＦ生成の方法について図９、図１０、図１１を用いて説明する。図１０は、図９と同様の形式で表現された基本画像のうち、矩形領域Ｒに該当する部分のビットマップ表現である。各画素の値は、０から２５５である。図１１は、図９と同様の形式で表現された追記画像のビットマップ表現である。各画素の値は０から２５５で表現される。図９のある画素の値は、（図１０の同一座標の画素の値）−（図１１の同一座標の画素の値）で計算される値となる。

次に、ＣＰＵ１１は各画素の駆動シーケンスを特定する（ステップＳ２２０）。ＣＰＵ１１は、各画素について図９の値を参照し、図３の対応する駆動シーケンスを特定する。結果は図９同様の表にシーケンスＩＤを埋め込めばよい。

次に、ＣＰＵ１１は各画素に対し以下の処理を行うループ処理を行う（ステップＳ２３０）。まず、各画素の書込みシーケンスから書込み方法を判定する。ここでは、描画命令として黒画素書込みか描画終了しか例示していないが、白画素書き込みや黒画素長期間書き込みなどがあってもよい。書き込み方法判定方法は、以下に示す。各画素の描画シーケンスＩＤから、描画シーケンスの先頭描画命令を拾い出す。ここでは、描画終了命令は無視しても良い。黒書込み命令しかないので黒書込みを行うように予約する（ステップＳ２４０）。
また、画素毎に対応する描画シーケンスの第一段目に黒描画があるかを判定し、図９と同様の表形式の描画面データＤＲＡＷの対応画素に描画フラグ値（０）を設定する（ステップＳ２５０）。全ての画素に対してステップＳ２４０とステップＳ２５０が終了すると、ＤＲＡＷデータと黒描画指示を、表示制御部１５に指示する（ステップＳ２５５）。
こうして、記憶性表示体１４に第一段の描画が行われる（ステップＳ２６０）。

次に、ＣＰＵ１１では、全画素が描画シーケンスが終了したかを判定する（ステップＳ２７０）。ここで、一つの画素でも描画シーケンスが終了（もしくは残る命令が描画終了コマンドのみ）の場合（ステップＳ２７０：ＮＯ）、二回目のループとしてステップＳ２３０からステップＳ２６０を繰り返す。このとき、ステップＳ２４０の書込み方法判定、およびステップＳ２５０の画素書込み判定において対象とする駆動シーケンスのステージは「２回目」のステージの描画命令を対象とする。描画命令が空欄の場合は描画終了コマンド同様無視してよい。このようにして、図３の例の場合、最大４回目まで描画が行われると、ＣＰＵ１１は全画素描画シーケンス終了と判断し（ステップＳ２７０：ＹＥＳ）、処理が終了する。

［変形例］
上述の実施形態を以下のように変形してもよい。

図６のＣＰＵ１１の描画処理においては、黒書込み命令のみの例を示したが、命令種が複数あり、実際に１回目や一般的に言えばＮ回目に異なる命令が複数ある場合は、その数だけのステージに分けてステップＳ２３０からステップＳ２６０を繰り返しても良い。

図６のステップＳ２４０、ステップＳ２５０、およびステップＳ２７０では、ステップＳ２１０で作成された一つの期間で生成された矩形においてのみ例示しているが、複数期間にまたがる和集合としての矩形および軌跡に関する動作を同時に行うように拡張しても良い。これによって、図４で示すペン座標の取得処理と、図６で示すペン画像の描画処理が同時並行且つ連続的に進み、かつ描画シーケンスの長さに依存せず、より短い描画命令の時間に依存したパイプライン処理が実現できるため、高速な表示応答を実現できる可能性もある。

１…表示装置、２…スタイラスペン、１１…ＣＰＵ、１２…ＲＯＭ、１３…ＲＡＭ、１４…記憶性表示体、１５…表示制御部、１６…タッチパネル、１７…タッチパネル制御部、Ｆ…表示画面、ＬＴ…追記画像含む矩形領域左上画素、ＲＢ…追記画像含む矩形領域右下画素、ＨＷ１…追記画像、Ｐ…基本画像の描画オブジェクト。

Claims (3)

1. 画像を表示領域に表示する表示手段と、
   前記表示領域に表示させるための基本画像を生成する基本画像生成手段と、
   前記生成された前記基本画像を保存する基本画像保存手段と、
   前記基本画像保存手段に保存された前記基本画像の座標を指定することにより前記表示手段の前記表示領域に前記基本画像を表示する表示制御手段と、
   前記基本画像が表示されている前記表示領域に対して操作者が直接追記描画内容を入力する操作を受け付ける入力手段と、
   前記入力手段から得られる座標位置の描画画素を特定し、描画画素情報を生成する描画画素情報生成手段と、
   前記描画画素情報を記憶する描画画素記憶手段と、
   前記描画画素情報の第一の色濃度および前記基本画像の画素の色情報の第二の色濃度と、描画シーケンスとが対応付けられた駆動波形テーブルを記憶する記憶手段と、
   前記保存された前記描画画素情報を前記表示手段の表示領域の一部に追記する際に、前記描画画素情報の前記第二の色濃度とその画素の座標に対応する前記基本画像の画素の前記第一の色濃度とを比較し、前記第二の色濃度が前記第一の色濃度よりも薄いかまたは等しい場合には、当該画素の表示処理は行わず、前記第二の色濃度が前記第一の色濃度よりも濃い場合には、前記第一の色濃度および前記第二の色濃度に基づいて前記駆動波形テーブルを参照して得られた描画シーケンスにより当該画素の表示処理を行う第二の表示制御手段と、
   を備えることを特徴とする表示装置。
2. 前記色情報はグレースケールであることを特徴とする請求項１に記載の表示装置。
3. 前記第二の表示制御手段は、
   近接する複数の画素の表示手段を個別に異なる表示方法で前記表示手段の表示領域に前記描画画素情報を追記することを特徴とする請求項１に記載の表示装置。

Images