JP6166364B2 - 情報入力表示装置および情報入力表示方法 - Google Patents
情報入力表示装置および情報入力表示方法 Download PDFInfo
- Publication number
- JP6166364B2 JP6166364B2 JP2015513556A JP2015513556A JP6166364B2 JP 6166364 B2 JP6166364 B2 JP 6166364B2 JP 2015513556 A JP2015513556 A JP 2015513556A JP 2015513556 A JP2015513556 A JP 2015513556A JP 6166364 B2 JP6166364 B2 JP 6166364B2
- Authority
- JP
- Japan
- Prior art keywords
- unit
- video signal
- pen
- continuous line
- line drawing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
- G06F3/04845—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range for image manipulation, e.g. dragging, rotation, expansion or change of colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
- G06F3/03545—Pens or stylus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/20—Drawing from basic elements, e.g. lines or circles
- G06T11/203—Drawing of straight lines or curves
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/265—Mixing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
Description
本発明は、タッチパネルを備えた情報入力表示装置に関し、特に、入力から表示までに掛かる時間を短縮し、ユーザに自然な書き味を提供するための技術に関する。
スマートフォンやタブレット端末では、描画アプリを用いて、タッチパネル上に絵や文字を書くことができる。特に、スタイラスペン(タッチペンまたは電子ペンとも言う)を用いて入力を行う端末を、以下では「ペンタブレット」と記載する。
ペンタブレットは、スタイラスペンによる軌跡をソフトウェア処理により描画する。即ち、CPUが、スタイラスペンによるペン描画の画像を生成し、フレームメモリを用いて1フレーム分の画面データを生成するときに、生成したペン描画の画像を合成した画面データを生成する。その後、フレームメモリに蓄積された画面データは、所定のリフレッシュ周期で読み出されて、タッチパネル上に表示される(特許文献1参照)。
上記のように、従来のペンタブレットでは、CPUによりペン描画処理を行う。ところが、ペン描画処理以外にもペンタブレット全体を制御するための様々なソフトウェア処理を行っているため、CPUによるペン描画処理は処理速度が遅い。
そのため、ユーザがペン入力を行ってからペン描画の画像が表示されるまでに時間が掛かり、ユーザに「反応速度が遅い」という印象を与える。特に、スマートフォンやタブレット端末など携帯型のペンタブレットでは、CPUの処理能力が低いうえ、描画アプリ以外にも多くのアプリが動作している状況が想定される。このような場合、CPUによるペン描画処理の遅れはさらに顕著になり、ユーザが感じる書き味に違和感を与える。
本開示は、上記の問題点に鑑みなされたものであって、入力から表示までに掛かる時間を短縮し、ユーザに自然な書き味を提供することができる情報入力表示装置および情報入力表示方法を提供することを目的とする。
上記の目的を達成するために、本開示の一態様に係る情報入力表示装置は、接触を検知し、接触位置を出力するセンサと、1画面分の映像信号を表示する表示部と、前記接触位置に係る連続線描画を含む1画面分の映像信号を生成する第1の描画部と、前記接触位置に係る連続線描画の映像信号を、前記第1の描画部よりも高速に生成する第2の描画部と、前記第1の描画部により生成された映像信号に、前記第2の描画部により生成されたペン描画の映像信号を加算する加算部とを備え、前記第1の描画部および前記第2の描画部の少なくとも一方は、出力する連続線描画部分の映像信号を、描画処理の経過時間に応じて変化させることを特徴とする。
上記態様によると、入力から表示までに掛かる時間を短縮し、ユーザに自然な書き味を提供することができる。
<1.概要>
ペンタブレットの書き味の悪さを改善するために、発明者らは、小規模なメモリを備える専用のハードウェア回路によりペン描画処理を行えば、ペン描画をディスプレイに速く表示できることに着目した(特許文献2参照)。
ペンタブレットの書き味の悪さを改善するために、発明者らは、小規模なメモリを備える専用のハードウェア回路によりペン描画処理を行えば、ペン描画をディスプレイに速く表示できることに着目した(特許文献2参照)。
専用のハードウェア回路によるペン描画処理では、ペンによる接触位置の座標を受け取り、ペン先の画像を生成して、順次小規模なメモリに格納していく。そして、タイミング制御により、ペン先の画像を順次出力する。そのため、ハードウェア回路によるペン描画処理では、ソフトウェア処理のようにペン描画の軌跡をフレームメモリに保存して活用することができない。
そこで、ソフトウェア処理および専用のハードウェア回路を用いたペン描画処理を併用し、これらの画像を合成すれば、書き味の悪さを改善しつつ、ペン描画の軌跡をフレームメモリに保存して活用することが可能となる。
ところが、CPUで生成された画像の輝度信号と、ハードウェア回路で生成された画像の輝度信号とを足し合わせると、画像が重なり合う部分においては、階調が変わり、本来表示すべき画像とは異なる画像がディスプレイに表示される可能性がある。
そこで、発明者らは、書き味が良く、さらに、ペン入力部分の画像の階調が変わるなど、不自然な画像が表示されるのを抑制することができるペンタブレットとして、以下の本開示に係る各態様を想到するに至った。
即ち、本開示の一態様である情報入力表示装置は、接触を検知し、接触位置を出力するセンサと、1画面分の映像信号を表示する表示部と、演算処理部とフレームメモリとを用いて、前記接触位置に係るペン描画を含む1画面分の映像信号を生成するソフトウェア描画部と、メモリを用いて、前記接触位置に係るペン描画の映像信号を生成するハードウェア描画部と、前記ソフトウェア描画部により生成された映像信号に、前記ハードウェア描画部により生成されたペン描画の映像信号を加算する加算部とを備え、前記ソフトウェア描画部および前記ハードウェア描画部の少なくとも一方は、出力するペン描画部分の映像信号を、描画処理の経過時間に応じて変化させることを特徴とする。
また、本開示の別の一態様である情報入力表示装置は、接触を検知し、接触位置を出力するセンサと、1画面分の映像信号を表示する表示部と、演算処理部とフレームメモリとを用いて、前記接触位置に係るペン描画を含む1画面分の映像信号を生成するソフトウェア描画部と、メモリを用いて、前記接触位置に係るペン描画の映像信号を生成するハードウェア描画部と、前記ソフトウェア描画部により生成された映像信号に、前記ハードウェア描画部により生成されたペン描画の映像信号を加算する加算部とを備え、前記ソフトウェア描画部は、1ストロークに係るペン描画が完了した後に前記ペン描画を含む1画面分の映像信号を出力し、前記ハードウェア描画部は、前記ソフトウェア描画部による前記1ストロークに係るペン描画が完了するまで、前記ペン描画の映像信号を出力し、前記ソフトウェア描画部による前記1ストロークに係るペン描画が完了した後には、前記ペン描画の映像信号の出力を停止することを特徴とする。
上記の各態様を実現するための一例である実施形態1のペンタブレットは、CPUにより生成されたフレーム画像にハードウェア回路により生成された画像を合成する構成であって、ペン描画部分が重なり合わないように制御する。
また別の例である実施形態2のペンタブレットは、CPUにより生成された画像にハードウェア回路により生成された画像を合成する構成であって、重なり合うペン描画部分の階調を調整する。
さらに別の例である実施形態3のペンタブレットは、CPUにより生成されたペン描画の画像とハードウェア回路により生成されたペン描画の画像とが重なり合わないように、出力タイミングを制御する。
以下、それぞれの実施形態について説明する。
<2.実施形態1>
ここでは、本開示の一態様である情報入力表示装置の実施形態1として、ペンタブレット1について説明する。
ここでは、本開示の一態様である情報入力表示装置の実施形態1として、ペンタブレット1について説明する。
上述したように、実施形態1のペンタブレット1は、ソフトウェア処理により生成されたフレーム画像に、専用のハードウェア回路を用いたペン描画処理により生成されたペン描画の画像を合成する構成であって、ペン描画部分が重なり合わないように制御する。
<2−1.ペンタブレット1の構成>
図1は、ペンタブレット1の外観図である。
図1は、ペンタブレット1の外観図である。
ペンタブレット1は、一例として、タッチパネル101を備えるタブレット型端末である。ユーザは、タッチパネル101の入力方式に対応したスタイラスペン1aを用い、タッチパネル101にスタイラスペン1aを接触させ、絵や文字などペンの接触による軌跡を入力する。
図2は、ペンタブレット1の機能的な構成を示すブロック図である。同図に示すように、ペンタブレット1は、タッチパネル101、記憶部102、ペン描画処理部103、制御部104、通信制御部105、アンテナ106、カメラ107、スピーカ108およびマイク109から構成される。
タッチパネル101は、入力デバイスであるタッチパッド111と、表示デバイスであるLCD(Liquid Crystal Display)112とを含む。
タッチパッド111は、静電容量方式や、電磁誘導方式、抵抗膜方式等の入力方式を用いたタッチセンサを含み、LCD112に重畳して設けられている。タッチパッド111は、透明部材で構成されるか、LCD112の背後に配置され、LCD112に表示された画像が見えるように構成されている。
タッチパネル101は、図示していないコントローラを含み、タッチパッド111に対するユーザの指やスタイラスペン1aの接触を検出し、検出している間、単位時間(例えば、1ミリ秒)毎に、その接触位置の座標値(x,y)および接触の圧力(以下では「筆圧」と記載する。)を制御部104に出力する。
外部記憶装置である記憶部102は、用途としてのプログラム保存用メモリ、設定値保存用メモリ、受信メール保存用メモリ、写真保存用メモリ、予定表管理用メモリ等を含む。
プログラム保存用メモリには、一例として、ペン描画処理を行うコンピュータプログラムである描画アプリ120と、描画アプリ120が利用するデータである描画制御情報150とが記憶されている。設定値保存用メモリには、ペン描画処理で用いる設定情報140が記憶される。設定情報140および描画制御情報150の詳細は後述する。
ペン描画処理部103は、CPU、RAM、ペン描画のための専用ハードウェア回路などで実現される。ペン描画処理部103は、描画アプリ120を実行して、ペン描画処理を行う。ペン描画処理部103の詳細は後述する。
制御部104は、ペンタブレット1の各ブロックと接続され、ペンタブレット1の全体を制御する機能を有する。制御部104は、上記のCPU、RAMおよびコンピュータプログラムなどで実現される。CPUが記憶部102に記憶されているコンピュータプログラムを実行することにより、各種の機能を実現する。その一例としては、制御部104は、タッチパネル101から出力された座標値および筆圧を、ペン描画処理部103へ出力したり、タッチパネル101にフレーム画像を出力するための表示回路やパネル駆動回路を制御したりする。
通信制御部105は、上記のCPU、RAMおよびコンピュータプログラムなどで実現される。CPUが記憶部102に記憶されているコンピュータプログラムを実行することにより、アンテナ106を介して、インターネット等の通信網に接続する。そして、通信制御部105は、パーソナルコンピュータ、タブレット端末、スマートフォン、携帯電話機、ウェブサーバ等の他のコンピュータとの間で、音声データ、文字データ、画像データ等を送受信する。
カメラ107は、CCD(Charge Coupled Device)イメージセンサとレンズとを備え、レンズから入射した光をCCDイメージセンサで検出して画像を生成する機能を有する。
スピーカ108は、音を出力する機能を有する。マイク109は、音を集音する機能を有する。
<2−2.設定情報140および描画制御情報150>
ここでは、図3〜図5を用いて、ペン描画処理で用いられる設定情報140および描画制御情報150について説明する。
ここでは、図3〜図5を用いて、ペン描画処理で用いられる設定情報140および描画制御情報150について説明する。
設定情報140は、描画アプリ120で利用可能な複数のペン種類および複数の色から、ユーザによって選択されたペン種類および色を示す情報である。
描画アプリ120が起動すると、タッチパネル101には、一例として図3に示す設定画面130が表示される。設定画面130は、7種類のペン(鉛筆、万年筆、サインペン、絵筆、毛筆、絵コンテ、および、スプレー)のそれぞれに対応しているアイコン131〜137と、色を選択するための色見本138と、色見本138における選択位置を表し、ユーザの操作により移動する選択バー139とを含む。
ユーザは、アイコン131〜137の何れか一つを選択することにより、ペン描画処理で用いるペン種類を選択することができる。また、ユーザは、色見本138の所望の位置に選択バー139を移動させることにより、ペン描画処理で用いる色を選択することができる。
ユーザによるペン種類および色の選択が完了すると、ペン描画処理部103は、設定情報140を生成し、制御部104を介して、記憶部102に格納する。
図4は、設定情報140の一例を示す図である。ここでは一例として、鉛筆を「1」、万年筆を「2」、サインペンを「3」、絵筆を「4」、毛筆を「5」、絵コンテを「6」、スプレーを「7」とした場合に、ユーザが選択したペン種類を1〜7までのペン番号で表している。また、ユーザが選択した色を、RGB値で表している。
なお、本実施形態では一例として、ユーザがペン先の色としてグレーカラーを選択した場合を例に説明しているが、ユーザが選択可能なペン先の色はフルカラーでもよいのは勿論である。
図5は、描画アプリ120が利用するデータである描画制御情報150を表している。同図に示すように、描画制御情報150は、7種類のペンのそれぞれについて、ペン番号、基準の筆圧に対するペン先形状(ドットパターン)、および、筆圧とペンの太さとの関係式を記載した表である。ここで、筆圧とペンの太さとの関係式の各欄に記載されているグラフは、横軸を筆圧、縦軸をペンの太さとし、式1〜式7をグラフ化したものである。
設定情報140および描画制御情報150は、ペン描画処理部103が実行するペン描画処理で用いられる。
<2−3.ペン描画処理部103の構成および動作>
図6は、ペン描画処理部の詳細な構成を示すブロック図である。同図に示すように、ペン描画処理部103は、ソフトウェア描画部210と、ハードウェア描画部220と、加算部230とから構成される。なお、説明の都合上、ソフトウェア描画部210と制御部104とを分けて記載しているが、ソフトウェア描画部210の機能を制御部104内で実現してもよい。
図6は、ペン描画処理部の詳細な構成を示すブロック図である。同図に示すように、ペン描画処理部103は、ソフトウェア描画部210と、ハードウェア描画部220と、加算部230とから構成される。なお、説明の都合上、ソフトウェア描画部210と制御部104とを分けて記載しているが、ソフトウェア描画部210の機能を制御部104内で実現してもよい。
(ソフトウェア描画部210の構成)
ソフトウェア描画部210は、CPU201、メインメモリ202、フレームメモリ203、読出書込ドライバ204および読出ドライバ205を含む。
ソフトウェア描画部210は、CPU201、メインメモリ202、フレームメモリ203、読出書込ドライバ204および読出ドライバ205を含む。
CPU201は、描画アプリ120を実行して、各種の計算を行う演算処理部である。
CPU201は、記憶部102に格納されている設定情報と描画制御情報とを作業用のメモリであるメインメモリ202にロードする。また、CPU201は、設定情報から階調を抽出し、描画制御情報から、設定情報に含まれるペン番号に対応するペン先形状および関係式を抽出し、抽出したこれらの情報を、ハードウェア描画部220へ出力する。
CPU201は、接触位置の座標値および筆圧が入力されると、メインメモリ202およびフレームメモリ203を用いたペン描画処理を行う。CPU201が行うペン描画処理とは、ペン画像と背景画像とを合成して1フレームの画像を生成し、フレームメモリ203に格納することをいう。ここで、背景画像が描画アプリ120に含まれている場合や、フレームメモリ203に保存されている場合には、CPU201は、外部から背景画像を取得する必要はない。しかし、カメラ107で撮像した画像や、記憶部102に格納されている画像を背景画像として用いる場合には、外部からCPU201へ背景画像が入力される。
ここでは、一つの具体例として、タッチパネル101のリフレッシュ周期を60Hzとした場合に、CPU201は、1フレームの画面のリフレッシュに要する時間(約16.7ミリ秒)に、フレームメモリの上から下に順に内容を更新して、1フレームの3分の1程度の内容を更新することができることとする。
例えば、図7に示すように、タッチパネル101の点aから点bまで、ユーザが高速にペン入力した場合について考える。ソフトウェア描画部210は、後述するように、フレームメモリを切り替えながら、読み出しおよび書き込みを行う。そのため、図10(b)に示すように、CPU201によるペン描画処理が完了するまでには、6フレーム分の画面がリフレッシュされる。
CPU201は、定期的に、描画処理が完了した領域を示す情報である描画完了位置を、後述するメモリ消去部214へ出力する。描画完了位置として、例えば、フレーム数と、更新開始ライン数および更新終了ライン数とを用いてもよい。ここで「更新開始ライン数」は、描画処理が完了した部分の最初のライン数を意味し、「更新終了ライン数」とは、描画処理が完了した部分の最後のライン数を意味する。
フレームメモリ203は、画像の書き込みおよび読み出しを行うためのデータ蓄積部であり、RAMで構成される。フレームメモリ203は、一例として、2つのアクセスポートを有し、2フレーム分の画像に相当するデータを蓄積する容量がある。
読出書込ドライバ204は、CPU201の命令により駆動し、フレームメモリ203からの画像の読み出し、および、フレームメモリ203への画像の書き込みを行う。
読出ドライバ205は、図示していない表示回路により駆動し、フレームメモリ203から順次画素信号を読み出し、加算部230へ入力する。また、読出ドライバ205は、加算部230へ画素信号を入力しながら、ハードウェア描画部220へ、タイミング信号(垂直同期信号、水平同期信号、ピクセルクロック)を入力する。なお、本明細書および図面では、1つの画素を表す信号を「画素信号」と記載し、連続した画素信号を「映像信号」と記載する。
ここで、読出書込ドライバ204および読出ドライバ205は、それぞれ、読み書きを行うメモリおよび読み出しを行うメモリをフレーム毎に切り替えている。すなわち、表示回路が、読出ドライバ205を介して、一方のメモリから画像を読み出している間、CPU201は、読出書込ドライバ204を介して、他方のメモリを用いて画像の更新を行うことができる。
(ソフトウェア描画部210の動作)
図8は、ソフトウェア描画部210が行うソフトウェア描画処理のフローチャートである。この処理が開始される前に、既にメインメモリ202には設定情報と描画制御情報とがロードされている。
図8は、ソフトウェア描画部210が行うソフトウェア描画処理のフローチャートである。この処理が開始される前に、既にメインメモリ202には設定情報と描画制御情報とがロードされている。
CPU201には、タッチパネル101が検出した複数の座標値および筆圧が順次入力される(ステップS1)。ここでは一例として、タッチパネル101がスタイラスペン1aの接触を検知してから接触の検知を終了するまでの1ストロークの間に検出した座標値および筆圧が入力される。
読出ドライバ205は、フレームメモリ203から画素信号を読み出しながら、タイミング信号を出力する(ステップS2)。画素信号は、加算部230へ入力され、タイミング信号は、カウンタ212へ入力される。
読出ドライバ205がステップS2を行う間に、CPU201は、ステップS3からステップS7までの処理を行う。
先ず、CPU201は、ステップS1で取得した座標値および筆圧と、メインメモリ202に保持されている設定情報および描画制御情報とを用いた計算により、ペン描画の画像を生成する(ステップS3)。具体的に、CPU201は、設定情報に含まれるペン番号と一致するペン番号に対応付けられている基準のペン先形状と関係式とを描画制御情報から抽出する。次に、CPU201は、抽出したこれらの情報と入力された筆圧とを照らし合わせて、入力された座標値を中心点として、筆圧に応じたドットパターンを計算する。そして、CPU201は、計算されたドットパターンを設定情報に含まれる階調で表したペン描画の画像を生成する。
続いて、CPU201は、フレームメモリ203から、更新位置の画像を読み出す(ステップS4)。なお、フレームメモリ203に蓄積されている画像が計算に必要ない場合には、ステップS4の処理は行わなくてもよい。また、フレームメモリ203以外に作業用メモリを備えている場合は、作業用メモリから更新位置の画像を読み出してもよい。
CPU201は、ステップS4で読み出した画像にペン描画の画像を合成するか、または、外部から入力された背景画像にペン描画の画像を合成する(ステップS5)。CPU201は、合成した画像を、フレームメモリ203に書き戻す(ステップS6)。その後、CPU201は、メモリ消去部214へ、描画完了位置を通知する(ステップS7)。
ステップS1で取得したすべての座標値についてのペン描画の計算、書き込みおよび読み出しが終了していない場合(ステップS8でNO)、画像の読み出しを行うフレームメモリと、画像の書き込みを行うフレームメモリとを切り替える(ステップS9)。その後、ステップS2およびステップS3へ戻り、処理を継続する。
ステップS1で取得したすべての座標値についてのペン描画の計算、書き込みおよび読み出しが終了した場合(ステップS8でYES)、ソフトウェア描画部210は、ステップS1に戻り、次の1ストロークについてのペン描画処理を行う。
(ハードウェア描画部220)
続いて、図6および図9用いて、ハードウェア描画部220について説明する。図9は、ハードウェア描画部220の各構成要素の処理を示す図である。
続いて、図6および図9用いて、ハードウェア描画部220について説明する。図9は、ハードウェア描画部220の各構成要素の処理を示す図である。
図6に示すように、ハードウェア描画部220は、ペン描画計算部211、カウンタ212、ペン描画メモリ213およびメモリ消去部214を含む。ハードウェア描画部220は、ペン描画処理を行う専用ハードウェアである。ハードウェア描画部220は、FPGA(Field−Programmable Gate Array)で構成してもよい。
ペン描画計算部211は、CPU201から、ペン描画の階調、基準のペン先形状、および、筆圧とペンの太さとの関係式を指定される。
図9(a)に示すように、ペン描画計算部211には、タッチパネル101が検出した座標値および筆圧が、制御部104を介して順次入力される(ステップS11)。ペン描画計算部211は、入力された座標値ごとに、ペン描画を計算する(ステップS12)。具体的に、ペン描画計算部211は、入力された筆圧を基準のペン先形状および関係式に照らし合わせて、入力された座標値を中心点として、筆圧に応じたドットパターンを計算する。そして、ペン描画計算部211は、計算されたドットパターンを指定の階調で表したペン描画の画像を生成し、生成したペン描画の画像をペン描画メモリ213へ格納する(ステップS13)。
図9(b)に示すように、カウンタ212には、ソフトウェア描画部210の読出ドライバ205からタイミング信号(垂直同期信号、水平同期信号、ピクセルクロック)が入力される(ステップS14)。カウンタ212は、ピクセルクロックを計数し、さらに、垂直同期信号および水平同期信号を基にライン数を計数し(ステップS15)、フレームメモリ203から出力されている映像信号の画素位置を計算する(ステップS16)。カウンタ212は、計算した画素位置を、ペン描画メモリ213へ出力する(ステップS17)。
ソフトウェア描画部210の読出ドライバ205がフレームメモリ203から表示用のフレーム画像を読み出している間、常に、読出ドライバ205からカウンタ212へ、タイミング信号が入力される。そのため、カウンタ212は、ステップS14からステップS17を繰り返し行う。
また、カウンタ212は、垂直同期信号および水平同期信号を基にフレーム数を計数する。後述するように、カウンタ212が計数するフレーム数、ライン数およびピクセル数を、時間情報として用いることもできる。
ペン描画メモリ213は、FPGA内部に設けられた小規模なメモリ領域(RAM)であり、ペン描画計算部211から出力されたペン描画の画像(xyパターン)を、出力された時刻または出力された順番を示す時間情報と共に格納する。
ここで、ペン描画メモリ213に格納される時間情報として、ペン描画の画像が出力された時刻を用いる場合には、図示していない時計による計測値を用いてもよいし、カウンタ部212が計数しているフレーム番号、ライン番号およびピクセル番号の組を用いてもよい。また、出力された順番を用いる場合には、1から順にインクリメントされる数値を用いてもよい。時間情報は、ペン描画処理が連続して行われ、ペン描画メモリ213に複数のペン描画の画像が格納される場合に、これら複数の画像のそれぞれを識別するために用いられる。
図9(c)に示すように、ペン描画メモリ213には、カウンタ212から画素位置が入力される(ステップS18)。ペン描画メモリ213は、入力された画素位置に一致するペン描画の画像の画素信号を出力する(ステップS19)。
ソフトウェア描画部210の読出ドライバ205がフレームメモリ203から表示用のフレーム画像を読み出している間、カウンタ212からペン描画メモリ213へ、画素位置が入力される。そのため、ペン描画メモリ213は、ステップS18およびステップS19を繰り返し行う。
図9(d)に示すように、メモリ消去部214には、CPU201から描画完了位置が入力される(ステップS20)。メモリ消去部214は、ペン描画メモリ213から、描画完了位置に対応するペン描画の画像を削除する(ステップS21)。メモリ消去部214は、CPU201がペン描画処理を行っている間、ステップS20およびステップS21を繰り返し行う。
ハードウェア描画部220によるペン描画処理は、ソフトウェア描画部210によるペン描画処理と比較し、高速である。図10(a)に示すように、ソフトウェア描画部210からペン描画の画像が出力されていない段階から、ハードウェア描画部220は、ペン描画の軌跡の全体を出力することができる。
(加算部230)
加算部230は、ソフトウェア描画部210により生成された映像信号と、ハードウェア描画部220により生成された映像信号とを、画素毎に加算する。加算部230は、加算後の映像信号を、図示していないパネル駆動回路に出力する。
加算部230は、ソフトウェア描画部210により生成された映像信号と、ハードウェア描画部220により生成された映像信号とを、画素毎に加算する。加算部230は、加算後の映像信号を、図示していないパネル駆動回路に出力する。
上述したように、ハードウェア描画部220が行うタイミング制御により、加算部230は、ハードウェア描画部220により生成されたペン描画をフレーム画像の適切な位置に合成することができる。
(タッチパネル101の表示例)
以上説明したように、実施形態1のペンタブレット1では、ソフトウェア描画部210は、ペン描画処理が完了した位置を、ハードウェア描画部220へ通知する。そして、ハードウェア描画部220は、通知された描画完了位置に対応するペン描画の画像を、ペン描画メモリ213から削除する構成を有する。
以上説明したように、実施形態1のペンタブレット1では、ソフトウェア描画部210は、ペン描画処理が完了した位置を、ハードウェア描画部220へ通知する。そして、ハードウェア描画部220は、通知された描画完了位置に対応するペン描画の画像を、ペン描画メモリ213から削除する構成を有する。
したがって、図10(b)に示すように、ソフトウェア描画部210によるペン描画処理が3分の1フレーム程度の単位で段階的に処理されるのに対応して、ハードウェア描画部220からは、ソフトウェア描画部210によるペン描画処理が完了していない部分の映像信号のみが出力される。
これらの映像信号を加算部230が足し合わせてパネル駆動回路へ出力する。パネル駆動回路は、入力された映像信号を基にタッチパネル101のソース線やゲート線に接続されたドライバを駆動することにより、タッチパネル101には、図10(c)に示すように、ユーザのペン入力が完了した直後からペン描画の全体が表示され、その後、ソフトウェア描画部210によるペン描画処理が完了するまで、ユーザが指定した色でペン描画の画像が表示される。
<3.実施形態2>
ここでは、本開示の一態様である情報入力表示装置の実施形態2について説明する。
ここでは、本開示の一態様である情報入力表示装置の実施形態2について説明する。
実施形態2に係るペンタブレットは、上述したように、ソフトウェア処理により生成されたフレーム画像に、ハードウェア回路により生成されたペン描画の画像を合成する構成であって、重なり合うペン描画部分の階調を調整する。
実施形態2のペンタブレットの外観および機能ブロックは、実施形態1のペンタブレット1と同様であり、図1および図2に示した通りである。ここでは、実施形態1と異なる機能を有するペン描画処理部について説明する。
図11は、実施形態2に係るペンタブレットのペン描画処理部103aの詳細な構成を示すブロック図である。同図に示すように、ペン描画処理部103aは、ソフトウェア描画部210aと、ハードウェア描画部220aと、加算部230とから構成される。
(ソフトウェア描画部210aの構成)
ソフトウェア描画部210aは、CPU201a、メインメモリ202、フレームメモリ203、読出書込ドライバ204および読出ドライバ205を含む。
ソフトウェア描画部210aは、CPU201a、メインメモリ202、フレームメモリ203、読出書込ドライバ204および読出ドライバ205を含む。
メインメモリ202、フレームメモリ203、読出書込ドライバ204および読出ドライバ205については、既に実施形態1で説明した。CPU201aは、実施形態1のCPU201と一部異なる機能を有する。
CPU201は、定期的に、ハードウェア描画部220へ描画完了位置を出力する構成であった。また、CPU201は、設定情報として指定されている階調でペン描画の画像を生成する構成であった。
これに対して、CPU201aは、描画完了位置をハードウェア描画部220aへ通知する機能は有していない。CPU201aは、設定情報として指定されている階調に重み付けをして、ペン描画の画像を薄い濃度から濃い濃度へ段階的に変えていく機能を有する。その他の機能は、CPU201と同様である。
(ソフトウェア描画処理の動作)
図12は、ソフトウェア描画部210aが行う処理の流れを示すフローチャートである。この処理が開始される前に、既にメインメモリ202には設定情報と描画制御情報とがロードされている。
図12は、ソフトウェア描画部210aが行う処理の流れを示すフローチャートである。この処理が開始される前に、既にメインメモリ202には設定情報と描画制御情報とがロードされている。
CPU201aには、タッチパネル101が検出した複数の座標値および筆圧が順次入力される(ステップS31)。ここでは一例として、タッチパネル101がスタイラスペン1aの接触を検知してから接触の検知を終了するまでの1ストロークの間に検出した座標値および筆圧が入力される。
CPU201aは、ステップS31で取得した複数の座標値を基に、描画完了までに要するフレーム数(描画完了までにタッチパネル101に表示されるフレーム数)Nを計算する(ステップS32)。続いて、CPU201aは、重み計数l=(255−L)/(N−1)を計算する(ステップS33)。ここで、Lは、設定情報に指定されている階調(輝度値)である。例えば、N=6、および、L=150とすると、重み計数l=21である。
CPU201aは、処理中のフレームを示すカレントフレーム番号nとして、1を記憶する(ステップS34)。
読出ドライバ205は、フレームメモリ203から画素信号を読み出しながら、タイミング信号を出力する(ステップS35)。画素信号は、加算部230へ入力され、タイミング信号は、カウンタ212aへ入力される。
読出ドライバ205がステップS35を行う間に、CPU201aは、ステップS26からステップS29までの処理を行う。
先ず、CPU201aは、ペン描画の階調Ln=255−l(n−1)を計算する。ここでは、背景画像が白であり、CPU201aが生成するペン描画の画像の濃度が白から徐々に濃くなり、最終的には、ユーザが指定した階調Lのグレーとなる場合を例に説明している。
そして、CPU201aは、ステップS31で取得した座標値および筆圧と、メインメモリ202に保持されている設定情報および描画制御情報とを用いた計算により、ペン描画の画像を生成する(ステップS36)。具体的に、CPU201aは、設定情報に含まれるペン番号と一致するペン番号に対応付けられている基準のペン先形状と関係式とを描画制御情報から抽出する。そして、抽出したこれらの情報と入力された筆圧とを照らし合わせて、入力された座標値を中心点として、筆圧に応じたドットパターンを計算する。そして、CPU201aは、計算されたドットパターンを階調Lnで表したペン描画の画像を生成する。
次に、CPU201aは、フレームメモリ203から、更新位置の画像を読み出す(ステップS37)。なお、フレームメモリ203に蓄積されている画像が計算に必要ない場合には、ステップS37の処理は行わなくてもよい。
CPU201aは、ステップS37で読み出した画像にペン描画の画像を合成するか、または、外部から取得した背景画像にペン描画の画像を合成する(ステップS38)。CPU201aは、合成した画像を、フレームメモリ203に書き戻す(ステップS39)。
ステップS31で取得したすべての座標値についてのペン描画の計算、書き込みおよび読み出しが終了していない場合(ステップS40でNO)、すなわち、n<Nの場合、CPU201aは、処理中のフレームを示すカレントフレーム番号nをn+1とする(ステップS41)。その後、画像の読み出しを行うフレームメモリと、画像の書き込みを行うフレームメモリとを切り替え(ステップS42)、ステップS2およびステップS3へ戻り、処理を継続する。
ステップS31で取得したすべての座標値についてのペン描画の計算、書き込みおよび読み出しが終了した場合(ステップS40でYES)、すなわち、n=Nの場合、ソフトウェア描画部210aは、ステップS31に戻り、次の1ストロークについてのペン描画処理を行う。
以上説明したように、ソフトウェア描画部210aは、読み出しおよび書き込みを行うフレームを切り替え、ペン描画の階調を所定のアルゴリズムで段階的に変化させながらペン描画を行う。そのため、フレームメモリ203から出力される映像信号を表示すると、図14(b)に示すように、段階的にペン描画の軌跡が表示され、且つ、段階的にペン描画の色が濃くなる。
(ハードウェア描画部220a)
続いて、図11および図13用いて、ハードウェア描画部220aについて説明する。ここで、図13は、ハードウェア描画部220aの各構成要素の処理を示す図である。
続いて、図11および図13用いて、ハードウェア描画部220aについて説明する。ここで、図13は、ハードウェア描画部220aの各構成要素の処理を示す図である。
図11に示すように、ハードウェア描画部220aは、ペン描画計算部211a、カウンタ212a、ペン描画メモリ213および重み計算部215を含む。ハードウェア描画部220aは、ペン描画処理を行う専用ハードウェアである。
ペン描画メモリ213については、既に実施形態1で説明した。ペン描画計算部211aおよびカウンタ212aは、実施形態1のペン描画計算部211およびカウンタ212と一部異なる機能を有する。また、実施形態2のハードウェア描画部220aは、メモリ消去部214を備えておらず、重み計算部215を備える。
ペン描画計算部211aは、CPU201aから、ペン描画の階調、基準のペン先形状、および、筆圧とペンの太さとの関係式を指定される。
図13(a)に示すように、ペン描画計算部211aには、タッチパネル101が検出した座標値および筆圧が、制御部104を介して順次入力される(ステップS51)。ペン描画計算部211aは、入力された座標値ごとに、ペン描画を計算する(ステップS52)。具体的に、ペン描画計算部211aは、入力された筆圧を基準のペン先形状および関係式に照らし合わせて、入力された座標値を中心点として、筆圧に応じたドットパターンを計算する。そして、ペン描画計算部211aは、計算されたドットパターンを指定の階調で表したペン描画の画像を生成し、生成したペン描画の画像をペン描画メモリ213へ格納する(ステップS53)。
ペン描画計算部211aは、入力された複数の座標値から、ソフトウェア描画部210aによるペン描画処理に要するフレーム数Nを計算する。さらに、ペン描画計算部211aは、計算されたフレーム数を基に、重み計算部215で用いる重み計数l=(255−L)/(N−1)を計算する(ステップS55)。ここで、Lは、CPU201aから通知されているペン描画の階調である。ペン描画計算部211aは、フレーム数Nと重み計数lとを、重み計算部215へ出力する(ステップS56)。
図13(b)に示すように、カウンタ212aには、ソフトウェア描画部210aの読出ドライバ205からタイミング信号(垂直同期信号、水平同期信号、ピクセルクロック)が入力される(ステップS57)。カウンタ212aは、ピクセルクロックを計数し、さらに、垂直同期信号および水平同期信号を基にライン数およびフレーム数を計数する(ステップS58)。カウンタ212aは、ピクセル数およびライン数を基に、フレームメモリ203から出力されている映像信号の画素位置を計算する(ステップS59)。カウンタ212aは、計算した画素位置を、ペン描画メモリ213へ出力する(ステップS60)。また、カウンタ212aは、計数したフレーム数を、重み計算部215へ出力する(ステップS61)。
ソフトウェア描画部210aの読出ドライバ205がフレームメモリ203から表示用のフレーム画像を読み出している間、読出ドライバ205からカウンタ212aへ、タイミング信号が入力される。そのため、カウンタ212aは、ステップS57からステップS61を繰り返し行う。
図13(c)に示すように、重み計算部215は、ペン描画計算部211aから、ソフトウェア描画部210aによるペン描画処理に要するフレーム数Nおよび重み計数lが入力される(ステップS62)。
重み計算部215は、ペン描画メモリ213からペン描画の画像が入力されると(ステップ64)、カウンタ212aから入力されたフレーム数n(ステップS64)と、重み計数lとを用いて輝度に重み付けをし(ステップS65)。ペン描画の階調をln=L+l(n−1)として出力する(ステップS66)。なお、ここでは、ハードウェア描画部220aから出力されるペン描画の画像の濃度が、ユーザが指定した階調Lのグレーから徐々に薄くなり、最終的に白になる場合を例に説明している。
(タッチパネル101の表示例)
以上説明したように、実施形態2のペンタブレットでは、ソフトウェア描画部210aは、図14(b)に示すように、処理時間の経過に応じて、段階的にペン描画の濃度が濃くなる所定のアルゴリズムを用いる。一方で、ハードウェア描画部220aは、図14(a)に示すように、処理時間の経過に応じて、段階的にペン描画の濃度が薄くなる所定のアルゴリズムを用いる。
以上説明したように、実施形態2のペンタブレットでは、ソフトウェア描画部210aは、図14(b)に示すように、処理時間の経過に応じて、段階的にペン描画の濃度が濃くなる所定のアルゴリズムを用いる。一方で、ハードウェア描画部220aは、図14(a)に示すように、処理時間の経過に応じて、段階的にペン描画の濃度が薄くなる所定のアルゴリズムを用いる。
これらの映像信号を加算部230が足し合わせてパネル駆動回路へ出力することにより、タッチパネル101には、図14(c)に示すように、ユーザのペン入力が完了した直後からペン描画の全体が表示される。また、所定のアルゴリズムにより階調に重み付けをすることにより、ユーザが指定した階調を超えた画像が表示されるのを抑制することができる。
<4.実施形態3>
ここでは、本開示の一態様である情報入力表示装置の実施形態3について説明する。
ここでは、本開示の一態様である情報入力表示装置の実施形態3について説明する。
実施形態3に係るペンタブレットは、上述したように、ソフトウェア処理により生成されたペン描画の画像とハードウェア回路により生成されたペン描画の画像とが重なり合わないように、出力タイミングを制御する。
実施形態3のペンタブレットの外観および機能ブロックは、実施形態1のペンタブレット1と同様であり、図1および図2に示した通りである。ここでは、実施形態1と異なる機能を有するペン描画処理部について説明する。
図15は、実施形態3に係るペンタブレットのペン描画処理部103bの詳細な構成を示すブロック図である。同図に示すように、ペン描画処理部103bは、ソフトウェア描画部210bと、ハードウェア描画部220bと、加算部230とから構成される。
(ソフトウェア描画部210bの構成)
ソフトウェア描画部210bは、CPU201b、メインメモリ202、フレームメモリ203、読出書込ドライバ204bおよび読出ドライバ205bを含む。
ソフトウェア描画部210bは、CPU201b、メインメモリ202、フレームメモリ203、読出書込ドライバ204bおよび読出ドライバ205bを含む。
メインメモリ202およびフレームメモリ203については、既に実施形態1で説明した。実施形態3のCPU201bは、実施形態1のCPU201が実行する機能に加え、出力フレーム数をカウントする機能を有する。また、実施形態1では、読出書込ドライバ204および読出ドライバ205は、それぞれ、アクセスするメモリをフレーム毎に切り替えていた。一方で、実施形態3の読出書込ドライバ204および読出ドライバ205bは、ソフトウェア描画部210bによるペン描画処理が完了するタイミングで、アクセスするメモリを切り替える。
(ソフトウェア描画処理の動作)
図12は、ソフトウェア描画部210bが行う処理の流れを示すフローチャートである。この処理が開始される前に、既にメインメモリ202には設定情報と描画制御情報とがロードされている。
図12は、ソフトウェア描画部210bが行う処理の流れを示すフローチャートである。この処理が開始される前に、既にメインメモリ202には設定情報と描画制御情報とがロードされている。
CPU201bには、タッチパネル101が検出した複数の座標値および筆圧が順次入力される(ステップS71)。ここでは一例として、タッチパネル101がスタイラスペン1aの接触を検知してから接触の検知を終了するまでの1ストロークの間に検出した座標値および筆圧が入力される。
CPU201bは、出力済みフレーム数の初期値として0を記憶する(ステップS72)。
その後、読出ドライバ205bは、フレームメモリ203から画素信号を読み出しながら、タイミング信号を出力する(ステップS73)。画素信号は、加算部230へ入力され、タイミング信号は、カウンタ212bへ入力される。
読出ドライバ205bがステップS73を行う間に、CPU201bは、ステップS74からステップS77までの処理を行う。
先ず、CPU201bは、ステップS71で取得した座標値および筆圧と、メインメモリ202に保持されている設定情報および描画制御情報とを用いた計算により、ペン描画の画像を生成する(ステップS74)。ペン描画の画像の生成については、実施形態1で既に説明した。
次に、CPU201bは、フレームメモリ203から、更新位置の画像を読み出す(ステップS75)。なお、フレームメモリ203に蓄積されている画像が計算に必要ない場合には、ステップS75の処理は行わなくてもよい。
CPU201bは、ステップS75で読み出した画像にペン描画の画像を合成するか、または、外部から入力された背景画像にペン描画の画像を合成する(ステップS76)。CPU201bは、合成した画像を、フレームメモリ203に書き戻す(ステップS77)。
その後、CPU201bは、出力済みフレーム数を1だけインクリメントし(ステップS78)、出力済みフレーム数が「6」に達したか否か判定する。
出力済みフレーム数が6未満の場合(ステップS79でNO)、ステップS73およびステップS74へ戻り、処理を継続する。出力済みフレーム数が6に達した場合(ステップS69でYES)、画像の読み出しを行うフレームメモリと、画像の書き込みを行うフレームメモリとを切り替える(ステップS80)。
その後、読出ドライバ205bは、フレームメモリ203の中のペン描画処理が完了したメモリから画素信号を読み出し、タイミング信号を出力する(ステップS73)。画素信号は、加算部230へ入力され、タイミング信号は、カウンタ212bへ入力される。
以上説明したように、ソフトウェア描画部210bは、ペン描画処理が完了するまでは、背景画像であるフレーム画像を出力し、ペン描画処理が完了すると、背景画像にペン描画の全体が合成されたフレーム画像を出力する。
(ハードウェア描画部220b)
続いて、図15および図17用いて、ハードウェア描画部220bについて説明する。
続いて、図15および図17用いて、ハードウェア描画部220bについて説明する。
図15に示すように、ハードウェア描画部220bは、ペン描画計算部211、カウンタ212bおよびペン描画メモリ213を含む。ハードウェア描画部220bは、ペン描画処理を行う専用ハードウェアである。具体的には、FPGAなどのタイミング処理回路で実現される。
ペン描画計算部211およびペン描画メモリ213については、既に実施形態1で説明した。
図17は、カウンタ212bの処理を示す図である。カウンタ212bは、図17に示すように、ソフトウェア描画部210bの読出ドライバ205bからタイミング信号(垂直同期信号、水平同期信号、ピクセルクロック)が入力される(ステップS91)。カウンタ212bは、ピクセルクロックを計数し、さらに、垂直同期信号および水平同期信号を基にライン数およびフレーム数を計数する(ステップS92)。カウンタ212bは、ピクセル数およびライン数を基に、フレームメモリ203から出力されている映像信号の画素位置を計算する(ステップS93)。
カウンタ212bは、計数しているフレーム数が6未満の場合(ステップS94でYES)、計算した画素位置を、ペン描画メモリ213へ出力する(ステップS95)。カウンタ212bは、計数しているフレーム数が6に達すると(ステップS94でNO)、画素位置の出力を停止する。なお、実施形態1で説明したが、ペン描画メモリ213は、カウンタ212bから画素位置を入力されることにより、ペン描画の画像を出力する。そのため、カウンタ212bが計数しているフレーム数が6に達すると、ペン描画メモリ213は、ペン描画の画像の出力を停止する。
このように、実施形態3のハードウェア描画部220bは、ソフトウェア描画部210bによるペン描画処理が完了するまで、ペン描画メモリ213からペン描画の画像を出力し続けるが、ソフトウェア描画部210bによるペン描画処理が完了すると、ペン描画メモリ213からペン描画の画像を出力するのを停止する。
(タッチパネル101の表示例)
以上説明したように、実施形態3のペンタブレットでは、ソフトウェア描画部210bは、図18(b)に示すように、ペン描画処理が完了するまでは、背景画像のみを出力し、ペン描画処理が完了すると、背景画像にペン描画の全体が合成されたフレーム画像を出力する。一方で、ハードウェア描画部220bは、図18(a)に示すように、ソフトウェア描画部210bによるペン描画処理が完了するまで、ペン描画の画像を出力し続けるが、ソフトウェア描画部210bによるペン描画処理が完了すると、ペン描画の画像を出力するのを停止する。
以上説明したように、実施形態3のペンタブレットでは、ソフトウェア描画部210bは、図18(b)に示すように、ペン描画処理が完了するまでは、背景画像のみを出力し、ペン描画処理が完了すると、背景画像にペン描画の全体が合成されたフレーム画像を出力する。一方で、ハードウェア描画部220bは、図18(a)に示すように、ソフトウェア描画部210bによるペン描画処理が完了するまで、ペン描画の画像を出力し続けるが、ソフトウェア描画部210bによるペン描画処理が完了すると、ペン描画の画像を出力するのを停止する。
これらの映像信号を加算部230が足し合わせてパネル駆動回路へ出力することにより、タッチパネル101には、図18(c)に示すように、ユーザのペン入力が完了した直後からペン描画の全体が表示される。その後も、常に一定の階調でペン描画が表示される。
<5.その他の変形例>
以上、本開示に係る情報入力表示装置および情報入力表示方法の実施形態であるペンタブレットについて説明したが、例示したペンタブレットを以下のように変形することも可能であり、本開示に係る情報入力表示装置および情報入力表示方法が、上記実施形態に限られないことは勿論である。
以上、本開示に係る情報入力表示装置および情報入力表示方法の実施形態であるペンタブレットについて説明したが、例示したペンタブレットを以下のように変形することも可能であり、本開示に係る情報入力表示装置および情報入力表示方法が、上記実施形態に限られないことは勿論である。
(1)上記の実施形態では、一例として、タッチパネルを備え、スタイラスペンを用いたタッチ操作により軌跡を入力するペンタブレットについて説明した。しかし、情報入力表示装置は、スタイラスペンを用いるペンタブレットに限定されない。また、上記の実施形態では、センサ(一例としてタッチパッド)と表示部(一例としてLCD)とが一体となったタッチパネルを備えたペンタブレットを例に説明した。しかし、ペンタブレットは、位置を検知するセンサと画像を表示する表示部とを備えていればよく、これらが一体となっている構造は必須ではない。
例えば、本開示の情報入力表示装置は、スタイラスペンを用いずに、タッチパネル上をユーザの指でタッチすることにより入力を行うタイプの装置であってもよい。
また、本開示の情報入力表示装置は、さらに、携帯電話網に接続して他の電話機と通話する機能を有するスマートフォンであってもよい。
また、本開示の情報入力表示装置は、マウス、トラックボール、ジョイスティックなど、タッチパッド以外のポインティングデバイスを備える構成でもよい。ユーザは、これらのポインティングデバイスを操作することにより軌跡を入力してもよい。
また、本開示の情報入力表示装置は、3D入力デバイスを備える構成でもよい。3D入力デバイスとは、例えば赤外線センサを利用して、3D空間におけるユーザの手や指の動き(位置の変化)を検出し、それに応じてコンピュータを操作する入力デバイスである。一例として、Leep Motion社製のLeep Motionコントローラを用いることができる。この場合、ユーザは、タッチパネルなどのポインティングデバイスを操作することなく、空中で手や指を動かすことにより軌跡を入力してもよい。
また、上記の実施形態では、CPUの処理能力が低いペンタブレットを例に説明したが、本開示の情報入力表示装置は、CPUの処理能力が低い装置に適用する場合に限定されない。本開示の情報入力表示装置は、CPUの処理能力が高い装置に適用してもよいのは勿論である。例えば、書き味が要求されるプロ用のタブレットに適用すれば、高速に描画を行うことができるので、プロのユーザを満足させることができる。
以上説明したように、本開示の情報入力表示装置は、ユーザの入力操作を受け付け、当該入力操作に応じた線描画を行う装置であれば、どのような構成であってもよい。
(2)図8のステップS1では、1ストロークの入力操作で検出したすべての座標値および筆圧を取得するとして説明した。しかし、この構成は必須ではない。ユーザの1ストロークが非常に長い場合も想定される。そこで、ソフトウェア描画部210は、タッチパネル101が検出した座標値および筆圧を順次取得して内部に保持し、それが所定の個数に達したときに、ステップS2およびステップS3以降の処理を開始する構成でもよい。実施形態2(図12)および実施形態3(図16)においても同様である。
(3)上記の実施形態では、ソフトウェア描画部の読出ドライバからタイミング信号が出力され、ハードウェア描画部のカウンタが、タイミング信号に基づき、フレーム数、ライン数、ピクセル数をカウントする構成を有していた。しかしこの構成は必須ではない。ハードウェア描画部がフレーム数、ライン数、ピクセル数を取得可能な構成であれば足りる。例えば、ソフトウェア描画部から、フレーム数、ライン数、ピクセル数が出力される構成でもよい。この場合、ハードウェア描画部のカウンタは不要である。また、ソフトウェア描画部から、フレーム数、ライン数、ピクセル数が出力される構成にすれば、1画面のペン描画更新箇所のみディスプレイの表示を書き換えるパーシャル駆動を適用することができる。パーシャル駆動を適用すれば、入力から表示までに掛かる時間をさらに短縮し、ディスプレイの書込みに要する消費電力を削減することができる。
(4)上記の実施形態では、表示部の一態様としてLCDを用いて説明した。しかし、表示部は、画面表示機能を有していれば足り、LCDに限定されないのは勿論である。LCDの代わりに、例えば有機EL(Organic Electro−Luminescence)ディスプレイを用いてもよい。なお、上記の実施形態では、入力から表示までに掛かる時間を短縮するために表示応答速度が高速なディスプレイを用いた方が好ましい。
(5)上記の実施形態では、タッチパネルは、接触位置の座標値と筆圧とを検出して、CPUおよびハードウェア描画部へ出力する構成を有していた。しかし、この構成は必須ではない。タッチパネルは少なくとも接触位置を検出して、CPUおよびハードウェア描画部へ出力する構成を有していれば足りる。また、この場合、描画制御情報は、筆圧とペンの太さとの関係式を含まなくてもよい。ペン描画処理部は、受け取った座標値を基準の筆圧に対するペン先形状で描画すればよい。
(6)上記の実施形態2では、ソフトウェア描画部210aは、所定時間内に処理されるおよそ3分の1フレームに相当する範囲の画素信号の階調を段階的に変える構成を有していた。しかし、この構成は必須ではない。ソフトウェア描画部210aは、ペン描画部分の画像の濃度を徐々に変化させる構成であれば足りる。例えば、ソフトウェア描画部210aは、ライン単位で画素信号の階調を変える構成でもよい。また、ソフトウェア描画部210aは、一画素単位で画素信号の階調を変える構成でもよい。
また、実施形態2で説明した輝度値の重み計算は一例である。上記の方法に限定されないのは勿論である。実施形態2のソフトウェア描画部210aおよびハードウェア描画部220aは、加算後の画素信号の階調が指定された階調を超えるのを抑制するように、相互にまたはいずれか一方が濃度を変化させる構成であれば足りる。例えば、ソフトウェア描画部210aは、出力する一画素についての濃度を、描画処理の経過時間に応じて濃くし、ハードウェア描画部220aは、出力する同一画素についての濃度を、描画処理の経過時間に応じて薄くすることにより、加算後のペン描画の階調が、指定された階調となるように構成してもよい。
また、実施形態2のペン描画計算部211aは、フレーム数Nおよび重み計数lを算出する構成としたが、ペン描画計算部211aは、これらの計算を行わず、CPU201aにより算出されたフレーム数Nおよび重み計数lを、CPU201aから受け取る構成でもよい。
(7)上記の実施形態2のハードウェア描画部220aは、重み計算部215を備える構成であった。しかし、重み計算部215は必須の構成ではない。ハードウェア描画部220aから加算部230へ入力されるペン描画の濃度が描画処理の経過時間に応じて徐々に薄くなる構成であればよい。例えば、ペン描画計算部211aが、それぞれ濃度が異なる複数のペン描画の画像を生成して、ペン描画メモリ213に格納してもよい。そして、ペン描画メモリ213は、描画処理の経過時間に応じて、濃度が濃い画像から薄い画像を順に出力する構成でもよい。
(8)上記の実施形態3では、5フレーム目までハードウェア描画部220bにより生成されたペン描画の画像が出力され、6フレーム目からソフトウェア描画部210bにより生成されたフレーム画像が出力される構成を有していたが、これは一例である。ソフトウェア描画部210bによるペン描画処理が完了した後に切り替える構成であればよく、例えば、5フレーム目からフレーム画像が出力されるように切り替えてもよいし、7フレーム目からフレーム画像が出力されるように切り替えてもよい。
また、例えば、ソフトウェア描画部210bからハードウェア描画部210bへ、描画完了信号を入力する構成であれば、固定値を用いなくてもよい。この構成によると、CPU201bの処理負荷に応じてソフトウェア描画部210bによるペン描画処理の処理速度が変動する場合であっても、切り替え時を柔軟に変更することが可能となる。
(9)上記の実施形態1では、図6に示したように、ハードウェア描画部220および加算部230をFPGAで構成してもよいと説明した。しかし、本開示の情報入力表示装置は、ハードウェア描画部220および加算部230をFPGAで構成する場合に限定されない。例えば、図19に示すように、ハードウェア描画部220および加算部230を、LCD112を含むディスプレイモジュール内に組み込んでもよい。
実施形態2においても同様である。ハードウェア描画部220aおよび加算部230をFPGAで構成する代わりに、LCD112を含むディスプレイモジュール内に組み込んでもよい。
また、実施形態3においても同様である。ハードウェア描画部220bおよび加算部230をFPGAで構成する代わりに、LCD112を含むディスプレイモジュール内に組み込んでもよい。
(10)ここで、ディスプレイモジュールの構成の一例を図20に示す。この例では、ディスプレイモジュール1000は、タッチセンサ1001、MPU(Micro−Processing Unit)1002、統合ドライバIC1003、GDDRAM(Graphic Display Data Random Access Memory)1004、および、表示部1005を含む。即ち、ディスプレイモジュール1000は、上記の各実施形態で説明した、ハードウェア描画部、加算部およびタッチパネルを含む。
タッチセンサ1001はペンの接触を検知すると、ペンの位置をMPU1002へ通知する。MPU1002は、通知されたペンの位置に基いて連続線を描画して、GDDRAM1004に格納する。
また、タッチセンサ1001は、統合ドライバIC1003を介して、ソフトウェア描画部2000へ、ペンの位置を通知する。ソフトウェア描画部2000は、通知されたペンの位置に基づく連続線を含むフレーム画像を生成する。
統合ドライバIC1003は、ソフトウェア描画部2000によって生成されたフレーム画像を受け取り、GDDRAM1004に格納する。
GDDRAM1004は、表示部1005の表示レート(例えば、60Hz)で、映像信号を表示部1005へ出力する。
上記の実施形態1および実施形態2では、ソフトウェア描画部で生成されたフレーム画像にハードウェア描画部で生成されたペン描画(連続線描画)を重畳するため、ソフトウェア描画部から出力する映像信号の周波数と、ハードウェア描画部から出力する映像信号の周波数とを一致させている。具体的に、LCDの表示レートが60Hzである場合、ソフトウェア描画部は、映像信号を60Hzの周波数で出力する必要がある。
一方、ディスプレイモジュール1000は、内部にGDDRAM1004を備えており、フレーム画像を格納することができる。そこで、MPU1002が高速で連続線描画を行い、その結果をGDDRAM1004に書き込めば、ディスプレイモジュール1000は、常に、表示部1005の表示レートで、連続線描画を含むフレーム画像を出力することができる。
このようなディスプレイモジュール1000を用いることで、ソフトウェア描画部2000は、出力する映像信号の周波数を、MPU1002の高速な描画処理や、表示部1005の表示レートに合わせる必要がなくなる。例えば、表示部1005の表示レートが60Hzであったとしても、ソフトウェア描画部2000は、10〜20Hz程度の低い周波数で映像信号を出力してもよい。また、ソフトウェア描画部2000は、更新箇所のみを書き換えるパーシャル駆動を行い、更新箇所の映像信号のみを間欠的に出力してもよい。
このように、ソフトウェア描画部2000は、低い周波数で映像信号を出力したり、更新箇所のみを間欠的に出力したりすることができるので、ソフトウェア描画部2000に含まれるCPUは、他の処理を優先的に行うことができる。
(11)また、本開示の情報入力表示装置を、クラウドコンピューティングシステムで実現してもよい。その一例を図21に示す。図21に示すように、情報入力表示装置は、ウェアラブル端末3000とクラウド側に存在するソフトウェア描画部4000とから構成される。
ウェアラブル端末3000は、小型且つ軽量な腕時計型の端末であって、タッチパネル3001、ハードウェア描画部、および、クラウドと無線通信を行うための無線通信部を含む。勿論これら以外にも、カメラやマイクなどの各種センサやGPS(Global Positioning System)機能などを備えていてもよい。しかし、ウェアラブル端末3000は、CPUを備えておらず、上記の各実施形態で説明したソフトウェア描画部を備えていない。
ウェアラブル端末3000は、タッチパネル3001によりユーザ入力を受け付けると、内部のハードウェア描画部により連続線描画を行い、その結果をタッチパネル3001に出力するとともに、無線通信部を介して、クラウド側のソフトウェア描画部4000へ接触位置を通知して、ソフトウェア描画処理を依頼する。ウェアラブル端末3000は、無線通信部を介して、ソフトウェア描画部4000から映像信号を受信すると、ハードウェア描画部による連続線描画と合成してタッチパネル3001に出力する。ここで、クラウドは、CPUを備えるスマートフォンやタブレット端末で実現してもよいし、ネットワーク上のサーバ装置で実現してもよい。
なお、ここでは一例として、腕時計型の端末を図示しているが、ウェアラブル端末3000の形態は腕時計型に限定されない。また、必ずしもユーザが身に着けるタイプの所謂ウェアラブル端末に限定されない。非力なCPUしか備えていな端末とクラウドとの組み合わせでもよいし、CPUを備えていない端末とクラウドとの組み合わせでもよい。
(12)上記の実施形態および上記の変形例を適宜組み合わせてもよい。
<6.補足>
以上説明したように、本開示は、例えば、以下に示す各態様の発明を含むものである。
以上説明したように、本開示は、例えば、以下に示す各態様の発明を含むものである。
(a)本開示の第1態様は、情報入力表示装置であって、接触を検知し、接触位置を出力するセンサと、1画面分の映像信号を表示する表示部と、前記接触位置に係る連続線描画を含む1画面分の映像信号を生成する第1の描画部と、前記接触位置に係る連続線描画の映像信号を、前記第1の描画部よりも高速に生成する第2の描画部と、前記第1の描画部により生成された映像信号に、前記第2の描画部により生成されたペン描画の映像信号を加算する加算部とを備え、前記第1の描画部および前記第2の描画部の少なくとも一方は、出力する連続線描画部分の映像信号を、描画処理の経過時間に応じて変化させる。
この構成によると、処理が高速な第2の描画部を用いてペン描画を行うことにより、ペン入力から表示までに掛かる時間を短縮することができる。これにより、ユーザに自然な書き味を提供することができる。
また、第1の描画部および第2の描画部は、描画処理の経過時間に応じて、出力する映像信号を変化させることにより、それぞれが生成した連続線描画の画像が重なり合う部分の映像信号を調整することができる。
(b)本開示の第2態様は、前記第1態様の前記情報入力表示装置において、さらに、連続線描画の輝度を表す設定情報を取得して保持する設定情報保持手段を備え、前記第1の描画部および前記第2の描画部の少なくとも一方は、前記加算部で加算された後に前記表示部に表示される前記映像信号が、前記設定情報により表わされる前記輝度を超えないように、出力する連続線描画部分の映像信号の輝度を、描画処理の経過時間に応じて変化させてもよい。
この構成によると、第1の描画部および第2の描画部のそれぞれが生成した連続線描画の画像が重なり合う部分においても設定されている輝度の所定範囲内で表示することができる。特に、本来は中間調(グレー)で表示すべき連続線描画の画像が、中間調の重ね合わせにより白に変化してしまうなどの視覚的に目立ちやすい変化を抑制することができる。
(c)本開示の第3態様は、前記第2態様において、前記第2の描画部は、メモリと、前記センサから前記接触位置を取得し、ドットパターンを示す描画制御情報を用いて、前記連続線描画の映像信号を生成し、生成した前記連続線描画の映像信号を前記メモリに格納する連続線描画計算部とを含み、前記メモリは、前記第1の描画部から出力された映像信号の画素位置を通知されると、格納している前記連続線描画の画像のうち、通知された前記画素位置に一致する画素信号を出力してもよい。
この構成によると、加算部は、第1の描画部により生成された画像の適切な位置に、第2の描画部により生成された連続線描画の画像と合成することができる。
(d)本開示の第4態様は、前記第3態様において、前記第1の描画部は、連続線描画の一部が完了するごとに、完了した前記一部の位置を示す完了位置情報を、前記第2の描画部へ通知し、前記第2の描画部は、さらに、前記第1の描画部から通知された前記完了位置情報が示す位置に該当する前記連続線描画の画像を、前記メモリから消去するメモリ消去部を備えてもよい。
この構成によると、第1の描画部による連続線描画と第2の描画部による連続線描画との重複部分が生じない。そのため、表示部には、常に一定の階調の連続線描画の画像が表示される。
(e)本開示の第5態様は、前記第3態様において、前記第1の描画部は、出力する一画素についての濃度を、描画処理の経過時間に応じて濃くし、前記第2の描画部は、出力する同一画素についての濃度を、描画処理の経過時間に応じて薄くしてもよい。
ここで、映像信号の濃度は、メモリに書き込む映像信号の輝度値を変更したり、メモリから読み出した後の映像信号の輝度値を変更したりすることにより変更することができる。また、映像信号がフルカラーである場合には、RGBそれぞれの輝度値を変更することにより、濃度を変更することができる。
この構成によると、第1の描画部による連続線描画と第2の描画部による連続線描画とを合成したときに、設定情報に指定されている輝度を超えるのを抑制することができる。
(f)本開示の第6態様は、前記第5態様において、前記第1の描画部は、前記設定情報により表わされる前記輝度に、描画処理の経過時間に応じて異なる重みづけをして前記連続線描画部分の映像信号を生成し、前記第2の描画部は、さらに、前記メモリから出力された前記映像信号に、描画処理の経過時間に応じて異なる重みづけをして前記加算部に入力する重み計算部を備えてもよい。
この構成によると、第2の描画部は、出力時に映像信号に段階的に重みづけするため、それぞれ濃度が異なる複数の前記ペン描画の映像信号を生成して、前記メモリに格納しておく必要がない。
(g)本開示の第7態様は、前記第5態様において、前記連続線描画計算部は、それぞれ濃度が異なる複数の前記ペン描画の映像信号を生成して、前記メモリに格納し、前記メモリは、描画処理の経過時間に応じて、濃度が濃い映像信号から薄い映像信号を順に出力してもよい。
この構成によると、前記メモリに複数の連続線描画の映像信号を保持しておく必要がある。しかし、上記のように重み計算部が出力時に映像信号に重みづけを行う必要がないので、出力の遅れが抑制され、加算部は、第1の描画部により生成された画像の適切な位置に、第2の描画部により生成された連続線描画の画像を合成することができる。
(h)本開示の第8態様は、情報入力表示装置であって、接触を検知し、接触位置を出力するセンサと、1画面分の映像信号を表示する表示部と、前記接触位置に係る連続線描画を含む1画面分の映像信号を生成する第1の描画部と、前記接触位置に係る連続線描画の映像信号を、前記第1の描画部よりも高速に生成する第2の描画部と、前記第1の描画部により生成された映像信号に、前記第2の描画部により生成された連続線描画の映像信号を加算する加算部とを備え、
前記第1の描画部は、1ストロークに係る連続線描画が完了した後に前記連続線描画を含む1画面分の映像信号を出力し、
前記第2の描画部は、前記第1の描画部による前記1ストロークに係る連続線描画が完了するまで、前記連続線描画の映像信号を出力し、前記第1の描画部による前記1ストロークに係る連続線描画が完了した後には、前記連続線描画の映像信号の出力を停止する。
前記第1の描画部は、1ストロークに係る連続線描画が完了した後に前記連続線描画を含む1画面分の映像信号を出力し、
前記第2の描画部は、前記第1の描画部による前記1ストロークに係る連続線描画が完了するまで、前記連続線描画の映像信号を出力し、前記第1の描画部による前記1ストロークに係る連続線描画が完了した後には、前記連続線描画の映像信号の出力を停止する。
ここで、1ストロークとは、センサが接触を検知してから接触の検知を終了するまでの操作を示す。
この構成によると、ユーザにより入力が完了した直後から表示部には連続線描画の全体が表示され、その後も常に一定の階調で連続線描画が表示される。
本発明に係る情報入力表示装置は、ペンタブレットを製造および販売する産業において、入力から表示までに掛かる時間を短縮し、ユーザに自然な書き味を提供する技術として利用することができる。
1 ペンタブレット
101、3001 タッチパネル
102 記憶部
103、103a、103b ペン描画処理部
104 制御部
105 通信制御部
106 アンテナ
107 カメラ
108 スピーカ
109 マイク
210、210a、210b、2000、4000 ソフトウェア描画部
220、220a、220b ハードウェア描画部
230 加算部
201、201a、201b CPU
202 メインメモリ
203 フレームメモリ
204、204b 読出書込ドライバ
205、205b 読出ドライバ
211、211a ペン描画計算部
212、212a、212b カウンタ
213 ペン描画メモリ
214 メモリ消去部
215 重み計算部
1000 ディスプレイモジュール
1001 タッチセンサ
1002 MPU
1003 統合ドライバIC
1004 GDDRAM
1005 表示部
3000 ウェアラブル端末
101、3001 タッチパネル
102 記憶部
103、103a、103b ペン描画処理部
104 制御部
105 通信制御部
106 アンテナ
107 カメラ
108 スピーカ
109 マイク
210、210a、210b、2000、4000 ソフトウェア描画部
220、220a、220b ハードウェア描画部
230 加算部
201、201a、201b CPU
202 メインメモリ
203 フレームメモリ
204、204b 読出書込ドライバ
205、205b 読出ドライバ
211、211a ペン描画計算部
212、212a、212b カウンタ
213 ペン描画メモリ
214 メモリ消去部
215 重み計算部
1000 ディスプレイモジュール
1001 タッチセンサ
1002 MPU
1003 統合ドライバIC
1004 GDDRAM
1005 表示部
3000 ウェアラブル端末
Claims (10)
- 接触を検知し、接触位置を出力するセンサと、
1画面分の映像信号を表示する表示部と、
前記接触位置に係る連続線描画を含む1画面分の映像信号を生成する第1の描画部と、
前記接触位置に係る連続線描画の映像信号を、前記第1の描画部よりも高速に生成する第2の描画部と、
前記第1の描画部により生成された映像信号に、前記第2の描画部により生成されたペン描画の映像信号を加算する加算部とを備え、
前記第1の描画部および前記第2の描画部の少なくとも一方は、出力する連続線描画部分の映像信号を、描画処理の経過時間に応じて変化させる
ことを特徴とする情報入力表示装置。 - 前記情報入力表示装置は、さらに、
連続線描画の輝度を表す設定情報を取得して保持する設定情報保持手段を備え、
前記第1の描画部および前記第2の描画部の少なくとも一方は、前記加算部で加算された後に前記表示部に表示される前記映像信号が、前記設定情報により表わされる前記輝度を超えないように、出力する連続線描画部分の映像信号の輝度を、描画処理の経過時間に応じて変化させる
ことを特徴とする請求項1に記載の情報入力表示装置。 - 前記第2の描画部は、
メモリと、
前記センサから前記接触位置を取得し、ドットパターンを示す描画制御情報を用いて、前記連続線描画の映像信号を生成し、生成した前記連続線描画の映像信号を前記メモリに格納する連続線描画計算部とを含み、
前記メモリは、前記第1の描画部から出力された映像信号の画素位置を通知されると、格納している前記連続線描画の画像のうち、通知された前記画素位置に一致する画素信号を出力する
ことを特徴とする請求項2に記載の情報入力表示装置。 - 前記第1の描画部は、連続線描画の一部が完了するごとに、完了した前記一部の位置を示す完了位置情報を、前記第2の描画部へ通知し、
前記第2の描画部は、さらに、
前記第1の描画部から通知された前記完了位置情報が示す位置に該当する前記連続線描画の画像を、前記メモリから消去するメモリ消去部を備える
ことを特徴とする請求項3に記載の情報入力表示装置。 - 前記第1の描画部は、出力する一画素についての濃度を、描画処理の経過時間に応じて濃くし、
前記第2の描画部は、出力する同一画素についての濃度を、描画処理の経過時間に応じて薄くする
ことを特徴とする請求項3に記載の情報入力表示装置。 - 前記第1の描画部は、前記設定情報により表わされる前記輝度に、描画処理の経過時間に応じて異なる重みづけをして前記連続線描画部分の映像信号を生成し、
前記第2の描画部は、さらに、
前記メモリから出力された前記映像信号に、描画処理の経過時間に応じて異なる重みづけをして前記加算部に入力する重み計算部を備える
ことを特徴とする請求項5に記載の情報入力表示装置。 - 前記連続線描画計算部は、それぞれ濃度が異なる複数の前記ペン描画の映像信号を生成して、前記メモリに格納し、
前記メモリは、描画処理の経過時間に応じて、濃度が濃い映像信号から薄い映像信号を順に出力する
ことを特徴とする請求項5に記載の情報入力表示装置。 - 接触を検知し、接触位置を出力するセンサと、
1画面分の映像信号を表示する表示部と、
前記接触位置に係る連続線描画を含む1画面分の映像信号を生成する第1の描画部と、
前記接触位置に係る連続線描画の映像信号を、前記第1の描画部よりも高速に生成する第2の描画部と、
前記第1の描画部により生成された映像信号に、前記第2の描画部により生成された連続線描画の映像信号を加算する加算部とを備え、
前記第1の描画部は、1ストロークに係る連続線描画が完了した後に前記連続線描画を含む1画面分の映像信号を出力し、
前記第2の描画部は、前記第1の描画部による前記1ストロークに係る連続線描画が完了するまで、前記連続線描画の映像信号を出力し、前記第1の描画部による前記1ストロークに係る連続線描画が完了した後には、前記連続線描画の映像信号の出力を停止する
ことを特徴とする情報入力表示装置。 - センサと1画面分の映像信号を表示する表示部とを備える情報入力表示装置で用いる情報入力表示方法であって、
接触を検知し、接触位置を出力する検知ステップと、
前記接触位置に係る連続線描画を含む1画面分の映像信号を生成する第1の描画ステップと、
前記接触位置に係る連続線描画の映像信号を、前記第1の描画ステップよりも高速に生成する第2の描画ステップと、
前記第1の描画ステップにより生成された映像信号に、前記第2の描画ステップにより生成された連続線描画の映像信号を加算する加算ステップとを含み、
前記第1の描画ステップおよび前記第2の描画ステップの少なくとも一方は、出力する連続線描画部分の映像信号を、描画処理の経過時間に応じて変化させる
ことを特徴とする情報入力表示方法。 - センサと1画面分の映像信号を表示する表示部とを備える情報入力表示装置で用いる情報入力表示方法であって、
接触を検知し、接触位置を出力する検知ステップと、
前記接触位置に係る連続線描画を含む1画面分の映像信号を生成する第1の描画ステップと、
前記接触位置に係る連続線描画の映像信号を、前記第1の描画ステップよりも高速に生成する第2の描画ステップと、
前記第1の描画ステップにより生成された映像信号に、前記第2の描画ステップにより生成された連続線描画の映像信号を加算する加算ステップとを含み、
前記第1の描画ステップは、1ストロークに係る連続線描画が完了した後に前記連続線描画を含む1画面分の映像信号を出力し、
前記第2の描画ステップは、前記第1の描画ステップによる前記1ストロークに係る連続線描画が完了するまで、前記連続線描画の映像信号を出力し、前記第1の描画ステップによる前記1ストロークに係る連続線描画が完了した後には、前記連続線描画の映像信号の出力を停止する
ことを特徴とする情報入力表示方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013094490 | 2013-04-26 | ||
JP2013094490 | 2013-04-26 | ||
PCT/JP2014/002201 WO2014174814A1 (ja) | 2013-04-26 | 2014-04-18 | 情報入力表示装置および情報入力表示方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2014174814A1 JPWO2014174814A1 (ja) | 2017-02-23 |
JP6166364B2 true JP6166364B2 (ja) | 2017-07-19 |
Family
ID=51791402
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015513556A Expired - Fee Related JP6166364B2 (ja) | 2013-04-26 | 2014-04-18 | 情報入力表示装置および情報入力表示方法 |
Country Status (3)
Country | Link |
---|---|
US (1) | US9613444B2 (ja) |
JP (1) | JP6166364B2 (ja) |
WO (1) | WO2014174814A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
USD756375S1 (en) * | 2013-10-04 | 2016-05-17 | Panasonic Intellectual Property Management Co., Ltd. | Display screen with animated graphical user interface |
US10725650B2 (en) * | 2014-03-17 | 2020-07-28 | Kabushiki Kaisha Kawai Gakki Seisakusho | Handwritten music sign recognition device and program |
JP6230755B2 (ja) | 2015-04-20 | 2017-11-15 | 株式会社ワコム | アクティブスタイラス及びセンサコントローラを用いた方法、センサコントローラ、並びにアクティブスタイラス |
CN107037901A (zh) * | 2016-02-04 | 2017-08-11 | 中兴通讯股份有限公司 | 一种图像生成方法、终端和图形用户界面 |
CN109074174A (zh) * | 2016-02-25 | 2018-12-21 | 头脑魔法株式会社 | 输入辅助装置及绘图系统 |
TWI641987B (zh) * | 2017-07-10 | 2018-11-21 | 宏碁股份有限公司 | 電子裝置以及顯示圖像產生方法 |
CN109308140B (zh) * | 2017-07-27 | 2021-12-31 | 宏碁股份有限公司 | 电子装置以及显示图像产生方法 |
US20190278387A1 (en) * | 2018-03-07 | 2019-09-12 | Dell Products L.P. | System and Method of Utilizing an Activation Force with a Stylus |
US10783226B2 (en) | 2018-09-04 | 2020-09-22 | Dell Products L.P. | System and method of utilizing a stylus |
JPWO2022034807A1 (ja) * | 2020-08-13 | 2022-02-17 | ||
CN117032603A (zh) * | 2022-05-09 | 2023-11-10 | 株式会社和冠 | 计算机 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5237650A (en) * | 1989-07-26 | 1993-08-17 | Sun Microsystems, Inc. | Method and apparatus for spatial anti-aliased depth cueing |
JP3043378B2 (ja) | 1990-07-13 | 2000-05-22 | キヤノン株式会社 | 表示制御装置および表示制御方法 |
JPH05265441A (ja) * | 1992-03-19 | 1993-10-15 | Yokogawa Electric Corp | グラフィック表示装置 |
JP3388451B2 (ja) | 1993-05-21 | 2003-03-24 | カシオ計算機株式会社 | 手書き入力装置 |
US5761340A (en) | 1993-04-28 | 1998-06-02 | Casio Computer Co., Ltd. | Data editing method and system for a pen type input device |
JP2660795B2 (ja) * | 1993-06-14 | 1997-10-08 | 株式会社日立製作所 | 手書き入力編集方法 |
JPH08286808A (ja) | 1995-04-18 | 1996-11-01 | Canon Inc | 軌跡入出力電子装置及びその表示制御方法 |
US5619631A (en) * | 1995-06-07 | 1997-04-08 | Binaryblitz | Method and apparatus for data alteration by manipulation of representational graphs |
JP2008131498A (ja) * | 2006-11-22 | 2008-06-05 | Matsushita Electric Ind Co Ltd | 映像処理装置 |
US8643644B2 (en) * | 2008-03-20 | 2014-02-04 | Qualcomm Incorporated | Multi-stage tessellation for graphics rendering |
JP5278058B2 (ja) * | 2009-03-13 | 2013-09-04 | セイコーエプソン株式会社 | 表示装置 |
US20110249007A1 (en) * | 2010-04-13 | 2011-10-13 | Disney Enterprises, Inc. | Computer rendering of drawing-tool strokes |
JP2012185694A (ja) * | 2011-03-07 | 2012-09-27 | Elmo Co Ltd | 描画システム |
-
2014
- 2014-04-18 JP JP2015513556A patent/JP6166364B2/ja not_active Expired - Fee Related
- 2014-04-18 WO PCT/JP2014/002201 patent/WO2014174814A1/ja active Application Filing
- 2014-04-18 US US14/427,657 patent/US9613444B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPWO2014174814A1 (ja) | 2017-02-23 |
US20150235391A1 (en) | 2015-08-20 |
US9613444B2 (en) | 2017-04-04 |
WO2014174814A1 (ja) | 2014-10-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6166364B2 (ja) | 情報入力表示装置および情報入力表示方法 | |
EP3531230B1 (en) | Electronic device including flexible display and method for controlling same | |
US11212449B1 (en) | User interfaces for media capture and management | |
US10915070B2 (en) | Image display apparatus, image display method and storage medium | |
CN113225427B (zh) | 一种图像显示的方法及终端设备 | |
CN109298912B (zh) | 主题色彩的调节方法、装置、存储介质及电子设备 | |
US10978027B2 (en) | Electronic display partial image frame update systems and methods | |
CN108241213A (zh) | 头戴式显示器及其控制方法 | |
KR101997776B1 (ko) | 디스플레이 장치의 소모 전력을 감소시키기 위한 방법 및 그 전자 장치 | |
CN111083417B (zh) | 图像处理方法及相关产品 | |
JP2021516818A (ja) | アプリケーションプログラムの表示適応方法及びその装置、端末、記憶媒体、並びにコンピュータプログラム | |
CN109948581B (zh) | 图文渲染方法、装置、设备及可读存储介质 | |
CN107958439A (zh) | 图像处理方法及装置 | |
CN107341777A (zh) | 图片处理方法及装置 | |
CN113452929B (zh) | 视频渲染方法、装置、电子设备及存储介质 | |
CN104571712B (zh) | 触控显示装置及触摸屏画线显示方法 | |
CN112905280A (zh) | 页面显示方法、装置、设备及存储介质 | |
CN114904279A (zh) | 数据预处理方法、装置、介质及设备 | |
CN108604367B (zh) | 一种显示方法以及手持电子设备 | |
JP2013162221A (ja) | 情報処理装置、情報処理方法、情報処理プログラム | |
US9947278B2 (en) | Display method and device and computer-readable medium | |
KR20110137629A (ko) | 텍스쳐 효과 제공방법 및 이를 적용한 디스플레이 장치 | |
US11955054B1 (en) | Foveated display burn-in statistics and burn-in compensation systems and methods | |
CN116204151A (zh) | 页面显示方法、装置、电子设备和可读存储介质 | |
TWI386840B (zh) | 可體現電子檔案翻頁效果的電子裝置及其方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170530 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170622 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6166364 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
LAPS | Cancellation because of no payment of annual fees |