JP5420807B1 - 表示制御システム、指示装置および表示パネル - Google Patents
表示制御システム、指示装置および表示パネル Download PDFInfo
- Publication number
- JP5420807B1 JP5420807B1 JP2013539833A JP2013539833A JP5420807B1 JP 5420807 B1 JP5420807 B1 JP 5420807B1 JP 2013539833 A JP2013539833 A JP 2013539833A JP 2013539833 A JP2013539833 A JP 2013539833A JP 5420807 B1 JP5420807 B1 JP 5420807B1
- Authority
- JP
- Japan
- Prior art keywords
- display
- unit
- black matrix
- display unit
- position information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000011159 matrix material Substances 0.000 claims abstract description 47
- 230000003287 optical effect Effects 0.000 claims abstract description 33
- 238000000034 method Methods 0.000 description 12
- 238000012545 processing Methods 0.000 description 11
- 230000004044 response Effects 0.000 description 7
- 239000011521 glass Substances 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 239000000758 substrate Substances 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 239000006229 carbon black Substances 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000000059 patterning Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Position Input By Displaying (AREA)
- Liquid Crystal (AREA)
- Devices For Indicating Variable Information By Combining Individual Elements (AREA)
Abstract
表示制御システム(100)において、指示装置(10)で指示された表示パネル(24)上の位置に応じた表示制御を行う。表示パネル(24)は、画素領域がブラックマトリクスによって区画されており、平面位置を表す位置情報パターンが形成されている。指示装置(10)は、指示した位置における、位置情報パターンを含む画像を撮像する読取部(15)を備えている。読取部(15)の光学系(15a)の解像度が、表示パネル(24)におけるブラックマトリクスが除去されるように、低く設定されている。
Description
本開示は、デジタルディスプレイの表示面に対して手書き入力が可能な表示制御システムに関する。
特許文献1は、ペンを用いて紙の上に文字等を記入する際に、紙に記入した情報を電子化し、その電子化された情報をサーバや端末に送信する技術を開示する。
本開示は、表示装置の表示面にレスポンス良く手書き入力を実行可能な表示制御システムを提供する。
本開示における表示制御システムは、表示部を有する表示装置と、表示部上の位置を指示するための指示装置とを備え、指示装置によって指示された位置に応じた表示制御を行うものであり、表示装置の表示部は、画素領域がブラックマトリクスによって区画されており、かつ、当該表示部における平面位置を表す位置情報パターンが形成されており、指示装置は、表示部上の位置を指示するための指示部と、指示部によって指示された位置における、位置情報パターンを含む画像を撮像する読取部とを備えており、読取部における光学系の解像度は、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか1つよりも、低い。
本開示における表示制御システムは、位置を特定するための画像認識処理に要する時間が格段に短縮され、レスポンスの良い手書き入力を実現できる。
近年、スタイラスのような筆記具を用いて表示装置の表示面に文字等を記入することによって、該表示面に筆記具の軌跡をそのまま表示させるという手書き入力可能なシステムが開発されている。しかし、そのようなシステムは、未だ発展途上である。特に、高精細な手書き入力の点においては、まだまだ開発の余地がある。
このような表示制御システムの1つとして、表示部に平面位置を示す位置情報パターンを形成し、それを指示装置によって光学的に読み取ることによって、指示位置の検出を行い、軌跡表示等を行う構成が考えられる。
上のような光学読み取りを利用した表示制御システムでは、次のような問題が生じることが予想される。例えば液晶表示パネルでは、表示部には、画素領域を区画するためのブラックマトリクスが形成されている。このため、上のような表示制御システムに液晶表示パネルを用いる場合、位置情報パターンを光学的に読み取る際に、ブラックマトリクスの画像がその妨げになってしまう可能性がある。もちろん、指示装置で撮像した画像から画像処理や計算処理によってブラックマトリクスを除去することは可能であるが、そのための処理が重くなり、よって、軌跡表示等までのレスポンスが悪くなる。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
[1.表示制御システムの概要]
図1は実施形態に係る表示制御システム100の外観を示す概略図である。表示制御システム100は、指示装置としての光学式デジタルペン(以下、単に「デジタルペン」と称する。)10と、表示装置20とを備えている。詳しくは後述するが、表示装置20は例えば液晶ディスプレイであり、表示部21に様々な対象を表示することができる。また、表示部21には、表示部21における平面位置を表す位置情報パターンとしてのドットパターンが記されている。デジタルペン10は、ドットパターンを光学的に読み取ることによって、指定した位置の位置情報を検出し、該位置情報を表示装置20に送信する。表示装置20は、該位置情報を入力として受け取り、様々な処理を行う。すなわち、デジタルペン10は、読み取り装置として機能すると共に、表示制御システム100へのデータ入力装置としても機能する。
図1は実施形態に係る表示制御システム100の外観を示す概略図である。表示制御システム100は、指示装置としての光学式デジタルペン(以下、単に「デジタルペン」と称する。)10と、表示装置20とを備えている。詳しくは後述するが、表示装置20は例えば液晶ディスプレイであり、表示部21に様々な対象を表示することができる。また、表示部21には、表示部21における平面位置を表す位置情報パターンとしてのドットパターンが記されている。デジタルペン10は、ドットパターンを光学的に読み取ることによって、指定した位置の位置情報を検出し、該位置情報を表示装置20に送信する。表示装置20は、該位置情報を入力として受け取り、様々な処理を行う。すなわち、デジタルペン10は、読み取り装置として機能すると共に、表示制御システム100へのデータ入力装置としても機能する。
例えば、表示装置20は、デジタルペン10の移動に追従して、表示部21における指定された位置に点を連続的に表示することによって、デジタルペン10の先端の軌跡を表示することができる。すなわち、デジタルペン10を用いて表示部21に文字や図形等を記入することができる。また、表示装置20は、デジタルペン10の移動に追従して、表示部21における指定された位置の表示を連続的に消去することによって、デジタルペン10の先端の軌跡と一致する部分の表示を消去することができる。すなわち、デジタルペン10を消しゴムのように使用することができる。さらには、表示装置20は、表示部21における指定された位置を表示することによって、デジタルペン10をマウスのような入力装置として使用することができる。このように、表示制御システム100においては、デジタルペン10を表示装置20の表示部21上で動かすことによってデジタルペン10の位置が入力として表示装置20に入力され、表示装置20が該入力に応じて表示内容を変更する。
[2.表示装置の構成]
以下、表示装置20について説明する。図2は表示制御システム100の概略構成を示すブロック図である。
以下、表示装置20について説明する。図2は表示制御システム100の概略構成を示すブロック図である。
表示装置20は、外部からの信号を受信する受信部22と、表示装置20全体を制御する表示側マイコン23と、画像を表示する表示パネル24と、を有している。本実施形態の表示パネル24は液晶パネルである。
受信部22は、詳しくは後述する、デジタルペン10から送信された信号を受信する。受信部22が受信した信号は、表示側マイコン23に送られる。
表示側マイコン23は、CPUやメモリなどから構成されており、CPUを動作させるためのプログラムも実装されている。表示側マイコン23は、制御部の一例である。例えば、表示側マイコン23は、デジタルペン10から送信された信号に基づいて表示パネル24を制御して、表示部21に表示させる内容を変更する。
図3は表示パネル24の概略断面図である。表示パネル24の基本的な構成は、一般的な液晶パネルの構成と同様である。詳しくは、表示パネル24は、一対のガラス基板25と、各ガラス基板25の外表面に設けられた偏光フィルタ26と、一対のガラス基板25の間に設けられた一対の配向膜27と、一対の配向膜27の間に設けられた液晶層28と、各配向膜27に設けられた透明電極29と、表面側のガラス基板25と透明電極29との間に設けられたカラーフィルタ30とを有している。表示部21に様々な画像が表示される。詳しくは後述するが、前記ドットパターンは、カラーフィルタ30に記されている。ドットパターンは、位置情報パターンの一例である。
[3.デジタルペンの構成]
次に、デジタルペン10の詳細な構成について説明する。図4は、デジタルペン10の概略構成を示す断面図である。
次に、デジタルペン10の詳細な構成について説明する。図4は、デジタルペン10の概略構成を示す断面図である。
デジタルペン10は、円筒状の本体部11と、本体部11の先端に取り付けられたペン先部12と、ペン先部12に作用する圧力を検出する圧力センサ13と、赤外光を出射する照射部14と、入射してきた赤外光を読み取る読取部15と、デジタルペン10を制御する制御部16と、外部へ信号を出力する送信部17と、デジタルペン10の各部材に電力を供給する電源19とを有している。
本体部11は、一般的なペンと同様の円筒で形成されている。ペン先部12は、先細形状であって、その先端は表示面21を傷つけない程度に丸く形成されている。また、ペン先部12の形状は、ユーザが表示面21に表示される画像を認識しやすい形状であることが好ましい。
圧力センサ13は、本体部11に内蔵され、ペン先部12の基端部に連結されている。圧力センサ13は、ペン先部12に加わる圧力を検出し、その検出結果を制御部16へ送信する。具体的には、圧力センサ13は、ユーザがデジタルペン10を用いて表示面21上に文字などを記入する際にペン先部12に加わる圧力を検出する。つまり、圧力センサ13は、デジタルペン10を用いたユーザの入力意思の有無を判定する際に用いられる。
照射部14は、本体部11の先端部であって、ペン先部12の近傍に設けられている。照射部14は、例えば、赤外線LEDで構成されており、本体部11の先端から赤外光を照射するように構成されている。
読取部15は、本体部11の先端部であって、ペン先部12の近傍に設けられている。読取部15は、対物レンズ15aと、撮像素子15bとを有している。対物レンズ15aは、入射してくる光を撮像素子15bに結像させる。対物レンズ15aは本体部11の先端部に設けられているので、対物レンズ15aには、照射部14から出射され、表示装置20で反射した赤外光が入射する。撮像素子15bは、対物レンズ15aの光軸上に設けられている。撮像素子15bは、撮像面に結像した光学像を電気信号に変換して制御部16へ出力する。撮像素子15bは、例えば、CCDイメージセンサやCMOSイメージセンサで構成される。詳しくは後述するが、前記ドットパターンは赤外光を吸収する材料で形成されているので、ドットパターンからは赤外光が返ってこない。その結果、ドットパターンが黒く表現された光学像が撮像素子15bに撮像される。
制御部16は、図2に示すように、特定部16aと、ペン側マイコン16bとを有する。特定部16aは、読取部15からの画像信号に基づいてデジタルペン10の表示面21上の位置情報を特定する。詳しくは、特定部16aは、読取部15が取得した画像信号からドットパターンを取得し、該ドットパターンに基づいてペン先部12の、表示面21上の位置を特定する。特定部16aにより特定されたペン先部12の位置に関する情報は、ペン側マイコン16bへ送られる。ペン側マイコン16bは、デジタルペン10全体を制御する。ペン側マイコン16bは、CPUやメモリなどから構成されており、CPUを動作させるためのプログラムも実装されている。
送信部17は、信号を外部に送信する。具体的には、送信部17は、特定部16aにより特定した位置情報を外部へ無線送信する。送信部17は、表示装置20の受信部22と近距離無線通信を行う。送信部17は、本体部11のうちペン先部12とは反対側の端部に設けられている。
[4.カラーフィルタの詳細構造]
続いて、カラーフィルタ30の詳細構造について説明する。図5は、カラーフィルタ30の平面図である。
続いて、カラーフィルタ30の詳細構造について説明する。図5は、カラーフィルタ30の平面図である。
カラーフィルタ30は、ブラックマトリクス31と、該ブラックマトリクス31により区画され、特定の色の光を透過させる複数の画素領域32と、画素領域32内に設けられたドット33とを有している。画素領域32には、赤色(R)の光を透過させる赤色画素領域32rと、緑色(G)の光を透過させる緑色画素領域32gと、青色(B)の光を透過させる青色画素領域32bとを含んでいる。各画素領域32は、表示パネル24のサブピクセルに対応している。尚、透過させる色を区別しないときには、単に、「画素領域32」と称する。ブラックマトリクス31は、画素領域32の長手方向に延びる縦線と、画素領域32の短手方向に延びる横線とを含み、格子状に形成されている。横線は、縦線に比べて、太く形成されている。ブラックマトリクス31及びドット33は、カーボンブラックを主成分とする材料で形成されている。ドット33は、中実の円形に形成されている。ドット33は、全ての画素領域32ではなく、いくつかの画素領域32に設けられている。カラーフィルタ30においては、複数のドット33が一かたまりとなってドットパターンを形成している。このドットパターンは、カラーフィルタ30の位置に応じて異なっている。
以下に、ドットパターンについて詳しく説明する。
まず、カラーフィルタ30上に第1基準線34と第2基準線35とを規定する。これら第1及び第2基準線34,35は、仮想的な線であり、実際には存在する線ではない。第1基準線34は、画素領域32の短手方向に延びる直線である。第1基準線34は、画素領域32の長手方向に画素領域32を2つおきに、複数並設されている。各第1基準線34は、画素領域32の長手方向中央に位置している。第2基準線35は、画素領域32の長手方向に延びる直線である。第2基準線35は、緑色画素領域32g上に設けられており、画素領域32の短手方向に緑色セル32gを2つおきに、複数並設されている。各第2基準線35は、緑色画素領域32gの短手方向中央に位置している。これら第1基準線34及び第2基準線35により、カラーフィルタ30上には格子が規定される。
各ドット33は、第1基準線34と第2基準線35との交点の周辺に配置される。図6は、ドット33の配置パターンを示す図である。ドット33は、該交点から、互いに直交する四方(図5,6では、上下左右)の何れかにずれた位置に配置される。具体的には、ドット33は、図6(A)〜(D)の何れかの配置となる。図6(A)の配置では、ドット33は、第1基準線34と第2基準線35との交点から、第1基準線34上を右側にずれた位置に配置される。このとき、ドット33は、青色画素領域32b上に配置される。この配置を数値化する際には「1」で表す。図6(B)の配置では、ドット33は、第1基準線34と第2基準線35との交点から、第2基準線35上を上側にずれた位置に配置される。このとき、ドット33は、緑色画素領域32g上に配置される。この配置を数値化する際には「2」で表す。図6(C)の配置では、ドット33は、第1基準線34と第2基準線35との交点から、第1基準線34上を左側にずれた位置に配置される。このとき、ドット33は、赤色画素領域32r上に配置される。この配置を数値化する際には「3」で表す。図6(D)の配置では、ドット33は、第1基準線34と第2基準線35との交点から、第2基準線35上を下側にずれた位置に配置される。このとき、ドット33は、緑色画素領域32g上に配置される。この配置を数値化する際には「4」で表す。
そして、6ドット×6ドットを1つの単位エリアとして、単位エリアに含まれる36個のドット33で1つのドットパターンを形成する。単位エリアに含まれる36個のドット33のそれぞれを前記「1」〜「4」の何れかの配置とすることによって、膨大な数のドットパターンを形成することができる。各単位エリアのドットパターンは、全て異なっている。
これらのドットパターンの1つ1つには、情報が付加されている。詳しくは、各ドットパターンは、単位エリアごとの位置座標を表している。つまり、カラーフィルタ30を、6ドット×6ドットの単位エリアで分割すると、各ドットパターンはその単位エリアの位置座標を表している。このようなドットパターンのパターンニングや座標変換の方法は、例えば、特開2006−141067号公報に開示されているような公知の方法を用いることができる。
[5.本実施形態の特徴および動作]
本実施形態では、デジタルペン10の読取部15における光学系に特徴がある。すなわち、ブラックマトリクスのパターンが予め除去された撮像画像が得られるように、読取部15における光学系の解像度が低く設定されている。光学系の解像度は、レンズの開口数NAやF値と光の波長λとから求められる分解能の値の逆数に相当し、分解能の値が小さいときは高く、大きいときは低い。例えば図4の構成では、対物レンズ15aとして低解像度レンズを用いている。これにより、ドットパターンを含む撮像画像からブラックマトリクスのパターンを除去するための画像処理が不要になるため、位置を特定するための画像認識処理に要する時間が格段に短縮される。したがって、デジタルペン10の動きに対するレスポンスが大幅に改善される。つまり、本実施形態では、低解像度レンズが、画像処理における空間周波数フィルタリングと同じ効果を持つことを利用している。
本実施形態では、デジタルペン10の読取部15における光学系に特徴がある。すなわち、ブラックマトリクスのパターンが予め除去された撮像画像が得られるように、読取部15における光学系の解像度が低く設定されている。光学系の解像度は、レンズの開口数NAやF値と光の波長λとから求められる分解能の値の逆数に相当し、分解能の値が小さいときは高く、大きいときは低い。例えば図4の構成では、対物レンズ15aとして低解像度レンズを用いている。これにより、ドットパターンを含む撮像画像からブラックマトリクスのパターンを除去するための画像処理が不要になるため、位置を特定するための画像認識処理に要する時間が格段に短縮される。したがって、デジタルペン10の動きに対するレスポンスが大幅に改善される。つまり、本実施形態では、低解像度レンズが、画像処理における空間周波数フィルタリングと同じ効果を持つことを利用している。
図7はドットパターンなしのブラックマトリクスの周波数特性の一例、図8は図7のブラックマトリクスにドットパターンが設けられた場合の周波数特性の一例である。fxはX方向における周波数(cycle/mm)、fyはY方向における周波数(cycle/mm)である。図7では、X方向の周波数特性(図7(b))が周波数25.4(cycle/mm)に急峻なピークを有している。また、Y方向の周波数特性(図7(c))もいくつかのピークを有している。ブラックマトリクスの空間周波数は、そのピッチの逆数にほぼ相当する。例えば、X方向の周波数特性における急峻なピークは、縦方向におけるブラックマトリクスのピッチに起因している。
一方、図8では、X方向の周波数特性(図8(b))とY方向の周波数特性(図8(c))の両方において、ブラックマトリクスに起因したピークの影響は見られるものの、空間周波数は広い範囲に分布している。したがって、読取部15における光学系の解像度を、ブラックマトリクスに起因した周波数ピークを抑制できるように設定することによって、撮像画像からブラックマトリクスの影響を除去することができる。
例えば光学系の周波数特性を、図9(a)に示すように、縦方向におけるブラックマトリクスに起因したピーク周波数25.4(cycle/mm)以上の周波数を遮断するような特性に設定する。MTFは変調伝達関数(Modulation TransferFunction)である。このような光学系を用いて図9(b)のようなドットパターンを撮影すると、図9(c)に示すような撮像画像が得られる。図9(c)を見ると、縦方向のブラックマトリクスが画像から除去されているのが分かる。
また、図10(a)は低解像度レンズを用いた場合の撮像画像の他の例であり、図10(b)に示すドットパターンを撮像したものである。なお、図10(b)の例では、低解像度レンズの効果がより分かりやすくなるように、ドットパターンの個数を増やしている。図10(a)では、図10(b)における接近した2個のドットのペア(破線で囲まれている)に相当する箇所が黒く映っており、ブラックマトリクスは縦方向および横方向の両方とも画像から除去されている。すなわち、読取部15における光学系の解像度を低く設定することによって、ブラックマトリクスを除去しつつ、ドットパターンのみを画像認識可能であることが分かる。
すなわち、本実施形態では、指示装置10が有する読取部15における光学系の解像度が、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか1つよりも、低くなっている。表示装置20および表示パネル24の側からいうと、ブラックマトリクスは、縦方向および横方向における空間周波数のうち少なくともいずれか1つが、指示装置10が有する読取部15における光学系の解像度よりも高くなるように形成されており、かつ、ドットパターンは、読取部15における光学系の解像度よりも低い空間周波数を有するように、形成されている。
図11は、表示制御システム100の処理の流れを示すフローチャートである。以下では、ユーザが、デジタルペン10を用いて表示装置20に文字を記入する場合について説明する。
まず、表示制御システム100の電源がオンされると、ステップS11において、デジタルペン10のペン側マイコン16bは、ペン先部12に圧力が作用したか否かを監視する。この圧力の検出は、圧力センサ13が行う。圧力が検出されると(Yes)、ペン側マイコン16bは、ユーザが表示装置20の表示部21に対して文字を入力していると判定し、ステップS12へ進む。圧力が検出されていない間(No)は、ペン側マイコン16bは、ステップS11を繰り返す。尚、デジタルペン10の電源がオンされると、照射部14は赤外光の照射を開始する。
ステップS12では、デジタルペン10の読取部15が、表示部21に形成されたドットパターンを検出する。照射部14からは赤外光が出射されており、この赤外光は、少なくとも表示装置20のカラーフィルタ30に設けられたドット33に吸収される一方、画素領域32等において反射される。反射された赤外光は、対物レンズ15aを介して撮像素子15bに受光される。その結果、撮像素子15bによりドットパターンが撮像される。このとき、上述したとおり、対物レンズ15aの解像度が、ブラックマトリクスの空間周波数よりも低くなっているため、ブラックマトリクスは撮像画像から予め除去されている。このようにして、読取部15は、ドットパターンを光学的に読み取る。読取部15が取得した画像信号は、特定部16aに送信される。
ステップS13では、特定部16aが、画像信号からドットパターンを取得し、該ドットパターンに基づいてペン先部12の、表示部21上の位置を特定する。詳しくは、特定部16aは、得られた画像信号に所定の画像処理を施すことにより、複数のドット33の配列を取得する。このとき、ブラックマトリクスは撮像画像から予め除去されているため、画像処理に要する時間は大幅に短縮される。続いて、特定部16aは、取得されたドット33の配列から6ドット×6ドットの単位エリアを割り出すと共に、該単位エリアのドットパターンから該単位エリアの位置座標(位置情報)を特定する。特定部16aは、ドットパターンのコーディング方法に対応した所定の演算により、ドットパターンを位置座標に変換する。特定された位置情報は、ペン側マイコン16bに送信される。
続いて、ステップS14では、ペン側マイコン16bは、位置情報を送信部17を介して表示装置20へ送信する。
デジタルペン10から送信された位置情報は、表示装置20の受信部22により受信される。受信された位置情報は、受信部22から表示側マイコン23に送信される。ステップS15において、表示側マイコン23は、位置情報を受信すると、位置情報に対応する位置の表示内容を変更するように表示パネル24を制御する。この例では、文字の入力なので、表示部21における位置情報に対応する位置に点を表示する。
続いて、ステップS16において、ペン側マイコン16bは、ユーザによる入力が継続しているか否かを判定する。圧力センサ13が圧力を検出している場合には、ペン側マイコン16bは、ユーザによる入力が継続していると判定して、ステップS11へ戻る。そして、前記のフローを繰り返すことによって、デジタルペン10のペン先部12の移動に追従して、表示部21上におけるペン先部12の位置に点が連続的に表示される。最終的には、デジタルペン10のペン先部12の軌跡に応じた文字が表示装置20の表示面21に表示される。
一方、ステップS15において、圧力センサ13が圧力を検出していない場合には、ペン側マイコン16bは、ユーザによる入力が継続していないと判定して、処理を終了する。
こうして、表示装置20が表示部21上におけるデジタルペン10の先端の軌跡を表示部21に表示することによって、デジタルペン10を用いた表示部21への手書き入力を行うことができる。
尚、以上では、文字を記入する場合について説明したが、表示制御システム100の使い方は、これに限られるものでない。文字に限らず、数字、記号及び図形等を記入できることはもちろんのことであるが、デジタルペン10を消しゴムのように用いて、表示部21に表示された文字、図形等を消すこともできる。つまり、前記の例では、表示部21における位置情報に対応する位置に点を表示しているが、当該位置の点を消去するようにすればよい。さらには、デジタルペン10をマウスのように用いて、表示部21に表示されるカーソルを移動させたり、表示部21に表示されるアイコンを選択したりすることもできる。
[6.実施形態の効果]
以上のように本実施形態によると、指示装置10が有する読取部15における光学系の解像度が、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか1つよりも、低くなっている。これにより、ブラックマトリクスのパターンが予め除去された撮像画像が得られるので、ドットパターンを含む撮像画像からブラックマトリクスのパターンを除去するための画像処理が不要になる。したがって、位置を特定するための画像認識処理に要する時間が格段に短縮されるので、デジタルペン10の動きに対するレスポンスが大幅に改善される。
以上のように本実施形態によると、指示装置10が有する読取部15における光学系の解像度が、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか1つよりも、低くなっている。これにより、ブラックマトリクスのパターンが予め除去された撮像画像が得られるので、ドットパターンを含む撮像画像からブラックマトリクスのパターンを除去するための画像処理が不要になる。したがって、位置を特定するための画像認識処理に要する時間が格段に短縮されるので、デジタルペン10の動きに対するレスポンスが大幅に改善される。
すなわち、本実施形態では、表示部21を有する表示装置20に対して、デジタルペン10によって、表示部21上の位置が指示される。表示部21では、画素領域がブラックマトリクスによって区画されている。デジタルペン10において、読取部15が、表示部21における平面位置を表すドットパターンを含む画像を撮像する。この読取部15の光学系15aの解像度は、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか1つよりも、低くなっている。このため、読取部15によって、ブラックマトリクスが予め除去された撮像画像を得ることができる。すなわち、読取部15の光学系15aの解像度を低くすることによって、ドットパターンを含む撮像画像から、ブラックマトリクスを予め除去することができる。これにより、ドットパターンを含む撮像画像に対して、ブラックマトリクスを除去するための画像処理が不要になるので、位置を特定するための画像認識処理に要する時間が格段に短縮される。したがって、デジタルペン10の動きに対するレスポンスが大幅に改善される。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
そこで、以下、他の実施の形態を例示する。
実施形態では、指示装置の一例として、光学式デジタルペンを説明した。指示装置は、表示装置の表示部上の位置を指示するためのものであり、表示部上の位置を指示するための指示部と、指示部によって指示された位置における、位置情報パターンを含む画像を撮像する読取部とを備えていればよい。したがって、指示装置は、光学式デジタルペンに限定されない。また、指示部や読取部の構成は、実施形態で示したものに限られるものではない。
また、実施形態では、位置情報パターンの一例として、ドットパターンを説明した。位置情報パターンは、表示装置の表示部に形成されており、表示部における平面位置を表すものであればよい。したがって、位置情報パターンは、ドットパターンに限定されない。また、位置座標の表し方や単位エリアの分割形態などについても、実施形態に示したものに限られるものではない。
また、ドット33は、カラーフィルタ30に設けられているが、これに限られるものではない。ドット33は、ガラス基板25や偏光フィルタ26に設けられていてもよい。さらには、表示パネル24は、ドット33が形成された、カラーフィルタ30、ガラス基板25及び偏光フィルタ26とは別のシートを備える構成であってもよい。
なお、実施形態では、図4に示す構成のデジタルペン10を例にとって説明したが、これに限られるものでない。例えば、読取部の光学系として、複数のレンズが組み合わされた構成であってもよい。
また、特定部について、実施形態では、デジタルペン10に設けられているものとしたが、特定部は表示装置20に設けてもよいし、デジタルペン10および表示装置20とは別個の制御装置として、設けてもかまわない。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、レスポンスの良い手書き入力を実現できる表示制御システムに適用可能である。具体的には、タブレット、スマートフォン、ノートPCなどに、本開示は適用可能である。
10 デジタルペン(指示装置)
12 ペン先部(指示部)
15 読取部
15a 対物レンズ(光学系)
20 表示装置
21 表示部
24 表示パネル
100 表示制御システム
12 ペン先部(指示部)
15 読取部
15a 対物レンズ(光学系)
20 表示装置
21 表示部
24 表示パネル
100 表示制御システム
Claims (5)
- 表示部を有する表示装置と、前記表示部上の位置を指示するための指示装置とを備え、前記指示装置によって指示された位置に応じた表示制御を行う表示制御システムであって、
前記表示装置の前記表示部は、画素領域がブラックマトリクスによって区画されており、かつ、当該表示部における平面位置を表す位置情報パターンが形成されており、
前記指示装置は、
前記表示部上の位置を指示するための指示部と、
前記指示部によって指示された位置における、前記位置情報パターンを含む画像を撮像する読取部とを備えており、
前記読取部における光学系の解像度は、前記ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか1つよりも、低い
表示制御システム。 - 請求項1記載の表示制御システムにおいて、
前記読取部における光学系の解像度は、前記ブラックマトリクスの縦方向および横方向における空間周波数のいずれよりも、低い
表示制御システム。 - 請求項1記載の表示制御システムにおいて、
前記表示装置において、前記位置情報パターンは、前記読取部における光学系の解像度よりも低い空間周波数を有するように、形成されている
表示制御システム。 - 画素領域がブラックマトリクスによって区画された表示部を有し、前記表示部に平面位置を表す位置情報パターンが形成されている表示装置に対して、前記表示部上の位置を指示するための指示装置であって、
前記表示部上の位置を指示するための指示部と、
前記指示部によって指示された位置における、前記位置情報パターンを含む画像を撮像する読取部とを備えており、
前記読取部における光学系の解像度は、前記ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか1つよりも、低い
指示装置。 - 表示部を有しており、指示装置によって指示された位置に応じた表示制御を行う表示制御システムにおいて用いられる表示パネルであって、
前記表示部は、画素領域がブラックマトリクスによって区画されており、かつ、当該表示部における平面位置を表す位置情報パターンが形成されており、
前記指示装置は、
前記表示部上の位置を指示するための指示部と、
前記指示部によって指示された位置における、前記位置情報パターンを含む画像を撮像する読取部とを備えており、
前記表示部において、前記ブラックマトリクスは、縦方向および横方向における空間周波数のうち少なくともいずれか1つが、前記読取部における光学系の解像度よりも高くなるように形成されており、かつ、前記位置情報パターンは、前記読取部における光学系の解像度よりも低い空間周波数を有するように、形成されている
表示パネル。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013539833A JP5420807B1 (ja) | 2012-04-26 | 2013-04-22 | 表示制御システム、指示装置および表示パネル |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012101735 | 2012-04-26 | ||
JP2012101735 | 2012-04-26 | ||
JP2013539833A JP5420807B1 (ja) | 2012-04-26 | 2013-04-22 | 表示制御システム、指示装置および表示パネル |
PCT/JP2013/002709 WO2013161262A1 (ja) | 2012-04-26 | 2013-04-22 | 表示制御システム、指示装置および表示パネル |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5420807B1 true JP5420807B1 (ja) | 2014-02-19 |
JPWO2013161262A1 JPWO2013161262A1 (ja) | 2015-12-21 |
Family
ID=49482605
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013539833A Expired - Fee Related JP5420807B1 (ja) | 2012-04-26 | 2013-04-22 | 表示制御システム、指示装置および表示パネル |
Country Status (4)
Country | Link |
---|---|
US (1) | US9442653B2 (ja) |
JP (1) | JP5420807B1 (ja) |
CN (1) | CN103649887A (ja) |
WO (1) | WO2013161262A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9665193B2 (en) | 2014-12-22 | 2017-05-30 | Panasonic Intellectual Property Management Co., Ltd. | Display panel and display control system |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07141104A (ja) * | 1993-11-19 | 1995-06-02 | Sharp Corp | 座標入力装置、座標特定情報の表示装置および方法ならびに座標特定情報表示板 |
JP2002196875A (ja) * | 2000-10-19 | 2002-07-12 | Canon Inc | 座標入力装置、座標入力方法および座標入出力装置、座標入出力部、座標板 |
JP2006127081A (ja) * | 2004-10-28 | 2006-05-18 | Seiko Epson Corp | 情報表示装置、位置指示装置および位置検出システム |
JP2009134706A (ja) * | 2007-10-30 | 2009-06-18 | Kenji Yoshida | コードパターン |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3908193A (en) * | 1972-11-27 | 1975-09-23 | Albert Macovski | Color television encoding and decoding system |
SE0102253L (sv) | 2001-06-26 | 2002-12-27 | Anoto Ab | Läspenna |
US6966495B2 (en) | 2001-06-26 | 2005-11-22 | Anoto Ab | Devices method and computer program for position determination |
JP2004246433A (ja) * | 2003-02-12 | 2004-09-02 | Hitachi Ltd | データ入力システム |
US6962450B2 (en) * | 2003-09-10 | 2005-11-08 | Hewlett-Packard Development Company L.P. | Methods and apparatus for generating images |
US7134606B2 (en) * | 2003-12-24 | 2006-11-14 | Kt International, Inc. | Identifier for use with digital paper |
GB0402022D0 (en) * | 2004-01-30 | 2004-03-03 | Hewlett Packard Development Co | Method of obtaining at least a portion ofa document |
US20060097997A1 (en) * | 2004-10-21 | 2006-05-11 | Borgaonkar Shekhar R | Method and system for capturing data using a digital pen |
JP4522249B2 (ja) * | 2004-12-17 | 2010-08-11 | キヤノン株式会社 | 撮像装置 |
US7528848B2 (en) * | 2005-06-30 | 2009-05-05 | Microsoft Corporation | Embedded interaction code decoding for a liquid crystal display |
JP2007079943A (ja) * | 2005-09-14 | 2007-03-29 | Toshiba Corp | 文字読取プログラム、文字読取方法および文字読取装置 |
JP2007226577A (ja) | 2006-02-23 | 2007-09-06 | Dainippon Printing Co Ltd | デジタルペンを利用したデータ入力処理システム、端末装置およびコンピュータプログラム |
US8842076B2 (en) * | 2008-07-07 | 2014-09-23 | Rockstar Consortium Us Lp | Multi-touch touchscreen incorporating pen tracking |
EP2430510A2 (en) * | 2009-05-15 | 2012-03-21 | Polyvision Corporation | Electronic display systems having mobile components |
US20130148115A1 (en) * | 2011-12-12 | 2013-06-13 | Yoav Berlatzky | Optical system and method for inspection of patterned samples |
-
2013
- 2013-04-22 JP JP2013539833A patent/JP5420807B1/ja not_active Expired - Fee Related
- 2013-04-22 CN CN201380000921.1A patent/CN103649887A/zh active Pending
- 2013-04-22 WO PCT/JP2013/002709 patent/WO2013161262A1/ja active Application Filing
- 2013-10-08 US US14/049,009 patent/US9442653B2/en not_active Expired - Fee Related
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07141104A (ja) * | 1993-11-19 | 1995-06-02 | Sharp Corp | 座標入力装置、座標特定情報の表示装置および方法ならびに座標特定情報表示板 |
JP2002196875A (ja) * | 2000-10-19 | 2002-07-12 | Canon Inc | 座標入力装置、座標入力方法および座標入出力装置、座標入出力部、座標板 |
JP2006127081A (ja) * | 2004-10-28 | 2006-05-18 | Seiko Epson Corp | 情報表示装置、位置指示装置および位置検出システム |
JP2009134706A (ja) * | 2007-10-30 | 2009-06-18 | Kenji Yoshida | コードパターン |
Also Published As
Publication number | Publication date |
---|---|
US9442653B2 (en) | 2016-09-13 |
US20140035880A1 (en) | 2014-02-06 |
CN103649887A (zh) | 2014-03-19 |
JPWO2013161262A1 (ja) | 2015-12-21 |
WO2013161262A1 (ja) | 2013-10-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2013035319A1 (ja) | 表示パネル、表示装置及び表示制御システム | |
RU2536667C2 (ru) | Система рукописного ввода/вывода, лист рукописного ввода, система ввода информации, и лист, обеспечивающий ввод информации | |
WO2013161246A1 (ja) | 表示制御システム、表示装置及び表示パネル | |
JP5834255B2 (ja) | 表示装置および表示制御システム | |
US20110304548A1 (en) | Mouse provided with a dot pattern reading function | |
US20140362054A1 (en) | Display control system and reading device | |
US20130321357A1 (en) | Display panel and display device | |
US9030509B2 (en) | Display device and display control system | |
US9128538B2 (en) | Optical film, display panel, and display device | |
JP2014041602A (ja) | 情報読取装置 | |
JP5420807B1 (ja) | 表示制御システム、指示装置および表示パネル | |
WO2013161245A1 (ja) | 表示制御システム、表示装置及び表示パネル | |
JPWO2014038118A1 (ja) | 表示装置および表示制御システム | |
JP6048165B2 (ja) | コンピュータ装置、電子ペンシステム、及びプログラム | |
US20150153846A1 (en) | Coordinate detection system, information processing apparatus, and recording medium | |
WO2014017039A1 (ja) | 情報読取装置 | |
WO2013161261A1 (ja) | 表示制御システムおよび指示装置 | |
JP2013250477A (ja) | コンピュータ装置及びプログラム | |
KR101385771B1 (ko) | 디스플레이 장치의 화면에 표시된 코드 판독 방법, 코드 판독 방법이 실행되는 리더기, 및 디스플레이 장치를 구비하는 전자 기기 | |
JP2013020402A (ja) | コンピュータ装置、ストローク表示システム及びプログラム | |
JP2014002190A (ja) | コンピュータ装置及びプログラム | |
JP2015187830A (ja) | 表示制御システム | |
CN117891354A (zh) | 用于光学式电子笔的图形标志装置及其图像处理方法 | |
JP2014219928A (ja) | コンピュータ装置、表示システム及びプログラム | |
JP2014026208A (ja) | コンピュータ装置及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131120 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5420807 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |