JPWO2013161262A1 - 表示制御システム、指示装置および表示パネル - Google Patents

表示制御システム、指示装置および表示パネル Download PDF

Info

Publication number
JPWO2013161262A1
JPWO2013161262A1 JP2013539833A JP2013539833A JPWO2013161262A1 JP WO2013161262 A1 JPWO2013161262 A1 JP WO2013161262A1 JP 2013539833 A JP2013539833 A JP 2013539833A JP 2013539833 A JP2013539833 A JP 2013539833A JP WO2013161262 A1 JPWO2013161262 A1 JP WO2013161262A1
Authority
JP
Japan
Prior art keywords
unit
display
black matrix
pen
digital pen
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2013539833A
Other languages
English (en)
Other versions
JP5420807B1 (ja
Inventor
山田　和宏
和宏 山田
田中　康弘
康弘 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2013539833A priority Critical patent/JP5420807B1/ja
Application granted granted Critical
Publication of JP5420807B1 publication Critical patent/JP5420807B1/ja
Publication of JPWO2013161262A1 publication Critical patent/JPWO2013161262A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Liquid Crystal (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)

Abstract

表示制御システム（１００）において、指示装置（１０）で指示された表示パネル（２４）上の位置に応じた表示制御を行う。表示パネル（２４）は、画素領域がブラックマトリクスによって区画されており、平面位置を表す位置情報パターンが形成されている。指示装置（１０）は、指示した位置における、位置情報パターンを含む画像を撮像する読取部（１５）を備えている。読取部（１５）の光学系（１５ａ）の解像度が、表示パネル（２４）におけるブラックマトリクスが除去されるように、低く設定されている。

Description

本開示は、デジタルディスプレイの表示面に対して手書き入力が可能な表示制御システムに関する。
特許文献１は、ペンを用いて紙の上に文字等を記入する際に、紙に記入した情報を電子化し、その電子化された情報をサーバや端末に送信する技術を開示する。
特開２００７−２２６５７７号公報
本開示は、表示装置の表示面にレスポンス良く手書き入力を実行可能な表示制御システムを提供する。
本開示における表示制御システムは、表示部を有する表示装置と、表示部上の位置を指示するための指示装置とを備え、指示装置によって指示された位置に応じた表示制御を行うものであり、表示装置の表示部は、画素領域がブラックマトリクスによって区画されており、かつ、当該表示部における平面位置を表す位置情報パターンが形成されており、指示装置は、表示部上の位置を指示するための指示部と、指示部によって指示された位置における、位置情報パターンを含む画像を撮像する読取部とを備えており、読取部における光学系の解像度は、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低い。
本開示における表示制御システムは、位置を特定するための画像認識処理に要する時間が格段に短縮され、レスポンスの良い手書き入力を実現できる。
実施形態に係る表示制御システムの概略図である。 実施形態に係る表示制御システムのブロック図である。 表示パネルの概略断面図である。 デジタルペンの概略断面図である。 カラーフィルタの平面図である。 （Ａ）〜（Ｄ）は各符号に対応するドットの配置例を示す図である。 ブラックマトリクスの周波数特性の例を示す図である。 ドットパターンが設けられたブラックマトリクスの周波数特性の例を示す図である。 （ａ）光学系の周波数特性の例、（ｂ）はドットパターンが設けられたブラックマトリクス、（ｃ）は（ａ）の光学系を用いたときの（ｂ）の撮像画像である。 （ａ）は低解像度レンズを用いた場合の撮像画像の例、（ｂ）は（ａ）で撮像したドットパターンである。 実施形態に係る表示制御システムの処理の流れを示すフローチャートである。
近年、スタイラスのような筆記具を用いて表示装置の表示面に文字等を記入することによって、該表示面に筆記具の軌跡をそのまま表示させるという手書き入力可能なシステムが開発されている。しかし、そのようなシステムは、未だ発展途上である。特に、高精細な手書き入力の点においては、まだまだ開発の余地がある。
このような表示制御システムの１つとして、表示部に平面位置を示す位置情報パターンを形成し、それを指示装置によって光学的に読み取ることによって、指示位置の検出を行い、軌跡表示等を行う構成が考えられる。
上のような光学読み取りを利用した表示制御システムでは、次のような問題が生じることが予想される。例えば液晶表示パネルでは、表示部には、画素領域を区画するためのブラックマトリクスが形成されている。このため、上のような表示制御システムに液晶表示パネルを用いる場合、位置情報パターンを光学的に読み取る際に、ブラックマトリクスの画像がその妨げになってしまう可能性がある。もちろん、指示装置で撮像した画像から画像処理や計算処理によってブラックマトリクスを除去することは可能であるが、そのための処理が重くなり、よって、軌跡表示等までのレスポンスが悪くなる。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
［１．表示制御システムの概要］
図１は実施形態に係る表示制御システム１００の外観を示す概略図である。表示制御システム１００は、指示装置としての光学式デジタルペン（以下、単に「デジタルペン」と称する。）１０と、表示装置２０とを備えている。詳しくは後述するが、表示装置２０は例えば液晶ディスプレイであり、表示部２１に様々な対象を表示することができる。また、表示部２１には、表示部２１における平面位置を表す位置情報パターンとしてのドットパターンが記されている。デジタルペン１０は、ドットパターンを光学的に読み取ることによって、指定した位置の位置情報を検出し、該位置情報を表示装置２０に送信する。表示装置２０は、該位置情報を入力として受け取り、様々な処理を行う。すなわち、デジタルペン１０は、読み取り装置として機能すると共に、表示制御システム１００へのデータ入力装置としても機能する。
例えば、表示装置２０は、デジタルペン１０の移動に追従して、表示部２１における指定された位置に点を連続的に表示することによって、デジタルペン１０の先端の軌跡を表示することができる。すなわち、デジタルペン１０を用いて表示部２１に文字や図形等を記入することができる。また、表示装置２０は、デジタルペン１０の移動に追従して、表示部２１における指定された位置の表示を連続的に消去することによって、デジタルペン１０の先端の軌跡と一致する部分の表示を消去することができる。すなわち、デジタルペン１０を消しゴムのように使用することができる。さらには、表示装置２０は、表示部２１における指定された位置を表示することによって、デジタルペン１０をマウスのような入力装置として使用することができる。このように、表示制御システム１００においては、デジタルペン１０を表示装置２０の表示部２１上で動かすことによってデジタルペン１０の位置が入力として表示装置２０に入力され、表示装置２０が該入力に応じて表示内容を変更する。
［２．表示装置の構成］
以下、表示装置２０について説明する。図２は表示制御システム１００の概略構成を示すブロック図である。
表示装置２０は、外部からの信号を受信する受信部２２と、表示装置２０全体を制御する表示側マイコン２３と、画像を表示する表示パネル２４と、を有している。本実施形態の表示パネル２４は液晶パネルである。
受信部２２は、詳しくは後述する、デジタルペン１０から送信された信号を受信する。受信部２２が受信した信号は、表示側マイコン２３に送られる。
表示側マイコン２３は、ＣＰＵやメモリなどから構成されており、ＣＰＵを動作させるためのプログラムも実装されている。表示側マイコン２３は、制御部の一例である。例えば、表示側マイコン２３は、デジタルペン１０から送信された信号に基づいて表示パネル２４を制御して、表示部２１に表示させる内容を変更する。
図３は表示パネル２４の概略断面図である。表示パネル２４の基本的な構成は、一般的な液晶パネルの構成と同様である。詳しくは、表示パネル２４は、一対のガラス基板２５と、各ガラス基板２５の外表面に設けられた偏光フィルタ２６と、一対のガラス基板２５の間に設けられた一対の配向膜２７と、一対の配向膜２７の間に設けられた液晶層２８と、各配向膜２７に設けられた透明電極２９と、表面側のガラス基板２５と透明電極２９との間に設けられたカラーフィルタ３０とを有している。表示部２１に様々な画像が表示される。詳しくは後述するが、前記ドットパターンは、カラーフィルタ３０に記されている。ドットパターンは、位置情報パターンの一例である。
［３．デジタルペンの構成］
次に、デジタルペン１０の詳細な構成について説明する。図４は、デジタルペン１０の概略構成を示す断面図である。
デジタルペン１０は、円筒状の本体部１１と、本体部１１の先端に取り付けられたペン先部１２と、ペン先部１２に作用する圧力を検出する圧力センサ１３と、赤外光を出射する照射部１４と、入射してきた赤外光を読み取る読取部１５と、デジタルペン１０を制御する制御部１６と、外部へ信号を出力する送信部１７と、デジタルペン１０の各部材に電力を供給する電源１９とを有している。
本体部１１は、一般的なペンと同様の円筒で形成されている。ペン先部１２は、先細形状であって、その先端は表示面２１を傷つけない程度に丸く形成されている。また、ペン先部１２の形状は、ユーザが表示面２１に表示される画像を認識しやすい形状であることが好ましい。
圧力センサ１３は、本体部１１に内蔵され、ペン先部１２の基端部に連結されている。圧力センサ１３は、ペン先部１２に加わる圧力を検出し、その検出結果を制御部１６へ送信する。具体的には、圧力センサ１３は、ユーザがデジタルペン１０を用いて表示面２１上に文字などを記入する際にペン先部１２に加わる圧力を検出する。つまり、圧力センサ１３は、デジタルペン１０を用いたユーザの入力意思の有無を判定する際に用いられる。
照射部１４は、本体部１１の先端部であって、ペン先部１２の近傍に設けられている。照射部１４は、例えば、赤外線ＬＥＤで構成されており、本体部１１の先端から赤外光を照射するように構成されている。
読取部１５は、本体部１１の先端部であって、ペン先部１２の近傍に設けられている。読取部１５は、対物レンズ１５ａと、撮像素子１５ｂとを有している。対物レンズ１５ａは、入射してくる光を撮像素子１５ｂに結像させる。対物レンズ１５ａは本体部１１の先端部に設けられているので、対物レンズ１５ａには、照射部１４から出射され、表示装置２０で反射した赤外光が入射する。撮像素子１５ｂは、対物レンズ１５ａの光軸上に設けられている。撮像素子１５ｂは、撮像面に結像した光学像を電気信号に変換して制御部１６へ出力する。撮像素子１５ｂは、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサで構成される。詳しくは後述するが、前記ドットパターンは赤外光を吸収する材料で形成されているので、ドットパターンからは赤外光が返ってこない。その結果、ドットパターンが黒く表現された光学像が撮像素子１５ｂに撮像される。
制御部１６は、図２に示すように、特定部１６ａと、ペン側マイコン１６ｂとを有する。特定部１６ａは、読取部１５からの画像信号に基づいてデジタルペン１０の表示面２１上の位置情報を特定する。詳しくは、特定部１６ａは、読取部１５が取得した画像信号からドットパターンを取得し、該ドットパターンに基づいてペン先部１２の、表示面２１上の位置を特定する。特定部１６ａにより特定されたペン先部１２の位置に関する情報は、ペン側マイコン１６ｂへ送られる。ペン側マイコン１６ｂ、デジタルペン１０全体を制御する。ペン側マイコン１６ｂは、ＣＰＵやメモリなどから構成されており、ＣＰＵを動作させるためのプログラムも実装されている。
送信部１７は、信号を外部に送信する。具体的には、送信部１７は、特定部１６ａにより特定した位置情報を外部へ無線送信する。送信部１７は、表示装置２０の受信部２２と近距離無線通信を行う。送信部１７は、本体部１１のうちペン先部１２とは反対側の端部に設けられている。
［４．カラーフィルタの詳細構造］
続いて、カラーフィルタ３０の詳細構造について説明する。図５は、カラーフィルタ３０の平面図である。
カラーフィルタ３０は、ブラックマトリクス３１と、該ブラックマトリクス３１により区画され、特定の色の光を透過させる複数の画素領域３２と、画素領域３２内に設けられたドット３３とを有している。画素領域３２には、赤色（Ｒ）の光を透過させる赤色画素領域３２ｒと、緑色（Ｇ）の光を透過させる緑色画素領域３２ｇと、青色（Ｂ）の光を透過させる青色画素領域３２ｂとを含んでいる。各画素領域３２は、表示パネル２４のサブピクセルに対応している。尚、透過させる色を区別しないときには、単に、「画素領域３２」と称する。ブラックマトリクス３１は、画素領域３２の長手方向に延びる縦線と、画素領域３２の短手方向に延びる横線とを含み、格子状に形成されている。横線は、縦線に比べて、太く形成されている。ブラックマトリクス３１及びドット３３は、カーボンブラックを主成分とする材料で形成されている。ドット３３は、中実の円形に形成されている。ドット３３は、全ての画素領域３２ではなく、いくつかの画素領域３２に設けられている。カラーフィルタ３０においては、複数のドット３３が一かたまりとなってドットパターンを形成している。このドットパターンは、カラーフィルタ３０の位置に応じて異なっている。
以下に、ドットパターンについて詳しく説明する。
まず、カラーフィルタ３０上に第１基準線３４と第２基準線３５とを規定する。これら第１及び第２基準線３４，３５は、仮想的な線であり、実際には存在する線ではない。第１基準線３４は、画素領域３２の短手方向に延びる直線である。第１基準線３４は、画素領域３２の長手方向に画素領域３２を２つおきに、複数並設されている。各第１基準線３４は、画素領域３２の長手方向中央に位置している。第２基準線３５は、画素領域３２の長手方向に延びる直線である。第２基準線３５は、緑色画素領域３２ｇ上に設けられており、画素領域３２の短手方向に緑色セル３２ｇを２つおきに、複数並設されている。各第２基準線３５は、緑色画素領域３２ｇの短手方向中央に位置している。これら第１基準線３４及び第２基準線３５により、カラーフィルタ３０上には格子が規定される。
各ドット３３は、第１基準線３４と第２基準線３５との交点の周辺に配置される。図６は、ドット３３の配置パターンを示す図である。ドット３３は、該交点から、互いに直交する四方（図５，６では、上下左右）の何れかにずれた位置に配置される。具体的には、ドット３３は、図６（Ａ）〜（Ｄ）の何れかの配置となる。図６（Ａ）の配置では、ドット３３は、第１基準線３４と第２基準線３５との交点から、第１基準線３４上を右側にずれた位置に配置される。このとき、ドット３３は、青色画素領域３２ｂ上に配置される。この配置を数値化する際には「１」で表す。図６（Ｂ）の配置では、ドット３３は、第１基準線３４と第２基準線３５との交点から、第２基準線３５上を上側にずれた位置に配置される。このとき、ドット３３は、緑色画素領域３２ｇ上に配置される。この配置を数値化する際には「２」で表す。図６（Ｃ）の配置では、ドット３３は、第１基準線３４と第２基準線３５との交点から、第１基準線３４上を左側にずれた位置に配置される。このとき、ドット３３は、赤色画素領域３２ｒ上に配置される。この配置を数値化する際には「３」で表す。図６（Ｄ）の配置では、ドット３３は、第１基準線３４と第２基準線３５との交点から、第２基準線３５上を下側にずれた位置に配置される。このとき、ドット３３は、緑色画素領域３２ｇ上に配置される。この配置を数値化する際には「４」で表す。
そして、６ドット×６ドットを１つの単位エリアとして、単位エリアに含まれる３６個のドット３３で１つのドットパターンを形成する。単位エリアに含まれる３６個のドット３３のそれぞれを前記「１」〜「４」の何れかの配置とすることによって、膨大な数のドットパターンを形成することができる。各単位エリアのドットパターンは、全て異なっている。
これらのドットパターンの１つ１つには、情報が付加されている。詳しくは、各ドットパターンは、単位エリアごとの位置座標を表している。つまり、カラーフィルタ３０を、６ドット×６ドットの単位エリアで分割すると、各ドットパターンはその単位エリアの位置座標を表している。このようなドットパターンのパターンニングや座標変換の方法は、例えば、特開２００６−１４１０６７号公報に開示されているような公知の方法を用いることができる。
［５．本実施形態の特徴および動作］
本実施形態では、デジタルペン１０の読取部１５における光学系に特徴がある。すなわち、ブラックマトリクスのパターンが予め除去された撮像画像が得られるように、読取部１５における光学系の解像度が低く設定されている。光学系の解像度は、レンズの開口数ＮＡやＦ値と光の波長λとから求められる分解能の値の逆数に相当し、分解能の値が小さいときは高く、大きいときは低い。例えば図４の構成では、対物レンズ１５ａとして低解像度レンズを用いている。これにより、ドットパターンを含む撮像画像からブラックマトリクスのパターンを除去するための画像処理が不要になるため、位置を特定するための画像認識処理に要する時間が格段に短縮される。したがって、デジタルペン１０の動きに対するレスポンスが大幅に改善される。つまり、本実施形態では、低解像度レンズが、画像処理における空間周波数フィルタリングと同じ効果を持つことを利用している。
図７はドットパターンなしのブラックマトリクスの周波数特性の一例、図８は図７のブラックマトリクスにドットパターンが設けられた場合の周波数特性の一例である。ｆｘはＸ方向における周波数(cycle/mm)、ｆｙはＹ方向における周波数(cycle/mm)である。図７では、Ｘ方向の周波数特性（図７（ｂ））が周波数２５．４（cycle/mm）に急峻なピークを有している。また、Ｙ方向の周波数特性（図７（ｃ））もいくつかのピークを有している。ブラックマトリクスの空間周波数は、そのピッチの逆数にほぼ相当する。例えば、Ｘ方向の周波数特性における急峻なピークは、縦方向におけるブラックマトリクスのピッチに起因している。
一方、図８では、Ｘ方向の周波数特性（図８（ｂ））とＹ方向の周波数特性（図８（ｃ））の両方において、ブラックマトリクスに起因したピークの影響は見られるものの、空間周波数は広い範囲に分布している。したがって、読取部１５における光学系の解像度を、ブラックマトリクスに起因した周波数ピークを抑制できるように設定することによって、撮像画像からブラックマトリクスの影響を除去することができる。
例えば光学系の周波数特性を、図９（ａ）に示すように、縦方向におけるブラックマトリクスに起因したピーク周波数２５．４（cycle/mm）以上の周波数を遮断するような特性に設定する。ＭＴＦは変調伝達関数(Modulation TransferFunction)である。このような光学系を用いて図９（ｂ）のようなドットパターンを撮影すると、図９（ｃ）に示すような撮像画像が得られる。図９（ｃ）を見ると、縦方向のブラックマトリクスが画像から除去されているのが分かる。
また、図１０（ａ）は低解像度レンズを用いた場合の撮像画像の他の例であり、図１０（ｂ）に示すドットパターンを撮像したものである。なお、図１０（ｂ）の例では、低解像度レンズの効果がより分かりやすくなるように、ドットパターンの個数を増やしている。図１０（ａ）では、図１０（ｂ）における接近した２個のドットのペア（破線で囲まれている）に相当する箇所が黒く映っており、ブラックマトリクスは縦方向および横方向の両方とも画像から除去されている。すなわち、読取部１５における光学系の解像度を低く設定することによって、ブラックマトリクスを除去しつつ、ドットパターンのみを画像認識可能であることが分かる。
すなわち、本実施形態では、指示装置１０が有する読取部１５における光学系の解像度が、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低くなっている。表示装置２０および表示パネル２４の側からいうと、ブラックマトリクスは、縦方向および横方向における空間周波数のうち少なくともいずれか１つが、指示装置１０が有する読取部１５における光学系の解像度よりも高くなるように形成されており、かつ、ドットパターンは、読取部１５における光学系の解像度よりも低い空間周波数を有するように、形成されている。
図１１は、表示制御システム１００の処理の流れを示すフローチャートである。以下では、ユーザが、デジタルペン１０を用いて表示装置２０に文字を記入する場合について説明する。
まず、表示制御システム１００の電源がオンされると、ステップＳ１１において、デジタルペン１０のペン側マイコン１６ｂは、ペン先部１２に圧力が作用したか否かを監視する。この圧力の検出は、圧力センサ１３が行う。圧力が検出されると（Ｙｅｓ）、ペン側マイコン１６ｂは、ユーザが表示装置２０の表示部２１に対して文字を入力していると判定し、ステップＳ１２へ進む。圧力が検出されていない間（Ｎｏ）は、ペン側マイコン１６ｂは、ステップＳ１１を繰り返す。尚、デジタルペン１０の電源がオンされると、照射部１４は赤外光の照射を開始する。
ステップＳ１２では、デジタルペン１０の読取部１５が、表示部２１に形成されたドットパターンを検出する。照射部１４からは赤外光が出射されており、この赤外光は、少なくとも表示装置２０のカラーフィルタ３０に設けられたドット３３に吸収される一方、画素領域３２等において反射される。反射された赤外光は、対物レンズ１５ａを介して撮像素子１５ｂに受光される。その結果、撮像素子１５ｂによりドットパターンが撮像される。このとき、上述したとおり、対物レンズ１５ａの解像度が、ブラックマトリクスの空間周波数よりも低くなっているため、ブラックマトリクスは撮像画像から予め除去されている。このようにして、読取部１５は、ドットパターンを光学的に読み取る。読取部１５が取得した画像信号は、特定部１６ａに送信される。
ステップＳ１３では、特定部１６ａが、画像信号からドットパターンを取得し、該ドットパターンに基づいてペン先部１２の、表示部２１上の位置を特定する。詳しくは、特定部１６ａは、得られた画像信号に所定の画像処理を施すことにより、複数のドット３３の配列を取得する。このとき、ブラックマトリクスは撮像画像から予め除去されているため、画像処理に要する時間は大幅に短縮される。続いて、特定部１６ａは、取得されたドット３３の配列から６ドット×６ドットの単位エリアを割り出すと共に、該単位エリアのドットパターンから該単位エリアの位置座標（位置情報）を特定する。特定部１６ａは、ドットパターンのコーディング方法に対応した所定の演算により、ドットパターンを位置座標に変換する。特定された位置情報は、ペン側マイコン１６ｂに送信される。
続いて、ステップＳ１４では、ペン側マイコン１６ｂは、位置情報を送信部１７を介して表示装置２０へ送信する。
デジタルペン１０から送信された位置情報は、表示装置２０の受信部２２により受信される。受信された位置情報は、受信部２２から表示側マイコン２３に送信される。ステップＳ１５において、表示側マイコン２３は、位置情報を受信すると、位置情報に対応する位置の表示内容を変更するように表示パネル２４を制御する。この例では、文字の入力なので、表示部２１における位置情報に対応する位置に点を表示する。
続いて、ステップＳ１６において、ペン側マイコン１６ｂは、ユーザによる入力が継続しているか否かを判定する。圧力センサ１３が圧力を検出している場合には、ペン側マイコン１６ｂは、ユーザによる入力が継続していると判定して、ステップＳ１１へ戻る。そして、前記のフローを繰り返すことによって、デジタルペン１０のペン先部１２の移動に追従して、表示部２１上におけるペン先部１２の位置に点が連続的に表示される。最終的には、デジタルペン１０のペン先部１２の軌跡に応じた文字が表示装置２０の表示面２１に表示される。
一方、ステップＳ１５において、圧力センサ１３が圧力を検出していない場合には、ペン側マイコン１６ｂは、ユーザによる入力が継続していないと判定して、処理を終了する。
こうして、表示装置２０が表示部２１上におけるデジタルペン１０の先端の軌跡を表示部２１に表示することによって、デジタルペン１０を用いた表示部２１への手書き入力を行うことができる。
尚、以上では、文字を記入する場合について説明したが、表示制御システム１００の使い方は、これに限られるものでない。文字に限らず、数字、記号及び図形等を記入できることはもちろんのことであるが、デジタルペン１０を消しゴムのように用いて、表示部２１に表示された文字、図形等を消すこともできる。つまり、前記の例では、表示部２１における位置情報に対応する位置に点を表示しているが、当該位置の点を消去するようにすればよい。さらには、デジタルペン１０をマウスのように用いて、表示部２１に表示されるカーソルを移動させたり、表示部２１に表示されるアイコンを選択したりすることもできる。
［６．実施形態の効果］
以上のように本実施形態によると、指示装置１０が有する読取部１５における光学系の解像度が、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低くなっている。これにより、ブラックマトリクスのパターンが予め除去された撮像画像が得られるので、ドットパターンを含む撮像画像からブラックマトリクスのパターンを除去するための画像処理が不要になる。したがって、位置を特定するための画像認識処理に要する時間が格段に短縮されるので、デジタルペン１０の動きに対するレスポンスが大幅に改善される。
すなわち、本実施形態では、表示部２１を有する表示装置２０に対して、デジタルペン１０によって、表示部２１上の位置が指示される。表示部２１では、画素領域がブラックマトリクスによって区画されている。デジタルペン１０において、読取部１５が、表示部２１における平面位置を表すドットパターンを含む画像を撮像する。この読取部１５の光学系１５ａの解像度は、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低くなっている。このため、読取部１５によって、ブラックマトリクスが予め除去された撮像画像を得ることができる。すなわち、読取部１５の光学系１５ａの解像度を低くすることによって、ドットパターンを含む撮像画像から、ブラックマトリクスを予め除去することができる。これにより、ドットパターンを含む撮像画像に対して、ブラックマトリクスを除去するための画像処理が不要になるので、位置を特定するための画像認識処理に要する時間が格段に短縮される。したがって、デジタルペン１０の動きに対するレスポンスが大幅に改善される。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
そこで、以下、他の実施の形態を例示する。
実施形態では、指示装置の一例として、光学式デジタルペンを説明した。指示装置は、表示装置の表示部上の位置を指示するためのものであり、表示部上の位置を指示するための指示部と、指示部によって指示された位置における、位置情報パターンを含む画像を撮像する読取部とを備えていればよい。したがって、指示装置は、光学式デジタルペンに限定されない。また、指示部や読取部の構成は、実施形態で示したものに限られるものではない。
また、実施形態では、位置情報パターンの一例として、ドットパターンを説明した。位置情報パターンは、表示装置の表示部に形成されており、表示部における平面位置を表すものであればよい。したがって、位置情報パターンは、ドットパターンに限定されない。また、位置座標の表し方や単位エリアの分割形態などについても、実施形態に示したものに限られるものではない。
また、ドット３３は、カラーフィルタ３０に設けられているが、これに限られるものではない。ドット３３は、ガラス基板２５や偏光フィルタ２６に設けられていてもよい。さらには、表示パネル２４は、ドット３３が形成された、カラーフィルタ３０、ガラス基板２５及び偏光フィルタ２６とは別のシートを備える構成であってもよい。
なお、実施形態では、図４に示す構成のデジタルペン１０を例にとって説明したが、これに限られるものでない。例えば、読取部の光学系として、複数のレンズが組み合わされた構成であってもよい。
また、特定部について、実施形態では、デジタルペン１０に設けられているものとしたが、特定部は表示装置２０に設けてもよいし、デジタルペン１０および表示装置２０とは別個の制御装置として、設けてもかまわない。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、レスポンスの良い手書き入力を実現できる表示制御システムに適用可能である。具体的には、タブレット、スマートフォン、ノートＰＣなどに、本開示は適用可能である。
１０ デジタルペン（指示装置）
１２ ペン先部（指示部）
１５ 読取部
１５ａ 対物レンズ（光学系）
２０ 表示装置
２１ 表示部
２４ 表示パネル
１００ 表示制御システム
本開示は、デジタルディスプレイの表示面に対して手書き入力が可能な表示制御システムに関する。
特許文献１は、ペンを用いて紙の上に文字等を記入する際に、紙に記入した情報を電子化し、その電子化された情報をサーバや端末に送信する技術を開示する。
特開２００７−２２６５７７号公報
本開示は、表示装置の表示面にレスポンス良く手書き入力を実行可能な表示制御システムを提供する。
本開示における表示制御システムは、表示部を有する表示装置と、表示部上の位置を指示するための指示装置とを備え、指示装置によって指示された位置に応じた表示制御を行うものであり、表示装置の表示部は、画素領域がブラックマトリクスによって区画されており、かつ、当該表示部における平面位置を表す位置情報パターンが形成されており、指示装置は、表示部上の位置を指示するための指示部と、指示部によって指示された位置における、位置情報パターンを含む画像を撮像する読取部とを備えており、読取部における光学系の解像度は、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低い。
本開示における表示制御システムは、位置を特定するための画像認識処理に要する時間が格段に短縮され、レスポンスの良い手書き入力を実現できる。
実施形態に係る表示制御システムの概略図である。 実施形態に係る表示制御システムのブロック図である。 表示パネルの概略断面図である。 デジタルペンの概略断面図である。 カラーフィルタの平面図である。 （Ａ）〜（Ｄ）は各符号に対応するドットの配置例を示す図である。 ブラックマトリクスの周波数特性の例を示す図である。 ドットパターンが設けられたブラックマトリクスの周波数特性の例を示す図である。 （ａ）光学系の周波数特性の例、（ｂ）はドットパターンが設けられたブラックマトリクス、（ｃ）は（ａ）の光学系を用いたときの（ｂ）の撮像画像である。 （ａ）は低解像度レンズを用いた場合の撮像画像の例、（ｂ）は（ａ）で撮像したドットパターンである。 実施形態に係る表示制御システムの処理の流れを示すフローチャートである。
近年、スタイラスのような筆記具を用いて表示装置の表示面に文字等を記入することによって、該表示面に筆記具の軌跡をそのまま表示させるという手書き入力可能なシステムが開発されている。しかし、そのようなシステムは、未だ発展途上である。特に、高精細な手書き入力の点においては、まだまだ開発の余地がある。
このような表示制御システムの１つとして、表示部に平面位置を示す位置情報パターンを形成し、それを指示装置によって光学的に読み取ることによって、指示位置の検出を行い、軌跡表示等を行う構成が考えられる。
上のような光学読み取りを利用した表示制御システムでは、次のような問題が生じることが予想される。例えば液晶表示パネルでは、表示部には、画素領域を区画するためのブラックマトリクスが形成されている。このため、上のような表示制御システムに液晶表示パネルを用いる場合、位置情報パターンを光学的に読み取る際に、ブラックマトリクスの画像がその妨げになってしまう可能性がある。もちろん、指示装置で撮像した画像から画像処理や計算処理によってブラックマトリクスを除去することは可能であるが、そのための処理が重くなり、よって、軌跡表示等までのレスポンスが悪くなる。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者（ら）は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
［１．表示制御システムの概要］
図１は実施形態に係る表示制御システム１００の外観を示す概略図である。表示制御システム１００は、指示装置としての光学式デジタルペン（以下、単に「デジタルペン」と称する。）１０と、表示装置２０とを備えている。詳しくは後述するが、表示装置２０は例えば液晶ディスプレイであり、表示部２１に様々な対象を表示することができる。また、表示部２１には、表示部２１における平面位置を表す位置情報パターンとしてのドットパターンが記されている。デジタルペン１０は、ドットパターンを光学的に読み取ることによって、指定した位置の位置情報を検出し、該位置情報を表示装置２０に送信する。表示装置２０は、該位置情報を入力として受け取り、様々な処理を行う。すなわち、デジタルペン１０は、読み取り装置として機能すると共に、表示制御システム１００へのデータ入力装置としても機能する。
例えば、表示装置２０は、デジタルペン１０の移動に追従して、表示部２１における指定された位置に点を連続的に表示することによって、デジタルペン１０の先端の軌跡を表示することができる。すなわち、デジタルペン１０を用いて表示部２１に文字や図形等を記入することができる。また、表示装置２０は、デジタルペン１０の移動に追従して、表示部２１における指定された位置の表示を連続的に消去することによって、デジタルペン１０の先端の軌跡と一致する部分の表示を消去することができる。すなわち、デジタルペン１０を消しゴムのように使用することができる。さらには、表示装置２０は、表示部２１における指定された位置を表示することによって、デジタルペン１０をマウスのような入力装置として使用することができる。このように、表示制御システム１００においては、デジタルペン１０を表示装置２０の表示部２１上で動かすことによってデジタルペン１０の位置が入力として表示装置２０に入力され、表示装置２０が該入力に応じて表示内容を変更する。
［２．表示装置の構成］
以下、表示装置２０について説明する。図２は表示制御システム１００の概略構成を示すブロック図である。
表示装置２０は、外部からの信号を受信する受信部２２と、表示装置２０全体を制御する表示側マイコン２３と、画像を表示する表示パネル２４と、を有している。本実施形態の表示パネル２４は液晶パネルである。
受信部２２は、詳しくは後述する、デジタルペン１０から送信された信号を受信する。受信部２２が受信した信号は、表示側マイコン２３に送られる。
表示側マイコン２３は、ＣＰＵやメモリなどから構成されており、ＣＰＵを動作させるためのプログラムも実装されている。表示側マイコン２３は、制御部の一例である。例えば、表示側マイコン２３は、デジタルペン１０から送信された信号に基づいて表示パネル２４を制御して、表示部２１に表示させる内容を変更する。
図３は表示パネル２４の概略断面図である。表示パネル２４の基本的な構成は、一般的な液晶パネルの構成と同様である。詳しくは、表示パネル２４は、一対のガラス基板２５と、各ガラス基板２５の外表面に設けられた偏光フィルタ２６と、一対のガラス基板２５の間に設けられた一対の配向膜２７と、一対の配向膜２７の間に設けられた液晶層２８と、各配向膜２７に設けられた透明電極２９と、表面側のガラス基板２５と透明電極２９との間に設けられたカラーフィルタ３０とを有している。表示部２１に様々な画像が表示される。詳しくは後述するが、前記ドットパターンは、カラーフィルタ３０に記されている。ドットパターンは、位置情報パターンの一例である。
［３．デジタルペンの構成］
次に、デジタルペン１０の詳細な構成について説明する。図４は、デジタルペン１０の概略構成を示す断面図である。
デジタルペン１０は、円筒状の本体部１１と、本体部１１の先端に取り付けられたペン先部１２と、ペン先部１２に作用する圧力を検出する圧力センサ１３と、赤外光を出射する照射部１４と、入射してきた赤外光を読み取る読取部１５と、デジタルペン１０を制御する制御部１６と、外部へ信号を出力する送信部１７と、デジタルペン１０の各部材に電力を供給する電源１９とを有している。
本体部１１は、一般的なペンと同様の円筒で形成されている。ペン先部１２は、先細形状であって、その先端は表示面２１を傷つけない程度に丸く形成されている。また、ペン先部１２の形状は、ユーザが表示面２１に表示される画像を認識しやすい形状であることが好ましい。
圧力センサ１３は、本体部１１に内蔵され、ペン先部１２の基端部に連結されている。圧力センサ１３は、ペン先部１２に加わる圧力を検出し、その検出結果を制御部１６へ送信する。具体的には、圧力センサ１３は、ユーザがデジタルペン１０を用いて表示面２１上に文字などを記入する際にペン先部１２に加わる圧力を検出する。つまり、圧力センサ１３は、デジタルペン１０を用いたユーザの入力意思の有無を判定する際に用いられる。
照射部１４は、本体部１１の先端部であって、ペン先部１２の近傍に設けられている。照射部１４は、例えば、赤外線ＬＥＤで構成されており、本体部１１の先端から赤外光を照射するように構成されている。
読取部１５は、本体部１１の先端部であって、ペン先部１２の近傍に設けられている。読取部１５は、対物レンズ１５ａと、撮像素子１５ｂとを有している。対物レンズ１５ａは、入射してくる光を撮像素子１５ｂに結像させる。対物レンズ１５ａは本体部１１の先端部に設けられているので、対物レンズ１５ａには、照射部１４から出射され、表示装置２０で反射した赤外光が入射する。撮像素子１５ｂは、対物レンズ１５ａの光軸上に設けられている。撮像素子１５ｂは、撮像面に結像した光学像を電気信号に変換して制御部１６へ出力する。撮像素子１５ｂは、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサで構成される。詳しくは後述するが、前記ドットパターンは赤外光を吸収する材料で形成されているので、ドットパターンからは赤外光が返ってこない。その結果、ドットパターンが黒く表現された光学像が撮像素子１５ｂに撮像される。
制御部１６は、図２に示すように、特定部１６ａと、ペン側マイコン１６ｂとを有する。特定部１６ａは、読取部１５からの画像信号に基づいてデジタルペン１０の表示面２１上の位置情報を特定する。詳しくは、特定部１６ａは、読取部１５が取得した画像信号からドットパターンを取得し、該ドットパターンに基づいてペン先部１２の、表示面２１上の位置を特定する。特定部１６ａにより特定されたペン先部１２の位置に関する情報は、ペン側マイコン１６ｂへ送られる。ペン側マイコン１６ｂは、デジタルペン１０全体を制御する。ペン側マイコン１６ｂは、ＣＰＵやメモリなどから構成されており、ＣＰＵを動作させるためのプログラムも実装されている。
送信部１７は、信号を外部に送信する。具体的には、送信部１７は、特定部１６ａにより特定した位置情報を外部へ無線送信する。送信部１７は、表示装置２０の受信部２２と近距離無線通信を行う。送信部１７は、本体部１１のうちペン先部１２とは反対側の端部に設けられている。
［４．カラーフィルタの詳細構造］
続いて、カラーフィルタ３０の詳細構造について説明する。図５は、カラーフィルタ３０の平面図である。
カラーフィルタ３０は、ブラックマトリクス３１と、該ブラックマトリクス３１により区画され、特定の色の光を透過させる複数の画素領域３２と、画素領域３２内に設けられたドット３３とを有している。画素領域３２には、赤色（Ｒ）の光を透過させる赤色画素領域３２ｒと、緑色（Ｇ）の光を透過させる緑色画素領域３２ｇと、青色（Ｂ）の光を透過させる青色画素領域３２ｂとを含んでいる。各画素領域３２は、表示パネル２４のサブピクセルに対応している。尚、透過させる色を区別しないときには、単に、「画素領域３２」と称する。ブラックマトリクス３１は、画素領域３２の長手方向に延びる縦線と、画素領域３２の短手方向に延びる横線とを含み、格子状に形成されている。横線は、縦線に比べて、太く形成されている。ブラックマトリクス３１及びドット３３は、カーボンブラックを主成分とする材料で形成されている。ドット３３は、中実の円形に形成されている。ドット３３は、全ての画素領域３２ではなく、いくつかの画素領域３２に設けられている。カラーフィルタ３０においては、複数のドット３３が一かたまりとなってドットパターンを形成している。このドットパターンは、カラーフィルタ３０の位置に応じて異なっている。
以下に、ドットパターンについて詳しく説明する。
まず、カラーフィルタ３０上に第１基準線３４と第２基準線３５とを規定する。これら第１及び第２基準線３４，３５は、仮想的な線であり、実際には存在する線ではない。第１基準線３４は、画素領域３２の短手方向に延びる直線である。第１基準線３４は、画素領域３２の長手方向に画素領域３２を２つおきに、複数並設されている。各第１基準線３４は、画素領域３２の長手方向中央に位置している。第２基準線３５は、画素領域３２の長手方向に延びる直線である。第２基準線３５は、緑色画素領域３２ｇ上に設けられており、画素領域３２の短手方向に緑色セル３２ｇを２つおきに、複数並設されている。各第２基準線３５は、緑色画素領域３２ｇの短手方向中央に位置している。これら第１基準線３４及び第２基準線３５により、カラーフィルタ３０上には格子が規定される。
各ドット３３は、第１基準線３４と第２基準線３５との交点の周辺に配置される。図６は、ドット３３の配置パターンを示す図である。ドット３３は、該交点から、互いに直交する四方（図５，６では、上下左右）の何れかにずれた位置に配置される。具体的には、ドット３３は、図６（Ａ）〜（Ｄ）の何れかの配置となる。図６（Ａ）の配置では、ドット３３は、第１基準線３４と第２基準線３５との交点から、第１基準線３４上を右側にずれた位置に配置される。このとき、ドット３３は、青色画素領域３２ｂ上に配置される。この配置を数値化する際には「１」で表す。図６（Ｂ）の配置では、ドット３３は、第１基準線３４と第２基準線３５との交点から、第２基準線３５上を上側にずれた位置に配置される。このとき、ドット３３は、緑色画素領域３２ｇ上に配置される。この配置を数値化する際には「２」で表す。図６（Ｃ）の配置では、ドット３３は、第１基準線３４と第２基準線３５との交点から、第１基準線３４上を左側にずれた位置に配置される。このとき、ドット３３は、赤色画素領域３２ｒ上に配置される。この配置を数値化する際には「３」で表す。図６（Ｄ）の配置では、ドット３３は、第１基準線３４と第２基準線３５との交点から、第２基準線３５上を下側にずれた位置に配置される。このとき、ドット３３は、緑色画素領域３２ｇ上に配置される。この配置を数値化する際には「４」で表す。
そして、６ドット×６ドットを１つの単位エリアとして、単位エリアに含まれる３６個のドット３３で１つのドットパターンを形成する。単位エリアに含まれる３６個のドット３３のそれぞれを前記「１」〜「４」の何れかの配置とすることによって、膨大な数のドットパターンを形成することができる。各単位エリアのドットパターンは、全て異なっている。
これらのドットパターンの１つ１つには、情報が付加されている。詳しくは、各ドットパターンは、単位エリアごとの位置座標を表している。つまり、カラーフィルタ３０を、６ドット×６ドットの単位エリアで分割すると、各ドットパターンはその単位エリアの位置座標を表している。このようなドットパターンのパターンニングや座標変換の方法は、例えば、特開２００６−１４１０６７号公報に開示されているような公知の方法を用いることができる。
［５．本実施形態の特徴および動作］
本実施形態では、デジタルペン１０の読取部１５における光学系に特徴がある。すなわち、ブラックマトリクスのパターンが予め除去された撮像画像が得られるように、読取部１５における光学系の解像度が低く設定されている。光学系の解像度は、レンズの開口数ＮＡやＦ値と光の波長λとから求められる分解能の値の逆数に相当し、分解能の値が小さいときは高く、大きいときは低い。例えば図４の構成では、対物レンズ１５ａとして低解像度レンズを用いている。これにより、ドットパターンを含む撮像画像からブラックマトリクスのパターンを除去するための画像処理が不要になるため、位置を特定するための画像認識処理に要する時間が格段に短縮される。したがって、デジタルペン１０の動きに対するレスポンスが大幅に改善される。つまり、本実施形態では、低解像度レンズが、画像処理における空間周波数フィルタリングと同じ効果を持つことを利用している。
図７はドットパターンなしのブラックマトリクスの周波数特性の一例、図８は図７のブラックマトリクスにドットパターンが設けられた場合の周波数特性の一例である。ｆｘはＸ方向における周波数(cycle/mm)、ｆｙはＹ方向における周波数(cycle/mm)である。図７では、Ｘ方向の周波数特性（図７（ｂ））が周波数２５．４（cycle/mm）に急峻なピークを有している。また、Ｙ方向の周波数特性（図７（ｃ））もいくつかのピークを有している。ブラックマトリクスの空間周波数は、そのピッチの逆数にほぼ相当する。例えば、Ｘ方向の周波数特性における急峻なピークは、縦方向におけるブラックマトリクスのピッチに起因している。
一方、図８では、Ｘ方向の周波数特性（図８（ｂ））とＹ方向の周波数特性（図８（ｃ））の両方において、ブラックマトリクスに起因したピークの影響は見られるものの、空間周波数は広い範囲に分布している。したがって、読取部１５における光学系の解像度を、ブラックマトリクスに起因した周波数ピークを抑制できるように設定することによって、撮像画像からブラックマトリクスの影響を除去することができる。
例えば光学系の周波数特性を、図９（ａ）に示すように、縦方向におけるブラックマトリクスに起因したピーク周波数２５．４（cycle/mm）以上の周波数を遮断するような特性に設定する。ＭＴＦは変調伝達関数(Modulation TransferFunction)である。このような光学系を用いて図９（ｂ）のようなドットパターンを撮影すると、図９（ｃ）に示すような撮像画像が得られる。図９（ｃ）を見ると、縦方向のブラックマトリクスが画像から除去されているのが分かる。
また、図１０（ａ）は低解像度レンズを用いた場合の撮像画像の他の例であり、図１０（ｂ）に示すドットパターンを撮像したものである。なお、図１０（ｂ）の例では、低解像度レンズの効果がより分かりやすくなるように、ドットパターンの個数を増やしている。図１０（ａ）では、図１０（ｂ）における接近した２個のドットのペア（破線で囲まれている）に相当する箇所が黒く映っており、ブラックマトリクスは縦方向および横方向の両方とも画像から除去されている。すなわち、読取部１５における光学系の解像度を低く設定することによって、ブラックマトリクスを除去しつつ、ドットパターンのみを画像認識可能であることが分かる。
すなわち、本実施形態では、指示装置１０が有する読取部１５における光学系の解像度が、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低くなっている。表示装置２０および表示パネル２４の側からいうと、ブラックマトリクスは、縦方向および横方向における空間周波数のうち少なくともいずれか１つが、指示装置１０が有する読取部１５における光学系の解像度よりも高くなるように形成されており、かつ、ドットパターンは、読取部１５における光学系の解像度よりも低い空間周波数を有するように、形成されている。
図１１は、表示制御システム１００の処理の流れを示すフローチャートである。以下では、ユーザが、デジタルペン１０を用いて表示装置２０に文字を記入する場合について説明する。
まず、表示制御システム１００の電源がオンされると、ステップＳ１１において、デジタルペン１０のペン側マイコン１６ｂは、ペン先部１２に圧力が作用したか否かを監視する。この圧力の検出は、圧力センサ１３が行う。圧力が検出されると（Ｙｅｓ）、ペン側マイコン１６ｂは、ユーザが表示装置２０の表示部２１に対して文字を入力していると判定し、ステップＳ１２へ進む。圧力が検出されていない間（Ｎｏ）は、ペン側マイコン１６ｂは、ステップＳ１１を繰り返す。尚、デジタルペン１０の電源がオンされると、照射部１４は赤外光の照射を開始する。
ステップＳ１２では、デジタルペン１０の読取部１５が、表示部２１に形成されたドットパターンを検出する。照射部１４からは赤外光が出射されており、この赤外光は、少なくとも表示装置２０のカラーフィルタ３０に設けられたドット３３に吸収される一方、画素領域３２等において反射される。反射された赤外光は、対物レンズ１５ａを介して撮像素子１５ｂに受光される。その結果、撮像素子１５ｂによりドットパターンが撮像される。このとき、上述したとおり、対物レンズ１５ａの解像度が、ブラックマトリクスの空間周波数よりも低くなっているため、ブラックマトリクスは撮像画像から予め除去されている。このようにして、読取部１５は、ドットパターンを光学的に読み取る。読取部１５が取得した画像信号は、特定部１６ａに送信される。
ステップＳ１３では、特定部１６ａが、画像信号からドットパターンを取得し、該ドットパターンに基づいてペン先部１２の、表示部２１上の位置を特定する。詳しくは、特定部１６ａは、得られた画像信号に所定の画像処理を施すことにより、複数のドット３３の配列を取得する。このとき、ブラックマトリクスは撮像画像から予め除去されているため、画像処理に要する時間は大幅に短縮される。続いて、特定部１６ａは、取得されたドット３３の配列から６ドット×６ドットの単位エリアを割り出すと共に、該単位エリアのドットパターンから該単位エリアの位置座標（位置情報）を特定する。特定部１６ａは、ドットパターンのコーディング方法に対応した所定の演算により、ドットパターンを位置座標に変換する。特定された位置情報は、ペン側マイコン１６ｂに送信される。
続いて、ステップＳ１４では、ペン側マイコン１６ｂは、位置情報を送信部１７を介して表示装置２０へ送信する。
デジタルペン１０から送信された位置情報は、表示装置２０の受信部２２により受信される。受信された位置情報は、受信部２２から表示側マイコン２３に送信される。ステップＳ１５において、表示側マイコン２３は、位置情報を受信すると、位置情報に対応する位置の表示内容を変更するように表示パネル２４を制御する。この例では、文字の入力なので、表示部２１における位置情報に対応する位置に点を表示する。
続いて、ステップＳ１６において、ペン側マイコン１６ｂは、ユーザによる入力が継続しているか否かを判定する。圧力センサ１３が圧力を検出している場合には、ペン側マイコン１６ｂは、ユーザによる入力が継続していると判定して、ステップＳ１１へ戻る。そして、前記のフローを繰り返すことによって、デジタルペン１０のペン先部１２の移動に追従して、表示部２１上におけるペン先部１２の位置に点が連続的に表示される。最終的には、デジタルペン１０のペン先部１２の軌跡に応じた文字が表示装置２０の表示面２１に表示される。
一方、ステップＳ１５において、圧力センサ１３が圧力を検出していない場合には、ペン側マイコン１６ｂは、ユーザによる入力が継続していないと判定して、処理を終了する。
こうして、表示装置２０が表示部２１上におけるデジタルペン１０の先端の軌跡を表示部２１に表示することによって、デジタルペン１０を用いた表示部２１への手書き入力を行うことができる。
尚、以上では、文字を記入する場合について説明したが、表示制御システム１００の使い方は、これに限られるものでない。文字に限らず、数字、記号及び図形等を記入できることはもちろんのことであるが、デジタルペン１０を消しゴムのように用いて、表示部２１に表示された文字、図形等を消すこともできる。つまり、前記の例では、表示部２１における位置情報に対応する位置に点を表示しているが、当該位置の点を消去するようにすればよい。さらには、デジタルペン１０をマウスのように用いて、表示部２１に表示されるカーソルを移動させたり、表示部２１に表示されるアイコンを選択したりすることもできる。
［６．実施形態の効果］
以上のように本実施形態によると、指示装置１０が有する読取部１５における光学系の解像度が、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低くなっている。これにより、ブラックマトリクスのパターンが予め除去された撮像画像が得られるので、ドットパターンを含む撮像画像からブラックマトリクスのパターンを除去するための画像処理が不要になる。したがって、位置を特定するための画像認識処理に要する時間が格段に短縮されるので、デジタルペン１０の動きに対するレスポンスが大幅に改善される。
すなわち、本実施形態では、表示部２１を有する表示装置２０に対して、デジタルペン１０によって、表示部２１上の位置が指示される。表示部２１では、画素領域がブラックマトリクスによって区画されている。デジタルペン１０において、読取部１５が、表示部２１における平面位置を表すドットパターンを含む画像を撮像する。この読取部１５の光学系１５ａの解像度は、ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低くなっている。このため、読取部１５によって、ブラックマトリクスが予め除去された撮像画像を得ることができる。すなわち、読取部１５の光学系１５ａの解像度を低くすることによって、ドットパターンを含む撮像画像から、ブラックマトリクスを予め除去することができる。これにより、ドットパターンを含む撮像画像に対して、ブラックマトリクスを除去するための画像処理が不要になるので、位置を特定するための画像認識処理に要する時間が格段に短縮される。したがって、デジタルペン１０の動きに対するレスポンスが大幅に改善される。
（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
そこで、以下、他の実施の形態を例示する。
実施形態では、指示装置の一例として、光学式デジタルペンを説明した。指示装置は、表示装置の表示部上の位置を指示するためのものであり、表示部上の位置を指示するための指示部と、指示部によって指示された位置における、位置情報パターンを含む画像を撮像する読取部とを備えていればよい。したがって、指示装置は、光学式デジタルペンに限定されない。また、指示部や読取部の構成は、実施形態で示したものに限られるものではない。
また、実施形態では、位置情報パターンの一例として、ドットパターンを説明した。位置情報パターンは、表示装置の表示部に形成されており、表示部における平面位置を表すものであればよい。したがって、位置情報パターンは、ドットパターンに限定されない。また、位置座標の表し方や単位エリアの分割形態などについても、実施形態に示したものに限られるものではない。
また、ドット３３は、カラーフィルタ３０に設けられているが、これに限られるものではない。ドット３３は、ガラス基板２５や偏光フィルタ２６に設けられていてもよい。さらには、表示パネル２４は、ドット３３が形成された、カラーフィルタ３０、ガラス基板２５及び偏光フィルタ２６とは別のシートを備える構成であってもよい。
なお、実施形態では、図４に示す構成のデジタルペン１０を例にとって説明したが、これに限られるものでない。例えば、読取部の光学系として、複数のレンズが組み合わされた構成であってもよい。
また、特定部について、実施形態では、デジタルペン１０に設けられているものとしたが、特定部は表示装置２０に設けてもよいし、デジタルペン１０および表示装置２０とは別個の制御装置として、設けてもかまわない。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示は、レスポンスの良い手書き入力を実現できる表示制御システムに適用可能である。具体的には、タブレット、スマートフォン、ノートＰＣなどに、本開示は適用可能である。
１０ デジタルペン（指示装置）
１２ ペン先部（指示部）
１５ 読取部
１５ａ 対物レンズ（光学系）
２０ 表示装置
２１ 表示部
２４ 表示パネル
１００ 表示制御システム

Claims (5)

  1. 表示部を有する表示装置と、前記表示部上の位置を指示するための指示装置とを備え、前記指示装置によって指示された位置に応じた表示制御を行う表示制御システムであって、
    前記表示装置の前記表示部は、画素領域がブラックマトリクスによって区画されており、かつ、当該表示部における平面位置を表す位置情報パターンが形成されており、
    前記指示装置は、
    前記表示部上の位置を指示するための指示部と、
    前記指示部によって指示された位置における、前記位置情報パターンを含む画像を撮像する読取部とを備えており、
    前記読取部における光学系の解像度は、前記ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低い
    表示制御システム。
  2. 請求項１記載の表示制御システムにおいて、
    前記読取部における光学系の解像度は、前記ブラックマトリクスの縦方向および横方向における空間周波数のいずれよりも、低い
    表示制御システム。
  3. 請求項１記載の表示制御システムにおいて、
    前記表示装置において、前記位置情報パターンは、前記読取部における光学系の解像度よりも低い空間周波数を有するように、形成されている
    表示制御システム。
  4. 画素領域がブラックマトリクスによって区画された表示部を有し、前記表示部に平面位置を表す位置情報パターンが形成されている表示装置に対して、前記表示部上の位置を指示するための指示装置であって、
    前記表示部上の位置を指示するための指示部と、
    前記指示部によって指示された位置における、前記位置情報パターンを含む画像を撮像する読取部とを備えており、
    前記読取部における光学系の解像度は、前記ブラックマトリクスの縦方向および横方向における空間周波数のうち少なくともいずれか１つよりも、低い
    指示装置。
  5. 表示部を有しており、指示装置によって指示された位置に応じた表示制御を行う表示制御システムにおいて用いられる表示パネルであって、
    前記表示部は、画素領域がブラックマトリクスによって区画されており、かつ、当該表示部における平面位置を表す位置情報パターンが形成されており、
    前記指示装置は、
    前記表示部上の位置を指示するための指示部と、
    前記指示部によって指示された位置における、前記位置情報パターンを含む画像を撮像する読取部とを備えており、
    前記表示部において、前記ブラックマトリクスは、縦方向および横方向における空間周波数のうち少なくともいずれか１つが、前記読取部における光学系の解像度よりも高くなるように形成されており、かつ、前記位置情報パターンは、前記読取部における光学系の解像度よりも低い空間周波数を有するように、形成されている
    表示パネル。
JP2013539833A 2012-04-26 2013-04-22 表示制御システム、指示装置および表示パネル Expired - Fee Related JP5420807B1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013539833A JP5420807B1 (ja) 2012-04-26 2013-04-22 表示制御システム、指示装置および表示パネル

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012101735 2012-04-26
JP2012101735 2012-04-26
PCT/JP2013/002709 WO2013161262A1 (ja) 2012-04-26 2013-04-22 表示制御システム、指示装置および表示パネル
JP2013539833A JP5420807B1 (ja) 2012-04-26 2013-04-22 表示制御システム、指示装置および表示パネル

Publications (2)

Publication Number Publication Date
JP5420807B1 JP5420807B1 (ja) 2014-02-19
JPWO2013161262A1 true JPWO2013161262A1 (ja) 2015-12-21

Family

ID=49482605

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013539833A Expired - Fee Related JP5420807B1 (ja) 2012-04-26 2013-04-22 表示制御システム、指示装置および表示パネル

Country Status (4)

Country Link
US (1) US9442653B2 (ja)
JP (1) JP5420807B1 (ja)
CN (1) CN103649887A (ja)
WO (1) WO2013161262A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9665193B2 (en) 2014-12-22 2017-05-30 Panasonic Intellectual Property Management Co., Ltd. Display panel and display control system

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3908193A (en) * 1972-11-27 1975-09-23 Albert Macovski Color television encoding and decoding system
JP3277052B2 (ja) * 1993-11-19 2002-04-22 シャープ株式会社 座標入力装置、および座標入力方法
JP4776832B2 (ja) * 2000-10-19 2011-09-21 キヤノン株式会社 座標入力装置、および、画像入力装置の座標板
SE0102253L (sv) 2001-06-26 2002-12-27 Anoto Ab Läspenna
US6966495B2 (en) 2001-06-26 2005-11-22 Anoto Ab Devices method and computer program for position determination
JP2004246433A (ja) * 2003-02-12 2004-09-02 Hitachi Ltd データ入力システム
US6962450B2 (en) * 2003-09-10 2005-11-08 Hewlett-Packard Development Company L.P. Methods and apparatus for generating images
US7134606B2 (en) * 2003-12-24 2006-11-14 Kt International, Inc. Identifier for use with digital paper
GB0402022D0 (en) * 2004-01-30 2004-03-03 Hewlett Packard Development Co Method of obtaining at least a portion ofa document
US20060097997A1 (en) * 2004-10-21 2006-05-11 Borgaonkar Shekhar R Method and system for capturing data using a digital pen
JP4774716B2 (ja) * 2004-10-28 2011-09-14 セイコーエプソン株式会社 情報表示装置、位置指示装置および位置検出システム
JP4522249B2 (ja) * 2004-12-17 2010-08-11 キヤノン株式会社 撮像装置
US7528848B2 (en) * 2005-06-30 2009-05-05 Microsoft Corporation Embedded interaction code decoding for a liquid crystal display
JP2007079943A (ja) * 2005-09-14 2007-03-29 Toshiba Corp 文字読取プログラム、文字読取方法および文字読取装置
JP2007226577A (ja) 2006-02-23 2007-09-06 Dainippon Printing Co Ltd デジタルペンを利用したデータ入力処理システム、端末装置およびコンピュータプログラム
CN101849243B (zh) 2007-10-30 2014-05-28 吉田健治 代码图形
US8842076B2 (en) * 2008-07-07 2014-09-23 Rockstar Consortium Us Lp Multi-touch touchscreen incorporating pen tracking
WO2010132588A2 (en) * 2009-05-15 2010-11-18 Polyvision Corporation Electronic display systems having mobile components
US20130148115A1 (en) * 2011-12-12 2013-06-13 Yoav Berlatzky Optical system and method for inspection of patterned samples

Also Published As

Publication number Publication date
CN103649887A (zh) 2014-03-19
JP5420807B1 (ja) 2014-02-19
WO2013161262A1 (ja) 2013-10-31
US20140035880A1 (en) 2014-02-06
US9442653B2 (en) 2016-09-13

Similar Documents

Publication Publication Date Title
WO2013035319A1 (ja) 表示パネル、表示装置及び表示制御システム
RU2536667C2 (ru) Система рукописного ввода/вывода, лист рукописного ввода, система ввода информации, и лист, обеспечивающий ввод информации
WO2013161246A1 (ja) 表示制御システム、表示装置及び表示パネル
JP5834255B2 (ja) 表示装置および表示制御システム
US20110304548A1 (en) Mouse provided with a dot pattern reading function
JP5553920B2 (ja) 表示パネルおよび表示装置
US20140362054A1 (en) Display control system and reading device
US9030509B2 (en) Display device and display control system
CN103425409A (zh) 投影显示的控制方法和装置
US9128538B2 (en) Optical film, display panel, and display device
JP2014041602A (ja) 情報読取装置
JP5420807B1 (ja) 表示制御システム、指示装置および表示パネル
WO2013161245A1 (ja) 表示制御システム、表示装置及び表示パネル
JPWO2014038118A1 (ja) 表示装置および表示制御システム
US20160364039A1 (en) Optical film, display panel, and display device
JP6048165B2 (ja) コンピュータ装置、電子ペンシステム、及びプログラム
US20150153846A1 (en) Coordinate detection system, information processing apparatus, and recording medium
WO2014017039A1 (ja) 情報読取装置
WO2013161261A1 (ja) 表示制御システムおよび指示装置
JP2013250477A (ja) コンピュータ装置及びプログラム
KR101385771B1 (ko) 디스플레이 장치의 화면에 표시된 코드 판독 방법, 코드 판독 방법이 실행되는 리더기, 및 디스플레이 장치를 구비하는 전자 기기
JPWO2015141105A1 (ja) 光学フィルム、表示パネル及び表示装置
JP2016085662A (ja) 入力装置、及び電子情報ボード
JP2014002190A (ja) コンピュータ装置及びプログラム
JP6375903B2 (ja) 記入情報表示装置、記入情報表示方法及びプログラム

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131105

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131120

R150 Certificate of patent or registration of utility model

Ref document number: 5420807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees