JPWO2013035319A1 - 表示装置及び表示制御システム - Google Patents

表示装置及び表示制御システム Download PDF

Info

Publication number
JPWO2013035319A1
JPWO2013035319A1 JP2013532447A JP2013532447A JPWO2013035319A1 JP WO2013035319 A1 JPWO2013035319 A1 JP WO2013035319A1 JP 2013532447 A JP2013532447 A JP 2013532447A JP 2013532447 A JP2013532447 A JP 2013532447A JP WO2013035319 A1 JPWO2013035319 A1 JP WO2013035319A1
Authority
JP
Japan
Prior art keywords
display
black matrix
unit
display unit
position information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2013532447A
Other languages
English (en)
Inventor
山田 和宏
和宏 山田
田中 康弘
康弘 田中
伊三男 島田
伊三男 島田
田中 武
武 田中
石井 正宏
正宏 石井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2013532447A priority Critical patent/JPWO2013035319A1/ja
Publication of JPWO2013035319A1 publication Critical patent/JPWO2013035319A1/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03545Pens or stylus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • G06F3/0317Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09GARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/08Cursor circuits

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)

Abstract

表示制御システム(100)複数の画素(40)が設けられて画像を表示する表示部(21)を有する表示装置(20)と、表示部(21)上の位置を指示するデジタルペン(10)とを備えている。表示部(21)には、表示部(21)上の位置を表す位置情報パターンが設けられている。デジタルペン(10)は、表示部(21)上において指示している位置の位置情報パターンを光学的に読み取るように構成されている。表示装置(20)は、デジタルペン(10)が読み取った位置情報パターンに対応する位置の表示内容を変更するように表示部(21)を制御する。

Description

本開示は、デジタルディスプレイの表示面に対して手書き入力が可能な表示制御システム並びにそれに用いられる表示装置及び表示パネルに関するものである。
特許文献1は、ペンを用いて紙の上に文字等を記入する際に、紙に記入した情報を電子化し、その電子化された情報をサーバや端末に送信する技術を開示する。
特開2007−226577号公報
本開示は、表示装置の表示面に高精細に手書き入力を行うこと表示制御システム並びにそれに用いられる表示装置及び表示パネルを提供する。
本開示における表示制御システムは、複数の画素が設けられて画像を表示する表示部を有する表示装置と、前記表示部上の位置を指示する指示装置とを備え、該指示装置に指示された位置に応じた表示制御を行うものである。前記表示部には、該表示部上の位置を表す位置情報パターンが設けられ、前記指示装置は、前記表示部上において指示している位置の前記位置情報パターンを光学的に読み取るように構成され、前記表示装置は、前記指示装置が読み取った前記位置情報パターンに対応する位置の表示内容を変更するように前記表示部を制御するものとする。
本開示における表示装置は、複数の画素が設けられて画像を表示する表示部を有するものである。そして、前記表示部には、外部から光学的に読み取り可能であって該表示部上の位置を表す位置情報パターンが設けられているものとする。
本開示における表示パネルは、複数の画素が設けられて画像を表示する表示部を有するものである。そして、前記表示部には、外部から光学的に読み取り可能であって該表示部上の位置を表す位置情報パターンが設けられているものとする。
本開示における表示制御システムによれば、高精細な手書き入力を行うことができる。
本開示における表示装置によれば、高精細な手書き入力を行うことができる。
本開示における表示パネルによれば、高精細な手書き入力を行うことができる。
図1は、実施形態1に係る表示制御システムの概略図である。 図2は、表示制御システムのブロック図である。 図3は、表示パネルの概略断面図である。 図4は、表示部の拡大図である。 図5は、デジタルペンの概略断面図である。 図6は、カラーフィルタの平面図である。 図7は、ドットの配置を示す図であり、(A)は、符号「1」に対応する配置を、(B)は、符号「2」に対応する配置を、(C)は、符号「3」に対応する配置を、(D)は、符号「4」に対応する配置を示す。 図8は、表示制御システムの処理の流れを示すフローチャートである。 図9は、その他の実施形態に係るカラーフィルタの平面図であって、(A)は変形例1に係るドットパターンを、(B)は変形例2に係るドットパターンを、(C)は変形例3に係るドットパターンを示す。 図10は、変形例に係るデジタルペンの概略断面図である。 図11は、実施形態2に係る表示制御システムのブロック図である。 図12は、表示制御システムの処理の流れを示すフローチャートである。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
《実施形態1》
[1.表示制御システムの概要]
図1は、実施形態1に係る表示制御システム100の外観を示す概略図である。表示制御システム100は、光学式デジタルペン(以下、単に「デジタルペン」と称する。)10と、表示装置20とを備えている。詳しくは後述するが、表示装置20は、液晶ディスプレイであり、表示部21に様々な画像を表示することができる。また、表示装置20には、表示部21上における位置を表すドットパターンが設けられている。デジタルペン10は、ドットパターンを光学的に読み取ることによって、表示部21上におけるデジタルペン10の位置に関する情報(以下、「位置情報」ともいう)を検出し、該位置情報を表示装置20に送信する。表示装置20は、該位置情報を入力として受け取り、様々な表示制御を行う。例えば、表示装置20は、デジタルペン10の軌跡に応じて表示部21に点を連続的に表示する。これにより、デジタルペン10を用いて表示部21に文字や図形等を手書き入力することができる。または、表示装置20は、デジタルペン10の軌跡に応じて表示部21の点を連続的に消去する。これにより、デジタルペン10を消しゴムのように用いて表示部21の文字や図形を消去することができる。すなわち、デジタルペン10は、読み取り装置として機能すると共に、表示制御システム100への入力装置としても機能する。デジタルペン10は、指示装置の一例である。
[2.表示装置の構成]
以下、表示装置20について説明する。図2は、表示制御システム100の概略構成を示すブロック図である。
表示装置20は、外部からの信号を受信する受信部22と、表示装置20全体を制御する表示側マイコン23と、画像を表示する表示パネル24とを有している。
受信部22は、詳しくは後述する、デジタルペン10から送信された信号を受信する。受信部22が受信した信号は、表示側マイコン23に送られる。
表示側マイコン23は、CPUやメモリなどから構成されており、CPUを動作させるためのプログラムも実装されている。例えば、表示側マイコン23は、デジタルペン10から送信された信号に基づいて表示パネル24を制御して、表示パネル24に表示させる内容を変更する。
図3は、表示パネル24の概略断面図である。表示パネル24は、液晶パネルである。表示パネル24の基本的な構成は、一般的な液晶パネルの構成と同様である。詳しくは、表示パネル24は、一対のガラス基板25と、各ガラス基板25の外表面に設けられた偏光フィルタ26と、一対のガラス基板25の間に設けられた一対の配向膜27と、一対の配向膜27の間に設けられた液晶層28と、各配向膜27に設けられた透明電極29と、表面側のガラス基板25と透明電極29との間に設けられたカラーフィルタ30とを有している。表示パネル24の表面には、表示部21が形成されている。
図4は、表示部21の拡大図である。表示部21には、複数の画素40が設けられている。表示部21には、複数の画素40が行列状に配列されている。各画素40は、赤色のサブ画素41rと、緑色のサブ画素41gと、青色のサブ画素41bとを含んでいる。尚、色を区別しないときには、単に、「サブ画素41」と称する。この表示部21に様々な画像が表示される。詳しくは後述するが、サブ画素41には、ドット33が設けられている。そして、複数のドット33の集合でドットパターンを構成している。ドット33は、マークの一例であり、ドットパターンは、位置情報パターンの一例である。
[3.デジタルペンの構成]
次に、デジタルペン10の詳細な構成について説明する。図5は、デジタルペン10の概略構成を示す断面図である。
デジタルペン10は、円筒状の本体部11と、本体部11の先端に取り付けられたペン先部12と、ペン先部12に作用する圧力を検出する圧力センサ13と、赤外光を出射する照射部14と、入射してきた赤外光を読み取る読取部15と、デジタルペン10を制御する制御部16と、外部へ信号を出力する送信部17と、デジタルペン10の各部材に電力を供給する電源19とを有している。デジタルペン10は、ペン形状をしている。
本体部11は、一般的なペンと同様の円筒で形成されている。ペン先部12は、先細形状であって、その先端は表示部21の表面を傷つけない程度に丸く形成されている。また、ペン先部12の形状は、ユーザが表示部21に表示される画像を認識しやすい形状であることが好ましい。
圧力センサ13は、本体部11に内蔵され、ペン先部12の基端部に連結されている。圧力センサ13は、ペン先部12に加わる圧力を検出し、その検出結果を制御部16へ送信する。具体的には、圧力センサ13は、ユーザがデジタルペン10を用いて表示部21上に文字などを記入する際にペン先部12に加わる圧力を検出する。つまり、圧力センサ13は、デジタルペン10を用いたユーザの入力意思の有無を判定する際に用いられる。
照射部14は、本体部11の先端部であって、ペン先部12の近傍に設けられている。照射部14は、例えば、赤外線LEDで構成されており、本体部11の先端から赤外光を照射するように構成されている。
読取部15は、本体部11の先端部であって、ペン先部12の近傍に設けられている。読取部15は、対物レンズ15aと、撮像素子15bとを有している。対物レンズ15aは、入射してくる光を撮像素子15bに結像させる。対物レンズ15aは本体部11の先端部に設けられているので、対物レンズ15aには、照射部14から出射され、表示装置20で反射した赤外光が入射する。撮像素子15bは、対物レンズ15aの光軸上に設けられている。撮像素子15bは、撮像面に結像した光学像を電気信号に変換して制御部16へ出力する。撮像素子15bは、例えば、CCDイメージセンサやCMOSイメージセンサで構成される。詳しくは後述するが、前記ドットパターンは赤外光を吸収する材料で形成されているので、ドットパターンからは赤外光が返ってこない。その結果、ドットパターンが黒く表現された光学像が撮像素子15bに撮像される。
制御部16は、図2に示すように、特定部16aと、ペン側マイコン16bとを有する。特定部16aは、読取部15からの画像信号に基づいてデジタルペン10の表示部21上の位置情報を特定する。詳しくは、特定部16aは、読取部15が取得した画像信号からドットパターンを取得し、該ドットパターンに基づいてペン先部12の、表示部21上の位置を特定する。特定部16aにより特定されたペン先部12の位置に関する情報は、ペン側マイコン16bへ送られる。ペン側マイコン16b、デジタルペン10全体を制御する。ペン側マイコン16bは、CPUやメモリなどから構成されており、CPUを動作させるためのプログラムも実装されている。ペン側マイコン16bは、制御部の一例である。
送信部17は、信号を外部に送信する。具体的には、送信部17は、特定部16aにより特定した位置情報を外部へ無線送信する。送信部17は、表示装置20の受信部22と近距離無線通信を行う。送信部17は、本体部11のうちペン先部12とは反対側の端部に設けられている。
[4.カラーフィルタの詳細構造]
続いて、カラーフィルタ30の詳細構造について説明する。図6は、カラーフィルタ30の平面図である。
カラーフィルタ30は、ブラックマトリクス31と、該ブラックマトリクス31により区画され、特定の色の光を透過させる複数の画素領域32と、画素領域32内に設けられたドット33とを有している。画素領域32には、赤色(R)の光を透過させる赤色画素領域32rと、緑色(G)の光を透過させる緑色画素領域32gと、青色(B)の光を透過させる青色画素領域32bとを含んでいる。各画素領域32は、長方形状をしている。各画素領域32は、表示部21のサブ画素41に対応している。具体的には、赤色画素領域32rは、赤色のサブ画素41rに対応し、緑色画素領域32gは、緑色のサブ画素41gに対応し、青色画素領域32bは、青色のサブ画素41bに対応する。尚、透過させる色を区別しないときには、単に、「画素領域32」と称する。画素領域は、着色層の一例である。
赤色画素領域32r、緑色画素領域32g及び青色画素領域32bは、画素領域32の短手方向において、この順で並んでいる。画素領域32の長手方向については、同じ色の画素領域32が並んでいる。つまり、赤色画素領域32rの長手方向の隣りには、別の赤色画素領域32rが並んでいる。同様に、緑色画素領域32gの長手方向の隣りには、別の緑色画素領域32gが並んでいる。青色画素領域32bについても同様である。ブラックマトリクス31は、画素領域32の長手方向に延びる縦線と、画素領域32の短手方向に延びる横線とを含み、格子状に形成されている。横線は、縦線に比べて、太く形成されている。ブラックマトリクス31及びドット33は、カーボンブラックを主成分とする材料で形成されている。ドット33は、中実の円形に形成されている。ドット33は、全ての画素領域32ではなく、いくつかの画素領域32に設けられている。カラーフィルタ30においては、複数のドット33が一かたまりとなってドットパターンを形成している。このドットパターンは、カラーフィルタ30の位置に応じて異なっている。
以下に、ドットパターンについて詳しく説明する。
まず、カラーフィルタ30上に第1基準線34と第2基準線35とを規定する。これら第1及び第2基準線34,35は、仮想的な線であり、実際に存在する線ではない。第1基準線34は、画素領域32の短手方向に延びる直線である。第1基準線34は、画素領域32の長手方向に画素領域32を2つおきに、複数並設されている。各第1基準線34は、画素領域32の長手方向中央に位置している。第2基準線35は、画素領域32の長手方向に延びる直線である。第2基準線35は、緑色画素領域32g上に設けられており、画素領域32の短手方向に緑色画素領域32gを2つおきに、複数並設されている。各第2基準線35は、緑色画素領域32gの短手方向中央に位置している。これら第1基準線34及び第2基準線35により、カラーフィルタ30上には格子が規定される。
各ドット33は、第1基準線34と第2基準線35との交点の周辺に配置される。図7は、ドット33の配置パターンを示す図である。ドット33は、該交点から、互いに直交する四方(図6,7では、上下左右)の何れかにオフセットした位置に配置される。具体的には、ドット33は、図7(A)〜(D)の何れかの配置となる。図7(A)の配置では、ドット33は、第1基準線34と第2基準線35との交点から、第1基準線34上を右側にオフセットした位置に配置される。このとき、ドット33は、青色画素領域32b上に配置される。この配置を数値化する際には「1」で表す。図7(B)の配置では、ドット33は、第1基準線34と第2基準線35との交点から、第2基準線35上を上側にオフセットした位置に配置される。このとき、ドット33は、緑色画素領域32g上に配置される。この配置を数値化する際には「2」で表す。図7(C)の配置では、ドット33は、第1基準線34と第2基準線35との交点から、第1基準線34上を左側にオフセットした位置に配置される。このとき、ドット33は、赤色画素領域32r上に配置される。この配置を数値化する際には「3」で表す。図7(D)の配置では、ドット33は、第1基準線34と第2基準線35との交点から、第2基準線35上を下側にオフセットした位置に配置される。このとき、ドット33は、緑色画素領域32g上に配置される。この配置を数値化する際には「4」で表す。何れの配置においても、第1基準線34と第2基準線35との交点からのドット33のずれ量は、一定である。
そして、6ドット×6ドットを1つの単位エリアとして、単位エリアに含まれる36個のドット33で1つのドットパターンを形成する。単位エリアに含まれる36個のドット33のそれぞれを前記「1」〜「4」の何れかの配置とすることによって、膨大な数のドットパターンを形成することができる。各単位エリアのドットパターンは、全て異なっている。複数のドット33で構成されるドットパターンは、ブラックパターンの一例である。
これらのドットパターンの1つ1つには、情報を付加されている。詳しくは、各ドットパターンは、単位エリアごとの位置座標を表している。つまり、カラーフィルタ30を、6ドット×6ドットの単位エリアで分割すると、各ドットパターンはその単位エリアの位置座標を表している。このようなドットパターンのパターンニング(コーディング)や座標変換(デコーディング)の方法は、例えば、特開2006−141067号公報に開示されているような公知の方法を用いることができる。
[5.動作]
続いて、このように構成された表示制御システム100の動作について説明する。図8は、表示制御システム100の処理の流れを示すフローチャートである。以下では、ユーザが、デジタルペン10を用いて表示装置20に文字を記入する場合について説明する。
まず、表示制御システム100の電源がオンされると、ステップS11において、デジタルペン10のペン側マイコン16bは、ペン先部12に作用する圧力の監視を開始する。この圧力の検出は、圧力センサ13が行う。圧力が検出されると(YES)、ペン側マイコン16bは、ユーザが表示装置20の表示部21に対して文字を入力していると判定し、ステップS12へ進む。圧力が検出されていない間(NO)は、ペン側マイコン16bは、ステップS11を繰り返す。
ステップS12では、デジタルペン10の読取部15が、表示部21に形成されたドットパターンを検出する。圧力センサ13により圧力が検出されると、照射部14からは赤外光が出射される。この赤外光は、少なくとも表示装置20のカラーフィルタ30に設けられたドット33に吸収される一方、画素領域32等において反射される。反射された赤外光は、対物レンズ15aを介して撮像素子15bに受光される。対物レンズ15aは、表示部21上においてペン先部12が指示している位置からの反射光を受光するように配置されている。その結果、表示部21上における指示位置のドットパターンが撮像素子15bにより撮像される。このようにして、読取部15は、ドットパターンを光学的に読み取る。読取部15が取得した画像信号は、特定部16aに送信される。
ステップS13では、特定部16aが、画像信号からドットパターンを取得し、該ドットパターンに基づいてペン先部12の、表示部21上の位置を特定する。詳しくは、特定部16aは、得られた画像信号に所定の画像処理を施すことにより、ドットパターンを取得する。例えば、ブラックマトリクス31は、ドット33と同様に、カーボンブラックで形成されているため、赤外光を吸収する。そのため、読取部15からの画像には、ブラックマトリクス31もドット33同じ状態で含まれている。そこで、読取部15からの画像信号に所定の画像処理を施すことによりドット33をブラックマトリクス31から判別し易くし、処理後の画像信号から複数のドット33の配列を取得する。続いて、特定部16aは、取得されたドット33の配列から6ドット×6ドットの単位エリアを割り出すと共に、該単位エリアのドットパターンから該単位エリアの位置座標(位置情報)を特定する。特定部16aは、ドットパターンのコーディング方法に対応した所定の演算により、ドットパターンを位置座標に変換する。特定された位置情報は、ペン側マイコン16bに送信される。
続いて、ステップS14では、ペン側マイコン16bは、位置情報を送信部17を介して表示装置20へ送信する。
デジタルペン10から送信された位置情報は、表示装置20の受信部22により受信される。受信された位置情報は、受信部22から表示側マイコン23に送信される。ステップS15において、表示側マイコン23は、位置情報を受信すると、位置情報に対応する位置の表示内容を変更するように表示パネル24を制御する。この例では、文字の入力なので、表示部21における、位置情報に対応する位置に点を表示する。
続いて、ステップS16において、ペン側マイコン16bは、ユーザによる入力が継続しているか否かを判定する。圧力センサ13が圧力を検出している場合には、ペン側マイコン16bは、ユーザによる入力が継続していると判定して、ステップS11へ戻る。そして、前記のフローを繰り返すことによって、デジタルペン10のペン先部12の移動に追従して、表示部21上におけるペン先部12の位置に点が連続的に表示される。最終的には、デジタルペン10のペン先部12の軌跡に応じた文字が表示装置20の表示部21に表示される。
一方、ステップS16において、圧力センサ13が圧力を検出していない場合には、ペン側マイコン16bは、ユーザによる入力が継続していないと判定して、処理を終了する。
こうして、表示装置20が表示部21上におけるデジタルペン10の先端の軌跡を表示部21に表示することによって、デジタルペン10を用いた表示部21への手書き入力を行うことができる。
尚、以上では、文字を記入する場合について説明したが、表示制御システム100の使い方は、これに限られるものでない。文字に限らず、数字、記号及び図形等を記入できる。また、デジタルペン10を消しゴムのように用いて、表示部21に表示された文字、図形等を消すこともできる。つまり、表示装置20は、デジタルペン10の移動に追従して、表示部21上におけるデジタルペン10の位置の表示を連続的に消去することによって、表示部21上におけるデジタルペン10の先端の軌跡と一致する部分の表示を消去することができる。さらには、デジタルペン10をマウスのように用いて、表示部21に表示されるカーソルを移動させたり、表示部21に表示されるアイコンを選択したりすることもできる。すなわち、デジタルペン10を用いて、グラフィッカルユーザインターフェイスを操作することができる。このように、表示制御システム100においては、デジタルペン10が指示する表示部21上の位置が表示装置20に入力され、表示装置20が該入力に応じて様々な表示制御を行う。
[6.実施形態の効果]
したがって、本実施形態によれば、表示制御システム100は、複数の画素40が設けられて画像を表示する表示部21を有する表示装置20と、前記表示部21上の位置を指示するデジタルペン10とを備え、該デジタルペン10に指示された位置に応じた表示制御を行う。前記表示部21には、該表示部21上の位置を表す位置情報パターンが設けられ、前記デジタルペン10は、前記表示部21上において指示している位置の前記位置情報パターンを光学的に読み取るように構成され、前記表示装置20は、前記デジタルペン10が読み取った前記位置情報パターンに対応する位置の表示内容を変更するように前記表示部21を制御する。
また、表示装置20は、複数の画素40が設けられて画像を表示する表示部21を有する。そして、前記表示部21には、外部から光学的に読み取り可能であって該表示部21上の位置を表す位置情報パターンが設けられている。
さらに、表示パネル24は、複数の画素40が設けられて画像を表示する表示部21を有する。そして、前記表示部21には、外部から光学的に読み取り可能であって該表示部21上の位置を表す位置情報パターンが設けられている。
前記の構成によれば、表示部21の位置情報パターンを読み取ることでデジタルペン10の位置を検出することによって、高精細な手書き入力を行うことができる。つまり、表示装置の表示面に手書き入力を行う構成としては、表示装置に静電容量センサ等のセンサを内蔵させ、表示面におけるスタイラスの接触点をセンサにより検出することにより、スタイラスの位置を検出し、スタイラスの軌跡に応じた入力を行う構成が考えられる。このような構成では、手書き入力の精細さは、スタイラスの位置検出の精度、即ち、センサの位置検出分解能に依存する。しかしながら、センサは或る程度の大きさを有するため、あまり多くのセンサを表示装置に設けることは難しい。また、タッチセンサの個数が増えると、コストも増大してしまう。それに対し、本実施形態によれば、手書き入力の精細さは、デジタルペン10によるドットパターンの検出精度に依存する。この検出精度は、ドットパターンを高密度化することにより容易に向上させることができる。ドットパターンをどこまで高密度化できるかは、ドットパターンを高密度に作製する能力だけでなく、デジタルペン10の解像度やドットパターンの判別能力に依存する。しかし、ドットパターンを高密度に作製することはタッチセンサの検出分解能を向上させることに比べて容易である。また、デジタルペン10の解像度をそれほど上げなくても、タッチセンサの検出分解能に比べて高密度のドットパターンを十分に読み取ることができる。よって、表示部21のドットパターンを読み取ることでデジタルペン10の位置を検出することによって、表示装置側のセンサでペンの位置を検出する構成に比べて、高精細な手書き入力を行うことができる。
また、前記表示部21は、ブラックマトリクス31と、該ブラックマトリクス31により区画される画素領域32とを有し、前記位置情報パターンは、複数のドット33で構成されており、前記ドット33は、前記ブラックマトリクス31と同じ材料で形成されている。
前記の構成によれば、表示パネル24の製造、ひいては表示装置20の製造を簡略化することができる。つまり、ブラックマトリクス31の材料とドット33の材料とが同じなので、表示パネル24を製造する際の材料の種類を削減することができる。それに加えて、ブラックマトリクス31の材料とドット33の材料とが同じなので、ブラックマトリクス31とドット33とを共通の工程で形成することもできる。
前記ドット33は、前記画素領域32に配置されている。
この構成によれば、ブラックマトリクス31とドット33とが同じ材料で形成されている場合であっても、ブラックマトリクス31とドット33とを容易に判別することができる。
前記デジタルペン10は、光を照射する照射部14と、該照射部14から照射され前記表示部21で反射した光を受光することにより前記位置情報パターンを読み取る読取部15とを有する。
この構成によれば、暗い環境下であっても、デジタルペン10が光源を有するので、位置情報パターンを高い精度で光学的に読み取ることができる。
前記デジタルペン10は、読み取った前記位置情報パターンに基づいて、該位置情報パターンが設けられた前記表示部21上の位置を特定する特定部16aを有する。
この構成によれば、デジタルペン10の指示位置の特定をデジタルペン10が行うので、表示装置20の処理を簡略化することができる。
[7.変形例]
以下に、ドットパターンの変形例について説明する。図9は、変形例に係るドットパターンを示す。
図9(A)に示すドットパターンにおいては、ドット33は、第1基準線34と第2基準線35との交点から、第1及び第2基準線34,35に対して斜めの方向にオフセットした位置に配置されている。すなわち、ドット33は、第1基準線34と第2基準線35との交点から左上、右上、左下、右下にオフセットした位置に配置されている。尚、この変形例では、第1及び第2基準線34,35は、ブラックマトリクス31上に設けられている。
図9(B)に示すドットパターンにおいては、ドット33は、ブラックマトリクス31の太さよりも大きく、ブラックマトリクス31上に配置されている。すなわち、ドット33は、ブラックマトリクス31上に配置されているものの、ブラックマトリクス31からはみ出している。
このように、ドット33は、前記ブラックマトリクス31上に配置され、該ブラックマトリクス31よりも幅が広い。この構成によれば、ドット33が画素領域32上に配置される構成と比べて、ドット33が画素領域32に与える影響を低減することができる。
図9(C)に示すドットパターンにおいては、ドット33は、ブラックマトリクス31上に配置されているものの、赤外光に対する反射率がブラックマトリクス31と異なっている。具体的には、ブラックマトリクス31中に白抜きのドット33を形成している。
このように、ドット33は、前記ブラックマトリクス31上に、該ブラックマトリクス31が部分的に取り除かれた状態で形成されている。この構成によれば、ドット33が画素領域32上に配置される構成と比べて、ドット33が画素領域32に与える影響を低減することができる。
尚、図9(B),(C)の変形例においては、隣り合うドット33の縦方向及び横方向への間隔は、隣り合う第1基準線34の間隔以下、及び隣り合う第2基準線35の間隔以下となっている。
次に、デジタルペン10の変形例について説明する。図10は、変形例に係るデジタルペン10の概略構成を示す断面図である。
変形例に係るデジタルペン10においては、ペン先部12は、赤外光を透過可能な材料で形成されている。そして、対物レンズ15aは、ペン先部12の先端に内蔵されている。読取部15は、レンズ15cをさらに有し、対物レンズ15aとレンズ15cとで光学系を構成している。複数(例えば、4個)の照射部14は、本体部11の先端において、ペン先部12を囲むように配置されている。照射部14の個数は、適宜設定することができる。また、照射部14は、リング状に形成されていてもよい。
すなわち、前記デジタルペン10は、ペン先部12を有するペン形状をしており、前記読取部15は、撮像素子15bと、ペン先部12に設けられ、前記表示部21で反射した光を該撮像素子15bに結像させる対物レンズ15aとを有する。
この変形例によれば、デジタルペン10と表示部21との接触点とドットパターンを読み取る部分とが一致するため、ペン先部12の先端の位置をより正確に検出することができる。その結果、ユーザは、実際にペンを使って記入しているのにより近い感覚で、デジタルペン10を用いた手書き入力を実現することができる。
《発明の実施形態2》
次に、実施形態2に係る表示制御システム200について説明する。図11は、表示制御システム200の概略構成を示すブロック図である。表示制御システム200は、デジタルペン210の位置の特定を、デジタルペン210ではなく表示装置220が行う点で実施形態1と異なる。以下、実施形態1と同様の構成については、同様の符号を付して説明を省略し、実施形態1と異なる部分を中心に説明する。
デジタルペン210は、図11に示すように、圧力センサ13と、照射部14と、読取部15と、制御部216と、送信部17とを有している。圧力センサ13、照射部14、読取部15及び送信部17の構成は、実施形態1と同様である。制御部216は、ペン側マイコン16bを有し、実施形態1の特定部16aを有していない。つまり、制御部216は、撮像素子15bから入力された画像信号を、該画像信号からデジタルペン210の位置情報を特定することなく、送信部17へ出力する。こうして、デジタルペン210からは、撮像素子15bで撮像した画像信号が送信される。
表示装置220は、図11に示すように、外部からの信号を受信する受信部22と、表示装置220全体を制御する表示側マイコン23と、画像を表示する表示パネル24と、デジタルペン10の位置を特定する特定部240とを有している。受信部22、表示側マイコン23及び表示パネル24の構成は、実施形態1と同様である。表示パネル24の表示部21には、図4に示したようなドットパターンが形成されている。受信部22は、デジタルペン210から送信された信号を受信して、該信号を特定部240に送信する。特定部240は、実施形態1におけるデジタルペン10の特定部16aと同様の機能を有する。つまり、本実施形態では、デジタルペン210からの送信信号は撮像素子15bで取得した画像信号なので、特定部240が該画像信号からデジタルペン210の位置を特定する。すなわち、特定部240は、特定部16aと同様に、画像信号からドットパターンを取得し、該ドットパターンに基づいてペン先部12の、表示部21上の位置座標を特定する。特定部240は、特定した位置情報を表示側マイコン23へ送信する。表示側マイコン23は、位置情報に基づいて、表示部21に表示される表示情報を変更するように表示パネル24を制御する。
次に表示制御システム200の動作について説明する。図12は、表示制御システム200の処理の流れを示すフローチャートである。以下では、ユーザが、デジタルペン210を用いて表示装置220に文字を記入する場合について説明する。
表示制御システム200の電源がオンされると、ステップS21において、デジタルペン210のペン側マイコン16bは、ペン先部12に圧力が作用したか否かを監視する。圧力が検出されると(YES)、ペン側マイコン16bは、ユーザが表示装置220の表示部21に対して文字を入力していると判定し、ステップS22へ進む。ステップS22では、デジタルペン210の読取部15が、表示部21に形成されたドットパターンの画像を取得する。読取部15が取得した画像信号は、ステップS23において、送信部17を介して表示装置220へ送信される。
デジタルペン210から送信された画像信号は、ステップS24において、表示装置220の受信部22により受信される。受信された画像信号は、特定部240に送られる。特定部240は、該画像信号に基づき、ドットパターンを取得し、デジタルペン210の位置を特定する。特定部240が特定した位置情報は、表示側マイコン23へ送られる。
続いて、ステップS25において、表示側マイコン23は、位置情報を受信すると、位置情報に対応する位置の表示内容を変更するように表示パネル24を制御する。この例では、文字の入力なので、表示部21における位置情報に対応する位置に点を表示する。
その後、ステップS26において、ペン側マイコン16bは、ユーザによる入力が継続しているか否かを判定する。入力が継続している場合(YES)には、ステップS11へ戻り、前記のフローを繰り返す。一方、入力が継続していない場合には、処理を終了する。こうして、デジタルペン210のペン先部12の軌跡に応じた文字が表示装置220の表示部21に表示される。
このような処理を行うことで、表示制御システム200は、ユーザが操作するデジタルペン210の位置を高精細に検知し、表示部21に高精細に反映させることができる。
したがって、前記表示装置220は、前記デジタルペン210が読み取った前記位置情報パターンに基づいて、該位置情報パターンが設けられた前記表示部21上の位置を特定する特定部240をさらに有する。
この構成によれば、デジタルペン210の指示位置の特定を表示装置220が行うので、デジタルペン210の処理を簡略化することができる。
《その他の実施形態》
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施形態1,2で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、その他の実施形態を例示する。
前記実施形態では、表示装置として液晶ディスプレイを例に挙げて説明したが、これには限られるものではない。表示装置20,220は、プラズマディスプレイ、有機ELディスプレイ、無機ELディスプレイなどの、文字や映像を表示可能な装置であればよい。また、表示装置20,220は、電子ペーパーのように表示面が自由に変形する装置であってもよい。
また、表示装置20,220は、ノートPCや携帯型タブレットのディスプレイであり得る。さらには、表示装置20,220は、テレビや電子黒板等であり得る。
デジタルペン10,210又は表示装置20,220に、入力モードを切り替える切替部を設けてもよい。具体的には、デジタルペン10,210にスイッチを設け、文字等の入力、文字等の消去、カーソルの移動、及びアイコンの選択等を該スイッチにより切り替えるように構成してもよい。あるいは、表示装置20,220に、文字等の入力、文字等の消去、カーソルの移動、及びアイコンの選択等を切り替えるためのアイコンを表示させ、それらをデジタルペン10,210を用いて選択するように構成してもよい。さらに、デジタルペン10,210や表示装置20,220にマウスの右クリックや左クリックに相当するスイッチを設けてもよい。これにより、操作性をさらに向上させることができる。
前記デジタルペン10,210と表示装置20,220との間の信号の送受信は、無線通信により行われているが、これに限られるものではない。デジタルペン10,210と表示装置20,220とが有線で接続されており、該有線を介して信号の送受信を行ってもよい。
また、前記実施形態1では、デジタルペン10が位置情報の特定まで行って、その位置情報を表示装置20へ送信し、前記実施形態2では、デジタルペン210がドットパターンの画像信号を取得し、その画像信号を表示装置220へ送信しているが、これに限られるものではない。例えば、デジタルペン10,210において、ドットパターンの画像を取得後、画像処理まで行ってデータ量を低減した後に、画像処理後の信号を表示装置20,220へ送信してもよい。つまり、デジタルペン10が指示する表示部21上の位置に関する情報をデジタルペン10,210が取得し、該位置に関する情報がデジタルペン10,210から表示装置20,220へ送信され、表示装置20,220が該位置に関する情報に応じて様々な表示制御を行う限りにおいては、該位置に関する情報はどのようなものであってもよい。
また、前記実施形態1,2では、表示部21上におけるデジタルペン10の位置を特定する特定部は、デジタルペン10又は表示装置220に設けられているが、これに限られるものではなく、デジタルペン10および表示装置20とは別個の制御装置として、設けてもかまわない。例えば、ディスプレイ装置(表示装置の例)とPC本体(制御装置の例)とを備えたデスクトップPCにデジタルペンを加えた表示制御システムにおいては、ディスプレイ装置の表示部にドットパターンが設けられ、デジタルペンが該ドットパターンを光学的に読み取ってPC本体へ送信し、PC本体がドットパターンからデジタルペンの位置を特定し、該特定した位置に応じた処理を表示装置に命令するようにしてもよい。
また、前記実施形態では、圧力センサ13を、圧力が作用しているか否かを判定することだけに用いているが、これに限られるものではない。例えば、圧力センサ13の検出結果に基づいて圧力の大きさを検出するように構成してもよい。これにより、圧力の連続的な変化を読み取ることができる。その結果、圧力の大きさに基づいて、表示される線の太さや濃さを変化させることができる。
尚、前記実施形態では、圧力センサ13を用いて、デジタルペン10,210による入力の有無を検出しているが、これに限られるものではない。デジタルペン10,210に入力のオン・オフを切り替えるスイッチを設け、スイッチがオンされたときに入力が有ると判定するように構成してもよい。この場合、デジタルペン10,210が表示部21の表面に接触していなくても、入力を行うことができる。または、表示装置20,220が表示部21の表面を所定の振動数で振動させ、デジタルペン10,210が表示部21の表面に接触することによる振動数の変化を表示装置20,220が検出することによって、入力の有無を検出するように構成してもよい。
前記実施形態では、画素領域32は、長方形状であるが、これに限られるものではない。画素領域32は、三角形や平行四辺形などの形状でもよく、これらを組み合わせた形状であってもよい。画素領域32の形状は、表示装置が文字や映像を出力できるものであればよい。また、ブラックマトリクス31も、画素領域32の形状に合わせて適宜変更し得る。
前記ドット33は円形状であるが、これに限られるものではない。ドット33は、三角形や四角形などの多角形状であってもよく、楕円などの形状であってもよい。
また、前記ドット33を配置するための第1及び第2基準線34,35は、前記実施形態に限られるものではない。例えば、第1基準線34は、画素領域32の長手方向に画素領域32を2つおきに設けられているが、画素領域32の長手方向において画素領域32ごとに設けられてもよいし、画素領域32を1つおき、又は3つ以上おきに設けられてもよい。また、第2基準線35は、緑色画素領域32g上又はブラックマトリクス31上に設けられているが、これに限られるものではない。例えば、第2基準線35は、赤色画素領域32r又は青色画素領域32b上に設けられてもよい。また、第2基準線35は、特定の一色の画素領域32上に設けられている必要はない。第2基準線35は、赤色画素領域32r、緑色画素領域32g及び青色画素領域32b上に混在して設けられてもよいし、画素領域32上だけでなくブラックマトリクス31上にも混在して設けられてもよい。さらに、隣り合う第2基準線35の間に何個の画素領域32を介在させるかは、前記実施形態に限られるものではない。
前記実施形態では、6ドット×6ドットの単位エリアでドットパターンを形成しているが、これに限られるものではない。単位エリアを構成するドットの個数は、デジタルペン10,210や表示装置20,220の設計に応じて適宜設定することができる。また、ドットパターンの構成は、所定エリアに含まれるドットそれぞれの配置の組合せに限られるものではない。ドットパターンが特定の位置情報を表すことができる限り、パターニングの手法は前記実施形態に限られるものではない。
前記実施形態では、位置情報パターンがドットで構成されているが、マークはドットに限られるものではない。ドットの代わりに、三角形、四角形等の図形やアルファベット等の文字で表されるマークによって位置情報パターンが構成されていてもよい。例えば、マークは、画素領域32の全面を塗りつぶして形成されていてもよい。
さらに、位置情報パターンは、表示部21による表示で表現されていてもよい。すなわち、
また、ドット33は、カラーフィルタ30に設けられているが、これに限られるものではない。ドット33は、ガラス基板25や偏光フィルタ26に設けられていてもよい。
あるいは、ドット33を、表示パネル24の画素40で表現することもできる。すなわち、表示部21に含まれる複数の画素40の一部を位置情報パターンのために使用し、前記「1」〜「4」に対応する位置の画素40又はサブ画素41の表示を制御する(例えば、対応する画素40を黒色等の特定の色の点として表示させる)ことによって、表示部21に位置情報パターンを表示することもできる。このようにして、表示部21にドット33を設ける構成を実現することもできる。すなわち、前記表示装置20は、前記表示部21に前記位置情報パターンを表示させる。この構成によれば、従来の表示装置20に特段の改良を加えることなく、前述の表示制御システム100を実現することができる。
また、ドット33は、ブラックマトリクス31と同じ材料で形成されているが、これに限られるものではない。例えば、ドット33を、赤外光を反射する材料で形成してもよい。
特定部16aは、演算により、ドットパターンを位置座標に変換しているが、これに限られるものではない。例えば、特定部16aは、全てのドットパターンと、そのそれぞれに紐付けされた位置座標を記憶しておき、取得されたドットパターンを、記憶しておいたドットパターンと位置座標との関係に照らし合わせて、位置座標を特定するようにしてもよい。
以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
以上説明したように、ここに開示された技術は、表示装置と指示装置とを備えた表示制御システムについて有用である。
100,200 表示制御システム
10,210 光学式デジタルペン
11 本体部
12 ペン先部
13 圧力センサ
14 照射部
15 読取部
15a 対物レンズ
15b 撮像素子
16 制御部
16a 特定部
16b ペン側マイコン
17 送信部
19 電源
20,220 表示装置
21 表示部
22 受信部
23 表示側マイコン
24 表示部
30 カラーフィルタ
31 ブラックマトリクス
32 セル
33 ドット
34 第1基準線
35 第2基準線
本開示は、デジタルディスプレイの表示面に対して手書き入力が可能な表示制御システム並びにそれに用いられる表示装置に関するものである。
特許文献1は、ペンを用いて紙の上に文字等を記入する際に、紙に記入した情報を電子化し、その電子化された情報をサーバや端末に送信する技術を開示する。
特開2007−226577号公報
本開示は、表示装置の表示面に高精細に手書き入力を行うこと表示制御システム及びそれに用いられる表示装置を提供する。
本開示における表示制御システムは、複数の画素が設けられて画像を表示する表示部を有する表示装置と、前記表示部上の位置を指示する指示装置とを備え、該指示装置に指示された位置に応じた表示制御を行うものである。前記表示部には、該表示部上の位置を表す位置情報パターンが設けられ、前記指示装置は、前記表示部上において指示している位置の前記位置情報パターンを光学的に読み取るように構成され、前記表示装置は、前記指示装置が読み取った前記位置情報パターンに対応する位置の表示内容を変更するように前記表示部を制御するものとする。
本開示における表示装置は、複数の画素が設けられて画像を表示する表示部を有するものである。そして、前記表示部には、外部から光学的に読み取り可能であって該表示部上の位置を表す位置情報パターンが設けられているものとする。
本開示における表示パネルは、複数の画素が設けられて画像を表示する表示部を有するものである。そして、前記表示部には、外部から光学的に読み取り可能であって該表示部上の位置を表す位置情報パターンが設けられているものとする。
本開示における表示制御システムによれば、高精細な手書き入力を行うことができる。
本開示における表示装置によれば、高精細な手書き入力を行うことができる。
本開示における表示パネルによれば、高精細な手書き入力を行うことができる。
図1は、実施形態1に係る表示制御システムの概略図である。 図2は、表示制御システムのブロック図である。 図3は、表示パネルの概略断面図である。 図4は、表示部の拡大図である。 図5は、デジタルペンの概略断面図である。 図6は、カラーフィルタの平面図である。 図7は、ドットの配置を示す図であり、(A)は、符号「1」に対応する配置を、(B)は、符号「2」に対応する配置を、(C)は、符号「3」に対応する配置を、(D)は、符号「4」に対応する配置を示す。 図8は、表示制御システムの処理の流れを示すフローチャートである。 図9は、その他の実施形態に係るカラーフィルタの平面図であって、(A)は変形例1に係るドットパターンを、(B)は変形例2に係るドットパターンを、(C)は変形例3に係るドットパターンを示す。 図10は、変形例に係るデジタルペンの概略断面図である。 図11は、実施形態2に係る表示制御システムのブロック図である。 図12は、表示制御システムの処理の流れを示すフローチャートである。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者(ら)は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
《実施形態1》
[1.表示制御システムの概要]
図1は、実施形態1に係る表示制御システム100の外観を示す概略図である。表示制御システム100は、光学式デジタルペン(以下、単に「デジタルペン」と称する。)10と、表示装置20とを備えている。詳しくは後述するが、表示装置20は、液晶ディスプレイであり、表示部21に様々な画像を表示することができる。また、表示装置20には、表示部21上における位置を表すドットパターンが設けられている。デジタルペン10は、ドットパターンを光学的に読み取ることによって、表示部21上におけるデジタルペン10の位置に関する情報(以下、「位置情報」ともいう)を検出し、該位置情報を表示装置20に送信する。表示装置20は、該位置情報を入力として受け取り、様々な表示制御を行う。例えば、表示装置20は、デジタルペン10の軌跡に応じて表示部21に点を連続的に表示する。これにより、デジタルペン10を用いて表示部21に文字や図形等を手書き入力することができる。または、表示装置20は、デジタルペン10の軌跡に応じて表示部21の点を連続的に消去する。これにより、デジタルペン10を消しゴムのように用いて表示部21の文字や図形を消去することができる。すなわち、デジタルペン10は、読み取り装置として機能すると共に、表示制御システム100への入力装置としても機能する。デジタルペン10は、指示装置の一例である。
[2.表示装置の構成]
以下、表示装置20について説明する。図2は、表示制御システム100の概略構成を示すブロック図である。
表示装置20は、外部からの信号を受信する受信部22と、表示装置20全体を制御する表示側マイコン23と、画像を表示する表示パネル24とを有している。
受信部22は、詳しくは後述する、デジタルペン10から送信された信号を受信する。受信部22が受信した信号は、表示側マイコン23に送られる。
表示側マイコン23は、CPUやメモリなどから構成されており、CPUを動作させるためのプログラムも実装されている。例えば、表示側マイコン23は、デジタルペン10から送信された信号に基づいて表示パネル24を制御して、表示パネル24に表示させる内容を変更する。
図3は、表示パネル24の概略断面図である。表示パネル24は、液晶パネルである。表示パネル24の基本的な構成は、一般的な液晶パネルの構成と同様である。詳しくは、表示パネル24は、一対のガラス基板25と、各ガラス基板25の外表面に設けられた偏光フィルタ26と、一対のガラス基板25の間に設けられた一対の配向膜27と、一対の配向膜27の間に設けられた液晶層28と、各配向膜27に設けられた透明電極29と、表面側のガラス基板25と透明電極29との間に設けられたカラーフィルタ30とを有している。表示パネル24の表面には、表示部21が形成されている。
図4は、表示部21の拡大図である。表示部21には、複数の画素40が設けられている。表示部21には、複数の画素40が行列状に配列されている。各画素40は、赤色のサブ画素41rと、緑色のサブ画素41gと、青色のサブ画素41bとを含んでいる。尚、色を区別しないときには、単に、「サブ画素41」と称する。この表示部21に様々な画像が表示される。詳しくは後述するが、サブ画素41には、ドット33が設けられている。そして、複数のドット33の集合でドットパターンを構成している。ドット33は、マークの一例であり、ドットパターンは、位置情報パターンの一例である。
[3.デジタルペンの構成]
次に、デジタルペン10の詳細な構成について説明する。図5は、デジタルペン10の概略構成を示す断面図である。
デジタルペン10は、円筒状の本体部11と、本体部11の先端に取り付けられたペン先部12と、ペン先部12に作用する圧力を検出する圧力センサ13と、赤外光を出射する照射部14と、入射してきた赤外光を読み取る読取部15と、デジタルペン10を制御する制御部16と、外部へ信号を出力する送信部17と、デジタルペン10の各部材に電力を供給する電源19とを有している。デジタルペン10は、ペン形状をしている。
本体部11は、一般的なペンと同様の円筒で形成されている。ペン先部12は、先細形状であって、その先端は表示部21の表面を傷つけない程度に丸く形成されている。また、ペン先部12の形状は、ユーザが表示部21に表示される画像を認識しやすい形状であることが好ましい。
圧力センサ13は、本体部11に内蔵され、ペン先部12の基端部に連結されている。圧力センサ13は、ペン先部12に加わる圧力を検出し、その検出結果を制御部16へ送信する。具体的には、圧力センサ13は、ユーザがデジタルペン10を用いて表示部21上に文字などを記入する際にペン先部12に加わる圧力を検出する。つまり、圧力センサ13は、デジタルペン10を用いたユーザの入力意思の有無を判定する際に用いられる。
照射部14は、本体部11の先端部であって、ペン先部12の近傍に設けられている。照射部14は、例えば、赤外線LEDで構成されており、本体部11の先端から赤外光を照射するように構成されている。
読取部15は、本体部11の先端部であって、ペン先部12の近傍に設けられている。読取部15は、対物レンズ15aと、撮像素子15bとを有している。対物レンズ15aは、入射してくる光を撮像素子15bに結像させる。対物レンズ15aは本体部11の先端部に設けられているので、対物レンズ15aには、照射部14から出射され、表示装置20で反射した赤外光が入射する。撮像素子15bは、対物レンズ15aの光軸上に設けられている。撮像素子15bは、撮像面に結像した光学像を電気信号に変換して制御部16へ出力する。撮像素子15bは、例えば、CCDイメージセンサやCMOSイメージセンサで構成される。詳しくは後述するが、前記ドットパターンは赤外光を吸収する材料で形成されているので、ドットパターンからは赤外光が返ってこない。その結果、ドットパターンが黒く表現された光学像が撮像素子15bに撮像される。
制御部16は、図2に示すように、特定部16aと、ペン側マイコン16bとを有する。特定部16aは、読取部15からの画像信号に基づいてデジタルペン10の表示部21上の位置情報を特定する。詳しくは、特定部16aは、読取部15が取得した画像信号からドットパターンを取得し、該ドットパターンに基づいてペン先部12の、表示部21上の位置を特定する。特定部16aにより特定されたペン先部12の位置に関する情報は、ペン側マイコン16bへ送られる。ペン側マイコン16b、デジタルペン10全体を制御する。ペン側マイコン16bは、CPUやメモリなどから構成されており、CPUを動作させるためのプログラムも実装されている。ペン側マイコン16bは、制御部の一例である。
送信部17は、信号を外部に送信する。具体的には、送信部17は、特定部16aにより特定した位置情報を外部へ無線送信する。送信部17は、表示装置20の受信部22と近距離無線通信を行う。送信部17は、本体部11のうちペン先部12とは反対側の端部に設けられている。
[4.カラーフィルタの詳細構造]
続いて、カラーフィルタ30の詳細構造について説明する。図6は、カラーフィルタ30の平面図である。
カラーフィルタ30は、ブラックマトリクス31と、該ブラックマトリクス31により区画され、特定の色の光を透過させる複数の画素領域32と、画素領域32内に設けられたドット33とを有している。画素領域32には、赤色(R)の光を透過させる赤色画素領域32rと、緑色(G)の光を透過させる緑色画素領域32gと、青色(B)の光を透過させる青色画素領域32bとを含んでいる。各画素領域32は、長方形状をしている。各画素領域32は、表示部21のサブ画素41に対応している。具体的には、赤色画素領域32rは、赤色のサブ画素41rに対応し、緑色画素領域32gは、緑色のサブ画素41gに対応し、青色画素領域32bは、青色のサブ画素41bに対応する。尚、透過させる色を区別しないときには、単に、「画素領域32」と称する。画素領域は、着色層の一例である。
赤色画素領域32r、緑色画素領域32g及び青色画素領域32bは、画素領域32の短手方向において、この順で並んでいる。画素領域32の長手方向については、同じ色の画素領域32が並んでいる。つまり、赤色画素領域32rの長手方向の隣りには、別の赤色画素領域32rが並んでいる。同様に、緑色画素領域32gの長手方向の隣りには、別の緑色画素領域32gが並んでいる。青色画素領域32bについても同様である。ブラックマトリクス31は、画素領域32の長手方向に延びる縦線と、画素領域32の短手方向に延びる横線とを含み、格子状に形成されている。横線は、縦線に比べて、太く形成されている。ブラックマトリクス31及びドット33は、カーボンブラックを主成分とする材料で形成されている。ドット33は、中実の円形に形成されている。ドット33は、全ての画素領域32ではなく、いくつかの画素領域32に設けられている。カラーフィルタ30においては、複数のドット33が一かたまりとなってドットパターンを形成している。このドットパターンは、カラーフィルタ30の位置に応じて異なっている。
以下に、ドットパターンについて詳しく説明する。
まず、カラーフィルタ30上に第1基準線34と第2基準線35とを規定する。これら第1及び第2基準線34,35は、仮想的な線であり、実際に存在する線ではない。第1基準線34及び第2基準線35は、仮想線の一例である。第1基準線34は、画素領域32の短手方向に延びる直線である。第1基準線34は、画素領域32の長手方向に画素領域32を2つおきに、複数並設されている。各第1基準線34は、画素領域32の長手方向中央に位置している。第2基準線35は、画素領域32の長手方向に延びる直線である。第2基準線35は、緑色画素領域32g上に設けられており、画素領域32の短手方向に緑色画素領域32gを2つおきに、複数並設されている。各第2基準線35は、緑色画素領域32gの短手方向中央に位置している。これら第1基準線34及び第2基準線35により、カラーフィルタ30上には格子が規定される。
各ドット33は、第1基準線34と第2基準線35との交点の周辺に配置される。図7は、ドット33の配置パターンを示す図である。ドット33は、該交点から、互いに直交する四方(図6,7では、上下左右)の何れかにオフセットした位置に配置される。具体的には、ドット33は、図7(A)〜(D)の何れかの配置となる。図7(A)の配置では、ドット33は、第1基準線34と第2基準線35との交点から、第1基準線34上を右側にオフセットした位置に配置される。このとき、ドット33は、青色画素領域32b上に配置される。この配置を数値化する際には「1」で表す。図7(B)の配置では、ドット33は、第1基準線34と第2基準線35との交点から、第2基準線35上を上側にオフセットした位置に配置される。このとき、ドット33は、緑色画素領域32g上に配置される。この配置を数値化する際には「2」で表す。図7(C)の配置では、ドット33は、第1基準線34と第2基準線35との交点から、第1基準線34上を左側にオフセットした位置に配置される。このとき、ドット33は、赤色画素領域32r上に配置される。この配置を数値化する際には「3」で表す。図7(D)の配置では、ドット33は、第1基準線34と第2基準線35との交点から、第2基準線35上を下側にオフセットした位置に配置される。このとき、ドット33は、緑色画素領域32g上に配置される。この配置を数値化する際には「4」で表す。何れの配置においても、第1基準線34と第2基準線35との交点からのドット33のずれ量は、一定である。
そして、6ドット×6ドットを1つの単位エリアとして、単位エリアに含まれる36個のドット33で1つのドットパターンを形成する。単位エリアに含まれる36個のドット33のそれぞれを前記「1」〜「4」の何れかの配置とすることによって、膨大な数のドットパターンを形成することができる。各単位エリアのドットパターンは、全て異なっている。複数のドット33で構成されるドットパターンは、ブラックパターンの一例である。
これらのドットパターンの1つ1つには、情報を付加されている。詳しくは、各ドットパターンは、単位エリアごとの位置座標を表している。つまり、カラーフィルタ30を、6ドット×6ドットの単位エリアで分割すると、各ドットパターンはその単位エリアの位置座標を表している。このようなドットパターンのパターンニング(コーディング)や座標変換(デコーディング)の方法は、例えば、特開2006−141067号公報に開示されているような公知の方法を用いることができる。
[5.動作]
続いて、このように構成された表示制御システム100の動作について説明する。図8は、表示制御システム100の処理の流れを示すフローチャートである。以下では、ユーザが、デジタルペン10を用いて表示装置20に文字を記入する場合について説明する。
まず、表示制御システム100の電源がオンされると、ステップS11において、デジタルペン10のペン側マイコン16bは、ペン先部12に作用する圧力の監視を開始する。この圧力の検出は、圧力センサ13が行う。圧力が検出されると(YES)、ペン側マイコン16bは、ユーザが表示装置20の表示部21に対して文字を入力していると判定し、ステップS12へ進む。圧力が検出されていない間(NO)は、ペン側マイコン16bは、ステップS11を繰り返す。
ステップS12では、デジタルペン10の読取部15が、表示部21に形成されたドットパターンを検出する。圧力センサ13により圧力が検出されると、照射部14からは赤外光が出射される。この赤外光は、少なくとも表示装置20のカラーフィルタ30に設けられたドット33に吸収される一方、画素領域32等において反射される。反射された赤外光は、対物レンズ15aを介して撮像素子15bに受光される。対物レンズ15aは、表示部21上においてペン先部12が指示している位置からの反射光を受光するように配置されている。その結果、表示部21上における指示位置のドットパターンが撮像素子15bにより撮像される。このようにして、読取部15は、ドットパターンを光学的に読み取る。読取部15が取得した画像信号は、特定部16aに送信される。
ステップS13では、特定部16aが、画像信号からドットパターンを取得し、該ドットパターンに基づいてペン先部12の、表示部21上の位置を特定する。詳しくは、特定部16aは、得られた画像信号に所定の画像処理を施すことにより、ドットパターンを取得する。例えば、ブラックマトリクス31は、ドット33と同様に、カーボンブラックで形成されているため、赤外光を吸収する。そのため、読取部15からの画像には、ブラックマトリクス31もドット33同じ状態で含まれている。そこで、読取部15からの画像信号に所定の画像処理を施すことによりドット33をブラックマトリクス31から判別し易くし、処理後の画像信号から複数のドット33の配列を取得する。続いて、特定部16aは、取得されたドット33の配列から6ドット×6ドットの単位エリアを割り出すと共に、該単位エリアのドットパターンから該単位エリアの位置座標(位置情報)を特定する。特定部16aは、ドットパターンのコーディング方法に対応した所定の演算により、ドットパターンを位置座標に変換する。特定された位置情報は、ペン側マイコン16bに送信される。
続いて、ステップS14では、ペン側マイコン16bは、位置情報を送信部17を介して表示装置20へ送信する。
デジタルペン10から送信された位置情報は、表示装置20の受信部22により受信される。受信された位置情報は、受信部22から表示側マイコン23に送信される。ステップS15において、表示側マイコン23は、位置情報を受信すると、位置情報に対応する位置の表示内容を変更するように表示パネル24を制御する。この例では、文字の入力なので、表示部21における、位置情報に対応する位置に点を表示する。
続いて、ステップS16において、ペン側マイコン16bは、ユーザによる入力が継続しているか否かを判定する。圧力センサ13が圧力を検出している場合には、ペン側マイコン16bは、ユーザによる入力が継続していると判定して、ステップS11へ戻る。そして、前記のフローを繰り返すことによって、デジタルペン10のペン先部12の移動に追従して、表示部21上におけるペン先部12の位置に点が連続的に表示される。最終的には、デジタルペン10のペン先部12の軌跡に応じた文字が表示装置20の表示部21に表示される。
一方、ステップS16において、圧力センサ13が圧力を検出していない場合には、ペン側マイコン16bは、ユーザによる入力が継続していないと判定して、処理を終了する。
こうして、表示装置20が表示部21上におけるデジタルペン10の先端の軌跡を表示部21に表示することによって、デジタルペン10を用いた表示部21への手書き入力を行うことができる。
尚、以上では、文字を記入する場合について説明したが、表示制御システム100の使い方は、これに限られるものでない。文字に限らず、数字、記号及び図形等を記入できる。また、デジタルペン10を消しゴムのように用いて、表示部21に表示された文字、図形等を消すこともできる。つまり、表示装置20は、デジタルペン10の移動に追従して、表示部21上におけるデジタルペン10の位置の表示を連続的に消去することによって、表示部21上におけるデジタルペン10の先端の軌跡と一致する部分の表示を消去することができる。さらには、デジタルペン10をマウスのように用いて、表示部21に表示されるカーソルを移動させたり、表示部21に表示されるアイコンを選択したりすることもできる。すなわち、デジタルペン10を用いて、グラフィッカルユーザインターフェイスを操作することができる。このように、表示制御システム100においては、デジタルペン10が指示する表示部21上の位置が表示装置20に入力され、表示装置20が該入力に応じて様々な表示制御を行う。
[6.実施形態の効果]
したがって、本実施形態によれば、表示制御システム100は、複数の画素40が設けられて画像を表示する表示部21を有する表示装置20と、前記表示部21上の位置を指示するデジタルペン10とを備え、該デジタルペン10に指示された位置に応じた表示制御を行う。前記表示部21には、該表示部21上の位置を表す位置情報パターンが設けられ、前記デジタルペン10は、前記表示部21上において指示している位置の前記位置情報パターンを光学的に読み取るように構成され、前記表示装置20は、前記デジタルペン10が読み取った前記位置情報パターンに対応する位置の表示内容を変更するように前記表示部21を制御する。前記画素40は、赤色のサブ画素41rと、緑色のサブ画素41gと、青色のサブ画素41bとを有する。前記位置情報パターンは、前記サブ画素41に設けられ、光を吸収又は反射する複数のドット33で形成されている。前記デジタルペン10は、光を照射する照射部14と、該照射部14から照射され前記表示部21で反射した光を受光することにより前記位置情報パターンを読み取る読取部15とを有する。
また、表示装置20は、複数の画素40が設けられて画像を表示する表示部21を有する。そして、前記表示部21には、外部から光学的に読み取り可能であって該表示部21上の位置を表す位置情報パターンが設けられている。前記画素40は、赤色のサブ画素41rと、緑色のサブ画素41gと、青色のサブ画素41bとを有する。前記位置情報パターンは、前記サブ画素41に設けられ、光を吸収又は反射する複数のドット33で形成されている。
さらに、表示パネル24は、複数の画素40が設けられて画像を表示する表示部21を有する。そして、前記表示部21には、外部から光学的に読み取り可能であって該表示部21上の位置を表す位置情報パターンが設けられている。
前記の構成によれば、表示部21の位置情報パターンを読み取ることでデジタルペン10の位置を検出することによって、高精細な手書き入力を行うことができる。つまり、表示装置の表示面に手書き入力を行う構成としては、表示装置に静電容量センサ等のセンサを内蔵させ、表示面におけるスタイラスの接触点をセンサにより検出することにより、スタイラスの位置を検出し、スタイラスの軌跡に応じた入力を行う構成が考えられる。このような構成では、手書き入力の精細さは、スタイラスの位置検出の精度、即ち、センサの位置検出分解能に依存する。しかしながら、センサは或る程度の大きさを有するため、あまり多くのセンサを表示装置に設けることは難しい。また、タッチセンサの個数が増えると、コストも増大してしまう。それに対し、本実施形態によれば、手書き入力の精細さは、デジタルペン10によるドットパターンの検出精度に依存する。この検出精度は、ドットパターンを高密度化することにより容易に向上させることができる。ドットパターンをどこまで高密度化できるかは、ドットパターンを高密度に作製する能力だけでなく、デジタルペン10の解像度やドットパターンの判別能力に依存する。しかし、ドットパターンを高密度に作製することはタッチセンサの検出分解能を向上させることに比べて容易である。また、デジタルペン10の解像度をそれほど上げなくても、タッチセンサの検出分解能に比べて高密度のドットパターンを十分に読み取ることができる。よって、表示部21のドットパターンを読み取ることでデジタルペン10の位置を検出することによって、表示装置側のセンサでペンの位置を検出する構成に比べて、高精細な手書き入力を行うことができる。
また、前記表示部21は、ブラックマトリクス31と、該ブラックマトリクス31により区画される画素領域32とを有し、前記位置情報パターンは、複数のドット33で構成されており、前記ドット33は、前記ブラックマトリクス31と同じ材料で形成されている。
前記の構成によれば、表示パネル24の製造、ひいては表示装置20の製造を簡略化することができる。つまり、ブラックマトリクス31の材料とドット33の材料とが同じなので、表示パネル24を製造する際の材料の種類を削減することができる。それに加えて、ブラックマトリクス31の材料とドット33の材料とが同じなので、ブラックマトリクス31とドット33とを共通の工程で形成することもできる。
前記ドット33は、前記画素領域32に配置されている。
この構成によれば、ブラックマトリクス31とドット33とが同じ材料で形成されている場合であっても、ブラックマトリクス31とドット33とを容易に判別することができる。
前記デジタルペン10は、光を照射する照射部14と、該照射部14から照射され前記表示部21で反射した光を受光することにより前記位置情報パターンを読み取る読取部15とを有する。
この構成によれば、暗い環境下であっても、デジタルペン10が光源を有するので、位置情報パターンを高い精度で光学的に読み取ることができる。
前記デジタルペン10は、読み取った前記位置情報パターンに基づいて、該位置情報パターンが設けられた前記表示部21上の位置を特定する特定部16aを有する。
この構成によれば、デジタルペン10の指示位置の特定をデジタルペン10が行うので、表示装置20の処理を簡略化することができる。
[7.変形例]
以下に、ドットパターンの変形例について説明する。図9は、変形例に係るドットパターンを示す。
図9(A)に示すドットパターンにおいては、ドット33は、第1基準線34と第2基準線35との交点から、第1及び第2基準線34,35に対して斜めの方向にオフセットした位置に配置されている。すなわち、ドット33は、第1基準線34と第2基準線35との交点から左上、右上、左下、右下にオフセットした位置に配置されている。尚、この変形例では、第1及び第2基準線34,35は、ブラックマトリクス31上に設けられている。
図9(B)に示すドットパターンにおいては、ドット33は、ブラックマトリクス31の太さよりも大きく、ブラックマトリクス31上に配置されている。すなわち、ドット33は、ブラックマトリクス31上に配置されているものの、ブラックマトリクス31からはみ出している。
このように、ドット33は、前記ブラックマトリクス31上に配置され、該ブラックマトリクス31よりも幅が広い。この構成によれば、ドット33が画素領域32上に配置される構成と比べて、ドット33が画素領域32に与える影響を低減することができる。
図9(C)に示すドットパターンにおいては、ドット33は、ブラックマトリクス31上に配置されているものの、赤外光に対する反射率がブラックマトリクス31と異なっている。具体的には、ブラックマトリクス31中に白抜きのドット33を形成している。
このように、ドット33は、前記ブラックマトリクス31上に、該ブラックマトリクス31が部分的に取り除かれた状態で形成されている。この構成によれば、ドット33が画素領域32上に配置される構成と比べて、ドット33が画素領域32に与える影響を低減することができる。
尚、図9(B),(C)の変形例においては、隣り合うドット33の縦方向及び横方向への間隔は、隣り合う第1基準線34の間隔以下、及び隣り合う第2基準線35の間隔以下となっている。
次に、デジタルペン10の変形例について説明する。図10は、変形例に係るデジタルペン10の概略構成を示す断面図である。
変形例に係るデジタルペン10においては、ペン先部12は、赤外光を透過可能な材料で形成されている。そして、対物レンズ15aは、ペン先部12の先端に内蔵されている。読取部15は、レンズ15cをさらに有し、対物レンズ15aとレンズ15cとで光学系を構成している。複数(例えば、4個)の照射部14は、本体部11の先端において、ペン先部12を囲むように配置されている。照射部14の個数は、適宜設定することができる。また、照射部14は、リング状に形成されていてもよい。
すなわち、前記デジタルペン10は、ペン先部12を有するペン形状をしており、前記読取部15は、撮像素子15bと、ペン先部12に設けられ、前記表示部21で反射した光を該撮像素子15bに結像させる対物レンズ15aとを有する。
この変形例によれば、デジタルペン10と表示部21との接触点とドットパターンを読み取る部分とが一致するため、ペン先部12の先端の位置をより正確に検出することができる。その結果、ユーザは、実際にペンを使って記入しているのにより近い感覚で、デジタルペン10を用いた手書き入力を実現することができる。
《発明の実施形態2》
次に、実施形態2に係る表示制御システム200について説明する。図11は、表示制御システム200の概略構成を示すブロック図である。表示制御システム200は、デジタルペン210の位置の特定を、デジタルペン210ではなく表示装置220が行う点で実施形態1と異なる。以下、実施形態1と同様の構成については、同様の符号を付して説明を省略し、実施形態1と異なる部分を中心に説明する。
デジタルペン210は、図11に示すように、圧力センサ13と、照射部14と、読取部15と、制御部216と、送信部17とを有している。圧力センサ13、照射部14、読取部15及び送信部17の構成は、実施形態1と同様である。制御部216は、ペン側マイコン16bを有し、実施形態1の特定部16aを有していない。つまり、制御部216は、撮像素子15bから入力された画像信号を、該画像信号からデジタルペン210の位置情報を特定することなく、送信部17へ出力する。こうして、デジタルペン210からは、撮像素子15bで撮像した画像信号が送信される。
表示装置220は、図11に示すように、外部からの信号を受信する受信部22と、表示装置220全体を制御する表示側マイコン23と、画像を表示する表示パネル24と、デジタルペン10の位置を特定する特定部240とを有している。受信部22、表示側マイコン23及び表示パネル24の構成は、実施形態1と同様である。表示パネル24の表示部21には、図4に示したようなドットパターンが形成されている。受信部22は、デジタルペン210から送信された信号を受信して、該信号を特定部240に送信する。特定部240は、実施形態1におけるデジタルペン10の特定部16aと同様の機能を有する。つまり、本実施形態では、デジタルペン210からの送信信号は撮像素子15bで取得した画像信号なので、特定部240が該画像信号からデジタルペン210の位置を特定する。すなわち、特定部240は、特定部16aと同様に、画像信号からドットパターンを取得し、該ドットパターンに基づいてペン先部12の、表示部21上の位置座標を特定する。特定部240は、特定した位置情報を表示側マイコン23へ送信する。表示側マイコン23は、位置情報に基づいて、表示部21に表示される表示情報を変更するように表示パネル24を制御する。
次に表示制御システム200の動作について説明する。図12は、表示制御システム200の処理の流れを示すフローチャートである。以下では、ユーザが、デジタルペン210を用いて表示装置220に文字を記入する場合について説明する。
表示制御システム200の電源がオンされると、ステップS21において、デジタルペン210のペン側マイコン16bは、ペン先部12に圧力が作用したか否かを監視する。圧力が検出されると(YES)、ペン側マイコン16bは、ユーザが表示装置220の表示部21に対して文字を入力していると判定し、ステップS22へ進む。ステップS22では、デジタルペン210の読取部15が、表示部21に形成されたドットパターンの画像を取得する。読取部15が取得した画像信号は、ステップS23において、送信部17を介して表示装置220へ送信される。
デジタルペン210から送信された画像信号は、ステップS24において、表示装置220の受信部22により受信される。受信された画像信号は、特定部240に送られる。特定部240は、該画像信号に基づき、ドットパターンを取得し、デジタルペン210の位置を特定する。特定部240が特定した位置情報は、表示側マイコン23へ送られる。
続いて、ステップS25において、表示側マイコン23は、位置情報を受信すると、位置情報に対応する位置の表示内容を変更するように表示パネル24を制御する。この例では、文字の入力なので、表示部21における位置情報に対応する位置に点を表示する。
その後、ステップS26において、ペン側マイコン16bは、ユーザによる入力が継続しているか否かを判定する。入力が継続している場合(YES)には、ステップS11へ戻り、前記のフローを繰り返す。一方、入力が継続していない場合には、処理を終了する。こうして、デジタルペン210のペン先部12の軌跡に応じた文字が表示装置220の表示部21に表示される。
このような処理を行うことで、表示制御システム200は、ユーザが操作するデジタルペン210の位置を高精細に検知し、表示部21に高精細に反映させることができる。
したがって、前記表示装置220は、前記デジタルペン210が読み取った前記位置情報パターンに基づいて、該位置情報パターンが設けられた前記表示部21上の位置を特定する特定部240をさらに有する。
この構成によれば、デジタルペン210の指示位置の特定を表示装置220が行うので、デジタルペン210の処理を簡略化することができる。
《その他の実施形態》
以上のように、本出願において開示する技術の例示として、実施形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施形態1,2で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。
そこで、以下、その他の実施形態を例示する。
前記実施形態では、表示装置として液晶ディスプレイを例に挙げて説明したが、これには限られるものではない。表示装置20,220は、プラズマディスプレイ、有機ELディスプレイ、無機ELディスプレイなどの、文字や映像を表示可能な装置であればよい。また、表示装置20,220は、電子ペーパーのように表示面が自由に変形する装置であってもよい。
また、表示装置20,220は、ノートPCや携帯型タブレットのディスプレイであり得る。さらには、表示装置20,220は、テレビや電子黒板等であり得る。
デジタルペン10,210又は表示装置20,220に、入力モードを切り替える切替部を設けてもよい。具体的には、デジタルペン10,210にスイッチを設け、文字等の入力、文字等の消去、カーソルの移動、及びアイコンの選択等を該スイッチにより切り替えるように構成してもよい。あるいは、表示装置20,220に、文字等の入力、文字等の消去、カーソルの移動、及びアイコンの選択等を切り替えるためのアイコンを表示させ、それらをデジタルペン10,210を用いて選択するように構成してもよい。さらに、デジタルペン10,210や表示装置20,220にマウスの右クリックや左クリックに相当するスイッチを設けてもよい。これにより、操作性をさらに向上させることができる。
前記デジタルペン10,210と表示装置20,220との間の信号の送受信は、無線通信により行われているが、これに限られるものではない。デジタルペン10,210と表示装置20,220とが有線で接続されており、該有線を介して信号の送受信を行ってもよい。
また、前記実施形態1では、デジタルペン10が位置情報の特定まで行って、その位置情報を表示装置20へ送信し、前記実施形態2では、デジタルペン210がドットパターンの画像信号を取得し、その画像信号を表示装置220へ送信しているが、これに限られるものではない。例えば、デジタルペン10,210において、ドットパターンの画像を取得後、画像処理まで行ってデータ量を低減した後に、画像処理後の信号を表示装置20,220へ送信してもよい。つまり、デジタルペン10が指示する表示部21上の位置に関する情報をデジタルペン10,210が取得し、該位置に関する情報がデジタルペン10,210から表示装置20,220へ送信され、表示装置20,220が該位置に関する情報に応じて様々な表示制御を行う限りにおいては、該位置に関する情報はどのようなものであってもよい。
また、前記実施形態1,2では、表示部21上におけるデジタルペン10の位置を特定する特定部は、デジタルペン10又は表示装置220に設けられているが、これに限られるものではなく、デジタルペン10および表示装置20とは別個の制御装置として、設けてもかまわない。例えば、ディスプレイ装置(表示装置の例)とPC本体(制御装置の例)とを備えたデスクトップPCにデジタルペンを加えた表示制御システムにおいては、ディスプレイ装置の表示部にドットパターンが設けられ、デジタルペンが該ドットパターンを光学的に読み取ってPC本体へ送信し、PC本体がドットパターンからデジタルペンの位置を特定し、該特定した位置に応じた処理を表示装置に命令するようにしてもよい。
また、前記実施形態では、圧力センサ13を、圧力が作用しているか否かを判定することだけに用いているが、これに限られるものではない。例えば、圧力センサ13の検出結果に基づいて圧力の大きさを検出するように構成してもよい。これにより、圧力の連続的な変化を読み取ることができる。その結果、圧力の大きさに基づいて、表示される線の太さや濃さを変化させることができる。
尚、前記実施形態では、圧力センサ13を用いて、デジタルペン10,210による入力の有無を検出しているが、これに限られるものではない。デジタルペン10,210に入力のオン・オフを切り替えるスイッチを設け、スイッチがオンされたときに入力が有ると判定するように構成してもよい。この場合、デジタルペン10,210が表示部21の表面に接触していなくても、入力を行うことができる。または、表示装置20,220が表示部21の表面を所定の振動数で振動させ、デジタルペン10,210が表示部21の表面に接触することによる振動数の変化を表示装置20,220が検出することによって、入力の有無を検出するように構成してもよい。
前記実施形態では、画素領域32は、長方形状であるが、これに限られるものではない。画素領域32は、三角形や平行四辺形などの形状でもよく、これらを組み合わせた形状であってもよい。画素領域32の形状は、表示装置が文字や映像を出力できるものであればよい。また、ブラックマトリクス31も、画素領域32の形状に合わせて適宜変更し得る。
前記ドット33は円形状であるが、これに限られるものではない。ドット33は、三角形や四角形などの多角形状であってもよく、楕円などの形状であってもよい。
また、前記ドット33を配置するための第1及び第2基準線34,35は、前記実施形態に限られるものではない。例えば、第1基準線34は、画素領域32の長手方向に画素領域32を2つおきに設けられているが、画素領域32の長手方向において画素領域32ごとに設けられてもよいし、画素領域32を1つおき、又は3つ以上おきに設けられてもよい。また、第2基準線35は、緑色画素領域32g上又はブラックマトリクス31上に設けられているが、これに限られるものではない。例えば、第2基準線35は、赤色画素領域32r又は青色画素領域32b上に設けられてもよい。また、第2基準線35は、特定の一色の画素領域32上に設けられている必要はない。第2基準線35は、赤色画素領域32r、緑色画素領域32g及び青色画素領域32b上に混在して設けられてもよいし、画素領域32上だけでなくブラックマトリクス31上にも混在して設けられてもよい。さらに、隣り合う第2基準線35の間に何個の画素領域32を介在させるかは、前記実施形態に限られるものではない。
前記実施形態では、6ドット×6ドットの単位エリアでドットパターンを形成しているが、これに限られるものではない。単位エリアを構成するドットの個数は、デジタルペン10,210や表示装置20,220の設計に応じて適宜設定することができる。また、ドットパターンの構成は、所定エリアに含まれるドットそれぞれの配置の組合せに限られるものではない。ドットパターンが特定の位置情報を表すことができる限り、パターニングの手法は前記実施形態に限られるものではない。
前記実施形態では、位置情報パターンがドットで構成されているが、マークはドットに限られるものではない。ドットの代わりに、三角形、四角形等の図形やアルファベット等の文字で表されるマークによって位置情報パターンが構成されていてもよい。例えば、マークは、画素領域32の全面を塗りつぶして形成されていてもよい。
さらに、位置情報パターンは、表示部21による表示で表現されていてもよい。
また、ドット33は、カラーフィルタ30に設けられているが、これに限られるものではない。ドット33は、ガラス基板25や偏光フィルタ26に設けられていてもよい。
あるいは、ドット33を、表示パネル24の画素40で表現することもできる。すなわち、表示部21に含まれる複数の画素40の一部を位置情報パターンのために使用し、前記「1」〜「4」に対応する位置の画素40又はサブ画素41の表示を制御する(例えば、対応する画素40を黒色等の特定の色の点として表示させる)ことによって、表示部21に位置情報パターンを表示することもできる。このようにして、表示部21にドット33を設ける構成を実現することもできる。すなわち、前記表示装置20は、前記表示部21に前記位置情報パターンを表示させる。この構成によれば、従来の表示装置20に特段の改良を加えることなく、前述の表示制御システム100を実現することができる。
また、ドット33は、ブラックマトリクス31と同じ材料で形成されているが、これに限られるものではない。例えば、ドット33を、赤外光を反射する材料で形成してもよい。
特定部16aは、演算により、ドットパターンを位置座標に変換しているが、これに限られるものではない。例えば、特定部16aは、全てのドットパターンと、そのそれぞれに紐付けされた位置座標を記憶しておき、取得されたドットパターンを、記憶しておいたドットパターンと位置座標との関係に照らし合わせて、位置座標を特定するようにしてもよい。
以上のように、本開示における技術の例示として、実施形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
以上説明したように、ここに開示された技術は、表示装置と指示装置とを備えた表示制御システムについて有用である。
100,200 表示制御システム
10,210 光学式デジタルペン
11 本体部
12 ペン先部
13 圧力センサ
14 照射部
15 読取部
15a 対物レンズ
15b 撮像素子
16 制御部
16a 特定部
16b ペン側マイコン
17 送信部
19 電源
20,220 表示装置
21 表示部
22 受信部
23 表示側マイコン
24 表示部
30 カラーフィルタ
31 ブラックマトリクス
32 セル
33 ドット
34 第1基準線
35 第2基準線

Claims (21)

  1. 複数の画素が設けられて画像を表示する表示部を有する表示装置と、前記表示部上の位置を指示する指示装置とを備え、該指示装置に指示された位置に応じた表示制御を行う表示制御システムであって、
    前記表示部には、該表示部上の位置を表す位置情報パターンが設けられ、
    前記指示装置は、前記表示部上において指示している位置の前記位置情報パターンを光学的に読み取るように構成され、
    前記表示装置は、前記指示装置が読み取った前記位置情報パターンに対応する位置の表示内容を変更するように前記表示部を制御する表示制御システム。
  2. 前記表示部は、ブラックマトリクスと、該ブラックマトリクスにより区画される着色層とを有し、
    前記位置情報パターンは、複数のマークで構成されており、
    前記マークは、前記ブラックマトリクスと同じ材料で形成されている、請求項1に記載の表示制御システム。
  3. 前記マークは、前記着色層に配置されている、請求項2に記載の表示制御システム。
  4. 前記マークは、前記ブラックマトリクス上に配置され、該ブラックマトリクスよりも幅が広い、請求項2に記載の表示制御システム。
  5. 前記表示部は、ブラックマトリクスと、該ブラックマトリクスにより区画される着色層とを有し、
    前記位置情報パターンは、複数のマークで構成されており、
    前記マークは、前記ブラックマトリクス上に、該ブラックマトリクスが部分的に取り除かれた状態で形成されている、請求項1に記載の表示制御システム。
  6. 前記表示装置は、前記表示部に前記位置情報パターンを表示させる、請求項1に記載の表示制御システム。
  7. 前記指示装置は、光を照射する照射部と、該照射部から照射され前記表示部で反射した光を受光することにより前記位置情報パターンを読み取る読取部とを有する、請求項1に記載の表示制御システム。
  8. 前記指示装置は、ペン先部を有するペン形状をしており、
    前記読取部は、撮像素子と、ペン先部に設けられ、前記表示部で反射した光を該撮像素子に結像させる対物レンズとを有する、請求項1に記載の表示制御システム。
  9. 前記表示装置は、前記指示装置が読み取った前記位置情報パターンに基づいて、該位置情報パターンが設けられた前記表示部上の位置を特定する特定部をさらに有する、請求項1に記載の表示制御システム。
  10. 前記指示装置は、読み取った前記位置情報パターンに基づいて、該位置情報パターンが設けられた前記表示部上の位置を特定する特定部を有する、請求項1に記載の表示制御システム。
  11. 複数の画素が設けられて画像を表示する表示部を有する表示装置であって、
    前記表示部には、外部から光学的に読み取り可能であって該表示部上の位置を表す位置情報パターンが設けられている表示装置。
  12. 前記表示部は、ブラックマトリクスと、該ブラックマトリクスにより区画される着色層とを有し、
    前記位置情報パターンは、複数のマークで構成されており、
    前記マークは、前記ブラックマトリクスと同じ材料で形成されている、請求項11に記載の表示装置。
  13. 前記マークは、前記着色層に配置されている、請求項12に記載の表示装置。
  14. 前記マークは、前記ブラックマトリクス上に配置され、該ブラックマトリクスよりも幅が広い、請求項12に記載の表示装置。
  15. 前記表示部は、ブラックマトリクスと、該ブラックマトリクスにより区画される着色層とを有し、
    前記位置情報パターンは、複数のマークで構成されており、
    前記マークは、前記ブラックマトリクス上に、該ブラックマトリクスが部分的に取り除かれた状態で形成されている、請求項11に記載の表示装置。
  16. 前記位置情報パターンは、前記表示部により表示される、請求項11に記載の表示装置。
  17. 複数の画素が設けられて画像を表示する表示部を有する表示パネルであって、
    前記表示部には、外部から光学的に読み取り可能であって該表示部上の位置を表す位置情報パターンが設けられている表示パネル。
  18. 前記表示部は、ブラックマトリクスと、該ブラックマトリクスにより区画される着色層とを有し、
    前記位置情報パターンは、複数のマークで構成されており、
    前記マークは、前記ブラックマトリクスと同じ材料で形成されている、請求項17に記載の表示パネル。
  19. 前記マークは、前記着色層に配置されている、請求項18に記載の表示パネル。
  20. 前記マークは、前記ブラックマトリクス上に配置され、該ブラックマトリクスよりも幅が広い、請求項18に記載の表示パネル。
  21. 前記表示部は、ブラックマトリクスと、該ブラックマトリクスにより区画される着色層とを有し、
    前記位置情報パターンは、複数のマークで構成されており、
    前記マークは、前記ブラックマトリクス上に、該ブラックマトリクスが部分的に取り除かれた状態で形成されている、請求項17に記載の表示パネル。
JP2013532447A 2011-09-06 2012-09-05 表示装置及び表示制御システム Pending JPWO2013035319A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013532447A JPWO2013035319A1 (ja) 2011-09-06 2012-09-05 表示装置及び表示制御システム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2011193644 2011-09-06
JP2011193644 2011-09-06
JP2013532447A JPWO2013035319A1 (ja) 2011-09-06 2012-09-05 表示装置及び表示制御システム

Publications (1)

Publication Number Publication Date
JPWO2013035319A1 true JPWO2013035319A1 (ja) 2015-03-23

Family

ID=47831789

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013532447A Pending JPWO2013035319A1 (ja) 2011-09-06 2012-09-05 表示装置及び表示制御システム

Country Status (4)

Country Link
US (1) US20140184507A1 (ja)
JP (1) JPWO2013035319A1 (ja)
CN (1) CN103797447A (ja)
WO (1) WO2013035319A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6069898B2 (ja) * 2011-11-25 2017-02-01 株式会社リコー 画像処理装置、画像処理システム、方法およびプログラム
KR102137199B1 (ko) * 2013-09-06 2020-07-23 엘지전자 주식회사 디스플레이 장치 및 그의 동작 방법
KR20170126294A (ko) * 2016-05-09 2017-11-17 엘지전자 주식회사 이동 단말기 및 그 제어방법
US10620716B2 (en) 2016-07-20 2020-04-14 Hewlett-Packard Development Company, L.P. Visibly opaque and near infrared transparent display border with underlying encoded pattern
US11182038B2 (en) 2020-04-08 2021-11-23 Sigmasense, Llc. Encoded data pattern touchscreen sensing system
KR20230013686A (ko) * 2021-07-16 2023-01-27 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 센싱 시스템
KR20230016737A (ko) 2021-07-26 2023-02-03 삼성디스플레이 주식회사 표시 장치 및 이를 포함하는 터치 입력 시스템
WO2024124492A1 (zh) * 2022-12-15 2024-06-20 深圳Tcl新技术有限公司 彩膜基板、显示面板以及显示系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07141104A (ja) * 1993-11-19 1995-06-02 Sharp Corp 座標入力装置、座標特定情報の表示装置および方法ならびに座標特定情報表示板
JP2002196875A (ja) * 2000-10-19 2002-07-12 Canon Inc 座標入力装置、座標入力方法および座標入出力装置、座標入出力部、座標板
JP2005196795A (ja) * 2004-01-07 2005-07-21 Microsoft Corp コンピューティング入力デバイス及びコンピューティングシステム
JP2006127081A (ja) * 2004-10-28 2006-05-18 Seiko Epson Corp 情報表示装置、位置指示装置および位置検出システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5162640A (en) * 1990-02-14 1992-11-10 Alps Electric Co., Ltd. Pen type optical reading device having plural lens arrangement
JP4384293B2 (ja) * 1999-07-06 2009-12-16 エーユー オプトロニクス コーポレイション 液晶表示パネル、表示装置、識別マーク検出装置、検出表示システム、tftアレイ・リペア装置及び識別マーク検出方法
SE517445C2 (sv) * 1999-10-01 2002-06-04 Anoto Ab Positionsbestämning på en yta försedd med ett positionskodningsmönster
US7619607B2 (en) * 2005-06-30 2009-11-17 Microsoft Corporation Embedding a pattern design onto a liquid crystal display
US7898532B2 (en) * 2005-08-19 2011-03-01 Silverbrook Research Pty Ltd Force sensor with dilatant fluid stop
US20090141004A1 (en) * 2007-12-03 2009-06-04 Semiconductor Energy Laboratory Co., Ltd. Display device and method for manufacturing the same
TWI389053B (zh) * 2008-07-31 2013-03-11 Pixart Imaging Inc 在微小點陣圖上定位時提高解析度的方法
KR20120110817A (ko) * 2011-03-30 2012-10-10 삼성전자주식회사 전자펜 및 전자펜을 이용한 입력 방법, 전자펜 입력을 위한 디스플레이 장치
KR20130038081A (ko) * 2011-10-07 2013-04-17 삼성전자주식회사 디스플레이 패턴 인식을 이용한 입력 위치 검출 장치 및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07141104A (ja) * 1993-11-19 1995-06-02 Sharp Corp 座標入力装置、座標特定情報の表示装置および方法ならびに座標特定情報表示板
JP2002196875A (ja) * 2000-10-19 2002-07-12 Canon Inc 座標入力装置、座標入力方法および座標入出力装置、座標入出力部、座標板
JP2005196795A (ja) * 2004-01-07 2005-07-21 Microsoft Corp コンピューティング入力デバイス及びコンピューティングシステム
JP2006127081A (ja) * 2004-10-28 2006-05-18 Seiko Epson Corp 情報表示装置、位置指示装置および位置検出システム

Also Published As

Publication number Publication date
US20140184507A1 (en) 2014-07-03
WO2013035319A1 (ja) 2013-03-14
CN103797447A (zh) 2014-05-14

Similar Documents

Publication Publication Date Title
WO2013035319A1 (ja) 表示パネル、表示装置及び表示制御システム
WO2013161246A1 (ja) 表示制御システム、表示装置及び表示パネル
RU2536667C2 (ru) Система рукописного ввода/вывода, лист рукописного ввода, система ввода информации, и лист, обеспечивающий ввод информации
US20060139338A1 (en) Transparent optical digitizer
JP5553920B2 (ja) 表示パネルおよび表示装置
US20140362054A1 (en) Display control system and reading device
JP5468159B2 (ja) 表示装置、及び表示制御システム
US20140300589A1 (en) Display device and display control system
US9128538B2 (en) Optical film, display panel, and display device
WO2013161245A1 (ja) 表示制御システム、表示装置及び表示パネル
JP2014041602A (ja) 情報読取装置
US20160364039A1 (en) Optical film, display panel, and display device
JP3174897U (ja) 教材コンテンツ表示システム、そのコンピュータ装置、およびそれに用いるシート
JP5420807B1 (ja) 表示制御システム、指示装置および表示パネル
US20160349422A1 (en) Optical film, display panel, and display device
JP2014142854A (ja) コンピュータ装置、電子ペンシステム、及びプログラム
WO2013161261A1 (ja) 表示制御システムおよび指示装置
JPWO2014017039A1 (ja) 情報読取装置
JP2010128566A (ja) 像検知装置、入力領域の認識方法、およびプログラム
US20150261327A1 (en) Display control system
JP2013037535A (ja) 入力システム
JP6476626B2 (ja) 指示体判定装置、座標入力装置、指示体判定方法、座標入力方法、及びプログラム
JP2014026208A (ja) コンピュータ装置及びプログラム

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20150901