JP5232924B2 - 表示装置及び表示装置の制御方法 - Google Patents
表示装置及び表示装置の制御方法 Download PDFInfo
- Publication number
- JP5232924B2 JP5232924B2 JP2011547399A JP2011547399A JP5232924B2 JP 5232924 B2 JP5232924 B2 JP 5232924B2 JP 2011547399 A JP2011547399 A JP 2011547399A JP 2011547399 A JP2011547399 A JP 2011547399A JP 5232924 B2 JP5232924 B2 JP 5232924B2
- Authority
- JP
- Japan
- Prior art keywords
- target image
- mode
- unit
- comparison target
- display device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 50
- 238000012545 processing Methods 0.000 claims abstract description 75
- 230000003287 optical effect Effects 0.000 claims abstract description 69
- 238000012935 Averaging Methods 0.000 claims abstract description 24
- 238000001514 detection method Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 29
- 230000007704 transition Effects 0.000 abstract description 10
- 239000004973 liquid crystal related substance Substances 0.000 description 60
- 238000010586 diagram Methods 0.000 description 15
- 239000003990 capacitor Substances 0.000 description 9
- 238000000605 extraction Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 239000011521 glass Substances 0.000 description 8
- 239000000758 substrate Substances 0.000 description 8
- 230000008859 change Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 4
- 230000003071 parasitic effect Effects 0.000 description 4
- 210000001015 abdomen Anatomy 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 239000010408 film Substances 0.000 description 2
- 238000005286 illumination Methods 0.000 description 2
- 101100214491 Solanum lycopersicum TFT3 gene Proteins 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 229910021420 polycrystalline silicon Inorganic materials 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000010409 thin film Substances 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/26—Power supply means, e.g. regulation thereof
- G06F1/32—Means for saving power
- G06F1/3203—Power management, i.e. event-based initiation of a power-saving mode
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0412—Digitisers structurally integrated in a display
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/0416—Control or interface arrangements specially adapted for digitisers
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
- G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
- G09G3/36—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source using liquid crystals
- G09G3/3611—Control of matrices with row and column drivers
- G09G3/3648—Control of matrices with row and column drivers using an active matrix
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2310/00—Command of the display device
- G09G2310/04—Partial updating of the display screen
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2330/00—Aspects of power supply; Aspects of display protection and defect management
- G09G2330/02—Details of power systems and of start or stop of display operation
- G09G2330/021—Power management, e.g. power saving
- G09G2330/022—Power management, e.g. power saving in absence of operation, e.g. no data being entered during a predetermined time
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2360/00—Aspects of the architecture of display systems
- G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
- G09G2360/144—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light being ambient light
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Chemical & Material Sciences (AREA)
- Crystallography & Structural Chemistry (AREA)
- Computer Hardware Design (AREA)
- Liquid Crystal (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Position Input By Displaying (AREA)
- Liquid Crystal Display Device Control (AREA)
Description
本発明は、表示装置に関し、特に、表示パネルに複数の光センサを設けた表示装置に関する。
近年、指やペンなどで画面に触れることにより操作可能な電子機器が普及している。また、表示画面内のタッチ位置を検出する方法として、表示パネルに複数の光センサを設け、指などが画面に接近したときにできる影像や反射像を光センサを用いて検知する方法が知られている。また、表示データにかかわらず高い精度でタッチ位置を検出するために、表示装置に赤外光を出射する赤外バックライトを設け、赤外光による反射像を光センサを用いて検知する方法も知られている。
このような光センサ付き表示装置には、赤外バックライト以外にも、光センサから読み出した信号をデジタル信号に変換するA/D変換器や、得られたデジタル信号に基づきタッチ位置を求める認識処理部などが設けられる。このため、光センサ付き表示装置には、光センサを備えていない表示装置と比べて消費電力が大きいという問題がある。
そこで、消費電力を削減する方法の1つとして、光センサ付き表示装置に通常モードと待機モードを設け、待機モードでは認識処理部を停止するとともに、回路の動作を停止させたり、回路の動作速度を遅くしたりする方法が考えられる。これに関連して、日本特開2006−201763号公報には、表示パネルに光感知部と接触感知部を設けた表示装置において、接触感知部からの出力信号に基づき、所定時間接触しなかったと判断したときに待機モードに移行し、接触したと判断したときに通常モードに移行することが記載されている。
しかしながら、日本特開2006−201763号公報に記載の表示装置は、指が接触感知部に感知されたときに、待機モードから通常モードに移行する。言い換えると、この表示装置は、指が画面に接近しても、指が画面に接触するまでは、待機モードのままである。このため、この表示装置には、待機モードから通常モードに移行するタイミングが遅いために、待機モードを脱出してタッチ位置を検出するまでに時間がかかるという問題がある。
この点、光感知部によって指を感知すれば速やかに待機モードを脱出することができるが、待機モードのままで光感知部により指が感知されたか否かを判定することは困難であり、特に低照度環境下では、光感知部により感知されるべき照度変化がより小さくなるため、上記判定はより困難となる。すなわち、待機モードにおいても画像の表示は行われるので、特に低照度環境下では画像表示に起因するノイズによって誤判定が生じやすくなる。
それ故に、本発明は、誤判定が抑制されかつ速やかに待機モードを脱出してタッチ位置を素早く検出できる光センサ付き表示装置を提供することを目的とする。
本発明の第1の局面は、複数の光センサを備えた表示装置であって、
2次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、
少なくとも1つの単位期間毎に与えられる表示データに応じた信号を前記画素回路に書き込む動作と、受光量に応じた信号を前記光センサから読み出す動作とを行う駆動回路と、
前記光センサから読み出した信号に基づく認識対象画像に対して認識処理を行い、検知対象物の位置を示す座標データを出力する認識処理部と、
通常モードか待機モードかを判定し、通常モードでは前記認識処理部を動作させ、待機モードでは前記認識処理部の動作を停止させるモード制御部と、
通常モードから待機モードに移行するときに、前記光センサから読み出した信号に基づく第1の比較対象画像を記憶する画像記憶部とを備え、
前記モード制御部は、前記第1の比較対象画像が記憶される時点での単位期間を第1番目の単位期間とするとき、続く奇数番目の単位期間の少なくとも1つにおいて前記光センサから読み出した信号に基づく第2の比較対象画像が、前記第1の比較対象画像から所定以上変化したときに、待機モードから通常モードに移行することを特徴とする。
2次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、
少なくとも1つの単位期間毎に与えられる表示データに応じた信号を前記画素回路に書き込む動作と、受光量に応じた信号を前記光センサから読み出す動作とを行う駆動回路と、
前記光センサから読み出した信号に基づく認識対象画像に対して認識処理を行い、検知対象物の位置を示す座標データを出力する認識処理部と、
通常モードか待機モードかを判定し、通常モードでは前記認識処理部を動作させ、待機モードでは前記認識処理部の動作を停止させるモード制御部と、
通常モードから待機モードに移行するときに、前記光センサから読み出した信号に基づく第1の比較対象画像を記憶する画像記憶部とを備え、
前記モード制御部は、前記第1の比較対象画像が記憶される時点での単位期間を第1番目の単位期間とするとき、続く奇数番目の単位期間の少なくとも1つにおいて前記光センサから読み出した信号に基づく第2の比較対象画像が、前記第1の比較対象画像から所定以上変化したときに、待機モードから通常モードに移行することを特徴とする。
本発明の第2の局面は、本発明の第1の局面において、
前記モード制御部は、前記第2の比較対象画像を、前記奇数番目の単位期間の少なくとも1つと、偶数番目の単位期間の少なくとも1つとにおいてそれぞれ前記光センサから読み出した信号に基づく2つ以上の画像を平均化することにより得ることを特徴とする。
前記モード制御部は、前記第2の比較対象画像を、前記奇数番目の単位期間の少なくとも1つと、偶数番目の単位期間の少なくとも1つとにおいてそれぞれ前記光センサから読み出した信号に基づく2つ以上の画像を平均化することにより得ることを特徴とする。
本発明の第3の局面は、本発明の第2の局面において、
前記モード制御部は、連続する2つの単位期間においてそれぞれ前記光センサから読み出した信号に基づく2つの画像を平均化することにより、前記第2の比較対象画像を得ることを特徴とする。
前記モード制御部は、連続する2つの単位期間においてそれぞれ前記光センサから読み出した信号に基づく2つの画像を平均化することにより、前記第2の比較対象画像を得ることを特徴とする。
本発明の第4の局面は、本発明の第1の局面において、
前記モード制御部は、前記奇数番目の単位期間において前記光センサから読み出した信号に基づく画像を前記第2の比較対象画像とし、前記奇数番目の単位期間毎に、前記第1の比較対象画像から前記第2の比較対象画像が変化したか否かを判定することを特徴とする。
前記モード制御部は、前記奇数番目の単位期間において前記光センサから読み出した信号に基づく画像を前記第2の比較対象画像とし、前記奇数番目の単位期間毎に、前記第1の比較対象画像から前記第2の比較対象画像が変化したか否かを判定することを特徴とする。
本発明の第5の局面は、本発明の第4の局面において、
前記画像記憶部は、前記第1番目の単位期間に続く第2番目の単位期間において、前記光センサから読み出した信号に基づく第3の比較対象画像をさらに記憶し、
前記モード制御部は、偶数番目の単位期間において前記光センサから読み出した信号に基づく画像を第4の比較対象画像とし、前記第4の比較対象画像が前記第3の比較対象画像から所定以上変化し、かつ前記第2の比較対象画像が前記第1の比較対象画像から所定以上変化したと判定される場合に待機モードから通常モードに移行することを特徴とする。
前記画像記憶部は、前記第1番目の単位期間に続く第2番目の単位期間において、前記光センサから読み出した信号に基づく第3の比較対象画像をさらに記憶し、
前記モード制御部は、偶数番目の単位期間において前記光センサから読み出した信号に基づく画像を第4の比較対象画像とし、前記第4の比較対象画像が前記第3の比較対象画像から所定以上変化し、かつ前記第2の比較対象画像が前記第1の比較対象画像から所定以上変化したと判定される場合に待機モードから通常モードに移行することを特徴とする。
本発明の第6の局面は、本発明の第1の局面において、
前記駆動回路は、前記単位期間が偶数番目であるか奇数番目であるかを示す識別ビットを出力し、
前記モード制御部は、前記駆動回路から出力される識別ビットに基づき、前記光センサから読み出した信号に基づく画像が奇数番目の単位期間におけるものであるか否かを識別することを特徴とする。
前記駆動回路は、前記単位期間が偶数番目であるか奇数番目であるかを示す識別ビットを出力し、
前記モード制御部は、前記駆動回路から出力される識別ビットに基づき、前記光センサから読み出した信号に基づく画像が奇数番目の単位期間におけるものであるか否かを識別することを特徴とする。
本発明の第7の局面は、本発明の第1の局面において、
前記モード制御部は、前記第1の比較対象画像と前記第2の比較対象画像とを画素毎に比較し、当該画素値の差が第1の閾値以上である画素の個数が第2の閾値以上であるときに、待機モードから通常モードに移行することを特徴とする。
前記モード制御部は、前記第1の比較対象画像と前記第2の比較対象画像とを画素毎に比較し、当該画素値の差が第1の閾値以上である画素の個数が第2の閾値以上であるときに、待機モードから通常モードに移行することを特徴とする。
本発明の第8の局面は、本発明の第1の局面において、
前記比較対象画像は、前記認識対象画像よりも少ない画素数を有することを特徴とする。
前記比較対象画像は、前記認識対象画像よりも少ない画素数を有することを特徴とする。
本発明の第9の局面は、本発明の第8の局面において、
前記比較対象画像は、前記認識対象画像から画素値を間引いた画像であることを特徴とする。
前記比較対象画像は、前記認識対象画像から画素値を間引いた画像であることを特徴とする。
本発明の第10の局面は、本発明の第1の局面において、
前記駆動回路は、前記モード制御部による判定結果に従い、待機モードでは通常モードよりも少ない量の信号を前記光センサから読み出すことを特徴とする。
前記駆動回路は、前記モード制御部による判定結果に従い、待機モードでは通常モードよりも少ない量の信号を前記光センサから読み出すことを特徴とする。
本発明の第11の局面は、2次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、前記光センサから読み出した信号に基づく認識対象画像に対して認識処理を行い、検知対象物の位置を示す座標データを出力する認識処理部とを備えた表示装置の制御方法であって、
表示データに応じた信号を前記画素回路に書き込むステップと、
受光量に応じた信号を前記光センサから読み出すステップと、
通常モードか待機モードかを判定するステップと、
通常モードでは前記認識処理部を動作させ、待機モードでは前記認識処理部の動作を停止させるステップと、
通常モードから待機モードに移行するときに、前記光センサから読み出した信号に基づく第1の比較対象画像を記憶するステップとを備え、
前記判定するステップでは、前記第1の比較対象画像が記憶される時点での単位期間を第1番目の単位期間とするとき、続く奇数番目の単位期間の少なくとも1つにおいて前記光センサから読み出した信号に基づく第2の比較対象画像が、前記第1の比較対象画像から所定以上変化したときに、待機モードから通常モードに移行することを特徴とする。
表示データに応じた信号を前記画素回路に書き込むステップと、
受光量に応じた信号を前記光センサから読み出すステップと、
通常モードか待機モードかを判定するステップと、
通常モードでは前記認識処理部を動作させ、待機モードでは前記認識処理部の動作を停止させるステップと、
通常モードから待機モードに移行するときに、前記光センサから読み出した信号に基づく第1の比較対象画像を記憶するステップとを備え、
前記判定するステップでは、前記第1の比較対象画像が記憶される時点での単位期間を第1番目の単位期間とするとき、続く奇数番目の単位期間の少なくとも1つにおいて前記光センサから読み出した信号に基づく第2の比較対象画像が、前記第1の比較対象画像から所定以上変化したときに、待機モードから通常モードに移行することを特徴とする。
上記本発明の第1または第11の局面によれば、通常モードか待機モードかを判定し、待機モードでは認識処理部の動作を停止させることにより、表示装置の消費電力を削減することができる。また、光センサから読み出した信号に基づく比較対象画像が待機モードに移行したときから所定以上変化したときに通常モードに移行することにより、検知対象物が画面に接触する前に通常モードに移行することができる。したがって、速やかに待機モードを脱出してタッチ位置を素早く検出することができる。さらに、第1の比較対象画像が記憶される時点での単位期間を第1番目の単位期間とするとき、続く奇数番目の単位期間の少なくとも1つにおいて光センサから読み出した信号に基づく第2の比較対象画像が、第1の比較対象画像から所定以上変化したときに、待機モードから通常モードに移行するので、(典型的には表示のための駆動により生じる電位変動の結果)単位期間毎に光センサの光量の検出量が異なることがあっても誤判定を抑制することができる。
上記本発明の第2の局面によれば、第2の比較対象画像が2つ以上の画像を平均化することにより得られるので、偶数番目の単位期間および奇数番目の単位期間で、それぞれ生じるべき電位変動等による光センサにおける光量の検出量のずれが平均化され、上記ずれによる誤検知を抑制または解消することができる。
上記本発明の第3の局面によれば、連続する2つの単位期間において得られる2つの画像が平均化されるので、連続する偶数番目の単位期間および奇数番目の単位期間で、それぞれ生じるべき電位変動等によるずれを完全にまたは大きく相殺することができ、上記ずれによる誤検知を大きく抑制または解消することができる。
上記本発明の第4の局面によれば、第1番目の単位期間において記憶される第1の比較対象画像と偶奇を合わせた奇数番目の単位期間において光センサから読み出した信号に基づく画像を第2の比較対象画像とするので、上記電位変動等によるずれの量または方向が同一または類似する画像同士で比較されることになり、簡単な構成で誤検知を抑制または解消することができる。
上記本発明の第5の局面によれば、画像記憶部により第1番目および第2番目の単位期間において第1および第3の比較対象画像がそれぞれ記憶され、これらと偶奇を合わせた単位期間において光センサから読み出した信号に基づく第2または第4の比較対象画像が比較されるので、上記ノイズによる誤検知を確実に抑制または解消することができる。
上記本発明の第6の局面によれば、単位期間が偶数番目であるか奇数番目であるかを示す識別ビットに基づき、光センサから読み出した信号に基づく画像が奇数番目の単位期間におけるものであるか否かが識別されるので、一般的な識別ビットを利用した簡易な構成で誤検知を抑制または解消することができる。
上記本発明の第7の局面によれば、2枚の比較対象画像を画素ごとに比較し、画素値の差が第1の閾値以上である画素の個数が第2の閾値以上であるときに通常モードに移行することにより、検知対象物が画面に接触する前に通常モードに移行することができる。したがって、速やかに待機モードを脱出してタッチ位置を素早く検出することができる。
上記本発明の第8の局面によれば、認識対象画像よりも画素数が少ない比較対象画像を用いてモード判定処理を行うことにより、モード判定処理に必要なメモリ量と計算量を削減することができる。
上記本発明の第9の局面によれば、認識対象画像から画素値を間引いた画像を比較対象画像とすることにより、平均値算出処理などを行うことなく、比較対象画像を容易に生成することができる。
上記本発明の第10の局面によれば、待機モードでは駆動回路の動作速度を遅くすることにより、モード判定処理に必要な比較対象画像を生成しながら、表示装置の消費電力を削減することができる。
<1. 第1の実施形態>
<1.1 全体的な構成および動作>
図1は、本発明の第1の実施形態に係る液晶表示装置の構成を示すブロック図である。図1に示す液晶表示装置10は、センサ内蔵液晶パネル11(以下、単に液晶パネルという)、表示データ処理回路12、A/D変換器13、センサデータ処理回路14、および、バックライト15を備えている。液晶パネル11は、パネル駆動回路16と画素アレイ17を含んでいる。画素アレイ17には、複数の画素回路1と複数の光センサ2が2次元状に設けられる。
<1.1 全体的な構成および動作>
図1は、本発明の第1の実施形態に係る液晶表示装置の構成を示すブロック図である。図1に示す液晶表示装置10は、センサ内蔵液晶パネル11(以下、単に液晶パネルという)、表示データ処理回路12、A/D変換器13、センサデータ処理回路14、および、バックライト15を備えている。液晶パネル11は、パネル駆動回路16と画素アレイ17を含んでいる。画素アレイ17には、複数の画素回路1と複数の光センサ2が2次元状に設けられる。
液晶表示装置10には、外部から表示データD1が入力される。表示データ処理回路12は、表示データD1に対して必要に応じて色補正処理やフレームレート変換処理などを行い、表示データD2を出力する。パネル駆動回路16は、画素回路1に対して表示データD2に応じた電圧を書き込む。これにより、液晶パネル11には表示データD2に基づく画像が表示される。
バックライト15は、バックライト電源回路(図示せず)から供給された電源電圧に基づき、液晶パネル11の背面に光(バックライト光)を照射する。バックライト15は、白色光を出射する白色バックライト18と、赤外光を出射する赤外バックライト19とを含んでいる。白色バックライト18は画像表示のために設けられ、赤外バックライト19はタッチ位置の検出のために設けられている。
パネル駆動回路16は、画素回路1に電圧を書き込む動作に加えて、光センサ2から受光量に応じた電圧を読み出す動作を行う。光センサ2の出力信号(以下、センサ出力信号という)は、液晶パネル11の外部に出力される。A/D変換器13は、アナログのセンサ出力信号をデジタル信号に変換する。
センサデータ処理回路14は、スキャン画像生成部21、認識処理部22、ホストインターフェイス部23(以下、ホストI/F部23という)、モード制御部24、間引き画像メモリ25、制御レジスタ26、および間引き画像比較部27を含んでいる。
スキャン画像生成部21は、A/D変換器13から出力されたデジタル信号に基づき、デジタル画像(以下、スキャン画像という)を生成する。このスキャン画像には、液晶パネル11の表面付近にある検知すべき物体(例えば、指やペンなど。以下、対象物という)の像が含まれていることがある。認識処理部22は、スキャン画像に対して対象物を検知するための認識処理を行い、スキャン画像内での対象物の位置を求め、タッチ位置を示す座標データCoを出力する。認識処理部22から出力された座標データCoは、ホストI/F部23を経由してホスト(図示せず)に対して出力される。
図2は、液晶パネル11の詳細な構成を示すブロック図である。図2に示すように、画素アレイ17は、m本の走査信号線G1〜Gm、3n本のデータ信号線SR1〜SRn、SG1〜SGn、SB1〜SBn、および、(m×3n)個の画素回路1を備えている。これに加えて画素アレイ17は、(m×n)個の光センサ2、m本のセンサ読み出し線RW1〜RWm、および、m本のセンサリセット線RS1〜RSmを備えている。
走査信号線G1〜Gmは、互いに平行に配置される。データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnは、走査信号線G1〜Gmと直交するように互いに平行に配置される。センサ読み出し線RW1〜RWmとセンサリセット線RS1〜RSmは、走査信号線G1〜Gmと平行に配置される。
画素回路1は、走査信号線G1〜Gmとデータ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnの交点近傍に1個ずつ設けられる。画素回路1は、列方向(図2では縦方向)にm個ずつ、行方向(図2では横方向)に3n個ずつ、全体として2次元状に配置される。画素回路1は、何色のカラーフィルタを設けるかによって、R画素回路1r、G画素回路1gおよびB画素回路1bに分類される。これら3種類の画素回路は、G、B、Rの順に行方向に並べて配置され、3個で1個の画素を形成する。
画素回路1は、TFT(Thin Film Transistor)3と液晶容量4を含んでいる。このTFT3は、例えば多結晶シリコンを用いて形成され、液晶容量4は後述する2つの電極により挟まれた液晶層で構成される。TFT3のゲート端子は走査信号線Gi(iは1以上m以下の整数)に接続され、ソース端子はデータ信号線SRj、SGj、SBj(jは1以上n以下の整数)のいずれかに接続され、ドレイン端子は液晶容量4の一方の電極である画素電極に接続される。また液晶容量4の他方の電極は、各画素に共通的に設けられる共通電極に接続される。この共通電極には、共通電極電圧が印加される。以下、R画素回路1rに接続されたデータ信号線SR1〜SRnをRデータ信号線、B画素回路1bに接続されたデータ信号線SB1〜SBnをBデータ信号線という。なお、画素回路1は補助容量を含んでいてもよい。
画素回路1の光透過率(サブ画素の輝度)は、画素回路1に書き込まれた電圧によって定まる。走査信号線Giとデータ信号線SXj(XはR、G、Bのいずれか)に接続された画素回路1に或る電圧を書き込むためには、走査信号線Giにハイレベル電圧(TFT3をオン状態にする電圧)を印加し、データ信号線SXjに書き込むべき電圧を印加すればよい。表示データD2に応じた電圧を画素回路1に書き込むことにより、サブ画素の輝度を所望のレベルに設定することができる。
ここで、一般な液晶表示装置では、液晶の劣化を抑えると共に表示品位を維持するために交流化駆動が行われている。本実施形態では、具体的には画素液晶への印加電圧の正負極性を1走査信号線毎かつ1フレーム毎にも反転させるいわゆるライン反転駆動方式が採用されるものとする。なお、上記ライン反転駆動方式に代えて、画素液晶への印加電圧の正負極性を1フレーム毎にのみ反転させる駆動方式であるフレーム反転駆動方式や、1走査信号線毎かつ1映像信号線毎に(さらに1フレーム毎にも)反転させるいわゆるドット反転駆動方式が採用されてもよい。
また本実施形態では、映像信号線の電圧の振幅を抑えるために、交流化駆動に応じて共通電極の電位をも変化させている。したがって、偶数番目のフレームと奇数番目のフレームとにおいて或る画素が同じ階調で表示されている場合であっても、当該画素に対応する画素電極の電位が大きく異なる。このことに起因して光センサ2に検出ノイズが生じる。詳しくは後述する。
光センサ2は、コンデンサ5、フォトダイオード6およびセンサプリアンプ7を含み、画素ごとに設けられる。コンデンサ5の一方の電極は、フォトダイオード6のカソード端子に接続される(以下、この接続点を節点Pという)。コンデンサ5の他方の電極はセンサ読み出し線RWiに接続され、フォトダイオード6のアノード端子はセンサリセット線RSiに接続される。センサプリアンプ7は、ゲート端子が節点Pに接続され、ドレイン端子がRデータ信号線SRjに接続され、ソース端子がBデータ信号線SBjに接続されたTFTで構成される。
センサ読み出し線RWiやBデータ信号線SBjなどに接続された光センサ2で光量を検知するためには、まず、センサ読み出し線RWiとセンサリセット線RSiに所定の電圧(ここでは0V)を印加する。そうすればフォトダイオード6に順方向電流が流れ、コンデンサ5の蓄積電荷がリセットされる。その後、センサリセット線RSiに所定の負電圧を印加すると、フォトダイオード6に逆バイアスが生じる。そのため、フォトダイオード6に光が入射すると、入射光量に応じた電流がフォトダイオード6に流れ、節点Pの電圧は流れた電流の分だけ低下する。その後、所定のタイミングでセンサ読み出し線RWiに高い電圧を印加して節点Pの電圧を持ち上げ、センサプリアンプ7のゲート電圧を閾値以上にした上でRデータ信号線SRjに電源電圧VDDを印加すると、節点Pの電圧はセンサプリアンプ7で増幅され、Bデータ信号線SBjには増幅後の電圧が出力される。したがって、Bデータ信号線SBjの電圧に基づき、光センサ2で検知された光量を求めることができる。
もっとも、光センサ2の近傍には画素電極が存在しており、フォトダイオード6のカソード端子に接続される節点Pとの間には寄生容量が存在する。そして画素電極の電位は、偶数番目のフレームと奇数番目のフレームとで大きく変化する場合がある。また、光センサ2の近傍には共通電極も存在しており、同様に節点Pとの間に寄生容量が存在する。そして共通電極の電位も同様に偶数番目のフレームと奇数番目のフレームとで変化する。
例えばノーマリブラック型の液晶表示装置では、最大階調である白表示の場合には画素電極と共通電極との電位差を最大にするため、画素電極へ印加される電位は共通電極電位とは逆方向に変化し、最小階調である黒表示の場合には画素電極と共通電極との電位差を最小にするため画素電極へ印加される電位は共通電極電位と同方向に変化する。したがって連続する2フレームで同一の画像が表示される場合でも、白表示を行う画素に対応する画素電極と、黒表示を行う画素に対応する画素電極とでは、隣接する偶数番目のフレームと奇数番目のフレームとにおいて電位変化の方向が逆であって、電位変動量の差が最も大きくなる。このような電位変動は、上記寄生容量を介して節点Pの電位を様々に変化させる。したがって、同一の光量が検知される場合であっても、偶数番目のフレームと奇数番目のフレームとで節点Pの電位は異なることがある。
このように、上記一定電圧が与えられた後、フォトダイオード6に光が入射することにより低下する節点Pの電圧は、当該フォトダイオード6に同一量の光が入射した場合であっても、偶数番目のフレームと奇数番目のフレームとで異なることがあり、Bデータ信号線SBjの電圧に基づき、求められた光センサ2で検知された光量は、上記変動分のノイズを含むことになる。そして低照度環境下では、このノイズにより誤検知が生じやすい。本実施形態ではその誤検知を解消することができる構成となっている。詳しくは後述する。
画素アレイ17の周辺には、走査信号線駆動回路31、データ信号線駆動回路32、センサ行駆動回路33、p個(pは1以上n以下の整数)のセンサ出力アンプ34、出力制御回路35、および、複数のスイッチ36〜39が設けられる。これらの回路は、図1ではパネル駆動回路16に相当する。
データ信号線駆動回路32は、3n本のデータ信号線に対応して3n個の出力端子を有する。Bデータ信号線SB1〜SBnとこれに対応したn個の出力端子との間にはスイッチ36が1個ずつ設けられ、Rデータ信号線SR1〜SRnとこれに対応したn個の出力端子との間にはスイッチ37が1個ずつ設けられる。Bデータ信号線SB1〜SBnはp本ずつのグループに分けられ、グループ内でk番目(kは1以上p以下の整数)のBデータ信号線とk番目のセンサ出力アンプ34の入力端子との間にはスイッチ38が1個ずつ設けられる。Rデータ信号線SR1〜SRnと電源電圧VDDとの間にはスイッチ39が1個ずつ設けられる。図2に含まれるスイッチ36〜39の個数はいずれもn個である。
液晶表示装置10では、1ライン時間(1水平同期期間)は、或る走査信号線が選択状態となっている間、対応する各画素回路に信号(表示データに応じた電圧信号)を書き込む(有効)表示期間と、当該或る走査信号線が非選択状態に遷移した時点から次の走査信号線が選択状態となるまでの間(この期間は帰線期間とも呼ばれる)、光センサからの信号(受光量に応じた電圧信号)の読み出しや、光センサ回路内をリセットするセンサ動作期間とに分割される。
ここで図2に示す回路は上記(有効)表示期間と帰線期間中のセンサ動作期間とで異なる動作を行う。すなわち、表示期間では、スイッチ36、37はオン状態、スイッチ38、39はオフ状態となる。これに対してセンサ動作期間では、スイッチ36、37はオフ状態、スイッチ39はオン状態となり、スイッチ38はBデータ信号線SB1〜SBnがグループごとに順にセンサ出力アンプ34の入力端子に接続されるように時分割でオン状態となる。
表示期間では、走査信号線駆動回路31とデータ信号線駆動回路32が動作する。走査信号線駆動回路31は、タイミング制御信号C1に従い、走査信号線G1〜Gmの中から1ライン時間ごとに1本の走査信号線を選択し、選択した走査信号線にはハイレベル電圧を印加し、残りの走査信号線にはローレベル電圧を印加する。データ信号線駆動回路32は、表示データ処理回路12から出力された表示データDR、DG、DBに基づき、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnを線順次方式で駆動する。より詳細には、データ信号線駆動回路32は、表示データDR、DG、DBを少なくとも1行分ずつ記憶し、1ライン時間ごとに1行分の表示データに応じた電圧をデータ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnに印加する。なお、データ信号線駆動回路32は、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnを点順次方式で駆動してもよい。
センサ動作期間では、センサ行駆動回路33、センサ出力アンプ34、および、出力制御回路35が動作する。センサ行駆動回路33は、タイミング制御信号C2に従い、センサ読み出し線RW1〜RWmとセンサリセット線RS1〜RSmの中から1ライン時間ごとに信号線を1本ずつ選択し、選択したセンサ読み出し線とセンサリセット線には所定の読み出し用電圧とリセット用電圧を印加し、それ以外の信号線には選択時と異なる電圧を印加する。センサ出力アンプ34は、スイッチ38によって選択された電圧を増幅し、センサ出力信号SS1〜SSpとして出力する。出力制御回路35の動作については後述する。
図3は、液晶表示装置10のタイミングチャートである。図3に示すように、垂直同期信号Vsyncは1フレーム時間ごとにローレベルからハイレベルへ立ち上がる。また水平同期信号Hsyncは1ライン時間ごとにローレベルからハイレベルへ立ち上がる。ここで前述したように、1ライン時間は表示期間とセンサ動作期間に分割される。
表示期間では、スイッチ36、37がオン状態になり、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnはいずれもデータ信号線駆動回路32に接続される。最初の表示期間では、まず走査信号線G1の電圧がハイレベルになり、次の表示期間では走査信号線G2の電圧がハイレベルになり、それ以降は走査信号線G3〜Gmの電圧が順にハイレベルになる。走査信号線Giの電圧がハイレベルである間、データ信号線SR1〜SRn、SG1〜SGn、SB1〜SBnには、走査信号線Giに接続された3n個の画素回路1に書き込むべき電圧が印加される。
センサ動作期間では、スイッチ39がオン状態になり、スイッチ38は時分割でオン状態になる。このため、Rデータ信号線SR1〜SRnには電源電圧VDDが固定的に印加され、Bデータ信号線SB1〜SBnは時分割でセンサ出力アンプ34の入力端子に接続される。最初のセンサ動作期間では、まずセンサ読み出し線RW1が選択される。なお、前フレームにおいてセンサリセット線RS1が選択されてから本フレームにおいてセンサ読み出し線RW1が選択されるまでの間が光量を検出するためのセンシング期間となり、この期間中の受光量に応じた電圧が後述するように読み出される。次のセンサ動作期間ではセンサ読み出し線RW2とセンサリセット線RS1が選択され、それ以降はセンサ読み出し線RW3〜RWmとセンサリセット線RS2〜RS(m−1)が1組ずつ順に選択され、最後にセンサリセット線RSmが選択される。選択されたセンサ読み出し線とセンサリセット線には、それぞれ、読み出し用電圧とリセット用電圧が印加される。センサ読み出し線RWiとセンサリセット線RSiが選択されている間、Bデータ信号線SB1〜SBnには、センサ読み出し線RWiに接続されたn個の光センサ2で検知された光量に応じた電圧が出力される。なお、後述する待機モードでは、センサ読み出し線RW1〜RWmとセンサリセット線RS1〜RSmのうち、一部の信号線のみが1組ずつ順に選択される。また、上記Bデータ信号線SB1〜SBnに出力される、センサ読み出し線RWiに接続されたn個の光センサ2で検知された光量に応じた電圧は、同一の光量が与えられる場合であっても、前述したように偶数番目のフレームと奇数番目のフレームとで変動する場合がある。
図4は、液晶パネル11の断面とバックライト15の配置位置を示す図である。液晶パネル11は、2枚のガラス基板41a、41bの間に液晶層42を挟み込んだ構造を有する。一方のガラス基板41aには3色のカラーフィルタ43r、43g、43b、遮光膜44、対向電極45などが設けられ、他方のガラス基板41bには画素電極46、データ信号線47、光センサ2などが設けられる。図4では、光センサ2に含まれるフォトダイオード6は、青色カラーフィルタ43bを設けた画素電極46の近傍に設けられている。ガラス基板41a、41bの対向する面には配向膜48が設けられ、他方の面には偏光板49が設けられる。液晶パネル11の2枚の面のうちガラス基板41a側の面が表面になり、ガラス基板41b側の面が背面になる。
液晶表示装置10は、表示画面内のタッチ位置を検知するときに、影像を検知する方法と反射像(あるいは、影像と反射像の両方)を検知する方法のいずれかを使用する。図5Aは影像を検知する方法の原理を示す図であり、図5Bは反射像を検知する方法の原理を示す図である。影像を検知する方法(図5A)では、フォトダイオード6を含む光センサ2は、ガラス基板41aや液晶層42などを透過した外光51を検知する。このときに指などの対象物53が液晶パネル11の表面付近にあると、光センサ2に入射すべき外光51が対象物53によって遮られる。したがって、光センサ2を用いて、外光51による対象物53の影像を検知することができる。
反射像を検知する方法(図5B)では、フォトダイオード6を含む光センサ2は、バックライト光52の反射光を検知する。より詳細には、バックライト15から出射されたバックライト光52は、液晶パネル11を透過して液晶パネル11の表面から外部に出る。このときに対象物53が液晶パネル11の表面付近にあると、バックライト光52は対象物53で反射する。例えば、人間の指の腹は光をよく反射する。バックライト光52の反射光は、ガラス基板41aや液晶層42などを透過して光センサ2に入射する。したがって、光センサ2を用いて、バックライト光52による対象物53の反射像を検知することができる。
また、上記2つの方法を併用すれば、影像と反射像の両方を検知することができる。すなわち、光センサ2を用いて、外光51による対象物53の影像と、バックライト光52による対象物53の反射像とを同時に検知することができる。
図6Aおよび図6Bは、指の像を含むスキャン画像の例を示す図である。図6Aに示すスキャン画像は指の影像を含み、図6Bに示すスキャン画像は指の影像と指の腹の反射像を含む。センサデータ処理回路14は、このようなスキャン画像に対して画像認識処理を行い、タッチ位置を示す座標データCoを出力する。
以下、液晶表示装置10における動作モードの切り替えについて説明する。液晶表示装置10は、消費電力を削減するために通常モードと待機モードを有し、待機モードでは回路の動作を停止させたり、回路の動作速度を遅くしたりする。具体的には、通常モードでは、パネル駆動回路16はすべての光センサ2から信号を読み出し、A/D変換器13はすべてのセンサ出力信号をデジタル値に変換し、認識処理部22は認識処理を行い、赤外バックライト19は点灯する。これに対して待機モードでは、パネル駆動回路16は一部の光センサ2から信号を読み出し、A/D変換器13は一部のセンサ出力信号をデジタル値に変換し、認識処理部22は動作を停止し、赤外バックライト19は消灯する。
上記モード制御を行うために、センサデータ処理回路14は、モード制御部24、間引き画像メモリ25、制御レジスタ26、および間引き画像比較部27を含んでいる。モード制御部24は、通常モードか待機モードかを判定するモード判定処理、通常モードにおいて回路の動作を制御する通常モード制御処理、および、待機モードにおいて回路の動作を制御する待機モード制御処理を行う。間引き画像メモリ25は、通常モードから待機モードに移行するときに、光センサ2から読み出した信号に基づく比較対象画像を記憶する画像記憶部として機能する。
制御レジスタ26は、モード制御部24の動作に必要な各種のパラメータを記憶している。具体的には、制御レジスタ26は、第1の閾値TH1、第2の閾値TH2、第1のタイマー値TM1、第2のタイマー値TM2、抽出範囲ERなどを記憶している。2個の閾値TH1、TH2および2個のタイマー値TM1、TM2はモード判定処理に使用され、抽出範囲ERは待機モード制御処理に使用される。制御レジスタ26に記憶されるパラメータは、ホストからホストI/F部23を経由して設定される。
間引き画像比較部27は、待機モード時において、間引き画像メモリ25に記憶された間引き画像と、スキャン画像生成部21から出力されるスキャン画像に基づき2フレーム分の間引き画像を平均化することにより生成した新たな間引き画像とを画素毎に比較し、画素値の差が制御レジスタ26に記憶された第1の閾値TH1以上である画素の個数Nを求める。また通常モードでは動作を停止する。この間引き画像比較部27の詳しい構成については後述する。
なお、本実施形態において間引き画像比較部27は、モード制御部24とは独立した構成要素として記載しているが、モード制御部24によって間引き画像比較部27の全ての動作が行われてもよく、間引き画像比較部27は広義のモード制御部に含まれるとも言える。このことは以下の各実施形態においても同様である。
このように間引き画像比較部27により求められた個数Nは、モード制御部24に与えられ、モード制御部24により待機モードを解除するか否かが判定される。このような判定動作を含むモード制御部24の動作について、図7を参照して詳しく説明する。
<1.2 モード制御部の動作>
図7は、モード制御部24の動作を示すフローチャートである。モード制御部24は、まず、制御レジスタ26に記憶された第1のタイマー値TM1を設定してタイマーを起動する(ステップS11)。次に、モード制御部24は、通常モード制御処理を行う(ステップS12)。ステップS12では、モード制御部24から出力される制御信号(図1に破線で示す信号)によって、認識処理部22は動作を開始し、パネル駆動回路16はすべての光センサ2から信号を読み出し、A/D変換器13はすべてのセンサ出力信号をデジタル値に変換し、赤外バックライト19は点灯する。
図7は、モード制御部24の動作を示すフローチャートである。モード制御部24は、まず、制御レジスタ26に記憶された第1のタイマー値TM1を設定してタイマーを起動する(ステップS11)。次に、モード制御部24は、通常モード制御処理を行う(ステップS12)。ステップS12では、モード制御部24から出力される制御信号(図1に破線で示す信号)によって、認識処理部22は動作を開始し、パネル駆動回路16はすべての光センサ2から信号を読み出し、A/D変換器13はすべてのセンサ出力信号をデジタル値に変換し、赤外バックライト19は点灯する。
次に、モード制御部24は、認識処理部22から座標データCoが出力されたか否かを調べる(ステップS13)。モード制御部24の処理は、座標データCoが出力されたときにはステップS14へ進み、座標データCoが出力されていないときにはステップS15へ進む。前者の場合、モード制御部24は、制御レジスタ26に記憶された第1のタイマー値TM1を設定してタイマーを再起動し(ステップS14)、ステップS13の処理へ進む。後者の場合、モード制御部24は、タイマーがタイムアウトしたか否かを調べる(ステップS15)。タイマーがタイムアウトしていないときには、モード制御部24の処理はステップS13へ進む。タイマーがタイムアウトしたときには、モード制御部24の処理は、通常モードから待機モードへ移行するために、ステップS21へ進む。
通常モードから待機モードに移行するときに、モード制御部24は、スキャン画像から画素値を間引いた画像(以下、間引き画像という)を生成し、間引き画像を間引き画像メモリ25に書き込む(ステップS21)。次に、モード制御部24は、待機モード制御処理を行う(ステップS22)。ステップS22では、モード制御部24から出力される制御信号によって、認識処理部22は動作を停止し、パネル駆動回路16は一部の光センサ2から信号を読み出し、A/D変換器13は一部のセンサ出力信号をデジタル値に変換し、赤外バックライト19は消灯する。
より詳細には、モード制御部24から出力される制御信号には、通常モードか待機モードかを示すモード制御信号が含まれている。図2に示すように、液晶パネル11に供給されたモード制御信号MCは、センサ行駆動回路33と出力制御回路35に入力される。待機モードのセンサ動作期間では、センサ行駆動回路33は、センサ読み出し線RW1〜RWmとセンサリセット線RS1〜RSmのうち、一部の信号線のみを1組ずつ順に選択する。このとき出力制御回路35は、一部のセンサ出力アンプ34のみからセンサ出力信号SS1〜SSpが出力されるように制御する。また、A/D変換器13は、一部の光センサ2から読み出した信号をデジタル信号に変換する。
モード制御部24は、ステップS22において、制御レジスタ26に記憶された抽出範囲ERに基づき、処理範囲を示す制御信号を出力してもよい。例えば、制御レジスタ26に記憶された抽出範囲ERが表示画面の下半分を示すときには、モード制御部24は、パネル駆動回路16とA/D変換器13に対して、表示画面の下半分を処理すべきことを示す制御信号を出力する。パネル駆動回路16は、この制御信号に基づき、画素アレイ17の下半分に配置された光センサ2から信号を読み出す。A/D変換器13は、このときに光センサ2から読み出した信号をデジタル信号に変換する。
このようにパネル駆動回路16は、モード制御部24による判定結果に従い、待機モードでは通常モードよりも少ない量の信号を光センサ2から読み出す。また、A/D変換器13は、モード制御部24による判定結果に従い、待機モードでは通常モードよりも少ない頻度でデジタル値への変換を行う。この結果、待機モードでは、スキャン画像生成部21からは、通常モードに出力されるスキャン画像から画素値を間引いた間引き画像が繰り返し出力される。なお、待機モードで出力される間引き画像は、ステップS21で生成される間引き画像と同じ光センサ2から読み出した信号に基づくものとする。
次に、モード制御部24は、間引き画像メモリ25に記憶された間引き画像と、2フレーム分の間引き画像を平均化することにより生成した新たな間引き画像との画素値の差が制御レジスタ26に記憶された第1の閾値TH1以上である画素の個数Nを、間引き画像比較部27から受け取る(ステップS23)。このような画素の個数Nを算出するための間引き画像比較部27の詳しい構成については後述する。
続いてモード制御部24は、ステップS23で求めた個数Nと制御レジスタ26に記憶された第2の閾値TH2とを比較する(ステップS24)。モード制御部24の処理は、N≧TH2のときにはステップS25へ進み、N<TH2のときにはステップS23へ進む。前者の場合、モード制御部24は、制御レジスタ26に記憶された第2のタイマー値TM2を設定してタイマーを起動し(ステップS25)、待機モードから通常モードへ移行するために、ステップS12の処理へ進む。ただし、第2のタイマー値TM2は、第1のタイマー値TM1よりも小さいものとする。
このようにモード制御部24は、座標データCoが出力されない状態が所定時間続いたときに(第1のタイマー値TM1だけ時間が経過したときに)、通常モードから待機モードに移行する。また、モード制御部24は、新たに供給された間引き画像が間引き画像メモリ25に記憶された間引き画像(通常モードから待機モードに移行するときに記憶された間引き画像)から所定以上変化したときに、待機モードから通常モードに遷移する。また、モード制御部24は、待機モードから通常モードに移行した直後では、以前から通常モードであるときに比べて、より短い時間だけ座標データCoが出力されない状態が続いたときに(第2のタイマー値TM2だけ時間が経過したときに)、通常モードから待機モードに移行する。次に、間引き画像比較部27の詳しい構成および動作について図8を参照して説明する。
<1.3 間引き画像比較部の構成および動作>
図8は、間引き画像比較部の詳細な構成を示すブロック図である。図8に示す間引き画像比較部27は、前述したように待機モード時のみに動作するものであって、フレームメモリ271、平均化処理部272、画素数算出部273、およびフレーム管理部274を含んでいる。
図8は、間引き画像比較部の詳細な構成を示すブロック図である。図8に示す間引き画像比較部27は、前述したように待機モード時のみに動作するものであって、フレームメモリ271、平均化処理部272、画素数算出部273、およびフレーム管理部274を含んでいる。
フレームメモリ271は、前述したように待機モードにおいてスキャン画像生成部21から出力される新たな間引き画像を1フレーム分記憶し、記憶した画像を次のフレームにおいて平均化処理部272に与える。
平均化処理部272は、スキャン画像生成部21から出力される新たな間引き画像と、フレームメモリ271から与えられる1フレーム前の間引き画像とを、画素毎に平均化する処理を行う。この処理は、具体的には間引き画像を構成する各画素の画素値に対応する光センサ2から読み出した検出値を2フレーム分で平均化するものである。平均化された画素値は画素数算出部273に与えられる。なおここでは説明の便宜のため、連続する2フレームの間引き画像を一括して平均化するように記載しているが、画素毎に平均値を算出し当該平均値を画素毎に出力する構成であってもよい。
フレーム管理部274は、外部から与えられる信号に表示データD1とともに含まれる(各フレームの開始時点を示すパルスを含む)図3に示す垂直同期信号Vsyncに基づき、待機モードにおける最初のフレームを検出し、当該最初のフレームの開始時点から当該フレームの終了時点までの間、キャンセル信号Scを画素数算出部273に与える。このキャンセル信号Scは、誤検出を防ぐために、画素数算出部273による後述する画素数検出動作を無効化する(具体的にはN=0を出力させる)ものである。
すなわち、待機モードにおける最初のフレームに含まれる間引き画像は、平均化処理部272において比較されるべき新たな間引き画像であるが、当該時点においてフレームメモリ271に記憶されている間引き画像は、前回の待機モードが終了する直前に記憶された無関係な間引き画像である。よって、このフレームメモリ271に記憶されている間引き画像が上記計算に使用されると、誤検出を生じる可能性が高い。よって、この誤検出の発生は上記キャンセル信号Scによって防止される。なお、フレーム管理部274によって各フレームの開始時点を検出することにより、フレームメモリ271や平均化処理部272の処理タイミングを制御してもよい。
画素数算出部273は、間引き画像メモリ25から受け取った、通常モードから待機モードに移行するときに記憶される間引き画像と、平均化処理部272から受け取った、2フレーム分の画素値が平均化された新たな間引き画像との画素値の差が、制御レジスタ26に記憶された第1の閾値TH1以上である画素の個数Nを算出し、この個数Nをモード制御部24へ出力する。ただし、この計算処理は、フレーム管理部274からのキャンセル信号Scが受け付けられている間、すなわち待機モードにおける最初のフレームに含まれる間引き画像が上記計算の対象となっている間はキャンセルされ、モード制御部24へN=0が出力される。なおここでも説明の便宜のため、2つの間引き画像を一括して計算対象とするように記載しているが、画素毎に上記差を算出し当該差が第1の閾値TH1以上である画素を順に計数することにより、個数Nを算出する構成であってもよい。
このように、平均化処理部272によって2フレーム分の画素値を平均化することにより、同一の光量が与えられる場合であっても偶数番目のフレームと奇数番目のフレームとで異なることがある光センサ2で検知された光量に相当する画素値を平均化することができる。その結果、前述した電位変動によるノイズが当該画素値に含まれている場合、偶数番目または奇数番目のいずれかのフレームにおける画素値だけでは第1の閾値TH1以上となる場合であっても、平均化されることによって第1の閾値TH1未満にすることができるので、上記ノイズによる誤検知を抑制または解消することができる。特に、本実施形態のようにフレーム毎に液晶への印加電圧の極性を反転する駆動を行う場合には、上記平均化処理によって、上記電位変動分を完全にまたは大きく相殺することができ、上記ノイズによる誤検知を大きく抑制または解消することができる。また、或る1つのフレームに対応する画素値のみが何らかの突発的なノイズによる影響を受ける場合であっても、上記平均化処理によって当該ノイズによる影響を緩和することができる。
なお、上記構成は、連続する2フレーム分の画素値を平均化することができる構成であれば種々の変形が可能であり、また2フレーム分以上の画素値を平均化する構成であってもよい。例えば、平均化した画素値をフレームメモリ271に再度書き戻す(上書きする)ことにより、直前までのフレームにおける間引き画像の画素値の平均値と、今回(現在)のフレームにおける間引き画像の画素値とを(例えば所定の重み付けで)平均化する構成であってもよい。
このように、本実施形態では、間引き画像メモリ25に間引き画像が記憶される時点(通常モードから待機モードに移行する時点)のフレームを第1番目のフレームとするとき、少なくとも第3番目のフレームを含む奇数番目のフレームの画素値を(平均化処理において)考慮することにより、上記ノイズによる影響を抑制または解消することができる。なお、2フレームまたはそれ以上のフレームからなる単位期間毎に液晶への印加電圧の極性を反転する駆動を行う場合には、上記奇数番目のフレームを上記奇数番目の単位期間に置き換えれば、同様に上記ノイズによる影響を抑制または解消することができ、この点は以下の各実施形態においても同様である。
<1.4 効果>
以下、本実施形態に係る液晶表示装置10の効果を説明する。本実施形態に係る液晶表示装置10は、センサ内蔵液晶パネル11と、パネル駆動回路16と、認識処理部22と、モード制御部24と、間引き画像メモリ25とを備えている。モード制御部24は、通常モードか待機モードかを判定し、通常モードでは認識処理部22を動作させ、待機モードでは認識処理部22の動作を停止させる。間引き画像メモリ25は、通常モードから待機モードに移行するときに間引き画像を記憶し、モード制御部24は、新たに供給された間引き画像が間引き画像メモリ25に記憶された間引き画像から所定以上変化したときに、待機モードから通常モードに移行する。特に、モード制御部24は、間引き画像メモリ25に記憶された間引き画像と新たに供給された間引き画像に基づく平均化された間引き画像とを画素ごとに比較し、画素値の差が第1の閾値TH1以上である画素の個数が第2の閾値TH2以上であるときに、待機モードから通常モードに移行する。
以下、本実施形態に係る液晶表示装置10の効果を説明する。本実施形態に係る液晶表示装置10は、センサ内蔵液晶パネル11と、パネル駆動回路16と、認識処理部22と、モード制御部24と、間引き画像メモリ25とを備えている。モード制御部24は、通常モードか待機モードかを判定し、通常モードでは認識処理部22を動作させ、待機モードでは認識処理部22の動作を停止させる。間引き画像メモリ25は、通常モードから待機モードに移行するときに間引き画像を記憶し、モード制御部24は、新たに供給された間引き画像が間引き画像メモリ25に記憶された間引き画像から所定以上変化したときに、待機モードから通常モードに移行する。特に、モード制御部24は、間引き画像メモリ25に記憶された間引き画像と新たに供給された間引き画像に基づく平均化された間引き画像とを画素ごとに比較し、画素値の差が第1の閾値TH1以上である画素の個数が第2の閾値TH2以上であるときに、待機モードから通常モードに移行する。
このように通常モードか待機モードかを判定し、待機モードでは認識処理部22の動作を停止させることにより、液晶表示装置10の消費電力を削減することができる。また、間引き画像が待機モードに移行したときから所定以上変化したときに通常モードに移行することにより、対象物が画面に接触する前に通常モードに移行することができる。したがって、速やかに待機モードを脱出してタッチ位置を素早く検出することができる。さらに、2フレーム分の間引き画像を平均化して比較することにより、偶数番目のフレームおよび奇数番目のフレームで、生じるべき前述した電位変動によるノイズが平均化され、上記ノイズによる誤検知を抑制または解消することができる。
さらに、間引き画像は、スキャン画像よりも少ない画素数を有する。このような間引き画像を用いてモード判定処理を行うことにより、モード判定処理に必要なメモリ量と計算量を減らすことができる。さらにまた、間引き画像は、スキャン画像から画素値を間引いた画像である。このような間引き画像は、容易に生成することができる。
以上に示すように、本発明の光センサ付き表示装置によれば、待機モードでは回路の動作を停止させたり、回路の動作速度を遅くしたりして消費電力を削減しながら、上記平均化処理で上記ノイズによる誤検知を抑制または解消することにより、必要なときには正確かつ速やかに待機モードを脱出してタッチ位置を素早く検出することができる。
<2. 第2の実施形態>
<2.1 全体的な構成および動作>
本発明の第2の実施形態に係る液晶表示装置の全体的な構成は、図1に示す第1の実施形態とほぼ同様であるので、同一の構成要素には同一の符号を付してその説明を省略する。また、その動作、特にモード制御部24の動作も図7に示す第1の実施形態の場合とほぼ同様であるので、その説明を省略する。
<2.1 全体的な構成および動作>
本発明の第2の実施形態に係る液晶表示装置の全体的な構成は、図1に示す第1の実施形態とほぼ同様であるので、同一の構成要素には同一の符号を付してその説明を省略する。また、その動作、特にモード制御部24の動作も図7に示す第1の実施形態の場合とほぼ同様であるので、その説明を省略する。
本実施形態における間引き画像比較部27は、第1の実施形態における場合とは、偶数番目および奇数番目のフレームでの画素値の平均化処理は行わず、間引き画像メモリ25に記憶される間引き画像に対応するフレームが偶数番目であるかまたは奇数番目であるかに合わせて画素数Nを算出する点が異なる。以下、この間引き画像比較部27の詳細な構成および動作について、図9を参照して説明する。
<2.2 間引き画像比較部の構成および動作>
図9は、間引き画像比較部の詳細な構成を示すブロック図である。図9に示す間引き画像比較部27は、第1の実施形態において前述したように待機モード時のみに動作するものであって、画素数算出部273およびフレーム管理部275を含んでいる。
図9は、間引き画像比較部の詳細な構成を示すブロック図である。図9に示す間引き画像比較部27は、第1の実施形態において前述したように待機モード時のみに動作するものであって、画素数算出部273およびフレーム管理部275を含んでいる。
フレーム管理部275は、第1の実施形態におけるフレーム管理部274と同様に、外部から与えられる信号に表示データD1とともに含まれる(各フレームの開始時点を示すパルスを含む)垂直同期信号Vsyncに基づき、待機モードにおける最初のフレームを検出し、当該最初のフレームの開始時点から次のフレーム(2番目のフレーム)の終了時点までの間、キャンセル信号Scを画素数算出部273に与える。その後、4番目、6番目、とそれ以降偶数番目のフレームの開始時点から終了時点までの間、キャンセル信号Scを画素数算出部273に与える。なお、このような動作は2番目のフレーム以降、1フレーム分の間を空けて、次の1フレーム分の間キャンセル信号Scを画素数算出部273に与えることを繰り返すことにより容易に実現することができる。
このキャンセル信号Scは、第1の実施形態の場合と同様、最初のフレームが画素数算出部273における上記計算に使用されることを防止するものであるとともに、最初のフレームを第1番目のフレームとするときの偶数番目のフレームについても上記計算に使用されることを防止するものである。なおここでの偶数番目のフレームは表示データD1におけるフレーム構成とは無関係である。このように偶数番目のフレームを計算に使用しないのは、以下の理由による。すなわちフレーム毎に液晶への印加電圧の極性を反転する駆動が行われる結果、偶数番目または奇数番目のフレーム毎に上記ノイズの原因となる(前述の寄生容量を介した)電位変動は逆方向に生じる。その結果、上記変動分を含むノイズは、光センサ2で検知された光量に相当する画素値に対して、同じ偶数番目のフレーム同士または同じ奇数番目のフレーム同士では(表示画像が変化しない場合)それぞれほぼ同様の影響を与えるが、偶数番目と奇数番目との組み合わせとなる異なるフレーム同士では異なる影響を与えるので、異なるフレーム同士を(間引き画像比較部27において)比較すると上記ノイズの影響が大きくなる。したがって、最初のフレームを奇数番目のフレームとし、偶数番目のフレームを上記計算に使用しないことにより、上記ノイズの影響を小さくすることができるので、上記ノイズによる誤検出を防ぐことができる。
画素数算出部273は、間引き画像メモリ25から受け取った、通常モードから待機モードに移行するときに記憶される間引き画像と、スキャン画像生成部21から受け取った新たな間引き画像との画素値の差が、制御レジスタ26に記憶された第1の閾値TH1以上である画素の個数Nを算出し、この個数Nをモード制御部24へ出力する。ただし、この計算処理は、フレーム管理部274からのキャンセル信号Scが受け付けられている間、すなわち待機モードにおける最初のフレームに含まれる間引き画像が上記計算の対象となっている間、および偶数番目のフレームに含まれる間引き画像が上記計算の対象となっている間はキャンセルされ、モード制御部24へN=0が出力される。
このように、フレーム管理部275によって、間引き画像メモリ25に記憶される間引き画像が取得されたフレームと異なるフレーム(ここでは偶数番目のフレーム)において生成される新たな間引き画像を、画素数算出部273における上記計算の対象としないことにより、前述した電位変動によるノイズの影響を小さくすることができるので、上記ノイズによる誤検知を抑制または解消することができる。
<2.3 効果>
以上に示すように、本発明の光センサ付き表示装置によれば、待機モードでは回路の動作を停止させたり、回路の動作速度を遅くしたりして消費電力を削減しながら、上記計算の対象とする新たな間引き画像を、間引き画像メモリ25に記憶される間引き画像が取得されたフレームと同じ奇数番目のフレームに限定することにより、より簡単な構成で上記ノイズによる誤検知を抑制または解消することができ、必要なときには正確かつ速やかに待機モードを脱出してタッチ位置を素早く検出することができる。
以上に示すように、本発明の光センサ付き表示装置によれば、待機モードでは回路の動作を停止させたり、回路の動作速度を遅くしたりして消費電力を削減しながら、上記計算の対象とする新たな間引き画像を、間引き画像メモリ25に記憶される間引き画像が取得されたフレームと同じ奇数番目のフレームに限定することにより、より簡単な構成で上記ノイズによる誤検知を抑制または解消することができ、必要なときには正確かつ速やかに待機モードを脱出してタッチ位置を素早く検出することができる。
<3. 第3の実施形態>
<3.1 全体的な構成および動作>
図10は、第3の実施形態に係る液晶表示装置の構成を示すブロック図である。この図10に示す本液晶表示装置の全体的な構成は、A/D変換器130、間引き画像比較部28、間引き画像メモリ29、およびモード制御部24を除き、図1に示す第1の実施形態とほぼ同様であるので、同一の構成要素には同一の符号を付してその説明を省略する。
<3.1 全体的な構成および動作>
図10は、第3の実施形態に係る液晶表示装置の構成を示すブロック図である。この図10に示す本液晶表示装置の全体的な構成は、A/D変換器130、間引き画像比較部28、間引き画像メモリ29、およびモード制御部24を除き、図1に示す第1の実施形態とほぼ同様であるので、同一の構成要素には同一の符号を付してその説明を省略する。
図10に示すA/D変換器130は、周知の(駆動回路チップなどに搭載される)フレーム識別ビット付与機能を有しており、第1の実施形態のA/D変換器13と同様に、光センサ2からのアナログのセンサ出力信号をデジタル信号に変換するとともに、当該出力デジタル信号に現フレームが偶数番目のフレームか奇数番目のフレームかを識別するためのフレーム識別ビットを付与する。なお、フレーム識別ビットは、A/D変換器とは異なる回路により付与されてもよい。このフレーム識別ビットが付与されたデジタル信号Dsはセンサデータ処理回路14のスキャン画像生成部21および間引き画像比較部28に与えられる。
また図10に示す間引き画像メモリ29は、第1および第2の実施形態における間引き画像メモリ29と同様、通常モードから待機モードに移行するときに、光センサ2から読み出した信号に基づく比較対象画像を記憶するとともに、次のフレームにおける光センサ2から読み出した信号に基づく比較対象画像を記憶する。これら記憶された比較対象画像は間引き画像比較部28に与えられる。この間引き画像比較部28の動作については後述するものとし、まずモード制御部24の動作について図11を参照して説明する。
<3.2 モード制御部の動作>
図11は、モード制御部24の動作を示すフローチャートである。この図11に示すステップS11〜S24、S25の処理内容は、前述した第1の実施形態における図7に示す処理内容と同じであるので、同一の番号を付してその説明を省略する。本実施形態では、この第1の実施形態の場合とは異なって、ステップS24における処理とステップS25における処理との間に、新たにステップS33、S34の処理を行っている。また、ステップS23、S24における処理は同一であるが、第1の実施形態の場合とは異なる機能を有している。以下、これらを含む処理の流れについて説明する。
図11は、モード制御部24の動作を示すフローチャートである。この図11に示すステップS11〜S24、S25の処理内容は、前述した第1の実施形態における図7に示す処理内容と同じであるので、同一の番号を付してその説明を省略する。本実施形態では、この第1の実施形態の場合とは異なって、ステップS24における処理とステップS25における処理との間に、新たにステップS33、S34の処理を行っている。また、ステップS23、S24における処理は同一であるが、第1の実施形態の場合とは異なる機能を有している。以下、これらを含む処理の流れについて説明する。
前述したように待機モード処理が行われた後(S22)、モード制御部24は、間引き画像メモリ29に記憶された間引き画像と新たな間引き画像との画素値の差が制御レジスタ26に記憶された第1の閾値TH1以上である画素の個数Nを、間引き画像比較部28から受け取る(ステップS23)。この処理内容は第1の実施形態と同一であるが、間引き画像比較部28において行われた計算は、間引き画像メモリ29に記憶された2つの間引き画像のうち、現フレームが偶数番目であるか奇数番目であるかの種別(以下「偶奇の種別」と称する)を合わせた間引き画像と新たな間引き画像との画素値の差を求めるものである。この間引き画像比較部28の動作については後述する。
続いてモード制御部24は、ステップS23で求めた個数Nと制御レジスタ26に記憶された第2の閾値TH2とを比較する(ステップS24)。モード制御部24の処理は、N≧TH2のときにはステップS33へ進み、N<TH2のときにはステップS23へ進む。
次にモード制御部24は、次のフレームにおいてステップS23と同一の処理、すなわち間引き画像メモリ29に記憶された間引き画像と新たな間引き画像との画素値の差が制御レジスタ26に記憶された第1の閾値TH1以上である画素の個数Nを、間引き画像比較部28から受け取る(ステップS33)。ここでの間引き画像比較部28において行われた計算も前述と同様、間引き画像メモリ29に記憶された2つの間引き画像のうち、現フレームの偶奇の種別を合わせた間引き画像と新たな間引き画像との画素値の差を求めるものであるが、ステップS23における場合とは現フレームの偶奇の種別が異なっている。
続いてモード制御部24は、ステップS33で求めた個数Nと制御レジスタ26に記憶された第2の閾値TH2とを比較する(ステップS34)。モード制御部24の処理は、N≧TH2のときにはステップS25へ進み、N<TH2のときにはステップS23へ進む。ステップS25における処理およびそれ以降の処理の流れは第1の実施形態の場合と同一である。
このようにモード制御部24は、(或るフレームにおいて)新たに供給された間引き画像が間引き画像メモリ25に記憶された間引き画像(通常モードから待機モードに移行するときに記憶された間引き画像)から所定以上変化したときに、待機モードから通常モードに直ちに遷移するのではなく、その次のフレームについても同様に新たに供給された間引き画像が間引き画像メモリ25に記憶された(偶奇の種別を合わせた)間引き画像から所定以上変化したときに、待機モードから通常モードに遷移する。
ここで本実施形態における間引き画像比較部28は、第2の実施形態における場合とは、間引き画像メモリ25に記憶される間引き画像に対応するフレームが偶数番目である場合と奇数番目である場合とに分けてそれぞれ画素数Nを算出する点が異なる。以下、この間引き画像比較部28の詳細な構成および動作について、図12を参照して説明する。
<3.3 間引き画像比較部の構成および動作>
図12は、間引き画像比較部の詳細な構成を示すブロック図である。図12に示す間引き画像比較部28は、第1および第2の実施形態において前述したように待機モード時のみに動作するものであって、画素数算出部283およびフレーム識別ビット抽出部285を含んでいる。
図12は、間引き画像比較部の詳細な構成を示すブロック図である。図12に示す間引き画像比較部28は、第1および第2の実施形態において前述したように待機モード時のみに動作するものであって、画素数算出部283およびフレーム識別ビット抽出部285を含んでいる。
フレーム識別ビット抽出部285は、図10に示すA/D変換器130からデジタル信号Dsを受け取り、当該信号に付与されているフレーム識別ビットを抽出し、現フレームが偶数番目のフレームか奇数番目のフレームかを識別する。識別された偶奇の種別は偶奇種別信号Seoとして画素数算出部283に与えられる。
なお、第1または第2の実施形態におけるフレーム管理部274、275は、現フレームに対応する新たな間引き画像の偶奇の種別を判定することにより待機モードに移行する最初のフレームの偶奇の種別を判定してもよいので、これらの機能の一部をフレーム識別ビット抽出部285の機能に置き換えることも可能である。
画素数算出部283は、間引き画像メモリ29から受け取った、通常モードから待機モードに移行するときに記憶される間引き画像およびその次のフレームにおいて記憶される間引き画像のうち、偶奇種別信号Seoに基づき(現フレームに)偶奇の種別を合わせた間引き画像と、スキャン画像生成部21から受け取った新たな間引き画像との画素値の差が、制御レジスタ26に記憶された第1の閾値TH1以上である画素の個数Nを算出し、この個数Nをモード制御部24へ出力する。ただし、この計算処理は、待機モードにおける最初のフレームに含まれる間引き画像が上記計算の対象となっている間、および偶数番目のフレームに含まれる間引き画像が上記計算の対象となっている間はキャンセルされ、モード制御部24へN=0が出力される。なおキャンセル動作は、第1または第2の実施形態におけるフレーム管理部274、275におけるキャンセル信号Scと同様の機能を含み、同様の作用を有するためその説明は省略する。
このように、フレーム管理部275によって、間引き画像メモリ25に記憶される間引き画像が取得されたフレームとは偶奇が異なるフレームにおいて生成される新たな間引き画像を、画素数算出部283における上記計算の対象としないことにより、前述した電位変動によるノイズの影響を小さくすることができるので、上記ノイズによる誤検知を抑制または解消することができる。また、偶数番目のフレームと奇数番目のフレームとでそれぞれ上記計算を行い、その双方の間引き画像が共に所定以上変化したときに、待機モードから通常モードに遷移するので、検出を正確にして誤検知をさらに確実に抑制または解消することができる。
もっとも、偶数番目のフレームと奇数番目のフレームとのいずれかのみで上記計算を行い、その一方の間引き画像が所定以上変化したときに、待機モードから通常モードに遷移するように構成してもよい。そうすれば、速やかに待機モードを脱出でき、間引き画像メモリ29を小さくすることができ、かつ処理を簡単にすることができる。
<3.4 効果>
以上に示すように、本発明の光センサ付き表示装置によれば、待機モードでは回路の動作を停止させたり、回路の動作速度を遅くしたりして消費電力を削減しながら、上記計算の対象とする新たな間引き画像の偶奇の種別を、間引き画像メモリ25に記憶される間引き画像が取得されたフレームと合わせて計算することにより、上記ノイズによる誤検知を確実に抑制または解消することにより、必要なときには正確かつ速やかに待機モードを脱出してタッチ位置を素早く検出することができる。
以上に示すように、本発明の光センサ付き表示装置によれば、待機モードでは回路の動作を停止させたり、回路の動作速度を遅くしたりして消費電力を削減しながら、上記計算の対象とする新たな間引き画像の偶奇の種別を、間引き画像メモリ25に記憶される間引き画像が取得されたフレームと合わせて計算することにより、上記ノイズによる誤検知を確実に抑制または解消することにより、必要なときには正確かつ速やかに待機モードを脱出してタッチ位置を素早く検出することができる。
<4. 変形例>
上記各実施形態に係る液晶表示装置については、待機モードに移行するときに記憶される画像を第1番目として、続く奇数番目のフレームを比較対象のための画像とするものであれば、各種の変形例を構成することができる。このような構成であれば、同一の光量が検知される場合に偶数番目のフレームと奇数番目のフレームとで節点Pの電位に対応する光量の検出量が異なることがあっても、誤判定を抑制することができる。
上記各実施形態に係る液晶表示装置については、待機モードに移行するときに記憶される画像を第1番目として、続く奇数番目のフレームを比較対象のための画像とするものであれば、各種の変形例を構成することができる。このような構成であれば、同一の光量が検知される場合に偶数番目のフレームと奇数番目のフレームとで節点Pの電位に対応する光量の検出量が異なることがあっても、誤判定を抑制することができる。
なお、本発明の液晶表示装置は、ホストから入力された信号に応じて通常モードから待機モードに(あるいは逆方向に)移行する機能を有していてもよい。また、間引き画像メモリ25に記憶される間引き画像は、通常モードから待機モードに移行するときに記憶される画像であれば、通常モードの最後に生成される画像でもよく、待機モードの先頭で生成される画像でもよい。
本発明は、表示パネルに複数の光センサを設けた画像表示装置に適用されるものであって、通常モードと消費電力低減のための待機モードとが適宜切り替えられる液晶表示装置などの画像表示装置に適している。
1…画素回路
2…光センサ
10…液晶表示装置
11…センサ内蔵液晶パネル
12…表示データ処理回路
13、130…A/D変換器
14…センサデータ処理回路
15…バックライト
16…パネル駆動回路
17…画素アレイ
18…白色バックライト
19…赤外バックライト
21…スキャン画像生成部
22…認識処理部
23…ホストI/F部
24…モード制御部
25、29…間引き画像メモリ
26…制御レジスタ
27、28…間引き画像比較部
271…フレームメモリ
272…平均化処理部
273…画素数算出部
274、275、283…フレーム管理部
285…フレーム識別ビット抽出部
2…光センサ
10…液晶表示装置
11…センサ内蔵液晶パネル
12…表示データ処理回路
13、130…A/D変換器
14…センサデータ処理回路
15…バックライト
16…パネル駆動回路
17…画素アレイ
18…白色バックライト
19…赤外バックライト
21…スキャン画像生成部
22…認識処理部
23…ホストI/F部
24…モード制御部
25、29…間引き画像メモリ
26…制御レジスタ
27、28…間引き画像比較部
271…フレームメモリ
272…平均化処理部
273…画素数算出部
274、275、283…フレーム管理部
285…フレーム識別ビット抽出部
Claims (11)
- 複数の光センサを備えた表示装置であって、
2次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、
少なくとも1つの単位期間毎に与えられる表示データに応じた信号を前記画素回路に書き込む動作と、受光量に応じた信号を前記光センサから読み出す動作とを行う駆動回路と、
前記光センサから読み出した信号に基づく認識対象画像に対して認識処理を行い、検知対象物の位置を示す座標データを出力する認識処理部と、
通常モードか待機モードかを判定し、通常モードでは前記認識処理部を動作させ、待機モードでは前記認識処理部の動作を停止させるモード制御部と、
通常モードから待機モードに移行するときに、前記光センサから読み出した信号に基づく第1の比較対象画像を記憶する画像記憶部とを備え、
前記モード制御部は、前記第1の比較対象画像が記憶される時点での単位期間を第1番目の単位期間とするとき、続く奇数番目の単位期間の少なくとも1つにおいて前記光センサから読み出した信号に基づく第2の比較対象画像が、前記第1の比較対象画像から所定以上変化したときに、待機モードから通常モードに移行することを特徴とする、表示装置。 - 前記モード制御部は、前記第2の比較対象画像を、前記奇数番目の単位期間の少なくとも1つと、偶数番目の単位期間の少なくとも1つとにおいてそれぞれ前記光センサから読み出した信号に基づく2つ以上の画像を平均化することにより得ることを特徴とする、請求項1に記載の表示装置。
- 前記モード制御部は、連続する2つの単位期間においてそれぞれ前記光センサから読み出した信号に基づく2つの画像を平均化することにより、前記第2の比較対象画像を得ることを特徴とする、請求項2に記載の表示装置。
- 前記モード制御部は、前記奇数番目の単位期間において前記光センサから読み出した信号に基づく画像を前記第2の比較対象画像とし、前記奇数番目の単位期間毎に、前記第1の比較対象画像から前記第2の比較対象画像が変化したか否かを判定することを特徴とする、請求項1に記載の表示装置。
- 前記画像記憶部は、前記第1番目の単位期間に続く第2番目の単位期間において、前記光センサから読み出した信号に基づく第3の比較対象画像をさらに記憶し、
前記モード制御部は、偶数番目の単位期間において前記光センサから読み出した信号に基づく画像を第4の比較対象画像とし、前記第4の比較対象画像が前記第3の比較対象画像から所定以上変化し、かつ前記第2の比較対象画像が前記第1の比較対象画像から所定以上変化したと判定される場合に待機モードから通常モードに移行することを特徴とする、請求項4に記載の表示装置。 - 前記駆動回路は、前記単位期間が偶数番目であるか奇数番目であるかを示す識別ビットを出力し、
前記モード制御部は、前記駆動回路から出力される識別ビットに基づき、前記光センサから読み出した信号に基づく画像が奇数番目の単位期間におけるものであるか否かを識別することを特徴とする、請求項1に記載の表示装置。 - 前記モード制御部は、前記第1の比較対象画像と前記第2の比較対象画像とを画素毎に比較し、当該画素値の差が第1の閾値以上である画素の個数が第2の閾値以上であるときに、待機モードから通常モードに移行することを特徴とする、請求項1に記載の表示装置。
- 前記比較対象画像は、前記認識対象画像よりも少ない画素数を有することを特徴とする、請求項1に記載の表示装置。
- 前記比較対象画像は、前記認識対象画像から画素値を間引いた画像であることを特徴とする、請求項8に記載の表示装置。
- 前記駆動回路は、前記モード制御部による判定結果に従い、待機モードでは通常モードよりも少ない量の信号を前記光センサから読み出すことを特徴とする、請求項1に記載の表示装置。
- 2次元状に配置された複数の画素回路および複数の光センサを含む表示パネルと、前記光センサから読み出した信号に基づく認識対象画像に対して認識処理を行い、検知対象物の位置を示す座標データを出力する認識処理部とを備えた表示装置の制御方法であって、
表示データに応じた信号を前記画素回路に書き込むステップと、
受光量に応じた信号を前記光センサから読み出すステップと、
通常モードか待機モードかを判定するステップと、
通常モードでは前記認識処理部を動作させ、待機モードでは前記認識処理部の動作を停止させるステップと、
通常モードから待機モードに移行するときに、前記光センサから読み出した信号に基づく第1の比較対象画像を記憶するステップとを備え、
前記判定するステップでは、前記第1の比較対象画像が記憶される時点での単位期間を第1番目の単位期間とするとき、続く奇数番目の単位期間の少なくとも1つにおいて前記光センサから読み出した信号に基づく第2の比較対象画像が、前記第1の比較対象画像から所定以上変化したときに、待機モードから通常モードに移行することを特徴とする、表示装置の制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011547399A JP5232924B2 (ja) | 2009-12-25 | 2010-11-15 | 表示装置及び表示装置の制御方法 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009294923 | 2009-12-25 | ||
JP2009294923 | 2009-12-25 | ||
JP2011547399A JP5232924B2 (ja) | 2009-12-25 | 2010-11-15 | 表示装置及び表示装置の制御方法 |
PCT/JP2010/070272 WO2011077855A1 (ja) | 2009-12-25 | 2010-11-15 | 光センサ付き表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2011077855A1 JPWO2011077855A1 (ja) | 2013-05-02 |
JP5232924B2 true JP5232924B2 (ja) | 2013-07-10 |
Family
ID=44195398
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011547399A Active JP5232924B2 (ja) | 2009-12-25 | 2010-11-15 | 表示装置及び表示装置の制御方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US9235291B2 (ja) |
EP (1) | EP2518716A4 (ja) |
JP (1) | JP5232924B2 (ja) |
WO (1) | WO2011077855A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101353284B1 (ko) | 2012-04-25 | 2014-01-21 | 엘지디스플레이 주식회사 | 액정 디스플레이 장치와 이의 제조방법 |
KR101496924B1 (ko) * | 2013-07-08 | 2015-03-04 | 주식회사 레이언스 | 이미지센서와 그 구동방법 |
KR20150055698A (ko) * | 2013-11-14 | 2015-05-22 | 삼성디스플레이 주식회사 | 표시 장치의 구동 방법 및 이를 수행하기 위한 표시 장치 |
US9726922B1 (en) * | 2013-12-20 | 2017-08-08 | Apple Inc. | Reducing display noise in an electronic device |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006201763A (ja) * | 2004-12-23 | 2006-08-03 | Samsung Electronics Co Ltd | 表示装置、その駆動方法及び表示装置用駆動装置 |
JP2006243927A (ja) * | 2005-03-01 | 2006-09-14 | Toshiba Matsushita Display Technology Co Ltd | 表示装置 |
WO2010150572A1 (ja) * | 2009-06-24 | 2010-12-29 | シャープ株式会社 | 光センサ付き表示装置 |
JP2011003071A (ja) * | 2009-06-19 | 2011-01-06 | Seiko Instruments Inc | 近接検出装置および近接検出方法 |
JP2011107829A (ja) * | 2009-11-13 | 2011-06-02 | Sharp Corp | センサ装置、及び画像処理システム |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002062983A (ja) * | 2000-08-21 | 2002-02-28 | Hitachi Ltd | ポインティングデバイス |
US6795056B2 (en) * | 2001-07-24 | 2004-09-21 | Agilent Technologies, Inc. | System and method for reducing power consumption in an optical screen pointing device |
JP4405766B2 (ja) * | 2003-08-07 | 2010-01-27 | キヤノン株式会社 | 座標入力装置、座標入力方法 |
US7800594B2 (en) | 2005-02-03 | 2010-09-21 | Toshiba Matsushita Display Technology Co., Ltd. | Display device including function to input information from screen by light |
KR101171185B1 (ko) * | 2005-09-21 | 2012-08-06 | 삼성전자주식회사 | 접촉 감지 기능이 있는 표시 장치, 그 구동 장치 및 방법 |
US8638317B2 (en) * | 2007-03-16 | 2014-01-28 | Japan Display West Inc. | Display apparatus and method for controlling the same |
KR20090089254A (ko) * | 2008-02-18 | 2009-08-21 | 세이코 엡슨 가부시키가이샤 | 센싱 장치, 표시 장치, 전자 기기 및, 센싱 방법 |
BR112012016739A2 (pt) * | 2010-01-08 | 2017-06-13 | Sharp Kabushiki Kaisaha | "dispositivo de exibição com sensores ópticos" |
-
2010
- 2010-11-15 WO PCT/JP2010/070272 patent/WO2011077855A1/ja active Application Filing
- 2010-11-15 US US13/517,987 patent/US9235291B2/en not_active Expired - Fee Related
- 2010-11-15 EP EP10839091.5A patent/EP2518716A4/en not_active Withdrawn
- 2010-11-15 JP JP2011547399A patent/JP5232924B2/ja active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006201763A (ja) * | 2004-12-23 | 2006-08-03 | Samsung Electronics Co Ltd | 表示装置、その駆動方法及び表示装置用駆動装置 |
JP2006243927A (ja) * | 2005-03-01 | 2006-09-14 | Toshiba Matsushita Display Technology Co Ltd | 表示装置 |
JP2011003071A (ja) * | 2009-06-19 | 2011-01-06 | Seiko Instruments Inc | 近接検出装置および近接検出方法 |
WO2010150572A1 (ja) * | 2009-06-24 | 2010-12-29 | シャープ株式会社 | 光センサ付き表示装置 |
JP2011107829A (ja) * | 2009-11-13 | 2011-06-02 | Sharp Corp | センサ装置、及び画像処理システム |
Also Published As
Publication number | Publication date |
---|---|
EP2518716A4 (en) | 2017-04-05 |
US9235291B2 (en) | 2016-01-12 |
WO2011077855A1 (ja) | 2011-06-30 |
JPWO2011077855A1 (ja) | 2013-05-02 |
EP2518716A1 (en) | 2012-10-31 |
US20120256883A1 (en) | 2012-10-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5347035B2 (ja) | 光センサ付き表示装置 | |
JP5014439B2 (ja) | 光センサ付き表示装置 | |
JP5171941B2 (ja) | 光センサ付き表示装置 | |
WO2009104667A1 (ja) | 光センサ付き表示装置 | |
WO2009093388A1 (ja) | 光センサ付き表示装置 | |
KR101608254B1 (ko) | 표시장치 | |
US8817333B2 (en) | Display device with optical sensor included and image reading method employing same | |
KR20090029642A (ko) | 전기 광학 장치, 전자 기기 및 지시 물체의 검출 방법 | |
US8310247B2 (en) | Method of determining contact position in electronic apparatus | |
US9069412B2 (en) | Touch-sensor-equipped display device comrpising photodetecting elements | |
JP5232924B2 (ja) | 表示装置及び表示装置の制御方法 | |
WO2010150572A1 (ja) | 光センサ付き表示装置 | |
JP2006243927A (ja) | 表示装置 | |
JP4788232B2 (ja) | 表示装置及び表示方法 | |
US20130113768A1 (en) | Display device and drive method for same | |
WO2010026809A1 (ja) | 表示装置 | |
JP2008203561A (ja) | 液晶表示装置 | |
JP2009199204A (ja) | 電気光学装置、及びその制御方法、並びに電子機器 | |
JP4947805B2 (ja) | 表示装置 | |
JP2009276642A (ja) | センシング回路、その駆動方法、表示装置、その駆動方法、及び電子機器 | |
JP2011033855A (ja) | 電気光学装置および電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130226 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130325 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160329 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |