JP4457163B1 - 表示装置 - Google Patents

表示装置 Download PDF

Info

Publication number
JP4457163B1
JP4457163B1 JP2008280346A JP2008280346A JP4457163B1 JP 4457163 B1 JP4457163 B1 JP 4457163B1 JP 2008280346 A JP2008280346 A JP 2008280346A JP 2008280346 A JP2008280346 A JP 2008280346A JP 4457163 B1 JP4457163 B1 JP 4457163B1
Authority
JP
Japan
Prior art keywords
light
invisible light
display
display panel
invisible
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008280346A
Other languages
English (en)
Other versions
JP2010107776A (ja
Inventor
正典 伊原
智裕 尾松
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2008280346A priority Critical patent/JP4457163B1/ja
Priority to PCT/JP2009/063518 priority patent/WO2010050280A1/ja
Priority to TW098128555A priority patent/TW201017275A/zh
Application granted granted Critical
Publication of JP4457163B1 publication Critical patent/JP4457163B1/ja
Publication of JP2010107776A publication Critical patent/JP2010107776A/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G09G3/34—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters by control of light from an independent source
    • G09G3/3406—Control of illumination source
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/13306—Circuit arrangements or driving methods for the control of single liquid crystal cells
    • G02F1/13312—Circuits comprising photodetectors for purposes other than feedback
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/13338—Input devices, e.g. touch panels
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F1/00—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics
    • G02F1/01—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour 
    • G02F1/13—Devices or arrangements for the control of the intensity, colour, phase, polarisation or direction of light arriving from an independent light source, e.g. switching, gating or modulating; Non-linear optics for the control of the intensity, phase, polarisation or colour  based on liquid crystals, e.g. single liquid crystal display cells
    • G02F1/133—Constructional arrangements; Operation of liquid crystal cells; Circuit arrangements
    • G02F1/1333—Constructional arrangements; Manufacturing methods
    • G02F1/1335—Structural association of cells with optical devices, e.g. polarisers or reflectors
    • G02F1/1336—Illuminating devices
    • G—PHYSICS
    • G02—OPTICS
    • G02F—OPTICAL DEVICES OR ARRANGEMENTS FOR THE CONTROL OF LIGHT BY MODIFICATION OF THE OPTICAL PROPERTIES OF THE MEDIA OF THE ELEMENTS INVOLVED THEREIN; NON-LINEAR OPTICS; FREQUENCY-CHANGING OF LIGHT; OPTICAL LOGIC ELEMENTS; OPTICAL ANALOGUE/DIGITAL CONVERTERS
    • G02F2203/00—Function characteristic
    • G02F2203/11—Function characteristic involving infrared radiation
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2300/00—Aspects of the constitution of display devices
    • G09G2300/04—Structural and physical details of display devices
    • G09G2300/0439—Pixel structures
    • G09G2300/0452—Details of colour pixel setup, e.g. pixel composed of a red, a blue and two green components
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0238—Improving the black level
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2320/00—Control of display operating conditions
    • G09G2320/02—Improving the quality of display appearance
    • G09G2320/0247—Flicker reduction other than flicker reduction circuits used for single beam cathode-ray tubes
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/14—Detecting light within display terminals, e.g. using a single or a plurality of photosensors
    • G09G2360/145—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen
    • G09G2360/147—Detecting light within display terminals, e.g. using a single or a plurality of photosensors the light originating from the display screen the originated light output being determined for each pixel
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/16—Calculation or use of calculated indices related to luminance levels in display data
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Liquid Crystal (AREA)
  • Position Input By Displaying (AREA)
  • Liquid Crystal Display Device Control (AREA)

Abstract

【課題】画像検出時の黒浮きを防止すると共に検出速度低下時の画面のちらつきを防止する。
【解決手段】本発明に係る表示装置は、表示パネルを備え、当該表示パネルの表示画面を通じて画像を検出する表示装置であって、上記表示画面から可視光を外部に照射する可視光照射手段と、上記表示画面から不可視光を外部に照射する不可視光照射手段と、上記表示パネルを構成する複数の画素の画素ごとに形成された、上記不可視光の反射光を受光する不可視光受光手段とを備えている。
【選択図】図１

Description

本発明は、画像検出機能を有する表示装置に関する。
従来、スキャナ一体型のフラットパネルディスプレイが知られている。この装置では、画像のスキャン時、バックライト光を表示画面から透過させてスキャン対象に照射し、反射させる。このとき生じた反射光を各画素の受光素子によって検知する。これにより、フラットパネルディスプレイの画面上に配置された部材の配置面を画像としてスキャンする。こうしたディスプレイの一例が、特許文献１に開示されている。
この技術を応用したタッチパネルも、従来知られている。当該タッチパネルを用いて何らかの操作を行う場合、通常、複数の異なる箇所におけるタッチを検出するいわゆるマルチタッチ検出が行われている。これによりユーザは、このタッチパネルを備えた情報処理操作をマルチタッチによって様々に操作できる。
特開平６−１８６５８５号公報（１９９４年７月８日公開）
しかし従来技術の装置では、画面表示に利用するバックライト光を画像検出にも利用するため、表示画面を暗くした状態では、タッチ点を検出するのに充分な明るさの照射光を確保できない。さらに、検出精度を安定させるためには、画面に黒色を表示する際、完全な黒色ではなく一定の輝度を有した黒色を表示する必要が生じるので、表示した黒色が浮いてしまう。
また、画面に接触させた部材の形状または部材に印刷されたパターンを検出する際、画像検出のスキャン速度が遅いと画面がチラチラと点滅するため、非常に見づらくなる問題が生ずる。
本発明は上述した課題を解決するためになされたものであり、その目的は、画像検出時の黒浮きを防止すると共に検出速度低下時の画面のちらつきを防止した、画像検出機能を有する表示装置を提供することにある。
本発明に係る表示装置は、上記の課題を解決するために、
表示パネルを備え、当該表示パネルの表示画面を通じて画像を検出する表示装置であって、
上記表示画面から可視光を外部に照射する可視光照射手段と、
上記表示画面から不可視光を外部に照射する不可視光照射手段と、
上記表示パネルを構成する複数の画素の画素ごとに形成された、上記不可視光の反射光を受光する不可視光受光手段とを備えていることを特徴としている。
上記の構成によれば、表示装置は、表示パネルの表示画面を通じて照射した不可視光（たとえば赤外光または紫外光）の反射光を受光することによって、検出対象の画像を検出する。すなわち、可視光による画像検出を行わない。したがって、画面表示を暗くするために可視光のバックライト光の輝度を下げた場合でも、検出精度を安定させることが出来る。結果、表示画像の黒浮きを防止できる。また、検出速度を低下させた場合でも、検出に用いるのは画面表示には利用しない不可視光なので、画面のちらつきが起こることはない。
以上のように本表示装置は、画像検出時の黒浮きを防止すると共に検出速度低下時の画面のちらつきを防止することができる。
本表示装置の構成は様々に変形できる。たとえば、上記可視光照射手段は、上記画素ごとに設けられた、可視光を照射する発光素子とすることが可能である。あるいは、上記可視光照射手段は、可視光を照射するバックライト部と、当該バックライト部から照射された可視光を透過させる可視光透過手段としても実現できる。
また、上記不可視光照射手段は、上記画素ごとに設けられた、不可視光を照射する発光素子とすることが可能である。あるいは、上記不可視光照射手段は、不可視光を照射するバックライト部と、当該バックライト部から照射された不可視光を透過させる不可視光透過手段としても実現できる。
以上のように、本発明に係る表示装置は、画像検出時の黒浮きを防止すると共に検出速度低下時の画面のちらつきを防止することができる。
本発明に係る一実施形態について、図１〜図１４を参照して以下に説明する。
（装置構成）
図２は、本発明に係る表示装置１の要部構成を示すブロック図である。この図に示すように、表示装置１は、表示パネル２、検出処理部４、表示処理部６、検出設定部８、画像解析部１０、処理実行部１２、および入出力部１４を備えている。
表示パネル２は画面上に文字や画像などの情報を表示するパネルであり、たとえば液晶表示パネル、有機ＥＬパネル、プラズマディスプレイ、またはＦＥＤ（フィールドエミネッセンスデスプレイ）などである。表示パネル２の詳細な内部構成は後述する。表示パネル２は画像の検出機能を有しており、表示装置１では検出処理部４が表示パネル２の画面上における画像検出を制御する。一方、表示処理部６は表示パネル２の画面上における情報表示を制御する。検出設定部８、画像解析部１０、および処理実行部１２については後述する。検出処理部４、表示処理部６、検出設定部８、画像解析部１０、および処理実行部１２は所定のドライバ回路を構成する。入出力部１４は表示情報の入力、検出情報の出力および制御のための入出力を行う端子によって構成されている。
図１は、表示パネル２の内部構成を示す図である。この図に示すように、表示パネル２はマトリックス状に配置された、表示の基本単位である複数の画素２０を備えている。各画素２０には、不可視光発光部２２、不可視光受光部２４、Ｒ発光部２６、Ｇ発光部２８、およびＢ発光部３０が備えられている。
不可視光発光部２２はたとえば発光素子であり、表示パネル２を通じて不可視光を表示装置１の外部に向けて発する。不可視光受光部２４はたとえばフォトトランジスタであり、表示パネル２に入射した不可視光を受光する。Ｒ発光部２６はたとえば発光素子であり、赤色光を発する。Ｇ発光部２８はたとえば発光素子であり、緑色光を発する。Ｂ発光部３０はたとえば発光素子であり、青色光を発する。表示パネル２において、不可視光発光部２２および不可視光受光部２４は、いずれも従来の表示装置においてはシャドウマスクが形成されている箇所に配置されている。
Ｒ発光部２６、Ｇ発光部２８、およびＢ発光部３０によって、表示パネル２は、可視光による表示機能を実現する。すなわち表示パネル２は、三原色の発光部２６〜３０に加えて不可視光発光部２２および不可視光受光部２４を備えている構成である。
不可視光とは、可視光外の波長による光のことであり、具体的には、赤外光、遠赤外光、または紫外光などである。
表示パネル２では、不可視光発光部２２によって不可視光が照射される。表示パネル２の画面に不可視光を反射する部材が配置されていれば、当該部材によって当該不可視光が反射されて、表示パネル２内に戻る。この反射不可視光は不可視光受光部２４に到達し、結果、不可視光受光部２４によって反射不可視光の輝度が検出される。表示パネル２においては不可視光受光部２４が二次元平面状に形成されているので、各不可視光受光部２４の出力を処理することによって、表示パネル２の画面を通じて画像を検出できる。
以上のように、表示装置１は、表示パネル２の画面において不可視光を用いて画像を検出する。したがって、可視光の輝度が低くても安定した検出が可能になるため、従来技術において発生していた黒浮きを回避することができる。また、検出速度を低下させた場合でも、検出に用いるのは画面表示には利用しない不可視光なので、画面のちらつきが起こることはない。
（検出設定処理）
表示装置１は、各画素２０に配置された不可視光検出部によって、各画素に入射した不可視光の輝度を検出する。この検出結果に応じて、表示パネル２の画面におけるタッチ位置を特定し、当該タッチ位置における画像を検出する。
表示パネル２の周囲が一定以上の明るさを有していれば、表示パネル２においてタッチされている箇所は、タッチされていない箇所よりも暗くなる。一方、表示パネル２の周囲が一定以上の暗さを有していれば、表示パネル２においてタッチされている箇所には不可視光発光部２２から照射され照射対象によって反射された不可視光が入射するので、この分、表示パネル２においてタッチされている箇所は、タッチされていない箇所よりも明るくなる。
以上の状況を考慮して、表示装置１は、表示パネル２におけるタッチ位置の検出方法を、表示パネル２の画面全体の輝度値に応じて設定する。図３は、表示装置１においてタッチ位置の検出方法を決定する際の処理の流れを示すフローチャートである。まず、検出処理部４が、表示パネル２を構成する画素ごとの輝度を検出する（ステップＳ１）。次に、検出処理部４は、検出した画素ごとの輝度に基づき画面全体の輝度を算出する（ステップＳ２）。このときたとえば各輝度の合計値または平均値などを、画面全体の輝度とする。そして、検出設定部８が、画面全体の輝度が、予め定められた基準値を超えているか否かを判定する（ステップＳ３）。
ステップＳ３における判定の結果が「偽」であるとき（ＮＯ）、検出設定部８は、画面輝度よりも暗い輝度の画素をタッチされた点として検出するように設定する（ステップＳ４）。一方、ステップＳ３における判定の結果が「真」であるとき（ＹＥＳ）、検出設定部８は、画面輝度よりも明るい輝度の画素をタッチされた点として検出するように設定する（ステップＳ５）。
以上に説明した設定処理によって、表示装置１は、表示パネル２におけるタッチ位置を、周囲の明るさに関わらず正しく検出できる。
なお、表示装置１は、表示パネル２の画面全体に対して一律に検出方法を設置するのではなく、画面全体を複数の領域に分割して、当該領域ごとに検出方法を設定してもよい。この場合、領域ごとに当該領域に含まれる各画素を通じて検出した各反射不可視光の輝度に基づき、領域全体の輝度を算出する。そして、当該算出した輝度と基準輝度とを比較し、比較結果に応じて当該領域における検出方法を設定する。
さらに、検出された輝度に応じて一定のバイアスをかけて検出感度を調節することによって、検出の精度を改善することもできる。あるいは、不可視光発光部２２によって照射される不可視光の照射輝度を変化させると共に、検出基準を変化させることによって、外乱光に対する検出耐性を向上させることもできる。
（ユーザーインタフェースとしての適用例）
表示装置１のユーザは、たとえば、ペン先が不可視光を反射する素材によって出来ている専用ペンを用いて、表示パネル２の画面をタッチする。このとき表示装置１は、上述した検出処理を行うことによってタッチ位置を検出する。また、タッチ位置の変化を検出することによって、検出結果に基づく処理を実行することもできる。このようにして、ユーザは専用ペンを用いて表示装置１を操作することができる。
ユーザは、上述した専用ペンに限らず、他の形態の操作デバイスを用いて表示装置１を操作することもできる。その一例を図４に示す。図４は、ダイヤル状の操作デバイス１０１、およびカード状の操作デバイス１０２が画面上に配置された状態の表示装置１を示す図である。表示パネル２の画面上に、操作デバイス１０１および１０２が配置されている。ユーザがこれらの操作デバイスを動かすことによって、当該デバイスの表面部分の検出結果に基づく操作が可能になる。また、不可視光を反射する素材を指先に付けたグロ−ブなどを用いて、マルチタッチユーザーインタフェースを実現してもよい。さらに、カードなどに印刷された不可視光反射画像をバーコード（二次元含む）やスティガノグラフなどによって構成し、それら画像に埋め込まれたＵＲＬなどに基づいて、別途設けられた通信回線を経由してウェブサイトや電子書籍などにアクセスできるようにしてもよい。
より具体的には、表示パネル２の画面上に複数のダイヤル状の操作デバイス１０１を置いて操作したり、画面上に複数のカード状の操作デバイス１０２を置いて操作を行ったりすることができる。ユーザが複雑なダイヤル操作またはカード操作を複数同時に行ったとしても、表示装置１は、前述の不可視光によるパターン検出を操作デバイスごとに行えるので、操作を行っている複数のデバイスを弁別することできる。
図５は、操作デバイス１０１による操作の様子の一例を示す図である。この図に示すようにユーザが操作デバイス１０１を回転させたり、あるいは画面上において上下左右に動かしたりすると、これらの動きの変化を表示装置１が検出する。そして、検出結果に応じた処理を実行することによって、ユーザによる操作を実現する。
操作デバイス１０１および１０２の表面（表示パネル２の画面に配置される面）には、不可視光を反射する素材によって構成された特定のパターンが形成されている。表示装置１は、このパターンの向きや位置の変化を検出する。そして、検出結果に応じて、表示画像の移動、回転、拡大、または縮小などの処理を実行する。
図６は、操作デバイス１０１の表面に形成されているパターンの一例を示す図である。この図には、操作デバイス１０１の変形例として操作デバイス１０１ａおよび１０１ｂを示す。操作デバイス１０１ａの表面１０５（表示パネル２の画面に直接向き合う面）には、パターン１０４が形成されている。一方、操作デバイス１０１ｂの表面１０５には別のパターン１０４が形成されている。図６のパターン１０４は単純な画像であるが、これはあくまで一例に過ぎず、パターン１０４は任意の図形として形成可能である。たとえば、二次元バーコード、一般的なバーコード、または放射状同心バーコードなどの幾何学模様であってもよい。これらのバーコードであれば後述するＩＤ検出を行いやすいので好ましい。
（アンテナ部の利用）
表示パネル１上に、アンテナ部１０６ａまたは１０６ｂを備えてもよい。図７にその一例を示す。図７は、表示パネル１上に、操作デバイスやＲＦＩＤとの通信・給電を行うアンテナ部１０６ａまたは１０６ｂが備えられた構成の表示装置１を示す図である。この図において、アンテナ部１０６ａはＩＣカードタイプのアンテナであり、一方、１０６ｂは誘電型タブレットタイプのアンテナである。図７の例では、ユーザは、操作デバイス１０１ｃを画面上に配置して操作する。操作デバイス１０１ｃはたとえばホイール操作またはボタン操作可能なマウスである。操作デバイス１０１ｃは、アンテナ部１０６ａまたは１０６ｂから出力される無線によって、電力の供給を受ける。一方、表示装置１は、操作デバイス１０１ｃから出力される無線をアンテナ部１０６ａまたは１０６ｂを通じて受信することにとて、操作デバイス１０１ｃから情報を取得する。
図７のような構成にすることで、表示装置１におけるユーザーインタフェースの利便性をより高められることができる。なお表示装置１は、ＲＦタグなどを用いた無線通信によって、操作デバイスの種類またはその操作状態を検出してもよい。
また操作デバイスは、アンテナ部１０６，１０６ｂによる誘電に伴い電力を供給され、この電力を用いて不可視光を表示パネル２の画面に向けて発光する構成であってもよい。表示装置１では当該操作デバイスの使用に基づくグラフィカルユーザーインタフェースを実現でき、結果、ユーザは当該操作デバイスを用いることによって、表示装置を適宜操作できる。
（メニュー表示）
図８は、操作デバイス１０１の操作結果に応じてメニュー１０７の表示状態を変化させる例を説明する図である。
操作デバイス１０１には、予め、メニュー１０７が関連付けられている。ユーザが操作デバイス１０１を操作したとき、表示装置１は、その操作状態を操作デバイス１０１の表面画像を検出することによって特定する。そして、特定した結果に基づきメニュー１０７の表示状態を変化させる。たとえば操作デバイス１０１を移動したことを検出した場合には、その移動に応じてメニュー１０７を移動する。また、操作デバイスを回転したことを検出した場合には、その回転量や回転速度に合わせてメニュー１０７を回転表示する。これにより、操作デバイス１０１によるユーザーインタフェースの利便性をより高められる。また、操作デバイス１０１に操作用の部品（ボタンまたはホイール等）が備えられていれば、これの操作に応じてメニュー１０７そのものまたはメニュー１０７に含まれる項目の表示状態を変化させてもよい。
（処理の一例）
図９は、操作デバイス１０１を用いた操作時に応じて表示装置１が実行する処理の流れを示すフローチャートである。
まず、検出処理部４が、表示パネル２の画面上に配置された操作デバイス１０１の表面（配置面）に形成されている画像パターン１０４を検出する（ステップＳ１１）。次に画像解析部１０が、検出された画像パターン１０４から、操作に用いた操作デバイスのＩＤを検出する（ステップＳ１２）。表示装置１ではパターンごとにＩＤが予め互いに関連付けられてメモリに保存されているので、この対応関係に基づき検出パターンからＩＤを特定する。ＩＤを検出したあと、画像解析部１０は、パターン１０４を解析することによって、その向きを検出する（ステップＳ１３）。検出されたＩＤおよび向きに応じて、表示処理部６が、ユーザが操作するためのメニューなどの情報１０８を操作デバイス１０１の近くに表示する（ステップＳ１４）。
ここで操作デバイス１０１にスイッチなどの操作部があれば、表示装置１は、当該操作部の状態をアンテナ部１０６ａ，１０６ｂを経由して受信し、メニュー表示１０８に反映させてもよい。ユーザは、操作デバイス１０１として、ダイヤル型に限らず、カード型（部材１０２）、ペン型（傾斜により操作を変えるなど）など任意のものを利用できる。
次に、検出処理部４が、表示された情報に対するユーザの操作を検出する（ステップＳ１５）。この検出結果に基づき、処理実行部１２が、ユーザの操作に応じた処理を実行する（ステップＳ１６）。
表示装置１では、照射する不可視光に特定の周波数による変調を加えてもよい。このとき、表示画面を当該変調周波数の不可視光のみを透過できるように構成しておく。これにより、外乱光に対する検出耐性をより向上できるので、表示装置１を屋外において利用する際の検出性能を改善することができる。また、不可視光受光部２４は、可視光から不可視光にまたがる幅の広い帯域に対する受光感度を持つ素子であってもよい。
表示パネル２上に置かれた操作デバイス１０１から検出したパターン１０４の高周波成分を評価することにより、表示パネル２の画面から操作デバイス１０１までの距離を推定することができる。具体的には、検出画像の輪郭の明瞭さに基づき高周波成分を測定する。輪郭が明瞭であればあるほど高周波成分は多くなり、逆に輪郭がぼければぼけるほど高周波成分は少なくなる。こうして測定した高周波成分に応じて、表示パネル２の画面から操作デバイス１０１までの距離を測定する。
また、不可視光を反射する蛍光剤を含んだペンを用いれば、表示パネル２の画面上に文字または図形を描くことができる。したがって、ユーザが描画した文字や図形をスキャンし画像データとして保存したり、当該文字または図形を認識したりすることによって、表示装置１を電子ホワイトボードとして実現できる。
ユーザが操作する操作デバイスは上述したダイヤル状の操作デバイス１０１またはカード状の操作デバイス１０２に限らず、ペン型、マウス型、トラックボール状、消しゴム状、またはクリーナ状であってもよい。これらの操作デバイスに所定の操作部が設けられていれば、その操作に基づき変化した状態を情報として表示装置１に送信し、ユーザーインタフェースの表示状態を変化させることによって、ユーザーインタフェースの利便性をより向上することができる。
（表示装置１の変形例）
本発明の表示装置１に備えられる表示パネル２は、図１に示す構成に限定されず、他の様々な構成をとることができる。その例を図１０〜図１４に示す。
図１０は、本発明の他の構成に係る表示パネル２ａを示す図である。この図に示すように、表示パネル２ａはマトリックス状に配置された複数の画素２０ａを備えている。各画素２０ａには、不可視光発光部２２、不可視光受光部２４、Ｒ透過部３２、Ｇ透過部３４、およびＢ透過部３６が備えられている。表示パネル２ａにはバックライト部が備えられており、このバックライト部は可視光（赤色光、緑色光、および青色光）を照射する。この可視光のうち特定の光がＲ透過部３２、Ｇ透過部３４、またはＢ透過部３６を透過して画面外に向かって放出される。これにより、表示パネル２ａの画面から可視光および不可視光を照射することができる。
図１１は、本発明の他の構成に係る表示パネル２ｂを示す図である。この図に示すように、表示パネル２ｂはマトリックス状に配置された複数の画素２０ｂを備えている。各画素２０ｂには、不可視光透過部３８、不可視光受光部２４、Ｒ発光部２６、Ｇ発光部２８、およびＢ発光部３０が備えられている。表示パネル２ｂにはバックライト部が備えられており、このバックライト部は不可視光を照射する。この不可視光が不可視光透過部３８を透過して画面外に向かって放出される。これにより、表示パネル２ｂの画面から可視光および不可視光を照射することができる。
図１２は、本発明の他の構成に係る表示パネル２ｃを示す図である。この図に示すように、表示パネル２ｃはマトリックス状に配置された複数の画素２０ｃを備えている。各画素２０ｃには、不可視光透過部３８、不可視光受光部２４、Ｒ透過部３２、Ｇ透過部３４、およびＢ透過部３６が備えられている。表示パネル２ｃにはバックライト部が備えられており、このバックライト部は可視光（赤色光、緑色光、および赤色光）および不可視光を照射する。この可視光のうち特定の光がＲ透過部３２、Ｇ透過部３４、またはＢ透過部３６を透過して画面外に向かって放出される。また、不可視光は不可視光透過部３８を透過して画面外に向かって放出される。これらの構成により、表示パネル２ｃの画面から可視光および不可視光を照射することができる。
図１３は、本発明の他の構成に係る表示パネル２ｄを示す図である。この図に示すように、表示パネル２ｄはマトリックス状に配置された複数の画素２０ｃを備えている。各画素２０ｄには、不可視光受光部２４、Ｒ透過部３２、Ｇ透過部３４、およびＢ透過部３６が備えられている。また、各画素２０ｄをまたがって不可視光透過部４０が形成されている。不可視光透過部４０は従来の表示パネルにおけるシャドウマスクの形成箇所に形成されている。
表示パネル２ｄにはバックライト部４２が備えられている。図１４は、バックライト部４２の構成を示す図である。この図に示すように、バックライト部４２は、Ｒ光源４４、Ｇ光源４６、Ｂ光源４８、および不可視光光源５０を備えている。Ｒ光源４４は赤色光を照射する。Ｇ光源４６は緑色光を照射する。Ｂ光源４８は青色光を照射する。不可視光光源５０は不可視光を照射する。これにより、バックライト部４２は可視光および不可視光を照射する。この可視光のうち特定の光がＲ透過部３２、Ｇ透過部３４、またはＢ透過部３６を透過して画面外に向かって放出される。また、不可視光は不可視光透過部３８を透過して画面外に向かって放出される。これらの構成により、表示パネル２ｄの画面から可視光および不可視光を照射することができる。
表示装置１は、図１０〜図１４に示すいずれの構成の表示パネルを備えた場合でも、図１に示す構成の表示パネル２を備えた場合と同等の作用効果を奏する。
表示パネル２〜２ｄのいずれにおいても、不可視光透過部３８として不可視光を透過するシャドウマスクを備えていてもよい。また、不可視光発光部２２または不可視光受光部２４をシャドウマスクとして形成してもよい。また、不可視光発光部２２が各画素にまたがって形成されていてもよい。
なお、本発明は上述した各実施形態に限定されるものではない。当業者は、請求項に示した範囲内において、本発明をいろいろと変更できる。すなわち、請求項に示した範囲内において、適宜変更された技術的手段を組み合わせれば、新たな実施形態が得られる。
（その他の構成）
なお、本発明を、以下の構成としても実現できる。
（第１構成）
透過型基板上に形成される不可視光発光部と一つの画素ごとに独立した可視光発光部と不可視光受光部とを備えることを特徴とするフラットパネルディスプレイ装置。
（第２構成）
透過型基板上に形成される不可視光発光部と一つの画素ごとに独立した可視光透過部と不可視光受光部とを備えることを特徴とするフラットパネルディスプレイ装置。
（第３構成）
透過型基板上に形成される不可視光透過部と一つの画素ごとに独立した可視光発光部と不可視光受光部とを備えることを特徴とするフラットパネルディスプレイ装置。
（第４構成）
透過型基板上に形成される不可視光透過部と一つの画素ごとに独立した可視光透過部と不可視光受光部とを備えることを特徴とするフラットパネルディスプレイ装置。
（第５構成）
前記不可視光透過部または前記不可視光発光部から発光された不可視光を反射することを特徴とする部材と前記不可視光を反射することを特徴とする前記部材によって反射された不可視光を不可視光受光部によって受光してパターン情報を取得するパターン情報取得手段と前記パターン情報取得によって取得したパターン情報を認識するパターン情報認識手段と、前記パターン情報認識手段によって認識した情報に基づき前記部材の種類情報を検出する検出手段と、前記検出手段によって検出された種類情報に基づいて前記フラットパネルディスプレイ上にデバイスに関連付けられた情報を表示する情報表示手段と、を備えた前記第１構成から第４構成のいずれかに係るフラットパネルディスプレイ装置。
（第６構成）
前記不可視光透過部または前記不可視光発光部から発光された不可視光を反射することを特徴とする部材と、前記不可視光を反射することを特徴とする前記部材によって反射された不可視光を不可視光受光部によって受光してパターン情報を取得するパターン情報取得手段と、前記パターン情報取得によって取得したパターン情報を認識するパターン情報認識手段と、前記パターン情報認識手段によって認識した情報に基づき前記部材の種類情報と向き情報を検出する検出手段と、前記検出手段によって検出された種類情報に基づいて前記フラットパネルディスプレイ上にデバイスに関連付けられた情報を表示する情報表示手段と、前記情報表示手段によって表示された情報を前記向き情報に応じて変化させる情報表示状態変化手段と、を備えた前記第１構成から第４構成のいずれかに係るフラットパネルディスプレイ装置。
（第７構成）
前記不可視光透過部または前記不可視光発光部から発光された不可視光を反射することを特徴とする部材と、前記不可視光を反射することを特徴とする部材の形状を検出する形状検出手段と、前記形状検出手段によって検出した部材の形状に基づいて前記フラットパネルディスプレイ上に部材に関連付けられた情報を表示する情報表示手段と、を備えた前記第１構成から第４構成のいずれかに係るフラットパネルディスプレイ装置。
（第８構成）
操作デバイスやＲＦＩＤタグなどの無線給電情報デバイスに給電し情報を取得するためのアンテナ部と、前記不可視光透過部または前記不可視光発光部から発光された不可視光を反射することを特徴とする部材と前記不可視光を反射することを特徴とする前記部材の反射光に基づいて部材の形状を検出する形状検出手段と、前記アンテナ部を用いて前記部材に組み込まれた情報送信部から部材に関連付けられた情報を取得する関連情報取得手段と、前記形状検出手段によって検出した部材の形状に基づいて前記関連情報取得手段によって取得された関連情報を表示する情報表示手段と、を備えた前記第１構成から第４構成のいずれかに係るフラットパネルディスプレイ装置。
本発明は、画像検出機能を有する表示装置として、幅広く利用できる。
本発明に係る表示装置に備えられた表示パネルの内部構成を示す図である。 本発明に係る表示装置の要部構成を示すブロック図である。 表示装置においてタッチ位置の検出方法を決定する際の処理の流れを示すフローチャートである。 ダイヤル状の操作デバイス、およびカード状の操作デバイスが画面上に配置された状態の表示装置を示す図である。 操作デバイスによる操作の様子の一例を示す図である。 操作デバイスの表面に形成されているパターンの一例を示す図である。 表示パネル上に、操作デバイスやＲＦＩＤとの通信・給電を行うアンテナ部が備えられた構成の表示装置を示す図である。 操作デバイスの操作結果に応じてメニューの表示状態を変化させる例を説明する図である。 操作デバイスを用いた操作時に応じて表示装置が実行する処理の流れを示すフローチャートである。 本発明の他の構成に係る表示パネルを示す図である。 本発明の他の構成に係る表示パネルを示す図である。 本発明の他の構成に係る表示パネルを示す図である。 本発明の他の構成に係る表示パネルを示す図である。 バックライト部の構成を示す図である。
符号の説明
１ 表示装置
２ 表示パネル
４ 検出処理部
６ 表示処理部
８ 検出設定部
１０ 画像解析部
１２ 処理実行部
１４ 入出力部
２０ 画素
２６ Ｒ発光部（可視光照射手段、可視光発光手段）
２８ Ｇ発光部（可視光照射手段、可視光発光手段）
３０ Ｂ発光部（可視光照射手段、可視光発光手段）
３２ Ｒ透過部（可視光照射手段、可視光透過手段）
３４ Ｇ透過部（可視光照射手段、可視光透過手段）
３６ Ｂ透過部（可視光照射手段、可視光透過手段）
２２ 不可視光発光部（不可視光照射手段、不可視光発光手段）
２４ 不可視光受光部（不可視光受光手段）
３８ 不可視光透過部（不可視光照射手段、不可視光透過手段）
４２ バックライト部（不可視光照射手段、可視光照射手段）
４４ Ｒ光源（可視光照射手段）
４６ Ｇ光源（可視光照射手段）
４８ Ｂ光源（可視光照射手段）
５０ 不可視光光源（不可視光照射手段）

Claims (5)

  1. 表示パネルを備え、当該表示パネルの表示画面を通じて画像を検出する表示装置であって、
    上記表示画面から可視光を外部に照射する可視光照射手段と、
    上記表示画面から不可視光を外部に照射する不可視光照射手段と、
    上記表示パネルを構成する複数の画素の画素ごとに形成された、上記不可視光の反射光を受光する不可視光受光手段とを備えており、
    上記不可視光照射手段および上記不可視光受光手段は、隣接する上記画素間のシャドウマスク形成位置に設けられた、不可視光を照射する発光素子および当該不可視光の反射光を受光する不可視光受光素子であることを特徴とする表示装置。
  2. 上記不可視光を照射する発光素子は、上記画素ごとに設けられていることを特徴とする請求項１に記載の表示装置。
  3. 上記可視光照射手段は、上記画素ごとに設けられた、可視光を照射する発光素子であることを特徴とする請求項１または２に記載の表示装置。
  4. 上記可視光照射手段は、可視光を照射するバックライト部と、当該バックライト部から照射された可視光を透過させる可視光透過手段によって構成されていることを特徴とする請求項１または２に記載の表示装置。
  5. 上記不可視光は赤外光または紫外光であることを特徴とする請求項１〜４のいずれか１項に記載の表示装置。
JP2008280346A 2008-10-30 2008-10-30 表示装置 Expired - Fee Related JP4457163B1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2008280346A JP4457163B1 (ja) 2008-10-30 2008-10-30 表示装置
PCT/JP2009/063518 WO2010050280A1 (ja) 2008-10-30 2009-07-29 表示装置
TW098128555A TW201017275A (en) 2008-10-30 2009-08-25 Display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008280346A JP4457163B1 (ja) 2008-10-30 2008-10-30 表示装置

Publications (2)

Publication Number Publication Date
JP4457163B1 true JP4457163B1 (ja) 2010-04-28
JP2010107776A JP2010107776A (ja) 2010-05-13

Family

ID=42128649

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008280346A Expired - Fee Related JP4457163B1 (ja) 2008-10-30 2008-10-30 表示装置

Country Status (3)

Country Link
JP (1) JP4457163B1 (ja)
TW (1) TW201017275A (ja)
WO (1) WO2010050280A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102316562B1 (ko) * 2015-08-31 2021-10-25 엘지디스플레이 주식회사 액정표시패널 및 그를 가지는 액정표시장치
CN106019712A (zh) * 2016-07-28 2016-10-12 京东方科技集团股份有限公司 一种防窥显示装置及显示系统
CN114460542A (zh) * 2021-12-13 2022-05-10 无锡安邦电气股份有限公司 一种led雷达测速屏及其安装结构

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004098175A1 (ja) * 2003-04-30 2004-11-11 Toshiba Matsushita Display Technology Co. Ltd. 画像拡大装置
JP2005275644A (ja) * 2004-03-24 2005-10-06 Sharp Corp 液晶表示装置
JP2006065305A (ja) * 2004-07-16 2006-03-09 Semiconductor Energy Lab Co Ltd 読み取り機能付き表示装置及びそれを用いた電子機器
JP2009063803A (ja) * 2007-09-06 2009-03-26 Sony Corp 表示装置
JP2009198703A (ja) * 2008-02-20 2009-09-03 Sony Corp 液晶表示装置およびその製造方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2004098175A1 (ja) * 2003-04-30 2004-11-11 Toshiba Matsushita Display Technology Co. Ltd. 画像拡大装置
JP2005275644A (ja) * 2004-03-24 2005-10-06 Sharp Corp 液晶表示装置
JP2006065305A (ja) * 2004-07-16 2006-03-09 Semiconductor Energy Lab Co Ltd 読み取り機能付き表示装置及びそれを用いた電子機器
JP2009063803A (ja) * 2007-09-06 2009-03-26 Sony Corp 表示装置
JP2009198703A (ja) * 2008-02-20 2009-09-03 Sony Corp 液晶表示装置およびその製造方法

Also Published As

Publication number Publication date
WO2010050280A1 (ja) 2010-05-06
JP2010107776A (ja) 2010-05-13
TW201017275A (en) 2010-05-01

Similar Documents

Publication Publication Date Title
US9606672B2 (en) Methods and apparatuses for user authentication
US9589170B2 (en) Information detection and display apparatus, and detecting method and displaying method thereof
KR20060134107A (ko) 스캐닝 디스플레이 장치
CN104423771B (zh) 描绘装置
TWI475445B (zh) 用於使用陰影及反射模式的觸碰感應之方法及觸控面板系統
JP4550118B2 (ja) 表示装置、液晶表示装置、位置検出システムおよび位置検出方法
US8751962B2 (en) Remote control, display device, television receiver device, and program for remote control
JP3962084B2 (ja) 情報表示入力装置
EP1589408A2 (en) Display device having optical input function
US9213446B2 (en) Handwriting input device
CN104238831A (zh) 利用反射光的光学触摸屏幕系统
US20150042625A1 (en) Display control system and display devices
JP4457163B1 (ja) 表示装置
JPWO2014103274A1 (ja) 表示制御システムおよび読取装置
US20140340341A1 (en) Electronic device
JP2006216087A (ja) 情報表示入力装置
KR20140079215A (ko) 광학 입력장치
US20150035811A1 (en) Display control system, display device, and display panel
JP2013149155A (ja) 表示装置、入力装置及び表示システム
WO2016173176A1 (zh) 一种显示基板、显示装置及遥控系统
WO2012140772A1 (ja) タッチパネル装置、および、これを用いた情報処理方法
JP6161241B2 (ja) 机型表示装置
JP2014063212A (ja) タッチパネル装置
CN110392875A (zh) 电子装置及其控制方法
US10613692B2 (en) Touch interactor

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100208

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130212

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees