JP4745317B2 - 表示システムおよび指示位置の検出方法 - Google Patents

表示システムおよび指示位置の検出方法 Download PDF

Info

Publication number
JP4745317B2
JP4745317B2 JP2007290132A JP2007290132A JP4745317B2 JP 4745317 B2 JP4745317 B2 JP 4745317B2 JP 2007290132 A JP2007290132 A JP 2007290132A JP 2007290132 A JP2007290132 A JP 2007290132A JP 4745317 B2 JP4745317 B2 JP 4745317B2
Authority
JP
Japan
Prior art keywords
infrared
display screen
display
luminescent
spot
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007290132A
Other languages
English (en)
Other versions
JP2009116701A (ja
Inventor
淳寿 森本
雅和 大平
仁志 廣畑
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to JP2007290132A priority Critical patent/JP4745317B2/ja
Priority to US12/264,007 priority patent/US20090122030A1/en
Priority to CN2008101745143A priority patent/CN101430626B/zh
Publication of JP2009116701A publication Critical patent/JP2009116701A/ja
Application granted granted Critical
Publication of JP4745317B2 publication Critical patent/JP4745317B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0317—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface
    • G06F3/0321—Detection arrangements using opto-electronic means in co-operation with a patterned surface, e.g. absolute position or relative movement detection for an optical mouse or pen positioned with respect to a coded surface by optically sensing the absolute position with respect to a regularly patterned surface forming a passive digitiser, e.g. pen optically detecting position indicative tags printed on a paper sheet
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G06F3/0325—Detection arrangements using opto-electronic means using a plurality of light emitters or reflectors or a plurality of detectors forming a reference frame from which to derive the orientation of the object, e.g. by triangulation or on the basis of reference deformation in the picked up image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)
  • Position Input By Displaying (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Liquid Crystal (AREA)
  • Liquid Crystal Display Device Control (AREA)

Description

本発明は、ポインタ等の操作装置によって指し示された表示画面上の指示位置を検出することのできる表示システムおよび上記指示位置の検出方法に関するものである。
近年、液晶ディスプレイやプラズマディスプレイなどディスプレイの薄型化が進むとともに、画面サイズも大型のものが普及するようになってきている。
これらの薄型かつ大型のディスプレイは、例えば、会議や製品紹介等のプレゼンテーション、あるいはテレビゲームのディスプレイなどに用いられる場合がる。そして、このような使用シーンにおいては、ディスプレイに表示された画像上の所望の点（位置や場所）をポインタ等の操作装置で指定して操作することが行われている。
例えば、特許文献１には、ポインタの前後に配置した発光素子をそれぞれ異なる点滅パターンで駆動し、ディスプレイの左右に設けたカメラでポインタの前後に配置された発光点を含む画像を撮影し、発光点の方向（角度）・距離を三角法により解析演算してディスプレイ上の指定点の座標を検出する技術が開示されている。
また、特許文献２には、ディスプレイの上側または下側など画面の近傍に赤外光を発するＬＥＤのモジュールを設置し、コントローラに備えられる赤外光のみを透過するフィルタとＣＭＯＳセンサやＣＣＤなどの撮像素子で前記のＬＥＤを撮像し、撮像した画像データ内におけるＬＥＤの位置の変化から画面内の座標位置を検出するシステムが開示されている。
特開２００７−８３０２４号公報（公開日：２００７年４月５日） 特開２００７−６６０８０号公報（公開日：２００７年３月１５日） 東 忠利著、「液晶プロジェクター用直流点灯型メタルハライドランプ」、光技術情報誌「ライトエッジ」Ｎｏ１１、１９９７年１０月、ｐｐ．６−ｐｐ．９ 内田 龍男 監修、「図解 電子ディスプレイのすべて」、株式会社工業調査会発行、２００６年１０月３０日、ｐｐ．９２−ｐｐ．９５
しかしながら、上記従来の技術では、操作装置の位置がディスプレイに対して近い場合に、操作装置の指し示す位置を適切に検出できないという問題がある。
つまり、特許文献１の技術では、ポインタ（操作装置）の前後に備えられた発光点を含む画像を撮影するためのカメラがディスプレイにおける表示画面の左右に設けられている。このため、ポインタの位置が表示画面に近い場合には発光点の位置がカメラの撮像可能範囲から外れてしまう場合がある。
また、特許文献２の技術では、ディスプレイの表示画面の上側または下側に設けられたＬＥＤモジュールの発する赤外線をコントローラ（操作装置）に設けられた撮像素子によって撮像するようになっている。このため、特許文献１の場合と同様、コントローラの位置が表示画面に対して近い場合には、ＬＥＤモジュールが撮像素子の撮像可能範囲から外れてしまう場合がある。
図２４（ａ）、図２４（ｂ）、図２５（ａ）、および図２５（ｂ）は、特許文献２に開示された構成と同様の構成における、操作装置１０１と表示装置１０２との距離と操作装置１０１による指示位置を検出可能な範囲との関係を示す説明図である。
図２４（ａ）および図２４（ｂ）に示すように、表示装置１０２と操作装置１０１との距離が十分に離れている場合、操作装置１０１によって表示画面上のどの位置を指し示していても、ＬＥＤモジュール１０３が操作装置１０１に備えられた撮像素子の撮像可能範囲内に含まれ、操作装置１０１による指示位置を検出することができる。
一方、図２５（ａ）および図２５（ｂ）に示すように、表示装置１０２と操作装置１０１との距離が短い場合、操作装置１０１による指示位置によってはＬＥＤモジュール１０３が撮像素子の撮像可能範囲内に収まらなくなる。そして、ＬＥＤモジュール１０３が撮像可能範囲内に収まらない場合、操作装置１０１による指示位置を検出できなくなる。
本発明は、上記の問題点に鑑みてなされたものであり、その目的は、操作装置と表示装置との距離にかかわらず操作装置によって指し示された表示画面上の位置を適切に検出することにある。
本発明の表示システムは、上記の課題を解決するために、画像データに応じた画像を表示するための表示画面を備えた表示装置と、上記表示画面に対して非接触な位置から上記表示画面上の任意の位置を指し示し、この表示画面上の指示位置を含む画像を撮像する操作装置と、上記表示画面に設けられた赤外波長域の光を出射する３つ以上の赤外発光輝点と、上記操作装置によって撮像された撮像画像に含まれる上記赤外発光輝点の位置に基づいて表示画面上における上記指示位置を検出する指示位置検出手段とを備えた表示システムであって、上記撮像画像に含まれる赤外発光輝点の中から所定数の赤外発光輝点を選択する輝点選択部と、上記輝点選択部の選択した各赤外発光輝点同士を識別する輝点識別部と、上記輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で上記各赤外発光輝点を発光させる表示制御手段とを備え、上記指示位置検出手段は、上記輝点選択部の選択した各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての上記輝点識別部の識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における上記指示位置とに基づいて表示画面上における上記指示位置を検出することを特徴としている。
上記の構成によれば、表示画面内に赤外波長域の光を出射する赤外発光輝点が３つ以上設けられており、表示制御手段は、上記各赤外発光輝点を上記輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で発光させる。そして、輝点選択部が撮像画像に含まれる赤外発光輝点の中から所定数の赤外発光輝点を選択し、輝点識別部が輝点選択部の選択した各赤外発光輝点同士を識別し、指示位置検出手段が輝点選択部の選択した各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての上記輝点識別部の識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における上記指示位置とに基づいて表示画面上における指示位置を検出する。
これにより、従来のように赤外発光輝点が表示画面の外部にのみ設けられている構成に比べて、２つ以上の赤外発光輝点を撮像範囲内に含めるために必要な表示装置と操作装置との距離を短くすることができる。したがって、操作装置による表示画面上の指示位置を適切に算出するために必要な表示画面と操作装置との距離を短くすることができ、操作装置と表示画面との距離が短い場合であっても操作装置による表示画面上の指示位置を適切に検出できる。
また、輝点同士を識別可能な方法で表示画面に多数の輝点を表示させておき、撮像画像に含まれる輝点の中から指示位置の算出に用いる所定数の輝点を選択するので、表示画面と操作装置との距離にかかわらず撮像画像に複数の輝点を含めることができる。このため、表示画面上の指示位置をより適切に検出できる。
また、各赤外発光輝点を互いに識別可能な方法で発光させるので、撮像時に操作装置が基準位置（表示画面の座標系におけるｘ軸方向およびｙ軸方向と撮像画像の座標系におけるｘ軸方向およびｙ軸方向とが一致する位置）に対して撮像方向を軸として回転していた場合であっても、各輝点の位置と各輝点の識別結果とに基づいて上記の回転を考慮して表示画面上の位置を適切に検出することができる。
なお、上記表示画面はマトリクス状に配置された多数の画素を有する表示パネルからなり、上記各画素は互いに異なる波長域の光を出射する複数の副画素を備え、上記多数の画素のうちの少なくとも一部の画素は、上記副画素として赤外波長域の光を出射する赤外副画素を有しており、上記表示制御手段は、上記各副画素から出射される光の光量を制御し、上記赤外副画素のうちの少なくとも一部の赤外副画素を上記赤外発光輝点として機能させる構成としてもよい。
上記の構成によれば、表示パネルに備えられる赤外副画素を赤外発光輝点として機能させることができる。これにより、表示パネルと赤外発光輝点となる光源とを別々に備える必要がないので、これら各部材を別々に備える場合に比べて、表示装置のサイズが増大することを防止するとともに、部品点数を低減することができる。また、上記各画素における赤外副画素以外の画素では、画像データに応じた画像を表示させることができるので、赤外発光輝点を設けたことによる解像度の低下を最小限に抑えることができる。
また、上記表示パネルは透過型の液晶表示パネルであり、上記液晶表示パネルにおける画像表示面とは反対側に配置された、赤外波長域に分光分布を有する光を出射するバックライトと、上記液晶表示パネルに備えられ、上記各副画素に対応する領域において当該各副画素に応じた波長域の光を透過するカラーフィルタ層とを備えている構成としてもよい。
上記の構成によれば、赤外副画素を介してバックライトから出射された赤外波長域の光を透過させることができる。これにより、赤外副画素を赤外発光輝点として機能させることができる。
また、上記表示画面はマトリクス状に配置された多数の画素を有する透過型の液晶表示パネルであり、上記液晶表示パネルにおける画像表示面とは反対側に赤，緑，青，赤外を含む複数色の光源が画素毎あるいは複数の画素からなる画素群毎に設けられており、上記表示制御手段は、上記各画素あるいは上記各画素群における上記各色の光源を時分割で順次駆動することにより、上記画像データに応じた画像および上記赤外発光輝点を上記液晶表示パネルに表示させる構成としてもよい。
上記の構成によれば、液晶表示パネルに赤外色（赤外波長域）の画像を表示させることにより、この赤外色の画像を上記赤外発光輝点として機能させることができる。また、共通の画素を用いて画像データに応じた画像の表示と赤外発光輝点の表示とを行えるので、赤外発光輝点を表示させることによって液晶表示パネルの解像度が低下することを防止できる。
また、上記表示制御手段は、上記各赤外発光輝点について、輝度、発光期間、発光周期、発光パターン、および所定時間あたりのＯＮ／ＯＦＦの切り替え回数のうちの少なくとも１つを互いに異ならせる構成としてもよい。
上記の構成によれば、輝度、発光期間、発光周期、発光パターン、および所定時間あたりのＯＮ／ＯＦＦの切り替え回数のうちの少なくとも１つ以上が赤外発光輝点毎に異なるので、撮像画像における各赤外発光輝点を識別することができる。
また、上記表示制御手段は、上記各赤外発光輝点を複数のグループに分類し、分類したグループ毎に輝度、発光期間、発光周期、発光パターン、および所定時間あたりのＯＮ／ＯＦＦの切り替え回数のうちの少なくとも１つを異ならせる構成としてもよい。例えば、上記表示制御手段は、上記各赤外発光輝点を行方向および列方向に並ぶマトリクス状に配置し、行方向に隣接する赤外発光輝点同士および列方向に隣接する赤外発光輝点同士のうちの少なくとも一方について、輝度、発光期間、発光周期、発光パターン、および所定時間あたりのＯＮ／ＯＦＦの切り替え回数のうちの少なくとも１つを互いに異ならせる構成としてもよい。
上記の構成によれば、全ての赤外発光輝点同士を識別可能に発光させる場合に比べて、赤外発光輝点の発光制御を行うための信号の種類を削減できるので、各赤外発光輝点の発光制御を容易に行うことができる。
また、上記表示制御手段は、上記表示画面における上記指示位置に対応する位置に所定の画像を表示させる構成としてもよい。
上記の構成によれば、表示画面における上記指示位置に対応する位置に所定の画像を表示させることで、表示画面を観察するユーザに対して操作装置による指示位置を認識させることができる。
また、表示画面に表示した上記各赤外発光輝点の位置と上記撮像画像における上記各赤外発光輝点の位置とに基づいて、上記撮像画像を撮像したときの上記操作装置における撮像方向を軸とする回転角度を算出する回転算出部を備え、上記指示位置検出手段は、上記輝点選択部の選択した各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての上記輝点識別部の識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における上記指示位置と、上記回転算出部の算出した回転角度とに基づいて表示画面上における上記指示位置を検出する構成としてもよい。
上記の構成によれば、輝点識別部が撮像画像における各赤外発光輝点を識別し、回転算出部が表示画面に表示した各赤外発光輝点の位置と撮像画像における各赤外発光輝点の位置とに基づいて、撮像画像を撮像したときの操作装置の撮像方向を軸とする回転角度を算出する。そして、指示位置検出手段が、撮像画像に含まれる各赤外発光輝点の位置と、撮像画像における指示位置と、表示画面における各赤外発光輝点の位置と、回転算出部の算出した回転角度とに基づいて表示画面上における指示位置を検出する。これにより、撮像時に操作装置が基準位置に対して撮像方向を軸として回転していた場合であっても、各輝点の位置と各輝点の識別結果とに基づいて上記の回転を考慮して表示画面上の位置を適切に検出することができる。
上記の方法によれば、表示画面内に赤外波長域の光を出射する赤外発光輝点を３つ以上設け、輝点識別部が撮像画像に基づいて各赤外発光輝点同士を識別できる方法で各赤外発光輝点を発光させる。そして、撮像画像に含まれる赤外発光輝点の中から所定数の赤外発光輝点を選択し、輝点識別部が選択された各赤外発光輝点同士を識別し、選択された各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての上記輝点識別部の識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における上記指示位置とに基づいて表示画面上における指示位置を検出する。
これにより、従来のように赤外発光輝点が表示画面の外部にのみ設ける方法に比べて、２つ以上の赤外発光輝点を撮像範囲内に含めるために必要な表示装置と操作装置との距離を短くすることができる。したがって、操作装置による表示画面上の指示位置を適切に算出するために必要な表示画面と操作装置との距離を短くすることができ、操作装置と表示画面との距離が短い場合であっても操作装置による表示画面上の指示位置を適切に検出できる。
また、輝点同士を識別可能な方法で表示画面に多数の輝点を表示させておき、撮像画像に含まれる輝点の中から指示位置の算出に用いる所定数の輝点を選択するので、表示画面と操作装置との距離にかかわらず撮像画像に複数の輝点を含めることができる。したがって、表示画面上の指示位置を適切に検出できる。
また、各赤外発光輝点を互いに識別可能な方法で発光させるので、撮像時に操作装置が基準位置（表示画面の座標系におけるｘ軸方向およびｙ軸方向と撮像画像の座標系におけるｘ軸方向およびｙ軸方向とが一致する位置）に対して撮像方向を軸として回転していた場合であっても、各輝点の位置と各輝点の識別結果とに基づいて上記の回転を考慮して表示画面上の位置を適切に検出することができる。
また、上記表示制御手段は上記赤外発光輝点の表示位置を前回の表示位置よりも上記指示位置検出手段が検出した上記指示位置に近づけるように変更する構成としてもよい。
上記の構成によれば、赤外発光輝点を指示位置の近傍に表示させることができるので、操作装置と表示画面との距離が近い場合であっても撮像画像に赤外発光輝点をより確実に含めることができ、表示画面上の指示位置をより適切に算出できる。
本発明の指示位置の検出方法は、上記の課題を解決するために、画像データに応じた画像を表示するための表示画面を備えた表示装置と、上記表示画面に対して非接触な位置から上記表示画面上の任意の位置を指し示し、この表示画面上の指示位置を含む画像を撮像する操作装置と、上記表示画面に設けられた赤外波長域の光を出射する３つ以上の赤外発光輝点と、上記操作装置によって撮像された撮像画像に含まれる上記赤外発光輝点の位置に基づいて表示画面上における上記指示位置を検出する表示システムにおける上記指示位置の検出方法であって、上記表示システムに備えられる輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で上記各赤外発光輝点を発光させる工程と、上記撮像画像に含まれる赤外発光輝点の中から所定数の赤外発光輝点を選択する工程と、上記輝点選択部の選択した各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての上記輝点識別部の識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における上記指示位置とに基づいて表示画面上における上記指示位置を検出する工程とを含むことを特徴としている。
上記の方法によれば、表示画面内に赤外波長域の光を出射する赤外発光輝点を３つ以上設け、表示システムに備えられる輝点識別部が撮像画像に基づいて各赤外発光輝点同士を識別できる方法で各赤外発光輝点を発光させる。そして、撮像画像に含まれる赤外発光輝点の中から所定数の赤外発光輝点を選択し、選択した各赤外発光輝点同士を識別し、選択した各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における指示位置とに基づいて表示画面上における指示位置を検出する。
これにより、従来のように赤外発光輝点が表示画面の外部にのみ設けられている構成に比べて、２つ以上の赤外発光輝点を撮像範囲内に含めるために必要な表示装置と操作装置との距離を短くすることができる。したがって、操作装置による表示画面上の指示位置を適切に算出するために必要な表示画面と操作装置との距離を短くすることができ、操作装置と表示画面との距離が短い場合であっても操作装置による表示画面上の指示位置を適切に検出できる。
また、輝点同士を識別可能な方法で表示画面に多数の輝点を表示させておき、撮像画像に含まれる輝点の中から指示位置の算出に用いる所定数の輝点を選択するので、表示画面と操作装置との距離にかかわらず撮像画像に複数の輝点を含めることができる。このため、表示画面上の指示位置をより適切に検出できる。
また、各赤外発光輝点を互いに識別可能な方法で発光させるので、撮像時に操作装置が基準位置に対して撮像方向を軸として回転していた場合であっても、各輝点の位置と各輝点の識別結果とに基づいて上記の回転を考慮して表示画面上の位置を適切に検出することができる。
なお、上記表示システムは、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより、上記表示システムをコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に含まれる。
以上のように、本発明の表示システムは、上記撮像画像に含まれる赤外発光輝点の中から所定数の赤外発光輝点を選択する輝点選択部と、上記輝点選択部の選択した各赤外発光輝点同士を識別する輝点識別部と、上記輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で上記各赤外発光輝点を発光させる表示制御手段とを備え、上記指示位置検出手段は、上記輝点選択部の選択した各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての上記輝点識別部の識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における上記指示位置とに基づいて表示画面上における上記指示位置を検出する。
また、本発明の指示位置の検出方法は、上記表示システムに備えられる輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で上記各赤外発光輝点を発光させる工程と、上記撮像画像に含まれる赤外発光輝点の中から所定数の赤外発光輝点を選択する工程と、上記輝点選択部の選択した各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての上記輝点識別部の識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における上記指示位置とに基づいて表示画面上における上記指示位置を検出する工程とを含む。
それゆえ、操作装置と表示画面との距離が短い場合であっても操作装置による表示画面上の指示位置を適切に検出できる。また、撮像時に操作装置が基準位置に対して撮像方向を軸として回転していた場合であっても、各赤外発光輝点の位置と各赤外発光輝点の識別結果とに基づいて上記の回転を考慮して表示画面上の位置を適切に検出することができる。
〔実施形態１〕
本発明の一実施形態について説明する。
図２は、本実施形態にかかる表示システム１の概略構成を示すブロック図である。この図に示すように、表示システム１は、液晶表示装置１０と操作装置２０とを備えている。
液晶表示装置１０は、表示部１１、制御部１２、および通信モジュール１３を備えている。
図３は、液晶表示装置１０の概略構成を示すブロック図であり、図４は、図３に示す液晶表示装置１０における各副画素の概略構成を示す模式図である。
図３に示すように、液晶表示装置１０は、Ｒ（赤），Ｇ（緑），Ｂ（青），Ｉｒ（赤外色）の４色の副画素（サブピクセル）ＳＰＲ，ＳＰＧ，ＳＰＢ，ＳＰＩｒからなる画素Ｐがマトリクス状に多数配置された表示部（表示パネル）１１と、ソースドライバ３２、ゲートドライバ３３、表示制御部３１、および指示位置算出部３８を有する制御部１２と、操作装置２０との間でデータの送受信を行う通信モジュール１３と、これら各部に電力を供給する電源回路３４とを備えている。なお、液晶表示装置１０はアクティブマトリクス方式により駆動される。また、液晶表示装置１０では、駆動電圧が印加されていない画素は黒画像が表示されるようになっている。
また、表示部１１には、複数のデータ信号線ＳＬ１Ｒ，ＳＬ１Ｇ，ＳＬ１Ｂ，ＳＬ１Ｉｒ，〜ＳＬｎＲ，ＳＬｎＧ，ＳＬｎＢ，ＳＬｎＩｒ（ｎは２以上の任意の整数を示す）と、これら各データ信号線にそれぞれ交差する複数の走査信号線ＧＬ１〜ＧＬｍ（ｍは２以上の任意の整数を示す）とが設けられ、これらのデータ信号線および走査信号線の組み合わせ毎に上記副画素が設けられている。
指示位置算出部３８は、通信モジュール１３を介して操作装置２０から受信した情報に基づいて操作装置２０による表示画面上の指示位置を算出する。指示位置の算出方法の詳細については後述する。
表示制御部３１は、ソースドライバ３２およびゲートドライバ３３の動作を制御してＲ，Ｇ，Ｂの各副画素を透過する光の強度を制御し、表示部１１に表示画像データに応じた画像を表示させる。なお、上記の表示画像データは、例えば、液晶表示装置１０に通信可能に接続される外部装置（図示せず）から入力されるものであってもよく、液晶表示装置１０に備えられる記憶部（図示せず）から読み出されるものであってもよく、アンテナ，チューナ等の受信手段（図示せず）を介して受信される放送データであってもよい。
また、表示制御部３１は、ソースドライバ３２およびゲートドライバ３３の動作を制御してＩｒの副画素と透過する光の強度を制御し、表示画面上の任意の位置に多数（３つ以上）の輝点（赤外発光輝点）を表示させる。
また、表示制御部３１は、各輝点を、これら各輝点を撮像した撮像画像に基づいて指示位置算出部３８が各輝点同士を識別できる方法で表示する。また、表示制御部３１は、指示位置算出部３８の指示位置算出結果に基づいてソースドライバ３２およびゲートドライバ３３の動作を制御し、操作装置２０による表示画面上の指示位置に所定の画像（指示位置を示すマーク等の画像）を表示させる。なお、輝点の表示方法および指示位置の算出方法の詳細については後述する。
ソースドライバ３２は、表示画像データに基づいてそれぞれの副画素を駆動するための駆動電圧（画像信号）を生成し、各副画素に応じたデータ信号線に印加する。ゲートドライバ３３は、ソースドライバ３２から出力される駆動電圧を、データ信号線に沿って配置された各副画素に対して所定のタイミングで順次供給するように各走査信号線への印加電圧を制御する。
各副画素には、図４に示すように、スイッチング素子４１が設けられている。スイッチング素子４１としては、例えばＦＥＴ（電界効果型トランジスタ）あるいはＴＦＴ（薄膜トランジスタ）等が用いられ、上記スイッチング素子４１のゲート電極４２が走査信号線ＧＬｉ（ｉは１以上の任意の整数を示す）に、ソース電極４３がデータ信号線に、さらに、ドレイン電極４４が副画素電極４５に接続されている。また、副画素電極４５に対向配置される対向電極４６は、全副画素に共通の図示しない共通電極線に接続されている。
図５は、表示部１１の断面図である。この図に示すように、表示部１１は、スペーサー（図示せず）を介して所定の間隔で対向配置されたガラス基板５１，５２と、これらガラス基板５１，５２間に封入された液晶性材料からなる液晶層５７とを備えている。なお、液晶性材料としては、ネマティック液晶、スメクティック液晶、強誘電性液晶など一般によく用いられている液晶材料が用いられる。
また、ガラス基板５１におけるガラス基板５２との対向面には、データ信号線ＳＬ１Ｒ，ＳＬ１Ｇ，ＳＬ１Ｂ，ＳＬ１Ｉｒ・・・、走査信号線ＧＬ１，・・・、スイッチング素子４１、副画素電極４５等を備えた配線層５３と、配線層５３を覆うように形成された配向膜５５ａとが設けられている。さらに、ガラス基板５１におけるガラス基板５２との対向面とは反対側の面には、偏向板５８ａが設けられている。また、偏向板５８ａに対向するようにバックライトユニット６０が配置されている。
また、ガラス基板５２におけるガラス基板５１との対向面には、カラーフィルタ層５６、透明導電膜からなる対向電極４６、および対向電極４６を覆うように形成された配向膜５５ｂがこの順で積層されている。さらに、ガラス基板５２におけるガラス基板５１との対向面とは反対側の面には、偏向板５８ｂが設けられている。
なお、配向膜５５ａ，５５ｂに施す配向処理方向、および偏向板５８ａ，５８ｂの吸収軸方向については、液晶層５７に封入する液晶性物質の種類等に応じて、従来から公知の液晶表示装置と同様に設定すればよい。また、本実施形態では、副画素電極４５および対向電極４６を互いに異なる基板に配置したが、これに限らず、これら両電極を同一の基板上に配置した所謂ＩＰＳ方式としてもよい。
また、カラーフィルタ層５６には、Ｒ，Ｇ，Ｂ，Ｉｒのいずれかに対応する波長域の光を透過し、他の波長域の光を遮光するフィルタが副画素毎に設けられている。なお、Ｉｒの光（赤外波長域の光）を透過するフィルタとしては、例えば、ＨＯＹＡ色ガラスフィルタの赤外透過可視吸収フィルタを用いることができる。
バックライトユニット６０は、図５に示すように光源６１と反射部６２とを備えており、光源６１から照射された光を反射部６２によって反射することで、表示部１１に対して光を照射するようになっている。なお、バックライトユニット６０と表示部１１との間に、光源６１が発する光を拡散して表示部１１の表示面全体に均一に照射するための拡散フィルムを配置してもよい。
光源６１としては、可視域および赤外域に発光スペクトルを有する光源が用いられる。このような光源としては、例えば、メタルハライドランプなどを用いることができる（非特許文献１参照）。
液晶表示装置１０では、走査信号線ＧＬｉが選択されると、当該走査信号線に接続された各副画素のスイッチング素子４１が導通し、表示制御部３１に入力される表示画像データに基づいて決定される信号電圧がソースドライバ３２によりデータ信号線を介して副画素電極４５と対向電極４６との間に印加される。副画素電極４５と対向電極４６との間では、走査信号線ＧＬｉの選択期間が終了してスイッチング素子４１が遮断されている間、理想的には、遮断時の電圧を保持し続ける。これにより、各副画素に対応する副画素電極４５と対向電極４６との間にそれぞれ独立して駆動電圧を印加することで、これら両電極間に配された液晶層の各副画素領域に、表示する画像に応じた電界を印加し、各副画素領域の液晶分子の配向状態を変化させて表示を行うようになっている。
このような構成により、液晶表示装置１０では、各副画素の副画素電極４５と対向電極４６との間に印加する電圧を制御して液晶層５７の各副画素領域を透過する光量を制御し、カラー表示を行うとともに、任意の副画素において赤外光を透過させて任意の表示箇所に人間の目には捉えられない赤外域の光を発光する輝点を表示させる。
操作装置２０は、図２に示すように、赤外透過フィルタ２１、レンズ２２、撮像素子２３、画像処理モジュール２４、操作スイッチ２５、制御部２６、通信モジュール２７を備えている。また、操作装置２０は、この操作装置２０の先端を液晶表示装置１０の表示画面上における任意の位置に向けることで表示画面上の任意の位置を指示することができるようになっている。
赤外透過フィルタ２１は、赤外域の波長の光を透過するフィルタであり、例えばＨＯＹＡ色ガラスフィルタの赤外透過可視吸収フィルタを用いることができる。
レンズ２２は、赤外透過フィルタ２１を透過した赤外光を撮像素子２３の撮像部に集光する。撮像素子２３は、例えばＣＭＯＳあるいはＣＣＤ等からなり、レンズ２２で集光された赤外光を受光して撮像し、撮像した画像の画像信号を画像処理モジュール２４に出力する。なお、撮像素子２３の撮像方向の中心（すなわちレンズ２２の光軸方向）は、操作装置２０による指示方向（すなわち表示画面上の指示位置と操作装置２０の先端とを結ぶ直線の方向）と平行になっている。したがって、撮像画像の中心が表示画面上の指示位置に対応するようになっている。
画像処理モジュール２４は、図６に示すように、Ａ／Ｄ変換部７１、輝点選択部７２、識別情報抽出部７３、輝点位置算出部７４、輝点間距離算出部７５を備えている。Ａ／Ｄ変換部７１は、撮像素子２３から入力された画像データをＡ／Ｄ変換してデジタル画像信号を生成する。輝点選択部７２は、撮像画像に含まれる輝点の中から所定数（例えば２個）の輝点を選択する。識別情報抽出部７３は撮像画像に基づいて輝点選択部７２が選択した各輝点の識別情報（例えば所定期間内における各輝点の平均輝度）を抽出する。輝点位置算出部７４は、Ａ／Ｄ変換部７１から出力されるデジタル画像信号に基づいて、撮像画像の中心位置と輝点選択部７２が選択した輝点との相対位置（撮像画像の座標系における撮像画像の中心位置（指示位置）と輝点との相対位置）を算出する。輝点間距離算出部７５は、撮像画像における選択された上記輝点間の距離（撮像画像の座標系における輝点間の距離）を算出する。これらの処理の詳細については後述する。
操作スイッチ２５は、ユーザからの指示入力を受け付けるものであり、多数のボタンキーなどによって構成されている。
制御部２６は、操作装置２０に備えられる各部の動作を制御する。また、画像処理モジュール２４から入力された、識別情報の抽出結果、相対位置の算出結果、輝点間距離の算出結果、操作スイッチ２５を介してユーザから入力された情報などに基づいて、液晶表示装置１０に送信する情報を生成する。
通信モジュール２７は、液晶表示装置１０の通信モジュール１３との間でデータの送受信を行うものであり、例えば制御部２６から入力される情報を液晶表示装置１０に送信する。なお、通信モジュール２７が用いる通信媒体は特に限定されるものではなく、無線媒体であっても有線媒体であってもよい。
次に、輝点の表示方法、および指示位置の算出方法について説明する。図７は、輝点表示処理および指示位置算出処理の流れを示すフロー図である。
まず、液晶表示装置１０の表示制御部３１は、ソースドライバ３２およびゲートドライバ３３の動作を制御し、表示画面における所定の位置に互いに異なる明るさ（輝度）で輝点を複数（本実施形態では２つ）表示させる（Ｓ１）。なお、この処理は、ユーザによって操作装置２０による指示位置の算出を行うモード（指示位置算出モード）の選択が行われた場合に実行するようにしてもよく、常時行うようにしてもよい。また、表示制御部３１は、輝点の表示と並行して、画像データに応じてソースドライバ３２およびゲートドライバ３３の動作を制御してＲ，Ｇ，Ｂの各副画素を駆動し、画像データに応じた画像を表示させる。
図１は、表示部１１の表示画面内に表示される輝点の一例を示す説明図である。この図に示すように、本実施形態では、輝点Ａ〜Ｉの計９つの輝点をマトリクス状に配置して表示させる。ただし、表示させる輝点の数はこれに限らず、３つ以上の任意の数であってもよい。また、各輝点の配置方法もこれに限るものではなく、任意に配置すればよい。なお、各輝点を、表示画面に対する操作装置２０の位置にかかわらず撮像画像に２つ以上の輝点が含まれやすくなるように配置することが好ましい。
本実施形態では、図８に示すように、表示画面を各ブロックが３×３画素からなる多数のブロックに分割し、これら多数のブロックのうちの９つのブロックを輝点として機能させる。また、この際、各輝点となるブロックにおけるＩｒのサブピクセルＳＰＩｒに印加する駆動電圧の大きさを輝点となる各ブロックについて互いに異ならせる。これにより、各輝点に対応するサブピクセルを透過する赤外波長域の光の光量を異ならせて各輝点の明るさ（輝度）を異ならせることができるので、例えば、撮像画像における各輝点の所定期間内（例えば所定フレーム期間内）における明るさの平均値（平均輝度）を算出して比較することで各輝点を識別することができる。なお、本実施形態では、説明を簡単にするために、各輝点を３×３画素からなるブロックによって表示しているが、各輝点の大きさ（輝点となるブロックの大きさ）はこれに限定されるものではなく、操作装置２０による撮像画像によって各輝点を認識できる画素数であればよい。
図９（ａ）は図１における輝点Ａに相当するブロック内のＩｒのサブピクセルＳＰＩｒに供給される駆動電圧（データ信号）の波形を示しており、図９（ｂ）は図１における輝点Ｅに相当するブロック内のＩｒのサブピクセルＳＰＩｒに供給される駆動電圧の波形を示しており、図９（ｃ）は図１における輝点Ｉに相当するブロック内のＩｒのサブピクセルＳＰＩｒに供給される駆動電圧の波形を示している。つまり、１フレーム内において、ゲート電極が順次走査されていき、輝点Ａに対応するサブピクセルＳＰＩｒに接続された走査信号線がそれぞれ選択されているときに、図９（ａ）に示した駆動電圧がこれらサブピクセルＳＰＩｒに接続されたデータ信号線に供給される。同様に、１フレーム内において、ゲート電極が順次走査されていき、輝点Ｅに対応するサブピクセルＳＰＩｒに接続された走査信号線がそれぞれ選択されているときに、図９（ｂ）に示した駆動電圧がこれらサブピクセルＳＰＩｒに接続されたデータ信号線に供給され、輝点Ｉに対応するサブピクセルＳＰＩｒに接続された走査信号線がそれぞれ選択されているときに図９（ｂ）に示した駆動電圧がこれらサブピクセルＳＰＩｒに接続されたデータ信号線に供給される。
また、本実施形態では、図９（ａ）〜図９（ｃ）に示すように、各サブピクセルに対する駆動電圧の極性を毎回反転させている。これにより、同極性の駆動電圧を印加し続けることによって液晶が劣化することを防止することができる。
なお、上記の説明では、輝点Ａ〜Ｉに対応する各サブピクセルに供給する駆動電圧の大きさを各サブピクセル毎に異ならせているが、必ずしも全ての輝点に対する駆動電圧を異ならせる必要はない。例えば、図１０に示すように、輝点Ａ〜Ｉを複数のグループに分け、グループ毎に駆動電圧を異ならせてもよい。これにより、異なるグループに属する輝点同士の駆動電圧の差を大きくできるので、輝点同士の明るさの違いを精度よく検出でき、輝点の識別精度を高めることができる。
図１０に示す例では、輝点Ａ〜Ｉを第１グループ（Ａ，Ｅ，Ｉ）、第２グループ（Ｂ，Ｇ）、第３グループ（Ｃ，Ｄ）、第４グループＦ，Ｈ）の４つのグループに分け、グループ内の各輝点に対する駆動電圧を同じにし、異なるグループの輝点に対する駆動電圧を異ならせている。各輝点をグループ分けする方法は特に限定されるものではないが、撮像画像から指示位置算出に用いる輝点を選択したときに、選択した各輝点のＩｒのサブピクセルに対する駆動電圧が互いに異なるように、輝点の選択方法と表示画面上における各輝点の配置とを考慮してグループ分けすることが好ましい。なお、図１０に示す例では、同じグループに属する輝点がｘ軸方向（水平方向）の直線上およびｙ方向（垂直方向）の直線上に配置されないように上記グループを設定している。
一方、操作装置２０の制御部２６は、撮像素子２３に表示画面を撮像させる（Ｓ１１）。これにより、操作装置２０の先端が向けられている方向の画像が撮像される。なお、この処理は、所定時間毎に行うようにしてもよく、連続して行うようにしてもよく、操作スイッチ２５を介してユーザからの指示入力があったときに行うようにしてもよく、ユーザによって所定のボタンが押下げられている期間中に連続してあるいは所定時間毎に行うようにしてもよい。
次に、操作装置２０の制御部２６は、画像処理モジュール２４の輝点選択部７２に、撮像画像に含まれる輝点の中から予め定めた選択方法に基づいて指示位置算出に用いる輝点として所定数（ここでは２個）の輝点を選択させる（Ｓ１２）。
本実施形態では、操作装置２０が表示画面から十分に離れており、撮像画像に９つの輝点が全て含まれている場合、図１１（ａ）に示すように、撮像画像において垂直方向（行方向）に並ぶ３行の輝点のうちの真ん中に位置し、この行において水平方向に並ぶ３つの輝点のうち両端側に位置する輝点、すなわち輝点Ｄと輝点Ｆとを選択する。一方、操作装置２０が表示画面に近く、撮像画像に９つの輝点のうち４つの輝点のみが含まれている場合、図１１（ｂ）に示すように、これら４つの輝点のうち撮像画像の上側に位置する２点（この図の例では輝点Ａ，Ｂ）を選択する。なお、輝点の選択方法はこれに限るものではなく、例えば、撮像画像に含まれる輝点のうち輝点間の距離が最も長くなる２点を選択したり、水平方向の距離が最も長く、垂直方向の位置が表示画面の中央部（あるいは上端部、あるいは下端部）に近い２点を選択したりしてもよい。
次に、操作装置２０の制御部２６は、画像処理モジュール２４の識別情報抽出部７３に、撮像画像に基づいてＳ１２で選択した各輝点の識別情報を抽出させる（Ｓ１３）。具体的には、識別情報抽出部７３は、所定期間（所定フレーム期間）における各輝点の明るさ（輝度）の平均値を識別情報として検出する。なお、抽出する識別情報はこれに限るものではなく、液晶表示装置１０における各輝点の表示方法に応じて予め設定しておけばよい。
次に、操作装置２０の制御部２６は、画像処理モジュール２４の輝点位置算出部７４に、撮像画像の座標系における指示位置（本実施形態では撮像画像の中心）に対するＳ１２で選択した各輝点の相対位置を算出させる（Ｓ１４３）。具体的には、撮像画像の座標系におけるＳ１２で選択した各輝点の中点の座標を算出させる。あるいは、撮像画像の座標系におけるＳ１２で選択した各輝点の座標を算出させてもよい。
次に、操作装置２０の制御部２６は、画像処理モジュール２４の輝点間距離算出部７５に、撮像画像の座標系におけるＳ１２で選択した輝点間の距離を算出させる（Ｓ１５）。
次に、操作装置２０の制御部２６は、Ｓ１２で抽出した各輝点の識別情報、Ｓ１３で算出した相対位置を示す情報、およびＳ１４で算出した輝点間の距離示す情報を通信モジュール２７から液晶表示装置１０に送信させる（Ｓ１６）。
その後、液晶表示装置１０の指示位置算出部３８は、通信モジュール１３を介して操作装置２０から送信された上記情報を受信すると（Ｓ２）、受信した上記識別情報と表示画面に表示させた各輝点の識別情報（駆動電圧）とに基づいて、Ｓ１２で選択された各輝点に対応する表示画面上の各輝点を特定する（Ｓ３）。なお、図１０に示したように表示画面に表示する輝点を複数のグループに分け、グループ毎に表示方法を異ならせている場合には、Ｓ１２で選択された輝点の識別情報だけでなく選択されなかった輝点の識別情報についても操作装置２０で抽出して液晶表示装置１０に送り、液晶表示装置１０の指示位置算出部３８がこれら各輝点の識別情報を参照してＳ１２で選択された各輝点に対応する表示画面上の各輝点を特定するようにしてもよい。これにより、万一、Ｓ１２において同じグループの輝点が選択された場合であっても、これら各輝点の他の輝点に対する相対位置等に基づいてＳ１２で選択された輝点同士を識別することができる。
次に、液晶表示装置１０の指示位置算出部３８は、撮像時における操作装置２０の基準位置に対する回転角度を算出する（Ｓ４）。具体的には、指示位置算出部３８は、Ｓ１２で選択した各輝点の識別情報（輝度）と、これら各輝点に対応する撮像時の表示画面における識別情報（輝度）とに基づいて、操作装置２０の基準位置（表示画面の座標系におけるｘ軸方向およびｙ軸方向と撮像画像の座標系におけるｘ軸方向およびｙ軸方向とが一致する位置）に対する回転角度を算出する。
ここで、撮像時における操作装置２０の回転角度を算出方法について説明する。図１２（ａ）はＳ１２で選択された２つの輝点Ｄ，Ｆの一例を示す説明図であり、図１２（ｂ）は図１２（ａ）に示した表示部１１を操作装置２０の上下が反転している状態で撮像した場合の撮像画像の一例を示す説明図である。
液晶表示装置１０の指示位置算出部３８は、表示画面の座標系における撮像時の各輝点Ｄ，Ｆの座標と、撮像画像の座標系における各輝点Ｄ，Ｆの座標とを比較することにより、撮像画像の座標系の表示画面の座標系に対する回転角度を算出する。例えば、表示画面の座標系における各輝点Ｄ，Ｆを結ぶ直線の傾きと撮像画像の座標系における各輝点Ｄ，Ｆを結ぶ直線の傾きとの関係、表示画面の座標系における各輝点Ｄ，Ｆのｘ座標と撮像画像の座標系における各輝点Ｄ，Ｆのｘ座標との大小関係、および表示画面の座標系における各輝点Ｄ，Ｆのｙ座標と撮像画像の座標系における各輝点Ｄ，Ｆのｙ座標との大小関係に基づいて表示画面の座標系に対する撮像画像の座標系の回転角度を算出する。
これにより、撮像時における操作装置２０の基準位置に対する回転角度を算出することができる。例えば、図１２（ｂ）の場合には、各輝点Ｄ，Ｆの位置関係から撮像画像の座標系は表示画面の座標系に対して１８０°回転していることがわかる。
次に、液晶表示装置１０の指示位置算出部３８は、Ｓ４で算出した回転角度と、Ｓ２で受信した相対位置を示す情報と輝点間距離を示す情報とに基づいて操作装置２０による表示画面上の指示位置（表示画面の座標系における操作装置２０による指示位置）を算出する（Ｓ５）。つまり、操作装置２０から受信した情報は撮像画像の座標系に基づく輝点の位置情報なので、これを表示画面の座標系に変換して操作装置２０による表示画面上の指示位置を算出する。
ここで、表示画面の座標系における指示位置の算出方法についてより詳細に説明する。
まず、指示位置算出部３８は、Ｓ４で算出した撮像時における操作装置２０の回転角度に基づいてＳ２で受信した相対位置を示す情報の座標系を回転させて基準位置に対応する座標系に変換する。すなわち、表示画像の座標系と撮像画像の座標系のｘ軸方向およびｙ軸方向を一致させる。例えば、図１２（ｂ）の場合、撮像画像の座標系を撮像画像の中心回りに−１８０°回転させる。これにより、図１２（ｃ）に示すように、表示画面の座標系と撮像画像の座標系のｘ軸方向およびｙ軸方向を一致させることができる。
図１２（ｃ）に示すように、撮像画像の座標系において、撮像画像の中心の座標を（０，０）、輝点Ｄと輝点Ｆとの中点Ｃの座標を（ｘ１，ｙ１）、輝点Ｄと輝点Ｆとの距離をＬ１とする。また、図１２（ａ）に示すように、表示画面の座標系における輝点Ｄと輝点Ｆとの距離をＬｄ、輝点Ｄと輝点Ｆとの中点ｃの座標を（ｘｃ，ｙｃ）、操作装置２０による表示画面上の指示位置の座標を（ｘｐ，ｙｐ）とする。そして、操作装置２０による表示画面上の指示位置と、輝点Ｄと輝点Ｆとの中点とのｘ方向の距離をｘｄ、ｙ方向の距離をｙｄとする。
この場合、撮像画像の座標系を表示画面の座標系に変換するための係数ｃは、ｃ＝Ｌｄ／Ｌ１で算出される。したがって、ｘｄ＝ｃ×ｘ１、ｙｄ＝ｃ×ｙ１と表せるので、ｘｐ＝ｘｃ−ｘｄ＝ｘｃ−ｃ×ｘ１、ｙｐ＝ｙｃ−ｙｄ＝ｙｃ−ｃ×ｙ１より表示画面上の指示位置の座標（表示画面の座標系における操作装置２０による指示位置の座標）を特定することができる。
以上のように、本実施形態にかかる表示システム１では、液晶表示装置１０の表示画面内に多数の輝点を互いに識別可能な方法で表示する。そして、操作装置２０によって表示画面を撮像し、撮像画像に含まれる各輝点の中から所定数の輝点を選択し、選択した各輝点の識別情報（例えば各輝点の所定期間における平均輝度）、撮像画像における指示位置と選択した各輝点との相対位置、および輝点間の距離を検出し、検出結果を液晶表示装置１０に送信する。そして、液晶表示装置１０が、操作装置２０から受信した上記の各情報と表示画面に表示させた各輝点の位置および識別情報に基づいて、表示画面の座標系における操作装置２０による指示位置を算出する。
このように、輝点を表示画面内に表示することにより、従来のように表示画面の外部に輝点を設ける場合に比べて、表示画面と操作装置との距離が短い場合であっても操作装置による撮像範囲内に輝点が含まれやすくなるので、表示画面上の指示位置を適切に算出することのできる範囲を広げることができる。また、表示画面の座標系における各輝点の位置と、撮像画像の座標系における指示位置と各輝点との相対位置とに基づいて、表示画面の座標系における指示位置の座標を容易に算出できる。
また、表示画面に多数の輝点を識別可能に表示させておき、操作装置２０による撮像画像に含まれる輝点の中から指示位置の算出に用いる所定数の輝点を選択することで、表示画面と操作装置との距離にかかわらず撮像画像に複数の輝点を含めることができ、表示画面上の指示位置を適切に検出できる。さらに、撮像画像における各輝点を識別することができるので、撮像時における操作装置２０の撮像方向を軸とする回転角度を算出することができ、表示画面の座標系における指示位置の座標を適切に検出することができる。
なお、本実施形態では、各輝点に対応するＩｒのサブピクセルＳＰＩｒへ供給する駆動電圧の大きさを互いに異ならせることによって各輝点の明るさ（輝度）を異ならせて各輝点を識別可能に表示しているが、各輝点の表示方法はこれに限るものではなく、撮像画像に基づいて各輝点同士を識別可能な方法であればよい。
例えば、図１３に示すように、各輝点の発光時間を互いに異ならせてもよい。これにより、撮像画像に基づいて各輝点の所定期間（所定フレーム期間）における明るさ（輝度）の平均値を算出することで、この算出結果に基づいて各輝点を識別することができる。なお、図１３の例では、各輝点のＩｒのサブピクセルに対する駆動電圧の大きさを同じにしているが、これに限らず、輝点毎に駆動電圧の大きさを異ならせてもよい。
また、図１４に示すように、各輝点を表示するための駆動電圧をパルス波とし、所定期間内におけるパルスの数（各輝点のオン／オフの切り替え回数）を輝点毎に異ならせるようにしてもよい。これにより、撮像画像に基づいて所定期間における各輝点のパルス数を検出すること、あるいは所定期間における明るさ（輝度）の平均値を算出することにより各輝点を識別することができる。なお、図１４の例では、各輝点のＩｒのサブピクセルに対する駆動電圧の大きさを同じにしているが、これに限らず、輝点毎に駆動電圧の大きさを異ならせてもよい。
また、図１５に示すように、各輝点を表示するための駆動電圧をパルス波とし、各輝点に対する駆動電圧におけるパルスの波形パターン（発光パターン、点滅パターン）を異ならせるようにしてもよい。この場合、撮像画像に基づいて各輝点のパルス周期あるいは波形パターンを検出することで各輝点を識別することができる。あるいは、各輝点に対する駆動電圧におけるパルスの周期を異ならせてもよい。
また、本実施形態では、光源６１としてメタルハライドランプを用いる構成について説明したが、光源６１の構成はこれに限るものではなく、画像データに応じた画像の表示を行うための可視域に発光波長を有する光と輝点を表示するための赤外域に発光波長を有する光とを出射する構成であればよい。例えば、可視域に発光波長を有する光源と、赤外域に発光波長を有する光源とを組み合わせて用いてもよい。この場合、例えば、ＲＧＢの各ＬＥＤと赤外ＬＥＤとを組み合わせて用いてもよく、白色ＬＥＤと赤外ＬＥＤとを組み合わせて用いてもよい。また、この場合、各ＬＥＤからの出射光をマイクロレンズアレイを介して表示部１１に入射させる構成としてもよい（非特許文献２参照）。また、バックライトユニット６０はサイドライト方式であってもよく、直下型であってもよく、両者を組み合わせた構成であってもよい。
また、表示画面を複数のブロックに分割してブロック毎に光源６１を設けてもよい。図１６はＲ，Ｇ，Ｂ，Ｉｒの各色のＬＥＤからなる光源６１Ｒ，６１Ｇ，６１Ｂ，６１Ｉｒを３×３画素からなる各ブロックにそれぞれ２つずつ設けた場合の構成例を示す斜視図である。図１６においても、説明を簡単にするために、ブロックを３×３画素からなる構成を表示しているが、ブロックの大きさはこれに限定されるものではない。また、この図に示す例ではＲ，Ｇ，Ｂ，ＩｒのＬＥＤから出射された光を拡散させ、色の偏りがなく均一な輝度になるようにブロック内の各画素に導くための導光板６３が備えられている。なお、バックライトユニットの構成以外は図５に示した構成と同様にすることができる。また、図１６の構成において、Ｒ，Ｇ，ＢのＬＥＤの代わりに白色ＬＥＤを用いてもよい。
また、画素毎に光源６１を設けてもよい。また、この場合、Ｒ，Ｇ，Ｂ，Ｉｒの各色のＬＥＤを画素毎に配置し、フィールド・シーケンシャル方式で画像表示を行うようにしてもよい。図１７はフィールド・シーケンシャル方式を採用する場合の、各画素の構成例を示す断面図である。
図１７に示す例では、バックライト側から順に、Ｒ，Ｇ，Ｂ，Ｉｒの各色の光源６１Ｒ，６１Ｇ，６１Ｂ，６１Ｉｒ、偏向板５８ａ、配線層５３、配向膜５５ａ、ガラス基板５１、液晶層５７、配向膜５５ｂ、対向電極４６、ガラス基板５２、光学補償板５９、偏向板５８ｂがこの順で積層されている。なお、フィールド・シーケンシャル方式を採用する場合には各色の光源を順次点灯させて表示を行うので、サブピクセルを設ける必要はなく、カラーフィルタを省略できる。
光学補償板５９は、一軸性の位相差フィルムを互いの光軸を直交させて３枚重ねることにより３次元の光学補償を行うものである。この光学補償板５９を備えることにより、図１４の構成ではＯＣＢ（Optically Compensated Bend）方式で動作するようになっている。
この場合、各画素において、１フレーム期間（１／６０秒）を４分割した１／２４０秒以下でＲ，Ｇ，Ｂ，Ｉｒの各ＬＥＤを順次駆動（時分割駆動）する。すなわち、Ｒのフィールドの駆動電圧を書き込んだ後にＲのバックライトを点灯させ、以下、同様に、Ｇのフィールドの駆動電圧を書き込んだ後にＧのバックライトを、Ｂのフィールドの駆動電圧を書き込んだ後にＢのバックライトを点灯させて画像の表示を行う。また、輝点を表示させる画素については、Ｉｒを透過させるように薄膜トランジスタに駆動電圧を入力した後にＩｒのバックライトを点灯させる。なお、表示画面を複数のブロックに分割し、ブロック毎に順次点灯させてもよい。
また、本実施形態では、画像処理モジュール２４と制御部２６とを別々の機能ブロックとして設けているが、これらは共通の演算手段によって構成されていてもよい。
また、本実施形態では、撮像画像の座標系における指示位置に対する各輝点の相対位置（撮像画像の中心と各輝点との相対位置、あるいは撮像画像の中心と各輝点の位置に応じて一意に定まる点（例えば各輝点の中点）との相対位置）および輝点間の距離の演算を操作装置２０で行っているが、これに限るものではない。例えば、撮像素子２３によって撮像された撮像画像の画像データ、あるいは撮像画像の座標系における指示位置および各輝点の座標のデータを液晶表示装置１０に送信し、液晶表示装置１０において算出するようにしてもよい。
また、本実施形態では、操作装置２０が撮像画像から検出した各輝点の識別情報、撮像画像の座標系における指示位置に対する各輝点の相対位置および輝点間の距離に基づいて、液晶表示装置１０が表示画面の座標系における指示位置を算出するようになっているが、これに限るものではない。例えば、液晶表示装置１０の通信モジュール１３から操作装置２０に、各輝点の識別情報（例えば各輝点の実際の輝度）と、輝点間の距離Ｌｄあるいは表示画面の座標系における各輝点の位置（座標）とを予め送信しておき、操作装置２０の画像処理モジュール２４が、液晶表示装置１０から受信した上記各情報と、撮像画像から抽出した各輝点の識別情報、撮像画像の座標系における指示位置に対する輝点の相対位置および輝点間の距離に基づいて、表示画面の座標系における指示位置を算出するようにしてもよい。この場合、表示画面の座標系における指示位置の算出結果を、操作装置２０から液晶表示装置１０に送信するようにすればよい。
また、本実施形態では、表示画面に輝点を２つ表示させる構成について説明したが、これに限らず、３つ以上の輝点を表示させてもよい。輝点を３つ以上表示させる場合にも、２つ表示させる場合と同様、各輝点を互いに識別可能な方法で表示し、表示画面の座標系における各輝点の位置関係と撮像画像の座標系における各輝点の位置関係とに基づいて撮像時における操作装置２０の回転角度を算出すればよい。
ここで、輝点を３つ表示させる場合の、表示画面上における指示位置の算出方法の例について説明する。図１８（ａ）は液晶表示装置１０の表示部１１に表示される３つの輝点Ａ，Ｃ，Ｈの一例を示す説明図であり、図１８（ｃ）は図１８（ａ）に示した表示部１１を操作装置２０に備えられる撮像素子２３で図１８（ｂ）に示したように斜め視角方向から撮像した場合の撮像画像の一例を示す説明図である。
図１８（ｃ）に示すように、撮像画像の座標系における指示位置（ここでは撮像画像の中心）の座標を（ｘｃ，ｙｃ）、撮像画像の座標系における輝点Ａ，Ｃ，Ｈの座標をそれぞれ（ｘＩａ，ｙＩａ），（ｘＩｃ，ｙＩｃ），（ｘＩｈ，ｙＩｈ）とする。また、図１８（ａ）に示すように、表示画面の座標系における輝点Ａ，Ｃ，Ｈの座標をそれぞれ（ｘＤａ，ｙＤａ），（ｘＤｃ，ｙＤｃ），（ｘＤｈ，ｙＤｈ）、表示画面の座標系における指示位置の座標を（ｘｐ，ｙｐ）とする。
まず、撮像画像の座標系における各輝点と表示画面の座標系における各輝点との対応関係を決定する。本実施形態では、図１９（ａ）に示したように、表示画面の座標系において、３つの輝点の重心を原点（０，０）としたときに、輝点Ａを第二象限、輝点Ｃを第一象限、輝点Ｈを第三象限と第四象限との境界線上（ｙ軸上）に配置している。
そして、図１９（ｂ）に示したように、撮像画像の座標系において、各輝点の重心を原点（０，０）としたときに、第二象限に位置する輝点をＡ，第一象限に位置する輝点をＣ，第三象限と第四象限との境界部に位置する輝点をＨとする。
そして、行列Ｄおよび行列Ｉを下記のように定義する。
Figure 0004745317
Figure 0004745317
この場合、Ｄ＝ＭＩを満たす行列式ＭはＭ＝ＤＩ−１となるので、表示画面の座標系における指示位置（ｘｐ，ｙｐ）は下記の行列式を演算することによって算出される。
Figure 0004745317
なお、これらの演算は、操作装置２０の画像処理モジュール２４あるいは制御部２６で行ってもよく、液晶表示装置１０の表示制御部３１で行ってもよい。
このように、３点以上の輝点に基づいて操作装置２０による表示画面上の指示位置を算出することにより、操作装置２０によって表示画面の正面から指し示した場合に限らず、例えば図１８（ｂ）に示すように操作装置２０によって表示画面の斜め視角方向から指し示した場合であっても、操作装置２０による表示画面上の指示位置を適切に算出することができる。
〔実施形態２〕
本発明の他の実施形態について説明する。なお、説明の便宜上、実施形態１と同様の機能を有する部材については同じ符号を付し、その説明を省略する。
本実施形態では、操作装置２０による撮像結果に基づいて表示画面の座標系における指示位置、および表示画面と操作装置２０との距離を算出し、算出結果に基づいて輝点の表示位置を制御する。これにより、本実施形態では、操作装置２０と表示画面との距離が非常に短い場合であっても、操作装置２０によって指示できる表示画面上の領域をさらに広げることができるようになっている。
図２０は、本実施形態にかかる表示システム１ｂの概略構成を示すブロック図である。この図に示すように、本実施形態にかかる表示システム１ｂは、実施形態１の表示システム１に加えて、液晶表示装置１０が距離算出部３５、表示位置算出部３６、および記憶部３７を備えている。なお、距離算出部３５はおよび表示位置算出部３６は制御部１２に備えられている。
距離算出部３５は、表示画面に現在表示されている輝点間の間隔を算出する。
表示位置算出部３６は、表示制御部３１が算出した表示画面の座標系における操作装置２０による指示位置と、距離算出部３５が算出した表示画面に現在表示されている輝点間の間隔と、操作装置２０から受信した撮像画像における輝点間の間隔とに基づいて、変更後の輝点の表示位置を算出する。
記憶部３７には、図２１に示すように、表示画面の座標系における現在の各輝点間の水平方向についての間隔と、撮像画像の座標系における各輝点間の水平方向についての間隔と、変更（設定）後の各輝点の水平方向についての間隔とを対応付けたルックアップテーブルが予め保存されている。なお、このルックアップテーブルに保存される変更後の各輝点の間隔は、表示画面と操作装置２０との距離が短くなるほど短い間隔になるように設定されている。また、垂直方向の間隔については水平方向の間隔に対する比が一定に設定されており、変更後の水平方向の間隔が決定すれば、それに基づいて垂直方向の間隔も一意に算出されるようになっている。ただし、これに限らず、水平方向の間隔および垂直方向の間隔の両方をルックアップテーブルに格納しておいてもよい。
表示位置算出部３６は、このルックアップテーブルを参照し、表示画面に現在表示されている輝点間の間隔と、撮像画像における輝点間の間隔とに対応する変更後の輝点間の間隔を抽出する。そして、表示制御部３１が現在表示されている輝点に基づいて算出した表示画面の座標系における操作装置２０による指示位置の近傍に、上記のように抽出した変更後の輝点間間隔で各輝点を表示させるように、各輝点の表示位置を算出する。より具体的には、変更前の表示位置に表示された輝点に基づいて算出された操作装置２０による指示位置と、指示位置の算出に用いた各輝点の表示位置変更後の中点（あるいは重心）とを一致させるように変更後の表示位置を算出する。そして、表示画面に表示させる各輝点の位置を、この算出した表示位置に変更する。
以上のように、本実施形態にかかる表示システム１ｂでは、表示画面に現在表示されている輝点に基づいて操作装置２０による指示位置を算出し、算出した指示位置の近傍に輝点の表示位置を変更する。これにより、図２２（ａ）および図２２（ｂ）に示すように、各輝点が常に操作装置２０による指示位置の近傍に表示されるので、操作装置２０による指示位置を移動させた場合に表示画面上の輝点が操作装置２０の撮像範囲から外れて指示位置を検出できなることを防止できる。
また、本実施形態では、表示画面と操作装置２０との距離が近くなるほど輝点間の間隔を短くするように各輝点の表示位置を制御する。これにより、図２３（ａ）および図２３（ｂ）に示すように、各輝点を操作装置２０による撮像範囲内に表示させることができるので、表示画面と操作装置２０との距離に関わらず操作装置２０による指示位置を適切に算出することができる。なお、図２３（ａ）は表示画面と操作装置２０との距離が長い場合における変更後の各輝点の表示位置の例を示す説明図であり、図２３（ｂ）は表示画面と操作装置２０との距離が短い場合における変更後の各輝点の表示位置の例を示す説明図である。
なお、本実施形態では、記憶部３７に備えられるルックアップテーブルを参照して変更後の輝点間の間隔を算出する構成について説明したが、これに限らず、表示画面の座標系における現在の各輝点間の間隔と、撮像画像の座標系における各輝点間の間隔と、変更（設定）後の各輝点の間隔とを関連付けた関数を記憶部３７に記憶させておき、この関数を用いて変更後の各輝点の間隔を演算するようにしてもよい。
また、上記各実施形態において、液晶表示装置１０に備えられる表示制御部３１、操作装置２０に備えられる画像処理モジュール２４および制御部２６は、ＣＰＵ等のプロセッサを用いてソフトウェアによって実現される。すなわち、表示制御部３１、画像処理モジュール２４、および制御部２６は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである液晶表示装置１０、あるいは操作装置２０の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、液晶表示装置１０、あるいは操作装置２０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによって達成される。
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
また、液晶表示装置１０および／または操作装置２０を通信ネットワークと接続可能に構成し、通信ネットワークを介して上記プログラムコードを供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
また、液晶表示装置１０および操作装置２０の各ブロックは、ソフトウェアを用いて実現されるものに限らず、ハードウェアロジックによって構成されるものであってもよく、処理の一部を行うハードウェアと当該ハードウェアの制御や残余の処理を行うソフトウェアを実行する演算手段とを組み合わせたものであってもよい。
また、上記各実施形態では、本発明を液晶表示装置に適用する場合について説明したが、これに限るものではなく、表示画面内における所定の画素を輝点とすることのできる表示装置であれば適用できる。本発明は、例えば、プラズマディスプレイ、有機ＥＬディスプレイなどに適用することもできる。
また、上記各実施形態では、表示画面内における所定の画素（あるいは画素群）から赤外波長域の光を出射させ、当該画素（あるいは画素群）を輝点として機能させる構成について説明したが、これに限るものではない。例えば、画像データに応じた画像を表示する表示パネルとこの表示パネルの表示画面内において輝点となるＬＥＤ等の赤外発光手段とを別々に備えてもよい。この場合、例えば、表示パネルの表面に赤外発光手段を配置してもよく、表示パネルに切欠部を設け、この切欠部を介して赤外波長域の光が出射されるように赤外発光手段を配置してもよい。
また、上記各実施形態では、全ての輝点が表示画面内に配置されているが、これに限るものではなく、表示画面内に少なくとも１つ以上の輝点が設けられていればよい。表示画面の外部に輝点を設けるとともに、表示画面内に少なくとも１つ以上の輝点を表示し、これら各輝点に基づいて表示画面上の指示位置を算出するようにしてもよい。
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
本発明は、表示装置と、この表示装置における表示画面上の任意の位置を上記表示画面に非接触な状態で指し示す操作装置とを含む表示システムに適用できる。例えば、会議、プレゼンテーション、ゲーム等の画像を表示装置の表示画面に表示し、この表示画面上の位置を操作装置によって任意に指し示すポインティングデバイスに適用できる。
本発明の一実施形態にかかる表示システムの表示装置に表示される輝点の一例を示す説明図である。 本発明の一実施形態にかかる表示システムの概略構成を示すブロック図である。 図２の表示システムに備えられる表示装置の概略構成を示すブロック図である。 図３の表示装置の表示部に備えられる各副画素の概略構成を示す模式図である。 図３の表示装置に備えられる表示部の断面図である。 図２の表示システムに備えられる操作装置における画像処理モジュールの構成を示すブロック図である。 図２の表示システムにおける処理の流れを示すフロー図である。 図３の表示装置において、表示画面を複数のブロックに分割し、複数のブロックの中から選択した任意のブロックを赤外発光輝点として機能させる構成を示す説明図である。 （ａ）〜（ｃ）は、輝点Ａ，Ｅ，Ｈに相当するブロック内のＩｒのサブピクセルに供給される駆動電圧の波形の一例を示す波形図である。 図１に示した各輝点をグループ分けし、グループ毎に表示方法を異ならせる場合のグループ分け方法の一例を示す説明図である。 （ａ）および（ｂ）は、撮像画像に含まれる多数の輝点の中から指示位置の算出に用いる輝点を選択する選択方法の一例を示す説明図である。 （ａ）は図３に示した表示装置の表示部に表示される輝点の一例を示す説明図であり、（ｂ）は（ａ）に示した表示部を操作装置の上下が反転している状態で撮像したの撮像画像を示す説明図である。（ｃ）は（ｂ）の撮像画像を１８０°回転させた画像を示す説明図である。 （ａ）〜（ｃ）は、輝点Ａ，Ｅ，Ｈに相当するブロック内のＩｒのサブピクセルに供給される駆動電圧の波形の一例を示す波形図である。 （ａ）〜（ｃ）は、輝点Ａ，Ｅ，Ｈに相当するブロック内のＩｒのサブピクセルに供給される駆動電圧の波形の一例を示す波形図である。 （ａ）〜（ｃ）は、輝点Ａ，Ｅ，Ｈに相当するブロック内のＩｒのサブピクセルに供給される駆動電圧の波形の一例を示す波形図である。 図３の表示装置に備えられるバックライトユニットの変形例を示す斜視図である。 図３の表示装置に備えられるバックライトユニットの変形例を示す斜視図である。 （ａ）は指示位置の算出に用いる輝点として３点を選択する場合の一例を示す説明図であり、（ｂ）は上記表示装置の表示面に対する操作装置の撮像方向を示す説明図であり、（ｃ）は（ａ）に示した表示部を操作装置に備えられる撮像素子で（ｂ）に示す撮像方向から撮像した場合の撮像画像を示す説明図である。 （ａ）は指示位置の算出に用いる３つの輝点とこれら各輝点の重心との表示画面の座標系における関係を示す説明図であり、（ｂ）は（ａ）に示した表示部を操作装置に備えられる撮像素子で撮像した撮像画像における各輝点と各輝点の重心との関係を示す説明図である。 本発明の他の実施形態にかかる表示システムの概略構成を示すブロック図である。 本発明の他の実施形態にかかる表示システムの表示装置に備えられる記憶部に保存される、ルックアップテーブルの一例を示す説明図である。 （ａ）および（ｂ）は、本発明の他の実施形態にかかる表示システムにおける、操作装置による指示位置と表示画面における輝点の表示位置との関係を示す説明図である。 （ａ）は、本発明の他の実施形態にかかる表示システムにおいて、表示装置の表示画面と操作装置との距離が長い場合における変更後の各輝点の表示位置の例を示す説明図である。（ｂ）は、本発明の他の実施形態にかかる表示システムにおいて、表示装置の表示画面と操作装置との距離が短い場合における変更後の各輝点の表示位置の例を示す説明図である。 （ａ）および（ｂ）は、従来技術にかかる表示システムにおける、操作装置と表示装置との距離と操作装置による指示位置を検出可能な範囲との関係を示す説明図である。 （ａ）および（ｂ）は、従来技術にかかる表示システムにおける、操作装置と表示装置との距離と操作装置による指示位置を検出可能な範囲との関係を示す説明図である。
符号の説明
１，１ｂ 表示システム
１０ 液晶表示装置
１１ 表示部（表示パネル）
１２ 制御部
１３ 通信モジュール
２０ 操作装置
２１ 赤外透過フィルタ
２２ レンズ
２３ 撮像素子
２４ 画像処理モジュール
２５ 操作スイッチ
２６ 制御部
２７ 通信モジュール
３１ 表示制御部
３２ ソースドライバ
３３ ゲートドライバ
３５ 距離算出部
３６ 表示位置算出部
３７ 記憶部
３８ 指示位置算出部
５６ カラーフィルタ層
６０ バックライトユニット
６１ 光源
７１ Ａ／Ｄ変換部
７２ 輝点選択部
７３ 識別情報抽出部
７４ 輝点位置算出部
７５ 輝点間距離算出部
Ａ〜Ｈ 輝点（赤外発光輝点）

Claims (14)

  1. 画像データに応じた画像を表示するための表示画面を備えた表示装置と、上記表示画面に対して非接触な位置から上記表示画面上の任意の位置を指し示し、この表示画面上の指示位置を含む画像を撮像する操作装置と、上記表示画面に設けられた赤外波長域の光を出射する３つ以上の赤外発光輝点と、上記操作装置によって撮像された撮像画像に含まれる上記赤外発光輝点の位置に基づいて表示画面上における上記指示位置を検出する指示位置検出手段とを備えた表示システムであって、
    上記撮像画像に含まれる赤外発光輝点の中から所定数の赤外発光輝点を選択する輝点選択部と、
    上記輝点選択部の選択した各赤外発光輝点同士を識別する輝点識別部と、
    上記輝点識別部が上記撮像画像に基づいて各赤外発光輝点同士を識別できる方法で上記各赤外発光輝点を発光させる表示制御手段とを備え、
    上記表示画面はマトリクス状に配置された多数の画素を有する表示パネルからなり、
    上記各画素は互いに異なる波長域の光を出射する複数の副画素を備え、
    上記多数の画素のうちの少なくとも一部の画素は、上記副画素として赤外波長域の光を出射する赤外副画素を有しており、
    上記表示制御手段は、上記各副画素から出射される光の光量を制御し、上記赤外副画素のうちの少なくとも一部の赤外副画素を上記赤外発光輝点として機能させ、
    上記指示位置検出手段は、上記輝点選択部の選択した各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての上記輝点識別部の識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における上記指示位置とに基づいて表示画面上における上記指示位置を検出することを特徴とする表示システム。
  2. 上記表示パネルは透過型の液晶表示パネルであり、
    上記液晶表示パネルにおける画像表示面とは反対側に配置された、赤外波長域に分光分布を有する光を出射するバックライトと、
    上記液晶表示パネルに備えられ、上記各副画素に対応する領域において当該各副画素に応じた波長域の光を透過するカラーフィルタ層とを備えていることを特徴とする請求項１に記載の表示システム。
  3. 画像データに応じた画像を表示するための表示画面を備えた表示装置と、上記表示画面に対して非接触な位置から上記表示画面上の任意の位置を指し示し、この表示画面上の指示位置を含む画像を撮像する操作装置と、上記表示画面に設けられた赤外波長域の光を出射する３つ以上の赤外発光輝点と、上記操作装置によって撮像された撮像画像に含まれる上記赤外発光輝点の位置に基づいて表示画面上における上記指示位置を検出する指示位置検出手段とを備えた表示システムであって、
    上記撮像画像に含まれる赤外発光輝点の中から所定数の赤外発光輝点を選択する輝点選択部と、
    上記輝点選択部の選択した各赤外発光輝点同士を識別する輝点識別部と、
    上記輝点識別部が上記撮像画像に基づいて各赤外発光輝点同士を識別できる方法で上記各赤外発光輝点を発光させる表示制御手段とを備え、
    上記表示画面はマトリクス状に配置された多数の画素を有する透過型の液晶表示パネルであり、
    上記液晶表示パネルにおける画像表示面とは反対側に赤，緑，青，赤外を含む複数色の光源が画素毎あるいは複数の画素からなる画素群毎に設けられており、
    上記表示制御手段は、上記各画素あるいは上記各画素群における上記各色の光源を時分割で順次駆動することにより、上記画像データに応じた画像および上記赤外発光輝点を上記液晶表示パネルに表示させ、
    上記指示位置検出手段は、上記輝点選択部の選択した各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての上記輝点識別部の識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における上記指示位置とに基づいて表示画面上における上記指示位置を検出することを特徴とする表示システム。
  4. 上記表示制御手段は、上記各赤外発光輝点について、輝度、発光期間、発光周期、発光パターン、および所定時間あたりのＯＮ／ＯＦＦの切り替え回数のうちの少なくとも１つを互いに異ならせることを特徴とする請求項１から３のいずれか１項に記載の表示システム。
  5. 画像データに応じた画像を表示するための表示画面を備えた表示装置と、上記表示画面に対して非接触な位置から上記表示画面上の任意の位置を指し示し、この表示画面上の指示位置を含む画像を撮像する操作装置と、上記表示画面に設けられた赤外波長域の光を出射する３つ以上の赤外発光輝点と、上記操作装置によって撮像された撮像画像に含まれる上記赤外発光輝点の位置に基づいて表示画面上における上記指示位置を検出する指示位置検出手段とを備えた表示システムであって、
    上記撮像画像に含まれる赤外発光輝点の中から所定数の赤外発光輝点を選択する輝点選択部と、
    上記輝点選択部の選択した各赤外発光輝点同士を識別する輝点識別部と、
    上記輝点識別部が上記撮像画像に基づいて各赤外発光輝点同士を識別できる方法で上記各赤外発光輝点を発光させる表示制御手段とを備え、
    上記表示制御手段は、
    上記各赤外発光輝点を複数のグループに分類し、分類したグループ毎に輝度、発光期間、発光周期、発光パターン、および所定時間あたりのＯＮ／ＯＦＦの切り替え回数のうちの少なくとも１つを異ならせ、
    上記指示位置検出手段は、上記輝点選択部の選択した各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての上記輝点識別部の識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における上記指示位置とに基づいて表示画面上における上記指示位置を検出することを特徴とする表示システム。
  6. 上記表示制御手段は、
    上記各赤外発光輝点を行方向および列方向に並ぶマトリクス状に配置し、
    行方向に隣接する赤外発光輝点同士および列方向に隣接する赤外発光輝点同士のうちの少なくとも一方について、輝度、発光期間、発光周期、発光パターン、および所定時間あたりのＯＮ／ＯＦＦの切り替え回数のうちの少なくとも１つを互いに異ならせることを特徴とする請求項５に記載の表示システム。
  7. 上記表示制御手段は、上記表示画面における上記指示位置に対応する位置に所定の画像を表示させることを特徴とする請求項１から６のいずれか１項に記載の表示システム。
  8. 表示画面に表示した上記各赤外発光輝点の位置と上記撮像画像における上記各赤外発光輝点の位置とに基づいて、上記撮像画像を撮像したときの上記操作装置における撮像方向を軸とする回転角度を算出する回転算出部を備え、
    上記指示位置検出手段は、上記輝点選択部の選択した各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての上記輝点識別部の識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における上記指示位置と、上記回転算出部の算出した回転角度とに基づいて表示画面上における上記指示位置を検出することを特徴とする請求項１から７のいずれか１項に記載の表示システム。
  9. 上記表示制御手段は、上記各赤外発光輝点の表示位置を前回の表示位置よりも上記指示位置検出手段が検出した上記指示位置に近づけるように変更することを特徴とする請求項１から３のいずれか１項に記載の表示システム。
  10. 画像データに応じた画像を表示するための表示画面を備えた表示装置と、上記表示画面に対して非接触な位置から上記表示画面上の任意の位置を指し示し、この表示画面上の指示位置を含む画像を撮像する操作装置と、上記表示画面に設けられた赤外波長域の光を出射する３つ以上の赤外発光輝点と、上記操作装置によって撮像された撮像画像に含まれる上記赤外発光輝点の位置に基づいて表示画面上における上記指示位置を検出する表示システムにおける上記指示位置の検出方法であって、
    上記表示システムに備えられる輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で上記各赤外発光輝点を発光させる工程と、
    上記撮像画像に含まれる赤外発光輝点の中から所定数の赤外発光輝点を選択する輝点選択工程と、
    上記輝点選択工程で選択した各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての上記輝点識別部の識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における上記指示位置とに基づいて表示画面上における上記指示位置を検出する工程とを含み、
    上記表示画面はマトリクス状に配置された多数の画素を有する表示パネルからなり、
    上記各画素は互いに異なる波長域の光を出射する複数の副画素を備え、
    上記多数の画素のうちの少なくとも一部の画素は、上記副画素として赤外波長域の光を出射する赤外副画素を有しており、
    上記各副画素から出射される光の光量を制御し、上記赤外副画素のうちの少なくとも一部の赤外副画素を上記赤外発光輝点として機能させることを特徴とする指示位置の検出方法。
  11. 画像データに応じた画像を表示するための表示画面を備えた表示装置と、上記表示画面に対して非接触な位置から上記表示画面上の任意の位置を指し示し、この表示画面上の指示位置を含む画像を撮像する操作装置と、上記表示画面に設けられた赤外波長域の光を出射する３つ以上の赤外発光輝点と、上記操作装置によって撮像された撮像画像に含まれる上記赤外発光輝点の位置に基づいて表示画面上における上記指示位置を検出する表示システムにおける上記指示位置の検出方法であって、
    上記表示システムに備えられる輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で上記各赤外発光輝点を発光させる工程と、
    上記撮像画像に含まれる赤外発光輝点の中から所定数の赤外発光輝点を選択する輝点選択工程と、
    上記輝点選択工程で選択した各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての上記輝点識別部の識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における上記指示位置とに基づいて表示画面上における上記指示位置を検出する工程とを含み、
    上記表示画面はマトリクス状に配置された多数の画素を有する透過型の液晶表示パネルであり、
    上記液晶表示パネルにおける画像表示面とは反対側に赤，緑，青，赤外を含む複数色の光源が画素毎あるいは複数の画素からなる画素群毎に設けられており、
    上記各画素あるいは上記各画素群における上記各色の光源を時分割で順次駆動することにより、上記画像データに応じた画像および上記赤外発光輝点を上記液晶表示パネルに表示させることを特徴とする指示位置の検出方法。
  12. 画像データに応じた画像を表示するための表示画面を備えた表示装置と、上記表示画面に対して非接触な位置から上記表示画面上の任意の位置を指し示し、この表示画面上の指示位置を含む画像を撮像する操作装置と、上記表示画面に設けられた赤外波長域の光を出射する３つ以上の赤外発光輝点と、上記操作装置によって撮像された撮像画像に含まれる上記赤外発光輝点の位置に基づいて表示画面上における上記指示位置を検出する表示システムにおける上記指示位置の検出方法であって、
    上記表示システムに備えられる輝点識別部が上記撮像画像に基づいて上記各赤外発光輝点同士を識別できる方法で上記各赤外発光輝点を発光させる工程と、
    上記撮像画像に含まれる赤外発光輝点の中から所定数の赤外発光輝点を選択する輝点選択工程と、
    上記輝点選択工程で選択した各赤外発光輝点の撮像画像における位置と、これら各赤外発光輝点についての上記輝点識別部の識別結果と、これら各赤外発光輝点の表示画面上における位置と、撮像画像における上記指示位置とに基づいて表示画面上における上記指示位置を検出する工程とを含み、
    上記各赤外発光輝点を複数のグループに分類し、分類したグループ毎に輝度、発光期間、発光周期、発光パターン、および所定時間あたりのＯＮ／ＯＦＦの切り替え回数のうちの少なくとも１つを異ならせることを特徴とする指示位置の検出方法。
  13. コンピュータを請求項１から９のいずれか１項に記載の表示システムにおける上記各手段として機能させるためのプログラム。
  14. 請求項１３に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2007290132A 2007-11-07 2007-11-07 表示システムおよび指示位置の検出方法 Expired - Fee Related JP4745317B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2007290132A JP4745317B2 (ja) 2007-11-07 2007-11-07 表示システムおよび指示位置の検出方法
US12/264,007 US20090122030A1 (en) 2007-11-07 2008-11-03 Display system and method for detecting pointed position
CN2008101745143A CN101430626B (zh) 2007-11-07 2008-11-05 显示系统及指示位置的检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007290132A JP4745317B2 (ja) 2007-11-07 2007-11-07 表示システムおよび指示位置の検出方法

Publications (2)

Publication Number Publication Date
JP2009116701A JP2009116701A (ja) 2009-05-28
JP4745317B2 true JP4745317B2 (ja) 2011-08-10

Family

ID=40623274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007290132A Expired - Fee Related JP4745317B2 (ja) 2007-11-07 2007-11-07 表示システムおよび指示位置の検出方法

Country Status (3)

Country Link
US (1) US20090122030A1 (ja)
JP (1) JP4745317B2 (ja)
CN (1) CN101430626B (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013019921A (ja) * 2009-11-10 2013-01-31 Panasonic Corp 液晶表示装置
US8672763B2 (en) 2009-11-20 2014-03-18 Sony Computer Entertainment Inc. Controller for interfacing with a computing program using position, orientation, or motion
JP2012113494A (ja) * 2010-11-24 2012-06-14 Sas Kk 指示位置検出装置および指示位置検出方法
TWI506487B (zh) * 2011-03-30 2015-11-01 Hon Hai Prec Ind Co Ltd 觸摸屏及其控制方法
KR20130006165A (ko) * 2011-07-08 2013-01-16 삼성전자주식회사 터치 인식 방법 및 이를 적용한 디스플레이 시스템
KR20130038081A (ko) * 2011-10-07 2013-04-17 삼성전자주식회사 디스플레이 패턴 인식을 이용한 입력 위치 검출 장치 및 방법
KR20130049562A (ko) * 2011-11-04 2013-05-14 삼성전자주식회사 터치 지점 인식 방법 및 터치 시스템, 그리고 디스플레이 장치
US10036907B2 (en) * 2012-09-26 2018-07-31 Apple Inc. Electronic equipment with status indicators
CN103885641B (zh) * 2012-12-20 2017-07-25 联想(北京)有限公司 信息处理的方法及电子设备
JP6075122B2 (ja) * 2013-03-05 2017-02-08 株式会社リコー システム、画像投影装置、情報処理装置、情報処理方法およびプログラム
US20150015478A1 (en) * 2013-07-11 2015-01-15 Samsung Display Co., Ltd. Ir emissive display facilitating remote eye tracking
US9454265B2 (en) 2013-09-23 2016-09-27 Qualcomm Incorporated Integration of a light collection light-guide with a field sequential color display
US20150083917A1 (en) * 2013-09-23 2015-03-26 Qualcomm Incorporated Infrared light director for gesture or scene sensing fsc display
KR20150109533A (ko) * 2014-03-19 2015-10-02 삼성디스플레이 주식회사 표시장치
JP2016110238A (ja) * 2014-12-02 2016-06-20 アルパイン株式会社 タッチパネルディスプレイ
JP2016110436A (ja) * 2014-12-08 2016-06-20 株式会社リコー 画像投影装置、及び対話型入出力システム。
US9851091B2 (en) * 2015-02-18 2017-12-26 Lg Electronics Inc. Head mounted display
KR102430499B1 (ko) * 2015-09-22 2022-08-11 삼성전자주식회사 Led 조명의 검사 장치 및 검사 방법
CN106598346A (zh) * 2017-01-03 2017-04-26 京东方科技集团股份有限公司 一种触控显示面板及显示装置
CN107341991A (zh) * 2017-05-17 2017-11-10 广州视源电子科技股份有限公司 位置指示方法、用于位置指示的操作装置与显示系统
JP7022559B2 (ja) * 2017-10-17 2022-02-18 株式会社トプコン 無人航空機の制御方法および無人航空機の制御用プログラム
US11054695B2 (en) * 2018-07-11 2021-07-06 Sharp Kabushiki Kaisha Chip-mounted board, display device, and method for producing chip-mounted board
KR20200121440A (ko) * 2019-04-15 2020-10-26 삼성디스플레이 주식회사 표시 장치 및 이의 구동 방법
CN110501825A (zh) * 2019-07-29 2019-11-26 惠州市德赛西威汽车电子股份有限公司 一种液晶屏光学性能自动化测试装置及方法
CN111556223B (zh) * 2020-04-28 2022-08-23 广州视源电子科技股份有限公司 指向信息确定方法、装置、演示设备、显示设备及介质
JP2024035544A (ja) 2022-09-02 2024-03-14 キヤノン株式会社 情報処理装置、情報処理方法、プログラム

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US67419A (en) * 1867-08-06 William a
US18915A (en) * 1857-12-22 Improvement in sewing-machines
JPH06342146A (ja) * 1992-12-11 1994-12-13 Canon Inc 画像表示装置、半導体装置及び光学機器
JP3422383B2 (ja) * 1994-09-05 2003-06-30 株式会社タイトー 射撃ゲーム装置におけるビデオ画面とガンの相対位置を検出する方法及び装置
JP3517482B2 (ja) * 1995-06-08 2004-04-12 キヤノン株式会社 座標検出装置及び方法
US6570584B1 (en) * 2000-05-15 2003-05-27 Eastman Kodak Company Broad color gamut display
US6993206B2 (en) * 2001-03-22 2006-01-31 Nikon Corporation Position detector and attitude detector
JP2002298145A (ja) * 2001-04-02 2002-10-11 Nikon Gijutsu Kobo:Kk 位置検出装置及び姿勢検出装置
JP3626711B2 (ja) * 2001-08-09 2005-03-09 コナミ株式会社 指向位置検出用マーカ、指向位置検出装置及び射的ゲーム装置
JP4645822B2 (ja) * 2005-04-19 2011-03-09 ソニー株式会社 画像表示装置および物体の検出方法
CN100407115C (zh) * 2005-06-10 2008-07-30 原相科技股份有限公司 具有遮光元件的光学指向装置
KR100714722B1 (ko) * 2005-06-17 2007-05-04 삼성전자주식회사 광원의 신호를 사용하여 포인팅 사용자 인터페이스를구현하는 장치 및 방법
US7532181B2 (en) * 2005-07-20 2009-05-12 Eastman Kodak Company Visible and invisible image display
WO2007018262A1 (ja) * 2005-08-11 2007-02-15 Pioneer Corporation バックライト装置および液晶ディスプレイ装置
JP2007066080A (ja) * 2005-08-31 2007-03-15 Casio Comput Co Ltd ポインティングデバイス
JP2007086995A (ja) * 2005-09-21 2007-04-05 Sharp Corp ポインティング装置
JP4550118B2 (ja) * 2005-10-17 2010-09-22 パイオニア株式会社 表示装置、液晶表示装置、位置検出システムおよび位置検出方法
JP4404927B2 (ja) * 2007-10-10 2010-01-27 シャープ株式会社 表示システムおよび指示位置の検出方法

Also Published As

Publication number Publication date
CN101430626A (zh) 2009-05-13
US20090122030A1 (en) 2009-05-14
CN101430626B (zh) 2012-05-30
JP2009116701A (ja) 2009-05-28

Similar Documents

Publication Publication Date Title
JP4745317B2 (ja) 表示システムおよび指示位置の検出方法
JP4745316B2 (ja) 表示システムおよび指示位置の検出方法
JP4404927B2 (ja) 表示システムおよび指示位置の検出方法
JP6246292B2 (ja) 光検出機能を備えるｏｌｅｄディスプレイ装置
US8797297B2 (en) Display device
US8847907B2 (en) Display device and display direction switching system
CN107422571B (zh) 显示面板、装置及其操控方法
US9201532B2 (en) Information input device, information input program, and electronic instrument
US20120212412A1 (en) Pointing device
KR20150102787A (ko) 전자 장치 및 표시 방법
WO2010100798A1 (ja) 表示装置、テレビ受信装置およびポインティングシステム
JP5743048B2 (ja) 画像表示装置、電子機器、画像表示システム、画像表示方法、プログラム
US20120120007A1 (en) Transparent display apparatus and method of controlling the same
JP4702395B2 (ja) 表示装置および電子機器
JP2011257496A (ja) 画像表示装置、電子機器、画像表示システム、画像表示方法、照明光分布補正装置、照明光分布補正方法、プログラム
JP4457144B2 (ja) 表示システム、液晶表示装置
US20140049852A1 (en) Display device
CN111176038A (zh) 一种可识别外光的显示面板
CN112687242A (zh) 显示面板的显示调节方法、显示调节装置及电子设备
JP2016051002A (ja) 表示装置、光補正装置及び光補正方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110419

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110511

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140520

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Ref document number: 4745317

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees