JP5308705B2 - 表示装置および表示方法 - Google Patents

Description

本発明は、レーザポインタなどの指示装置によって画面に照射された光を利用する表示装置および表示方法に関する。

大型の画面を用いてプレゼンテーションを行う発表者は、レーザポインタなどの光を照射して、画面に表示される映像内の位置を指し示し、画面を見る人は、画面に照射されたレーザポインタなどの光の位置によって、発表者が指し示したい位置を認識する。

特許文献１に記載されているポインティングデバイスは、レーザポインタによって指示ポインタが指示されている画面をＣＣＤカメラで撮像し、ＣＣＤカメラによって撮像された画像の中の画面の辺を認識し、認識した画面の辺の位置から指示ポインタの座標位置を特定するものである。したがって、画面に対して斜めの位置から指示してもレーザポインタによって指示される位置を特定することができる。

特許文献２に記載されている指示情報入力装置は、プロジェクタによって画像が表示された投影スクリーンをビデオカメラによって撮影し、ビデオカメラによって撮影された映像信号と、表示している映像信号との差分を抽出することによって、レーザポインタによって投射されている光の位置を特定する。さらに、指示情報入力装置は、レーザポインタによって投射されている光の色あるいは輝度が変化したとき、マウスと同様な入力操作をレーザポインタを用いて行うことが可能となる。

特許文献３に記載されている視野角制御表示装置は、見る人と画面との角度に応じて異なる画面を表示装置に表示するものであり、画面を構成する各発光素子に対応して、その発光素子による画面を見ることのできる角度内からきた光のみを選択受光する受光素子を備える。視野角制御表示装置は、この受光素子によって、レーザポインタなどから照射される光を受光する。

特開２００１−２３６１８１号公報 特開平９−６２４４４号公報 特開平６−２３０８９６号公報

しかしながら、液晶ディスプレイなど表示装置自体が発光する画面にレーザポインタなどで光を照射した場合、画面を見る人は、レーザポインタからの光が液晶ディスプレイに吸収されて、光が照射されている位置を判別し難い場合がある。特許文献３に記載されている視野角制御表示装置は、発光素子ごとに受光素子が設けられており、レーザポインタによって光が照射された位置の受光素子が光を受光するので、光が照射された位置を正確に把握することはできるが、画面を見る人に光が照射されている位置をわかりやすくすることはできない。特許文献２に記載されている指示情報入力装置は、レーザポインタによって投射されている光の色あるいは輝度の変化によって、マウスと同様な入力操作をレーザポインタを用いて行うことが可能となると記載されているが、具体的にどのようにマウスと同様の操作を行うかについては開示されていない。

本発明の目的は、光を照射する指示装置によって画面に照射された光に応じた制御を行うことができる表示装置および表示方法を提供することである。

本発明は、画像を表示画面上に表示する複数の画素と、前記表示画面に受光する光の強さを複数の位置ごとに検出する検出部とを備える表示手段と、
前記検出部によって検出された光の強さが、予め定める期間予め定める基準強度以上であるとき、連続する出射パターンであると判定し、前記光の強さが、予め定める基準強度以上である状態と予め定める基準強度未満である状態とが予め定める期間にわたって繰り返されるとき、パルス状の出射パターンであると判定する判別手段と、
前記判別手段によって判別されたパターンが連続する出射パターンであるとき、前記検出部によって検出された光の位置を示す第１の画像を表示させ、前記判別手段によって判別されたパターンがパルス状の出射パターンであるとき、前記検出部によって検出された光の位置を示す画像として、前記第１の画像とは異なる第２の画像を表示させるとともに、表示画面に表示される画像を変更する制御手段とを含むことを特徴とする表示装置である。

また本発明は、画像を表示画面上に表示する複数の画素と、前記表示画面に受光する光の強さを位置ごとに検出する検出部とを備える表示装置に画像を表示する表示方法であって、
前記検出部によって検出された光の強さが、予め定める期間予め定める基準強度以上であるとき、連続する出射パターンであると判定し、前記光の強さが、予め定める基準強度以上である状態と予め定める基準強度未満である状態とが予め定める期間にわたって繰り返されるとき、パルス状の出射パターンであると判定する判別ステップと、
前記判別ステップで判別されたパターンが連続する出射パターンであるとき、前記検出部によって検出された光の位置を示す第１の画像を表示させ、前記判別ステップで判別されたパターンがパルス状の出射パターンであるとき、前記検出部によって検出された光の位置を示す画像として、前記第１の画像とは異なる第２の画像を表示させるとともに、表示画面に表示される画像を変更する制御ステップとを含むことを特徴とする表示方法である。

本発明によれば、画像を表示画面上に表示する複数の画素と、前記表示画面に受光する光の強さを複数の位置ごとに検出する検出部とを備える表示手段に画像情報を表示するにあたって、判別手段によって、前記検出部によって検出された光の強さが、予め定める期間予め定める基準強度以上であるとき、連続する出射パターンであると判定し、前記光の強さが、予め定める基準強度以上である状態と予め定める基準強度未満である状態とが予め定める期間にわたって繰り返されるとき、パルス状の出射パターンであると判定され、制御手段によって、前記判別手段によって判別されたパターンが連続する出射パターンであるとき、前記検出部によって検出された光の位置を示す第１の画像が表示され、前記判別手段によって判別されたパターンがパルス状の出射パターンであるとき、前記検出部によって検出された光の位置を示す画像として、前記第１の画像とは異なる第２の画像が表示されるとともに、表示画面に表示される画像が変更される。

したがって、光を照射する指示装置によって画面に照射された光に応じた制御、たとえば光の強さが変化するパターンに応じて表示画像に対する制御を行うことができる。

また本発明によれば、画像を表示画面上に表示する複数の画素と、前記表示画面に受光する光の強さを位置ごとに検出する検出部とを備える表示装置に画像を表示するにあたって、判別ステップでは、前記検出部によって検出された光の強さが、予め定める期間予め定める基準強度以上であるとき、連続する出射パターンであると判定し、前記光の強さが、予め定める基準強度以上である状態と予め定める基準強度未満である状態とが予め定める期間にわたって繰り返されるとき、パルス状の出射パターンであると判定する。そして、制御ステップでは、前記判別ステップで判別されたパターンが連続する出射パターンであるとき、前記検出部によって検出された光の位置を示す第１の画像を表示させ、前記判別手段によって判別されたパターンがパルス状の出射パターンであるとき、前記検出部によって検出された光の位置を示す画像として、前記第１の画像とは異なる第２の画像を表示させるとともに、表示画面に表示される画像を変更する。

したがって、本発明に係る表示方法を適用すれば、光を照射する指示装置によって画面に照射された光に応じた制御、たとえば光の強さが変化するパターンに応じて表示画像に対する制御を行うことができる。

図１は、本発明の実施の一形態である表示装置１の構成を示す図である。表示装置１は、ディスプレイ装置１０、発光指示装置３０および映像生成装置５０を含んで構成される。本発明に係る表示方法は、表示装置１によって処理される。

ディスプレイ装置１０は、Ｎ個の映像入力端子１１、表示用・表示処理用一時記憶部１２、光センサ内蔵表示用デバイス１３、表示処理部１４、中央演算部１５、内部記憶部１６、リモートコントロール（以下「リモコン」という）受光部１７、リモコン処理部１８、受光箇所判定部１９、指示ポインタ表示データ作成部２０、および受光波形判定部２１およびシリアル通信処理部２２を含んで構成され、映像生成装置５０に接続されている。

映像入力端子１１は、映像生成装置５０などから出力される映像信号が入力される端子であり、Ｎ個の入力端子が設けられている。Ｎは、自然数である。各映像入力端子１１から入力された映像信号は、表示用・表示処理用一時記憶部１２に送られる。表示用・表示処理用一時記憶部１２は、半導体メモリあるいはハードディスク装置などによって構成される書き込みおよび読み出し可能な記憶装置であり、映像入力端子１１から受け取る映像信号を表す画像情報、および中央演算部１５によって表示処理および表示用加工処理が行われる画像情報を記憶する。表示用・表示処理用一時記憶部１２に記憶される画像情報は、表示処理部１４および中央演算部１５から読み出し可能である。

表示手段である光センサ内蔵表示用デバイス１３は、表示画像を構成する複数の画素、および受光する光の強さおよび色を検出する検出部である光センサを画素ごとに内蔵する液晶ディスプレイである。さらに、光センサ内蔵表示用デバイス１３は、各画素を構成する赤、緑および青のサブピクセルごとに光センサが設けられ、受光した光の色も画素ごとに検出することができる。光センサ内蔵表示用デバイス１３は、表示処理部１４から受け取る画像情報を表示し、各光センサが画素ごとに検出する光の強さ（以下「受光の強さ」という）および色（以下「受光色」という）を中央演算部１５に送る。

表示処理部１４は、表示用・表示処理用一時記憶部１２から読み出した画像情報を、中央演算部１５から指示される形式、たとえば光センサ内蔵表示用デバイス１３が表示可能な形式に変換して光センサ内蔵表示用デバイス１３に送り表示させる。

判別手段である中央演算部１５は、中央処理装置（以下「ＣＰＵ」という）およびディスプレイ装置１０を制御するための制御プログラムを記憶するメモリを含んで構成され、ＣＰＵがメモリに記憶される制御プログラムを実行することによって、光センサ内蔵表示用デバイス１３、表示処理部１４、リモコン処理部１８およびシリアル通信処理部２２を制御する。中央演算部１５は、ＣＰＵおよびメモリの代わりに、プログラミングすることができるＬＳＩ(Large Scale Integration)であるＦＰＧＡ(Field Programmable Gate
Array)、特定の用途のために設計、製造される集積回路であるＡＳＩＣ(Application
Specific Integrated Circuit)、あるいはその他の演算機能を有する回路によって構成してもよい。

内部記憶部１６は、たとえば書き込みおよび読み出し可能な半導体メモリなどの記憶装置によって構成され、中央演算部１５が制御プログラムを実行するときに用いる制御情報１６１を記憶する。制御情報１６１は、たとえば受光した光の色を表す受光色、受光した光の強さを表す受光の強さ、受光した光の数を表す受光数、指示ポインタの色を表すポインタ表示色および指示ポインタ表示の中心位置を表すポインタ表示位置などの情報を含む。

受光数は、光を受光している受光箇所の数であり、光が重なっていなければ、光を照射している発光指示装置３０の数に一致する数である。受光箇所は、発光指示装置３０によって光が照射されている少なくとも１つの画素からなる画素群である。シンボル画像である指示ポインタは、発光指示装置３０によって光が照射されている位置を明示するための画像であり、受光箇所の代表点の位置を示す。

リモコン受光部１７は、表示装置１を操作するための情報を表示装置１に送信する図示しないリモコンからの光を受光し、受光した光を電気信号に変換して、リモコン処理部１８に送る。リモコン処理部１８は、リモコン受光部１７から受け取る電気信号をリモコンから指示された情報に変換して、中央演算部１５に送る。

受光箇所判定部１９、指示ポインタ表示データ作成部２０および受光波形判定部２１は、中央演算部１５が制御プログラムを実行することによって実現される機能である。受光箇所判定部１９は、光センサ内蔵表示用デバイス１３に照射されている光の箇所を判定する。具体的には、受光箇所判定部１９は、光センサ内蔵表示用デバイス１３の光センサから受け取る受光の強さが、予め定める基準強さ以上、たとえば０〜２５５の２５６段階で１２８以上の画素またはそれらの複数の画素が隣接している範囲を、発光指示装置３０から照射されている光を受光している受光箇所と判定する。

指示ポインタ表示データ作成部２０は、受光箇所判定部１９によって光を受光していると判定された受光箇所について、指示ポインタを表示する位置を決定するとともに、指示ポインタを表す指示ポインタデータを作成する。受光波形判定部２１は、発光指示装置３０から出射される光の出射パターンを判定する。具体的には、受光波形判定部２１は、光センサ内蔵表示用デバイス１３の光センサから受け取る受光の強さが、予め定める期間、たとえば２ミリ秒の期間予め定める基準強度以上であるとき、連続する出射パターンであると判定し、予め定める基準強度以上である状態と予め定める基準強度未満である状態とを予め定める期間に繰り返すとき、パルス状の出射パターンであると判定する。パルス状の出射パターンは、繰り返されるパルスの周波数、パルス幅、パルス間隔などを変化させて組み合わせることによって、複数の出射パターンとして用いることも可能である。連続する出射パターンは、第１のパターンであり、パルス状の出射パターンは、第２のパターンである。

シリアル通信処理部２２は、映像生成装置５０の映像生成装置シリアル通信処理部５５とシリアルインタフェースによって接続され、映像生成装置シリアル通信処理部５５と情報を送受信する。シリアル通信処理部２２は、中央演算部１５から指示される表示画像に対する制御を行うコマンド、たとえば表示されている画像情報のページをめくる改頁コマンドを映像生成装置５０に送信する。

発光指示装置３０は、レーザポインタ、ＬＥＤ（Light Emitting Diode）あるいは懐中電灯など光を画面に照射して位置を指示する指示装置である。発光指示装置３０は、光を発光する発光部３１、発光部３１をパルス状に発光させる間欠駆動部３２、および発光をパルス状に照射するか連続して照射するかを切り換えるボタン３３を含む。

映像生成装置５０は、パーソナルコンピュータ（以下「パソコン」という）などによって構成され、表示用データ記憶部５１、映像信号生成部５２、映像生成装置中央演算部５３、映像生成装置内部記憶部５４および映像生成装置シリアル通信処理部５５を含む。

表示用データ記憶部５１は、ディスプレイ装置１０に表示させるための画像情報を記憶する半導体メモリあるいはハードディスク装置によって構成される記憶装置である。映像信号生成部５２は、表示用データ記憶部５１に記憶される画像情報のうち、映像生成装置中央演算部５３によって指示される画像情報を表示用データ記憶部５１から読み出し、読み出した画像情報を映像信号に変換して出力する。映像信号生成部５２によって出力される映像信号は、ディスプレイ装置１０の映像入力端子１１のうちいずれか１つの映像入力端子に入力される。

映像生成装置中央演算部５３は、ＣＰＵおよび映像生成装置５０を制御するための映像生成装置制御プログラムを記憶するメモリを含んで構成され、ＣＰＵがメモリに記憶される映像生成装置制御プログラムを実行することによって、映像信号生成部５２および映生成装置シリアル通信処理部５５を制御する。映像生成装置中央演算部５３は、ＣＰＵおよびメモリの代わりに、プログラミングすることができるＬＳＩ(Large Scale
Integration)であるＦＰＧＡ(Field Programmable Gate Array)、特定の用途のために設計、製造される集積回路であるＡＳＩＣ(Application Specific Integrated Circuit)、あるいはその他の演算機能を有する回路によって構成してもよい。

映像生成装置内部記憶部５４は、たとえば書き込みおよび読み出し可能な半導体メモリなどの記憶装置によって構成され、映像生成装置中央演算部５３が映像生成装置制御プログラムを実行するときに用いる制御情報５４１を記憶する。制御情報５４１は、たとえば表示領域などの情報を含む。表示領域は、１ページ分の画像情報の全体の中でディスプレイ装置１０に表示させる部分の領域を表す情報であり、たとえばその領域にある画素のうち画面に向かって左上の位置にある画素および右下の位置にある画素のＸＹ座標によって表す。ＸＹ座標は、たとえば表示される１ページ分の全体画像に向かって左上の画素の位置を原点とする座標である。

映像生成装置シリアル通信処理部５５は、ディスプレイ装置１０のシリアル通信処理部２２とシリアルインタフェースによって接続され、シリアル通信処理部２２と情報を送受信する。映像生成装置シリアル通信処理部５５は、ディスプレイ装置１０から送信される表示画像に対する制御をコマンド、たとえば改頁コマンドを受信し、受信したコマンドを映像生成装置中央演算部５３に送る。中央演算部１５および映像生成装置中央演算部５３は、制御手段である。

図２は、発光指示装置３０の光が照射された画面４０の例を示す図である。図２に示す発光指示装置３０は、レーザポインタなど焦点の広がりが小さい指示装置であり、発光指示装置３０からのレーザ光線３９が画面４０のうち、人物画像が表示されている領域４１に照射されている。画面４０の右側に引き出した画面４１は、画素４２の１つ１つがわかるように拡大した画面であり、画面４１には、人物の表示画像４３およびレーザ光線３９が照射されているレーザポインタ照射箇所４４が示されている。

各画素４２は、赤色のサブピクセル４２１、緑色のサブピクセル４２２および青色のサブピクセル４２３によって構成され、さらに各画素４２には光センサ４６が設けられる。光センサ４６は、色を検出する３つの光センサ４６１〜４６３および光の強さを検出する図示しない光センサを含む。光センサ４６１は赤色を検出し、光センサ４６２は緑色を検出し、光センサ４６３は青色を検出する。

図３は、光が照射された位置に表示される指示ポインタの例を示す図である。図３（ａ）は、レーザ光線３９が光を照射して指し示している位置を赤色で表した指示ポインタ４５ａを表示する拡大画面４１ａを示す。図３（ｂ）は、レーザ光線３９が光を照射して指し示している位置を３×３の白色の画素で表した指示ポインタ４５ｂを表示する拡大画面４１ｂを示す。図３（ｃ）は、レーザ光線３９が光を照射して指し示している位置を５×５の緑色の画素で表した指示ポインタ４５ｃを表示する拡大画面４１ｃを示す。指示ポインタ４５ｃは、図３（ｂ）に示した指示ポインタ４５ｂよりも大きさを大きくした指示ポインタである。図３（ｄ）は、レーザ光線３９が光を照射して指し示している位置を赤色の矢印の形状で示す指示ポインタ４５ｄを表示する拡大画面４１ｄを示す。矢印の先端は、たとえば光が照射されている画素の中心の画素の位置を示す。

図４は、照射された光に広がりがある場合の指示ポインタの例を示す図である。図４（ａ）は、懐中電灯からの光が広がりのある領域４４ｅに照射されていることを示している。図４（ａ）では、懐中電灯によって照射されている光は、領域４４ｅの中心ほど光の強さが強い。指示ポインタ表示データ作成部２０は、領域４４ｅの中心の画素の位置、または領域４４ｅに含まれる画素のうち最も受光の強さが強い画素の位置を、指示ポインタを表示する位置と決定する。図４（ｂ）は、指示ポインタ表示データ作成部２０が決定した位置に赤色の指示ポインタ４５ｆを表示した拡大画面４１ｆを示し、図４（ｃ）は、指示ポインタ表示データ作成部２０が決定した位置に赤色の矢印の形状の指示ポインタ４５ｇを表示した拡大画面４１ｇを示す。

図５は、照射する光の色が異なる２種類の発光指示装置３０ａ，３０ｂの光が照射された画面４０ｈの例を示す図である。発光指示装置３０ａ，３０ｂは、いずれもレーザポインタによって構成され、発光指示装置３０ａは赤色のレーザ光線を照射し、発光指示装置３０ｂは黄色のレーザ光線を照射する。図５（ａ）は、発光指示装置３０ａからの赤色のレーザ光線および発光指示装置３０ｂからの黄色のレーザ光線が画面４０ｈに照射されていることを示している。拡大画面４１ｈには、それぞれのレーザ光線が照射されている画素４５ｈ１，４５ｈ２が示されている。図５（ｂ）は、発光指示装置３０ａからの赤色のレーザ光線が照射されている位置に、３×３画素からなる四角形の赤い指示ポインタ４５ｊ１が表示され、発光指示装置３０ｂからの黄色のレーザ光線が照射されている位置に、黄色の矢印の形状の指示ポインタ４５ｊ２が表示されていることを示している。

図６は、出射パターンが異なる２種類の発光指示装置３０ｃ，３０ｄの光が照射された画面４０ｋの例を示す図である。発光指示装置３０ｃ，３０ｄは、いずれもレーザポインタによって構成され、発光指示装置３０ｃはレーザ光線を連続する出射パターンで照射し、発光指示装置３０ｄはレーザ光線をパルス状の出射パターンで照射する。図６は、発光指示装置３０ｃからのレーザ光線および発光指示装置３０ｄからのレーザ光線が画面４０ｋに照射されていることを示しており、拡大画面４１ｋには、それぞれのレーザ光線が照射されている画素４５ｋ１，４５ｋ２が示されている。

図６に示した例では、受光波形判定部２１は、画素４５ｋ１の光センサから受け取る受光の強さが、予め定める期間予め定める基準強度以上であるので、連続する出射パターンであると判定し、画素４５ｋ２の光センサから受け取る受光の強さが、予め定める基準強度以上である状態と予め定める基準強度未満である状態とを予め定める期間に繰り返すので、パルス状の出射パターンであると判定する。

図７〜図１０のフローチャートで用いる変数には、受光数Ｌｃｏｕｎｔ、受光色ＰｉｘｅｌＣｏｌｏｒ、受光の強さＰｉｘｅｌＶａｌｕｅ、受光箇所の座標データＬｐｏs、および指示ポインタデータＰｏｉｎｔＩｎｆの変数がある。

受光数Ｌｃｏｕｎｔは、光を受光している受光箇所の数であり、光が照射されている箇所が隣接する複数の画素から構成される場合は、その１つのまとまりを１箇所として数える。変数Ｌｃｏｕｎｔは、０からＬＭＡＸまでの整数であり、ＬＭＡＸは、受光色の数の最大数、たとえば「３」である。

受光色ＰｉｘｅｌＣｏｌｏｒおよび受光の強さＰｉｘｅｌＶａｌｕｅは、受光した光についての受光色および受光の強さをそれぞれ画素ごとに表す画素データである。受光色ＰｉｘｅｌＣｏｌｏｒは、赤色のサブピクセル、緑色のサブピクセルおよび青色のサブピクセルに対応する３つの要素から構成され、それぞれ「０」〜「２５５」の２５６段階の階調で表わされる。各画素の画素データは、赤色のサブピクセルの階調、緑色のサブピクセルの階調、青色のサブピクセルの階調および受光の強さの４つの要素から構成される。４つの要素のうち、赤色のサブピクセルの階調、緑色のサブピクセルの階調および青色のサブピクセルの階調は、受光色ＰｉｘｅｌＣｏｌｏｒの画素データであり、受光の強さは、受光の強さＰｉｘｅｌＶａｌｕｅの画素データである。

光センサ内蔵表示用デバイス１３の画面は、横Ｍ個および縦Ｎ個の画素から構成され、画面に向かって左上の画素を原点とするＸＹ座標で各画素の位置を表す。たとえばＸＹ座標が（０，０）の画素の画素データは、（２５５，２５５，２５５，２５５）であり、ＸＹ座標が（０，１）の画素の画素データは、（２５５，２５０，２５５，２５２）であり、ＸＹ座標が（１００，２００）の画素の画素データは、（１２０，１００，２００，１８０）であり、ＸＹ座標が（１００，２０１）の画素の画素データは、（１２２，９８，２１０，１９０）であり、ＸＹ座標が（Ｍ−１，Ｎ−２）の画素の画素データは、（０，０，０，０）であり、ＸＹ座標が（Ｍ−１，Ｎ−１）の画素の画素データは、（０，０，０，０）である。各画素の受光色および受光の強さを表すときは、各画素のＸＹ座標を用いて、それぞれＰｉｘｅｌＣｏｌｏｒ［ｘ，ｙ］およびＰｉｘｅｌＶａｌｕｅ［ｘ，ｙ］と表す。

受光箇所の座標データ（以下「受光データ」ともいう）Ｌｐｏsは、受光箇所に含まれる各画素の座標を、受光箇所ごとに表す。指示ポインタデータＰｏｉｎｔＩｎｆは、指示ポインタを表示する座標、色、大きさおよび形状を、受光箇所ごとに表すデータである。

図７は、中央演算部１５が行う表示処理の一例を示すフローチャートである。表示処理は、光を受光した受光箇所の位置に、予め設定されている色および形状の指示ポインタを表示する処理である。中央演算部１５が表示用・表示処理用一時記憶部１２に記憶される画像情報を光センサ内蔵表示用デバイス（以下「パネル」という）１３に表示するように表示処理部１４に指示した後、ステップＡ１に移る。

ステップＡ１では、パネル１３から各光センサが検出した画素ごとのデータ、具体的には受光色および受光の強さのデータを取得し、それぞれ画素ごとに受光色ＰｉｘｅｌＣｏｌｏｒおよび受光の強さＰｉｘｅｌＶａｌｕｅにセットする。ステップＡ２では、受光箇所検索処理を行う。ステップＡ３では、指示ポインタデータ作成コマンド送信処理を行う。ステップＡ４では、指示ポインタ表示処理を行って、ステップＡ１に戻る。

図８は、表示処理から呼び出される受光箇所検索処理の一例を示すフローチャートである。受光箇所検索処理は、受光箇所判定部１９によって実行され、受光箇所判定部１９は、図７に示した表示処理から呼び出されると、ステップＢ１に移る。

ステップＢ１では、変数Ｘ，Ｙおよび受光数の変数Ｌｃｏｕｎｔに「０」を代入して初期化する。ステップＢ２では、変数Ｙの値がパネル１３の垂直解像度、すなわち画面の縦方向の画素数未満であるか否かを判定する。Ｙの値がパネル１３の垂直解像度未満であると、ステップＢ３に進み、Ｙの値がパネル１３の垂直解像度以上であると、受光箇所検索処理を終了する。ステップＢ３では、変数Ｘに「０」を代入して初期化する。ステップＢ４では、変数Ｘの値がパネル１３の水平解像度、すなわち画面の横方向の画素数未満であるか否かを判定する。変数Ｘの値がパネル１３の水平解像度未満であると、ステップＢ５に進み、変数Ｘの値がパネル１３の水平解像度以上であると、ステップＢ１３に進む。

ステップＢ５では、座標（Ｘ，Ｙ）の画素のＰｉｘｅｌＶａｌｕｅつまり受光の強さを取得する。ステップＢ６では、取得したＰｉｘｅｌＶａｌｕｅの値が、所定の値、つまり前記予め定める基準強さより大きいか否か、すなわち光が照射されているか否かを判定する。ＰｉｘｅｌＶａｌｕｅの値が所定の値より大きいと、ステップＢ７に進み、ＰｉｘｅｌＶａｌｕｅの値が所定の値より大きくないと、ステップＢ１１に進む。ステップＢ７では、受光データカウンタである変数Ｎに「０」を代入して初期化する。

ステップＢ８では、変数Ｎの値がＬｃｏｕｎｔの値つまりすでに検出されている受光数未満であるか否かを判定する。変数Ｎの値がＬｃｏｕｎｔの値未満であると、ステップＢ９に進み、変数Ｎの値がＬｃｏｕｎｔの値以上であると、ステップＢ１４に進む。ステップＢ９では、Ｎ番目の受光データＬｐｏsに、すでに光が照射されているとして検出された隣接する画素の座標（以下「隣接座標」という）があるか否かを判定する。Ｎ番目の受光データＬｐｏsに隣接座標があると、ステップＢ１０に進み、Ｎ番目の受光データＬｐｏsに隣接座標がないと、ステップＢ１２に進む。

ステップＢ１０では、座標（Ｘ，Ｙ）の値を、Ｎ番目の受光データＬｐｏｓに追加する。ステップＢ１１では、変数Ｘに「１」を加算して、ステップＢ４に戻る。ステップＢ１２では、変数Ｎに「１」を加算して、ステップＢ８に戻る。ステップＢ１３では、変数Ｙに「１」を加算して、ステップＢ２に戻る。ステップＢ１４では、変数Ｌｃｏｕｎｔに「１」を加算、すなわち受光数をカウントアップして、ステップＢ１０に進む。ステップＢ１〜Ｂ１４は、判断ステップである。

図９は、表示処理から呼び出される指示ポインタデータ作成コマンド送信処理の一例を示すフローチャートである。指示ポインタデータ作成コマンド送信処理は、指示ポインタ表示データ作成部２０によって実行され、指示ポインタ表示データ作成部２０は、図７に示した表示処理から呼び出されると、ステップＣ１に移る。

ステップＣ１では、変数Ｎに「０」を代入して初期化する。ステップＣ２では、変数Ｎが受光数Ｌｃｏｕｎｔ未満であるか否かを判定する。変数Ｎが受光数Ｌｃｏｕｎｔ未満であると、ステップＣ３に進み、変数Ｎが受光数Ｌｃｏｕｎｔ以上であると、ステップＣ１１４に進む。

ステップＣ３では、受光波形判定部２１の判定結果に基づいて、出射パターンがパルス状であるか否かを判定する。出射パターンがパルス状であると、ステップＣ４に進み、出射パターンがパルス状でないと、つまり連続状の出射パターンであると、ステップＣ１１に進む。ステップＣ４では、形状が四角形、大きさが「中間」の基準座標データを、指示ポインタデータＰｏｉｎｔＩｎｆの座標データにコピーする。基本座標データは、基準位置をＸＹ座標（０，０）とした場合の指示ポインタの各画素のＸＹ座標によって表される。ステップＣ５では、指示ポインタデータＰｏｉｎｔＩｎｆの色データに、青色を設定する。

ステップＣ６では、Ｎ番目の受光箇所に含まれる画素のＸＹ座標の平均値を求め、求めたＸ座標の平均値を変数Ｘｂにセットし、求めたＹ座標の平均値を変数Ｙｂにセットする。ステップＣ７では、平均値のＸＹ座標（Ｘｂ，Ｙｂ）から、入力信号の解像度、つまり映像生成装置５０からの映像信号の解像度に換算した平均値のＸＹ座標（Ｘｃ，Ｙｃ）を算出する。具体的には、座標Ｘｃの値は、式（１）によって算出し、座標Ｙｃの値は、式（２）によって算出する。
Ｘｃ＝Ｘｂ×（入力信号水平解像度／パネル水平解像度） …（１）
Ｙｃ＝Ｙｂ×（入力信号垂直解像度／パネル垂直解像度） …（２）

ステップＣ８では、改頁コマンドをＸＹ座標（Ｘｃ，Ｙｃ）とともにシリアル通信処理部２２によって映像生成装置５０に送信する。ステップＣ９では、ステップＣ４で指示ポインタデータＰｏｉｎｔＩｎｆの座標データにコピーした基本座標のＸ座標に変数Ｘｂの値を加え、Ｙ座標に変数Ｙｂの値を加える。ステップＣ１０では、変数Ｎに「１」を加算して、ステップＣ２に戻る。

ステップＣ１１では、形状が丸、大きさが「大きい」の基準座標データを、指示ポインタデータＰｏｉｎｔＩｎｆの座標データにコピーする。ステップ１２では、指示ポインタデータＰｏｉｎｔＩｎｆの色データに、赤色を設定する。ステップＣ１３では、Ｎ番目の受光箇所に含まれる画素のＸＹ座標の平均値を求め、求めたＸ座標の平均値を変数Ｘｂにセットし、求めたＹ座標の平均値を変数Ｙｂにセットし、ステップＣ９に進む。ステップＣ１４では、指示ポインタデータＰｏｉｎｔＩｎｆのうち、座標の値が負、またはパネル１３の解像度つまり画素数を超える値のデータを取り除く。ステップＣ１５では、指示ポインタデータＰｏｉｎｔＩｎｆを座標順にソートつまり並べ替えて、指示ポインタデータ作成コマンド送信処理を終了する。

図１０は、表示処理から呼び出される指示ポインタ表示処理の一例を示すフローチャートである。中央演算部１５は、図７に示した表示処理のステップＢ４を実行すると、ステップＤ１に移る。

ステップＤ１では、変数Ｘ，Ｙ，Ｚに「０」を代入して初期化する。ステップＤ２では、変数Ｙの値がパネル１３の垂直解像度未満であるか否かを判定する。Ｙの値がパネル１３の垂直解像度未満であると、ステップＤ３に進み、Ｙの値がパネル１３の垂直解像度以上であると、指示ポインタ表示処理を終了する。ステップＤ３では、変数Ｘに「０」を代入して初期化する。ステップＤ４では、変数Ｘの値がパネル１３の水平解像度未満であるか否かを判定する。変数Ｘの値がパネル１３の水平解像度未満であると、ステップＤ５に進み、変数Ｘの値がパネル１３の水平解像度以上であると、ステップＤ９に進む。

ステップＤ５では、座標（Ｘ，Ｙ）とＺ番目のＰｏｉｎｔＩｎｆのデータの座標とが同じであるか否かを判定する。座標（Ｘ，Ｙ）とＺ番目のＰｏｉｎｔＩｎｆのデータの座標とが同じであると、ステップＤ６に進み、座標（Ｘ，Ｙ）とＺ番目のＰｏｉｎｔＩｎｆのデータの座標とが同じでないと、ステップＤ８に進む。

ステップＤ６では、座標（Ｘ，Ｙ）の画素を、Ｚ番目のＰｏｉｎｔＩｎｆのデータの色で表示する。具体的には、中央演算部１５は、表示用・表示処理用一時記憶部１２に記憶される画像情報のうち、座標（Ｘ，Ｙ）の画素の色を、Ｚ番目のＰｏｉｎｔＩｎｆのデータの色に置き換える。表示処理部１４は、座標（Ｘ，Ｙ）の画素の色が書き換えられた画像情報を表示用・表示処理用一時記憶部１２から読み出し、所定の形式に変換してパネル１３に表示させる。ステップＤ８では、変数Ｘに「１」を加算して、ステップＤ４に戻る。ステップＤ９では、変数Ｙに「１」を加算して、ステップＤ２に戻る。

図１１は、映像生成装置中央演算部５３が行うコマンド処理の一例を示すフローチャートである。コマンド処理は、ディスプレイ像置１０から受信した表示画像に対する制御を行うコマンド、たとえば改頁コマンドを実行する処理である。映像生成装置中央演算部５３が表示用データ記憶部５１に記憶される画像情報をディスプレイ装置１０に出力するように映像信号生成部５２に指示した後、ステップＥ１に移る。

ステップＥ１では、改頁コマンドを受信したか否かを判定する。改頁コマンドを受信すると、ステップＥ１に進み、改頁コマンドを受信しないと、ステップＥ１に戻る。ステップＥ２では、改頁コマンドを実行して、ステップＥ１に戻る。具体的には、現在出力している画像情報のページの次のページの画素情報の映像信号を出力して、ステップＥ１に戻る。図９に示したステップＣ１〜Ｃ１５、図１０に示したステップＤ１〜Ｄ９および図１１に示したステップＥ１，Ｅ２は、制御ステップである。

このように、画像を表示画面上に表示する複数の画素と、前記表示画面には受光する光の強さを複数の位置ごとに検出する光センサとを備える光センサ内蔵表示用デバイス１３に画像情報を表示するにあたって、中央演算部１５によって、光センサによって検出された光の強さの変化するパターン、つまり出射パターンが判別され、中央演算部１５および映像生成装置中央演算部５３によって、中央演算部１５によって判別されたパターンが連続する出射パターンであるとき、表示画像に対して予め定める第１の制御が行われ、中央演算部１５によって判別されたパターンが連続する出射パターンとは異なるパルス状の出射パターンであるとき、表示画像に対して予め定める第２の制御が行われる。

したがって、光を照射する発光指示装置３０によって画面に照射された光に応じた制御、たとえば光の強さが変化する出射パターンに応じて表示画像に対する制御を行うことができる。

さらに、前記第１の制御は、光センサによって検出された光の位置を示す画像を表示させる制御であり、前記第２の制御は、表示画像を操作する制御であるので、出射パターンが連続するパターンであるときと、指示ポインタを表示し、出射パターンがパルス状のパターンであるときと、表示されている画像情報の操作、たとえばページを変えることができる。

さらに、画像を表示する複数の画素と、受光する光の強さを位置ごとに検出する光センサとを備える表示装置１に画像を表示するにあたって、図８に示したステップＢ１〜Ｂ１４では、光センサによって検出された光の強さに応じて光の強さが変化するパターン、つまり出射パターンを判別する。そして、図９に示したステップＣ１〜Ｃ１５、図１０に示したステップＤ１〜Ｄ９および図１１に示したステップＥ１，Ｅ２では、図８に示したステップＢ１〜Ｂ１４で判別されたパターンが連続するパターンであるとき、表示画像に対して予め定める第１の制御を行い、図８に示したステップＢ１〜Ｂ１４で判別されたパターンが連続するパターンとは異なる予め定めるパルス状のパターンであるとき、表示画像に対して予め定める第２の制御を行う。

したがって、本発明に係る表示方法を適用すれば、光を照射する発光指示装置３０によって画面に照射された光に応じた制御、たとえば光の強さが変化する出射パターンに応じて表示画像に対する制御を行うことができる。

本発明の実施の一形態である表示装置１の構成を示す図である。 発光指示装置３０の光が照射された画面４０の例を示す図である。 光が照射された位置に表示される指示ポインタの例を示す図である。 照射された光に広がりがある場合の指示ポインタの例を示す図である。 照射する光の色が異なる２種類の発光指示装置３０ａ，３０ｂの光が照射された画面４０ｈの例を示す図である。 出射パターンが異なる２種類の発光指示装置３０ｃ，３０ｄの光が照射された画面４０ｋの例を示す図である。 中央演算部１５が行う表示処理の一例を示すフローチャートである。 表示処理から呼び出される受光箇所検索処理の一例を示すフローチャートである。 表示処理から呼び出される指示ポインタデータ作成コマンド送信処理の一例を示すフローチャートである。 表示処理から呼び出される指示ポインタ表示処理の一例を示すフローチャートである。 映像生成装置中央演算部５３が行うコマンド処理の一例を示すフローチャートである。

符号の説明

１ 表示装置
１０ ディスプレイ装置
１１ 映像入力端子
１２ 表示用・表示処理用一時記憶部
１３ 光センサ内蔵表示用デバイス
１４ 表示処理部
１５ 中央演算部
１６ 内部記憶部
１７ リモコン受光部
１８ リモコン処理部
１９ 受光箇所判定部
２０ 指示ポインタ表示データ作成部
２１ 受光波形判定部
２２ シリアル通信処理部
３０ 発光指示装置
３１ 発光部
３２ 間欠駆動部
３３ ボタン
４０ 画面
４１ 拡大画面
４２ 画素
４３ 表示画像
４４ レーザポインタ照射箇所
４５ 指示ポインタ
５０ 映像生成装置
５１ 表示用データ記憶部
５２ 映像信号生成部
５３ 映像生成装置中央演算部
５４ 映像生成装置内部記憶部
５５ 映像生成装置シリアル通信処理部

Claims (2)

1. 画像を表示画面上に表示する複数の画素と、前記表示画面に受光する光の強さを複数の位置ごとに検出する検出部とを備える表示手段と、
   前記検出部によって検出された光の強さが、予め定める期間予め定める基準強度以上であるとき、連続する出射パターンであると判定し、前記光の強さが、予め定める基準強度以上である状態と予め定める基準強度未満である状態とが予め定める期間にわたって繰り返されるとき、パルス状の出射パターンであると判定する判別手段と、
   前記判別手段によって判別されたパターンが連続する出射パターンであるとき、前記検出部によって検出された光の位置を示す第１の画像を表示させ、前記判別手段によって判別されたパターンがパルス状の出射パターンであるとき、前記検出部によって検出された光の位置を示す画像として、前記第１の画像とは異なる第２の画像を表示させるとともに、表示画面に表示される画像を変更する制御手段とを含むことを特徴とする表示装置。
2. 画像を表示画面上に表示する複数の画素と、前記表示画面に受光する光の強さを位置ごとに検出する検出部とを備える表示装置に画像を表示する表示方法であって、
   前記検出部によって検出された光の強さが、予め定める期間予め定める基準強度以上であるとき、連続する出射パターンであると判定し、前記光の強さが、予め定める基準強度以上である状態と予め定める基準強度未満である状態とが予め定める期間にわたって繰り返されるとき、パルス状の出射パターンであると判定する判別ステップと、
   前記判別ステップで判別されたパターンが連続する出射パターンであるとき、前記検出部によって検出された光の位置を示す第１の画像を表示させ、前記判別ステップで判別されたパターンがパルス状の出射パターンであるとき、前記検出部によって検出された光の位置を示す画像として、前記第１の画像とは異なる第２の画像を表示させるとともに、表示画面に表示される画像を変更する制御ステップとを含むことを特徴とする表示方法。

Images