JP4033802B2 - 大画面タッチパネルシステムおよび検索・表示システム - Google Patents
大画面タッチパネルシステムおよび検索・表示システム Download PDFInfo
- Publication number
- JP4033802B2 JP4033802B2 JP2003116122A JP2003116122A JP4033802B2 JP 4033802 B2 JP4033802 B2 JP 4033802B2 JP 2003116122 A JP2003116122 A JP 2003116122A JP 2003116122 A JP2003116122 A JP 2003116122A JP 4033802 B2 JP4033802 B2 JP 4033802B2
- Authority
- JP
- Japan
- Prior art keywords
- screen
- pixel data
- infrared light
- black area
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Overhead Projectors And Projection Screens (AREA)
- Projection Apparatus (AREA)
- Position Input By Displaying (AREA)
Description
【０００１】
【産業上の利用分野】
この発明は大画面タッチパネルシステムおよび検索・表示システムに関し、特にたとえば、人間が大画面スクリーンの前に立ち人間の手でタッチすることによって大画面上の座標を獲得できる、新規な大画面タッチパネルシステムとそれを利用する検索・表示システムに関する。
【０００２】
【従来の技術】
従来、たとえばＣＲＴの画面上の任意の点をたとえばスタイラスペンや人間の指でタッチすることにより、その点の画面上での位置（座標）を得ることができる、いわゆるタッチパネルが実用に供されている。
【０００３】
このようなタッチパネルとしては、ＣＲＴ画面へのタッチを検出する方式で分類すると、抵抗膜方式、光電方式などがある。
【０００４】
抵抗膜方式では、Ｘ方向電極が形成された透明シートとＹ方向電極が形成された透明シートとを積層し、指やペンで押すと２枚のシート上の１対の電極が導通し、それによって座標を検知することができる。また、光電方式では、画面上のＬＥＤアレイと受光素子アレイから構成される赤外線ビーム格子内にタッチすると２本の直交ビームが遮断され、その位置から座標を検出する。
【０００５】
【発明が解決しようとする課題】
この種の従来のタッチパネルはいずれも、たとえばＣＲＴやＬＣＤ程度のサイズを前提とするものであり、それを大画面化するためには、電極数を多くしたり、ＬＥＤや受光素子数を多くするなどが必要であり、したがって、非常に高価になってしまう。
【０００６】
それゆえに、この発明の主たる目的は、大画面スクリーンでタッチ入力が可能な、新規な大画面タッチパネルを提供することである。
【０００７】
【課題を解決するための手段】
請求項１の発明は、赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、赤外カメラからの映像信号に基づいて得られるピクセルデータに対してぼかし処理を実行するぼかし手段、ぼかし処理を実行したピクセルデータに対して閾値処理を実行して２値化ピクセルデータを出力する２値化手段、２値化ピクセルデータに基づいて黒領域を検出する黒領域検出手段、検出手段によって検出された黒領域のサイズを計測するサイズ計測手段、およびサイズ計測手段によって計測されたサイズが一定範囲内の黒領域の座標データをスクリーンの前面において赤外光が遮られた遮光領域の位置を示す座標データとして出力する座標データ出力手段を備える、大画面タッチパネルシステムである。
【０００８】
請求項２の発明は、マスクデータを用いて前記ピクセルデータに対してマスク処理を実行するマスク処理手段をさらに備え、ぼかし手段は、マスク処理手段によってマスク処理されたピクセルデータに対してぼかし処理を実行する、請求項１記載の大画面タッチパネルシステムである。
請求項３の発明は、ピクセルデータおよびマスク処理されたピクセルデータの一方から背景データを減算する減算手段をさらに備え、ぼかし手段は、減算手段によって背景データが減算されたピクセルデータに対してぼかし処理を実行する、請求項１または２記載の大画面タッチパネルシステムである。
【０００９】
請求項４の発明は、スクリーンの後方からスクリーンの背面に映像を投射するための映像投射手段をさらに備える、請求項 1 ないし３のいずれかに記載の大画面タッチパネルシステムである。
請求項５の発明は、スクリーンの後方にミラーをさらに設け、赤外カメラはミラーを通してスクリーンの背面全面を撮影する、請求項１ないし４のいずれかに記載の大画面タッチパネルシステムである。
【００１１】
請求項６の発明は、赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、スクリーンの後方からスクリーンの背面に映像を投射するための映像投射手段および赤外カメラからの映像信号を受けるコンピュータを備え、スクリーンの前面に人間がタッチすることによって映像を投射しているスクリーン上の座標位置を指示する、大画面タッチパネルシステムのプログラムであって、コンピュータに 赤外カメラからの映像信号に基づいて得られるピクセルデータに対してぼかし処理を実行するぼかしステップ、ぼかし処理を実行したピクセルデータに対して閾値処理を実行して２値化ピクセルデータを出力する２値化ステップ、２値化ピクセルデータに基づいて黒領域を検出する黒領域検出ステップ、黒領域検出ステップによって検出した黒領域のサイズを計測するサイズ計測ステップ、およびサイズ計測ステップによって計測されたサイズが一定範囲内の黒領域の座標データをスクリーンの前面において赤外光が遮られた遮光領域の位置を示す座標データとして出力する座標データ出力ステップを実行させる、大画面タッチパネルシステムのプログラムである。
【００１３】
請求項７の発明は、赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、スクリーンの後方に設けられてスクリーンの背面に映像を投影するプロジェクタおよびコンピュータを備え、コンピュータは関連するメモリを有し、メモリには第１情報と第１情報に関連する第２情報とを蓄積しておく、検索・表示プログラムであって、コンピュータに 第２情報をプロジェクタによってスクリーン上に映写させる第２情報映写ステップ、第２情報がスクリーン上に映写されている状態で赤外カメラからの映像信号に基づいて得られるピクセルデータに対してぼかし処理を実行するぼかしステップ、ぼかし処理を実行したピクセルデータに対して閾値処理を実行して２値化ピクセルデータを出力する２値化ステップ、２値化ピクセルデータに基づいて黒領域を検出する黒領域検出ステップ、検出ステップによって検出された黒領域のサイズを計測するサイズ計測ステップ、およびサイズ計測ステップによって計測されたサイズが一定範囲内の黒領域の座標データが第２情報の表示位置に相関するとき、第２情報に関連する第１情報をプロジェクタによってスクリーン上に映写させるステップを実行させる、検索・表示プログラムである。
【００１４】
【作用】
スクリーンの前方に人間が立って、人間が手によってスクリーンに直接タッチすると、その手や人間の体によって遮光領域が形成されるが、サイズが適正な遮光領域、この場合であれば、手によって形成された遮光領域（黒領域）が検出され、当該領域のたとえば中心座標データが、タッチ位置データとして出力される。
【００１５】
このような大画面タッチパネルシステムは、検索・表示システムとして利用できるが、この検索・表示システムでは、コンピュータのメモリに第１情報（たとえば、静止画像）とその第１情報に関連する第２情報（たとえば、サムネイル画像）とを蓄積しておく。そして、コンピュータはプロジェクタによって、第２情報をスクリーン上に映写させる。その第２情報をポインティングしようとして人間が手でスクリーンをタッチすると、上述のようにしてタッチ位置が検出される。このタッチ位置とサムネイム画像の表示位置とが一定の関係あるとき、そのサムネイル画像（第２情報）に関連する静止画像（第１情報）をスクリーン上に映写させる。
【００１６】
【発明の効果】
この発明によれば、非常に大きいサイズのスクリーンでも、それをタッチスクリーン（タッチパネル）にすることができる。スクリーンの背面を撮影した赤外映像信号からタッチ位置を検出できるので、スクリーンの背面に映像を投射した状態でも、人間が手でスクリーンの前面から直接タッチすることによって、スクリーン上の位置をポインティングすることができる。したがって、従来の小画面のタッチパネルに比べて、たとえば多人数参加のイベント会場における検索・表示システムなどの非常に広範な用途に利用可能である。
【００１７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１８】
【実施例】
図１に示すこの実施例の大画面タッチパネルシステム１０は、たとえば２５０×１８０ｃｍ程度のサイズのプラスチックスクリーン１２を含む。ただし、このサイズは単なる一例であり、用途に応じて任意に変更可能である。プラスチックスクリーン１２は、赤外光透過可能材料、たとえばポリカーボネイトなどのプラスチックからなり、全体としてたとえば乳白色である。ただし、このプラスチックスクリーン１２は完全な透明ではない。なぜなら、このプラスチックスクリーン１２は、後述のプロジェクタ３０から映像を映写するための投影スクリーンとして機能する必要があるからである。また、このプラスチックスクリーン１２は、比較的大きい剛性を有する。なぜなら、この大画面タッチパネルシステム１０では、図１に示すように、プラスチックスクリーン１２の前方の人間１４が、自分の手１６でプラスチックスクリーン１２を直接タッチすることによって、プラスチックスクリーン１２の上の位置（点または領域）を指示するからである。つまり、プラスチックスクリーン１２には人間の手が触っても容易には変形しない程度の剛性が必要である。
【００１９】
ただし、実施例ではプラスチックでスクリーン１２を形成した。しかしながら、ガラスや他の赤外光透過材料が用いられてもよい。
【００２０】
このプラスチックスクリーン１２の前方上方には、スクリーン１２の前面１２ａの全面に赤外光を投射するための赤外光源１８が設けられる。この赤外光源１８としては、ハロゲンランプまたはブラックライトなどが利用可能である。この赤外光源１８を設ける位置は基本的にはプラスチックスクリーン１２のサイズに依存して決定されるが、実施例のプラスチックスクリーン１２が上記サイズであれば、たとえば、赤外光源１８は、プラスチックスクリーン１２の前面１２ａから２００−４００ｃｍ離れた高さ２００−３００ｃｍの位置に配置される。赤外光源１８から投射された赤外光はプラスチックスクリーン１２の前面１２ａから入射し、このスクリーン１２を透過して背面１２ｂに至る。これらの数値は単なる例示である。
【００２１】
プラスチックスクリーン１２の後方には、ミラー２０が設けられる。このミラー２０はプラスチックスクリーン１２の背面１２ｂの全面を映出できる大きさにされかつその位置に配置される。実施例ではプラスチックスクリーン１２がたとえば２５０×１８０ｃｍであれば、ミラー２０はたとえば１５０×１１０ｃｍ程度の大きさにされ、プラスチックスクリーン１２の背面からたとえば２００ｃｍ後方に配置される。これらの数値も単なる例示である。
【００２２】
プラスチックスクリーン１２の後方には、このミラー２０の表面に合焦されたモノクロカメラ２２が設けられる。このモノクロカメラ２２には赤外フィルタ２４が装着される。したがって、このカメラ２２は全体としては、赤外カメラとして機能する。そのため、モノクロカメラ２２および赤外フィルタ２４は赤外カメラに代えられてもよい。このカメラ２２はミラー２０を通してプラスチックスクリーン１２の背面全面を撮影する。
【００２３】
カメラ２２からの映像信号は、図２からよくわかるように、Ａ／Ｄ変換器２８によって映像信号データに変換されて、コンピュータ２６に入力される。
【００２４】
この図１に示す実施例では、プラスチックスクリーン１２の後方に、プロジェクタ３０が設けられる。このプロジェクタ３０は、前述のようにプラスチックスクリーン１２の背面１２ｂの全面に映像を投射するためのものである。実施例では、プロジェクタ３０は、ミラー２０を通して、背面１２ｂの全面に投影できるようにされる。プロジェクタ３０から投射された映像（光学像）は、ミラー２０で反射されて、プラスチックスクリーン１２の背面１２ｂに投影される。したがって、このプラスチックスクリーン１２の前面１２ａから、その投影された映像を見ることができる。
【００２５】
なお、ミラー２０を用いる理由は、プラスチックスクリーン１２の後方のスペースを可及的小さくするためである。したがって、当然のことではあるが、ミラー２０を省略することができる。この場合には、上述のカメラ２２がプラスチックスクリーン１２の背面１２ｂの全域を直接撮影し、プロジェクタ３０からプロジェクタスクリーン１２の背面１２ｂに映像が直接投射される。
【００２６】
図２に示すように、コンピュータ２６にはたとえば半導体メモリやハードディスクなどの内部メモリ３２が内蔵されるとともに、必要に応じて、メモリインタフェース３４を介して、半導体メモリである外部メモリ３６が接続される。内部メモリ３２は、後述のフロー図に示すようなプログラムを予め記憶するプログラムメモリとして、さらには画像処理のためのワーキングメモリやレジスタなどとして利用される。プロジェクタ３０を用いる場合には、内部メモリ３２はさらに、プロジェクタ３０のためのメモリのビデオメモリ（ＶＲＡＭ）としても用いられる。
【００２７】
なお、外部メモリ３６としては、半導体メモリ以外に、磁気記録媒体、光学式記録媒体、光磁気記録媒体などが用いられ得るが、ここでは便宜上すべて「メモリ」の用語を使用する。したがって、「メモリ」というときは、あらゆる形式の記憶媒体または記録媒体を指すものと理解されたい。
【００２８】
なお、コンピュータ２６は、さらに、ランプドライバ３８を制御し、赤外光源１８のオン／オフを制御するとともに、必要な場合には、その赤外光源１８の輝度を調節する。
【００２９】
図１実施例の大画面タッチパネルシステム１０では、先に概説したように、プラスチックスクリーン１２の前方の人間１４が、手１６でプラスチックスクリーン１２を直接タッチすることによって、プラスチックスクリーン１２の上の座標位置を指示するが、そのための動作を、図３のフロー図を参照して説明する。
【００３０】
図３の最初のステップＳ１では、初期設定が実行される。この初期設定では、まず、コンピュータ２６は、ランプドライバ３８を制御して、赤外光源１８をオンする。そして、さらに内部メモリ３２内の各変数がそれらの初期値として設定される。たとえば、カメラ２２からの映像信号を閾値処理するための閾値（Ｔ：後述）の初期値を、内部メモリ３２の適宜のレジスタ（閾値レジスタ）に設定する。さらに、モノクロカメラ２２のホワイトバランスが調整される。つまり、このカメラ２２で撮影したプラスチックスクリーン１２を通った赤外光で作る像が白またはそれに近い色（実質的に白）になるようにチューニングされる。
【００３１】
続くステップＳ３では、コンピュータ２６は、プラスチックスクリーン１２の前方に人間が存在しない状態、すなわち無人状態で、カメラ２２からの映像信号データを取り込んで、背景データ（ＢＧ）を作成する。このステップＳ３で作成した背景データ（ＢＧ）は、システム１０を設置している会場での赤外光などに対する障害物の影響を除去するために利用される。
【００３２】
続いて、ステップＳ５では、プラスチックスクリーン１２の前に人間が立って、その手１６で、図１に示すようにプラスチックスクリーン１２の前面１２ａの任意の場所を押さえ（タッチし）、その状態で、コンピュータ２６は、カメラ２２からの映像信号データすなわちピクセルデータ（Ｖ）を取り込む。実施例では、プラスチックスクリーン１２の全面はたとえば６４０×４８０ピクセルの解像度で表され、ピクセルデータは２５６階調（８ビット／１ピクセル）で与えられる。このステップＳ５では、たとえば図５に示すようなピクセルデータが得られる。この図５に示す例では、スクリーン１２上にその前方の人間が手を押し付けたときの映像のピクセルデータが得られる。
【００３３】
次のステップＳ７では、マスク処理を実行する。具体的には、マスクデータ（Ｍ）とピクセルデータ（Ｖ）とを論理積（ＡＮＤ）処理する。なお、マスクデータ（Ｖ）とは、図４に示すフロー図に従って作られたノイズ除去用のデータである。
【００３４】
すなわち、図４のステップＳ３１で、赤外光源１８をオンし、続くステップＳ３３で、コンピュータ２６は、ステップＳ３と同様に、無人状態でピクセルデータを取り込む。そして、次のステップＳ３５で適宜の閾値で閾値処理し、ステップＳ３７でさらに反転することによって、図６に示すようなマスクが生成される。そして、このマスクデータ（Ｖ）は、コンピュータ２６の内部メモリ３２（図２）に登録される。
【００３５】
詳しくいうと、無人状態で撮影したとき、そのピクセルデータ（映像）は、図５の映像から人間による影（赤外光を遮光している遮光領域）を取った映像となる。図５の映像から人間の影を除去すると、赤外光源１８の赤外光の丸い広がりに対してスクリーン１２が矩形であることに起因して、スクリーン１２の４隅にそれぞれ３角形状の薄い影ができている。この４隅の影は、それぞれが薄いときには殆ど影響しないが、濃くなると人間がスクリーン１２上でポインティングすることによってできた遮光領域と区別できなくなる。そこで、実施例では、このスクリーン１２の４隅を判別の対象領域としないように、図６に示すようなマスクを作成する。
【００３６】
そして、このマスクのマスクデータ（Ｖ）とピクセルデータ（Ｖ）とをＡＮＤ処理することによって、４隅にできた影の影響を完全になくすことができる。
【００３７】
なお、このようなマスクデータ（Ｖ）は、図３のような処理の実行に先立って予め図４の処理を実行することによって、内部メモリ３２に予め登録しておくようにすればよい。その都度マスクを作る面倒がなくなる。
【００３８】
図３に戻って、次のステップＳ９では、ステップＳ３で取得した背景データ（ＢＧ）を、ステップＳ７を実行した後のデータ（Ｖ・Ｍ）から減算する。このステップＳ９は赤外光の障害物の影響を除去するために実行する。したがって、上述のように無人状態での影の影響を除去できるマスクを作成すれば、ステップＳ９を実行する必要はない。その意味では、ステップＳ９はオプションである。ただし、このステップＳ９を実行するのであれば、ステップＳ７におけるマスク処理がオプションとなる。換言すれば、ステップＳ７およびステップＳ９は択一的に実行されてもよい。
【００３９】
次にステップＳ１１では、これもオプションであるが、ガウス分布に従ったぼかし処理を実行する｛ＢＧ（Ｖ・Ｍ−ＢＧ）｝。これは、フレーム毎のノイズを除去するためである。
【００４０】
そして、ステップＳ１３において、ステップＳ１の初期設定で決めた閾値を用いて、閾値処理を実行する［Ｔ｛ＢＧ（Ｖ・Ｍ−ＢＧ）｝］。このステップＳ１３を実行することによって、各ピクセルデータが２値化（「１」または「０」）される。たとえば、輝度レベルが「１０１」以上のピクセルを「１」（白）とし、「１００」以下のピクセルを「０」（黒）とする。
【００４１】
その後、ステップＳ１５で黒領域を抽出する。この黒領域を抽出する手法は任意の方法が考えられるが、実施例では、たとえば、Paul S. Heckbertによって提案された「A SEED FILL ALGORITHM」(PP275-277, GRAPHICS GEMS I '90)を利用する。この手法は、黒ピクセルが検出されなくなるまで隣接する黒ピクセルを順次たどって黒領域を検出する方法である。
【００４２】
そして、ステップＳ１５で、全ての黒領域を抽出する。このとき、各黒領域は、スクリーン１２の右上隅を座標０，０として、（ｘｍｉｎ，ｘｍａｘ），（ｙｍｉｎ，ｙｍａｘ）で示す矩形領域として抽出される。ただし、ｘｍｉｎは横軸（Ｘ軸）の最小値、ｘｍａｘはＸ軸の最大値、ｙｍｉｎは縦軸（Ｙ軸）の最小値、ｙｍａｘはＹ軸の最大値を示している。
【００４３】
次のステップＳ１７で、コンピュータ２６は、各黒領域の中心座標と面積とを計算する。具体的には、各黒領域の中心座標は数１で、面積は数２でそれぞれ計算できる。
【００４４】
【数１】
ｃｘ，ｃｙ＝（（ｘｍｉｎ＋ｘｍａｘ）／２，（ｙｍｉｎ＋ｙｍａｘ）／２）
【００４５】
【数２】
面積＝（ｘｍａｘ−ｘｍｉｎ）×（ｙｍａｘ-ｙｍｉｎ）
そして、続くステップＳ１９で、各中心座標および面積を正規化する。中心座標や面積をスクリーンサイズや各方向のピクセル数に依存させないためである。実施例では、スクリーンサイズは横（Ｘ）６４０ピクセル、縦（Ｙ）４８０ピクセルであるので、正規化中心座標ｎｃｘ，ｎｃｙは数３で与えられる。
【００４６】
【数３】
ｎｃｘ＝ｃｘ／６４０ ε［０，１］
ｎｃｙ＝ｃｙ／４８０ ε［０，１］
ただし、ε［０，１］は「０」と「１」との間で正規化することを意味する。
【００４７】
また、面積の正規化は次の数４の手法による。
【００４８】
【数４】
正規化面積＝面積／６４０×４８０ ε［０，１］
そして、ステップＳ２１において、ノイズを除去したり、スクリーン１２の前方の人間が近づきすぎた場合などを無効にするために、過大過小の黒領域を無効にする（捨てる）。具体的には、可能最小面積をＭＩＮとし、可能最大面積をＭＡＸとし、ＭＩＮ≦面積≦ＭＡＸ以外の黒領域は捨てて、たとえば図７に示す適正なサイズの黒領域のデータのみを残す。この図７は、図５に示す人間の手の部分だけが適正黒領域として検出されたことを示している。
【００４９】
なお、ステップＳ２１は、手作業で実行してもよい。
【００５０】
そして、最後に、ステップＳ２３で残った適正黒領域（図７）の中心座標および面積をタッチ点（または領域）のデータとして、出力する。
【００５１】
なお、図１では１人の人間だけがプラスチックスクリーンの前方に存在するように図示したが、２人以上の人間が同時にタッチしても全てのタッチ位置を個別に同定することができる。
【００５２】
この図１実施例の大画面タッチパネルシステム１０は、様々な用途に用いることができるが、一例としては、情報検索のための入力装置として利用可能である。
【００５３】
たとえば、コンピュータ２６の外部メモリ３６（または内部メモリ３２）に大量の画像（静止画／動画：第１情報）を、カテゴリ毎に蓄積しておき、各カテゴリを代表するサムネイル画像（第２情報）を内部メモリ３２（または外部メモリ３６）内に登録しておく。そして、コンピュータ２６によって、それらのサムネイル画像を図１の参照番号Ｓ１およびＳ２で示すように、プロジェクタ３０によって、プラスチックスクリーン１２上に投映する。このとき、サムネイル画像Ｓ１やＳ２は、スクリーン１２上のランダムな位置に映写される。そして、図１のシステム１０によって、上述のようにして、スクリーン１２の前方の人間１４が自分の手１６で、どれかのサムネイル画像にタッチする。この手によるスクリーン１２へのタッチが、上述の図３に示す動作に従って検出され、そのタッチ位置がサムネイル画像Ｓ１またはＳ２の表示位置と比較され、タッチ位置が表示位置に対して一定の関係（同一または同一ではないが一定範囲内の近い位置）であったとすると、コンピュータ２６は、当該サムネイル画像が代表するカテゴリの静止画像（および／または動画像）を外部メモリ３６（または内部メモリ３２）から順次読み出し、任意の演出に従って、プロジェクタ３０によってプラスチックスクリーン１２上に映写させる。
【００５４】
なお、上述の実施例では、第１情報（蓄積画像）と第２情報（サムネイル画像）とは同じメモリに蓄積されてもよく、違うメモリに記憶されてもよい。
【００５５】
この実施例によれば、プラスチックスクリーン１２のサイズが大きいので、多人数が参加した任意の会場での検索・表示システムとして利用することができる。
【００５６】
一例として、たとえば結婚披露宴会場にこのシステム１０を設置した場合、新郎新婦の各時代（小学校以前、小学校、中学校、高校、大学、社会人、など）をカテゴリとして、画像を蓄積すればよい。そして、披露宴でのイベントとして、上述のような検索・表示を行えば、披露宴を盛大に演出することができる。
【００５７】
これとはやや趣きを異にするが、同様の検索・表示システムとして、たとえば葬儀会場などでも利用できる。
【００５８】
さらに、上述の実施例の検索・表示システムではスクリーン１２に表示する情報（映像）をいずれも画像とした。しかしながら、表示する情報の種類は、第１情報、第２情報に拘わらず、画像以外の文字等であってもよい。
【００５９】
なお、上述の実施例ではプラスチックスクリーン１２の前方から赤外光源１８によって赤外光をスクリーン上に照射し、他方コンピュータ２６はカメラ２２の映像信号スクリーン１２の後方で赤外光が遮光される領域を検出した。しかしながら、人間の手はそれ自体が赤外光を発するものであるから、スクリーン１２を透過した赤外光を検出するようにしてもよい。この場合には、コンピュータ２６はカメラ２２からの映像信号を分析して赤外光が存在する領域（赤外光領域）を検出するようにすればよい。
【図面の簡単な説明】
【図１】図１はこの発明の一実施例の大画面タッチパネルシステムを示す図解図である。
【図２】図２は図１実施例のブロック図である。
【図３】図３は図１実施例においてタッチを検出する動作の一例を示すフロー図である。
【図４】図４は図１実施例においてマスクを作成する動作の一例を示すフロー図である。
【図５】図５は図１実施例においてプラスチックスクリーンの前方の人間が手でスクリーンにタッチしたときの実際の映像を示す。
【図６】図６は図１実施例において用いられるマスク画像の一例を示す図解図である。
【図７】図７はスクリーンにタッチした手によって作られた黒領域の一例を示す図解図である。
【符号の説明】
１０ …大画面タッチパネルシステム
１２ …プラスチックスクリーン
１４ …人間
１６ …手
１８ …赤外光源
２０ …ミラー
２２ …モノクロカメラ
２４ …赤外フィルタ
２６ …コンピュータ
３０ …プロジェクタ
３２ …内部メモリ
３６ …外部メモリ
【産業上の利用分野】
この発明は大画面タッチパネルシステムおよび検索・表示システムに関し、特にたとえば、人間が大画面スクリーンの前に立ち人間の手でタッチすることによって大画面上の座標を獲得できる、新規な大画面タッチパネルシステムとそれを利用する検索・表示システムに関する。
【０００２】
【従来の技術】
従来、たとえばＣＲＴの画面上の任意の点をたとえばスタイラスペンや人間の指でタッチすることにより、その点の画面上での位置（座標）を得ることができる、いわゆるタッチパネルが実用に供されている。
【０００３】
このようなタッチパネルとしては、ＣＲＴ画面へのタッチを検出する方式で分類すると、抵抗膜方式、光電方式などがある。
【０００４】
抵抗膜方式では、Ｘ方向電極が形成された透明シートとＹ方向電極が形成された透明シートとを積層し、指やペンで押すと２枚のシート上の１対の電極が導通し、それによって座標を検知することができる。また、光電方式では、画面上のＬＥＤアレイと受光素子アレイから構成される赤外線ビーム格子内にタッチすると２本の直交ビームが遮断され、その位置から座標を検出する。
【０００５】
【発明が解決しようとする課題】
この種の従来のタッチパネルはいずれも、たとえばＣＲＴやＬＣＤ程度のサイズを前提とするものであり、それを大画面化するためには、電極数を多くしたり、ＬＥＤや受光素子数を多くするなどが必要であり、したがって、非常に高価になってしまう。
【０００６】
それゆえに、この発明の主たる目的は、大画面スクリーンでタッチ入力が可能な、新規な大画面タッチパネルを提供することである。
【０００７】
【課題を解決するための手段】
請求項１の発明は、赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、赤外カメラからの映像信号に基づいて得られるピクセルデータに対してぼかし処理を実行するぼかし手段、ぼかし処理を実行したピクセルデータに対して閾値処理を実行して２値化ピクセルデータを出力する２値化手段、２値化ピクセルデータに基づいて黒領域を検出する黒領域検出手段、検出手段によって検出された黒領域のサイズを計測するサイズ計測手段、およびサイズ計測手段によって計測されたサイズが一定範囲内の黒領域の座標データをスクリーンの前面において赤外光が遮られた遮光領域の位置を示す座標データとして出力する座標データ出力手段を備える、大画面タッチパネルシステムである。
【０００８】
請求項２の発明は、マスクデータを用いて前記ピクセルデータに対してマスク処理を実行するマスク処理手段をさらに備え、ぼかし手段は、マスク処理手段によってマスク処理されたピクセルデータに対してぼかし処理を実行する、請求項１記載の大画面タッチパネルシステムである。
請求項３の発明は、ピクセルデータおよびマスク処理されたピクセルデータの一方から背景データを減算する減算手段をさらに備え、ぼかし手段は、減算手段によって背景データが減算されたピクセルデータに対してぼかし処理を実行する、請求項１または２記載の大画面タッチパネルシステムである。
【０００９】
請求項４の発明は、スクリーンの後方からスクリーンの背面に映像を投射するための映像投射手段をさらに備える、請求項 1 ないし３のいずれかに記載の大画面タッチパネルシステムである。
請求項５の発明は、スクリーンの後方にミラーをさらに設け、赤外カメラはミラーを通してスクリーンの背面全面を撮影する、請求項１ないし４のいずれかに記載の大画面タッチパネルシステムである。
【００１１】
請求項６の発明は、赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、スクリーンの後方からスクリーンの背面に映像を投射するための映像投射手段および赤外カメラからの映像信号を受けるコンピュータを備え、スクリーンの前面に人間がタッチすることによって映像を投射しているスクリーン上の座標位置を指示する、大画面タッチパネルシステムのプログラムであって、コンピュータに 赤外カメラからの映像信号に基づいて得られるピクセルデータに対してぼかし処理を実行するぼかしステップ、ぼかし処理を実行したピクセルデータに対して閾値処理を実行して２値化ピクセルデータを出力する２値化ステップ、２値化ピクセルデータに基づいて黒領域を検出する黒領域検出ステップ、黒領域検出ステップによって検出した黒領域のサイズを計測するサイズ計測ステップ、およびサイズ計測ステップによって計測されたサイズが一定範囲内の黒領域の座標データをスクリーンの前面において赤外光が遮られた遮光領域の位置を示す座標データとして出力する座標データ出力ステップを実行させる、大画面タッチパネルシステムのプログラムである。
【００１３】
請求項７の発明は、赤外光を透過できる材料からなるスクリーン、スクリーンの前方からスクリーンの前面に赤外光を照射する赤外光源、スクリーンの後方に設けられてスクリーンの背面を撮影する赤外カメラ、スクリーンの後方に設けられてスクリーンの背面に映像を投影するプロジェクタおよびコンピュータを備え、コンピュータは関連するメモリを有し、メモリには第１情報と第１情報に関連する第２情報とを蓄積しておく、検索・表示プログラムであって、コンピュータに 第２情報をプロジェクタによってスクリーン上に映写させる第２情報映写ステップ、第２情報がスクリーン上に映写されている状態で赤外カメラからの映像信号に基づいて得られるピクセルデータに対してぼかし処理を実行するぼかしステップ、ぼかし処理を実行したピクセルデータに対して閾値処理を実行して２値化ピクセルデータを出力する２値化ステップ、２値化ピクセルデータに基づいて黒領域を検出する黒領域検出ステップ、検出ステップによって検出された黒領域のサイズを計測するサイズ計測ステップ、およびサイズ計測ステップによって計測されたサイズが一定範囲内の黒領域の座標データが第２情報の表示位置に相関するとき、第２情報に関連する第１情報をプロジェクタによってスクリーン上に映写させるステップを実行させる、検索・表示プログラムである。
【００１４】
【作用】
スクリーンの前方に人間が立って、人間が手によってスクリーンに直接タッチすると、その手や人間の体によって遮光領域が形成されるが、サイズが適正な遮光領域、この場合であれば、手によって形成された遮光領域（黒領域）が検出され、当該領域のたとえば中心座標データが、タッチ位置データとして出力される。
【００１５】
このような大画面タッチパネルシステムは、検索・表示システムとして利用できるが、この検索・表示システムでは、コンピュータのメモリに第１情報（たとえば、静止画像）とその第１情報に関連する第２情報（たとえば、サムネイル画像）とを蓄積しておく。そして、コンピュータはプロジェクタによって、第２情報をスクリーン上に映写させる。その第２情報をポインティングしようとして人間が手でスクリーンをタッチすると、上述のようにしてタッチ位置が検出される。このタッチ位置とサムネイム画像の表示位置とが一定の関係あるとき、そのサムネイル画像（第２情報）に関連する静止画像（第１情報）をスクリーン上に映写させる。
【００１６】
【発明の効果】
この発明によれば、非常に大きいサイズのスクリーンでも、それをタッチスクリーン（タッチパネル）にすることができる。スクリーンの背面を撮影した赤外映像信号からタッチ位置を検出できるので、スクリーンの背面に映像を投射した状態でも、人間が手でスクリーンの前面から直接タッチすることによって、スクリーン上の位置をポインティングすることができる。したがって、従来の小画面のタッチパネルに比べて、たとえば多人数参加のイベント会場における検索・表示システムなどの非常に広範な用途に利用可能である。
【００１７】
この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。
【００１８】
【実施例】
図１に示すこの実施例の大画面タッチパネルシステム１０は、たとえば２５０×１８０ｃｍ程度のサイズのプラスチックスクリーン１２を含む。ただし、このサイズは単なる一例であり、用途に応じて任意に変更可能である。プラスチックスクリーン１２は、赤外光透過可能材料、たとえばポリカーボネイトなどのプラスチックからなり、全体としてたとえば乳白色である。ただし、このプラスチックスクリーン１２は完全な透明ではない。なぜなら、このプラスチックスクリーン１２は、後述のプロジェクタ３０から映像を映写するための投影スクリーンとして機能する必要があるからである。また、このプラスチックスクリーン１２は、比較的大きい剛性を有する。なぜなら、この大画面タッチパネルシステム１０では、図１に示すように、プラスチックスクリーン１２の前方の人間１４が、自分の手１６でプラスチックスクリーン１２を直接タッチすることによって、プラスチックスクリーン１２の上の位置（点または領域）を指示するからである。つまり、プラスチックスクリーン１２には人間の手が触っても容易には変形しない程度の剛性が必要である。
【００１９】
ただし、実施例ではプラスチックでスクリーン１２を形成した。しかしながら、ガラスや他の赤外光透過材料が用いられてもよい。
【００２０】
このプラスチックスクリーン１２の前方上方には、スクリーン１２の前面１２ａの全面に赤外光を投射するための赤外光源１８が設けられる。この赤外光源１８としては、ハロゲンランプまたはブラックライトなどが利用可能である。この赤外光源１８を設ける位置は基本的にはプラスチックスクリーン１２のサイズに依存して決定されるが、実施例のプラスチックスクリーン１２が上記サイズであれば、たとえば、赤外光源１８は、プラスチックスクリーン１２の前面１２ａから２００−４００ｃｍ離れた高さ２００−３００ｃｍの位置に配置される。赤外光源１８から投射された赤外光はプラスチックスクリーン１２の前面１２ａから入射し、このスクリーン１２を透過して背面１２ｂに至る。これらの数値は単なる例示である。
【００２１】
プラスチックスクリーン１２の後方には、ミラー２０が設けられる。このミラー２０はプラスチックスクリーン１２の背面１２ｂの全面を映出できる大きさにされかつその位置に配置される。実施例ではプラスチックスクリーン１２がたとえば２５０×１８０ｃｍであれば、ミラー２０はたとえば１５０×１１０ｃｍ程度の大きさにされ、プラスチックスクリーン１２の背面からたとえば２００ｃｍ後方に配置される。これらの数値も単なる例示である。
【００２２】
プラスチックスクリーン１２の後方には、このミラー２０の表面に合焦されたモノクロカメラ２２が設けられる。このモノクロカメラ２２には赤外フィルタ２４が装着される。したがって、このカメラ２２は全体としては、赤外カメラとして機能する。そのため、モノクロカメラ２２および赤外フィルタ２４は赤外カメラに代えられてもよい。このカメラ２２はミラー２０を通してプラスチックスクリーン１２の背面全面を撮影する。
【００２３】
カメラ２２からの映像信号は、図２からよくわかるように、Ａ／Ｄ変換器２８によって映像信号データに変換されて、コンピュータ２６に入力される。
【００２４】
この図１に示す実施例では、プラスチックスクリーン１２の後方に、プロジェクタ３０が設けられる。このプロジェクタ３０は、前述のようにプラスチックスクリーン１２の背面１２ｂの全面に映像を投射するためのものである。実施例では、プロジェクタ３０は、ミラー２０を通して、背面１２ｂの全面に投影できるようにされる。プロジェクタ３０から投射された映像（光学像）は、ミラー２０で反射されて、プラスチックスクリーン１２の背面１２ｂに投影される。したがって、このプラスチックスクリーン１２の前面１２ａから、その投影された映像を見ることができる。
【００２５】
なお、ミラー２０を用いる理由は、プラスチックスクリーン１２の後方のスペースを可及的小さくするためである。したがって、当然のことではあるが、ミラー２０を省略することができる。この場合には、上述のカメラ２２がプラスチックスクリーン１２の背面１２ｂの全域を直接撮影し、プロジェクタ３０からプロジェクタスクリーン１２の背面１２ｂに映像が直接投射される。
【００２６】
図２に示すように、コンピュータ２６にはたとえば半導体メモリやハードディスクなどの内部メモリ３２が内蔵されるとともに、必要に応じて、メモリインタフェース３４を介して、半導体メモリである外部メモリ３６が接続される。内部メモリ３２は、後述のフロー図に示すようなプログラムを予め記憶するプログラムメモリとして、さらには画像処理のためのワーキングメモリやレジスタなどとして利用される。プロジェクタ３０を用いる場合には、内部メモリ３２はさらに、プロジェクタ３０のためのメモリのビデオメモリ（ＶＲＡＭ）としても用いられる。
【００２７】
なお、外部メモリ３６としては、半導体メモリ以外に、磁気記録媒体、光学式記録媒体、光磁気記録媒体などが用いられ得るが、ここでは便宜上すべて「メモリ」の用語を使用する。したがって、「メモリ」というときは、あらゆる形式の記憶媒体または記録媒体を指すものと理解されたい。
【００２８】
なお、コンピュータ２６は、さらに、ランプドライバ３８を制御し、赤外光源１８のオン／オフを制御するとともに、必要な場合には、その赤外光源１８の輝度を調節する。
【００２９】
図１実施例の大画面タッチパネルシステム１０では、先に概説したように、プラスチックスクリーン１２の前方の人間１４が、手１６でプラスチックスクリーン１２を直接タッチすることによって、プラスチックスクリーン１２の上の座標位置を指示するが、そのための動作を、図３のフロー図を参照して説明する。
【００３０】
図３の最初のステップＳ１では、初期設定が実行される。この初期設定では、まず、コンピュータ２６は、ランプドライバ３８を制御して、赤外光源１８をオンする。そして、さらに内部メモリ３２内の各変数がそれらの初期値として設定される。たとえば、カメラ２２からの映像信号を閾値処理するための閾値（Ｔ：後述）の初期値を、内部メモリ３２の適宜のレジスタ（閾値レジスタ）に設定する。さらに、モノクロカメラ２２のホワイトバランスが調整される。つまり、このカメラ２２で撮影したプラスチックスクリーン１２を通った赤外光で作る像が白またはそれに近い色（実質的に白）になるようにチューニングされる。
【００３１】
続くステップＳ３では、コンピュータ２６は、プラスチックスクリーン１２の前方に人間が存在しない状態、すなわち無人状態で、カメラ２２からの映像信号データを取り込んで、背景データ（ＢＧ）を作成する。このステップＳ３で作成した背景データ（ＢＧ）は、システム１０を設置している会場での赤外光などに対する障害物の影響を除去するために利用される。
【００３２】
続いて、ステップＳ５では、プラスチックスクリーン１２の前に人間が立って、その手１６で、図１に示すようにプラスチックスクリーン１２の前面１２ａの任意の場所を押さえ（タッチし）、その状態で、コンピュータ２６は、カメラ２２からの映像信号データすなわちピクセルデータ（Ｖ）を取り込む。実施例では、プラスチックスクリーン１２の全面はたとえば６４０×４８０ピクセルの解像度で表され、ピクセルデータは２５６階調（８ビット／１ピクセル）で与えられる。このステップＳ５では、たとえば図５に示すようなピクセルデータが得られる。この図５に示す例では、スクリーン１２上にその前方の人間が手を押し付けたときの映像のピクセルデータが得られる。
【００３３】
次のステップＳ７では、マスク処理を実行する。具体的には、マスクデータ（Ｍ）とピクセルデータ（Ｖ）とを論理積（ＡＮＤ）処理する。なお、マスクデータ（Ｖ）とは、図４に示すフロー図に従って作られたノイズ除去用のデータである。
【００３４】
すなわち、図４のステップＳ３１で、赤外光源１８をオンし、続くステップＳ３３で、コンピュータ２６は、ステップＳ３と同様に、無人状態でピクセルデータを取り込む。そして、次のステップＳ３５で適宜の閾値で閾値処理し、ステップＳ３７でさらに反転することによって、図６に示すようなマスクが生成される。そして、このマスクデータ（Ｖ）は、コンピュータ２６の内部メモリ３２（図２）に登録される。
【００３５】
詳しくいうと、無人状態で撮影したとき、そのピクセルデータ（映像）は、図５の映像から人間による影（赤外光を遮光している遮光領域）を取った映像となる。図５の映像から人間の影を除去すると、赤外光源１８の赤外光の丸い広がりに対してスクリーン１２が矩形であることに起因して、スクリーン１２の４隅にそれぞれ３角形状の薄い影ができている。この４隅の影は、それぞれが薄いときには殆ど影響しないが、濃くなると人間がスクリーン１２上でポインティングすることによってできた遮光領域と区別できなくなる。そこで、実施例では、このスクリーン１２の４隅を判別の対象領域としないように、図６に示すようなマスクを作成する。
【００３６】
そして、このマスクのマスクデータ（Ｖ）とピクセルデータ（Ｖ）とをＡＮＤ処理することによって、４隅にできた影の影響を完全になくすことができる。
【００３７】
なお、このようなマスクデータ（Ｖ）は、図３のような処理の実行に先立って予め図４の処理を実行することによって、内部メモリ３２に予め登録しておくようにすればよい。その都度マスクを作る面倒がなくなる。
【００３８】
図３に戻って、次のステップＳ９では、ステップＳ３で取得した背景データ（ＢＧ）を、ステップＳ７を実行した後のデータ（Ｖ・Ｍ）から減算する。このステップＳ９は赤外光の障害物の影響を除去するために実行する。したがって、上述のように無人状態での影の影響を除去できるマスクを作成すれば、ステップＳ９を実行する必要はない。その意味では、ステップＳ９はオプションである。ただし、このステップＳ９を実行するのであれば、ステップＳ７におけるマスク処理がオプションとなる。換言すれば、ステップＳ７およびステップＳ９は択一的に実行されてもよい。
【００３９】
次にステップＳ１１では、これもオプションであるが、ガウス分布に従ったぼかし処理を実行する｛ＢＧ（Ｖ・Ｍ−ＢＧ）｝。これは、フレーム毎のノイズを除去するためである。
【００４０】
そして、ステップＳ１３において、ステップＳ１の初期設定で決めた閾値を用いて、閾値処理を実行する［Ｔ｛ＢＧ（Ｖ・Ｍ−ＢＧ）｝］。このステップＳ１３を実行することによって、各ピクセルデータが２値化（「１」または「０」）される。たとえば、輝度レベルが「１０１」以上のピクセルを「１」（白）とし、「１００」以下のピクセルを「０」（黒）とする。
【００４１】
その後、ステップＳ１５で黒領域を抽出する。この黒領域を抽出する手法は任意の方法が考えられるが、実施例では、たとえば、Paul S. Heckbertによって提案された「A SEED FILL ALGORITHM」(PP275-277, GRAPHICS GEMS I '90)を利用する。この手法は、黒ピクセルが検出されなくなるまで隣接する黒ピクセルを順次たどって黒領域を検出する方法である。
【００４２】
そして、ステップＳ１５で、全ての黒領域を抽出する。このとき、各黒領域は、スクリーン１２の右上隅を座標０，０として、（ｘｍｉｎ，ｘｍａｘ），（ｙｍｉｎ，ｙｍａｘ）で示す矩形領域として抽出される。ただし、ｘｍｉｎは横軸（Ｘ軸）の最小値、ｘｍａｘはＸ軸の最大値、ｙｍｉｎは縦軸（Ｙ軸）の最小値、ｙｍａｘはＹ軸の最大値を示している。
【００４３】
次のステップＳ１７で、コンピュータ２６は、各黒領域の中心座標と面積とを計算する。具体的には、各黒領域の中心座標は数１で、面積は数２でそれぞれ計算できる。
【００４４】
【数１】
ｃｘ，ｃｙ＝（（ｘｍｉｎ＋ｘｍａｘ）／２，（ｙｍｉｎ＋ｙｍａｘ）／２）
【００４５】
【数２】
面積＝（ｘｍａｘ−ｘｍｉｎ）×（ｙｍａｘ-ｙｍｉｎ）
そして、続くステップＳ１９で、各中心座標および面積を正規化する。中心座標や面積をスクリーンサイズや各方向のピクセル数に依存させないためである。実施例では、スクリーンサイズは横（Ｘ）６４０ピクセル、縦（Ｙ）４８０ピクセルであるので、正規化中心座標ｎｃｘ，ｎｃｙは数３で与えられる。
【００４６】
【数３】
ｎｃｘ＝ｃｘ／６４０ ε［０，１］
ｎｃｙ＝ｃｙ／４８０ ε［０，１］
ただし、ε［０，１］は「０」と「１」との間で正規化することを意味する。
【００４７】
また、面積の正規化は次の数４の手法による。
【００４８】
【数４】
正規化面積＝面積／６４０×４８０ ε［０，１］
そして、ステップＳ２１において、ノイズを除去したり、スクリーン１２の前方の人間が近づきすぎた場合などを無効にするために、過大過小の黒領域を無効にする（捨てる）。具体的には、可能最小面積をＭＩＮとし、可能最大面積をＭＡＸとし、ＭＩＮ≦面積≦ＭＡＸ以外の黒領域は捨てて、たとえば図７に示す適正なサイズの黒領域のデータのみを残す。この図７は、図５に示す人間の手の部分だけが適正黒領域として検出されたことを示している。
【００４９】
なお、ステップＳ２１は、手作業で実行してもよい。
【００５０】
そして、最後に、ステップＳ２３で残った適正黒領域（図７）の中心座標および面積をタッチ点（または領域）のデータとして、出力する。
【００５１】
なお、図１では１人の人間だけがプラスチックスクリーンの前方に存在するように図示したが、２人以上の人間が同時にタッチしても全てのタッチ位置を個別に同定することができる。
【００５２】
この図１実施例の大画面タッチパネルシステム１０は、様々な用途に用いることができるが、一例としては、情報検索のための入力装置として利用可能である。
【００５３】
たとえば、コンピュータ２６の外部メモリ３６（または内部メモリ３２）に大量の画像（静止画／動画：第１情報）を、カテゴリ毎に蓄積しておき、各カテゴリを代表するサムネイル画像（第２情報）を内部メモリ３２（または外部メモリ３６）内に登録しておく。そして、コンピュータ２６によって、それらのサムネイル画像を図１の参照番号Ｓ１およびＳ２で示すように、プロジェクタ３０によって、プラスチックスクリーン１２上に投映する。このとき、サムネイル画像Ｓ１やＳ２は、スクリーン１２上のランダムな位置に映写される。そして、図１のシステム１０によって、上述のようにして、スクリーン１２の前方の人間１４が自分の手１６で、どれかのサムネイル画像にタッチする。この手によるスクリーン１２へのタッチが、上述の図３に示す動作に従って検出され、そのタッチ位置がサムネイル画像Ｓ１またはＳ２の表示位置と比較され、タッチ位置が表示位置に対して一定の関係（同一または同一ではないが一定範囲内の近い位置）であったとすると、コンピュータ２６は、当該サムネイル画像が代表するカテゴリの静止画像（および／または動画像）を外部メモリ３６（または内部メモリ３２）から順次読み出し、任意の演出に従って、プロジェクタ３０によってプラスチックスクリーン１２上に映写させる。
【００５４】
なお、上述の実施例では、第１情報（蓄積画像）と第２情報（サムネイル画像）とは同じメモリに蓄積されてもよく、違うメモリに記憶されてもよい。
【００５５】
この実施例によれば、プラスチックスクリーン１２のサイズが大きいので、多人数が参加した任意の会場での検索・表示システムとして利用することができる。
【００５６】
一例として、たとえば結婚披露宴会場にこのシステム１０を設置した場合、新郎新婦の各時代（小学校以前、小学校、中学校、高校、大学、社会人、など）をカテゴリとして、画像を蓄積すればよい。そして、披露宴でのイベントとして、上述のような検索・表示を行えば、披露宴を盛大に演出することができる。
【００５７】
これとはやや趣きを異にするが、同様の検索・表示システムとして、たとえば葬儀会場などでも利用できる。
【００５８】
さらに、上述の実施例の検索・表示システムではスクリーン１２に表示する情報（映像）をいずれも画像とした。しかしながら、表示する情報の種類は、第１情報、第２情報に拘わらず、画像以外の文字等であってもよい。
【００５９】
なお、上述の実施例ではプラスチックスクリーン１２の前方から赤外光源１８によって赤外光をスクリーン上に照射し、他方コンピュータ２６はカメラ２２の映像信号スクリーン１２の後方で赤外光が遮光される領域を検出した。しかしながら、人間の手はそれ自体が赤外光を発するものであるから、スクリーン１２を透過した赤外光を検出するようにしてもよい。この場合には、コンピュータ２６はカメラ２２からの映像信号を分析して赤外光が存在する領域（赤外光領域）を検出するようにすればよい。
【図面の簡単な説明】
【図１】図１はこの発明の一実施例の大画面タッチパネルシステムを示す図解図である。
【図２】図２は図１実施例のブロック図である。
【図３】図３は図１実施例においてタッチを検出する動作の一例を示すフロー図である。
【図４】図４は図１実施例においてマスクを作成する動作の一例を示すフロー図である。
【図５】図５は図１実施例においてプラスチックスクリーンの前方の人間が手でスクリーンにタッチしたときの実際の映像を示す。
【図６】図６は図１実施例において用いられるマスク画像の一例を示す図解図である。
【図７】図７はスクリーンにタッチした手によって作られた黒領域の一例を示す図解図である。
【符号の説明】
１０ …大画面タッチパネルシステム
１２ …プラスチックスクリーン
１４ …人間
１６ …手
１８ …赤外光源
２０ …ミラー
２２ …モノクロカメラ
２４ …赤外フィルタ
２６ …コンピュータ
３０ …プロジェクタ
３２ …内部メモリ
３６ …外部メモリ
Claims (7)
- 赤外光を透過できる材料からなるスクリーン、
前記スクリーンの前方から前記スクリーンの前面に赤外光を照射する赤外光源、
前記スクリーンの後方に設けられて前記スクリーンの背面を撮影する赤外カメラ、
前記赤外カメラからの映像信号に基づいて得られるピクセルデータに対してぼかし処理を実行するぼかし手段、
前記ぼかし処理を実行したピクセルデータに対して閾値処理を実行して２値化ピクセルデータを出力する２値化手段、
前記２値化ピクセルデータに基づいて黒領域を検出する黒領域検出手段、
前記検出手段によって検出された黒領域のサイズを計測するサイズ計測手段、および
前記サイズ計測手段によって計測されたサイズが一定範囲内の黒領域の座標データを前記スクリーンの前面において前記赤外光が遮られた遮光領域の位置を示す座標データとして出力する座標データ出力手段を備える、大画面タッチパネルシステム。 - マスクデータを用いて前記ピクセルデータに対してマスク処理を実行するマスク処理手段をさらに備え、
前記ぼかし手段は、前記マスク処理手段によってマスク処理されたピクセルデータに対して前記ぼかし処理を実行する、請求項１記載の大画面タッチパネルシステム。 - 前記ピクセルデータおよび前記マスク処理されたピクセルデータの一方から背景データを減算する減算手段をさらに備え、
前記ぼかし手段は、前記減算手段によって前記背景データが減算されたピクセルデータに対して前記ぼかし処理を実行する、請求項１または２記載の大画面タッチパネルシステム。 - 前記スクリーンの後方から前記スクリーンの背面に映像を投射するための映像投射手段をさらに備える、請求項 1 ないし３のいずれかに記載の大画面タッチパネルシステム。
- 前記スクリーンの後方にミラーをさらに設け、前記赤外カメラは前記ミラーを通して前記スクリーンの背面全面を撮影する、請求項１ないし４のいずれかに記載の大画面タッチパネルシステム。
- 赤外光を透過できる材料からなるスクリーン、前記スクリーンの前方から前記スクリーンの前面に赤外光を照射する赤外光源、前記スクリーンの後方に設けられて前記スクリーンの背面を撮影する赤外カメラ、前記スクリーンの後方から前記スクリーンの背面に映像を投射するための映像投射手段および前記赤外カメラからの映像信号を受けるコンピュータを備え、前記スクリーンの前面に人間がタッチすることによって前記映像を投射している前記スクリーン上の座標位置を指示する、大画面タッチパネルシステムのプログラムであって、
前記コンピュータに
前記赤外カメラからの映像信号に基づいて得られるピクセルデータに対してぼかし処理を実行するぼかしステップ、
前記ぼかし処理を実行したピクセルデータに対して閾値処理を実行して２値化ピクセルデータを出力する２値化ステップ、
前記２値化ピクセルデータに基づいて黒領域を検出する黒領域検出ステップ、
前記黒領域検出ステップによって検出した黒領域のサイズを計測するサイズ計測ステップ、および
前記サイズ計測ステップによって計測されたサイズが一定範囲内の黒領域の座標データを前記スクリーンの前面において前記赤外光が遮られた遮光領域の位置を示す座標データ として出力する座標データ出力ステップを実行させる、大画面タッチパネルシステムのプログラム。 - 赤外光を透過できる材料からなるスクリーン、前記スクリーンの前方から前記スクリーンの前面に赤外光を照射する赤外光源、前記スクリーンの後方に設けられて前記スクリーンの背面を撮影する赤外カメラ、前記スクリーンの後方に設けられて前記スクリーンの前記背面に映像を投影するプロジェクタおよびコンピュータを備え、前記コンピュータは関連するメモリを有し、前記メモリには第１情報と前記第１情報に関連する第２情報とを蓄積しておく、検索・表示プログラムであって、
前記コンピュータに
前記第２情報を前記プロジェクタによって前記スクリーン上に映写させる第２情報映写ステップ、
前記第２情報が前記スクリーン上に映写されている状態で前記赤外カメラからの映像信号に基づいて得られるピクセルデータに対してぼかし処理を実行するぼかしステップ、
前記ぼかし処理を実行したピクセルデータに対して閾値処理を実行して２値化ピクセルデータを出力する２値化ステップ、
前記２値化ピクセルデータに基づいて黒領域を検出する黒領域検出ステップ、
前記検出ステップによって検出された黒領域のサイズを計測するサイズ計測ステップ、および
前記サイズ計測ステップによって計測されたサイズが一定範囲内の黒領域の座標データが前記第２情報の表示位置に相関するとき、前記第２情報に関連する前記第１情報を前記プロジェクタによって前記スクリーン上に映写させるステップを実行させる、検索・表示プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003116122A JP4033802B2 (ja) | 2003-04-21 | 2003-04-21 | 大画面タッチパネルシステムおよび検索・表示システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003116122A JP4033802B2 (ja) | 2003-04-21 | 2003-04-21 | 大画面タッチパネルシステムおよび検索・表示システム |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2007216577A Division JP2007299434A (ja) | 2007-08-23 | 2007-08-23 | 大画面タッチパネルシステムおよび検索・表示システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004326188A JP2004326188A (ja) | 2004-11-18 |
| JP4033802B2 true JP4033802B2 (ja) | 2008-01-16 |
Family
ID=33496467
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003116122A Expired - Fee Related JP4033802B2 (ja) | 2003-04-21 | 2003-04-21 | 大画面タッチパネルシステムおよび検索・表示システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4033802B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4759412B2 (ja) * | 2006-03-09 | 2011-08-31 | 株式会社日立製作所 | テーブル型情報表示端末 |
| CN101617271B (zh) * | 2007-02-15 | 2015-07-15 | 高通股份有限公司 | 使用闪烁电磁辐射的增强输入 |
| JP2007299434A (ja) * | 2007-08-23 | 2007-11-15 | Advanced Telecommunication Research Institute International | 大画面タッチパネルシステムおよび検索・表示システム |
| DE102008034283A1 (de) | 2008-07-22 | 2010-01-28 | Evoluce Ag | Multitouch-Bildschirm mit einer Flüssigkristall-Bildschirmebene |
| EP2348390A1 (de) | 2010-01-20 | 2011-07-27 | Evoluce Ag | Eingabevorrichtung mit einer Kamera |
| GB2486445B (en) * | 2010-12-14 | 2013-08-14 | Epson Norway Res And Dev As | Camera-based multi-touch interaction apparatus system and method |
| JP6340860B2 (ja) * | 2014-01-21 | 2018-06-13 | セイコーエプソン株式会社 | 位置検出装置、プロジェクター、位置検出システム、及び、位置検出装置の制御方法 |
| JP6729297B2 (ja) | 2016-10-27 | 2020-07-22 | セイコーエプソン株式会社 | プロジェクター、プロジェクションシステム及び検出光照射装置 |
| JP7054774B2 (ja) * | 2018-01-10 | 2022-04-15 | パナソニックＩｐマネジメント株式会社 | 投影制御システム及び投影制御方法 |
-
2003
- 2003-04-21 JP JP2003116122A patent/JP4033802B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004326188A (ja) | 2004-11-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109377469A (zh) | 一种热成像融合可见光图像的处理方法、系统及存储介质 | |
| EP2321697B1 (en) | Spatially adaptive photographic flash unit | |
| JP3885458B2 (ja) | 投写画像の校正方法及びその装置、並びに機械可読媒体 | |
| US7984995B2 (en) | Method and apparatus for inhibiting a subject's eyes from being exposed to projected light | |
| CN105023552B (zh) | 显示器及其亮度调整方法 | |
| US7872637B2 (en) | System and method for tracking a laser spot on a projected computer screen image | |
| KR101531070B1 (ko) | 터치-감응 장치상의 손가락 방향의 검출 | |
| US8485668B2 (en) | 3D interaction for mobile device | |
| TWI450154B (zh) | 光學觸控系統及其物件偵測方法 | |
| JP5300859B2 (ja) | 撮像装置、表示撮像装置および電子機器 | |
| JP4581927B2 (ja) | 表示装置のぎらつき測定方法およびぎらつき測定装置 | |
| CN106604005B (zh) | 一种投影电视自动对焦方法及系统 | |
| US9100563B2 (en) | Apparatus, method and computer-readable medium imaging through at least one aperture of each pixel of display panel | |
| JP4033802B2 (ja) | 大画面タッチパネルシステムおよび検索・表示システム | |
| EP2128693A1 (en) | Spatially Adaptive Photographic Flash Unit | |
| CN101520700A (zh) | 一种基于摄像头的三维定位触摸装置及其定位方法 | |
| TW201218092A (en) | System and method for replacement of face images in a portable electronic device | |
| JP2007299434A (ja) | 大画面タッチパネルシステムおよび検索・表示システム | |
| US20110102318A1 (en) | User input by pointing | |
| TW201305856A (zh) | 投影系統與其影像處理方法 | |
| Wei et al. | Specular highlight reduction with known surface geometry | |
| JP2002351615A (ja) | ディスプレイ装置 | |
| CN103348306B (zh) | 交互式显示设备以及交互式显示设备中的方法 | |
| KR0171847B1 (ko) | 무선원격 좌표 입력방법 및 장치 | |
| JP2021092439A (ja) | 照明最適化方法、制御装置、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040817 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060807 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060816 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060925 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20070724 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070921 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20071003 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071023 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071023 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101102 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111102 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121102 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131102 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |