JP6233941B1 - 非接触式の三次元タッチパネル、非接触式の三次元タッチパネルシステム、非接触式の三次元タッチパネルの制御方法、プログラム及び記録媒体 - Google Patents

Abstract

【課題】装置構成が簡易であり、製造コストが低く且つ故障が生じにくいタッチパネル及びこのタッチパネルを用いたタッチパネルシステム等を提供する。【解決手段】本発明の非接触式の三次元タッチパネル1は、被計測物Aが移動する範囲である移動空間10と、移動空間に沿ってYZ平面内に配置される有色の第1帯体20と、ZX平面内に配置される有色の第2帯体30と、第1帯体に対向する位置に配置される第1反射鏡70と、第2帯体に対向する位置に配置される第2反射鏡71と、第1反射鏡で反射された第1帯体の像81と第2反射鏡で反射された第2帯体の像82の両方を同時に撮影する第3撮影手段80と、第3撮影手段が撮影した映像を解析することで被計測物のYZ座標上の位置及びZX座標上の位置を算出する映像解析手段60を備える。【選択図】図6

Description

本発明は装置構成が簡易で製造コストが低く、故障が生じにくく、且つ屋外での使用が可能な非接触式の三次元タッチパネル、非接触式の三次元タッチパネルシステム、非接触式の三次元タッチパネルの制御方法、プログラム及び記録媒体に関する。

コンピューターや携帯情報端末などの電子情報機器には入力装置と表示装置（ディスプレイ）とを組み合わせたタッチパネルが搭載されていることがある。
タッチパネルには静電容量方式、抵抗膜方式、超音波表面弾性波方式、光学方式（赤外線光学イメージング方式）などの種々の方式が存在する。
例えば静電容量式（特許文献1参照）では、パネル内にマトリックス状の電極パターンを配置し、ユーザーが指などでタッチすることで発生する静電容量の変化に基づいて座標を検出する仕組みになっている。
また、抵抗膜式（特許文献2参照）では、対向配置した2枚の膜の両端に電圧をかけておき、ユーザーがタッチすることで膜同士が接触した位置の電圧の変化に基づいて座標を検出する仕組みになっている。
また、光学方式（特許文献3参照）では、パネル上辺の左右端に赤外線LEDとイメージセンサー（カメラ）をそれぞれ配置し、パネルの左辺、右辺及び下辺に、入射光を入射方向に反射させる再帰反射テープを配置する。ユーザーが指などでパネルに触れて赤外光を遮蔽することで生じた影をイメージセンサーでとらえ、三角測量によって座標を検出する仕組みになっている。
これらタッチパネルはXY平面上の座標を検出するためのものであり、いわば二次元タッチパネルと呼ぶことができる。

更に、二次元タッチパネルの技術を応用して、三次元空間（XYZ空間）で操作可能な三次元タッチパネルの開発が進められている。
例えば特許文献4には第1検出手段と第2検出手段から成る上下二層構造の近接・接触センサが開示されている。このセンサは、電気的な変化（例えば、静電容量の変化等）を測定することにより、第1検出手段で対象物の接近の有無及びその位置を特定し、第2検出手段で対象物の接触位置及びその押圧力を特定する。一つのセンサで接近、接触、押圧までの一連の動作を正確に検知でき、また、三次元映像のように立体感や奥行き感がある映像に対しても対象物を利用したポインティングが可能となる。

特許第5306059号公報 特開2014−134454号公報 特許第5406990号公報 国際公開第2014／080924号

しかし、上記従来技術はいずれも装置構成が複雑なため、製造コストが嵩むという問題や故障が生じやすいという問題がある。特に、屋外での使用を考慮すると高い防水性を備えている必要があるが、上記従来技術は水分の影響を受け易く、動作精度が低下するという問題もある。
また、上記従来技術はいずれもユーザーの指等が電極やパネルに触れることにより指等の位置の二次元又は三次元座標を算出するものであるため、飲食店等の衛生面に気を付ける必要がある場所での使用には必ずしも適さないという問題もある。

本発明は上記問題に鑑み、装置構成が簡易で製造コストが低く、故障が生じにくく、且つ屋外での使用が可能な非接触式の三次元タッチパネル、非接触式の三次元タッチパネルシステム、非接触式の三次元タッチパネルの制御方法、プログラム及び記録媒体を提供することを課題とする。

本発明の非接触式の三次元タッチパネルは、X軸方向を左右方向、Y軸方向を上下方向、Z軸方向を前後方向とするXYZ三次元座標系において、座標計測の対象となる被計測物が移動する範囲である移動空間と、前記移動空間に沿ってYZ平面内に配置される有色の第1帯体と、前記移動空間に沿ってZX平面内に配置される有色の第2帯体と、前記移動空間を挟んで前記第1帯体に対向する位置に配置される第1反射鏡と、前記移動空間を挟んで前記第2帯体に対向する位置に配置される第2反射鏡と、前記第1反射鏡で反射された前記第1帯体の像と前記第2反射鏡で反射された前記第2帯体の像の両方を同時に撮影する第3撮影手段と、前記第3撮影手段が撮影した映像を解析することで前記被計測物のYZ座標上の位置及びZX座標上の位置を算出する映像解析手段とを特徴とする。

また、前記第1帯体及び／又は前記第2帯体がZ軸方向に2つ以上に分割されていることを特徴とする。
また、前記第1帯体及び／又は前記第2帯体のZ軸方向の位置が可変であることを特徴とする。
また、前記第1帯体及び／又は前記第2帯体がその長手方向に2つ以上に分割されており、分割された各部のZ軸方向の位置が可変であることを特徴とする。
また、前記第1帯体及び／又は前記第2帯体の色が暗色であることを特徴とする。
また、前記第1帯体及び／又は前記第2帯体が映像表示装置に電気的に表示された映像であることを特徴とする。
また、前記撮影手段が、スリットを備える箱体の内部に収容されており、前記スリットを介して撮影することを特徴とする。

また、透光性及び柔軟性を有するクッション材を備えており、前記クッション材が前記移動空間内に配置されることを特徴とする。
また、前記映像解析手段が、前記第3撮影手段が撮影した映像を解析する際に、当該映像を複数の画素に区分し、前記帯体の色とは異なる色の画素がX,Y,Z軸方向のいずれかの方向に一定数以上連続していない場合には、それらの画素をノイズと判断して位置座標の算出を行わないことを特徴とする。
また、前記映像解析手段が、前記第3撮影手段が撮影した映像を解析する際に、当該映像を複数の画素に区分し、隣接する2つの画素のRGB値の差分の絶対値の大小に基づいて前記被計測物のYZ座標上の位置及びZX座標上の位置を算出することを特徴とする。

本発明の非接触式の三次元タッチパネルシステムは、上記非接触式の三次元タッチパネルと、ユーザーが前記移動空間を通して映像表示面を視認できる位置に配置される映像再生装置と、前記映像解析手段によって算出された前記被計測物のYZ座標上の位置及びZX座標上の位置に基づいて、ユーザーが前記被計測物を移動させた位置が前記映像表示面上のどの位置にあたるかを算出し、前記映像表示面に表示される映像を変化させる映像処理手段とを備えることを特徴とする。
前記映像がポインタであることを特徴とする。
また、前記映像再生装置を二つ以上備えることを特徴とする。
また、前記映像表示面が曲面で構成されており、前記第1帯体及び／又は前記第2帯体が前記曲面の曲率に対応して湾曲していることを特徴とする。
また、前記移動空間と前記映像再生装置との間に透光性を有する板体を備えることを特徴とする。

本発明の非接触式の三次元タッチパネルの制御方法は、X軸方向を左右方向、Y軸方向を上下方向、Z軸方向を前後方向とするXYZ三次元座標系において、座標計測の対象となる被計測物が移動する範囲である移動空間に沿ってYZ平面内に有色の第1帯体、ZX平面内に有色の第2帯体が配置されており、更に、前記移動空間を挟んで前記第1帯体に対向する位置に第1反射鏡、前記第2帯体に対向する位置に第2反射鏡が配置されており、第3撮影手段が、前記第1反射鏡で反射された前記第1帯体の像と前記第2反射鏡で反射された前記第2帯体の像の両方を同時に撮影するステップと、映像解析手段が、前記第3撮影手段が撮影した映像を解析することで前記被計測物のYZ座標上の位置及びZX座標上の位置を算出するステップとを特徴とする。
本発明のプログラムは、上記非接触式の三次元タッチパネルの制御方法を、前記非接触式の三次元タッチパネルに接続されたコンピューターに実行させることを特徴とする。
本発明の記録媒体は、上記プログラムが記録されていることを特徴とする。

本発明の非接触式の三次元タッチパネル及び三次元タッチパネルシステムは、移動空間に沿って第1帯体及び第2帯体を配置し、移動空間内を移動する被計測物を撮影手段で撮影して解析することで被計測物のYZ座標及びZX座標を検出する。装置構成が簡易なため製造コストが低く、故障が生じにくく、また、大型化が容易という効果がある。また、従来の静電容量方式、抵抗膜方式、超音波表面弾性波方式、光学方式（赤外線光学イメージング方式）などの種々の方式とは異なり、周囲の環境の影響を受け難いので、屋外で使用した場合にも正確に動作する。また、非接触で作動するので衛生的である。
第1帯体及び／又は第2帯体をZ軸方向に2つ以上に分割したり、Z軸方向の位置を可変にしたり、第1帯体及び／又は第2帯体を長手方向に2つ以上に分割して分割した各部のZ軸方向の位置を可変にすれば、タッチパネルの感度を自在に調節することができる。
また、第1帯体及び／又は第2帯体の色を暗色にすれば、被計測物の影が第1帯体及び／又は第2帯体に映り込むことによる誤作動を防ぐことが出来る。
また、第1帯体及び／又は第2帯体を映像表示装置に電気的に表示した映像にすれば帯体の形状を自在に調節できる。

また、スリットを備えた箱体の内部に撮影手段を収容し、スリットを介して撮影することにすれば周囲の照明環境等の影響を受けずに正確に作動させることができる。
また、移動空間内に透光性及び柔軟性を有するクッション材を配置することで、ユーザーは映像表示面の映像に触れる感覚を持ちながら三次元タッチパネルを操作できる。
また、映像解析手段が、撮影手段が撮影した映像を解析する際に、当該映像を複数の画素に区分し、前記帯体の色とは異なる色の画素がX,Y,Z軸方向のいずれかの方向に一定数以上連続していない場合には、それらの画素をノイズと判断して位置座標の算出を行わないことにしたり、或いは隣接する2つの画素のRGB値の差分の絶対値の大小に基づいて被計測物のYZ座標上の位置及びZX座標上の位置を算出したりすることにすれば解析処理速度を向上させることができる。
映像再生装置に表示する映像をポインタにすれば、被計測物の位置に合わせて映像再生装置の画面上をポインタが移動していき、画面上の各種ボタンをクリックする等の視覚的動作が可能になる。
映像再生装置を二つ以上備えることにすれば、各映像再生装置に異なる映像を映すことができ、或いは各映像再生装置の映像を合わせて一つの大きな映像にすることができるので映像のバリエーションを増やすことができる。
映像表示面を曲面で構成し、第1帯体及び／又は第2帯体を湾曲させることにすれば、いわゆるフレキシブルディスプレイなどにも対応できる。
移動空間と映像再生装置との間に透光性を有する板体（例えば窓ガラス）を備えることにすれば、移動空間と映像再生装置とを当該板体で仕切った異なる空間に配置することができる。

非接触式の三次元タッチパネル及び三次元タッチパネルシステムの第1の実施の形態の構成を示す側面図(a)、第1撮影手段が撮影した第1帯体の映像(b)及び第2撮影手段が撮影した第2帯体の映像(c) ユーザーが移動空間内で手（指）を移動させた状態を示す側面図(a)、第2帯体の映像(b)及び映像解析手段による画素の解析イメージを示す図(c) 第2帯体に指の影が映った状態を示す側面図(a)、第2帯体の映像(b)及び第2帯体を暗色にした場合の映像(c) 複数の指に異なる色のキャップを被せたりした状態を示す側面図(a)及び第1帯体の映像(b) 映像再生装置を複数備えた構成を示す側面図(a)及び映像解析手段による画素の解析イメージを示す図(b) 第2の実施の形態の三次元タッチパネルの構成を示す斜視図 三次元タッチパネルの側面図(a)、ユーザーの側から見た正面図(b)及び第3撮影手段が撮影した映像(c) 第2帯体を上側、第2反射鏡を下側に配置した構成を示す側面図(a)、第3撮影手段が撮影した第1帯体及び第2帯体の映像(b)及び映像解析手段による画素の解析イメージを示す図(c) 移動空間、第1帯体及び第2帯体を屋外に設置した状態を示す側面図 三次元タッチパネルシステムの第2の実施の形態の構成を示す斜視図(a)及び縦断面図(b) 三次元タッチパネルシステムの使用例を示す斜視図(a)及び映像表示面の映像を示す図(b) 曲面の映像表示面及び第1帯体を示す斜視図(a)及び第1帯体の映像(b) 第1帯体及び第2帯体をZ軸方向に3つに分割した状態を示す側面図、第1帯体の映像(b)及び第2帯体の映像(c) 第2帯体をZ軸方向に2つに分割した状態を示す側面図及び第2帯体の映像(b) Z軸方向に2つに分割した第2帯体を映像表示装置に表示した状態を示す側面図(a)及び第2帯体の映像(b) 第1反射鏡及び第2反射鏡をフレームに対して角度調節自在に取り付けた構成を示す斜視図 第1帯体をY軸方向に3つに分割し、第2帯体をX軸方向に3つに分割した場合の構成を示す斜視図(a)及び各帯体の固定及び連結手段を示す図(b) 第1帯体及び第2帯体の変形例を示す側面図(a)、映像解析手段による画素の解析イメージを示す図(b)及び映像表示面の映像を示す図(c) プロジェクターが第1帯体及び第2帯体をプレートに投射する構成を示す斜視図(a)、プロジェクター側から見た正面図(b)、第1帯体の映像(c)及び第2帯体の映像(d) 撮影手段を、スリットを備える箱体の内部に収容した状態を示す側面図(a)及び第2帯体の映像(b) 移動空間内にクッション材を配置した状態を示す側面図 ノイズが含まれた第2帯体の映像(a)及び映像解析手段がノイズ除去処理を行なう際の画素の解析イメージを示す図(b) 第2帯体の映像(a)及び映像解析手段がRGB値の絶対値の大小に基づいて処理を行なう際の画素の解析イメージを示す図(b) 三次元タッチパネルを横に倒して筆やサインペン等の筆記具の先端を被計測物として用いた構成を示す側面図 三次元タッチパネルを横に倒した状態でクッション材等を配置した構成を示す側面図 映像再生装置を3つ配置した構成を示す側面図(a)及び平面図(b) 実施例における三次元タッチパネルシステムの斜視図(a)及び(b) 映像表示面の映像を示す図 指を移動させた状態を示す図(a)〜(d) 指を移動させた状態を示す図(a)〜(c)

［非接触式の三次元タッチパネルの第1の実施の形態］
以下、本発明の非接触式の三次元タッチパネル（以下、単に「三次元タッチパネル」と表記する場合がある。）の実施の形態を図面を用いて示す。

図1(a)〜(c)に示すように、三次元タッチパネル1は移動空間10、第1帯体20、第2帯体30、第1撮影手段40、第2撮影手段50及び映像解析手段60を備える。なお、三次元タッチパネル1はX軸方向を左右方向、Y軸方向を上下方向、Z軸方向を前後方向とするXYZ三次元座標系内に配置されるものとする。
移動空間10は座標計測の対象となる被計測物Aが移動する範囲である。被計測物Aとしては例えばユーザーの手、指先、指し棒の先端、ペン先等が挙げられるがこれらに限定されない。以下では被計測物Aをユーザーの手（指）として説明する。
移動空間10内は単に空気が存在しているだけでいいが、後述するように透光性及び柔軟性を有するクッション材115（図21を参照）を配置してもよい。

第1帯体20は移動空間10に沿ってYZ平面内に配置される有色の部材であり、第2帯体30は移動空間10に沿ってZX平面内に配置される有色の部材である。つまり、移動空間10を形成する上下左右の4面のうち第1帯体20が左右いずれかの面に配置され、第2帯体30が上下いずれかの面に配置されることになる。
第1帯体20及び第2帯体30の材料としては例えば布、紙、プラスチック、金属、木材等が挙げられるがこれらに限定されない。
第1帯体20及び第2帯体30の色としては、被計測物Aの色とコントラストが大きくなるようなものを選択するのが好ましい。

第1撮影手段40は第1帯体20を撮影するために、移動空間10を挟んで第1帯体20に対向して設けられ、第2撮影手段50は第2帯体30を撮影するために、移動空間10を挟んで第2帯体30に対向して設けられる。第1撮影手段40及び第2撮影手段50としては周知のビデオカメラ等が挙げられる。
映像解析手段60は第1撮影手段40が撮影した第1帯体20に関する第1映像41と、第2撮影手段50が撮影した第2帯体30に関する第2映像51を解析することで被計測物AのYZ座標上の位置及びZX座標上の位置を算出するために設けられる。本実施の形態では映像解析手段60はコンピューターC内に格納されているものとする。

次に、三次元タッチパネルの動作のアルゴリズムについて説明する。
まず、第1撮影手段40は第1帯体20を撮影しており、第2撮影手段50は第2帯体30を撮影している。
図2(a)に示すようにユーザーが手（指）Aを移動空間10内に入れると、第1映像41及び第2映像51に手（指）Aが映り込む。図2（b）及び(c)に示すように第2映像51を例にすると、映像解析手段60はX軸方向をX1、X2…Xnまで、Z軸方向をZ1、Z2…Znまで区切ることで第2映像51をn×n個の画素から成る集合体として規定している。そして、映像解析手段60は各画素の色データを解析することで、ユーザーの手（指）Aと重なっている画素（黒塗りの部分）を特定する。
画素の色データの解析は、画素のカラーデータ値であるRGB値を使用して、第2帯体30が写っている画素（灰色の部分）のRGB値と、ユーザーの手（指）Aが写っている画素（黒塗りの部分）のRGB値とを比較することにより行なう。
例えば、第2帯体30の色が緑色（RGB値ではR=0,G=255,B=0）の場合、映像解析手段60は各画素のRGB値を取得及び比較して、RGB値が(0,255,0)と同一又は近い画素と、異なる画素を抽出する。これにより、第1帯体20及び第2帯体30が写っている画素とユーザーの手（指）Aが写っている画素を判別し、更に、ユーザーの手（指）Aが写っている各画素のうち最もZ軸方向に離れた（遠い）画素がユーザーの指Aと重なっている画素と判断し、その画素のZX座標を算出することで指AのZX方向の位置を算出する。
第1帯体20でも同様の解析を行なうことで手（指）AのYZ方向の位置を算出し、これにより指AのXYZ座標を算出する。

上記アルゴリズムでは手（指）AのXYZ座標を算出する際に各画素のRGB値を比較するだけで済むので、例えばスマートフォン等の比較的処理速度が遅いコンピューターCでも対応可能である。なお、カラーデータ値としてRGB値以外にCMYK値等を用いてもよい。
また、予め第1帯体20及び第2帯体30の位置を映像解析手段60が記憶しておき、第1帯体20及び第2帯体30が写っている画素だけを解析することにすれば、第1映像41及び第2映像51全体を解析する場合と比較して処理の高速化を図ることができる。なお、予め第1帯体20及び第2帯体30の位置を映像解析手段60が記憶しておくのではなく、第1映像41及び第2映像51全体の画素を解析することにしてもよい。
他のアルゴリズムとしては、第1帯体20及び第2帯体30が写っている画素とユーザーの手（指）Aが写っている画素を判別する際に、全ての画素のRGB値を取得するのではなく、一定間隔をあけて画素のRGB値を取得・判別することにしてもよく、この場合は処理の高速化を図ることができる。

第1帯体20及び／又は第2帯体30の色を暗色にしてもよい。
図3(a)及び(b)に示すように、室内の照明Lや他の機器の光等により、意図せずユーザーの手（指）Aの影A’が第1帯体20及び／又は第2帯体30に映ってしまい、第1帯体20及び／又は第2帯体30の色が部分的に変わってしまう可能性がある。これが映像解析手段60による色データの解析の際のノイズとなり、ユーザーの手（指）AのXYZ座標が正確に検出されない可能性がある（つまり影によるエイリアスノイズの発生）。そこで、図3(c)に示すように第1帯体20及び／又は第2帯体30を暗色（例：黒色、RGB表記ではR=0,G=0,B=0）等にすることで影が映らなく、或いは映り難くすることができる。これにより、コンピューターC側で影によるエイリアスノイズ除去アルゴリズムを組み込む必要が無くなり、R=0、G=0、B=0以外の色の画素を抽出するだけで影ノイズの影響を自動的に除去して、エイリアスのないユーザーの手（指）AのXYZ座標のみを取得出来るようになり、高速化を実現できる。
なお、映像解析手段60が一度の解析で座標を検出する被計測物Aは一つに限らない。例えば図4(a)及び(b)に示すように複数の指Aに異なる色のキャップA1を被せたり、反対の手に筆記具A2を持ったりすることで、これらキャップA1や筆記具A2の筆先の座標を同時に検出することもできる。また、第1帯体20及び／又は第2帯体30の一部に周囲の色とは異なる色（三角形の部分参照）を付けてもよい。

［非接触式の三次元タッチパネルシステムの第1の実施の形態］
非接触式の三次元タッチパネルシステム100（以下、単に「三次元タッチパネルシステム」と表記する場合がある。）の第1の実施の形態について説明する。
図1(a)〜(c)に示すように、本実施の形態の三次元タッチパネルシステム100は、上記三次元タッチパネル1と、映像再生装置101及び映像処理手段102を備える。
映像再生装置101は、ユーザーが移動空間10を通して映像を視認できる位置に配置される。映像再生装置101としてはテレビ、パソコン、モニター等が挙げられ、再生される映像のデータはコンピューターCで処理される。
映像処理手段102は、映像解析手段60によって算出された被計測物AのYZ座標上の位置及びZX座標上の位置に基づいて、ユーザーが被計測物Aを移動させた位置が映像上のどの位置にあたるかを算出して映像上の被計測物Aの位置に応じて映像を変化させるために設けられる。本実施の形態では映像処理手段102はコンピューターC内に格納されているものとする。

ユーザーが映像再生装置101の映像を見ながら移動空間10内で手（指）Aを動かすと、映像解析手段60が手（指）AのXYZ座標を算出し、映像処理手段102は手（指）AのXYZ座標が再生中の映像のどの位置にあたるかを算出して映像を変化させる。
なお、図5(a)及び(b)に示すように三次元タッチパネルシステムが映像再生装置101を複数備える構成にしてもよい。また、映像がポインタPであってもよく、この場合はユーザーの手（指）Aの動きに合わせて映像表示面106上をポインタが移動することになる。

［非接触式の三次元タッチパネルの第2の実施の形態］
次に、三次元タッチパネルの第2の実施の形態について説明するが、上記第1の実施の形態と同一の構成となる箇所については同一の符号を付してその説明を省略する。
図6、図7(a)〜(c)及び図8(a)〜(c)に示すように、本実施の形態の三次元タッチパネルは、第1反射鏡70及び第2反射鏡71を備える点と1つの撮影手段（第3撮影手段80）を備える点に特徴を有する。
第1反射鏡70は移動空間10を挟んで第1帯体20に対向する位置に配置され、第2反射鏡71は移動空間10を挟んで第2帯体30に対向する位置に配置される。具体的には移動空間10の上下左右を囲む四角枠状のフレーム72の左側に第1反射鏡70、上側に第2反射鏡71が固定されている。第1反射鏡70の反射面は移動空間10側を向き且つ平面視した場合に前方側に回転している。第2反射鏡71の反射面は移動空間10側を向き且つ側面視した場合に前方側に回転している。第1反射鏡70及び第2反射鏡71として薄型のフィルムタイプのミラー等を使用することで軽量化を図っても良い。

第3撮影手段80はフレーム72の前方であって、第1反射鏡70で反射した第1帯体の像81と第2反射鏡71で反射した第2帯体の像82とを撮影できる位置に固定されている。図7(c)は第3撮影手段80で撮影した映像を示しており、映像の左側には第1帯体20とユーザーの手（指）Aが写っており、映像の上側には第2帯体30とユーザーの手（指）Aが写っている。
第3撮影手段80が撮影した第1帯体の像81及び第2帯体の像82は映像解析手段60によって解析され、手（指）AのYZ座標上の位置及びZX座標上の位置が算出される。
図8(a)に示す三次元タッチパネルの構成において、図8(b)及び(c)に示すように任意のZ座標に注目して、第1帯体20及び第2帯体30の両方で色が帯体の色とは異なっている画素、すなわち手（指）Aが帯体に重なっている画素を解析する事で、当該Z座標上のユーザーの手（指）AのXY座標を取得することができる。
なお、第1反射鏡70及び第2反射鏡71をフレーム72に固定せずに、移動空間10に沿った位置に支柱等で固定する構造にしてもよい。
本実施の形態の構成の場合、第3撮影手段80や映像再生装置101等を移動空間10、第1帯体20及び第2帯体30から離れた位置に設置することができる。従って、図9に示すように第3撮影手段80、映像再生装置101、コンピューターC等を屋内に設置して、移動空間10、第1帯体20及び第2帯体30を屋外に設置することもできる。ユーザーは屋外に居て、透光性を有する板体例えば窓ガラスG等を通して屋内の映像再生装置101の映像を見ながら三次元タッチパネルを操作することになる。

［非接触式の三次元タッチパネルシステムの第2の実施の形態］
次に、三次元タッチパネルシステムの第2の実施の形態について説明するが、上記三次元タッチパネル及び三次元タッチパネルシステムと同一の構成になる箇所については同一の符号を付してその説明を省略する。
図10(a)及び(b)に示すように、本実施の形態の非接触式三次元タッチパネルシステムは映像再生装置101としてプロジェクター103を用いる点に特徴を有する。
この場合、フレーム72の開口を覆うようにして透過型プロジェクタースクリーン104を取り付けることになる。プロジェクター103を用いることで映像の大型化を実現できる。
図11(a)及び(b)は衣装を着た女性の姿を透過型プロジェクタースクリーン104に写した状態を示している。例えばユーザーが手でスカートに触れると映像処理手段102が異なるデザインのスカートに変えることにすれば、ユーザーが衣装のコーディネートを考える際に有用である。
透過型プロジェクタースクリーン104の裏面に透明な保護板105を取り付け、透過型プロジェクタースクリーン104を保護板105に貼り付けることで皺の発生を防止できると共にユーザーの手で透過型プロジェクタースクリーン104が傷つくことも防止できる。
また、非接触式三次元タッチパネルシステムの他の構成例として、図12(a)及び(b)に示すように映像表示面106を曲面で構成し、第1帯体107及び第2帯体（図示略）をその曲率に合わせた形状にしてもよい。なお、いわゆるフレキシブルディスプレイと呼ばれる可撓性を有する映像表示面にも適用できる。

［非接触式の三次元タッチパネルの第3の実施の形態］
次に、三次元タッチパネルの第3の実施の形態について説明するが、上記各実施の形態と同一の構成となる箇所については同一の符号を付してその説明を省略する。
図13(a)〜(c)に示すように、本実施の形態の三次元タッチパネルは、第1帯体108及び第2帯体109がZ軸方向に2つ以上に分割（108a〜108c，109a〜109c）されており、分割された各々のZ軸方向の位置が可変である点に特徴を有する。
例えば図14(a)及び(b)に示すように、第2帯体30のうちユーザーに近い方を第2帯体109a、遠い方を第2帯体109bとし、それぞれ異なる色を付しておく。映像解析手段60はユーザーに近い方の第2帯体109aの上にユーザーの手（指）Aが重なった時点と、第2帯体109bの上に手（指）Aが重なった時点を検出する。
例えば、手（指）Aが第2帯体109aと重なった時点で三次元タッチパネルの電源を「ON」にして、手（指）Aが第2帯体109bと重なった時点でユーザーが映像に擬似的に接触したと映像処理手段102が判定することにしてもよい。
また、第2帯体109aと第2帯体109bとの前後方向（Z軸方向）の相対距離を変えることで、ユーザーが手（指）Aを第2帯体109bまで移動させるための所要距離が変わるので、映像再生装置101で再生されている映像にユーザーが接触したか否かを映像処理手段102が判定する際の感度を調節することができる。例えば第2帯体109aと第2帯体109bとの相対距離を短くすれば感度が向上し、相対距離を長くすれば感度を低下させることができる。

なお、第2帯体109bについては、全ての画素のRGB値を取得するのではなく、第1帯体109aで手（指）Aが重なった画素のX座標を算出し、このX座標の付近に存在する画素のRGB値だけを取得することにすれば処理の高速化を図ることができる。或いは第2帯体109b上で一定間隔をあけて画素のRGB値を取得し、判別することで処理の高速化を図ることができる。
第2帯体109を物理的に分割するのではなく、図15(a)及び(b)に示すように映像表示装置130に表示して、第2帯体109aと109bの相対距離を変える仕組みにしてもよい。この場合、第2帯体109a，109bの色を照明Lの明るさや位置等の周囲の環境に応じて変えることができ、三次元タッチパネルの精度を向上させることができるという効果や、第2帯体109にユーザーの手（指）Aの影が写りにくい点が挙げられる。例えばユーザーが日焼け等で肌の色が黒い場合、黒色と反対色の白色を第2帯体109a，109bの色として使う事で座標取得の精度を上げながらも、影によるノイズを防止するというメリットを得られる
第1帯体108をZ軸方向に2つ以上に分割し、分割した各々のZ軸方向の位置を可変にした場合も上記と同様の効果を得られる。

図16に矢印で示すように第1反射鏡70及び第2反射鏡71をフレーム72に対して角度調節自在に取り付けるのが好ましい。この場合、第3撮影手段80に向けて第1反射鏡70及び第2反射鏡71を最適な角度（入射角と反射角が等しくなる物理法則により理想的には45度）に調整出来る。なお、第1反射鏡70及び第2反射鏡71のフレーム72への取り付け位置は特に限定されない。
第3撮影手段80が撮影した第1帯体の像81や第2帯体の像82が台形等に歪んでいる場合には映像解析手段60が四角形等に補正してもよい。
映像解析手段60による誤認識を防ぐため、フレーム72を第1帯体20及び第2帯体30の色とは異なる色にするのが好ましい。

図17(a)は第1帯体110をY軸方向に3つに分割し（110a〜110c）、第2帯体111をX軸方向に3つに分割（111a〜111c）した場合の構成例である。この場合、例えば第1帯体110aにユーザーの手（指）Aが達したら（ONになったら）弱く触った、真ん中の第1帯体110bに達したら（ONになったら）普通に触った、第1帯体110cに達したら（ONになったら）強く触ったというように意味を持たせた3値の信号をXY座標データと共にコンピューターCに送り、映像処理手段102が映像に反映させることも可能である。更に第1帯体110a〜110cはユーザーから見えるので、ユーザーは第1帯体110a〜110cを視認してどこまで手（指）AをZ軸方向に移動させれば三次元タッチパネルが反応するかを予想しながら使う事が出来る。図17(b)に示すように各帯体110a〜110c，111a〜111cは吸盤、磁石等の周知の手段によりフレーム72に着脱自在に固定し、帯体同士もフック等の周知の手段により連結すればよい。
なお、第1帯体110a〜110cは必ずしも全て違う色である必要は無いが、Z軸方向に連続する2つの第1帯体、すなわち第1帯体110aと110b又は第1帯体110bと110cは、映像解析手段60による誤認識を防ぐために異なる色にするのが好ましい。

［非接触式の三次元タッチパネルの第4の実施の形態］
次に、三次元タッチパネルの第4の実施の形態について説明するが、上記各実施の形態と同一の構成となる箇所については同一の符号を付してその説明を省略する。
図18(a)〜(c)に示すように、本実施の形態の三次元タッチパネルは、第1帯体110Aと110B、第2帯体111Aと111Bに対して第1帯体110Bの中段の部位と第2帯体111Bの真ん中の部位をユーザーに近い方向にずらして配置した点に特徴を有する。この場合、映像処理手段102は第1帯体110Bの中段の部位と第2帯体111Bの真ん中の部位の両方にユーザーの手（指）Aが重なった場合、すなわち図18(b)の黒塗り箇所内にユーザーの手（指）Aが存在する場合にだけ三次元タッチパネルにユーザーが触れたと認識する。
そして、映像再生装置101では上記黒塗り箇所に対応して図18(c)に示すようにXY平面で表される映像の位置にボタンBを表示させておくことにすれば、ユーザーが黒塗り箇所に手（指）Aを移動させただけでボタンBが押されたと判断する三次元タッチパネルシステムを構築できる。
他の応用例としては例えば映像再生装置101に山や等高線の映像を写しておき、ユーザーがその山に触ることができるという、触れる3D立体地図等の教育用や遊戯用のデバイスが挙げられる。

また、図19(a)及び(b)に示すように、映像再生装置101としてプロジェクター103を用いると共に、このプロジェクター103が第1帯体20及び第2帯体30としての光をプレート112に投射する構成にしてもよい。
この場合、プロジェクター103から投射する光をコンピューターCで変更することで第1帯体20及び第2帯体30の分割やサイズ変更を容易に行なうことができると共にプロジェクター103を用いることで映像の大型化を実現できる。また、三次元タッチパネルの構成部品の数を減らして製造コストを抑制できる。

［非接触式の三次元タッチパネルの第5の実施の形態］
次に、三次元タッチパネルの第5の実施の形態について説明するが、上記各実施の形態と同一の構成となる箇所については同一の符号を付してその説明を省略する。
図20(a)及び(b)に示すように、本実施の形態の三次元タッチパネルは、撮影手段（40,50,80）が、スリット113を備える箱体114の内部に収容されており、スリット113を介して撮影する点に特徴を有する。
第1帯体20及び第2帯体30を撮影できればスリット113の幅は特に制限されない。撮影手段（40,50,80）を屋外に設置する場合、電灯等の照明Lや直射日光等の周囲の光源からの余分なノイズを防いだり、撮影手段（40,50,80）のレンズの汚損を防いだり、ユーザーから撮影手段（40,50,80）の存在を出来るだけ隠したい場合にはスリット113の幅は極力狭い事が望ましい。撮影手段（40,50,80）を屋内に設置する場合にも箱体114内に収容することで照明機器やプロジェクター103からの光が撮影手段（40,50,80）のレンズに直接入る事を防ぎ、誤作動を防止することができる。

［非接触式の三次元タッチパネルの第6の実施の形態］
次に、三次元タッチパネルの第6の実施の形態について説明するが、上記各実施の形態と同一の構成となる箇所については同一の符号を付してその説明を省略する。
図21に示すように、本実施の形態の三次元タッチパネルは透光性及び柔軟性を有するクッション材115を備えており、クッション材115が移動空間10内に配置される点に特徴を有する。
クッション材115は例えば軟質塩化ビニール等の透光性と柔軟性を有する材料によって中空状に形成されている。クッション材115の内部には空気等の気体、水等の透明な液体又は透明性を有するジェル等の物質を充填している。

［非接触式の三次元タッチパネルの第7の実施の形態］
次に、三次元タッチパネルの第7の実施の形態について説明するが、上記各実施の形態と同一の構成となる箇所については同一の符号を付してその説明を省略する。
図22(a)及び(b)に示すように、本実施の形態の三次元タッチパネルは映像解析手段60がノイズ除去を行なう点に特徴を有する。
具体的には、上述のとおり映像解析手段60は映像、すなわち第1撮影手段40が撮影した第1映像41、第2撮影手段50が撮影した第2映像51、第3撮影手段80が撮影した第1帯体20の像、第3撮影手段80が撮影した第2帯体30の像を解析する際に、帯体の色とは異なる色の画素を抽出する。この際に各像にノイズNが映り込んでしまっている場合があるため、映像解析手段60は画素がX,Y,Z軸方向のいずれかの方向に一定数以上連続していない場合には、それらの画素をノイズと判断して、位置座標の算出を行わない。図22(b)ではZ軸方向に2つ以上連続していない画素及びX軸方向に2つ以上連続していない画素をノイズと判断している。このように映像解析手段60がノイズ除去を行なうことで被計測物Aの位置座標算出の精度を向上させることができる。

［非接触式の三次元タッチパネルの第8の実施の形態］
次に、三次元タッチパネルの第8の実施の形態について説明するが、上記各実施の形態と同一の構成となる箇所については同一の符号を付してその説明を省略する。
図23(a)及び(b)に示すように、本実施の形態の三次元タッチパネルは、映像解析手段60が映像を解析する際に、隣接する2つの画素のRGB値の差分の絶対値の大小に基づいて被計測物AのYZ座標上の位置及びZX座標上の位置を算出する点に特徴を有する。具体的には、映像解析手段60が隣接する2つの画素G1，G2のR値の差分の絶対値、G値の差分の絶対値、B値の差分の絶対値を算出し、これらのうちのいずれか一つ、又はいずれか二つ以上が一定の値以上であったときに、帯体上に被計測物Aが存在すると判断して被計測物AのYZ座標上の位置及びZX座標上の位置を算出する。
なお、隣接する全ての画素の差分を算出する必要はなく、処理速度の高速化を図る観点から帯体が存在する範囲だけに限定してよい。また更に高速化を図る方法として一定間隔をあけた行又は列の画素だけに限定してもよい。

［非接触式の三次元タッチパネルシステムの第3の実施の形態］
次に、三次元タッチパネルシステムの第3の実施の形態について説明するが、上記三次元タッチパネル及び三次元タッチパネルシステムと同一の構成になる箇所については同一の符号を付してその説明を省略する。
図24に示すように、本実施の形態の非接触式三次元タッチパネルシステムは三次元タッチパネルを横に倒し、筆やサインペン等の筆記具の先端を被計測物Aとして用いる点に特徴を有する。
第1反射鏡70、第2反射鏡71、第1帯体20及び第2帯体30はフレーム116に取り付けられており、フレーム116は4本の脚117で支持されている。
本実施の形態の構成の場合、初期段階では映像再生装置101に再生される映像は無地であり、筆記具の先端Aの動きに合わせて映像処理手段102が映像再生装置101に字や模様等の映像を描くことになる。

［非接触式の三次元タッチパネルシステムの第4の実施の形態］
次に、三次元タッチパネルシステムの第4の実施の形態について説明するが、上記三次元タッチパネル及び三次元タッチパネルシステムと同一の構成になる箇所については同一の符号を付してその説明を省略する。
図25に示すように、本実施の形態の非接触式の三次元タッチパネルシステムは三次元タッチパネルを横に倒した状態で透光性を有する板体118に載せ、透過型プロジェクタースクリーン104の上に透光性及び柔軟性を有するクッション材119を配置する点に特徴を有する。
板体118は4本の脚120で支持されている。板体118の下方に反射鏡121を配置し、プロジェクター103からの水平方向の光を反射鏡121で鉛直方向に反射し、透過型プロジェクタースクリーン104に投射する。
ユーザーはクッション材119にうつ向きで寝た状態で、透過型プロジェクタースクリーン104の映像を見ながらクッション材119を手でなぞることで三次元タッチパネルを操作する。
なお、図26(a)及び(b)に示すように、プロジェクター103及び反射鏡の替わりに映像再生装置101を2つ以上配置する構成にしてもよい。

非接触式の三次元タッチパネルシステムの実施例について説明する。
図27(a)及び(b)中の符号300はフレーム、301は移動空間、302は第1帯体、303は第2帯体、304は第1反射鏡、305は第2反射鏡、306は第3撮影手段（ELECOM社製 UCAM−C0220FENBK）、307は映像解析手段、308は映像再生装置、309は映像処理手段を示している。
第1帯体302及び第2帯体303は赤色（R：G：B＝240：35：35）に着色している。
映像再生装置308としてタブレット型コンピューター（Windows7(登録商標)搭載）を用いており、映像再生装置308に映像解析手段307及び映像処理手段309が格納されている。
図28の映像表示面310には魚の映像を映しており、被計測物Aとしてのユーザーの手（指）311の位置を映像解析手段307が解析し、映像表示面310に○（符号P）でポインタ表示している。符号312は第3撮影手段306が撮影した第1帯体302の像、313は第3撮影手段306が撮影した第2帯体303の像である。
なお、ユーザーの手（指）311の位置とポインタPの位置とが一致していないが、これは本実施例において視認性を高めて理解を容易にするべく、ユーザーの手（指）311の位置のXY座標をオフセットさせてポインタ表示しているためである。したがって、本来的にはユーザーの手(指)311の位置とポインタPの位置とを一致させて映像表示面310に表示すればよい。
図29(a)（0秒）の状態から図29(b)（0.35秒）、図29(c)（0.7秒）まで手（指）311を上方に移動させていき、図29(d)（1.05秒）で手（指）311が魚の映像に重なると、映像表示面106に「touched!!」と表示された。その後、図30(a)（2.80秒）の状態から手（指）311を下方に移動させていくと、図30(b)（3.15秒）の時点で手（指）311が魚の映像から離れたため「touched!!」の表示が消え、図30(c)（3.50秒）で終了した。
以上のとおり、本発明の三次元タッチパネル及び三次元タッチパネルシステムが正確に動作することが実証された。

本発明は、装置構成が簡易であり、製造コストが低く且つ故障が生じにくいタッチパネル及びこのタッチパネルを用いたタッチパネルシステムに関するものであり、産業上の利用可能性を有する。

A 被計測物
A’ 影
A1 キャップ
A2 筆記具
B ボタン
C コンピューター
G 窓ガラス
G1,G2画素
L 照明
N ノイズ
P ポインタ
1 三次元タッチパネル
10 移動空間
20 第1帯体
30 第2帯体
40 第1撮影手段
41 第1映像
50 第2撮影手段
51 第2映像
60 映像解析手段
70 第1反射鏡
71 第2反射鏡
72 フレーム
80 第3撮影手段
81 第1帯体の像
82 第2帯体の像
100 非接触式の三次元タッチパネルシステム
101 映像再生装置
102 映像処理手段
103 プロジェクター
104 透過型プロジェクタースクリーン
105 保護板
106 映像表示面
107 第1帯体
108, 108a〜108c 第1帯体
109, 109a〜109c 第2帯体
110, 110a〜110c 第1帯体
111, 111a〜111c 第2帯体
112 プレート
113 スリット
114 箱体
115 クッション材
116 フレーム
117 脚
118 板体
119 クッション材
120 脚
121 反射鏡
130 映像表示装置
300 フレーム
301 移動空間
302 第1帯体
303 第2帯体
304 第1反射鏡
305 第2反射鏡
306 第3撮影手段
307 映像解析手段
308 映像再生装置
309 映像処理手段
310 映像表示面
311 手（指）
312 第1帯体の像
313 第2帯体の像

Claims (18)

1. X軸方向を左右方向、Y軸方向を上下方向、Z軸方向を前後方向とするXYZ三次元座標系において、
   座標計測の対象となる被計測物が移動する範囲である移動空間と、
   前記移動空間に沿ってYZ平面内に配置される有色の第1帯体と、
   前記移動空間に沿ってZX平面内に配置される有色の第2帯体と、
   前記移動空間を挟んで前記第1帯体に対向する位置に配置される第1反射鏡と、
   前記移動空間を挟んで前記第2帯体に対向する位置に配置される第2反射鏡と、
   前記第1反射鏡で反射された前記第1帯体の像と前記第2反射鏡で反射された前記第2帯体の像の両方を同時に撮影する第3撮影手段と、
   前記第3撮影手段が撮影した映像を解析することで前記被計測物のYZ座標上の位置及びZX座標上の位置を算出する映像解析手段とを特徴とする非接触式の三次元タッチパネル。
2. 前記第1帯体及び／又は前記第2帯体がZ軸方向に2つ以上に分割されていることを特徴とする請求項1に記載の非接触式の三次元タッチパネル。
3. 前記第1帯体及び／又は前記第2帯体のZ軸方向の位置が可変であることを特徴とする請求項1又は2に記載の非接触式の三次元タッチパネル。
4. 前記第1帯体及び／又は前記第2帯体がその長手方向に2つ以上に分割されており、分割された各部のZ軸方向の位置が可変であることを特徴とする請求項1〜3のいずれか一項に記載の非接触式の三次元タッチパネル。
5. 前記第1帯体及び／又は前記第2帯体の色が暗色であることを特徴とする請求項1〜4のいずれか一項に記載の非接触式の三次元タッチパネル。
6. 前記第1帯体及び／又は前記第2帯体が映像表示装置に電気的に表示された映像であることを特徴とする請求項1〜5のいずれか一項に記載の非接触式の三次元タッチパネル。
7. 前記第3撮影手段が、スリットを備える箱体の内部に収容されており、前記スリットを介して撮影することを特徴とする請求項1〜6のいずれか一項に記載の非接触式の三次元タッチパネル。
8. 透光性及び柔軟性を有するクッション材を備えており、
   前記クッション材が前記移動空間内に配置されることを特徴とする請求項1〜7のいずれか一項に記載の非接触式の三次元タッチパネル。
9. 前記映像解析手段が、前記第3撮影手段が撮影した映像を解析する際に、当該映像を複数の画素に区分し、前記帯体の色とは異なる色の画素がX,Y,Z軸方向のいずれかの方向に一定数以上連続していない場合には、それらの画素をノイズと判断して位置座標の算出を行わないことを特徴とする請求項1〜8のいずれか一項に記載の非接触式の三次元タッチパネル。
10. 前記映像解析手段が、前記第3撮影手段が撮影した映像を解析する際に、当該映像を複数の画素に区分し、隣接する2つの画素のRGB値の差分の絶対値の大小に基づいて前記被計測物のYZ座標上の位置及びZX座標上の位置を算出することを特徴とする請求項1〜9のいずれか一項に記載の非接触式の三次元タッチパネル。
11. 請求項1〜10のいずれか一項に記載の非接触式の三次元タッチパネルと、
    ユーザーが前記移動空間を通して映像表示面を視認できる位置に配置される映像再生装置と、
    前記映像解析手段によって算出された前記被計測物のYZ座標上の位置及びZX座標上の位置に基づいて、ユーザーが前記被計測物を移動させた位置が前記映像表示面上のどの位置にあたるかを算出し、前記映像表示面に表示される映像を変化させる映像処理手段とを備えることを特徴とする非接触式の三次元タッチパネルシステム。
12. 前記映像がポインタであることを特徴とする請求項11に記載の非接触式の三次元タッチパネルシステム。
13. 前記映像再生装置を二つ以上備えることを特徴とする請求項11又は12に記載の非接触式の三次元タッチパネルシステム。
14. 前記映像表示面が曲面で構成されており、前記第1帯体及び／又は前記第2帯体が前記曲面の曲率に対応して湾曲していることを特徴とする請求項11〜13のいずれか一項に記載の非接触式の三次元タッチパネルシステム。
15. 前記移動空間と前記映像再生装置との間に透光性を有する板体を備えることを特徴とする請求項11〜14のいずれか一項に記載の非接触式の三次元タッチパネルシステム。
16. X軸方向を左右方向、Y軸方向を上下方向、Z軸方向を前後方向とするXYZ三次元座標系において、座標計測の対象となる被計測物が移動する範囲である移動空間に沿ってYZ平面内に有色の第1帯体、ZX平面内に有色の第2帯体が配置されており、
    更に、前記移動空間を挟んで前記第1帯体に対向する位置に第1反射鏡、前記第2帯体に対向する位置に第2反射鏡が配置されており、
    第3撮影手段が、前記第1反射鏡で反射された前記第1帯体の像と前記第2反射鏡で反射された前記第2帯体の像の両方を同時に撮影するステップと、
    映像解析手段が、前記第3撮影手段が撮影した映像を解析することで前記被計測物のYZ座標上の位置及びZX座標上の位置を算出するステップとを特徴とする非接触式の三次元タッチパネルの制御方法。
17. 請求項16に記載の非接触式の三次元タッチパネルの制御方法を、前記非接触式の三次元タッチパネルに接続されたコンピューターに実行させることを特徴とするプログラム。
18. 請求項17に記載のプログラムが記録されていることを特徴とする記録媒体。

Images