JP6057407B2 - タッチ位置入力装置及びタッチ位置入力方法 - Google Patents

Description

本発明は、プロジェクタにて投影されているスクリーン上の投影画像に対する人の手指等によるタッチ操作及びタッチ位置を検出して所定の入力処理をするタッチ位置入力装置及びタッチ位置入力方法に関する。

現在、プロジェクタにて投影されているスクリーン上の投影画像に対するプレゼンテータの手指等によるタッチ操作及びタッチ位置を検出しコンピュータに入力するタッチ位置入力技術（以下、タッチ位置入力技術と称す。）が提案されている。このタッチ位置入力技術としては、例えば、特開２００９−７０２４５号公報（特許文献１）、特開２００７−３２８７５４号公報（特許文献２）、特開２００７−１４１１７７号公報（特許文献３）、特開２００１−３５０５８６号公報（特許文献４）、特表２００７−５１４２４１号公報（特許文献５）に記載されたものがある。

特許文献１乃至特許文献５に記載の技術は、半透明のスクリーン等を用い、背面からのプロジェクタによる画像投影とカメラ撮影により、プレゼンテータ側、すなわち、前面のスクリーンへのタッチを、タッチした指等の影やその動きの認識によって検出する技術である。これらは半透明のスクリーンが必要で、かつ、スクリーンの背面にプロジェクタやカメラの設置スペースを確保する必要があった。

また、特表２００７−５１７２４４号公報（特許文献６）、特表２００６−５１４３３０号公報（特許文献７）には、プロジェクタ、カメラ、プレゼンテータが全て前面に位置し、スクリーンへの投影画像を妨げているプレゼンテータ又はその一部のシルエットを検出する技術が提案されている。しかしながら、特許文献６及び特許文献７の技術は、プレゼンテータによるスクリーンへのタッチ等の操作を検出するものではなかった。

特表２００６−５２２９６７号公報（特許文献８）には、プロジェクタ、カメラ、プレゼンテータが全て前面に位置し、プレゼンテータによるスクリーンへのタッチ位置を検出することを目的とした技術が記載されている。しかしながら特許文献８の提案は、カメラがスクリーン表面近くに設置され、タッチしようとする指等とスクリーンの距離を直接観察するものである。よって、タッチされるスクリーン上の位置を正確に検出するには少なくとも２台のカメラが必要である。

また、タッチ位置入力技術としては、特開２００７−２９９４３４号公報（特許文献９）に記載されているものも知られている。この特許文献９の提案では、大画面スクリーンの前方斜め上にスクリーンに向けて赤外光源を設置し、スクリーンの背面にカメラを設置する。そして、赤外光源から射出された赤外光をプレゼンテータの手指等が遮ることによりスクリーン上に影ができるように構成し、この影をスクリーン背面のカメラで撮影する。次に、スクリーン背面のカメラで撮影した画像データをコンピュータで解析し、プレゼンテータの手指等の影の位置を割り出す。さらに、プロジェクタにてスクリーンに投影している画像と手指等の影の位置の関係から何をタッチしたのかを割り出し、そのタッチ操作に対応するアクションを起動する。この特許文献９の技術では、赤外光源と赤外線を透過するプラスチック等の特別なスクリーンが必要であり、かつその位置関係も予め所定のものに設定しておく必要がある。そのため、部屋の壁面をスクリーンにしてプロジェクタから投影させる場合のように、任意の面をスクリーンに利用して投影するような場合には利用できなかった。

本願出願人も先に出願した特開２０１１−１１８５３３号公報（特許文献１０）の中でタッチ位置入力技術の提案をしている。このタッチ位置入力技術は、スクリーンの正面側（投影面側）にプロジェクタと、当該プロジェクタの光軸からずれた位置に設置されるカメラと、プロジェクタ及びカメラと接続されたコンピュータと、を各一台ずつ配置するだけで、プレゼンテータのタッチ操作及びタッチ位置を検出し、入力操作が可能となる。具体的には、カメラで撮影した画像内におけるプレゼンテータの手指等の領域（前景）と、手指等で投影光を遮ることによりスクリーン上にできる影と、の面積比の変化からタッチ操作及びタッチ位置を算出するものである。

特開２００９−７０２４５号公報 特開２００７−３２８７５４号公報 特開２００７−１４１１７７号公報 特開２００１−３５０５８６号公報 特表２００７−５１４２４１号公報 特表２００７−５１７２４４号公報 特表２００６−５１４３３０号公報 特表２００６−５２２９６７号公報 特開２００７−２９９４３４号公報 特開２０１１−１１８５３３号公報

本発明は、上記先願に係る発明を改良したものであり、タッチ判定を行うときの環境変化に柔軟に対応し、精度の高いタッチ判定が可能なタッチ位置入力装置及びタッチ位置入力方法を提供することを目的とする。

本発明のタッチ位置入力装置及び方法は、プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出するタッチ位置入力装置であって、前記プロジェクタの近傍に位置し、前記スクリーン上の投影画像を常時撮影し、画像データを情報処理装置に送出するカメラと、前記タッチ領域中に前記手指やタッチ器材である前景や前記手指やタッチ器材の影が入り込んでいない背景のみの画像である背景画像を記憶し、タッチ判定開始時の画像である基準画像を記憶し、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に投影させ、前記基準画像とは背景色又は背景パターンが異なる画像である変更後画像を記憶し、前記背景画像と前記基準画像とを対比して前記タッチ領域中で色又はパターンに変化がない領域を前記背景の領域と認識し、前記基準画像と変更後画像とを対比して色又はパターンに変化がない領域を前記影の領域と認識し、前記タッチ領域における前記影の領域と前記背景の領域とを除いた領域を前記前景の領域と認識し、前記前景の領域に対して前記影の領域が所定値以上に小さくになったときに前記タッチ領域がタッチされたと判定し、タッチされたと判定した場合に前記タッチ領域に対するタッチ検出信号を出力する前記情報処理装置とを備えたことを特徴とする。

上記発明のタッチ位置入力装置及び方法においては、前記情報処理装置は、前記背景画像と前記カメラから常時送出される現在画像との前記タッチ領域を対比し、前記現在画像に所定面積領域以上の色変化を認識でき、かつ、前記現在画像の時間変化が無くなったときにタッチ判定を開始するものとすることができる。

また、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記タッチ判定において、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に所定時間以上投影させ、前記前景の領域に対して前記影の領域が所定値以上に小さくなったときにタッチされたと判定するものとすることができる。

さらに、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記タッチ判定時において、前記基準画像における背景色又は背景パターンと、前記基準画像とは異なる背景色又は背景パターンとを高速に切り替えながら前記タッチ領域に所定時間以上投影させ、前記前景の領域と前記影の領域に対して前記影の領域が所定値以上に小さくなったときにタッチされたと判定するものとすることができる。

また、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色として前記基準画像の背景色とはＲＧＢ色空間、ＨＳＶ色空間、又は、ＹＵＶ色空間の色空間上で所定距離以上離れた色を投影させるものとすることができる。

そして、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色として前記基準画像の背景色に対する補色を投影させるものとすることができる。

また、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色又は前記基準画像の背景のパターンとは異なるパターンを徐々に変化させながら前記タッチ領域に投影させるものとすることができる。

さらに、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記背景画像と前記現在画像との対比、及び、前記基準画像と前記変更後画像との対比をするとき、画素毎のＲＧＢ色空間、ＨＳＶ色空間、又は、ＹＵＶ色空間の色空間上での距離を算出するものとすることができる。

また、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記背景画像、前記現在画像、前記基準画像、及び、背景画像のタッチ領域の色やパターンを変更した後の画像などの間で対比をするとき、対応する画素間の色空間上で距離が所定の値以上離れている画素の一方を変化した画素と見なし、２つの画像や領域の差の大小は、その変化数で判定するものとすることができる。また、同じく２つの画像や領域を対比するとき、対応する画素間の色空間上で距離を対象とする領域全体で総和し、この総和値と所定の閾値との大小比較で、差の大小を判定するものとすることもできる。

そしてその場合、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記背景画像と前記現在画像とを対比し、両者の差が所定値以上となり、かつ、前記現在画像と直前の現在画像との差が所定値以下のときに前記タッチ判定を開始するものとすることができる。

また、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記背景画像と前記現在画像とを対比し、両者の差が所定値以下であるとき、前記現在画像を参考に前記背景画像を更新することを特徴とする。

また、上記発明のタッチ位置入力装置及び方法において、前記情報処理装置は、前記背景画像を更新するとき、更新前の画像と更新後の画像との間で画素毎の色空間上での距離の差が所定値以下となるように更新し、随時現在画像に近づけるように更新するものとすることができる。

本発明によれば、タッチ判定を行うときの環境変化に柔軟に対応し、精度の高いタッチ判定が可能なタッチ位置入力装置及びタッチ位置入力方法を提供することができる。

本発明の実施の形態の大画面投影システム及びタッチ位置入力装置の構成図。 上記実施の形態のタッチ位置入力装置における情報処理装置の演算処理機能の構成を示すブロック図。 図３（Ａ）は上記実施の形態を使用する投影システムにおいて、スクリーンに映った投影画像の正面図、図３（Ｂ）は、投影画像の投影中のスクリーンをカメラにて撮影した撮影画像から投影原画像を切り出し、射影変換処理する処理工程の説明図。 図４（Ａ）は上記実施の形態を使用する投影システムにおいて、プロジェクタによるスクリーンへの投影画像をカメラで撮影した背景画像の説明図、図４（Ｂ）は、プロジェクタによるスクリーンへの投影画像とそのタッチ領域にプレゼンテータがタッチしようとする状態のカメラ撮影画像の説明図。 図５（Ａ）は上記実施の形態を使用する投影システムにおいて、プロジェクタによるスクリーンへの投影画像をカメラで撮影した背景画像の説明図、図５（Ｂ）は、プロジェクタによるスクリーンへの投影画像とそのタッチ領域にプレゼンテータがタッチしようとする状態のカメラ撮影画像である基準画像の説明図、図５（Ｃ）は、図５（Ｂ）におけるタッチ領域への投影色を変更した状態のカメラ撮影画像である変更後画像の説明図。 上記実施の形態のタッチ位置入力装置における情報処理装置によるタッチ入力処理全体のフローチャート。 上記実施の形態のタッチ位置入力装置における情報処理装置によるタッチ判定を開始するか否かの判定処理のフローチャート。 上記実施の形態のタッチ位置入力装置における情報処理装置によるタッチ判定処理のフローチャート。 上記実施の形態のタッチ位置入力装置における情報処理装置によるタッチ判定時のドラッグ処理のフローチャート。

以下、本発明の実施の形態を図に基づいて詳説する。

図１は、本発明の実施の形態のタッチ位置入力装置を備えた投影システムの全体を示している。本実施の形態の大画面の投影システムは、スクリーン１１と、スクリーン１１に対して画像を投影するプロジェクタ１２と、スクリーン１１の投影画像を撮像するカメラ１３と、プロジェクタ１２及びカメラ１３が接続された情報処理装置１４とから構成されている。

尚、タッチ位置入力装置は、この投影システムにおいてスクリーン１１にプロジェクタ１２から投影された映像に対してそのタッチ領域にプレゼンテータが手指等をタッチしたときに、そのタッチを検出してタッチ領域にあらかじめ割り付けられているタッチ入力処理を実行する機能も含めていう。そしてその実現のためには、情報処理装置１４内にタッチ位置入力処理を行うソフトウェアプログラムが組み込まれている。

プロジェクタ１２とカメラ１３、情報処理装置１４は本実施の形態のタッチ位置入力装置を構成する。情報処理装置１４は例えば１台のコンピュータ、若しくは、ネットワークで相互に接続され通信し合うことができる複数台のコンピュータであり、その１台にプロジェクタ１２が、他の１台にカメラ１３が接続される形態でも構わない。また、以下のタッチ位置入力装置の説明はコンピュータの処理機能を機能部ごとに分けて行うが、各部の行う処理は情報処理装置１４に組み込んだコンピュータプログラムの演算処理にて実現されるものである。したがって、コンピュータが実行するタッチ位置入力プログラム、そのコンピュータプログラムの実行により実現されるタッチ位置入力方法、さらにはそのコンピュータプログラムを記録した記録媒体も本発明の技術的範囲である。

スクリーン１１を垂直に設置する場合は、スクリーン１１の前に人が立ち、スクリーン１１上を手指又は何かの器物（その影がスクリーン１１に映る物。以下、手指で代表する。）で指示する際に、人の頭部や手以外の体の一部がプロジェクタ１２からの光を遮らないようにする必要がある。また、カメラ１３からスクリーン１１上の投影画像への視野が人の頭部や体の一部に遮られないようにする必要もある。よって、一般的にはプロジェクタ１２とカメラ１３はスクリーン１１の最上端付近か、さらにその上方で、かつ、左右方向にはスクリーン１１のほぼ正面に設置されるのが望ましい。カメラ１３はプロジェクタ１２の付近において、互いの光軸が１５度〜２５度程度の角度を保つように設置されるのが望ましい。

スクリーン１１を水平なテーブル上や床面とする場合は、プロジェクタ１２及びカメラ１３はスクリーン１１の真上付近に設置するのが望ましい。この場合は、プレゼンテータはプロジェクタ１２からの光を遮らないように頭等を避けることが期待できるが、カメラ１３の視野を意識することは困難なため、カメラ１３の設置位置をプロジェクタ１２との角度が極力小さくなるように設定するのが望ましい。別角度に配置された２台以上のカメラ１３で同時に撮影し、それらのいずれかでタッチを認識するようにすることもできる。

尚、スクリーン１１は平面に限定する必要はなく、プロジェクタ１２からの投影画像をカメラ１３によって撮像した後に情報処理装置１４内部にて面積的に歪みなく元の画像と同じアスペクト比（縦横比）の矩形に変換できるものであれば任意の形状でよい。以後、説明を簡単にするためにスクリーン１１は平面であることを想定する。

スクリーン１１が平面の場合は、例えばプロジェクタ１２からスクリーン１１上に歪みのない矩形画像、若しくは、台形状等に歪んだ四角形の画像をカメラ１３で撮像するとプロジェクタ１２とカメラ１３の光軸の違いから別の歪みを持つ四角形となる。これに対しては、情報処理装置１４内での画像処理において一般に用いられる射影変換を１回施すことによって、プロジェクタ１２が投影しようとした元の画像と同じアスペクト比（縦横比）の矩形に変換することができ、撮像された物体とその影の面積比をほぼ正しく計算することができる。

図２は情報処理装置１４の処理する射影変換、影の面積比計算等、本実施の形態においてタッチ入力処理を実行するのに必要な処理機能をブロックに分けて示した図であり、図３〜図５は処理の説明図、図６はその処理のフローチャートを示している。

図２に示すように、情報処理装置１４における各処理機能として、カメラ画像入力部１０１、部分画像切り出し処理部１０２、射影変換処理部１０３、タッチ領域認識処理部１０４、影領域認識処理部１０５、前景領域認識処理部１０６、背景領域認識処理部１０７、タッチ判定を行うタッチ判定部１０８、初期設定処理部１０９、投影原画像作成部１１０、画像出力部１１１、開始判定部１１２、背景画像更新処理部１１３を備えている。

カメラ画像入力部１０１は、カメラ１３とのインタフェース部であり、カメラ１３を制御し、カメラ１３の撮影した撮影画像を入力する。部分画像切り出し処理部１０２は、カメラ１３から入力される撮影画像に対してプロジェクタ１２からの投影画像の部分だけを切り出す。射影変換処理部１０３は、切り出された投影画像に対して原画像と同様のアスペクト比の矩形画像に変換する。

タッチ領域認識処理部１０４は、撮影画像中から図３及び図４に示すタッチ領域３１を割り出す。尚、タッチ領域３１は情報処理装置１４側で投影原画像内に設定した、当該領域内へのタッチを検出したときに次ページへ画像を展開する、前ページへ画像を戻す、該当部分の画像を拡大する、リンク先へ展開する等、予め該当タッチ領域３１に割り付けられているアクションを有効とする領域である。初期設定処理部１０９は、タッチ領域３１に手指が入り込んでいない、すなわち、背景のみの画像である図４（Ａ）に示す背景画像２５に関連する情報を記憶する。

背景領域認識処理部１０７は、タッチ領域３１上に存在する手指や手指の影がかかっていない、すなわち、プロジェクタ１２からスクリーン１１に直接投影された画像の領域である背景領域３４を認識する。影領域認識処理部１０５は、タッチ領域３１上に存在する手指の影の領域である影領域３２を認識する。前景領域認識処理部１０６は、タッチ領域３１上に存在する背景領域３４及び影領域３２以外の領域を手指の領域であると認識し、当該領域を前景領域３３として認識する。

投影原画像作成部１１０は、プロジェクタ１２に対してスクリーン１１に向けて投影させる画像を作成する。尚、タッチ領域３１の背景色もこの投影原画像作成部１１０で作成される。画像出力部１１１は、作成された画像をプロジェクタ１２に送出する。開始判定部１１２は、タッチ判定を開始するか否かを判定する。背景画像更新処理部１１３は、タッチ領域３１の背景のみの画像である背景画像２５を随時更新する。

次に、上記構成の投影システムにおけるタッチ入力処理装置の動作、すなわちタッチ入力処理方法の手順を説明する。

図３（Ａ）は、スクリーン１１上の投影画像２１を示している。図３（Ｂ）は、カメラ１３による撮影画像２２から投影画像相当領域２１′の切り出しと、切り出された投影画像相当領域２１′に対する射影変換後の投影画像再現像２３を示している。

図６のフローチャートにおいて、ステップ６１の初期設定では、プロジェクタ１２とカメラ１３の位置関係のキャリブレーションと、初期のボタン背景画像（背景画像）の取得を行う。これらの処理は初期設定処理部１０９により行う。

すなわち、初期設定処理部１０９が、プロジェクタ１２に対してスクリーン１１に初期設定画面を投影させるように初期設定画面を送出する。この初期設定画面は、テストパターンのように決まった画像であってもよいし、これから投影してプレゼンテーションを行おうとしている画像ファイルの中の特定の１枚の画像フレームであってもよい。

次に、タッチ領域３１を情報処理装置１４とプレゼンテータに認識させるために、プロジェクタ１２からあらかじめ設定した色（色は任意であるが、あらかじめ決定している）のタッチ領域３１をスクリーン１１に投影し、この状態で投影されているタッチ領域３１の人の手指やその影が映っていない状態をカメラ１３にて撮影し、その画像を切り出し、座標と色を決定し、初期の背景画像として記憶する。複数のボタン（タッチ領域）３１を複数の位置で使用する場合、それぞれを投影してそれらの座標と色を記憶する。これがタッチ判定開始の判断ステップ６５やタッチ判定ステップ６９の処理の際に参照される初期の背景画像３４となる。尚、タッチ領域３１の決定処理でも、上の射影変換後の投影画像再現像２３に対して行う。

初期設定の後、情報処理装置１４は、プロジェクタ１２にプレゼンテーションその他のための投影画像データを送出する（ステップ６２）。プロジェクタ１２は、投影画像データに従ってスクリーン１１に向けて投影光を射出する。

カメラ１３は、スクリーン１１を撮影して撮影画像２２のデータを１フレーム毎に情報処理装置１４に送出する。この撮影画像２２のデータは、カメラ画像入力部１０１を介して情報処理装置１４に入力される（ステップ６３）。

情報処理装置１４は、図３（Ｂ）に示すように撮影画像２２内の投影画面相当部分２１′の４隅を図３（Ａ）に示す投影原画像２１の４隅と対応させる処理を行う。すなわち、情報処理装置１４は、部分画像切り出し処理部１０２にて撮影画像２２から投影画像相当領域２１′を切り出し、さらに射影変換処理部１０３にて投影画像相当領域２１′を射影変換して投影原画像２１とそれぞれの４隅を対応させた投影画像再現像２３を生成する。この射影変換処理によって得られた投影画像再現像２３を以下、切り出し画像２３とも称する（ステップ６４）。

尚、ステップ６１の初期設定において情報処理装置１４は、初期設定処理部１０９にてタッチ領域３１を含む投影原画像２１をスクリーン１１に投影させ、ステップ６３及びステップ６４の処理を実行して得られた投影画像再現像２３から手指が入り込んでいないタッチ領域３１の画像を背景領域３４として記憶する。また、図６におけるステップ６２〜６４の処理は、カメラ１３が撮影する動画像の１フレームごとに繰り返し行う。すなわち、ステップ６４から後の各処理では、切り出し画像２３が常時提供されることとなる。

ステップ６４の後、情報処理装置１４の開始判定部１１２により、タッチ判定を開始すべきか否かの判定を行う（ステップ６５）。

ステップ６５において背景画像と現在画像の差が小さい場合、情報処理装置１４は、背景画像更新処理部１１３にて背景画像の更新を行い（ステップ６６）、再びステップ６２に戻る（ステップ６５における判定（１）へ分岐）。

背景画像２５の更新（ステップ６６）においては、情報処理装置１４は、背景画像更新処理部１１３により、背景画像２５の色から一度に大きく変化しないように調整して背景画像２５の更新を行う。一度に大きく変化しないように調整するとは、例えばＲＧＢ色空間で背景画像２５と現在画像２６における所定の画素でＲ（レッド）が１０変わっている場合にＲの値を１ずつ変化させて現在画像２６の背景色に近づけるといったような調整である。

このように背景画像２５の更新を行うのは、プロジェクタ１２を使用している場所での外因によって色が変化することがあり、背景画像２５を更新しない場合に後述のタッチ判定に影響を及ぼすことがあるからである。尚、外因とは、例えばスクリーン１１が窓の近くにあり、少しずつ日が差し込んできて背景の色合いが変化するといったものである。また、背景画像２５の更新時に大きく色が変化しないように少しずつ調整するのは、カメラ１３による撮像上のノイズや本装置のスクリーン上に影響をおよぼす周囲からの瞬間的な照度変動などが現在画像２６内に部分的に含まれる可能性があり、それらをそのまま背景画像２５として反映してしまう場合に、やはり後述のタッチ判定に影響を及ぼすことがあるからである。

ステップ６５において背景画像と現在画像の差が大きくても1フレーム前の現在画像（以下、「直前画像」と称する。）との差が小さい場合、前景が停止していないと判断できるためタッチ判定を開始しないでステップ６２に戻る（ステップ６５における判定（２）へ分岐）。

ステップ６５で、タッチ判定を開始すると判定した場合、ステップ６８のタッチ領域３１へのタッチ判定処理に移行する（ステップ６５において判定（３）へ分岐）。

ステップ６８のタッチ判定処理では、投影するタッチ領域３１の色を変更し、タッチ領域３１の色を変更する前の画像である図５（Ｂ）に示す基準画像２７と、図５（Ｃ）に示すタッチ領域３１の色を変更した後の画像である変更後画像２８とを画素毎に対比してタッチされているか否かの判定を行う。

次に情報処理装置１４は、タッチ判定処理にてタッチされていると判定した場合、ステップ６９にてＹＥＳに分岐してタッチ領域３１に割り当てられた入力に対応するアクションを実行する（ステップ７０）。ステップ６９にてタッチ領域３１にタッチされていないと判定した場合、情報処理装置１４は、ＮＯに分岐して再びステップ６２に戻る。

以下、図６のフローチャートにおけるステップ６５のタッチ判定開始の判定処理、ステップ６８のタッチ判定処理についてさらに詳しく述べる。

図７は、図６のステップ６５の詳しい処理フローを示しており、情報処理装置１４は、背景画像２５とカメラから常時送出され切り出し画像２３に変換された最新の画像（以下、「現在画像」と称する。）２６のタッチ領域３１中でＲＧＢ色空間、ＨＳＶ色空間、ＹＵＶ色空間等の色空間を対比し、両画像のタッチ領域３１中で各画素の色空間における距離を元に両タッチ領域の差を算出する（ステップ６５Ａ０１）。

このステップ６５Ａ０１において求めた上記の差が所定値に達していない場合、背景画像の更新処理を行うために図６におけるステップ６６に移行する（ステップ６５Ａ０２でＮＯに分岐）。そして上記の差が所定値以上の場合、ステップ６５Ａ０２でＹＥＳに分岐し、情報処理装置１４はステップ６５Ａ０３，６５Ａ０４に移行して直前画像と現在画像との差を求め、前景が停止しているか否かを判定する。

ステップ６５Ａ０３において求めた直前画像と現在画像の差が大きい場合、前景が停止していないと判断し、ステップ６２に戻り、以上の処理を繰り返す（ステップ６５Ａ０４でＮＯに分岐）。

ステップ６５Ａ０３において求めた直前画像と現在画像の差が小さい場合、前景が停止したと判断して情報処理装置１４は、図６のステップ６８へ移行し、タッチ判定処理を開始する（ステップ６５Ａ０４でＹＥＳに分岐）。

図８は、図６のステップ６８の詳しい処理フローを示している。プレゼンテータが投影画像２１上のタッチ領域３１にタッチしようとしているとき、撮影画像２２に対する切り出し画像２３には、図４（Ｂ）に示すようにタッチ領域３１中でポインティングする手指の影の領域（影領域）３２、タッチ領域３１の前方に位置するプレゼンテータの手指の領域（前景領域）３３、プロジェクタ１２からの投影光が直接スクリーン１１に投影された背景領域３４が存在する。

情報処理装置１４は、基準画像２７が記憶されているか否かを判定する（ステップ６８Ａ０１）。ステップ６８Ａ０１で基準画像２７が記憶されていない場合、ＮＯに分岐して次のフレームの現在画像２６を基準画像２７として記憶し（ステップ６８Ａ０２）、ステップ６８Ａ０３を実行する。

ステップ６８Ａ０３では、情報処理装置１４は、投影原画像作成部１１０にタッチ領域３１の色を変更した画像データを生成させ、当該画像データを画像出力部１１１からプロジェクタ１２に送出する。プロジェクタ１２は、当該画像データに従ってタッチ領域３１の色を変更した画像を投影し、カメラ１３にて投影画像を撮影する。そして情報処理装置１４は、タッチ領域３１の色を変更した後の撮影画像を変更後画像２８として記憶する。

ステップ６８Ａ０３におけるタッチ領域３１の変更後の色は、変更前の色の補色を用いることができる。例えば、ＣＭＹＫであれば、赤に対して緑、橙に対して青、黄に対して紫である。また、補色に限定されるものではなく、ＲＧＢ色空間、ＨＳＶ色空間、又は、ＹＵＶ色空間における距離が離れた任意の色を用いる構成としてもよい。さらに、プロジェクタ１２が投影している環境によって、認識しやすい色とし難い色も変わるため、色を徐々に変化させ、精度の高い色（反応が大きい色）を決定するものとしてもよい。さらに、背景画像２６における背景色と、変更した色とを１〜数フレーム毎に高速に切り替えながらタッチ領域３１に所定時間以上投影させるものとしてもよい。このように元の色と変更した色とを素早く切り替えることで、情報処理装置１４では色の変化を認識できるものの、プレゼンテーションを観ている者には気づかせることなくタッチ判定を行うことができる。

次に、情報処理装置１４は、背景領域認識処理部１０７に背景画像２６と基準画像２７のタッチ領域３１を対比させ（ステップ６８Ａ０４）、タッチ領域３１中で色の変化がない領域を背景領域３４として認識する（ステップ６８Ａ０５）。また、情報処理装置１４は、影領域認識処理部１０５に基準画像２７と変更後画像２８のタッチ領域３１を対比させ（ステップ６８Ａ０６）、色の変化がない領域を影領域３２として認識する（ステップ６８Ａ０７）。さらに、情報処理装置１４は、前景領域認識処理部１０６によってタッチ領域３１内で背景領域３４及び影領域３２以外の部分を前景領域３３として認識する（６８Ａ０８）。すなわち、背景領域３４と影領域３２をそれぞれ異なる画像で比較して認識し、前景領域３３に関しては背景領域３４と影領域３２を除いた領域として認識する。このように各領域３２、３３、３４を認識することにより、各領域の認識精度が高くなる。また、背景領域３４と影領域３２を認識した後にタッチ領域３１中でそれ以外の領域を前景領域３３としているため、前景である手指やタッチ器材が変化しても影響を受けることなく認識することができる。尚、色の変化を対比する場合は、上述した色空間での距離を基準にする。

ステップ６８Ａ０８の後、情報処理装置１４は、影領域３２の面積がタッチ領域全体に対して所定値以下であるか否かを判定する（ステップ６８Ａ０９）。プレゼンテータがタッチ領域３１をタッチしようとする場合、スクリーン１１と手指が近づくため、撮影画像におけるスクリーン１１に映し出される手指の影は、手指に隠れて非常に狭い領域となる。

ステップ６８Ａ０９において所定値以上の場合、情報処理装置１４はＮＯに分岐してタッチ領域３１の投影色を元の色に戻し、図６のステップ６２に戻る。

ステップ６８Ａ０９において影領域が所定値以下の場合、情報処理装置１４はタッチされたと判定し（ステップ６８Ａ１１）、図６のステップ７０へと進む。

尚、図９のアクション処理７０のフローチャートに示すように、タッチ判定に引き続き、タッチ状態が判定されているタッチ領域３１中で、前フレームから前景が移動したベクトル量に応じて投影画像２１内のタッチ領域３１の位置を移動させることにより該タッチ領域３１に対するドラッグ機能を実現する（ステップ７０Ａ１〜７０Ａ６）。

タッチ判定した場合、タッチされたタッチ領域３１がドラッグ属性のタッチ領域であるかどうか判定し（ステップ７０Ａ１）、ＹＥＳであればタッチ位置（タッチ領域３１中の座標）を検出する（ステップ７０Ａ２）。ドラッグ属性のタッチ領域に対するタッチでなければ、ＮＯに分岐してステップ６２に戻る。

続いて、ドラッグ属性のタッチ領域へのタッチの場合、割り出したタッチ位置が前フレームでのタッチ位置から移動した距離（ベクトル）を計算する（ステップ７０Ａ３）。そして移動距離が所定距離以上になっているか否かを判定する（ステップ７０Ａ４）。ＮＯであれば、ここまでのステップ６２に戻り、アクション処理を繰り返す。

ステップ７０Ａ４で所定距離以上に移動したと判定される場合、割り出したタッチ位置が当該ドラッグ属性のタッチ領域にタッチしたと判定した時から直線距離にして全体でどれくらい移動したかの積分移動距離（ベクトル）を計算する（ステップ７０Ａ５）。そして全積分直線移動距離が所定距離以上になっているならば、当該タッチ領域を次のフレームの画像上でその距離だけ移動した画像にして投影する投影画像を作成する（７０Ａ６）。そして、ステップ６２に戻る。

このようにして、本実施形態のタッチ入力処理装置及びタッチ入力処理方法によれば、投影画像上のタッチ領域に対してプレゼンテータがその手指でタッチしたか否かを判定するときの環境変化に柔軟に対応し、精度の高いタッチ判定が可能である。

尚、本発明は、以上の実施形態に限定されるものではない。例えば、上記実施形態では、タッチ判定やタッチ判定の開始の判定においてタッチ領域３１の色を用いて判定しているが、タッチ領域３１に投影するパターン（網目状、斜線、ブロック等）を記憶させて、パターンの変化で判定を行う構成としてもよい。この場合、タッチ領域３１に手指が入り込むと、スクリーン１１上のタッチ領域３１中で背景領域３４のパターンは変化せず、影領域３２のパターンは消えるため、上記実施形態と同様に各領域３２、３３、３４を認識することができる。

また、外光の影響で背景画像のタッチ領域３１の色が変化しても確実にタッチ領域を特定できるように背景画像のタッチ領域３１の色を随時更新する処理は、必ずしも本発明に必須の要素ではなく、必要に応じて付加的に実施すればよいものであり、構成のシンプル化が必要な場合にはこの処理を採用しないことにすることも可能である。

さらに、背景画像、現在画像、基準画像及び背景画像のタッチ領域の色やパターンを変更した後の画像などの間で対比をするとき、対応する画素間の色空間上での距離が所定の値以上離れている画素の一方を変化した画素と見なし、２つの画像や領域の差の大小は、その変化した画素の数で判定するものとすることができる。また、同じく２つの画像や領域を対比するとき、対応する画素間の色空間上で距離を対象とする領域全体で総和し、この総和値と所定の閾値とを大小比較し、差の大小を判定するものとすることもできる。そしてこの場合、背景画像と現在画像とを対比して両者の差が所定値以上となり、かつ、現在画像と直前の現在画像との差が所定値以下のときにタッチ判定を開始するものと判定することができる。

１１ スクリーン
１２ プロジェクタ
１３ カメラ
１４ 情報処理装置
１０１ カメラ画像入力部
１０２ 部分画像切り出し処理部
１０３ 射影変換処理部
１０４ タッチ領域認識処理部
１０５ 影領域認識処理部
１０６ 前景領域認識処理部
１０７ 背景領域認識処理部
１０８ タッチ判定部
１０９ 初期設定処理部
１１０ 投影原投影原画像作成部
１１１ 画像出力部
１１２ 開始判定部
１１３ 背景画像更新処理部

Claims (26)

1. プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出するタッチ位置入力装置であって、
   前記プロジェクタの近傍に位置し、前記スクリーン上の投影画像を常時撮影し、撮影画像データを出力するカメラと、
   前記タッチ領域中に前記手指やタッチ器材である前景や前記手指やタッチ器材の影が入り込んでいない背景のみの画像である背景画像を記憶し、タッチ判定開始時の画像である基準画像を記憶し、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に投影させ、前記基準画像とは背景色又は背景パターンが異なる画像である変更後画像を記憶し、前記背景画像と前記基準画像とを対比して前記タッチ領域中で色又はパターンに変化がない領域を前記背景の領域と認識し、前記基準画像と変更後画像とを対比して色又はパターンに変化がない領域を前記影の領域と認識し、前記タッチ領域における前記影の領域と前記背景の領域とを除いた領域を前記前景の領域と認識し、前記前景の領域に対する前記影の領域の面積比が所定値以下になったとき、あるいは、前記影の領域がタッチ領域全体に対して所定値以下になったときに前記タッチ領域がタッチされたと判定し、タッチされたと判定した場合に前記タッチ領域に対するタッチ検出信号を出力する情報処理装置とを備えたことを特徴とするタッチ位置入力装置。
2. 前記情報処理装置は、前記背景画像と前記カメラから常時送出される現在の撮影画像データである現在画像との前記タッチ領域を対比し、前記現在画像と背景画像との間の色変化を認識でき、かつ、現在画像自身の変化が所定の閾値以下のときにタッチ判定を開始することを特徴とする請求項１に記載のタッチ位置入力装置。
3. 前記情報処理装置は、前記タッチ判定時において、前記基準画像における背景色又は背景パターンと、前記基準画像とは異なる背景色又は背景パターンと、を高速に切り替えながら前記タッチ領域に所定時間以上投影させ、前記前景の領域に対する前記影の領域の面積比が所定値以下になったとき、あるいは、前記影の領域が前記タッチ領域全体に対して所定値以下になったときにタッチされたと判定することを特徴とする請求項１又は請求項２に記載のタッチ位置入力装置。
4. 前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色として前記基準画像の背景色とはＲＧＢ色空間、ＨＳＶ色空間、又は、ＹＵＶ色空間の色空間上で所定距離以上離れた色を投影させることを特徴とする請求項１乃至請求項３のいずれか１項に記載のタッチ位置入力装置。
5. 前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色として前記基準画像の背景色に対する補色を投影させることを特徴とする請求項１乃至請求項３のいずれか１項に記載のタッチ位置入力装置。
6. 前記情報処理装置は、前記タッチ判定時において、前記基準画像の背景色とは異なる色又は前記基準画像の背景のパターンとは異なるパターンを徐々に変化させながら前記タッチ領域に投影させることを特徴とする請求項１又は請求項２に記載のタッチ位置入力装置。
7. 前記情報処理装置は、前記背景画像と前記現在画像との対比、及び、前記基準画像と前記変更後画像との対比をするとき、画素毎のＲＧＢ色空間、ＨＳＶ色空間、又は、ＹＵＶ色空間の色空間上での距離を算出することを特徴とする請求項２に記載のタッチ位置入力装置。
8. 前記情報処理装置は、前記背景画像と前記現在画像との対比をするとき、両画像の差が所定値を超える場合に前記タッチ判定を開始することを特徴とする請求項２又は請求項７に記載のタッチ位置入力装置。
9. 前記２つの画像を対比するとき、両画像の対応する画素間の色空間上での距離が所定値を超える場合を変化したと見なし、変化した画素数が対象とする領域全体の画素数に対して所定値以上となったときに両画像の差が大きいと判定することを特徴とする請求項８に記載のタッチ位置入力装置。
10. 前記２つの画像を対比するとき、両画像の対応する画素間の色空間上で距離を対象とする領域全体で総和し、この総和値が所定値を超える場合に両画像の差が大きいと判定することを特徴とする請求項８に記載のタッチ位置入力装置。
11. 前記情報処理装置は、前記背景画像と前記現在画像とを対比し、両画像の差が所定値を超えない場合に前記背景画像を前記現在画像に更新することを特徴とする請求項７又は請求項８に記載のタッチ位置入力装置。
12. 前記情報処理装置は、前記背景画像を更新するとき、更新前の画像と更新後の画像との間で画素毎の色空間上での距離の差が所定値以下となるように更新し、随時現在画像に近づけるように更新することを特徴とする請求項１１に記載のタッチ位置入力装置。
13. プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出する、コンピュータにて実行するタッチ位置入力方法であって、
    前記プロジェクタの近傍に配置されたカメラで情報処理装置に現在の撮影画像データである現在画像を送出するステップと、
    前記情報処理装置に、前記タッチ領域中に前記手指やタッチ器材である前景や前記手指やタッチ器材の影が入り込んでいない背景のみの画像である背景画像を記憶させるステップと、
    前記情報処理装置にタッチ判定開始時の画像である基準画像を記憶させるステップと、
    前記情報処理装置に、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に投影させるステップと、
    前記基準画像とは背景色又は背景パターンが異なる画像である変更後画像を記憶させるステップと、
    前記背景画像と前記基準画像とを対比して前記タッチ領域中で色又はパターンに変化がない領域を前記背景の領域と認識するステップと、
    前記基準画像と変更後画像とを対比して色又はパターンに変化がない領域を前記影の領域と認識するステップと、
    前記タッチ領域における前記影の領域と前記背景の領域とを除いた領域を前記前景の領域と認識するステップと、
    前記前景の領域又はタッチ領域と前記影の領域との面積比を対比するステップと、
    前記前景の領域又はタッチ領域に対する前記影の領域の面積比が所定値以下になったときに前記タッチ領域がタッチされたと判定するステップと、
    タッチされたと判定した場合に前記タッチ領域に対するタッチ検出信号を出力するステップとを有することを特徴とするタッチ位置入力方法。
14. 前記背景画像を記憶させるステップの後、前記背景画像と前記現在画像との前記タッチ領域を対比するステップと、
    前記背景画像から所定領域以上の色変化が認識できたときにタッチ判定を開始するステップとを有することを特徴とする請求項１３に記載のタッチ位置入力方法。
15. プロジェクタから任意のスクリーンに投影されている投影画像上のタッチ領域に対する手指又はタッチ器材によるタッチ操作を検出する、コンピュータにて実行するタッチ位置入力方法であって、
    前記プロジェクタの近傍に配置されたカメラで情報処理装置に現在の撮影画像データである現在画像を送出するステップと、
    前記情報処理装置に、前記タッチ領域中に前記手指やタッチ器材である前景や前記手指やタッチ器材の影が入り込んでいない背景のみの画像である背景画像を記憶させるステップと、
    前記情報処理装置にタッチ判定開始時の画像である基準画像を記憶させるステップと、
    前記情報処理装置に、前記基準画像の背景色とは異なる色又は前記基準画像の背景パターンとは異なるパターンを前記タッチ領域に投影させるステップと、
    前記基準画像とは背景色又は背景パターンが異なる画像である変更後画像を記憶させるステップと、
    前記背景画像と前記基準画像とを対比して前記タッチ領域内でその差が所定値より大きいことで前景が存在することを認識するステップと、
    前記基準画像と前記変更後画像とを対比することで影の領域を認識し、前記前景の領域又はタッチ領域に対する当該影の領域の面積比が所定値より小さいことで前記タッチ領域がタッチされたと判定するステップと、
    タッチされたと判定した場合に前記タッチ領域に対するタッチ検出信号を出力するステップとを有することを特徴とするタッチ位置入力方法。
16. 前記背景画像と前記基準画像とを対比して前記タッチ領域内でその差が所定値より大きいことで前景が存在することを認識するステップの後、前記現在画像の１処理周期前の画像である直前画像と前記現在画像との差が所定値より小さいことで、前景が停止していることを認識するステップを有することを特徴とする請求項１５に記載のタッチ位置入力方法。
17. 前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に投影するステップにおいて、前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に所定時間以上投影させることを特徴とする請求項１３乃至請求項１６のいずれか１項に記載のタッチ位置入力方法。
18. 前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に投影するステップにおいて、前記基準画像における背景色又は背景パターンと、前記基準画像とは異なる背景色又は背景パターンと、を高速に切り替えながら前記タッチ領域に所定時間以上投影させることを特徴とする請求項１３乃至請求項１６のいずれか１項に記載のタッチ位置入力方法。
19. 前記基準画像の背景色とは異なる背景色を前記タッチ領域に投影するステップにおいて、前記基準画像の背景色とは異なる色として前記基準画像の背景色とはＲＧＢ色空間、ＨＳＶ色空間、又は、ＹＵＶ色空間の色空間上で所定距離以上離れた色を投影させることを特徴とする請求項１３乃至請求項１８のいずれか１項に記載のタッチ位置入力方法。
20. 前記基準画像の背景色とは異なる背景色を前記タッチ領域に投影するステップにおいて、前記基準画像の背景色とは異なる色として前記基準画像の背景色に対する補色を投影させることを特徴とする請求項１３乃至請求項１８のいずれか１項に記載のタッチ位置入力方法。
21. 前記基準画像の背景色又は背景パターンとは異なる背景色又は背景パターンを前記タッチ領域に投影するステップにおいて、前記基準画像の背景色とは異なる色又は前記基準画像の背景のパターンとは異なるパターンを徐々に変化させながら前記タッチ領域に所定時間以上投影させることを特徴とする請求項１３乃至請求項１６のいずれか１項に記載のタッチ位置入力方法。
22. 前記背景画像と前記現在画像との前記タッチ領域を対比するステップ、及び、前記前景の領域と前記影の領域を対比するステップにおいて、画素毎のＲＧＢ色空間、ＨＳＶ色空間、又は、ＹＵＶ色空間の色空間上での距離を算出することを特徴とする請求項１４乃至請求項２１のいずれか１項に記載のタッチ位置入力方法。
23. 前記背景画像に対して前記現在画像の差が所定以上認識でき、かつ、前記現在画像の１処理周期前の画像である直前画像と前記現在画像との差が所定以下のときにタッチ判定を開始するステップにおいて、前記背景画像に対して前記現在画像の中で変化した画素数が前記タッチ領域全体の画素数に対して所定値以上となったときに前記タッチ判定を開始することを特徴とする請求項１４乃至請求項２２のいずれか１項に記載のタッチ位置入力方法。
24. 前記背景画像に比して前記現在画像の差が所定以上認識でき、かつ、前記現在画像の１処理周期前の画像である直前画像と前記現在画像との差が所定以下のときにタッチ判定を開始するステップにおいて、前記背景画像と現在画像との各画素間の距離中の総和が所定値以上となったときに前記タッチ判定を開始することを特徴とする請求項１４乃至請求項２２のいずれか１項に記載のタッチ位置入力方法。
25. 前記背景画像と前記現在画像との前記タッチ領域を対比するステップにおいて、前記背景画像に対して前記現在画像の差が所定値以下であるとき、前記現在画像を参考に前記背景画像を更新するステップを有することを特徴とする請求項１４乃至請求項２２のいずれか１項に記載のタッチ位置入力方法。
26. 前記背景画像を更新するステップにおいて、更新前の画像と更新後の画像との間で画素毎の色空間上での距離の差が所定値以下となるように更新し、随時現在画像に近づけるように更新することを特徴とする請求項２５に記載のタッチ位置入力方法。

Images