JP6668764B2 - 画像認識装置、画像認識方法および画像認識ユニット - Google Patents

Description

本発明は、画像認識装置、画像認識方法および画像認識ユニットに関するものである。

プロジェクターからの画像が投影されたスクリーンに指が触れているかいないかを検知する画像認識技術として、特許文献１の技術が知られている。特許文献１の画像認識技術では、まず、スクリーン上に格子パターンの構造光を投影し、次に、前記指の位置における格子パターンの変化を撮像装置（カメラ）からの画像に基づいて確認することでタッチ認識を行っている。

ＵＳ２０１１／０２５４８１０号公報

しかしながら、特許文献１に記載の画像認識技術では、撮像装置から見たときの指の奥行き方向の位置検知精度が悪く、それに伴って、タッチ認識の精度も悪いという問題がある。

本発明の目的は、精度の高いタッチ認識を行うことのできる画像認識装置、画像認識方法および画像認識ユニットを提供することにある。

このような目的は、下記の本発明により達成される。

本発明の画像認識装置は、画像表示面を撮像する撮像装置と、前記画像表示面に検出用のパターンを表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識装置であって、
前記検出用画像表示装置に、前記撮像装置と前記検出用画像表示装置の位置関係から決定されるエピポーラ線と交差する輝線が第１周期で配置される第１パターンと、前記エピポーラ線と交差する輝線が前記第１周期と異なる第２周期で配置される第２パターンと、を異なる時刻に表示させるパターン表示部と、
前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定部と、
前記撮像装置が取得した前記計測対象点および前記第１パターンを含む画像と、前記計測対象点および前記第２パターンを含む画像と、に基づいて前記画像表示面に対する前記計測対象点の位置を検知する位置検知部と、を有することを特徴とする。
これにより、位置検知部の検知結果に基づいて、高い精度でタッチ認識（対象物が画像表示面に接触しているか接触してないかの判断）を行うことができる。

本発明の画像認識装置では、前記第２周期は、前記第１周期の２倍未満であることが好ましい。
これにより、より精度の高いタッチ認識を行うことができる。

本発明の画像認識装置では、前記第１パターンおよび前記第２パターンは、それぞれ、前記輝線の配列方向に沿って第３周期を有する複数の領域に分割され、前記複数の領域の各々に位置を特定するアドレスが付与されていることが好ましい。
これにより、検出対象点が位置するアドレスを検知することができ、検知したアドレスに基づいて補助的なパターン（後述の第３パターン等）を表示することができる。そのため、より精度の高いタッチ認識を行うことができる。

本発明の画像認識装置では、前記第３周期は、前記第１周期と前記第２周期の最小公倍数に等しいことが好ましい。
これにより、フェーズ・ラッピングが生じる可能性が減り、より精度の高いタッチ認識が可能となる。

本発明の画像認識装置では、前記パターン表示部は、前記検出用画像表示装置に、前記計測対象点を通る前記エピポーラ線に沿う線状の第３パターンを、前記計測対象点が位置する前記領域を除いて表示させることが好ましい。
これにより、第３パターンによってフェーズ・ラッピングを区別することができ、より精度の高いタッチ認識が可能となる。

本発明の画像認識装置では、前記パターン表示部は、前記検出用画像表示装置に、前記計測対象点が位置する前記領域および前記計測対象点が位置する前記領域と隣り合う２つの領域に跨る第３パターンを表示させることが好ましい。
これにより、フェーズ・ラッピングを区別することができ、より精度の高いタッチ認識が可能となる。

本発明の画像認識装置では、前記パターン表示部は、前記検出用画像表示装置に、前記エピポーラ線と平行な方向に沿う線状パターンを有し、隣り合う前記複数の領域の前記線状パターンが前記エピポーラ線と交差する方向にずれて配置される第３パターンを表示させることが好ましい。
これにより、フェーズ・ラッピングを区別することができ、より精度の高いタッチ認識が可能となる。

本発明の画像認識方法は、画像表示面を撮像する撮像装置と、前記画像表示面に検出用画像を表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識方法であって、
前記検出用画像表示装置に、前記撮像装置と前記検出用画像表示装置の位置関係から決定されるエピポーラ線と交差する輝線が第１周期で配置される第１パターンと、前記エピポーラ線と交差する輝線が前記第１周期と異なる第２周期で配置される第２パターンと、を異なる時刻に表示させるパターン表示ステップと、
前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定ステップと、
前記撮像装置が取得した前記計測対象点および前記第１パターンを含む画像と、前記計測対象点および前記第２パターンを含む画像と、に基づいて前記画像表示面に対する前記計測対象点の位置を検知する位置検知ステップと、を有することを特徴とする。
これにより、位置検知部の検知結果に基づいて、高い精度でタッチ認識（対象物が画像表示面に接触しているか接触してないかの判断）を行うことができる。

本発明の画像認識ユニットは、本発明の画像認識装置と、
前記撮像装置と、
前記検出用画像表示装置と、を有することを特徴とする。
これにより、高い精度でタッチ認識を行うことのできる画像認識ユニットが得られる。

本発明の画像認識ユニットでは、前記画像表示面に画像を表示する画像表示装置を有することが好ましい。
これにより、画像表示面に所望の画像を表示することができる。

本発明の第１実施形態に係る画像認識ユニットの構成を示す図である。 図１に示すプロジェクターの構成図である。 図１に示すプロジェクターの構成図である。 図３に示すプロジェクターが備える走査部の平面図である。 図１に示す画像認識装置のブロック図である。 第１パターンおよび第２パターンを示す図である。 エピポーラ線について説明する図である。 タッチ認識の方法について説明する図である。 タッチ認識の方法について説明する図である。 タッチ認識の方法について説明する図である。 本発明の第２実施形態に係る画像認識ユニットで用いられる照明光を示す図である。 指を構成する物質の波長吸収特性を示すグラフである。 本発明の第３実施形態に係る画像認識ユニットで用いられる検出用パターンを示す図である。 タッチ認識の方法を説明する図である。 タッチ認識の方法を説明する図である。 本発明の第４実施形態に係る画像認識ユニットで用いられるプロジェクターの構成図である。 タッチ認識の方法を説明する図である。 タッチ認識の方法を説明する図である。 タッチ認識の方法を説明する図である。 本発明の第５実施形態に係る画像認識ユニットで用いられる検出用パターンを示す図である。 タッチ認識の方法を説明する図である。 タッチ認識の方法を説明する図である。

以下、本発明の画像認識装置、画像認識方法および画像認識ユニットの好適な実施形態について、添付図面を参照しつつ説明する。

＜第１実施形態＞
まず、第１実施形態に係る画像認識ユニットについて説明する。

図１は、本発明の第１実施形態に係る画像認識ユニットの構成を示す図である。図２は、図１に示すプロジェクターの構成図である。図３は、図１に示すプロジェクターの構成図である。図４は、図３に示すプロジェクターが備える走査部の平面図である。図５は、図１に示す画像認識装置のブロック図である。図６は、第１パターンおよび第２パターンを示す図である。図７は、エピポーラ線について説明する図である。図８ないし図１０は、それぞれ、タッチ認識の方法について説明する図である。

図１に示す画像認識ユニット１００は、例えば、平坦なスクリーン（画像表示面）９００に指（対象物）Ｆが接触しているか否かを判定し、判定結果に基づいてスクリーン９００に表示する画像を切り替えることのできる装置である。なお、以下では、スクリーン９００に指Ｆが接触しているか否かの判断を「タッチ認識」と言う。このような画像認識ユニット１００は、例えば、プレゼンテーションに用いることができ、プレゼンターの指のタッチ認識を行って、必要時にスクリーン９００に映し出される画像を切り替えたり、拡大または縮小したりすることで、プレゼンテーションをスムーズに進行することが可能となる。

ただし、画像表示面としては、スクリーン９００に限定されず、例えば、壁、ガラス等であってもよい。また、画像表示面は、平坦でなくてもよく、球面や凹凸面であってもよい。また、画像表示面は、経時的に形状が変化してもよい。また、タッチ認識を行う対象物としては、指Ｆに限定されず、例えば、指し棒、スクリーン９００に吸着したマグネット等であってもよい。また、画像認識ユニット１００の用途としては、プレゼンテーションに限定されず、例えば、デパート等の店舗案内、取扱商品の紹介・検索等、様々な用途に用いることができる。

このような画像認識ユニット１００は、図１に示すように、スクリーン９００に画像を表示するプロジェクター（画像表示装置）２００と、スクリーン９００に検出用パターンを表示するプロジェクター（検出用画像表示装置）３００と、スクリーン９００を撮像するカメラ（撮像装置）４００と、を有する画像表示ユニットと、タッチ認識を行う画像認識装置５００と、を有する。

プロジェクター３００およびカメラ４００は、異なる位置に配置されている。また、プロジェクター３００およびカメラ４００の相対的（幾何的）な位置関係は一定であり、位置関係に関する情報は、画像認識装置５００が有する図示しない記憶部に記憶され、適宜使用される。

以下、プロジェクター２００、プロジェクター３００、カメラ４００および画像認識装置５００について順に説明する。

［プロジェクター２００］
プロジェクター２００は、観察者に視認させたい画像（例えば、プレゼンテーション用の画像）をスクリーン９００に表示する装置である。

このようなプロジェクター２００は、ＬＣＤ方式のプロジェクターであり、図２に示すように、液晶表示素子２４０Ｒ、２４０Ｇ、２４０Ｂと、ダイクロイックプリズム２５０と、投射レンズ系２６０と、を備えている。そして、液晶表示素子２４０Ｒには赤色光Ｒが入射し、液晶表示素子２４０Ｇには緑色光Ｇが入射し、液晶表示素子２４０Ｂには青色光Ｂが入射する。

液晶表示素子２４０Ｒ、２４０Ｇ、２４０Ｂは、それぞれＲ、Ｇ、Ｂの原色に対応する透過型の空間光変調器であり、液晶表示素子２４０Ｒ、２４０Ｇ、２４０Ｂによってそれぞれ空間的に変調された光は、ダイクロイックプリズム２５０で合成され、ダイクロイックプリズム２５０からフルカラーの映像光Ｌａが出射される。そして、出射された映像光Ｌａは、投射レンズ系２６０によって拡大されてスクリーン９００に投射される。これにより、スクリーン９００に画像が表示される。

以上、プロジェクター２００について説明したが、プロジェクター２００としては、スクリーン９００に画像を表示することができれば、ＬＣＤ方式のプロジェクターに限定されず、例えば、光走査方式のプロジェクターであってもよいし、ＤＭＤ方式のプロジェクターであってもよい。

［プロジェクター３００］
プロジェクター３００は、タッチ認識を行うための検出用パターンをスクリーン９００に表示する装置である。

このようなプロジェクター３００は、光走査型のプロジェクターであり、図３に示すように、光源３１０と、走査部３２０と、図示しない投射レンズ系と、を備えている。

光源３１０は、赤色のレーザー光を射出する光源３１１Ｒと、緑色のレーザー光を射出する光源３１１Ｇと、青色のレーザー光を射出する光源３１１Ｂと、光源３１１Ｒ、３１１Ｇ、３１１Ｂから出射された光を平行光化するコリメータレンズ３１２Ｒ、３１２Ｇ、３１２Ｂと、光合成部３１３と、集光レンズ３１４と、を有する。

光合成部３１３は、光源３１１Ｒ、３１１Ｇ、３１１Ｂからのレーザー光を合成して変調光Ｌｂを生成する要素であり、３つのダイクロイックミラー３１３ａ、３１３ｂ、３１３ｃを有する。そして、光合成部３１３で生成された変調光Ｌｂは、集光レンズ３１４によって所望のＮＡ（開口数）に変更された後、走査部３２０に導かれる。

走査部３２０は、２軸まわりに揺動可能な光スキャナーであり、図４に示すように、ミラー３３１を有する可動部３３０と、可動部３３０を軸Ｊ１まわりに揺動可能に支持する軸部３４１、３４２と、軸部３４１、３４２を支持する駆動枠部３５０と、駆動枠部３５０を軸Ｊ１に直交する軸Ｊ２まわりに揺動可能に支持する軸部３６１、３６２と、軸部３６１、３６２を支持する枠状の支持部３７０と、を有する。このような走査部３２０では、図示しない駆動手段によって、駆動枠部３５０を支持部３７０に対して軸Ｊ２まわりに揺動させつつ、可動部３３０を駆動枠部３５０に対して軸Ｊ１まわりに揺動させることで、ミラー３３１で反射した変調光Ｌｂを２次元的に走査することができる。

そして、走査部３２０で走査された変調光Ｌｂは、図示しない投射レンズ系によって拡大されてスクリーン９００に投射される。これにより、スクリーン９００に検出用パターンが表示される。

以上、プロジェクター３００について説明したが、プロジェクター３００としては、スクリーン９００に検出用パターンを表示することができれば、光走査方式のプロジェクターに限定されず、例えば、ＬＣＤ方式のプロジェクターであってもよいし、ＤＭＤ方式のプロジェクターであってもよい。また、光走査方式のプロジェクターであっても、上記の構成に限定されず、例えば、１軸揺動型の光スキャナーを２つ用いて変調光Ｌｂを２次走査してもよい。またプロジェクター３００は、回折光学素子とレーザー光源を用いて２種類の異なる固定パターンを投影する構成でもよい。

［カメラ４００］
カメラ４００は、スクリーン９００を撮像する装置である。このようなカメラ４００は、例えば、ＲＧＢカメラであり、図１に示すように、レンズ系４１１および撮像素子４１２を備える受光ユニット４１０と、撮像素子４１２からの映像信号を処理する図示しない処理部と、を有する。

［画像認識装置］
画像認識装置５００は、前述したプロジェクター３００およびカメラ４００を用いてタッチ認識を行う装置である。

このような画像認識装置５００は、図５に示すように、パターン表示部５１０と、計測点判定部５２０と、位置検知部５３０と、を有する。

パターン表示部５１０は、プロジェクター３００に、スクリーン９００上に検出用パターンを表示させる（パターン表示ステップ）。検出用パターンは、図６に示すように、第１パターン８１０と、第２パターン８２０と、を有しており、これらが交互にスクリーン９００上に照射される。すなわち、第１パターン８１０と第２パターン８２０は、同時に表示されず、異なる時刻に表示される（時分割で表示される）。

ここで、第１、第２パターン８１０、８２０に関係するエピポーラ線ＥＬについて簡単に説明する。エピポーラ線ＥＬは、プロジェクター３００とカメラ４００の幾何的（相対的）な位置関係によって決定する線である。具体的には、図７に示すように、カメラ４００のカメラ中心（レンズ系４１１の主点）Ｃ１と走査部３２０の変調光Ｌｂを走査する際の角度変更中心（ミラー３３１の中心）Ｃ２とを結ぶ直線（ベースライン）ｌ２と、プロジェクター３００の仮想画像平面π２との交点をエピポーラ点Ｐｅと言い、仮想画像平面π２内においてエピポーラ点Ｐｅを通る全ての直線をエピポーラ線ＥＬと言う。

また、図７に示すように、指先Ｆ１がカメラ４００の画像に含まれていれば、カメラ４００の画像平面π１内での指先Ｆ１の座標（面内座標）ｘが決定される。この座標ｘとカメラ中心Ｃ１とを通る直線ｌ１と直線ｌ２とによって規定される平面をエピポーラ平面Σと言う。そして、エピポーラ平面Σと仮想画像平面π２とが交差してできる直線ｌ３と一致するエピポーラ線ＥＬを「エピポーラ線ＥＬ’」とした場合、エピポーラ線ＥＬ’上のどこかに指先Ｆ１が位置することになる。

なお、図６は、カメラ４００で取得した画像をステレオ平行化処理（エピポーラ線水平化処理）した画像を図示したものである。そのため、全てのエピポーラ線ＥＬが略平行となり、かつ、水平方向（紙面横方向）に延びた状態となる。

第１パターン８１０は、図６に示すステレオ平行化画像のように、エピポーラ線ＥＬと略直交する方向（鉛直方向）に延びる輝線が第１周期（ピッチ）Ｔ１で配置されたパターンである。具体的には、第１パターン８１０は、所定の輝度を有する第１領域８１１と、第１領域８１１とは異なる輝度を有する第２領域８１２と、を有し、これら領域８１１、８１２が同じ幅Ｔ１で交互に配置されたパターンである。第１領域８１１と第２領域８１２の輝度は、コントラスト比がなるべく高くなるように決定されることが好ましい。

一方、第２パターン８２０は、図６に示すステレオ平行化画像のように、エピポーラ線ＥＬと略直交する方向（鉛直方向）に延びる輝線が第１周期Ｔ１と異なる第２周期（ピッチ）Ｔ２で配置されたパターンである。具体的には、第２パターン８２０は、所定の輝度を有する第１領域８２１と、第１領域８２１とは異なる輝度を有する第２領域８２２と、を有し、これら領域８２１、８２２が同じ幅Ｔ２で交互に配置されたパターンである。第１領域８２１と第２領域８２２の輝度は、コントラスト比がなるべく高くなるように決定されることが好ましい。

ここで、第２周期Ｔ２としては、特に限定されないが、第１周期Ｔ１の２倍未満であることが好ましい。第２周期Ｔ２を第１周期Ｔ１の２倍以上にすると、第２パターン８２０の１周期Ｔ２内に、第１パターン８１０が２周期以上含まれることになるため、使用環境等によっては、後述する指先Ｆ１の深度解析の正確性が低下するおそれがある。なお、本実施形態では、第２周期Ｔ２は、第１周期Ｔ１の１．７５倍となっている。この理由については、後に説明する。

以上、第１、第２パターン８１０、８２０について説明したが、第１、第２パターン８１０、８２０としては、上記の構成に限定されない。例えば、第１領域８１１、８２１および第２領域８１２、８２２は、それぞれ、エピポーラ線ＥＬに対して傾斜していてもよいし、蛇行状、円弧状に湾曲していてもよい。

計測点判定部５２０は、カメラ４００が取得した画像から、カメラ４００とスクリーン９００との間に位置する指Ｆを検知し、さらに、指Ｆの指先Ｆ１を計測対象点として判定する（計測点判定ステップ）。

指先Ｆ１の判定方法としては、例えば、まず、第１パターン８１０を照射したスクリーン９００の画像をカメラ４００で取得し、この画像をステレオ平行化した画像を第１パターン基準画像として記憶する。そして、第１パターン８１０と共に指先Ｆ１が映るステレオ平行化画像と第１パターン基準画像との差分から指Ｆの輪郭を抽出し、抽出した指Ｆの輪郭形状から指先Ｆ１と類似の輪郭形状を有する部分を検出し、検出した部分を指先Ｆ１として判定することができる。

なお、指先の判定方法としては、これに限定されない。例えば、第１パターン基準画像の替りに、第２パターン８２０を照射したスクリーン９００の画像をカメラ４００で取得し、この画像をステレオ平行化した第２パターン基準画像を用い、第２パターン８２０と共に指先Ｆ１が映るステレオ平行化画像と第２パターン基準画像との差分から指Ｆの輪郭を抽出してもよい。また、第１パターン基準画像および第２パターン基準画像を共に用いてもよい。

また、例えば、カメラ４００が取得した画像からＨＳＶ表色系を用いて肌色類似領域（指Ｆの色と似ている色を持つ領域）を抽出し、さらに、抽出した肌色類似領域の輪郭形状から指先Ｆ１と類似の輪郭形状を有する部分を検出し、検出した部分を指先Ｆ１として判定してもよい。

位置検知部５３０は、カメラ４００が取得した画像に映る第１パターン８１０および第２パターン８２０に基づいて指先Ｆ１の深度（位置）を検知し、その検知結果に基づいてタッチ認識を行う（位置検知ステップ）。

具体的には、まず、位置検知部５３０は、図８に示すように、第１パターン８１０を照射した状態のスクリーン９００の画像をカメラ４００で取得し、この画像をステレオ平行化して第１画像Ｐ１１を得ると共に、第２パターン８２０を照射した状態のスクリーン９００の画像をカメラ４００で取得し、この画像をステレオ平行化して第２画像Ｐ１２を得る。このようにして取得した第１画像Ｐ１１では、スクリーン９００上の第１パターン８１０と、指先Ｆ１上の第１パターン８１０との間に、指先Ｆ１の深度に基づいた周期変動（パターンずれ）が発生している。第２画像Ｐ１２についても同様である。

なお、カメラ４００は、これら画像をなるべく短時間（例えば、１／１２０秒以内）で取得するのが好ましい。これにより、第１画像Ｐ１１中の指先Ｆ１の位置と、第２画像Ｐ１２中の指先Ｆ１の位置とのずれを小さくすることができ、精度の高いタッチ認識が可能となる。

次に、位置検知部５３０は、第１画像Ｐ１１を用いて、スクリーン９００上に映る第１パターン８１０の深度解析を行って、スクリーン９００の指先Ｆ１と重なる位置の深度を検知（推測）すると共に、指先Ｆ１上に映る第１パターン８１０の深度解析を行って、指先Ｆ１の深度を検知する。これと共に、位置検知部５３０は、第２画像Ｐ１２を用いて、スクリーン９００上に映る第２パターン８２０の深度解析を行って、スクリーン９００の指先Ｆ１と重なる位置の深度を検知（推測）すると共に、指先Ｆ１上に映る第２パターン８２０の深度解析を行って、指先Ｆ１の深度を検知する。

上記のような検知の結果、第１画像Ｐ１１および第２画像Ｐ１２の少なくとも一方において、指先Ｆ１の深度がスクリーン９００の深度と一致していなければ、位置検知部５３０は、指先Ｆ１がスクリーン９００に触れていない「非接触状態」と判定する。一方、第１画像Ｐ１１および第２画像Ｐ１２の両方において、指先Ｆ１の深度が、スクリーン９００の深度と一致している場合には、位置検知部５３０は、さらに、次のような判定を行う。

例えば、第１画像Ｐ１１について説明すると、図９に示すように、指先Ｆ１がスクリーン９００から離れていても、その離れ方が第１パターン８１０の周期の整数倍に相当する周期変動（パターンずれ）を生じさせる場合には、非接触状態であるにも関わらず、指先Ｆ１上のパターンが、指先Ｆ１がスクリーン９００に接触している接触状態と同じ画像が得られてしまう（以下、この現象を「フェーズ・ラッピング」と言う）。このことは、第２画像Ｐ１２についても同様である。

そのため、指先Ｆ１の離れ方が、第１パターン８１０の周期の整数倍に相当する周期変動を生じさせ、かつ、第２パターン８２０の周期の整数倍に相当する周期変動を生じさせる場合にはフェーズ・ラッピングが生じる。そこで、接触状態なのか、フェーズ・ラッピングが生じている状態なのかを区別する必要がある。なお、前述したように、第２パターン８２０の周期（第２周期Ｔ２）は、第１パターン８１０の周期（第１周期Ｔ１）の１．７５倍である。このような関係とすることで、両周期の最小公倍数を比較的大きくすることができるため（第１周期Ｔ１の７倍、第２周期Ｔ２の４倍）、フェーズ・ラッピングが生じる条件をより低くすることができる。

接触状態なのか、フェーズ・ラッピングが生じている状態なのかを区別する方法としては、特に限定されないが、次のような方法がある。すなわち、接触状態の場合の第１、第２画像Ｐ１１、Ｐ１２では、スクリーン９００に指先Ｆ１が接触していることから、図９に示すように、スクリーン９００上に指先Ｆ１による影が生じていない。一方で、フェーズ・ラッピングが生じている場合の第１、第２画像Ｐ１１、Ｐ１２では、スクリーン９００から指先Ｆ１が離れていることから、図１０に示すように、スクリーン９００上に指先Ｆ１による影ＳＨが生じる。そのため、位置検知部５３０は、第１、第２画像Ｐ１１、Ｐ１２中においてスクリーン９００に指先Ｆ１による影が生じていなければ「接触状態」と判定し、影が生じていればフェーズ・ラッピングが生じている「フェーズ・ラッピング状態」と判定することができる。

なお、プロジェクター３００やカメラ４００の配置、指先Ｆ１の形状や大きさ（個人差）等によっては、接触状態であっても、スクリーン９００上に影が生じてしまう場合もある。そのため、影の幅（大きさ）に閾値を設け、閾値未満であれば「接触状態」と判定し、閾値以上であれば「フェーズ・ラッピング状態」と判定してもよい。

位置検知部５３０は、判定結果が「接触状態」であったとき、その判定結果を図示しない制御部に送信する。この判定結果を受けた前記制御部は、プロジェクター２００に対して、例えば、スクリーン９００に表示されている画像を拡大または縮小する命令や、画像を切り替える命令等、指先Ｆ１の接触位置によって定められている画面操作命令を送信する。このような制御を行うことで、指先Ｆ１でスクリーン９００をタッチするだけで、スクリーン９００に表示される画像を操作することができるため、利便性の高い画像認識ユニット１００となる。

以上のように、パターン表示ステップと、計測点判定ステップと、位置検知ステップと、を行うことが画像認識装置５００によるタッチ認識の手順（方法）であり、この手順を所定の周期で繰り返し行うことで、タッチ認識を繰り返し行うことができる。

このような画像認識装置５００によれば、計算負荷を低減でき、かつ、精度の高いタッチ認識が可能となる。また、エピポーラ線ＥＬは、スクリーン９００の３次元的な位置や表面形状とは関係なく、プロジェクター３００とカメラ４００の幾何的な位置によって求まる線である。そのため、プロジェクター３００とカメラ４００の幾何的な位置を一度設定してしまえば、スクリーン９００の位置や形状に影響されることなく、タッチ認識を行うことができる。特に、前述したように、第１、第２パターン８１０、８２０を用いることで、フェーズ・ラッピングの発生を低減しているため、精度の高いタッチ認識を行うことができる。反対に、フェーズ・ラッピングの発生が抑えられている分、第１、第２パターン８１０、８２０の周期を短くすることができ、その分、より精度の高いタッチ認識が可能となるとも言える。

＜第２実施形態＞
次に、本発明の第２実施形態に係る画像認識ユニットについて説明する。

図１１は、本発明の第２実施形態に係る画像認識ユニットで用いられる照明光を示す図である。図１２は、指を構成する物質の波長吸収特性を示すグラフである。

以下、本発明の第２実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。

第２実施形態の画像認識ユニットは、指の抽出方法が異なること以外は、主に、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。

前述した第１実施形態では、指Ｆの抽出に第１パターン基準画像や第２パターン基準画像を用いなければならないため、例えば、スクリーン９００の位置が変化する場合や、スクリーン９００形状が変化する場合（すなわち、指Ｆの背景が変化する場合）には、その都度、第１、第２パターン基準画像を取得し直さなければならず、指Ｆの抽出をスムーズに行うことができないおそれがある。すなわち、前述した第１実施形態は、スクリーン９００の位置や形状が固定されている場合に特に優れた効果を発揮する。これに対して、これから述べる本実施形態では、第１パターン基準画像や第２パターン基準画像を必要としないため、スクリーン９００の位置が変化する場合や、スクリーン９００形状が変化する場合であっても、スムーズに指Ｆを抽出することができる。

本実施形態の画像認識ユニット１００は、プロジェクター２００、プロジェクター３００、カメラ４００および画像認識装置５００に加えて、さらに、図１１に示すように、スクリーン９００に照明光ＬＬを照射するプロジェクター（照明光照射装置）６００を有する。プロジェクター６００は、スクリーン９００の全域に広がるようにＮＩＲ光（８００〜２５００ｎｍ程度の波長を有する近赤外線）からなる照明光ＬＬを照射する。このような照明光ＬＬは、指Ｆの抽出に用いられる。

プロジェクター６００の構成としては、照明光ＬＬを照射することができれば特に限定されない。例えば、液晶型のプロジェクター、光走査型のプロジェクター、ＤＭＤ型のプロジェクターを用いることができる。また、プロジェクター２００またはプロジェクター３００がプロジェクター６００を兼ねていてもよい。

照明光ＬＬは、図１１に示すように、第１波長を有する第１照明光ＬＬ１と、第１波長と異なる第２波長を有する第２照明光ＬＬ２と、を含んでおり、第１照明光ＬＬ１と第２照明光ＬＬ２とがスクリーン９００に同時に照射されるようになっている。ただし、第１照明光ＬＬ１と第２照明光ＬＬ２とが時分割で交互に照射されてもよい。また、第１照明光ＬＬ１および第２照明光ＬＬ２は、パターンを持たないベタな光であり、スクリーン９００を一様（均等）に照らすようになっている。

また、第１照明光ＬＬ１と第２照明光ＬＬ２は、共にＮＩＲ光であり、かつ、指Ｆによる波長吸収特性が異なっている。図１２は、指Ｆを構成する物質の波長吸収特性を示すグラフである。同図に示すように、例えば、８００ｎｍ付近および１０５０ｎｍ付近では水およびヘモグロビンによる光吸収が周辺の波長に比べて少ないのに対して、９７０ｎｍ付近では、水およびヘモグロビンによる光吸収が周辺の波長に比べて多い。そのため、本実施形態では、第１照明光ＬＬ１の波長を８００ｎｍとし、第２照明光ＬＬ２の波長を９７０ｎｍとしている。ただし、第１、第２照明光ＬＬ１、ＬＬ２の波長としては、波長吸収特性が異なっていれば特に限定されず、対象物の構成によって適宜設定することができる。

また、カメラ４００は、第１照明光ＬＬ１による画像と、第２照明光ＬＬ２による画像を同時に取得可能な２バンドカメラである。前述した波長吸収特性の異なりから、第１照明光ＬＬ１による画像と第２照明光ＬＬ２による画像とに差が生じるため、計測点判定部５２０は、これらの画像を比較することで、指Ｆの抽出を行うことができる。このような手法は、「マルチスペクトルセンシング」、「ハイパースペクトルセンシング」等として公知である。

このような構成によれば、前述した第１実施形態のような第１パターン基準画像や第２パターン基準画像が必要ないため、スクリーン９００の位置が変化する場合や、スクリーン９００の形状が変化する場合であっても、スムーズに指Ｆを抽出することができる。

以上のような第２実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。

＜第３実施形態＞
次に、本発明の第３実施形態に係る画像認識ユニットについて説明する。

図１３は、本発明の第３実施形態に係る画像認識ユニットで用いられる検出用パターンを示す図である。図１４および図１５は、それぞれ、タッチ認識の方法を説明する図である。なお、図１４および図１５では、説明の便宜上、指に照射された第１、第２パターンの図示を省略している。

以下、本発明の第３実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。

第３実施形態の画像認識ユニットは、検出用パターンの構成が異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。

本実施形態では、図１３に示すように、検出用パターンとして、さらにアドレスパターンＡＤを用いる。アドレスパターンＡＤは、第１、第２パターン８１０、８２０をそれぞれ第３周期Ｔ３を有する複数の領域に分割し、かつ、分割した各領域にアドレス（位置を特定する情報）を付与する機能を有する。

具体的には、アドレスパターンＡＤは、第１、第２パターン８１０、８２０の最小公倍数（第１パターン８１０の周期の７倍、第２パターン８２０の周期の４倍）に相当する第３周期を有するパターンで構成され、第１、第２パターン８１０、８２０の上下に表示される。すなわち、第１パターン８１０は、アドレスパターンＡＤによって７周期毎に１つの領域に分割され、領域毎に位置が特定できるようになっている。同様に、第２パターン８２０は、アドレスパターンＡＤによって４周期毎に１つの領域に分割され、領域毎に位置が特定できるようになっている。なお、１つのアドレスの幅は、指先Ｆ１の幅よりも若干大きめに設定されている。

ただし、アドレスパターンＡＤの構成としては、上記と同様の効果を発揮することができれば、特に限定されない。例えば、アドレスパターンＡＤは、第１、第２パターン８１０、８２０の上下の少なくとも一方に表示されていてもよい。

また、本実施形態では、検出用パターンとして、さらに、第３パターン７００を用いる。第３パターン７００は、プロジェクター３００から、第１、第２パターン８１０、８２０と共に出射される。

第３パターン７００は、指先Ｆ１を通るエピポーラ線ＥＬ（ＥＬ’）上に延びる線状のパターンである。また、この第３パターン７００は、指先Ｆ１が位置しているアドレス［Ｎ＋１］を除き、かつ、アドレス［Ｎ＋１］の両隣のアドレス［Ｎ］、［Ｎ＋２］を含むように照射される。なお、第３パターン７００は、可視光で生成してもよいし、ＮＩＲ光で生成してもよい。また、第３パターン７００は、第１、第２パターン８１０、８２０と同時に表示してよいし、第１、第２パターン８１０、８２０と交互に（時分割で）表示してもよい。

このような第３パターン７００を用いることで、指先Ｆ１が接触状態であるのか、フェーズ・ラッピングが生じている状態であるのかを、精度よく区別することができる。具体的には、接触状態の場合は、第３パターン７００が指先Ｆ１上に照射されない。そのため、この際のステレオ平行化画像Ｐ３１は、図１４に示すように、アドレス［Ｎ＋１］以外において、第３パターン７００の連続性が維持された状態となる。また、指先Ｆ１上に第３パターン７００が照射されないことから、指先Ｆ１上で第１パターン８１０や第２パターン８２０と第３パターン７００とが重ならず、指先Ｆ１上の第１、第２パターン８１０、８２０を画像として認識することができる。一方、フェーズ・ラッピングが生じている場合は、第３パターン７００が指先Ｆ１に照射されてしまい、指先Ｆ１に遮られて影となる部分が第３パターン７００のどこかに発生する。そのため、この際のステレオ平行化画像Ｐ３１は、図１５に示すように、第３パターン７００に影部分７１０が発生し、不連続な状態となる。また、指先Ｆ１上に第３パターン７００が照射されることから、指先Ｆ１上で第１、第２パターン８１０、８２０と第３パターン７００とが重なってしまい、指先Ｆ１上の第１、第２パターン８１０、８２０を画像として認識することが困難となる。

このような画像の違いから、接触状態であるのか、フェーズ・ラッピングが生じている状態であるのかを、精度よく区別することができる。そのため、より精度の高いタッチ認識が可能となる。また、このようにフェーズ・ラッピングを効果的に抑制することができるため、第１、第２パターン８１０、８２０の周期を短くすることができ、より精度の高いタッチ認識が可能となる。また、ステレオ平行化画像Ｐ３１では、第３パターン７００が水平方向に延在しているため、画像の回析が容易となる。

以上のような第３実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。

＜第４実施形態＞
次に、本発明の第４実施形態に係る画像認識ユニットについて説明する。

図１６は、本発明の第４実施形態に係る画像認識ユニットで用いられるプロジェクターの構成図である。図１７ないし図１９は、それぞれ、タッチ認識の方法を説明する図である。

以下、本発明の第４実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。

第４実施形態の画像認識ユニットは、プロジェクター（検出用画像表示装置）の構成が異なること以外は、前述した第１実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。

本実施形態のプロジェクター３００は、プロジェクター２００（図２参照）とほぼ同様であり、図１６に示すように、液晶表示素子３８１Ｒ、３８１Ｇ、３８１Ｂと、ダイクロイックプリズム３８２と、投射レンズ系３８３と、を備えている。プロジェクター２００との違いは、液晶表示素子３８１Ｒに赤色光Ｒと共にＮＩＲ光が入射するようになっている点である。赤色光Ｒは、緑色光Ｇおよび青色光Ｂと比較してＮＩＲ光と波長の差が小さいため、比較的簡単に同一の光学系を実現することができる。このような構成のプロジェクター３００によれば、比較的簡単な構成で、可視光で生成された第１、第２パターン８１０、８２０と、ＮＩＲ光で生成された第３パターン７００とを同時に照射することができる。

ここで、上述のプロジェクター３００を用いてＮＩＲ光で第３パターン７００を照射すると、第３パターン７００は、赤色として認識される（ＮＩＲ光とともに赤色光Ｒも変調されるため）。そのため、第３パターン７００によってスクリーン９００上の画像が損なわれる可能性がある。そこで、スクリーン９００上の画像を損なわないように、本実施形態では、図１７に示すように、第３パターン７００にデザイン性を付与し、第３パターン７００をポインターの様に見える円環状（環状）としている。また、第３パターン７００は、アドレスパターンＡＤの３周期分（具体的には、指先Ｆ１が位置するアドレス［Ｎ＋１］と、その両隣のアドレス［Ｎ］および［Ｎ＋２］）に跨って表示されている。また、第３パターン７００の内部空間７０１は、指先Ｆ１が位置するアドレス［Ｎ＋１］を跨いで位置している。

このような第３パターン７００を用いることでも、指先Ｆ１が接触状態であるのか、フェーズ・ラッピングが生じている状態であるのかを、精度よく区別することができる。例えば、接触状態の場合の際のステレオ平行化画像Ｐ４１は、図１７に示すように、指Ｆ上にも第３パターン７００が照射され、第３パターン７００が全周にわたって環状に表示された状態となる。一方、１周期のフェーズ・ラッピングが生じている場合は、第３パターン７００が指Ｆに照射されてしまい、第３パターン７００には指Ｆに遮られて影となる部分が発生する。そのため、この際のステレオ平行化画像Ｐ４１は、図１８に示すように、第３パターン７００の一部が影となって映る状態となる。また、２周期以上のフェーズ・ラッピングが生じている場合は、第３パターン７００が指Ｆの裏側（スクリーン９００側）に照射される。そのため、この際のステレオ平行化画像Ｐ４１は、図１９に示すように、第３パターン７００の一部が指Ｆによって遮られて映る状態となる。

このような画像の違いから、接触状態であるのか、フェーズ・ラッピングが生じた状態であるのかを、精度よく区別することができる。そのため、より精度の高いタッチ認識が可能となる。また、本実施形態では、第３パターン７００が赤色として認識されるため、第３パターン７００が著しく明るくならず、周囲との高いコントラストを発揮することができる。そのため、より精度の高いタッチ認識が可能となる。

なお、２周期以上のフェーズ・ラッピングが生じている場合をより精度よく検知するために、例えば、第１、第２パターン８１０、８２０を所定の周期で明滅させる等して、第３パターン７００の画像を取得する際に第１、第２パターン８１０、８２０が表示されないようすることが好ましい。

以上のような第４実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。

＜第５実施形態＞
次に、本発明の第５実施形態に係る画像認識ユニットについて説明する。

図２０は、本発明の第５実施形態に係る画像認識ユニットで用いられる検出用パターンを示す図である。図２１および図２２は、それぞれ、タッチ認識の方法を説明する図である。

以下、本発明の第５実施形態に係る画像認識ユニットについて説明するが、前述した実施形態との相違点を中心に説明し、同様の事項はその説明を省略する。

第５実施形態の画像認識ユニットは、検出用パターンの構成が異なること以外は、前述した第３実施形態と同様である。なお、前述した実施形態と同様の構成には、同一符号を付してある。

本実施形態では、図２０に示すように、検出用パターンとして、第１、第２パターン８１０、８２０に加えて、第３パターン７００を照射する。第３パターン７００は、エピポーラ線ＥＬと平行な方向に沿う直線状の線状パターン７９０を有し、この線状パターン７９０が縦方向（エピポーラ線ＥＬに交差する方向）に離間して複数本（本実施形態では３本）表示されている。また、隣り合うアドレスでは、各線状パターン７９０が縦方向にずれている（すなわち、領域毎に不連続となっている）。なお、第３パターン７００は、可視光で生成されていてもよいし、ＮＩＲ光で生成されていてもよい。

このような第３パターン７００を用いることでも、指先Ｆ１が接触状態であるのか、フェーズ・ラッピングが生じている状態であるのかを、精度よく区別することができる。例えば、接触状態の場合のステレオ平行化画像Ｐ５１では、図２１に示すように、線状パターン７９０が指先Ｆ１とスクリーン９００の境界部Ａにおいて連続性を有している。また、指先Ｆ１がスクリーン９００に接触していることから、第３パターン７００上に指先Ｆ１による影が発生していない。一方、フェーズ・ラッピングが生じている場合のステレオ平行化画像Ｐ５１では、図２２に示すように、線状パターン７９０が境界部Ａにおいて縦方向にずれたり、影が発生したりして不連続になっている。

このような画像の違いから、接触状態であるのか、フェーズ・ラッピングが生じている状態であるのかを、精度よく区別することができる。そのため、より精度の高いタッチ認識が可能となる。

なお、２周期以上のフェーズ・ラッピングが生じている場合をより精度よく検知するために、例えば、第１、第２パターン８１０、８２０を所定の周期で明滅させる等して、第３パターン７００の画像を取得する際に第１、第２パターン８１０、８２０が表示されないようにすることが好ましい。

以上のような第５実施形態によっても、上述した第１実施形態と同様の効果を発揮することができる。

以上、本発明の画像認識装置、画像認識方法および画像認識ユニットについて、図示の実施形態に基づいて説明したが、本発明はこれに限定されるものではない。例えば、本発明の画像表示装置では、各部の構成は、同様の機能を有する任意の構成のものに置換することができ、また、他の任意の構成を付加することもできる。また、前述した各実施形態を適宜組み合わせてもよい。

１００…画像認識ユニット、２００…プロジェクター、２４０Ｂ、２４０Ｇ、２４０Ｒ…液晶表示素子、２５０…ダイクロイックプリズム、２６０…投射レンズ系、３００…プロジェクター、３１０…光源、３１１Ｂ、３１１Ｇ、３１１Ｒ…光源、３１２Ｂ、３１２Ｇ、３１２Ｒ…コリメータレンズ、３１３…光合成部、３１３ａ、３１３ｂ、３１３ｃ…ダイクロイックミラー、３１４…集光レンズ、３２０…走査部、３３０…可動部、３３１…ミラー、３４１、３４２…軸部、３５０…駆動枠部、３６１、３６２…軸部、３７０…支持部、３８１Ｂ、３８１Ｇ、３８１Ｒ…液晶表示素子、３８２…ダイクロイックプリズム、３８３…投射レンズ系、４００…カメラ、４１０…受光ユニット、４１１…レンズ系、４１２…撮像素子、５００…画像認識装置、５１０…パターン表示部、５２０…計測点判定部、５３０…位置検知部、６００…プロジェクター、７００…第３パターン、７０１…内部空間、７１０…影部分、７９０…線状パターン、８１０…第１パターン、８１１…第１領域、８１２…第２領域、８２０…第２パターン、８２１…第１領域、８２２…第２領域、９００…スクリーン、Ａ…境界部、ＡＤ…アドレスパターン、Ｂ…青色光、Ｃ１…カメラ中心、Ｃ２…角度変更中心、ＥＬ、ＥＬ’…エピポーラ線、Ｆ…指、Ｆ１…指先、Ｇ…緑色光、Ｊ１、Ｊ２…軸、ｌ１、ｌ２、ｌ３…直線、ＬＬ…照明光、ＬＬ１…第１照明光、ＬＬ２…第２照明光、Ｌａ…映像光、Ｌｂ…変調光、Ｐ１１…第１画像、Ｐ１２…第２画像、Ｐ３１、Ｐ４１、Ｐ５１…ステレオ平行化画像、Ｐｅ…エピポーラ点、Ｒ…赤色光、ＳＨ…影、Ｔ１…第１周期（幅）、Ｔ２…第２周期（幅）、Ｔ３…第３周期、ｘ…座標、Σ…エピポーラ平面、π１…画像平面、π２…仮想画像平面

Claims (10)

1. 画像表示面を撮像する撮像装置と、前記画像表示面に検出用のパターンを表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識装置であって、
   前記検出用画像表示装置に、前記撮像装置と前記検出用画像表示装置の位置関係から決定されるエピポーラ線と交差する輝線が第１周期で配置される第１パターンと、前記エピポーラ線と交差する輝線が前記第１周期と異なる第２周期で配置される第２パターンと、を異なる時刻に表示させるパターン表示部と、
   前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定部と、
   前記撮像装置が取得した前記計測対象点および前記第１パターンを含む画像と、前記計測対象点および前記第２パターンを含む画像と、に基づいて前記画像表示面に対する前記計測対象点の位置を検知する位置検知部と、を有することを特徴とする画像認識装置。
2. 前記第２周期は、前記第１周期の２倍未満である請求項１に記載の画像認識装置。
3. 前記第１パターンおよび前記第２パターンは、それぞれ、前記輝線の配列方向に沿って第３周期を有する複数の領域に分割され、前記複数の領域の各々に位置を特定するアドレスが付与されている請求項１または２に記載の画像認識装置。
4. 前記第３周期は、前記第１周期と前記第２周期の最小公倍数に等しい請求項３に記載の画像認識装置。
5. 前記パターン表示部は、前記検出用画像表示装置に、前記計測対象点を通る前記エピポーラ線に沿う線状の第３パターンを、前記計測対象点が位置する前記領域を除いて表示させる請求項３または４に記載の画像認識装置。
6. 前記パターン表示部は、前記検出用画像表示装置に、前記計測対象点が位置する前記領域および前記計測対象点が位置する前記領域と隣り合う２つの領域に跨る第３パターンを表示させる請求項３または４に記載の画像認識装置。
7. 前記パターン表示部は、前記検出用画像表示装置に、前記エピポーラ線と平行な方向に沿う線状パターンを有し、隣り合う前記複数の領域の前記線状パターンが前記エピポーラ線と交差する方向にずれて配置される第３パターンを表示させる請求項３または４に記載の画像認識装置。
8. 画像表示面を撮像する撮像装置と、前記画像表示面に検出用画像を表示する検出用画像表示装置と、を有する画像表示ユニットで用いられる画像認識方法であって、
   前記検出用画像表示装置に、前記撮像装置と前記検出用画像表示装置の位置関係から決定されるエピポーラ線と交差する輝線が第１周期で配置される第１パターンと、前記エピポーラ線と交差する輝線が前記第１周期と異なる第２周期で配置される第２パターンと、を異なる時刻に表示させるパターン表示ステップと、
   前記撮像装置と前記画像表示面との間にある対象物を検知し、前記対象物の計測対象点を判定する計測点判定ステップと、
   前記撮像装置が取得した前記計測対象点および前記第１パターンを含む画像と、前記計測対象点および前記第２パターンを含む画像と、に基づいて前記画像表示面に対する前記計測対象点の位置を検知する位置検知ステップと、を有することを特徴とする画像認識方法。
9. 請求項１ないし７のいずれか１項に記載の画像認識装置と、
   前記撮像装置と、
   前記検出用画像表示装置と、を有することを特徴とする画像認識ユニット。
10. 前記画像表示面に画像を表示する画像表示装置を有する請求項９に記載の画像認識ユニット。

Images