JP5888393B2 - 位置検出システム、表示システム及び情報処理システム - Google Patents

Description

本発明は、位置検出システム、表示システム及び情報処理システム等に関する。

赤外光を照射して、対象物からの反射を検知する近接センサではＸ、Ｙ座標の特定が困難である。また、ＣＣＤなどの撮像素子で検知するシステムは安価でない。特許文献１では、レンズ群を配置した光学系を工夫することでＬＥＤ光を用いた座標入力、位置検出手法を提案しているが、構成部品が多いためコスト面で優位性がなく、さらに位置検出精度が低い。

特開２００１−１４２６４３号公報

近年、投写型表示装置（プロジェクター）の視認性向上のため、投写型表示装置の光源の明るさが向上している。そのため、対象面（プロジェクターの投影面）の前に位置する対象物に投写型表示装置から投射された表示画像が写り込んでしまうことがあり、画像処理による対象物の位置検出を困難にしているという問題がある。

本発明の幾つかの態様によれば、赤外光の周波数帯域の画像を撮像することで、対象物の像を適切に撮像し、対象物の位置検出精度を向上させる位置検出システム、表示システム及び情報処理システム等を提供することができる。

本発明の一態様は、撮像画像を撮像する撮像部と、前記撮像部からの前記撮像画像に基づいて、対象面に設定された検出エリアでの対象物の座標情報を求める座標演算部と、を含み、前記検出エリアには、赤外光の周波数帯域の照射光が出射され、前記撮像部は、前記撮像画像として赤外光の周波数帯域の画像である赤外光帯域画像を撮像し、前記座標演算部は、前記赤外光帯域画像に基づいて、前記対象物の前記座標情報を求める位置検出システムに関係する。

本発明の一態様では、検出エリアに対して赤外光が出射され、撮像部は赤外光の周波数帯域の画像である赤外光帯域画像を撮像する。よって、対象物の形状に着目した画像を取得することができ、表示画像の影響による位置検出精度の低下を抑止すること等が可能になる。

また、本発明の一態様では、前記対象面に沿って設定される座標軸をＸ軸及びＹ軸とし、前記Ｘ軸及びＹ軸に直交し前記対象面の裏側から表側へ向かう方向をＺ軸正方向とし、Ｚ１をＺ１≧０、Ｚ２をＺ２＞Ｚ１を満たす値とした場合に、前記照射光は、Ｚ１≦Ｚ≦Ｚ２を満たすＺ座標範囲に出射されてもよい。

これにより、照射光のＺ座標範囲をＺ１≦Ｚ≦Ｚ２に限定することができ、必要な範囲において、撮像画像における対象物の像を鮮明にすること等が可能になる。ここで、Ｚ１、Ｚ２は例えば対象物の検出範囲の下限及び上限に対応する。照射光が照射された範囲においては、赤外光帯域画像を鮮明に撮像することができるため、対象物の検出が必要な範囲に対して照射光を出射することで、対象物を鮮明に撮像することが可能になる。

また、本発明の一態様では、前記照射光は、前記対象面に沿った方向に出射されてもよい。

これにより、対象面に沿った方向で広い領域に照射光を出射すること等が可能になる。

また、本発明の一態様では、前記撮像部は、レンズ部及び光学フィルターを有する光学系と、撮像素子を有し、前記光学フィルターは、可視光の周波数帯域を非通過とし、赤外光の周波数帯域を通過するフィルター特性を有してもよい。

これにより、光学フィルターを用いることで、撮像部において赤外光帯域画像を撮像することが可能になるため、簡単な構成でシステムを実現すること等ができる。

また、本発明の一態様では、前記座標演算部は、前記座標情報として、前記検出エリアでのＸ座標情報及びＹ座標情報を求めてもよい。

これにより、検出エリアでの座標系におけるＸ座標情報及びＹ座標情報を求めることが可能になる。

また、本発明の一態様では、前記撮像部の光軸と前記対象面とが斜め方向に交差する場合に、前記座標演算部は、前記撮像部に対して設定されるカメラ座標系における座標情報に対して所定の座標変換処理を行うことで、前記検出エリアでのＸ座標情報及びＹ座標情報を求めてもよい。

これにより、斜め方向から対象面を撮像することにより生じる画像の歪みを、座標変換処理により補正すること等が可能になる。

また、本発明の一態様では、前記座標演算部は、前記撮像画像の情報から得られるカメラ座標系での奥行き特定情報に基づいて、前記対象物の前記検出エリアでのＺ座標情報を求めてもよい。

これにより、撮像画像から奥行き特定情報を取得し、取得した奥行き特定情報に基づいて検出エリアでの座標系におけるＺ座標情報を求めることができる。よって、対象物が対象面に触れているか否かの判定を行うこと等が可能になる。

また、本発明の一態様では、前記撮像部は、複数のカメラを有し、前記座標演算部は、前記複数のカメラから取得された複数の撮像画像の視差情報に基づいて得られた奥行き特定情報により、前記検出エリアでの前記Ｚ座標を求めてもよい。

これにより、複数のカメラにより複数の撮像画像を取得し、取得した複数の撮像画像の視差情報に基づいて奥行き特定情報を取得すること等が可能になる。

また、本発明の一態様では、前記撮像部は、デプスカメラを有し、前記座標演算部は、前記デプスカメラにより得られた前記奥行き特定情報に基づいて、前記検出エリアでの前記Ｚ座標を求めてもよい。

これにより、２眼等の複数のカメラを有する撮像装置を用いずに、奥行き特定情報を取得すること等が可能になる。

また、本発明の一態様では、前記座標演算部は、前記カメラ座標系での前記奥行き特定情報に基づいて、前記検出エリアでのＸ座標情報及びＹ座標情報の少なくとも一方の補正処理を行ってもよい。

これにより、奥行き特定情報、或いは奥行き特定情報により求められる検出エリアでのＺ座標情報に基づいて、検出エリアでのＸ座標情報及びＹ座標情報の少なくとも一方の補正処理を行うことが可能になる。よって、対象物が対象面に対して浮いている状況でのずれを補正すること等ができる。

また、本発明の一態様では、光学式位置検出装置を含み、前記光学式位置検出装置は、前記照射光を出射する出射部と、前記照射光が前記対象物に反射することによる前記反射光を受光する受光部と、前記受光部での受光結果に基づいて前記対象物の初期座標情報を検出する検出部と、を含み、前記照射光は、前記光学式位置検出装置の前記出射部により出射され、前記座標演算部は、前記撮像画像のうち、前記初期座標情報により特定され、かつ、前記撮像画像よりも狭い範囲の画像に対して処理を行って、前記対象物の最終座標情報を求めてもよい。

これにより、光学式位置検出装置の出射部から出射された照射光を、撮像部での撮像においても用いることが可能になり、システムの構成を簡単化すること等ができる。

また、本発明の他の態様は、上述の位置検出システムと、画像を表示する表示装置と、を含む表示システムに関係する。

また、本発明の他の態様は、上述の位置検出システムと、前記位置検出システムからの検出情報に基づいて処理を行う情報処理装置と、前記情報処理装置からの画像データに基づいて画像の表示を行う表示装置と、を含む情報処理システムに関係する。

本実施形態の位置検出システムの構成例。 投写型表示装置を用いた本実施形態の位置検出システムの具体例。 図３（Ａ）、図３（Ｂ）は複数のカメラにより取得される視差情報を含む撮像画像の例。 投写型表示装置を用いた本実施形態の位置検出システムの他の具体例。 本実施形態の撮像部の構成例。 赤外線光学フィルターを用いた赤外光帯域画像の具体例。 光学式位置検出装置と本実施形態の位置検出システムとを併用する例。 図８（Ａ）は赤外線光学フィルターとして用いられるハイパスフィルターの例、図８（Ｂ）は赤外線光学フィルターとして用いられるバンドバスフィルターの例。 光学式位置検出装置による画像処理の対象範囲の限定を説明する図。 図１０（Ａ）は対象物が対象面に対して浮いている例、図１０（Ｂ）は対象物が対象面に接している例。 撮像部に対して設定される座標系と対象面に対して設定される座標系を説明する図。 一般的な射影変換を説明する図。 光学式位置検出装置が投写型表示装置に搭載される例。 図１４（Ａ）は斜め方向からの撮像により画像が歪む例、図１４（Ｂ）は座標変換により歪みを補正した例。 本実施形態の情報処理システムの構成例。 本実施形態の光学式位置検出装置の構成例。 受光部の構成例。 図１８（Ａ）、図１８（Ｂ）は受光ユニットの構成例。 照射部の構成例。 図２０（Ａ）、図２０（Ｂ）は座標情報検出手法を説明する図。 図２１（Ａ）、図２１（Ｂ）は発光制御信号の信号波形例。 照射部の他の構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず、本実施形態の手法について説明する。投写型表示装置（プロジェクター、図２のＰＲ）により画像を対象面（図２の２０）に投射した上で、投射した画像とユーザーの用いる対象物（オブジェクト、図２のＯＢ）の連携によりユーザインターフェースを実現するシステムが考えられる。このようなシステムでは、例えば画像上の任意のマークをさわることにより、表示が切り替わる等の操作を行うことが考えられるため、対象物ＯＢの位置検出手法が重要となってくる。

具体的な位置検出手法としては、撮像装置による撮像画像の画像処理を用いる手法等が考えられる。例えば、検出対象となる対象物ＯＢをテンプレートとして保持しておき、テンプレートマッチング処理を行うことで画像上での対象物ＯＢの位置（座標情報）を取得する。そのため、撮像装置が実空間のどの範囲を撮像しているかということがわかっていれば、実空間における位置情報を取得することができる。

しかしながら、画像処理による位置認識が困難である場合がある。例えば、投写型表示装置ＰＲにより画像を投射する場合には、投写型表示装置ＰＲ、ユーザー及び対象面２０の位置関係は図２のようになる。そのため、投写型表示装置ＰＲから投射された画像が、ユーザーの使用する対象物ＯＢ上（例えばユーザーの指の上）に表示されてしまうことが考えられる。つまり、対象物ＯＢが対象面２０（画像の表示面）にとけ込むような形になってしまい、画像処理による認識が難しい。そうでなくても、縦横の線が多い複雑な画像を表示する場合には、撮像画像も縦横の線が非常に多くなり、表示画像による線（エッジ）なのか対象物ＯＢによる線なのかの判断が困難である。

そこで、本出願人は以下の手法を提案する。後述する図５に示すように、赤外光の周波数帯域を透過させ、他の周波数帯域の光を遮断する赤外フィルターＦＩを撮像部５００に設ける。そして撮像画像として、赤外光帯域画像を撮像し、当該赤外光帯域画像に基づいて対象物ＯＢを認識する。赤外光帯域画像は図６に示すように、対象物ＯＢの形状を撮像することが可能であり、対象物ＯＢ上に表示された表示画像や、背景となる対象面２０に表示された表示画像等の情報を遮断することができる。これにより、表示画像による影響（対象物ＯＢへの写り込みや、縦横の線の多い複雑な画像の表示等による影響）を抑止し、画像処理による対象物ＯＢの検出精度を向上させることが可能になる。

以下、具体的な実施形態について説明する。なお、本実施形態は撮像画像の画像処理による位置検出に関するものであるが、ここでは画像処理による位置検出に加え、光学式位置検出装置１００を併用する実施形態を例としてあげる。なぜなら、画像処理による位置検出は処理負荷が重く、広い領域（例えば電子黒板の表示面等）をＸＧＡ程度の高精度で処理を行うことはコスト或いは処理時間の観点から現実的でないからである。

具体的には、まず光学式位置検出装置１００を用いて、対象物ＯＢの概略的な位置（初期座標情報）を取得しておいて、その概略位置により特定される範囲に対して撮像装置による撮像画像を用いて画像処理を行う。このようにすれば、撮像画像の演算処理量、演算処理時間を抑えることが可能になり、コスト、応答速度ともに実用的なものにすることができる。ただし、以下の説明はあくまで例示であり、光学式位置検出装置１００を用いずに位置検出処理を行ってもよいことは言うまでもない。

以下、まず光学式位置検出装置１００と撮像装置を連動させた位置検出手法について説明する。具体的には、システム構成例、撮像装置の構成、初期座標情報の取得と処理対象範囲の設定手法、最終座標情報の取得手法の順に説明していく。撮像装置の構成のところで、本実施形態の手法である赤外光帯域画像を撮像する手法について詳しく述べる。その後で、本実施形態の具体例で用いることができる光学式位置検出装置１００の構成例について説明する。

２．位置検出システムの具体例
２．１ システム構成例
図１に本実施形態の位置検出システムの構成例を示す。本実施形態の位置検出システム４００は、撮像部５００と、光学式位置検出装置１００からの初期座標情報を取得する座標情報取得部４１０と、撮像部５００からの撮像画像を取得する撮像画像取得部４２０と、座標演算処理を行う座標演算部４３０と、を含む。

座標演算部４３０は、奥行き特定情報取得部４３１と、補正部４３３と、座標変換部４３５と、を含む。奥行き特定情報取得部４３１は、座標情報取得部４１０からの初期座標情報に基づいて、画像処理を行う対象となる範囲を限定した上で、撮像画像から奥行き特定情報を取得する。補正部４３３は、奥行き特定情報に基づいてＸ座標情報及びＹ座標情報の少なくとも一方の補正処理を行う。座標変換部４３５は、座標変換を行うことで、歪みが生じた撮像画像の変換処理を行う。

光学式位置検出装置１００は座標情報取得部４１０に接続される。撮像部５００は撮像画像取得部４２０に接続される。座標情報取得部４１０と、撮像画像取得部４２０は、奥行き特定情報取得部４３１に接続される。奥行き特定情報取得部４３１は、補正部に接続される。補正部４３３は、座標変換部４３５に接続される。

２．２ 撮像装置の構成例
本実施形態における撮像装置（撮像部５００）の構成について説明する。図２に示したように、本実施形態においては例えば、対象面２０（スクリーン）に対して表示画像を投影する投写型表示装置ＰＲ（プロジェクター）に撮像装置が搭載される。ただし、撮像装置の位置はこれに限定されるものではなく、投写型表示装置ＰＲとは別の位置に設けられてもよい。また、本実施形態の画像表示手法は投写型表示装置ＰＲによるものに限定されるものではない。

また、本実施形態における撮像装置は、奥行き特定情報を取得可能な構成を取る必要がある。そのため、図２に示したように２つの撮像部（５００−１及び５００−２）が所定の距離だけ離れた位置に設けられ、視差情報（或いはステレオ画像）を取得することが可能な形態となる。それぞれの撮像部で取得される撮像画像の例を、図３（Ａ）及び図３（Ｂ）に示す。或いは２眼の撮像装置を用いずに、Ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ方式等により奥行き情報を持った画像を取得可能な撮像装置を用いてもよい。この場合の例を図４に示す。

次に、撮像部５００に赤外線光学フィルターＦＩを設け、赤外光帯域画像を撮像する手法について説明する。図５に撮像部５００の構成を示す。撮像部５００は、レンズ部ＬＥと、撮像素子ＩＭと、赤外線光学フィルターＦＩを含む。ここで、赤外線光学フィルターＦＩは可視光を透過せず、赤外光を透過する光学フィルターであり、少なくとも撮像素子ＩＭの前方に設けられる。赤外線光学フィルターＦＩは、図５の例ではレンズ部ＬＥの前方に設けられているが、レンズ部ＬＥと撮像素子ＩＭとの間に設けられてもよい。レンズ部ＬＥは単板である必要はなく、組み合わせレンズであってもよい。また、レンズ部ＬＥ（或いはレンズ群の一部）に赤外光を透過し可視光を透過しない光学フィルター機能を付与してもよい。

近年、プロジェクターの視認性向上のため、プロジェクターの光源が著しく明るくなってきている。そのため、プロジェクターが投影する表示画像によっては、表示画像が対象物ＯＢに写り込んでしまい、画像処理による対象物ＯＢの位置検出が困難である。その点、赤外線光学フィルターＦＩを用いて赤外光帯域画像を撮像することにより、図６のような撮像画像を取得することができる。図６に示したように、赤外光を用いた撮像画像（赤外光帯域画像）では対象物ＯＢの模様（写り込んだ表示画像等）を考慮することなく、対象物ＯＢの形状情報を取得することができる。よって投写型表示装置ＰＲが投影する表示画像によらず、画像処理により対象物ＯＢの認識を行うことが可能になる。

この場合、本実施形態のように画像処理による位置認識と、光学式位置検出装置１００とを併用する手法は構成を簡単化することが可能であるというメリットを有する。なぜなら、光学式位置検出装置１００での位置検出の際に出射される照射光を、撮像部５００での撮像の際の照射光としても用いることができるためである。図７に示したように、対象面２０に沿った方向に、光学式位置検出装置１００から照射光が出射される。この照射光は後述するように赤外帯域の光である。光学式位置検出装置１００から照射される赤外光は、光学式位置検出装置における概略座標（初期座標情報）を取得する際に用いられるとともに、撮像部５００での撮像画像を鮮明にする効果を有する。撮像部５００での撮像は、一般的な光源（電灯や日光等の白色光）に含まれる赤外成分でも行うことが可能であるが、光強度は赤外光源を用意した場合に比べて低い。そのため、光学式位置検出装置の照射部から出射される赤外光を、撮像部５００での撮像にも流用することで、赤外成分の光強度を高め撮像画像（赤外光帯域画像）を鮮明にすることができる。さらに、撮像部５００用に独自の照射部を設ける必要がないため、位置検出システム４００の構成を複雑にすることがない。

次に赤外線光学フィルターＦＩの光学特性について図８を用いて説明する。赤外線光学フィルターＦＩは例えば、８４０ｎｍ〜９５０ｎｍ程度の近赤外の周波数帯域を用いることが考えられる。その場合、赤外線光学フィルターＦＩはハイパスフィルター或いはバンドパスフィルターを用いればよく、ハイパスフィルターであれば、図８（Ａ）のＦ１或いはＦ２の特性のフィルター等を用いればよい。また、バンドパスフィルターであれば、図８（Ｂ）のＧ１或いはＧ２の特性のフィルター等を用いればよい。

２．３ 初期座標情報の取得と処理対象範囲の設定
本実施形態の手法においては、まず、光学式位置検出装置１００を用いて、初期座標情報を取得する。例えば本実施形態においては、上述したような光学式位置検出装置を用いて、対象物ＯＢのＸ座標情報及びＹ座標情報を取得する。ここで、光学式位置検出装置１００は、対象面２０（スクリーン）に対して取り付けられてもよいし、投写型表示装置ＰＲに取り付けられてもよい。

そして、取得したＸ座標情報及びＹ座標情報を対象物ＯＢの初期座標情報とする。この初期座標情報により特定される範囲を、撮像装置による位置検出を行う際の処理対象範囲とする。このようにして、例えば図９に示すように、撮像装置により得られた撮像画像に対する画像処理の対象範囲を、撮像画像全体（図９のＣ２）よりも狭い範囲（図９のＣ１）に限定することが可能となる。そのため、光学式検出手法等に比べて処理負荷の重い画像処理による検出手法を、現実的な処理時間、コストで実現することが可能になる。

初期座標情報から、画像処理の処理対象範囲を特定する手法は種々考えられる。通常は、初期座標情報を含む範囲を設定すればよい。その際には、光学式位置検出装置１００による座標情報の誤差等が問題にならない程度に広く、かつ、処理負荷が重くなりすぎない程度に狭い領域を指定する。

また、図１０（Ａ）のように対象物ＯＢが対象面２０に触れていないような状況では、光学式位置検出装置による初期座標情報はＡ１に対応する座標となる。それに対して、撮像画像においては、あたかもＡ２の位置に対象物ＯＢがあるように見える。つまり、撮像画像上では、初期座標情報に対してΔＹだけＹ座標情報がずれることになる。よって、画像処理の処理対象範囲は、ΔＹのずれを考慮して中心又は大きさ等を決定する必要がある点に留意する。

２．４ 最終座標情報の取得
次に、初期座標情報に基づいて画像処理の処理対象範囲が適切に設定された後に、撮像画像に対する画像処理により、対象物ＯＢの最終座標情報を求める手法について説明する。なお、撮像装置は対象面全面を撮影するものとする。つまり、ここでは処理対象範囲を撮影するものではなく、全面を撮影した上で処理対象範囲のデータを取り込むことになるが、手法はこれに限定されるものではない。

２．４．１ Ｚ座標情報に基づく補正
まずは、撮像画像上での対象物ＯＢの座標を求める。これは、公知の画像処理手法を用いればよい。例えば、対象物ＯＢをテンプレートとしてテンプレートマッチング処理等を行う。これにより、撮像画像上でのＸ座標情報及びＹ座標情報を取得することができる。

それとともに、Ｚ座標情報を取得する。ここではまず、撮像装置のキャリブレーションを事前に行っておくものとする。ここでのキャリブレーションとは、図１０（Ａ）におけるΔＺ＝０（つまり図１０（Ｂ）のように対象面２０に接している）場合に、２つの撮像部が取得する撮像画像において、対象物ＯＢの位置が同一になるように設定しておく。つまり、図３（Ｂ）におけるδはΔＺが０の時には０となり、ΔＺが大きくなるほど大きくなるように設定されることになる。

ここで、適切な係数Ａ（Ａは撮像装置の設計やキャリブレーション等により決定される）を設定すれば、ΔＺの値は下式（１）により表される。

ΔＺ＝Ａ・δ （１）
よって、δ＝０の場合には、ΔＺ＝０となり、対象物ＯＢが対象面２０に触れていると判定することができる。この場合図１０（Ｂ）のような状態であるため、撮像画像によって得られたＸ座標情報及びＹ座標情報は、そのまま真のＸ座標情報及びＹ座標情報として用いることができる。

それに対して、δ≠０の場合には、ΔＺは上式（１）により求められる０でない値となる。その場合、図１０（Ａ）のような状態となっているため、Ｙ座標情報は真のＹ座標情報に比べてΔＹだけずれていることになる。このとき、撮像装置（及び撮像装置を搭載したプロジェクター）の設置位置と方向から、対象面２０と撮像装置の光軸方向とのなす角度θは既知である。よって図よりΔＹの値は下式（２）により求めることができる。

ΔＹ＝ΔＺ／ｔａｎθ （２）
よって、撮像画像から得られたＹ座標情報を上式（２）のΔＹだけ補正した値が、真のＹ座標情報となる。なお、この場合Ｘ座標情報についての補正は必要ない。今回の座標設定においては、対象物ＯＢが対象面２０から浮いていようが触れていようが、Ｘ軸方向での位置に変化はないからである。もちろん座標系の設定によってはＸ座標情報について補正の必要が生じる場合があることは言うまでもない。

２．４．２ 座標変換
次に、撮像画像により得られたＸ座標情報、Ｙ座標情報について、座標変換を行う。上述してきた撮像部に対して設定される座標系でのＸ座標情報及びＹ座標情報は、あくまで、撮像画像上での座標情報であって、画像の歪みの分、実空間における座標情報とは一致しない。そのため、座標変換（射影変換）を行うことにより、歪みを解消し、実空間における適切な座標情報を求める必要がある。なお、撮像部５００に対して設定される座標系及び対象面２０に対して設定される座標系を図１１に示す。

一般的な座標変換である射影変換の式を下式（３）に示す。下式（３）において、ｘ’、ｙ’が変換後の座標を表し、ｘ、ｙが変換前の座標を表すものとする。各ｈは任意の係数である。

射影変換を施した例を図１２に示す。射影変換を行うことで、任意の四角形を別の任意の四角形に移すことが可能となる。つまり、図１２に示したように、歪んだ撮像画像を歪みのない状態に戻すことができる。この際、係数ｈについては、キャリブレーション等により求めてもよい。つまり、対象面上の任意の点と、撮像画像上における対応する点との位置関係を求めることにより、射影変換の係数を設定することができる。

このようにして求めた、座標変換後のＸ座標情報、Ｙ座標情報及び、上述したＺ座標情報（ΔＺ）が本実施形態の手法により求められる最終座標情報となる。

以上の本実施形態では、図１に示したように、位置検出システム４００は、撮像画像を撮像する撮像部５００と、撮像部５００からの撮像画像に基づいて、対象面２０に設定された検出エリアでの対象物ＯＢの座標情報を求める座標演算部４３０とを含む。そして、検出エリアには赤外光の周波数帯域の照射光が出射され、撮像部５００は撮像画像として赤外光の周波数帯域の画像である赤外光帯域画像を撮像する。座標演算部４３０は、赤外光帯域画像に基づいて、対象物ＯＢの座標情報を求める。

これにより、撮像画像に基づいて対象物ＯＢの位置検出を行うシステムにおいて、赤外光を用いることが可能になる。上述したように、表示画像が対象物ＯＢに写り込むことにより、画像処理による対象物ＯＢの認識が困難になるという問題があった。それに対して、赤外光を用いて赤外光帯域画像を撮像すれば、図６のように対象物ＯＢの形状情報を適切に取得することができ、対象物ＯＢの位置認識の精度を向上させることが可能となる。

また、対象面２０に対して図１１のように座標系を設定する。対象面２０に沿った平面においてＸ軸、Ｙ軸を設定し、図１１の例では、重力方向をＹ軸正方向、Ｙ軸に直交する方向をＸ軸とする。さらに、Ｘ軸及びＹ軸に直交し、対象面２０の裏側から表側へ向かう方向をＺ軸正方向とする。ここで、Ｚ１をＺ１≧０、Ｚ２をＺ２＞Ｚ１を満たす値とする。このとき、照射光はＺ１≦Ｚ≦Ｚ２を満たすＺ座標範囲に対して出射されてもよい。

これにより、照射光が出射されるＺ座標範囲をＺ１≦Ｚ≦Ｚ２の範囲に限定することが可能になる。よって、Ｚ１≦Ｚ≦Ｚ２をスクリーン（対象面２０）に近い範囲に設定しておけば、スクリーンの近くにある対象物ＯＢが、撮像画像において鮮明になる。上述したように、本実施形態の位置検出システムでは、対象物ＯＢが対象面２０のどの位置を指し示しているか、また、対象面２０に触れているか否かを検出することが重要であるから、スクリーンに近い対象物ＯＢが鮮明に撮像されることは非常に有用である。つまり、例えばＺ１及びＺ２は対象物の検出を行いたい範囲（Ｚ座標範囲）の下限及び上限に対応することになる。また、照射光が図１３に示したような光学式位置検出装置１００の照射部により出射される場合が想定されうる。この場合、図１８（Ａ）を用いて後述するように、光学式位置検出装置１００の受光部ユニットＰＤにはスリットＳＬＴが設けられ、受光するＺ座標範囲が狭く限定されている。これは検出範囲（Ｚ座標範囲）をある程度狭くすることで、光学式位置検出装置１００による位置検出（Ｘ座標情報及びＹ座標情報）の精度を高めるためである。その場合、照射光のＺ座標範囲も狭く限定しておくと、狭い範囲に照射光が集中するため、より効果的となる。つまり、Ｚ１及びＺ２は、光学式位置検出装置１００のＸ座標情報及びＹ座標情報の検出精度が確保できる程度に狭いＺ座標範囲の上限及び下限に対応する値としてもよい。

また、照射光は、対象面２０に沿った方向に出射されてもよい。

これにより、上述したＺ座標範囲の限定とあわせて、図７（或いは図１３のＲＤＥＴ）に示すような方向、範囲に照射光は出射されることになる。上述したように、対象物ＯＢがスクリーン上のどの位置を指し示しているかを検出することが重要であるから、スクリーンに沿った方向ではスクリーンと同程度の領域で、対象物ＯＢを認識する必要がある。よって、照射光は対象面２０に沿った方向に出射することで、スクリーンと同程度の大きさの領域において、撮像部５００での撮像画像における対象物ＯＢの像を鮮明にすることができる。また、照射光が光学式位置検出装置の照射部により出射される場合が想定されうるため、照射光をＸＹ平面に沿った方向に出射することで、光学式位置検出装置によりＸ座標情報及びＹ座標情報を取得することが可能になる。

また、撮像部５００は、図５に示したようにレンズ部ＬＥ及び光学フィルター（赤外線光学フィルターＦＩ）を有する光学系と、撮像素子ＩＭを含んでもよい。そして、光学フィルターは、可視光の周波数帯域を非通過とし、赤外光の周波数帯域を通過するフィルター特性を有する。

これにより、光学フィルターを用いることで、可視光を遮断し、赤外光の周波数帯域の画像を取得することが可能になる。光学フィルターを撮像素子ＩＭの前方に設ければよいため、簡単な構成により赤外光帯域画像を撮像することができる。この際の光学フィルターの特性は例えば図８（Ａ）や図８（Ｂ）に示したものを用いればよい。

また、座標演算部４３０は、座標情報として、検出エリアに設定された座標系におけるＸ座標情報及びＹ座標情報を求める。

ここで、Ｘ軸、Ｙ軸（及びＺ軸）は、対象面２０上の検出エリアに対して設定される座標系の軸である。処理過程で用いる撮像部５００に対して設定される座標系（カメラ座標系）とは異なるため注意が必要である。Ｘ軸、Ｙ軸は図１１に示したような方向とする。つまり、Ｘ軸及びＹ軸により規定されるＸＹ平面は対象面２０を含む平面であり、かつ、鉛直方向の正方向（重力方向）がＹ軸正方向に対応する。また、Ｙ軸に直交し、図１１において手前方向をＸ軸正方向とし、ＸＹ平面に垂直で、かつ、対象面２０の裏側から表側の方向をＺ軸正方向とする。ただし、ＸＹＺ軸の方向はこれに限定されるものではない。

これにより、検出エリアに対して設定された座標系において、Ｘ座標情報及びＹ座標情報を求めることが可能になる。よって、対象面２０に表示された画像のどの部分をポインティングしているのか等の情報を取得することができる。

また、図４に示したように撮像部５００の光軸と対象面２０とが斜め方向に交差する場合に、座標演算部４３０は、カメラ座標系における座標情報に対して所定の座標変換処理を行うことで、検出エリアでのＸ座標情報及びＹ座標情報を求めてもよい。

これにより、座標変換処理を行うことで検出エリアでの最終座標情報を求めることが可能になる。図４に示したように、撮像部５００の光軸方向と対象面２０とが斜め方向に交差する場合には、撮像画像における対象面２０の形は図１４（Ａ）に示したように歪むことになる。これはつまり、検出エリアでの座標系とカメラ座標系とで軸が一致しないことによる。画像処理による位置検出手法では、まずカメラ座標系での座標情報が取得されるのであるから、これら２つの座標系の間での座標変換処理を行うことで、図１４（Ｂ）のように歪みを補正した上で、検出エリアに対して設定された座標系での最終座標情報を求める必要がある。

また、座標演算部４３０は、撮像画像の情報から得られるカメラ座標系での奥行き特定情報に基づいて、検出エリアでの座標系におけるＺ座標情報を求める。

これにより、検出エリアに対して設定された座標系において、Ｚ座標情報を求めることが可能になる。よって、対象面２０に表示された画像のどの部分をポインティングしているかにとどまらず、図１０（Ｂ）のように当該ポインティング対象に触れているのか（対象面２０に触れているか）、図１０（Ａ）のように浮いた状態なのか等の判定を行うことができる。

また、図２に示したように撮像部５００は複数のカメラを有し、座標演算部４３０は、複数のカメラから取得された複数の撮像画像の視差情報に基づいて得られた奥行き特定情報により、検出エリアでのＺ座標情報を求めてもよい。

ここで、視差とは、２観測地点での位置の違いにより対象点が見える方向が異なることを意味する。つまり、異なる位置に設けられた２つのカメラにより得られる２つの撮像画像においては、対象物ＯＢの位置がずれることになり、ここでは視差情報とは当該画像のずれを表すものとする。

これにより、複数のカメラを用いて取得した複数の撮像画像の視差情報に基づいて、検出エリアに設定された座標系でのＺ座標情報を求めることが可能になる。具体的には図３（Ａ）、図３（Ｂ）及び式（１）を用いて上述したように、対象物ＯＢの位置のずれδから検出エリアでの座標系におけるＺ座標（ΔＺ）を求めることができる。なお、δから直接求められるのは、カメラ座標系におけるＺ座標であるが、カメラ座標系から検出エリアでの座標系へのＺ座標の値の変換は容易であり、そのための値も上式（１）の係数Ａに含まれているものとする。

また、撮像部５００はデプスカメラを有し、座標演算部４３０は、デプスカメラにより得られた奥行き特定情報に基づいて検出エリアでの座標系におけるＺ座標を求めてもよい。

ここで、デプスカメラとは、例えばＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔ方式等を用いたカメラが考えられる。これは、赤外光のパスル波或いはサインカーブ波を被写体に照射し、反射光の位相差を検出することで奥行き特定情報を取得するものである。

これにより、上述した複数のカメラを用いた場合と同様に、奥行き特定情報を取得でき、検出エリアでの座標系におけるＺ座標情報を求めることが可能になる。

また、座標演算部４３０は、カメラ座標系での奥行き特定情報に基づいて、検出エリアでの座標系におけるＸ座標情報及びＹ座標情報の少なくとも一方の補正処理を行ってもよい。

これにより、カメラ座標系での奥行き特定情報に基づいて、検出エリアでの座標系におけるＸ座標情報及びＹ座標情報の少なくとも一方の補正処理を行うことが可能になる。図１０（Ａ）、図１０（Ｂ）に示したように対象物ＯＢが対象面２０に接しているか浮いているかにより、処理が異なる。図１０（Ａ）のように対象物ＯＢが対象面２０から浮いている場合には、撮像画像から得られるＸＹ座標（Ａ１）に比べて、実際のＸＹ座標（Ａ２）はΔＹだけずれることになる。そのため、Ｚ＞０の場合には、このΔＹだけＹ座標を補正する必要が生じる。それに対し、Ｚ＝０の場合には、ずれが生じないため補正も必要ない。なお、上述したカメラ座標系から検出エリア座標系への座標変換処理は補正処理後に行われるものとするが、これに限定されるものではない。

また、位置検出システム４００は、光学式位置検出装置１００を含んでもよい。光学式位置検出装置１００は、照射光を出射する出射部と、照射光が対象物ＯＢに反射することによる反射光を受光する受光部と、受光部での受光結果に基づいて対象物ＯＢの初期座標情報を検出する検出部と、を含む。そして、上述してきた本実施形態における照射光は、光学式位置検出装置の出射部により出射される。さらに、座標演算部４３０は、撮像画像取得部４２０で取得した撮像画像のうち、初期座標情報により特定され、かつ、撮像画像よりも狭い範囲の画像に対して処理を行い、対象物ＯＢの最終座標情報を求める。

ここで初期座標情報とは、上述したように、対象物ＯＢの概略的な座標情報のことである。本実施形態においては、光学式位置検出装置１００により概略的な座標情報である初期座標情報を求めることで、画像処理による位置検出処理の対象範囲を撮像画像全体（図９のＣ２）に比べて狭い範囲（図９のＣ１）に限定する。また、最終座標情報とは、撮像画像に対する画像処理により求められる最終的な座標情報のことである。

これにより、光学式位置検出装置が自らの位置検出処理のために出射する照射光を、撮像部５００での撮像にも用いることが可能になる。これにより、撮像部５００での撮像画像を、照射光がない場合に比べて鮮明にすることが可能になるとともに、撮像部５００のための出射部を独自に設ける必要がないため、位置検出システム４００の構成を複雑にすることがないという効果がある。

また、本実施形態は、上述してきた位置検出システムと、画像を表示する表示装置とを含む表示システムに関係する。

これは具体的には例えば、上述してきたような投写型表示装置ＰＲ（プロジェクター）に撮像部を搭載し、画像処理による位置検出を行うとともに、光学式位置検出装置による位置検出手法を併用するシステムに相当する。さらに具体的には、後述する図１５の１０及び１００の構成等が考えられる。

これにより、投写型表示装置ＰＲ（プロジェクター）により画像を対象面２０に投射した上で、投射した画像とユーザーの用いる対象物ＯＢ（オブジェクト）の連携によるユーザインターフェースを実現すること等が可能になる。なお、画像の表示は投写型表示装置ＰＲによるものに限定されるわけではない。

また、本実施形態は、上述してきた位置検出システムと、位置検出システムからの検出情報に基づいて処理を行う情報処理装置と、情報処理装置からの画像データに基づいて画像の表示を行う表示装置とを含む情報処理システムに関係する。

図１５に、本実施形態の情報処理システムの構成例を示す。図１５の構成例は、光学式位置検出装置１００、情報処理装置３０及び表示装置１０を含む。情報処理装置３０は、例えばパーソナルコンピューター（ＰＣ）などであって、光学式位置検出装置１００からの検出情報に基づいて処理を行う。光学式位置検出装置１００と情報処理装置３０とは、ＵＳＢケーブルＵＳＢＣを介して電気的に接続される。表示装置１０は、例えば投射型表示装置（プロジェクター）などであって、情報処理装置３０からの画像データに基づいて、表示部（スクリーン）２０に画像を表示する。ユーザーは、表示部２０に表示された画像を参照しながら、表示画像のアイコン等をポインティングすることで、情報処理装置３０に対して必要な情報を入力することができる。

なお、図１５では、光学式位置検出装置１００が表示部２０に取り付けられているが、他の場所に取り付けることもできる。例えば、光学式位置検出装置１００を表示装置１０に取り付けてもよいし、天井や壁などに取り付けてもよい。また、表示装置１０としては、投射型表示装置（プロジェクター）に限定されるものではなく、例えばデジタルサイネージ用表示装置であってもよい。

これにより、投写型表示装置ＰＲ（プロジェクター）により画像を対象面２０に投射した上で、投射した画像とユーザーの用いる対象物ＯＢ（オブジェクト）の連携によるユーザインターフェースを実現することが可能になる。その際、位置検出システムによる検出情報の処理及び表示装置に表示する表示画像（画像データ）の処理や制御等を情報処理装置により行うことができる。

３．光学式位置検出装置の構成例
図１６に、本実施形態の光学式位置検出装置１００を用いた光学式検出システムの基本的な構成例を示す。図１６の光学式位置検出装置１００は、検出部２００、処理部３００、照射部ＥＵ及び受光部ＲＵを含む。なお、本実施形態の光学式検出システムは図１６の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。

なお、光学式検出システムは、上述したように検出部２００や処理部３００を含む光学式位置検出装置１００として実現される形態には限定されない。情報処理装置（例えばＰＣ等）により、検出部２００や処理部３００の機能が実現され、照射部ＥＵ及び受光部ＲＵと、上記情報処理装置とが連動して動作することにより、光学式検出システムが実現されてもよい。

検出部２００は、照射光ＬＴが対象物ＯＢにより反射することによる反射光ＬＲの受光結果に基づいて、対象物ＯＢの対象物情報（例えば、座標情報や反射率情報）を検出する。具体的には例えば、検出部２００は、対象物ＯＢが検出されるエリアである検出エリアＲＤＥＴがＸ−Ｙ平面に沿ったエリアである場合に、少なくとも検出エリアＲＤＥＴに存在する対象物ＯＢのＸ座標情報及びＹ座標情報を検出する。なお、検出部２００による座標情報の検出手法については、後述する。また、具体的には対象物ＯＢの反射率に関する情報である反射率情報を検出する。

検出エリアＲＤＥＴとは、対象物ＯＢが検出されるエリア（領域）であって、具体的には、例えば照射光ＬＴが対象物ＯＢに反射されることによる反射光ＬＲを、受光部ＲＵが受光して、対象物ＯＢを検出することができるエリアである。より具体的には、受光部ＲＵが反射光ＬＲを受光して対象物ＯＢを検出することが可能であって、かつ、その検出精度について、許容できる範囲の精度が確保できるエリアである。

処理部３００は、検出部２００が検出した対象物情報に基づいて種々の処理を行う。

照射部ＥＵは、検出エリアＲＤＥＴに対して照射光ＬＴを出射する。後述するように、照射部ＥＵは、ＬＥＤ（発光ダイオード）等の発光素子から成る光源部を含み、光源部が発光することで、例えば赤外光（可視光領域に近い近赤外線）を出射する。

受光部ＲＵは、照射光ＬＴが対象物ＯＢにより反射することによる反射光ＬＲを受光する。受光部ＲＵは、複数の受光ユニットＰＤを含んでもよい。受光ユニットＰＤは、例えばフォトダイオードやフォトトランジスターなどを用いることができる。

図１７に、本実施形態の受光部ＲＵの具体的な構成例を示す。図１７の構成例では、受光部ＲＵは受光ユニットＰＤを含む。受光ユニットＰＤは、入射光が入射する角度（Ｙ−Ｚ平面上の角度）を制限するためのスリット等（入射光制限部）が設けられ、検出エリアＲＤＥＴに存在する対象物ＯＢからの反射光ＬＲを受光する。検出部２００は、受光ユニットＰＤの受光結果に基づいて、Ｘ座標情報及びＹ座標情報を検出する。なお、照射部ＥＵは、検出エリアＲＤＥＴに対して照射光ＬＴを出射する。また検出エリアＲＤＥＴは、Ｘ−Ｙ平面に沿ったエリアである。なお、図１７の構成例は１つの受光ユニットで構成されるが、２つ以上の受光ユニットを含む構成としてもよい。

図１８（Ａ）、図１８（Ｂ）に、スリットＳＬＴ（入射光制限部）を有する受光ユニットＰＤの構成例を示す。図１８（Ａ）に示すように、受光素子ＰＨＤの前面にスリットＳＬＴを設けて、入射する入射光を制限する。スリットＳＬＴはＸ−Ｙ平面に沿って設けられ、入射光が入射するＺ方向の角度を制限することができる。すなわち受光ユニットＰＤは、スリットＳＬＴのスリット幅で規定される所定の角度で入射する入射光を受光することができる。

図１８（Ｂ）は、スリットＳＬＴを有する受光ユニットの上から見た平面図である。例えばアルミニウム等の筐体（ケース）内に配線基板ＰＷＢが設けられ、この配線基板ＰＷＢ上に受光素子ＰＨＤが実装される。

図１９に、本実施形態の照射部ＥＵの詳細な構成例を示す。図１９の構成例の照射部ＥＵは、光源部ＬＳ１、ＬＳ２と、ライトガイドＬＧと、照射方向設定部ＬＥを含む。また反射シートＲＳを含む。そして照射方向設定部ＬＥは光学シートＰＳ及びルーバーフィルムＬＦを含む。なお、本実施形態の照射部ＥＵは、図１９の構成に限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の変形実施が可能である。

光源部ＬＳ１、ＬＳ２は、光源光を出射するものであり、ＬＥＤ（発光ダイオード）等の発光素子を有する。この光源部ＬＳ１、ＬＳ２は例えば赤外光（可視光領域に近い近赤外線）の光源光を放出する。即ち、光源部ＬＳ１、ＬＳ２が発光する光源光は、ユーザーの指やタッチペン等の対象物により効率的に反射される波長帯域の光や、外乱光となる環境光にあまり含まれない波長帯域の光であることが望ましい。具体的には、人体の表面での反射率が高い波長帯域の光である８５０ｎｍ付近の波長の赤外光や、環境光にあまり含まれない波長帯域の光である９５０ｎｍ付近の赤外光などである。

光源部ＬＳ１は、図１９のＦ１に示すようライトガイドＬＧの一端側に設けられる。また第２の光源部ＬＳ２は、Ｆ２に示すようにライトガイドＬＧの他端側に設けられる。そして光源部ＬＳ１が、ライトガイドＬＧの一端側（Ｆ１）の光入射面に対して光源光を出射することで、照射光ＬＴ１を出射し、第１の照射光強度分布ＬＩＤ１を対象物の検出エリアに形成（設定）する。一方、光源部ＬＳ２が、ライトガイドＬＧの他端側（Ｆ２）の光入射面に対して第２の光源光を出射することで、第２の照射光ＬＴ２を出射し、第１の照射光強度分布ＬＩＤ１とは強度分布が異なる第２の照射光強度分布ＬＩＤ２を検出エリアに形成する。このように照射部ＥＵは、検出エリアＲＤＥＴでの位置に応じて強度分布が異なる照射光を出射することができる。

ライトガイドＬＧ（導光部材）は、光源部ＬＳ１、ＬＳ２が発光した光源光を導光するものである。例えばライトガイドＬＧは、光源部ＬＳ１、ＬＳ２からの光源光を曲線状の導光経路に沿って導光し、その形状は曲線形状になっている。具体的には図１９ではライトガイドＬＧは円弧形状になっている。なお図１９ではライトガイドＬＧはその中心角が１８０度の円弧形状になっているが、中心角が１８０度よりも小さい円弧形状であってもよい。ライトガイドＬＧは、例えばアクリル樹脂やポリカーボネートなどの透明な樹脂部材等により形成される。

ライトガイドＬＧの外周側及び内周側の少なくとも一方には、ライトガイドＬＧからの光源光の出光効率を調整するための加工が施されている。加工手法としては、例えば反射ドットを印刷するシルク印刷方式や、スタンパーやインジェクションで凹凸を付ける成型方式や、溝加工方式などの種々の手法を採用できる。

プリズムシートＰＳとルーバーフィルムＬＦにより実現される照射方向設定部ＬＥは、ライトガイドＬＧの外周側に設けられ、ライトガイドＬＧの外周側（外周面）から出射される光源光を受ける。そして曲線形状（円弧形状）のライトガイドＬＧの内周側から外周側へと向かう方向に照射方向が設定された照射光ＬＴ１、ＬＴ２を出射する。即ち、ライトガイドＬＧの外周側から出射される光源光の方向を、ライトガイドＬＧの例えば法線方向（半径方向）に沿った照射方向に設定（規制）する。これにより、ライトガイドＬＧの内周側から外周側に向かう方向に、照射光ＬＴ１、ＬＴ２が放射状に出射されるようになる。

このような照射光ＬＴ１、ＬＴ２の照射方向の設定は、照射方向設定部ＬＥのプリズムシートＰＳやルーバーフィルムＬＦなどにより実現される。例えばプリズムシートＰＳは、ライトガイドＬＧの外周側から低視角で出射される光源光の方向を、法線方向側に立ち上げて、出光特性のピークが法線方向になるように設定する。またルーバーフィルムＬＦは、法線方向以外の方向の光（低視角光）を遮光（カット）する。

このように本実施形態の照射部ＥＵによれば、ライトガイドＬＧの両端に光源部ＬＳ１、ＬＳ２を設け、これらの光源部ＬＳ１、ＬＳ２を交互に点灯させることで、２つの照射光強度分布を形成することができる。すなわちライトガイドＬＧの一端側の強度が高くなる照射光強度分布ＬＩＤ１と、ライトガイドＬＧの他端側の強度が高くなる照射光強度分布ＬＩＤ２を交互に形成することができる。

このような照射光強度分布ＬＩＤ１、ＬＩＤ２を形成し、これらの強度分布の照射光による対象物の反射光を受光することで、環境光などの外乱光の影響を最小限に抑えた、より精度の高い対象物の検出が可能になる。即ち、外乱光に含まれる赤外成分を相殺することが可能になり、この赤外成分が対象物の検出に及ぼす悪影響を最小限に抑えることが可能になる。

４．光学式位置検出装置による座標検出手法
図２０（Ａ）、図２０（Ｂ）は、本実施形態の光学式位置検出装置１００による座標情報検出の手法を説明する図である。

図２０（Ａ）のＥ１は、図１９の照射光強度分布ＬＩＤ１において、照射光ＬＴ１の照射方向の角度と、その角度での照射光ＬＴ１の強度との関係を示す図である。図２０（Ａ）のＥ１では、照射方向が図２０（Ｂ）のＤＤ１の方向（左方向）である場合に強度が最も高くなる。一方、ＤＤ３の方向（右方向）である場合に強度が最も低くなり、ＤＤ２の方向ではその中間の強度になる。具体的には方向ＤＤ１から方向ＤＤ３への角度変化に対して照射光の強度は単調減少しており、例えばリニア（直線的）に変化している。なお図２０（Ｂ）では、ライトガイドＬＧの円弧形状の中心位置が、照射部ＥＵの配置位置ＰＥになっている。

また図２０（Ａ）のＥ２は、図１９の照射光強度分布ＬＩＤ２において、照射光ＬＴ２の照射方向の角度と、その角度での照射光ＬＴ２の強度との関係を示す図である。図２０（Ａ）のＥ２では、照射方向が図２０（Ｂ）のＤＤ３の方向である場合に強度が最も高くなる。一方、ＤＤ１の方向である場合に強度が最も低くなり、ＤＤ２の方向ではその中間の強度になる。具体的には方向ＤＤ３から方向ＤＤ１への角度変化に対して照射光の強度は単調減少しており、例えばリニアに変化している。なお図２０（Ａ）では照射方向の角度と強度の関係はリニアな関係になっているが、本実施形態はこれに限定されず、例えば双曲線の関係等であってもよい。

そして図２０（Ｂ）に示すように、角度θの方向ＤＤＢに対象物ＯＢが存在したとする。すると、光源部ＬＳ１が発光することで照射光強度分布ＬＩＤ１を形成した場合（Ｅ１の場合）には、図２０（Ａ）に示すように、ＤＤＢ（角度θ）の方向に存在する対象物ＯＢの位置での強度はＩＮＴａになる。一方、光源部ＬＳ２が発光することで照射光強度分布ＬＩＤ２を形成した場合（Ｅ２の場合）には、ＤＤＢの方向に存在する対象物ＯＢの位置での強度はＩＮＴｂになる。

従って、これらの強度ＩＮＴａ、ＩＮＴｂの関係を求めることで、対象物ＯＢの位置する方向ＤＤＢ（角度θ）を特定できる。そして例えば後述する図２１（Ａ）、図２１（Ｂ）の手法により光学式位置検出装置の配置位置ＰＥからの対象物ＯＢの距離を求めれば、求められた距離と方向ＤＤＢとに基づいて対象物ＯＢの位置を特定できる。或いは、後述する図２２に示すように、照射部ＥＵとして２個の照射ユニットＥＵ１、ＥＵ２を設け、ＥＵ１、ＥＵ２の各照射ユニットに対する対象物ＯＢの方向ＤＤＢ１（θ１）、ＤＤＢ２（θ２）を求めれば、これらの方向ＤＤＢ１、ＤＤＢ２と照射ユニットＥＵ１、ＥＵ２間の距離ＤＳとにより、対象物ＯＢの位置を特定できる。

このような強度ＩＮＴａ、ＩＮＴｂの関係を求めるために、本実施形態では、受光部ＲＵが、照射光強度分布ＬＩＤ１を形成した際の対象物ＯＢの反射光（第１の反射光）を受光する。この時の反射光の検出受光量をＧａとした場合に、このＧａが強度ＩＮＴａに対応するようになる。また受光部ＲＵが、照射光強度分布ＬＩＤ２を形成した際の対象物ＯＢの反射光（第２の反射光）を受光する。この時の反射光の検出受光量をＧｂとした場合に、このＧｂが強度ＩＮＴｂに対応するようになる。従って、検出受光量ＧａとＧｂの関係が求まれば、強度ＩＮＴａ、ＩＮＴｂの関係が求まり、対象物ＯＢの位置する方向ＤＤＢを求めることができる。

例えば光源部ＬＳ１の制御量（例えば電流量）、変換係数、放出光量を、各々、Ｉａ、ｋ、Ｅａとする。また光源部ＬＳ２の制御量（電流量）、変換係数、放出光量を、各々、Ｉｂ、ｋ、Ｅｂとする。すると下式（４）、（５）が成立する。

Ｅａ＝ｋ・Ｉａ （４）
Ｅｂ＝ｋ・Ｉｂ （５）
また光源部ＬＳ１からの光源光（第１の光源光）の減衰係数をｆａとし、この光源光に対応する反射光（第１の反射光）の検出受光量をＧａとする。また光源部ＬＳ２からの光源光（第２の光源光）の減衰係数をｆｂとし、この光源光に対応する反射光（第２の反射光）の検出受光量をＧｂとする。すると下式（６）、（７）が成立する。

Ｇａ＝ｆａ・Ｅａ＝ｆａ・ｋ・Ｉａ （６）
Ｇｂ＝ｆｂ・Ｅｂ＝ｆｂ・ｋ・Ｉｂ （７）
従って、検出受光量Ｇａ、Ｇｂの比は下式（８）のように表せる。

Ｇａ／Ｇｂ＝（ｆａ／ｆｂ）・（Ｉａ／Ｉｂ） （８）
ここでＧａ／Ｇｂは、受光部ＲＵでの受光結果から特定することができ、Ｉａ／Ｉｂは、照射部ＥＵの制御量から特定することができる。そして図２０（Ａ）の強度ＩＮＴａ、ＩＮＴｂと減衰係数ｆａ、ｆｂとは一意の関係にある。例えば減衰係数ｆａ、ｆｂが小さな値となり、減衰量が大きい場合は、強度ＩＮＴａ、ＩＮＴｂが小さいことを意味する。一方、減衰係数ｆａ、ｆｂが大きな値となり、減衰量が小さい場合は、強度ＩＮＴａ、ＩＮＴｂが大きいことを意味する。従って、上式（８）から減衰率の比ｆａ／ｆｂを求めることで、対象物の方向、位置等を求めることが可能になる。

より具体的には、一方の制御量ＩａをＩｍに固定し、検出受光量の比Ｇａ／Ｇｂが１になるように、他方の制御量Ｉｂを制御する。例えば光源部ＬＳ１、ＬＳ２を逆相で交互に点灯させる制御を行い、検出受光量の波形を解析し、検出波形が観測されなくなるように（Ｇａ／Ｇｂ＝１になるように）、他方の制御量Ｉｂを制御する。そして、この時の他方の制御量Ｉｂ＝Ｉｍ・（ｆａ／ｆｂ）から、減衰係数の比ｆａ／ｆｂを求めて、対象物の方向、位置等を求める。

また下式（９）、（１０）のように、Ｇａ／Ｇｂ＝１になると共に制御量ＩａとＩｂの和が一定になるように制御してもよい。

Ｇａ／Ｇｂ＝１ （９）
Ｉｍ＝Ｉａ＋Ｉｂ （１０）
上式（９）、（１０）を上式（８）に代入すると下式（１１）が成立する。

Ｇａ／Ｇｂ＝１＝（ｆａ／ｆｂ）・（Ｉａ／Ｉｂ）
＝（ｆａ／ｆｂ）・{（Ｉｍ−Ｉｂ）／Ｉｂ} （１１）
上式（１１）より、Ｉｂは下式（１２）のように表される。

Ｉｂ＝{ｆａ／（ｆａ＋ｆｂ）}・Ｉｍ （１２）
ここでα＝ｆａ／（ｆａ＋ｆｂ）とおくと、上式（１２）は下式（１３）のように表され、減衰係数の比ｆａ／ｆｂは、αを用いて下式（１４）のように表される。

Ｉｂ＝α・Ｉｍ （１３）
ｆａ／ｆｂ＝α／（１−α） （１４）
従って、Ｇａ／Ｇｂ＝１になると共にＩａとＩｂの和が一定値Ｉｍになるように制御すれば、そのときのＩｂ、Ｉｍから上式（１３）によりαを求め、求められたαを上式（１４）に代入することで、減衰係数の比ｆａ／ｆｂを求めることができる。これにより、対象物の方向、位置等を求めることが可能になる。そしてＧａ／Ｇｂ＝１になると共にＩａとＩｂの和が一定になるように制御することで、外乱光の影響等を相殺することが可能になり、検出精度の向上を図れる。

次に本実施形態の光学式検出システムを用いて対象物の座標情報を検出する手法の一例について説明する。図２１（Ａ）は、光源部ＬＳ１、ＬＳ２の発光制御についての信号波形例である。信号ＳＬＳ１は、光源部ＬＳ１の発光制御信号であり、信号ＳＬＳ２は、光源部ＬＳ２の発光制御信号であり、これらの信号ＳＬＳ１、ＳＬＳ２は逆相の信号になっている。また信号ＳＲＣは受光信号である。

例えば光源部ＬＳ１は、信号ＳＬＳ１がＨレベルの場合に点灯（発光）し、Ｌレベルの場合に消灯する。また光源部ＬＳ２は、信号ＳＬＳ２がＨレベルの場合に点灯（発光）し、Ｌレベルの場合に消灯する。従って図２１（Ａ）の第１の期間Ｔ１では、光源部ＬＳ１と光源部ＬＳ２が交互に点灯するようになる。即ち光源部ＬＳ１が点灯している期間では、光源部ＬＳ２は消灯する。これにより図１９に示すような照射光強度分布ＬＩＤ１が形成される。一方、光源部ＬＳ２が点灯している期間では、光源部ＬＳ１は消灯する。これにより図１９に示すような照射光強度分布ＬＩＤ２が形成される。

このように検出部２００は、第１の期間Ｔ１において、光源部ＬＳ１と光源部ＬＳ２を交互に発光（点灯）させる制御を行う。そしてこの第１の期間Ｔ１において、光学式位置検出装置（照射部）から見た対象物の位置する方向が検出される。具体的には、例えば上述した式（９）、（１０）のようにＧａ／Ｇｂ＝１になると共に制御量ＩａとＩｂの和が一定になるような発光制御を、第１の期間Ｔ１において行う。そして図２０（Ｂ）に示すように対象物ＯＢの位置する方向ＤＤＢを求める。例えば上式（１３）、（１４）から減衰係数の比ｆａ／ｆｂを求め、図２０（Ａ）、図２０（Ｂ）で説明した手法により対象物ＯＢの位置する方向ＤＤＢを求める。

そして第１の期間Ｔ１に続く第２の期間Ｔ２では、受光部ＲＵでの受光結果に基づいて対象物ＯＢまでの距離（方向ＤＤＢに沿った方向での距離）を検出する。そして、検出された距離と、対象物ＯＢの方向ＤＤＢとに基づいて、対象物の位置を検出する。即ち図２０（Ｂ）において、光学式位置検出装置の配置位置ＰＥから対象物ＯＢまでの距離と、対象物ＯＢの位置する方向ＤＤＢを求めれば、対象物ＯＢのＸ、Ｙ座標位置を特定できる。このように、光源の点灯タイミングと受光タイミングの時間のずれから距離を求め、これと角度結果を併せることで、対象物ＯＢの位置を特定できる。

具体的には図２１（Ａ）では、発光制御信号ＳＬＳ１、ＳＬＳ２による光源部ＬＳ１、ＬＳ２の発光タイミングから、受光信号ＳＲＣがアクティブになるタイミング（反射光を受光したタイミング）までの時間Δｔを検出する。即ち、光源部ＬＳ１、ＬＳ２からの光が対象物ＯＢに反射されて受光部ＲＵで受光されるまでの時間Δｔを検出する。この時間Δｔを検出することで、光の速度は既知であるため、対象物ＯＢまでの距離を検出できる。即ち、光の到達時間のずれ幅（時間）を測定し、光の速度から距離を求める。

なお、光の速度はかなり速いため、電気信号だけでは単純な差分を求めて時間Δｔを検出することが難しいという問題もある。このような問題を解決するためには、図２１（Ｂ）に示すように発光制御信号の変調を行うことが望ましい。ここで図２１（Ｂ）は、制御信号ＳＬＳ１、ＳＬＳ２の振幅により光の強度（電流量）を模式的に表している模式的な信号波形例である。

具体的には図２１（Ｂ）では、例えば公知の連続波変調のＴＯＦ（Time Of Flight）方式で距離を検出する。この連続波変調ＴＯＦ方式では、一定周期の連続波で強度変調した連続光を用いる。そして、強度変調された光を照射すると共に、反射光を、変調周期よりも短い時間間隔で複数回受光することで、反射光の波形を復調し、照射光と反射光との位相差を求めることで、距離を検出する。なお図２１（Ｂ）において制御信号ＳＬＳ１、ＳＬＳ２のいずれか一方に対応する光のみを強度変調してもよい。また図２１（Ｂ）のようなクロック波形ではなく、連続的な三角波やＳｉｎ波で変調した波形であってもよい。また、連続変調した光としてパルス光を用いるパルス変調のＴＯＦ方式で、距離を検出してもよい。距離検出手法の詳細については例えば特開２００９−８５３７号などに開示されている。

図２２に、本実施形態の照射部ＥＵの変形例を示す。図２２では、照射部ＥＵとして第１、第２の照射ユニットＥＵ１、ＥＵ２が設けられる。これらの第１、第２の照射ユニットＥＵ１、ＥＵ２は、対象物ＯＢの検出エリアＲＤＥＴの面に沿った方向において所与の距離ＤＳだけ離れて配置される。即ち図１６のＸ軸方向に沿って距離ＤＳだけ離れて配置される。

第１の照射ユニットＥＵ１は、照射方向に応じて強度が異なる第１の照射光を放射状に出射する。第２の照射ユニットＥＵ２は、照射方向に応じて強度が異なる第２の照射光を放射状に出射する。受光部ＲＵは、第１の照射ユニットＥＵ１からの第１の照射光が対象物ＯＢに反射されることによる第１の反射光と、第２の照射ユニットＥＵ２からの第２の照射光が対象物ＯＢに反射されることによる第２の反射光を受光する。そして検出部２００は、受光部ＲＵでの受光結果に基づいて、対象物ＯＢの位置ＰＯＢを検出する。

具体的には検出部２００は、第１の反射光の受光結果に基づいて、第１の照射ユニットＥＵ１に対する対象物ＯＢの方向を第１の方向ＤＤＢ１（角度θ１）として検出する。また第２の反射光の受光結果に基づいて、第２の照射ユニットＥＵ２に対する対象物ＯＢの方向を第２の方向ＤＤＢ２（角度θ２）として検出する。そして検出された第１の方向ＤＤＢ１（θ１）及び第２の方向ＤＤＢ２（θ２）と、第１、第２の照射ユニットＥＵ１、ＥＵ２の間の距離ＤＳとに基づいて、対象物ＯＢの位置ＰＯＢを求める。

図２２の変形例によれば、図２１（Ａ）、図２１（Ｂ）のように光学式位置検出装置と対象物ＯＢとの距離を求めなくても、対象物ＯＢの位置ＰＯＢを検出できるようになる。

なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また撮像装置、光学式位置検出装置等の構成、動作も本実施形態で説明したものに限定されず、種々の変形実施が可能である。

１０ 表示装置、２０ 対象面、３０ 情報処理装置、１００ 光学式位置検出装置、２００ 検出部、３００ 処理部、４００ 位置検出システム、４１０ 座標情報取得部、４２０ 撮像画像取得部、４３０ 座標演算部、４３１ 特定情報取得部、４３３ 補正部、４３５ 座標変換部、５００ 撮像部、ＥＵ 照射部、ＦＩ 赤外線光学フィルター、ＩＭ 撮像素子、ＬＥ レンズ部、ＬＦ ルーバーフィルム、ＬＧ ライトガイド、ＯＢ 対象物、ＰＤ 受光ユニット、ＰＨＤ 受光素子、ＰＲ 投写型表示装置、ＰＳ プリズムシート、ＰＳ 光学シート、ＲＤＥＴ 検出エリア、ＲＳ 反射シート、ＲＵ 受光部、ＳＬＴ スリット。

Claims (10)

1. 赤外光の周波数帯域の画像である撮像画像を撮像する撮像部と、
   前記撮像画像に基づいて、対象面に設定された検出エリアでの対象物の座標情報を求める座標演算部と、
   を含み、
   前記対象面に沿って設定される座標軸をＸ軸及び前記Ｘ軸に直交するＹ軸とし、前記Ｘ軸及び前記Ｙ軸に直交する座標軸をＺ軸としたとき、
   前記座標演算部は、前記撮像画像の情報から得られる奥行き特定情報に基づいて、前記対象物の前記検出エリアでのＺ座標情報を求め、かつ、
   前記座標演算部は、カメラ座標系でのＸ座標情報に対し、前記Ｚ座標情報に基づいて補正処理を行って、前記対象物の前記検出エリアでのＸ座標情報を求めることと、前記カメラ座標系でのＹ座標情報に対し、前記Ｚ座標情報に基づいて補正処理を行って、前記対象物の前記検出エリアでのＹ座標情報を求めることのうち、少なくとも一方を行うことを特徴とする位置検出システム。
2. 請求項１において、
   前記検出エリアには、赤外光の周波数帯域の照射光が出射されることを特徴とする位置検出システム。
3. 請求項２において、
   前記対象面の裏側から表側へ向かう方向をＺ軸正方向とし、
   Ｚ１をＺ１≧０、Ｚ２をＺ２＞Ｚ１を満たす値とした場合に、
   前記照射光は、
   Ｚ１≦Ｚ≦Ｚ２を満たすＺ座標範囲に出射されることを特徴とする位置検出システム。
4. 請求項１乃至３のいずれかにおいて、
   前記撮像部は、
   レンズ部及び光学フィルターを有する光学系と、撮像素子を有し、
   前記光学フィルターは、
   可視光の周波数帯域を非通過とし、赤外光の周波数帯域を通過するフィルター特性を有することを特徴とする位置検出システム。
5. 請求項１乃至４のいずれかにおいて、
   前記撮像部の光軸と前記対象面とが斜め方向に交差する場合に、
   前記座標演算部は、
   前記カメラ座標系における座標情報に対して所定の座標変換処理を行うことで、前記検出エリアでの前記Ｘ座標情報及び前記Ｙ座標情報を求めることを特徴とする位置検出システム。
6. 請求項１乃至５のいずれかにおいて、
   前記撮像部は、
   複数のカメラを有し、
   前記座標演算部は、
   前記複数のカメラから取得された複数の撮像画像情報の視差情報に基づいて得られた前記奥行き特定情報により、前記検出エリアでの前記Ｚ座標情報を求めることを特徴とする位置検出システム。
7. 請求項１乃至５のいずれかにおいて、
   前記撮像部は、
   デプスカメラを有し、
   前記座標演算部は、
   前記デプスカメラにより得られた前記奥行き特定情報に基づいて、前記検出エリアでの前記Ｚ座標情報を求めることを特徴とする位置検出システム。
8. 請求項１において、
   前記撮像部の光軸と前記対象面とが斜め方向に交差することを特徴とする位置検出システム。
9. 請求項１乃至８のいずれかに記載の位置検出システムと、
   画像を表示する表示装置と、
   を含むことを特徴とする表示システム。
10. 請求項１乃至８のいずれかに記載の位置検出システムと、
    前記位置検出システムからの検出情報に基づいて処理を行う情報処理装置と、
    前記情報処理装置からの画像データに基づいて画像の表示を行う表示装置と、
    を含むことを特徴する情報処理システム。