JP5672018B2 - 位置検出システム、表示システム及び情報処理システム - Google Patents

Description

本発明は、位置検出システム、表示システム及び情報処理システム等に関する。

赤外光を照射して、対象物からの反射を検知する近接センサではＸ、Ｙ座標の特定が困
難である。また、ＣＣＤなどの撮像素子で検知するシステムは安価でない。特許文献１で
は、レンズ群を配置した光学系を工夫することでＬＥＤ光を用いた座標入力、位置検出手
法を提案しているが、構成部品が多いためコスト面で優位性がなく、さらに位置検出精度
が低い。

特開２００１−１４２６４３号公報

本発明の幾つかの態様によれば、光学式位置検出装置と撮像装置を併用することで、高
精度な位置検出を実用的なコスト及び処理時間で実現可能な位置検出システム、表示シス
テム及び情報処理システム等を提供することができる。

本発明の一態様は、光学式位置検出装置により、対象物に対して照射光を出射し前記対
象物からの反射光を受光することで検出される前記対象物の初期座標情報を取得する座標
情報取得部と、撮像部から撮像画像を取得する撮像画像取得部と、前記撮像画像取得部で
取得された前記撮像画像のうち、前記初期座標情報により特定され、かつ、前記撮像画像
よりも狭い範囲の画像に対して処理を行って、前記対象物の最終座標情報を求める座標演
算部と、を含む位置検出システムに関係する。

本発明の一態様では、光学式位置検出装置により初期座標情報を取得し、取得した初期
座標情報により特定され、かつ、撮像画像よりも狭い範囲の画像に対して座標演算処理を
行い、最終座標情報を取得する。よって、光学式位置検出装置により狭い範囲に限定した
上で画像処理による位置検出を行うため、コストや処理時間の面で実用的なシステムを構
築すること等が可能になる。

また、本発明の一態様では、前記座標演算部は、前記最終座標情報として、対象面に対
して設定される検出エリアでのＸ座標情報及びＹ座標情報を求めてもよい。

これにより、検出エリアでの座標系におけるＸ座標情報及びＹ座標情報を最終座標情報
として求めることが可能になる。

また、本発明の一態様では、前記撮像部の光軸と前記対象面とが斜め方向に交差する場
合に、前記座標演算部は、前記撮像部に対して設定されるカメラ座標系における座標情報
に対して所定の座標変換処理を行うことで、前記検出エリアでのＸ座標情報及びＹ座標情
報を求めてもよい。

これにより、斜め方向から対象面を撮像することにより生じる画像の歪みを、座標変換
処理により補正すること等が可能になる。

また、本発明の一態様では、前記対象面において、複数のキャリブレーションポイント
が設定される場合に、前記座標演算部は、前記キャリブレーションポイントと、前記キャ
リブレーションポイントに対応するカメラ座標系における対応キャリブレーションポイン
トとの関係を、キャリブレーション情報として取得し、前記座標演算部は、取得した前記
キャリブレーション情報に基づいて前記座標変換処理を行ってもよい。

これにより、複数のキャリブレーションポイントと、それに対応する対応キャリブレー
ションポイントとの関係から座標変換処理を行うこと等が可能になる。

また、本発明の一態様では、前記座標演算部は、前記撮像画像の情報から得られるカメ
ラ座標系での奥行き特定情報に基づいて、前記対象物の前記検出エリアでのＺ座標情報を
求めてもよい。

これにより、撮像画像から奥行き特定情報を取得し、取得した奥行き特定情報に基づい
て検出エリアでの座標系におけるＺ座標情報を求めることができる。よって、対象物が対
象面に触れているか否かの判定を行うこと等が可能になる。

また、本発明の一態様では、前記撮像部は、複数のカメラを有し、前記座標演算部は、
前記複数のカメラから取得された複数の撮像画像の視差情報に基づいて得られた奥行き特
定情報により、前記検出エリアでの前記Ｚ座標を求めてもよい。

これにより、複数のカメラにより複数の撮像画像を取得し、取得した複数の撮像画像の
視差情報に基づいて奥行き特定情報を取得すること等が可能になる。

また、本発明の一態様では、前記撮像部は、デプスカメラを有し、前記座標演算部は、
前記デプスカメラにより得られた前記奥行き特定情報に基づいて、前記検出エリアでの前
記Ｚ座標を求めてもよい。

これにより、２眼等の複数のカメラを有する撮像装置を用いずに、奥行き特定情報を取
得すること等が可能になる。

また、本発明の一態様では、前記座標演算部は、前記カメラ座標系での前記奥行き特定
情報に基づいて、前記検出エリアでの前記Ｘ座標情報及び前記Ｙ座標情報の少なくとも一
方の補正処理を行ってもよい。

これにより、奥行き特定情報、或いは奥行き特定情報により求められる検出エリアでの
Ｚ座標情報に基づいて、検出エリアでのＸ座標情報及びＹ座標情報の少なくとも一方の補
正処理を行うことが可能になる。よって、対象物が対象面に対して浮いている状況でのず
れを補正すること等ができる。

また、本発明の一態様では、前記座標演算部は、前記対象物の前記Ｚ座標情報により表
される値Ｚが、Ｚ＞０の場合に前記補正処理を行ってもよい。

これにより、対象物が対象面に対して浮いている状況でのＸ座標情報又はＹ座標情報の
真の値からのずれを補正することが可能になる。

また、本発明の一態様では、前記座標演算部は、前記対象物の前記Ｚ座標情報により表
される値Ｚが０の場合に前記補正処理をスキップしてもよい。

これにより、対象物が対象面に触れている状況では、不要な補正処理をスキップし処理
負荷の軽減を図ることが可能になる。

また、本発明の一態様では、前記光学式位置検出装置は、前記照射光を出射する出射部
と、前記照射光が前記対象物に反射することによる前記反射光を受光する受光部と、前記
受光部での受光結果に基づいて前記対象物の前記初期座標情報を検出する検出部と、を含
んでもよい。

これにより、光学式位置検出装置として、出射部、受光部及び検出部を有する構成を用
いることが可能になる。

また、本発明の一態様では、前記出射部は、前記照射光として赤外光を出射し、前記撮
像部は、前記撮像画像として、赤外帯域の画像である赤外光帯域画像を撮像し、前記座標
演算部は、前記赤外光帯域画像に対して処理を行って、前記対象物の前記最終座標情報を
求めてもよい。

これにより、光学式位置検出装置の出射部で光学式な位置検出のために赤外光を出射す
るとともに、該赤外光を画像処理による位置検出においても用いることが可能になる。よ
って、出射部をそれぞれに設ける必要がなくなりシステムの構成を簡単化できる。

また、本発明の他の態様は、上述の位置検出システムと、画像を表示する表示装置と、
を含む表示システムに関係する。

また、本発明の他の態様は、上述の位置検出システムと、前記位置検出システムからの
検出情報に基づいて処理を行う情報処理装置と、前記情報処理装置からの画像データに基
づいて画像の表示を行う表示装置と、を含む情報処理システムに関係する。

本実施形態の光学式位置検出装置の構成例。 受光部の構成例。 図３（Ａ）、図３（Ｂ）は受光ユニットの構成例。 照射部の構成例。 図５（Ａ）、図５（Ｂ）は座標情報検出手法を説明する図。 図６（Ａ）、図６（Ｂ）は発光制御信号の信号波形例。 照射部の他の構成例。 本実施形態の位置検出システムの構成例。 投写型表示装置を用いた本実施形態の位置検出システムの具体例。 図１０（Ａ）、図１０（Ｂ）は複数のカメラにより取得される視差情報を含む撮像画像の例。 光学式位置検出装置による画像処理の対象範囲の限定を説明する図。 図１２（Ａ）は対象物が対象面に対して浮いている例、図１２（Ｂ）は対象物が対象面に接している例。 図１３（Ａ）は斜め方向からの撮像により画像が歪む例、図１３（Ｂ）は座標変換により歪みを補正した例。 撮像部に対して設定される座標系と対象面に対して設定される座標系を説明する図。 一般的な射影変換を説明する図。 本実施形態の情報処理システムの構成例。

以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の
範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明さ
れる構成の全てが、本発明の必須構成要件であるとは限らない。

１．本実施形態の手法
まず、本実施形態の手法について説明する。投写型表示装置（プロジェクター、図９の
ＰＲ）により画像を対象面（図９の２０）に投射した上で、投射した画像とユーザーの用
いる対象物（オブジェクト、図９のＯＢ）の連携によりユーザインターフェースを実現す
るシステムが考えられる。このようなシステムでは、例えば画像上の任意のマークをさわ
ることにより、表示が切り替わる等の操作を行うことが考えられるため、対象物ＯＢの位
置検出手法が重要となってくる。

具体的な位置検出手法としては、対象物ＯＢにセンサ等を載せる手法や、光学式位置検
出装置を用いる手法及び撮像装置による撮像画像の画像処理を用いる手法等が考えられる
。しかしながら、対象物ＯＢにセンサ等を搭載する場合には、専用のオブジェクトを用い
る必要が生じてしまい、指等を用いて簡単に操作を行うことができない。また、光学式位
置検出装置には精度の点で問題が残る。さらに、撮像画像による画像処理を用いる手法は
、精度は高いものの処理負荷が重く、ホワイトボードのような広い範囲を高精度（例えば
ＸＧＡやＷＸＧＡ等）で処理を行うことは現実的ではない。

また、電子黒板のようなシステムにおける位置検出装置では、文字を書く操作が行われ
ることが想定されるため、対象物が対象面に触れているか否かを高精度で判定する必要が
生じる。しかしながら、通常の撮像装置を用いた位置検出手法では、対象面２０からの浮
きを正確に判定することが困難であった。

そこで、本出願人は以下の手法を提案する。まず、光学式位置検出装置を用いて、対象
物ＯＢの概略的な位置（初期座標情報）を取得しておいて、その概略位置により特定され
る範囲に対して撮像装置による撮像画像を用いて画像処理を行う。このようにすれば、撮
像画像の演算処理量、演算処理時間を抑えることが可能になり、コスト、応答速度ともに
実用的なものにすることができる。さらに、撮像装置は、図９に示すように、２つの撮像
部（５００−１及び５００−２）を有する２眼の撮像装置を用いて奥行き特定情報を取得
する。このようにすることで、後述する図１２（Ａ）のように、対象物ＯＢが対象面２０
から浮いている場合にも、ΔＺを求めることができるため、正確な座標情報を取得するこ
とが可能になる。ただし、撮像装置は奥行き特定情報を取得できればよく、２眼の撮像装
置に限定されるものではない。

以下、まず初期座標情報を求める光学式位置検出装置の構成及び初期座標情報の検出手
法について述べる。その後、光学式位置検出装置と撮像装置を連動させた位置検出手法に
ついて説明する。具体的には、システム構成例、撮像装置の構成、初期座標情報の取得と
処理対象範囲の設定手法、最終座標情報の取得手法の順に説明していく。

２．光学式位置検出装置の構成例
図１に、本実施形態の光学式位置検出装置１００を用いた光学式検出システムの基本的
な構成例を示す。図１の光学式位置検出装置１００は、検出部２００、処理部３００、照
射部ＥＵ及び受光部ＲＵを含む。なお、本実施形態の光学式検出システムは図１の構成に
限定されず、その構成要素の一部を省略したり、他の構成要素に置き換えたり、他の構成
要素を追加するなどの種々の変形実施が可能である。

なお、光学式検出システムは、上述したように検出部２００や処理部３００を含む光学
式位置検出装置１００として実現される形態には限定されない。情報処理装置（例えばＰ
Ｃ等）により、検出部２００や処理部３００の機能が実現され、照射部ＥＵ及び受光部Ｒ
Ｕと、上記情報処理装置とが連動して動作することにより、光学式検出システムが実現さ
れてもよい。

検出部２００は、照射光ＬＴが対象物ＯＢにより反射することによる反射光ＬＲの受光
結果に基づいて、対象物ＯＢの対象物情報（例えば、座標情報や反射率情報）を検出する
。具体的には例えば、検出部２００は、対象物ＯＢが検出されるエリアである検出エリア
ＲＤＥＴがＸ−Ｙ平面に沿ったエリアである場合に、少なくとも検出エリアＲＤＥＴに存
在する対象物ＯＢのＸ座標情報及びＹ座標情報を検出する。なお、検出部２００による座
標情報の検出手法については、後述する。また、具体的には対象物ＯＢの反射率に関する
情報である反射率情報を検出する。

検出エリアＲＤＥＴとは、対象物ＯＢが検出されるエリア（領域）であって、具体的に
は、例えば照射光ＬＴが対象物ＯＢに反射されることによる反射光ＬＲを、受光部ＲＵが
受光して、対象物ＯＢを検出することができるエリアである。より具体的には、受光部Ｒ
Ｕが反射光ＬＲを受光して対象物ＯＢを検出することが可能であって、かつ、その検出精
度について、許容できる範囲の精度が確保できるエリアである。

処理部３００は、検出部２００が検出した対象物情報に基づいて種々の処理を行う。

照射部ＥＵは、検出エリアＲＤＥＴに対して照射光ＬＴを出射する。後述するように、
照射部ＥＵは、ＬＥＤ（発光ダイオード）等の発光素子から成る光源部を含み、光源部が
発光することで、例えば赤外光（可視光領域に近い近赤外線）を出射する。

受光部ＲＵは、照射光ＬＴが対象物ＯＢにより反射することによる反射光ＬＲを受光す
る。受光部ＲＵは、複数の受光ユニットＰＤを含んでもよい。受光ユニットＰＤは、例え
ばフォトダイオードやフォトトランジスターなどを用いることができる。

図２に、本実施形態の受光部ＲＵの具体的な構成例を示す。図２の構成例では、受光部
ＲＵは受光ユニットＰＤを含む。受光ユニットＰＤは、入射光が入射する角度（Ｙ−Ｚ平
面上の角度）を制限するためのスリット等（入射光制限部）が設けられ、検出エリアＲＤ
ＥＴに存在する対象物ＯＢからの反射光ＬＲを受光する。検出部２００は、受光ユニット
ＰＤの受光結果に基づいて、Ｘ座標情報及びＹ座標情報を検出する。なお、照射部ＥＵは
、検出エリアＲＤＥＴに対して照射光ＬＴを出射する。また検出エリアＲＤＥＴは、Ｘ−
Ｙ平面に沿ったエリアである。なお、図２の構成例は１つの受光ユニットで構成されるが
、２つ以上の受光ユニットを含む構成としてもよい。

図３（Ａ）、図３（Ｂ）に、スリットＳＬＴ（入射光制限部）を有する受光ユニットＰ
Ｄの構成例を示す。図３（Ａ）に示すように、受光素子ＰＨＤの前面にスリットＳＬＴを
設けて、入射する入射光を制限する。スリットＳＬＴはＸ−Ｙ平面に沿って設けられ、入
射光が入射するＺ方向の角度を制限することができる。すなわち受光ユニットＰＤは、ス
リットＳＬＴのスリット幅で規定される所定の角度で入射する入射光を受光することがで
きる。

図３（Ｂ）は、スリットＳＬＴを有する受光ユニットの上から見た平面図である。例え
ばアルミニウム等の筐体（ケース）内に配線基板ＰＷＢが設けられ、この配線基板ＰＷＢ
上に受光素子ＰＨＤが実装される。

図４に、本実施形態の照射部ＥＵの詳細な構成例を示す。図４の構成例の照射部ＥＵは
、光源部ＬＳ１、ＬＳ２と、ライトガイドＬＧと、照射方向設定部ＬＥを含む。また反射
シートＲＳを含む。そして照射方向設定部ＬＥは光学シートＰＳ及びルーバーフィルムＬ
Ｆを含む。なお、本実施形態の照射部ＥＵは、図４の構成に限定されず、その構成要素の
一部を省略したり、他の構成要素に置き換えたり、他の構成要素を追加するなどの種々の
変形実施が可能である。

光源部ＬＳ１、ＬＳ２は、光源光を出射するものであり、ＬＥＤ（発光ダイオード）等
の発光素子を有する。この光源部ＬＳ１、ＬＳ２は例えば赤外光（可視光領域に近い近赤
外線）の光源光を放出する。即ち、光源部ＬＳ１、ＬＳ２が発光する光源光は、ユーザー
の指やタッチペン等の対象物により効率的に反射される波長帯域の光や、外乱光となる環
境光にあまり含まれない波長帯域の光であることが望ましい。具体的には、人体の表面で
の反射率が高い波長帯域の光である８５０ｎｍ付近の波長の赤外光や、環境光にあまり含
まれない波長帯域の光である９５０ｎｍ付近の赤外光などである。

光源部ＬＳ１は、図４のＦ１に示すようライトガイドＬＧの一端側に設けられる。また
第２の光源部ＬＳ２は、Ｆ２に示すようにライトガイドＬＧの他端側に設けられる。そし
て光源部ＬＳ１が、ライトガイドＬＧの一端側（Ｆ１）の光入射面に対して光源光を出射
することで、照射光ＬＴ１を出射し、第１の照射光強度分布ＬＩＤ１を対象物の検出エリ
アに形成（設定）する。一方、光源部ＬＳ２が、ライトガイドＬＧの他端側（Ｆ２）の光
入射面に対して第２の光源光を出射することで、第２の照射光ＬＴ２を出射し、第１の照
射光強度分布ＬＩＤ１とは強度分布が異なる第２の照射光強度分布ＬＩＤ２を検出エリア
に形成する。このように照射部ＥＵは、検出エリアＲＤＥＴでの位置に応じて強度分布が
異なる照射光を出射することができる。

ライトガイドＬＧ（導光部材）は、光源部ＬＳ１、ＬＳ２が発光した光源光を導光する
ものである。例えばライトガイドＬＧは、光源部ＬＳ１、ＬＳ２からの光源光を曲線状の
導光経路に沿って導光し、その形状は曲線形状になっている。具体的には図４ではライト
ガイドＬＧは円弧形状になっている。なお図４ではライトガイドＬＧはその中心角が１８
０度の円弧形状になっているが、中心角が１８０度よりも小さい円弧形状であってもよい
。ライトガイドＬＧは、例えばアクリル樹脂やポリカーボネートなどの透明な樹脂部材等
により形成される。

ライトガイドＬＧの外周側及び内周側の少なくとも一方には、ライトガイドＬＧからの
光源光の出光効率を調整するための加工が施されている。加工手法としては、例えば反射
ドットを印刷するシルク印刷方式や、スタンパーやインジェクションで凹凸を付ける成型
方式や、溝加工方式などの種々の手法を採用できる。

プリズムシートＰＳとルーバーフィルムＬＦにより実現される照射方向設定部ＬＥは、
ライトガイドＬＧの外周側に設けられ、ライトガイドＬＧの外周側（外周面）から出射さ
れる光源光を受ける。そして曲線形状（円弧形状）のライトガイドＬＧの内周側から外周
側へと向かう方向に照射方向が設定された照射光ＬＴ１、ＬＴ２を出射する。即ち、ライ
トガイドＬＧの外周側から出射される光源光の方向を、ライトガイドＬＧの例えば法線方
向（半径方向）に沿った照射方向に設定（規制）する。これにより、ライトガイドＬＧの
内周側から外周側に向かう方向に、照射光ＬＴ１、ＬＴ２が放射状に出射されるようにな
る。

このような照射光ＬＴ１、ＬＴ２の照射方向の設定は、照射方向設定部ＬＥのプリズム
シートＰＳやルーバーフィルムＬＦなどにより実現される。例えばプリズムシートＰＳは
、ライトガイドＬＧの外周側から低視角で出射される光源光の方向を、法線方向側に立ち
上げて、出光特性のピークが法線方向になるように設定する。またルーバーフィルムＬＦ
は、法線方向以外の方向の光（低視角光）を遮光（カット）する。

このように本実施形態の照射部ＥＵによれば、ライトガイドＬＧの両端に光源部ＬＳ１
、ＬＳ２を設け、これらの光源部ＬＳ１、ＬＳ２を交互に点灯させることで、２つの照射
光強度分布を形成することができる。すなわちライトガイドＬＧの一端側の強度が高くな
る照射光強度分布ＬＩＤ１と、ライトガイドＬＧの他端側の強度が高くなる照射光強度分
布ＬＩＤ２を交互に形成することができる。

このような照射光強度分布ＬＩＤ１、ＬＩＤ２を形成し、これらの強度分布の照射光に
よる対象物の反射光を受光することで、環境光などの外乱光の影響を最小限に抑えた、よ
り精度の高い対象物の検出が可能になる。即ち、外乱光に含まれる赤外成分を相殺するこ
とが可能になり、この赤外成分が対象物の検出に及ぼす悪影響を最小限に抑えることが可
能になる。

３．光学式位置検出装置による座標検出手法
図５（Ａ）、図５（Ｂ）は、本実施形態の光学式位置検出装置１００による座標情報検
出の手法を説明する図である。

図５（Ａ）のＥ１は、図４の照射光強度分布ＬＩＤ１において、照射光ＬＴ１の照射方
向の角度と、その角度での照射光ＬＴ１の強度との関係を示す図である。図５（Ａ）のＥ
１では、照射方向が図５（Ｂ）のＤＤ１の方向（左方向）である場合に強度が最も高くな
る。一方、ＤＤ３の方向（右方向）である場合に強度が最も低くなり、ＤＤ２の方向では
その中間の強度になる。具体的には方向ＤＤ１から方向ＤＤ３への角度変化に対して照射
光の強度は単調減少しており、例えばリニア（直線的）に変化している。なお図５（Ｂ）
では、ライトガイドＬＧの円弧形状の中心位置が、照射部ＥＵの配置位置ＰＥになってい
る。

また図５（Ａ）のＥ２は、図４の照射光強度分布ＬＩＤ２において、照射光ＬＴ２の照
射方向の角度と、その角度での照射光ＬＴ２の強度との関係を示す図である。図５（Ａ）
のＥ２では、照射方向が図５（Ｂ）のＤＤ３の方向である場合に強度が最も高くなる。一
方、ＤＤ１の方向である場合に強度が最も低くなり、ＤＤ２の方向ではその中間の強度に
なる。具体的には方向ＤＤ３から方向ＤＤ１への角度変化に対して照射光の強度は単調減
少しており、例えばリニアに変化している。なお図５（Ａ）では照射方向の角度と強度の
関係はリニアな関係になっているが、本実施形態はこれに限定されず、例えば双曲線の関
係等であってもよい。

そして図５（Ｂ）に示すように、角度φの方向ＤＤＢに対象物ＯＢが存在したとする。
すると、光源部ＬＳ１が発光することで照射光強度分布ＬＩＤ１を形成した場合（Ｅ１の
場合）には、図５（Ａ）に示すように、ＤＤＢ（角度φ）の方向に存在する対象物ＯＢの
位置での強度はＩＮＴａになる。一方、光源部ＬＳ２が発光することで照射光強度分布Ｌ
ＩＤ２を形成した場合（Ｅ２の場合）には、ＤＤＢの方向に存在する対象物ＯＢの位置で
の強度はＩＮＴｂになる。

従って、これらの強度ＩＮＴａ、ＩＮＴｂの関係を求めることで、対象物ＯＢの位置す
る方向ＤＤＢ（角度φ）を特定できる。そして例えば後述する図６（Ａ）、図６（Ｂ）の
手法により光学式位置検出装置の配置位置ＰＥからの対象物ＯＢの距離を求めれば、求め
られた距離と方向ＤＤＢとに基づいて対象物ＯＢの位置を特定できる。或いは、後述する
図７に示すように、照射部ＥＵとして２個の照射ユニットＥＵ１、ＥＵ２を設け、ＥＵ１
、ＥＵ２の各照射ユニットに対する対象物ＯＢの方向ＤＤＢ１（φ１）、ＤＤＢ２（φ２
）を求めれば、これらの方向ＤＤＢ１、ＤＤＢ２と照射ユニットＥＵ１、ＥＵ２間の距離
ＤＳとにより、対象物ＯＢの位置を特定できる。

このような強度ＩＮＴａ、ＩＮＴｂの関係を求めるために、本実施形態では、受光部Ｒ
Ｕが、照射光強度分布ＬＩＤ１を形成した際の対象物ＯＢの反射光（第１の反射光）を受
光する。この時の反射光の検出受光量をＧａとした場合に、このＧａが強度ＩＮＴａに対
応するようになる。また受光部ＲＵが、照射光強度分布ＬＩＤ２を形成した際の対象物Ｏ
Ｂの反射光（第２の反射光）を受光する。この時の反射光の検出受光量をＧｂとした場合
に、このＧｂが強度ＩＮＴｂに対応するようになる。従って、検出受光量ＧａとＧｂの関
係が求まれば、強度ＩＮＴａ、ＩＮＴｂの関係が求まり、対象物ＯＢの位置する方向ＤＤ
Ｂを求めることができる。

例えば光源部ＬＳ１の制御量（例えば電流量）、変換係数、放出光量を、各々、Ｉａ、
ｋ、Ｅａとする。また光源部ＬＳ２の制御量（電流量）、変換係数、放出光量を、各々、
Ｉｂ、ｋ、Ｅｂとする。すると下式（１）、（２）が成立する。

Ｅａ＝ｋ・Ｉａ （１）
Ｅｂ＝ｋ・Ｉｂ （２）
また光源部ＬＳ１からの光源光（第１の光源光）の減衰係数をｆａとし、この光源光に
対応する反射光（第１の反射光）の検出受光量をＧａとする。また光源部ＬＳ２からの光
源光（第２の光源光）の減衰係数をｆｂとし、この光源光に対応する反射光（第２の反射
光）の検出受光量をＧｂとする。すると下式（３）、（４）が成立する。

Ｇａ＝ｆａ・Ｅａ＝ｆａ・ｋ・Ｉａ （３）
Ｇｂ＝ｆｂ・Ｅｂ＝ｆｂ・ｋ・Ｉｂ （４）
従って、検出受光量Ｇａ、Ｇｂの比は下式（５）のように表せる。

Ｇａ／Ｇｂ＝（ｆａ／ｆｂ）・（Ｉａ／Ｉｂ） （５）
ここでＧａ／Ｇｂは、受光部ＲＵでの受光結果から特定することができ、Ｉａ／Ｉｂは
、照射部ＥＵの制御量から特定することができる。そして図５（Ａ）の強度ＩＮＴａ、Ｉ
ＮＴｂと減衰係数ｆａ、ｆｂとは一意の関係にある。例えば減衰係数ｆａ、ｆｂが小さな
値となり、減衰量が大きい場合は、強度ＩＮＴａ、ＩＮＴｂが小さいことを意味する。一
方、減衰係数ｆａ、ｆｂが大きな値となり、減衰量が小さい場合は、強度ＩＮＴａ、ＩＮ
Ｔｂが大きいことを意味する。従って、上式（５）から減衰率の比ｆａ／ｆｂを求めるこ
とで、対象物の方向、位置等を求めることが可能になる。

より具体的には、一方の制御量ＩａをＩｍに固定し、検出受光量の比Ｇａ／Ｇｂが１に
なるように、他方の制御量Ｉｂを制御する。例えば光源部ＬＳ１、ＬＳ２を逆相で交互に
点灯させる制御を行い、検出受光量の波形を解析し、検出波形が観測されなくなるように
（Ｇａ／Ｇｂ＝１になるように）、他方の制御量Ｉｂを制御する。そして、この時の他方
の制御量Ｉｂ＝Ｉｍ・（ｆａ／ｆｂ）から、減衰係数の比ｆａ／ｆｂを求めて、対象物の
方向、位置等を求める。

また下式（６）、（７）のように、Ｇａ／Ｇｂ＝１になると共に制御量ＩａとＩｂの和
が一定になるように制御してもよい。

Ｇａ／Ｇｂ＝１ （６）
Ｉｍ＝Ｉａ＋Ｉｂ （７）
上式（６）、（７）を上式（５）に代入すると下式（８）が成立する。

Ｇａ／Ｇｂ＝１＝（ｆａ／ｆｂ）・（Ｉａ／Ｉｂ）
＝（ｆａ／ｆｂ）・{（Ｉｍ−Ｉｂ）／Ｉｂ} （８）
上式（８）より、Ｉｂは下式（９）のように表される。

Ｉｂ＝{ｆａ／（ｆａ＋ｆｂ）}・Ｉｍ （９）
ここでα＝ｆａ／（ｆａ＋ｆｂ）とおくと、上式（９）は下式（１０）のように表され
、減衰係数の比ｆａ／ｆｂは、αを用いて下式（１１）のように表される。

Ｉｂ＝α・Ｉｍ （１０）
ｆａ／ｆｂ＝α／（１−α） （１１）
従って、Ｇａ／Ｇｂ＝１になると共にＩａとＩｂの和が一定値Ｉｍになるように制御す
れば、そのときのＩｂ、Ｉｍから上式（１０）によりαを求め、求められたαを上式（１
１）に代入することで、減衰係数の比ｆａ／ｆｂを求めることができる。これにより、対
象物の方向、位置等を求めることが可能になる。そしてＧａ／Ｇｂ＝１になると共にＩａ
とＩｂの和が一定になるように制御することで、外乱光の影響等を相殺することが可能に
なり、検出精度の向上を図れる。

次に本実施形態の光学式検出システムを用いて対象物の座標情報を検出する手法の一例
について説明する。図６（Ａ）は、光源部ＬＳ１、ＬＳ２の発光制御についての信号波形
例である。信号ＳＬＳ１は、光源部ＬＳ１の発光制御信号であり、信号ＳＬＳ２は、光源
部ＬＳ２の発光制御信号であり、これらの信号ＳＬＳ１、ＳＬＳ２は逆相の信号になって
いる。また信号ＳＲＣは受光信号である。

例えば光源部ＬＳ１は、信号ＳＬＳ１がＨレベルの場合に点灯（発光）し、Ｌレベルの
場合に消灯する。また光源部ＬＳ２は、信号ＳＬＳ２がＨレベルの場合に点灯（発光）し
、Ｌレベルの場合に消灯する。従って図６（Ａ）の第１の期間Ｔ１では、光源部ＬＳ１と
光源部ＬＳ２が交互に点灯するようになる。即ち光源部ＬＳ１が点灯している期間では、
光源部ＬＳ２は消灯する。これにより図４に示すような照射光強度分布ＬＩＤ１が形成さ
れる。一方、光源部ＬＳ２が点灯している期間では、光源部ＬＳ１は消灯する。これによ
り図４に示すような照射光強度分布ＬＩＤ２が形成される。

このように検出部２００は、第１の期間Ｔ１において、光源部ＬＳ１と光源部ＬＳ２を
交互に発光（点灯）させる制御を行う。そしてこの第１の期間Ｔ１において、光学式位置
検出装置（照射部）から見た対象物の位置する方向が検出される。具体的には、例えば上
述した式（６）、（７）のようにＧａ／Ｇｂ＝１になると共に制御量ＩａとＩｂの和が一
定になるような発光制御を、第１の期間Ｔ１において行う。そして図５（Ｂ）に示すよう
に対象物ＯＢの位置する方向ＤＤＢを求める。例えば上式（１０）、（１１）から減衰係
数の比ｆａ／ｆｂを求め、図５（Ａ）、図５（Ｂ）で説明した手法により対象物ＯＢの位
置する方向ＤＤＢを求める。

そして第１の期間Ｔ１に続く第２の期間Ｔ２では、受光部ＲＵでの受光結果に基づいて
対象物ＯＢまでの距離（方向ＤＤＢに沿った方向での距離）を検出する。そして、検出さ
れた距離と、対象物ＯＢの方向ＤＤＢとに基づいて、対象物の位置を検出する。即ち図５
（Ｂ）において、光学式位置検出装置の配置位置ＰＥから対象物ＯＢまでの距離と、対象
物ＯＢの位置する方向ＤＤＢを求めれば、対象物ＯＢのＸ、Ｙ座標位置を特定できる。こ
のように、光源の点灯タイミングと受光タイミングの時間のずれから距離を求め、これと
角度結果を併せることで、対象物ＯＢの位置を特定できる。

具体的には図６（Ａ）では、発光制御信号ＳＬＳ１、ＳＬＳ２による光源部ＬＳ１、Ｌ
Ｓ２の発光タイミングから、受光信号ＳＲＣがアクティブになるタイミング（反射光を受
光したタイミング）までの時間Δｔを検出する。即ち、光源部ＬＳ１、ＬＳ２からの光が
対象物ＯＢに反射されて受光部ＲＵで受光されるまでの時間Δｔを検出する。この時間Δ
ｔを検出することで、光の速度は既知であるため、対象物ＯＢまでの距離を検出できる。
即ち、光の到達時間のずれ幅（時間）を測定し、光の速度から距離を求める。

なお、光の速度はかなり速いため、電気信号だけでは単純な差分を求めて時間Δｔを検
出することが難しいという問題もある。このような問題を解決するためには、図６（Ｂ）
に示すように発光制御信号の変調を行うことが望ましい。ここで図６（Ｂ）は、制御信号
ＳＬＳ１、ＳＬＳ２の振幅により光の強度（電流量）を模式的に表している模式的な信号
波形例である。

具体的には図６（Ｂ）では、例えば公知の連続波変調のＴＯＦ（Time Of Flight）方式
で距離を検出する。この連続波変調ＴＯＦ方式では、一定周期の連続波で強度変調した連
続光を用いる。そして、強度変調された光を照射すると共に、反射光を、変調周期よりも
短い時間間隔で複数回受光することで、反射光の波形を復調し、照射光と反射光との位相
差を求めることで、距離を検出する。なお図６（Ｂ）において制御信号ＳＬＳ１、ＳＬＳ
２のいずれか一方に対応する光のみを強度変調してもよい。また図６（Ｂ）のようなクロ
ック波形ではなく、連続的な三角波やＳｉｎ波で変調した波形であってもよい。また、連
続変調した光としてパルス光を用いるパルス変調のＴＯＦ方式で、距離を検出してもよい
。距離検出手法の詳細については例えば特開２００９−８５３７号などに開示されている
。

図７に、本実施形態の照射部ＥＵの変形例を示す。図７では、照射部ＥＵとして第１、
第２の照射ユニットＥＵ１、ＥＵ２が設けられる。これらの第１、第２の照射ユニットＥ
Ｕ１、ＥＵ２は、対象物ＯＢの検出エリアＲＤＥＴの面に沿った方向において所与の距離
ＤＳだけ離れて配置される。即ち図１のＸ軸方向に沿って距離ＤＳだけ離れて配置される
。

第１の照射ユニットＥＵ１は、照射方向に応じて強度が異なる第１の照射光を放射状に
出射する。第２の照射ユニットＥＵ２は、照射方向に応じて強度が異なる第２の照射光を
放射状に出射する。受光部ＲＵは、第１の照射ユニットＥＵ１からの第１の照射光が対象
物ＯＢに反射されることによる第１の反射光と、第２の照射ユニットＥＵ２からの第２の
照射光が対象物ＯＢに反射されることによる第２の反射光を受光する。そして検出部２０
０は、受光部ＲＵでの受光結果に基づいて、対象物ＯＢの位置ＰＯＢを検出する。

具体的には検出部２００は、第１の反射光の受光結果に基づいて、第１の照射ユニット
ＥＵ１に対する対象物ＯＢの方向を第１の方向ＤＤＢ１（角度φ１）として検出する。ま
た第２の反射光の受光結果に基づいて、第２の照射ユニットＥＵ２に対する対象物ＯＢの
方向を第２の方向ＤＤＢ２（角度φ２）として検出する。そして検出された第１の方向Ｄ
ＤＢ１（φ１）及び第２の方向ＤＤＢ２（φ２）と、第１、第２の照射ユニットＥＵ１、
ＥＵ２の間の距離ＤＳとに基づいて、対象物ＯＢの位置ＰＯＢを求める。

図７の変形例によれば、図６（Ａ）、図６（Ｂ）のように光学式位置検出装置と対象物
ＯＢとの距離を求めなくても、対象物ＯＢの位置ＰＯＢを検出できるようになる。

４．光学式位置検出装置と撮像装置による座標検出手法
４．１ システム構成例
図８に本実施形態の位置検出システムの構成例を示す。本実施形態の位置検出システム
４００は、光学式位置検出装置１００からの初期座標情報を取得する座標情報取得部４１
０と、撮像部５００からの撮像画像を取得する撮像画像取得部４２０と、座標演算処理を
行う座標演算部４３０と、を含む。

座標演算部４３０は、奥行き特定情報取得部４３１と、補正部４３３と、座標変換部４
３５と、を含む。奥行き特定情報取得部４３１は、座標情報取得部４１０からの初期座標
情報に基づいて、画像処理を行う対象となる範囲を限定した上で、撮像画像から奥行き特
定情報を取得する。補正部４３３は、奥行き特定情報に基づいてＸ座標情報及びＹ座標情
報の少なくとも一方の補正処理を行う。座標変換部４３５は、座標変換を行うことで、斜
めからの撮像により歪みが生じた撮像画像の変換処理を行う。

光学式位置検出装置１００は座標情報取得部４１０に接続される。撮像部５００は撮像
画像取得部４２０に接続される。座標情報取得部４１０と、撮像画像取得部４２０は、奥
行き特定情報取得部４３１に接続される。奥行き特定情報取得部４３１は、補正部に接続
される。補正部４３３は、座標変換部４３５に接続される。

４．２ 撮像装置の構成
次に、本実施形態における撮像装置の構成について説明する。図９に示したように、本
実施形態においては例えば、対象面２０（スクリーン）に対して表示画像を投影する投写
型表示装置ＰＲ（プロジェクター）に撮像装置が搭載される。ただし、撮像装置の位置は
これに限定されるものではなく、投写型表示装置ＰＲとは別の位置に設けられてもよい。
また、本実施形態の画像表示手法は投写型表示装置ＰＲによるものに限定されるものでは
ない。

また、本実施形態における撮像装置は、奥行き特定情報を取得可能な構成を取る必要が
ある。そのため、図９に示したように２つの撮像部（５００−１及び５００−２）が所定
の距離だけ離れた位置に設けられ、視差情報（或いはステレオ画像）を取得することが可
能な形態となる。それぞれの撮像部で取得される撮像画像の例を、図１０（Ａ）及び図１
０（Ｂ）に示す。或いは２眼の撮像装置を用いずに、Ｔｉｍｅ−ｏｆ−ｆｌｉｇｈｔ方式
等により奥行き情報を持った画像を取得可能な撮像装置を用いてもよい。

４．３ 初期座標情報の取得と処理対象範囲の設定
本実施形態の手法においては、まず、光学式位置検出装置を用いて、初期座標情報を取
得する。例えば本実施形態においては、上述したような光学式位置検出装置を用いて、対
象物ＯＢのＸ座標情報及びＹ座標情報を取得する。ここで、光学式位置検出装置は、対象
面２０（スクリーン）に対して取り付けられてもよいし、投写型表示装置ＰＲに取り付け
られてもよい。

そして、取得したＸ座標情報及びＹ座標情報を対象物ＯＢの初期座標情報とする。この
初期座標情報により特定される範囲を、撮像装置による位置検出を行う際の処理対象範囲
とする。このようにして、例えば図１１に示すように、撮像装置により得られた撮像画像
に対する画像処理の対象範囲を、撮像画像全体（図１１のＣ２に対応）よりも狭い範囲（
図１１のＣ１に対応）に限定することが可能となる。そのため、光学式検出手法等に比べ
て処理負荷の重い画像処理による検出手法を、現実的な処理時間、コストで実現すること
が可能になる。

初期座標情報から、画像処理の処理対象範囲を特定する手法は種々考えられる。通常は
、初期座標情報を含む範囲を設定すればよい。その際には、光学式位置検出装置による座
標情報の誤差等が問題にならない程度に広く、かつ、処理負荷が重くなりすぎない程度に
狭い領域を指定する。

また、図１２（Ａ）のように対象物ＯＢが対象面２０に触れていないような状況では、
光学式位置検出装置による初期座標情報はＡ１に対応する座標となる。それに対して、撮
像画像においては、あたかもＡ２の位置に対象物ＯＢがあるように見える。つまり、撮像
画像上では、初期座標情報に対してΔＹだけＹ座標情報がずれることになる。よって、画
像処理の処理対象範囲は、ΔＹのずれを考慮して中心又は大きさ等を決定する必要がある
点に留意する。

４．４ 最終座標情報の取得
次に、初期座標情報に基づいて画像処理の処理対象範囲が適切に設定された後に、撮像
画像に対する画像処理により、対象物ＯＢの最終座標情報を求める手法について説明する
。なお、撮像装置は対象面全面を撮影するものとする。つまり、ここでは処理対象範囲を
撮影するものではなく、全面を撮影した上で処理対象範囲のデータを取り込むことになる
が、手法はこれに限定されるものではない。

４．４．１ Ｚ座標情報に基づく補正
まずは、撮像画像上での対象物ＯＢの座標を求める。これは、公知の画像処理手法を用
いればよい。例えば、対象物ＯＢをテンプレートとしてテンプレートマッチング処理等を
行う。これにより、撮像画像上でのＸ座標情報及びＹ座標情報を取得することができる。

それとともに、Ｚ座標情報を取得する。ここではまず、撮像装置のキャリブレーション
を事前に行っておくものとする。ここでのキャリブレーションとは、図１２（Ａ）におけ
るΔＺ＝０（つまり図１２（Ｂ）のように対象面２０に接している）場合に、２つの撮像
部（図９の５００−１及び５００−２）が取得する撮像画像において、対象物ＯＢの位置
が同一になるように設定しておく。つまり、図１０（Ｂ）において、２つの撮像部の位置
の違いに基づく視差（画像のずれ）を表すδはΔＺが０の時には０となり、ΔＺが大きく
なるほど大きくなるように設定されることになる。

ここで、適切な係数Ａ（Ａは撮像装置の設計やキャリブレーション等により決定される
）を設定すれば、ΔＺの値は下式（１２）により表される。

ΔＺ＝Ａ・δ （１２）
よって、δ＝０の場合には、ΔＺ＝０となり、対象物ＯＢが対象面２０に触れていると
判定することができる。この場合図１２（Ｂ）のような状態であるため、撮像画像によっ
て得られたＸ座標情報及びＹ座標情報は、そのまま真のＸ座標情報及びＹ座標情報として
用いることができる。

それに対して、δ≠０の場合には、ΔＺは上式（１２）により求められる０でない値と
なる。その場合、図１２（Ａ）のような状態となっているため、Ｙ座標情報は真のＹ座標
情報に比べてΔＹだけずれていることになる。このとき、撮像装置（及び撮像装置を搭載
した投写型表示装置ＰＲ）の設置位置と方向から、対象面２０と撮像装置の光軸方向Ｄ１
（ここではＰＲの投射方向とほぼ一致するものとするが、これに限定されるものではない
）とのなす角度θは既知である。よって図よりΔＹの値は下式（１３）により求めること
ができる。

ΔＹ＝ΔＺ／ｔａｎθ （１３）
よって、撮像画像から得られたＹ座標情報を上式（１３）のΔＹだけ補正した値が、真
のＹ座標情報となる。なお、この場合Ｘ座標情報についての補正は必要ない。今回の座標
設定においては、対象物ＯＢが対象面２０から浮いていようが触れていようが、Ｘ軸方向
での位置に変化はないからである。もちろん座標系の設定によってはＸ座標情報について
補正の必要が生じる場合があることは言うまでもない。

４．４．２ 座標変換
次に、撮像画像により得られたＸ座標情報、Ｙ座標情報について、座標変換を行う。な
ぜなら、本実施形態における撮像画像は、図９のような位置から対象面２０を撮像した画
像であるため、図１３（Ａ）に示したように、画像が歪んでしまっているためである。上
述してきた撮像部５００に対して設定されるＸ座標情報及びＹ座標情報は、あくまで、撮
像画像上での座標情報であって、画像の歪みの分、実空間における座標情報とは一致しな
い。そのため、座標変換（射影変換）を行うことにより、歪みを解消し、実空間における
適切な座標情報を求める必要がある。なお、撮像部５００に対して設定される座標系及び
対象面２０に対して設定される座標系を図１４に示す。

一般的な座標変換である射影変換の式を下式（１４）に示す。下式（１４）において、
ｘ’、ｙ’が変換後の座標を表し、ｘ、ｙが変換前の座標を表すものとする。各ｈは任意
の係数である。

射影変換を施した例を図１５に示す。射影変換を行うことで、任意の四角形を別の任意
の四角形に移すことが可能となる。つまり、図１５に示したように、歪んだ撮像画像を歪
みのない状態に戻すことができる。この際、係数ｈについては、キャリブレーション等に
より求めてもよい。つまり、対象面上の任意の点と、撮像画像上における対応する点との
位置関係を求めることにより、射影変換の係数を設定することができる。

このようにして求めた、座標変換後のＸ座標情報、Ｙ座標情報及び、上述したＺ座標情
報（ΔＺ）が本実施形態の手法により求められる最終座標情報となる。

以上の本実施形態では、図８に示したように、位置検出システム４００は、座標情報取
得部４１０と、撮像画像取得部４２０と、座標演算部４３０とを含む。座標情報取得部４
１０は、光学式位置検出装置１００により出射された照射光が対象物ＯＢに反射すること
による反射光を受光することで検出される対象物ＯＢの初期座標情報を取得する。撮像画
像取得部４２０は、撮像部５００から撮像画像を取得する。座標演算部４３０は、撮像画
像取得部４２０で取得した撮像画像のうち、初期座標情報により特定され、かつ、撮像画
像よりも狭い範囲の画像に対して処理を行い、対象物ＯＢの最終座標情報を求める。

ここで、光学式位置検出装置１００とは、上述したような赤外光を照射する光学式位置
検出装置等が考えられるが、これに限定されるものではない。

これにより、光学式位置検出装置１００による位置検出（座標情報の取得）にあわせて
、撮像画像に対する画像処理による位置検出を用いることが可能になる。上述したように
、光学式位置検出装置１００は検出する座標情報の精度が、画像処理を用いる手法等に比
べて低い。また、画像処理を用いる手法は光学式位置検出装置等を用いる場合に比べて処
理負荷が重く、例えば電子黒板システムで用いられる大きさのホワイトボード全体をＸＧ
Ａ程度の高精度で処理を行うことは、コスト或いは処理時間の観点から現実的ではない。
その点、本実施形態の手法では、まず、光学式位置検出装置１００により対象物ＯＢの概
略的な座標情報である初期座標情報を求める。その上で、初期座標情報により特定され、
かつ、撮像画像よりも狭い範囲（図１１のＣ１に対応する範囲）に対して画像処理よる位
置検出を行う。よって、高精度な位置検出を可能にしつつ、コスト及び処理時間を実用的
なものにすることができる。なお、初期座標情報により特定される範囲とは、初期座標情
報により表される座標を含む範囲でもよいし、含まない範囲でもよい。

また、座標演算部４３０は、最終座標情報として、対象面２０に対して設定される検出
エリアでのＸ座標情報及びＹ座標情報を求める。

ここで、Ｘ軸、Ｙ軸（及びＺ軸）は、対象面上の検出エリアに対して設定される座標系
の軸であり、最終座標情報はこの座標系において求められる。処理過程で用いる撮像部５
００に対して設定される座標系（カメラ座標系）とは異なるため注意が必要である。Ｘ軸
、Ｙ軸は図１４に示したような方向とする。つまり、Ｘ軸及びＹ軸により規定されるＸＹ
平面は対象面２０を含む平面であり、かつ、鉛直方向の正方向（重力方向）がＹ軸正方向
に対応する。また、Ｙ軸に直交し、図１４において手前方向をＸ軸正方向とし、ＸＹ平面
に垂直で、かつ、対象面２０の裏側から表側の方向をＺ軸正方向とする。ただし、ＸＹＺ
軸の方向はこれに限定されるものではない。

これにより、検出エリアに対して設定された座標系において、Ｘ座標情報及びＹ座標情
報を求めることが可能になる。よって、対象面２０に表示された画像のどの部分をポイン
ティングしているのか等の情報を取得することができる。

また、図９に示したように撮像部（５００−１及び５００−２）の光軸と対象面２０と
が斜め方向に交差する場合に、座標演算部４３０は、カメラ座標系における座標情報に対
して所定の座標変換処理を行うことで、検出エリアでのＸ座標情報及びＹ座標情報を求め
てもよい。

これにより、座標変換処理を行うことで検出エリアでの最終座標情報を求めることが可
能になる。図９に示したように、撮像部５００の光軸方向と対象面２０とが斜め方向に交
差する場合には、撮像画像における対象面２０の形は歪むことになる。これはつまり、検
出エリアでの座標系とカメラ座標系とで軸が一致しないことによる。画像処理による位置
検出手法では、まずカメラ座標系での座標情報が取得されるのであるから、これら２つの
座標系の間での座標変換処理を行うことで、検出エリアに対して設定された座標系での最
終座標情報を求める必要がある。

また、対象面２０に対して複数のキャリブレーションポイントが設定される場合に、座
標演算部４３０は、キャリブレーションポイントと、カメラ座標系での対応する点である
対応キャリブレーションポイントとの関係を、キャリブレーション情報として取得する。
そして、座標演算部４３０は、キャリブレーション情報に基づいて座標変換処理を行って
もよい。

これにより、座標変換処理をキャリブレーションに基づいて行うことが可能になる。式
（１４）を用いて上述したように、一般的な座標変換処理は係数ｈ（或いは座標系間の回
転角等）を決定する必要がある。その際、対象面２０におけるキャリブレーションポイン
トを設定し、設定したキャリブレーションポイントがカメラ座標系ではどの位置に対応す
るかという情報を用いることで、係数ｈを決定することができる。なお、ここではそれぞ
れのＺ軸は特に考慮する必要はなく、各座標系はＸＹ軸のみの平面座標系として取り扱え
ば十分である。

また、座標演算部４３０は、撮像画像の情報から得られるカメラ座標系での奥行き特定
情報に基づいて、検出エリアでの座標系におけるＺ座標情報を求める。

これにより、検出エリアに対して設定された座標系において、Ｚ座標情報を求めること
が可能になる。よって、対象面２０に表示された画像のどの部分をポインティングしてい
るかにとどまらず、図１２（Ｂ）のように当該ポインティング対象に触れているのか（対
象面２０に触れているか）、図１２（Ａ）のように浮いた状態なのか等の判定を行うこと
ができる。

また、図９に示したように撮像部５００は複数のカメラ（５００−１及び５００−２）
を有し、座標演算部４３０は、複数のカメラから取得された複数の撮像画像の視差情報に
基づいて得られた奥行き特定情報により、検出エリアでのＺ座標情報を求めてもよい。

ここで、視差とは、２観測地点での位置の違いにより対象点が見える方向が異なること
を意味する。つまり、異なる位置に設けられた２つのカメラにより得られる２つの撮像画
像においては、対象物ＯＢの位置がずれることになり、ここでは視差情報とは当該画像の
ずれを表すものとする。

これにより、複数のカメラを用いて取得した複数の撮像画像の視差情報に基づいて、検
出エリアに設定された座標系でのＺ座標情報を求めることが可能になる。具体的には図１
０（Ａ）、図１０（Ｂ）及び式（１２）を用いて上述したように、対象物ＯＢの撮像画像
上での位置のずれδから検出エリアでの座標系におけるＺ座標（ΔＺ）を求めることがで
きる。なお、δから直接求められるのは、カメラ座標系におけるＺ座標であるが、カメラ
座標系から検出エリアでの座標系へのＺ座標の値の変換は容易であり、そのための値も上
式（１２）の係数Ａに含まれているものとする。

また、撮像部５００はデプスカメラを有し、座標演算部４３０は、デプスカメラにより
得られた奥行き特定情報に基づいて検出エリアでの座標系におけるＺ座標を求めてもよい
。

ここで、デプスカメラとは、例えばＴｉｍｅ−ｏｆ−ｆｌｉｇｈｔ方式等を用いたカメ
ラが考えられる。これは、赤外光のパスル波或いはサインカーブ波を被写体に照射し、反
射光の位相差を検出することで奥行き特定情報を取得するものである。

これにより、上述した複数のカメラを用いた場合と同様に、奥行き特定情報を取得でき
、検出エリアでの座標系におけるＺ座標情報を求めることが可能になる。

また、座標演算部４３０は、カメラ座標系での奥行き特定情報に基づいて、検出エリア
での座標系におけるＸ座標情報及びＹ座標情報の少なくとも一方の補正処理を行ってもよ
い。具体的には、カメラ座標系での奥行き特定情報により求められた検出エリアでの座標
系でのＺ座標の値が、Ｚ＞０の場合は補正処理を行い、Ｚ＝０の場合は補正処理をスキッ
プしてもよい。

これにより、カメラ座標系での奥行き特定情報に基づいて、検出エリアでの座標系にお
けるＸ座標情報及びＹ座標情報の少なくとも一方の補正処理を行うことが可能になる。図
１２（Ａ）、図１２（Ｂ）に示したように対象物ＯＢが対象面２０に接しているか浮いて
いるかにより、処理が異なる。図１２（Ａ）のように対象物ＯＢが対象面２０から浮いて
いる場合には、撮像画像から得られるＸＹ座標（Ａ１）に比べて、実際のＸＹ座標（Ａ２
）はΔＹだけずれることになる。そのため、Ｚ＞０の場合には、このΔＹだけＹ座標を補
正する必要が生じる。それに対し、Ｚ＝０の場合には、ずれが生じないため補正も必要な
い。なお、上述したカメラ座標系から検出エリア座標系への座標変換処理は補正処理後に
行われるものとするが、これに限定されるものではない。

また、光学式位置検出装置１００は、図１に示したように、照射光を出射する出射部（
照射部ＥＵ）と、照射光が対象物ＯＢに反射することによる反射光を受光する受光部ＲＵ
と、受光部ＲＵでの受光結果に基づいて対象物ＯＢの初期座標情報を検出する検出部２０
０とを含む。

これにより、光学式位置検出装置１００として、図１〜図７を用いて上述したような装
置を用いることが可能になる。

また、光学式位置検出装置１００の出射部は、照射光として赤外光を出射し、撮像部５
００は、赤外帯域の画像を撮像してもよい。そして、座標演算部４３０は、赤外光帯域画
像に対して処理を行って、前記対象物の前記最終座標情報を求めてもよい。

これにより、赤外帯域の画像を用いて画像処理による位置検出を行うことが可能になる
。投写型表示装置ＰＲを用いる場合、対象物ＯＢに表示画像が写ってしまうことにより、
対象物ＯＢが表示画像にとけ込んでしまうという問題が生じうる。そうでなくとも、縦横
の線が多い複雑な表示画像の場合には対象物ＯＢを画像処理から認識することが難しくな
ってしまう。その点、赤外帯域の画像を用いれば、撮像画像は対象物ＯＢの模様（写り込
んだ表示画像等）を問題にせず対象物ＯＢの形状のみを撮像するため、表示画像の影響を
受けることがなくなる。特に、光学式位置検出装置が光学的な位置の検出のために出射す
る光が赤外光である場合には、光学式位置検出装置での位置検出及び画像処理による位置
検出の両方について、同一の赤外光を用いることができる。そのため、個別に赤外光を出
射する出射部を設ける必要がなくなり、システムの構成を簡単化することができる。

また、本実施形態は、上述してきた位置検出システムと、画像を表示する表示装置とを
含む表示システムに関係する。

これは具体的には例えば、上述してきたような投写型表示装置ＰＲ（プロジェクター）
に撮像部５００を搭載し、画像処理による位置検出を行うとともに、光学式位置検出装置
１００による位置検出手法を併用するシステムに相当する。さらに具体的には、後述する
図１６の１０及び１００の構成等が考えられる。

これにより、投写型表示装置ＰＲ（プロジェクター）により画像を対象面２０に投射し
た上で、投射した画像とユーザーの用いる対象物ＯＢ（オブジェクト）の連携によるユー
ザインターフェースを実現すること等が可能になる。なお、画像の表示は投写型表示装置
ＰＲによるものに限定されるわけではない。

また、本実施形態は、上述してきた位置検出システムと、位置検出システムからの検出
情報に基づいて処理を行う情報処理装置と、情報処理装置からの画像データに基づいて画
像の表示を行う表示装置とを含む情報処理システムに関係する。

図１６に、本実施形態の情報処理システムの構成例を示す。図１６の構成例は、光学式
位置検出装置１００、情報処理装置３０及び表示装置１０を含む。情報処理装置３０は、
例えばパーソナルコンピューター（ＰＣ）などであって、光学式位置検出装置１００から
の検出情報に基づいて処理を行う。光学式位置検出装置１００と情報処理装置３０とは、
ＵＳＢケーブルＵＳＢＣを介して電気的に接続される。表示装置１０は、例えば投射型表
示装置（プロジェクター）などであって、情報処理装置３０からの画像データに基づいて
、表示部（スクリーン）２０に画像を表示する。ユーザーは、表示部２０に表示された画
像を参照しながら、表示画像のアイコン等をポインティングすることで、情報処理装置３
０に対して必要な情報を入力することができる。

なお、図１６では、光学式位置検出装置１００が表示部２０に取り付けられているが、
他の場所に取り付けることもできる。例えば、光学式位置検出装置１００を表示装置１０
に取り付けてもよいし、天井や壁などに取り付けてもよい。また、表示装置１０としては
、投射型表示装置（プロジェクター）に限定されるものではなく、例えばデジタルサイネ
ージ用表示装置であってもよい。

これにより、投写型表示装置ＰＲ（プロジェクター）により画像を対象面２０に投射し
た上で、投射した画像とユーザーの用いる対象物ＯＢ（オブジェクト）の連携によるユー
ザインターフェースを実現することが可能になる。その際、位置検出システムによる検出
情報の処理及び表示装置に表示する表示画像（画像データ）の処理や制御等を情報処理装
置により行うことができる。

なお、以上のように本実施形態について詳細に説明したが、本発明の新規事項および効
果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるで
あろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば
、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語と共に記
載された用語は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換え
ることができる。また光学式位置検出装置、撮像装置等の構成、動作も本実施形態で説明
したものに限定されず、種々の変形実施が可能である。

２０ 対象面、３０ 情報処理装置、１００ 光学式位置検出装置、２００ 検出部、
３００ 処理部、４００ 位置検出システム、４１０ 座標情報取得部、
４２０ 撮像画像取得部、４３０ 座標演算部、４３１ 奥行き特定情報取得部、
４３３ 補正部、４３５ 座標変換部、５００ 撮像部、
ＥＵ 照射部、ＬＥ 照射方向設定部、ＬＦ ルーバーフィルム、ＬＧ ライトガイド、
ＰＤ 受光ユニット、ＰＳ プリズムシート、ＰＳ 光学シート、
ＲＳ 反射シート、ＲＵ 受光部

Claims (12)

1. 光学式位置検出装置により、対象物に対して照射光を出射し前記対象物からの反射光を受光することで検出される前記対象物の初期座標情報を取得する座標情報取得部と、
   撮像部から撮像画像を取得する撮像画像取得部と、
   前記撮像画像取得部で取得された前記撮像画像のうち、前記初期座標情報により特定され、かつ、前記撮像画像よりも狭い範囲の画像に対して処理を行って、前記対象物の最終座標情報として、対象面に対して設定される検出エリアでのＸ座標情報及びＹ座標情報を求める座標演算部と、を含み、
   前記座標演算部は、前記撮像部の光軸と前記対象面とが斜め方向に交差する場合に、前記撮像部に対して設定されるカメラ座標系における座標情報に対して所定の座標変換処理を行うことで、前記検出エリアでのＸ座標情報及びＹ座標情報を求めることを特徴とする位置検出システム。
2. 請求項１において、
   前記対象面において、複数のキャリブレーションポイントが設定される場合に、
   前記座標演算部は、
   前記キャリブレーションポイントと、前記キャリブレーションポイントに対応するカメラ座標系における対応キャリブレーションポイントとの関係を、キャリブレーション情報として取得し、
   前記座標演算部は、
   取得した前記キャリブレーション情報に基づいて前記座標変換処理を行うことを特徴とする位置検出システム。
3. 請求項１又は２において、
   前記座標演算部は、
   前記撮像画像の情報から得られるカメラ座標系での奥行き特定情報に基づいて、前記対象物の前記検出エリアでのＺ座標情報を求めることを特徴とする位置検出システム。
4. 請求項３において、
   前記撮像部は、
   複数のカメラを有し、
   前記座標演算部は、
   前記複数のカメラから取得された複数の撮像画像の視差情報に基づいて得られた奥行き特定情報により、前記検出エリアでの前記Ｚ座標を求めることを特徴とする位置検出システム。
5. 請求項３において、
   前記撮像部は、
   デプスカメラを有し、
   前記座標演算部は、
   前記デプスカメラにより得られた前記奥行き特定情報に基づいて、前記検出エリアでの前記Ｚ座標を求めることを特徴とする位置検出システム。
6. 請求項３乃至５のいずれかにおいて、
   前記座標演算部は、
   前記カメラ座標系での前記奥行き特定情報に基づいて、前記検出エリアでの前記Ｘ座標情報及び前記Ｙ座標情報の少なくとも一方の補正処理を行うことを特徴とする位置検出システム。
7. 請求項６において、
   前記座標演算部は、
   前記対象物の前記Ｚ座標情報により表される値Ｚが、Ｚ＞０の場合に前記補正処理を行うことを特徴とする位置検出システム。
8. 請求項６において、
   前記座標演算部は、
   前記対象物の前記Ｚ座標情報により表される値Ｚが０の場合に前記補正処理をスキップすることを特徴とする位置検出システム。
9. 請求項１乃至８において、
   前記光学式位置検出装置は、
   前記照射光を出射する出射部と、
   前記照射光が前記対象物に反射することによる前記反射光を受光する受光部と、
   前記受光部での受光結果に基づいて前記対象物の前記初期座標情報を検出する検出部と、
   を含むことを特徴とする位置検出システム。
10. 請求項９において、
    前記出射部は、
    前記照射光として赤外光を出射し、
    前記撮像部は、
    前記撮像画像として、赤外帯域の画像である赤外光帯域画像を撮像し、
    前記座標演算部は、
    前記赤外光帯域画像に対して処理を行って、前記対象物の前記最終座標情報を求めることを特徴とする位置検出システム。
11. 請求項１乃至１０のいずれかに記載の位置検出システムと、
    画像を表示する表示装置と、
    を含むことを特徴とする表示システム。
12. 請求項１乃至１０のいずれかに記載の位置検出システムと、
    前記位置検出システムからの検出情報に基づいて処理を行う情報処理装置と、
    前記情報処理装置からの画像データに基づいて画像の表示を行う表示装置と、
    を含むことを特徴する情報処理システム。