WO2022009645A1

WO2022009645A1 - 情報処理装置、情報処理方法

Info

Publication number: WO2022009645A1
Application number: PCT/JP2021/023056
Authority: WO
Inventors: 拓也池田; 健太郎井田; 悠青木
Original assignee: ソニーグループ株式会社
Priority date: 2020-07-09
Filing date: 2021-06-17
Publication date: 2022-01-13

Abstract

本技術に係る情報処理装置は、発光部を有する入力装置が発した光によって入力面に形成される光スポットを入力面の撮像画像に基づき検出し、光スポット内における所定の代表位置を入力位置の暫定位置である暫定入力位置として検出する位置検出部と、入力装置の姿勢変化に連動して変化する姿勢変化連動情報に基づき、入力面に対する入力装置の傾き状態を推定する傾き推定部と、傾き推定部が推定した入力装置の傾き状態に基づいて、暫定入力位置を補正する補正部とを備える。

Description

情報処理装置、情報処理方法

　本技術は、情報処理装置、及び情報処理方法に関するものであり、特には、発光部を有する入力装置が発した光によって入力面に形成される光スポットを入力面の撮像画像に基づき検出した結果に基づいて入力装置による入力位置を認識する処理を行う情報処理装置、及び情報処理方法の技術分野に関する。

　例えば、下記特許文献１、２のように、電子ペン等の入力装置が指し示す位置を入力位置として検出するための技術が提案されている。特許文献１には、電子ペンが発する超音波信号に基づいて入力位置を検出する技術が開示され、特許文献２には、先端部に発光部が設けられた電子ペンが発した光によってスクリーン（入力面）上に形成される像（光スポット）の位置に基づき入力位置を検出する技術が開示されている。

特開２０１０－９５４２号公報特開２０１５－１６６９２２号公報

　ここで、特許文献２のように入力装置が発した光によって入力面上に形成される光スポットの位置に基づき入力位置を検出するにあたっては、例えば光スポットの中心位置等、光スポット内の所定の代表位置を入力位置として検出することが考えられる。
　しかしながら、光スポットの形状は入力装置の入力面に対する傾き状態が変化することに応じて変化するため、上記のように光スポット内の所定の代表位置を入力位置として検出する手法では、検出した入力位置が真値からずれてしまい、入力位置を正確に検出することが困難となってしまう。

　本技術は上記事情に鑑み為されたものであり、入力位置の検出精度向上を図ることを目的とする。

　本技術に係る情報処理装置は、発光部を有する入力装置が発した光によって入力面に形成される光スポットを前記入力面の撮像画像に基づき検出し、前記光スポット内における所定の代表位置を入力位置の暫定位置である暫定入力位置として検出する位置検出部と、前記入力装置の姿勢変化に連動して変化する姿勢変化連動情報に基づき、前記入力面に対する前記入力装置の傾き状態を推定する傾き推定部と、前記傾き推定部が推定した前記入力装置の傾き状態に基づいて、前記暫定入力位置を補正する補正部と、を備えるものである。
　これにより、入力装置が入力面に対して傾いた場合には、暫定入力位置が入力装置の傾き状態に基づいて補正される。

　上記した本技術に係る情報処理装置においては、前記位置検出部は、前記光スポットの中心位置を前記暫定入力位置として検出する構成とすることが考えられる。
　これにより、暫定入力位置の検出は、入力面上に形成される光スポットの中心位置を検出するという簡易な処理で実現される。

　上記した本技術に係る情報処理装置においては、前記補正部は、前記入力装置の傾き状態と前記暫定入力位置の補正値との対応関係を示すテーブル情報に基づき、前記傾き推定部が推定した前記入力装置の傾き状態に対応する前記補正値を取得し、取得した前記補正値に基づいて前記暫定入力位置の補正を行う構成とすることが考えられる。
　これにより、入力装置の傾き状態に応じた暫定入力位置の補正にあたり、傾き状態から補正値を都度算出する処理を不要とすることが可能となる。

　上記した本技術に係る情報処理装置においては、前記入力装置による入力位置を入力面上の既知の位置に一致させた状態において、前記入力装置の傾き状態を複数の異なる傾き状態に変化させたときの前記暫定入力位置を前記位置検出部に検出させ、各前記傾き状態で検出された前記暫定入力位置と前記既知の位置との差分値を前記傾き状態ごとの前記補正値として算出するキャリブレーション処理を行うキャリブレーション処理部を備えた構成とすることが考えられる。
　上記のようなキャリブレーション処理を行うことで、暫定入力位置の補正に用いるテーブル情報としてユーザによる使用環境に適したテーブル情報を生成することが可能となる。

　上記した本技術に係る情報処理装置においては、前記キャリブレーション処理部は、前記入力面を分割して形成される複数の領域ごとに前記キャリブレーション処理を行う構成とすることが考えられる。
　これにより、入力装置の傾き状態と補正値との対応関係が入力面の領域ごとに変化する場合であっても、領域ごとに適切なテーブル情報を生成することが可能となる。

　上記した本技術に係る情報処理装置においては、前記キャリブレーション処理部は、前記位置検出部に前記暫定入力位置を検出させていない前記傾き状態についての前記補正値を、前記位置検出部に前記暫定入力位置を検出させた前記傾き状態について算出した前記補正値から補間して求める構成とすることが考えられる。
　これにより、キャリブレーションにおいて傾き状態を変化させる回数の削減が図られる。

　上記した本技術に係る情報処理装置においては、前記キャリブレーション処理部は、前記既知の位置をガイドする情報を前記入力面上に表示する処理を行う構成とすることが考えられる。
　これにより、キャリブレーション時において入力装置による入力位置を入力面上の何れの位置に合わせればよいかをガイドすることが可能となる。

　上記した本技術に係る情報処理装置においては、前記キャリブレーション処理部は、目標とする前記傾き状態をガイドする情報を前記入力面上に表示する処理を行う構成とすることが考えられる。
　これにより、キャリブレーション時において入力装置を入力面に対してどのように傾ければよいかをガイドすることが可能となる。

　上記した本技術に係る情報処理装置においては、前記キャリブレーション処理部は、目標とする前記傾き状態と前記傾き推定部が推定した前記傾き状態との差異を示す情報を前記入力面上に表示する処理を行う構成とすることが考えられる。
　これにより、キャリブレーション時において入力装置を入力面に対してどのように傾ければよいかを適切にガイドすることが可能となる。

　上記した本技術に係る情報処理装置においては、ペン型の前記入力装置について、前記暫定入力位置の検出、前記傾き状態の推定、及び前記暫定入力位置の補正を行う構成とすることが考えられる。
　これにより、ペン型の入力装置による位置入力を可能とする入力システムについて、入力位置の検出精度向上を図ることが可能となる。

　上記した本技術に係る情報処理装置においては、前記傾き推定部は、前記入力装置の姿勢検出を行う姿勢検出部による姿勢検出結果に基づいて前記傾き状態を推定する構成とすることが考えられる。
　姿勢検出部としては、例えば入力装置に設けられた加速度センサや角速度センサ等の動きセンサによる検出信号に基づき姿勢検出を行うものや、入力装置を撮像した撮像画像に基づき姿勢検出を行うものを挙げることができる。

　上記した本技術に係る情報処理装置においては、前記姿勢検出部は、前記入力装置に設けられて前記入力装置の動きを検出する動きセンサの検出信号に基づいて前記入力装置の姿勢情報を検出し、前記傾き推定部は、前記姿勢検出部が検出した前記入力装置の姿勢情報を前記入力面の座標系における姿勢情報に変換し、変換後の前記姿勢情報に基づいて前記傾き状態を推定する構成とすることが考えられる。
　これにより、入力装置で検出される姿勢情報の座標系が入力面の座標系と一致しない場合であっても、入力面の座標系に適切に変換される。

　上記した本技術に係る情報処理装置においては、前記傾き推定部は、前記光スポットについての画像解析により前記傾き状態を推定する構成とすることが考えられる。
　入力面に対する入力装置の傾き状態が変化すると、光スポットの形状や輝度分布に変化が生じる。このため、上記のように光スポットについての画像解析を行うことで、入力装置の傾き状態を推定することが可能である。

　上記した本技術に係る情報処理装置においては、前記傾き推定部は、前記光スポットの形状を解析した結果に基づいて前記傾き状態を推定する構成とすることが考えられる。
　入力装置の傾き状態が変化すると、光スポットの形状が変化する。

　上記した本技術に係る情報処理装置においては、前記傾き推定部は、前記光スポットの輝度変化方向の検出結果に基づき前記入力装置の傾き方向を推定し、前記光スポットに対する楕円フィッティング処理で求められた楕円の長軸又は短軸のうち前記傾き方向に対応する軸の長さに基づき前記入力装置の傾き角度を推定する構成とすることが考えられる。
　入力面に対する入力装置の傾き方向が変化すると、光スポットにおける輝度変化方向が変化し、また、入力面に対する入力装置の傾き角度が変化すると、光スポットを楕円とみなした際の長軸、短軸の長さが変化する。

　本技術に係る情報処理方法は、情報処理装置が、発光部を有する入力装置が発した光によって入力面に形成される光スポットを前記入力面の撮像画像に基づき検出し、前記光スポット内における所定の代表位置を入力位置の暫定位置である暫定入力位置として検出し、前記入力装置の姿勢変化に連動して変化する姿勢変化連動情報に基づき、前記入力面に対する前記入力装置の傾き状態を推定し、推定した前記入力装置の傾き状態に基づいて、前記暫定入力位置を補正する情報処理方法である。
　このような情報処理方法によっても、上記した本技術に係る情報処理装置と同様の作用が得られる。

第一実施形態としての情報処理装置を備える入力システムの構成例を示した図である。実施形態における電子ペンが有する発光部とスイッチの説明図である。第一実施形態における電子ペンの内部構成例を示したブロック図である。実施形態の電子ペンが実行する発光制御及び状態通知に係る処理の例を示したフローチャートである。第一実施形態の電子ペンが姿勢情報に関して実行する処理の例を示したフローチャートである。第一実施形態としての情報処理装置の内部構成例を説明するためのブロック図である。暫定入力位置の検出の具体例を説明するための図である。電子ペンの入力面に対する傾き状態をそれぞれ異なる状態とした場合におけるカメラの撮像画像（拡大画像）を例示した図である。電子ペン座標系と入力面座標系との関係を説明するための図である。姿勢合わせ処理の際の入力システムの様子を例示した図である。第一実施形態としての情報処理装置が姿勢合わせ処理として実行する処理例を示したフローチャートである。実施形態において傾き情報として求める傾き角度と傾き方向の情報についての説明図である。キャリブレーションにおける入力面の領域分割例を示した図である。キャリブレーション時における入力システムの様子を例示した図である。座標補正テーブルの例を示した図である。第一実施形態としてのキャリブレーション処理の全体的な流れを示したフローチャートである。第一実施形態としての座標補正テーブル更新処理のフローチャートである。第一実施形態としての入力位置検出のための処理手順の例を示したフローチャートである。第二実施形態における電子ペンの内部構成例を示したブロック図である。第二実施形態としての情報処理装置の内部構成例を示したブロック図である。第二実施形態としての傾き状態の推定手法の説明図である。第二実施形態としてのキャリブレーション処理の全体的な流れを示したフローチャートである。第二実施形態としての座標補正テーブル更新処理のフローチャートである。第二実施形態における変形例としての座標補正テーブルを例示した図である。第二実施形態としての入力位置検出のための処理手順の例を示したフローチャートである。キャリブレーション処理の変形例についての説明図である。変形例としての入力装置の例を示した図である。

　以下、実施形態を次の順序で説明する。
<１．第一実施形態>
［1-1．第一実施形態としての入力システムの構成］
［1-2．姿勢合わせ処理について］
［1-3．キャリブレーション処理について］
［1-4．入力位置検出のための処理手順］
<２．第二実施形態>
［2-1．第二実施形態としての入力システムの構成］
［2-2．第二実施形態としての傾き状態の推定手法］
［2-3．キャリブレーション処理について］
［2-4．入力位置検出のための処理手順］
<３．変形例>
<４．実施形態のまとめ>
<５．本技術>

<１．第一実施形態>
［1-1．第一実施形態としての入力システムの構成］

　図１は、本技術に係る第一実施形態としての情報処理装置１を備える入力システム１００の構成例を示した図である。
　図示のように入力システム１００は、情報処理装置１、電子ペン２、プロジェクタ装置３、及びカメラ４を少なくとも備える。
　電子ペン２は、本技術における入力装置の一実施形態であり、所定の入力対象物ｏｂにおける入力面Ｓ上の入力位置を指し示すためにユーザによって用いられる。後述するように、本例における電子ペン２は、先端部分（ペン先部分）に発光部を有しており、入力面Ｓ上でペン先を入力面Ｓに当接させて入力位置を指し示した状態では、入力面Ｓ上において、発光部が発する光に応じた光スポットが形成される。

　本例において、入力対象物ｏｂは、プロジェクタ装置３による画像投影の対象物とされ、入力面Ｓはプロジェクタ装置３による画像の投影面に一致している。

　カメラ４は、例えばＣＭＯＳ（Complementary Metal Oxide Semiconductor）型やＣＣＤ（Charge Coupled Device）型などのイメージセンサを有して撮像を行うデジタルカメラ装置として構成され、入力面Ｓを撮像するように配置されている。

　情報処理装置１は、コンピュータ装置を有して構成され、カメラ４により得られる入力面Ｓの撮像画像に基づき、電子ペン２が発する光によって入力面Ｓ上に形成される光スポットを検出し、その結果に基づいて電子ペン２による入力位置を検出する。
　本例において、情報処理装置１は、このような入力位置の検出を所定の時間間隔で行い、入力位置の移動軌跡を示す画像が入力面Ｓ上に表示されるようにプロジェクタ装置３による画像投影を実行させる。これにより、電子ペン２を描画のための入力装置として機能させることができる。

　ここで、プロジェクタ装置３は、例えば駆動機構を有して任意の方向に画像投影が可能な装置として構成することができる。このような駆動機構を有した構成とすることで、一カ所だけでなく様々な箇所に画像を投影表示することができる。また、このとき、カメラ４とプロジェクタ装置３を近傍に配置して同時に駆動させる機構を有することで、任意場所に画像投影かつ電子ペン２で投影場所に入力できるシステムを構築できる。

　また、本例において、カメラ４については、プロジェクタ装置３による画像投影領域を撮像可能なカメラを想定しており、光軸方向がプロジェクタ装置３の光軸方向と略平行となり、且つプロジェクタ装置３の近傍に配置されるものとする。
　プロジェクタ装置３の投影面上の入力位置をカメラ４の撮像画像に基づき検出する関係上、カメラ座標系から投影面座標系（つまり本例では入力面Ｓの座標系）へ変換する必要があるため、入力位置の検出精度の観点からプロジェクタ装置３とカメラ４の位置はできるだけ近く且つ両者の光軸ができるだけ平行に近くなることが望ましい。

　なお、入力システム１００の用途については上記のような描画用途に限定されるものではなく、例えば入力面Ｓ上に表示された画像の編集操作用途等、各種の操作入力用途に広く好適に適用できる。
　また、入力システム１００においては、画像表示のみでなく、スピーカからの音出力を組み合わせてもよい。

　図２は、電子ペン２が有する発光部２１とスイッチ２２の説明図である。
　図示のように電子ペン２は、ペン先となる先端部において発光部２１が配置されている。発光部２１は、例えばＬＥＤ（Light Emitting Diode）等による発光素子を有し、ペン先が向く方向に光を発する。本例の発光部２１は、可視光領域外の光を発する。具体的に、発光部２１は赤外光を発光する。

　このように本例では電子ペン２が赤外光を発する構成とされるため、これに対応し、カメラ４としては赤外光を受光可能なカメラを用いる。このとき、カメラ４としては、少なくとも赤外光を受光可能であればよいため、例えば該当する波長帯の光を透過し他の波長帯の光はカットする光学フィルタを用いた構成とすることもできる。

　また、本例において、電子ペン２には、入力面Ｓに対する入力状態であるか否かの判定を可能とするためのスイッチ２２が設けられる。スイッチ２２は、電子ペン２のペン先を入力面Ｓに押し付けた状態と入力面Ｓから離間させた状態とでｏｎ／ｏｆｆ状態が変化するメカスイッチとして構成されている。具体的に、本例のスイッチ２２は、ペン先が入力面Ｓに押し付けられた状態でｏｎ、入力面Ｓから離間された状態でｏｆｆとなるように構成されている。

　図３は、電子ペン２の内部構成例を示したブロック図である。
　図示のように電子ペン２は、図２に示した発光部２１とスイッチ２２を備えると共に、制御部２３、通信部２４、及びセンサ部２５を備えている。

　通信部２４は、情報処理装置１との間で所定のデータ通信方式に従ったデータ通信を行う。本例において、通信部２４による情報処理装置１との間のデータ通信は、無線通信により行われ、具体的に通信部２４は、Ｂｌｕｅｔｏｏｔｈ（登録商標）方式によるデータ通信を行う。
　なお、電子ペン２と情報処理装置１との間の通信方式はＢｌｕｅｔｏｏｔｈに限定されるものでなく、例えば無線ＬＡＮ（Local Area Network）やＺｉｇＢｅｅ等の他の無線通信方式を採用することもできる。或いは、無線でなく有線による通信を採用することも可能である。

　センサ部２５は、電子ペン２の姿勢検出のためのセンサを包括的に表している。本例では、姿勢検出のためのセンサとして、電子ペン２の動きを検出する動きセンサ（モーションセンサ）が用いられる。具体的に、本例のセンサ部２５には、電子ペン２に作用する重力加速度を検出する加速度センサ、及び角速度を検出する角速度センサ（ジャイロセンサ）が設けられている。

　制御部２３は、例えばＣＰＵ（Central Processing Unit）、ＲＯＭ(Read Only Memory)、及びＲＡＭ(Random Access Memory)を有するマイクロコンピュータを備えて構成され、上記ＣＰＵが例えば上記ＲＯＭ等に格納されたプログラムに従った処理を実行することで、各種の演算や電子ペン２の各種動作を実現するための制御を行う。
　特に、制御部２３は、図中に発光制御部２３ａ、状態通知部２３ｂ、姿勢算出部２３ｃとして示す機能を実現するための処理を実行する。

　発光制御部２３ａは、情報処理装置１からの指示に基づき、発光部２１の発光制御を行う。具体的に、本例においては、情報処理装置１側からの発光制御命令により、発光部２１の発光指示、及び発光停止指示が行われものとされ、発光制御部２３ａは該発光制御命令に従って発光部２１の発光制御を行う。

　状態通知部２３ｂは、スイッチ２２のｏｎ／ｏｆｆ状態を情報処理装置１側に通知する。本例の入力システム１００において、情報処理装置１では、電子ペン２のペン先が入力面Ｓに押しつけられている状態、すなわちスイッチ２２がｏｎの状態であることを条件として電子ペン２による入力位置の検出のための処理が行われる。状態通知部２３ｂは、このように入力位置の認識処理を行うべき状態か否かを示す、スイッチ２２のｏｎ／ｏｆｆ状態を示す情報を情報処理装置１に通知する処理を行う。

　姿勢算出部２３ｃは、センサ部２５に設けられたセンサによる検出信号に基づき、電子ペン２の姿勢を示す姿勢情報を算出する。具体的に本例では、センサ部２５に設けられた加速度センサと角速度センサそれぞれの検出信号に基づいて電子ペン２の姿勢情報を算出する。
　なお、この姿勢情報は、後述する検出入力位置の補正において情報処理装置１が用いるものとなるが、この点については改めて説明する。

　図４のフローチャートは、電子ペン２の制御部２３が上記した発光制御部２３ａ、状態通知部２３ｂとして実行する具体的な処理例を示している。
　先ず、制御部２３は、情報処理装置１との接続が完了しているか否かを判定する（ステップＳ０１）。制御部２３は、起動後に情報処理装置１との接続処理を行うが、この接続処理が完了した状態であるか否かを判定するものである。接続が完了していなければ、制御部２３は再びステップＳ０１の処理を実行する。

　接続が完了していれば、制御部２３は電子ペン２のＩＤを情報処理装置１側に送信する（ステップＳ０２）。このＩＤにより、情報処理装置１側は通信相手の電子ペン２を識別することが可能となる。

　次いで、制御部２３は、発光制御命令を受信したか否かを判定する（ステップＳ０３）。本例では、発光部２１の発光／発光停止の指示は情報処理装置１側から行われ、発光制御命令はこのような発光／発光停止の指示を行うために情報処理装置１側で発行される命令となる。

　発光制御命令を受信した場合、制御部２３は発光状態変更処理（ステップＳ０４）として、発光制御命令の内容に従って発光部２１を発光させる、又は発光停止させる処理を行う。そして、この発光状態変更処理後、制御部２３は情報処理装置１へ結果を返信する（ステップＳ０５）。すなわち、発光部２１を発光させたか、又は発光停止させたかの結果を示す情報を情報処理装置１に送信する。

　上記の返信処理を実行したことに応じ、制御部２３はスイッチ状態変化を検知したか否かを判定する（ステップＳ０６）。すなわち、スイッチ２２のｏｎ／ｏｆｆ状態に変化があったか否かを判定する。制御部２３は，ステップＳ０３で発光制御命令を受信していないと判定した場合も、ステップＳ０６の判定処理を実行する。

　スイッチ状態変化を検知した場合、制御部２３はスイッチ状態変化イベントを送信する処理を行う（ステップＳ０７）。すなわち、スイッチ２２のｏｎ／ｏｆｆ状態が変化した旨を示すイベント情報を情報処理装置１に送信する処理を行う。
　スイッチ状態変化イベントを送信したことに応じ、制御部２３は処理終了条件が成立したか否かを判定する（ステップＳ０８）。すなわち、例えば電源ｏｆｆ等の所定の処理終了条件が成立したか否かを判定する。制御部２３は、ステップＳ０６でスイッチ状態変化を検知していないと判定した場合にもステップＳ０８の終了判定処理を行う。

　処理終了条件が成立していなければ、制御部２３はステップＳ０３に戻り、処理終了条件が成立していれば図４の一連の処理を終える。

　このように制御部２３は、起動後において情報処理装置１との接続が完了したことに応じて、電子ペン２のＩＤを情報処理装置１側に送信し、その後、情報処理装置１からの発光制御命令を受信した場合は、発光部２１の発光状態を変更する。また、スイッチ２２の状態変化を検知した場合は、情報処理装置１へスイッチ２２の状態変化イベントを送信する。

　図５のフローチャートは、電子ペン２の制御部２３が姿勢情報に関して実行する処理の例を示している。
　先ず、制御部２３は、センサ値を取得する処理（ステップＳ１０）として、センサ部２５における加速度センサ、角速度センサによる検出値を取得する処理を行い、電子ペン姿勢を算出する（ステップＳ１１）。すなわち、電子ペン２の姿勢を表す姿勢情報を算出する。ここで、加速度センサ、角速度センサの検出値を用いることで、電子ペン２の起動時からの相対的な姿勢変化を算出することが可能である。

　姿勢情報を算出したことに応じ、制御部２３は、情報処理装置１と接続状態であるか否かを判定し（ステップＳ１２）、接続状態であれば、現在の電子ペン姿勢、すなわち直近で実行したステップＳ１１の処理で算出した姿勢情報を情報処理装置１に送信する（ステップＳ１３）。
　接続状態でなければ、制御部２３はステップＳ１０に戻る。これにより、接続状態となるまで電子ペン姿勢の算出が繰り返される。

　現在の電子ペン姿勢を送信したことに応じ、制御部２３は処理終了条件が成立したか否かを判定し（ステップＳ１４）、処理終了条件が成立していなければステップＳ１０に戻り、処理終了条件が成立していれば図５の一連の処理を終える。

　図６は、情報処理装置１の内部構成例を説明するためのブロック図であり、情報処理装置１の内部構成例と共に、図１に示したプロジェクタ装置３とカメラ４を併せて示している。
　図示のように情報処理装置１は、制御部１１、通信部１２、画像入力部１３、画像出力部１４、及びメモリ部１５を備えている。

　通信部１２は、電子ペン２との間でデータ通信を行うものであり、本例ではＢｌｕｅｔｏｏｔｈによる無線データ通信を行う。

　画像入力部１３は、制御部１１の指示に基づいてカメラ４による撮像画像を入力する。
　画像出力部１４は、制御部１１から指示された画像をプロジェクタ装置３に出力する。

　制御部１１は、例えばＣＰＵ、ＲＯＭ、及びＲＡＭを有するマイクロコンピュータを備えて構成され、上記ＣＰＵが例えば上記ＲＯＭ等に格納されたプログラムに従った処理を実行することで、各種の演算や情報処理装置１の各種動作を実現するための制御を行う。

　メモリ部１５は、例えばフラッシュメモリ等の半導体記憶装置やＨＤＤ（Hard Disk Drive）等の不揮発性の記憶装置で構成され、制御部１１が処理に用いる各種データが記憶される。本例のメモリ部１５には、制御部１１が後述する各種の処理を行うことにより座標変換情報１５ａ、座標補正テーブル１５ｂとしての情報が記憶されるが、これらの情報の詳細については改めて説明する。

　ここで、制御部１１は、図中において電子ペン管理部１１ａ、入出力画像管理部１１ｂ、位置検出部１１ｃ、傾き推定部１１ｄ、姿勢合わせ処理部１１ｅ、位置補正部１１ｆ、及びキャリブレーション処理部１１ｇとして示す各種の機能を有する。

　電子ペン管理部１１ａは、電子ペン２との接続や、接続された電子ペン２についての上述したＩＤやスイッチ状態変化イベントについての管理、及び電子ペン２に対する発光制御命令の送信処理等を行う。

　入出力画像管理部１１ｂは、画像入力部１３を介したカメラ４からの撮像画像の入力についての制御、及び画像出力部１４を介したプロジェクタ装置３への画像出力についての制御を行う。また、入出力画像管理部１１ｂは、電子ペン２による入力位置の検出結果に基づき、プロジェクタ装置３に出力する画像を生成する処理も行う。具体的に、本例では、前述した描画用途に対応して、入力位置の移動軌跡を示す画像を生成してプロジェクタ装置３に出力する処理を行う。

　位置検出部１１ｃは、電子ペン２が発した光によって入力面Ｓに形成される光スポットを入力面Ｓの撮像画像に基づき検出し、光スポット内における所定の代表位置を入力位置の暫定位置である暫定入力位置Ｐｒとして検出する。

　図７を参照し、暫定入力位置Ｐｒの検出の具体例を説明する。
　図７Ａは、電子ペン２による入力操作が行われている状態でのカメラ４による撮像画像を例示している。この場合の撮像画像中には、電子ペン２が発した光によって入力面Ｓ（プロジェクタ装置３による画像の投影領域）に形成される光スポットＳｐが映し出される。
　本例では、使用時においてカメラ４が投影領域に対してどのような位置関係で配置されているかは不明なため、先ず、カメラ４の撮像画像中から、投影領域を射影変換して切り出す（図７Ｂ）。これにより、投影領域を正面からカメラ４で撮像した結果と同等の画像を得る。

　そして、このように切り出した画像に対して二値化処理を施し（図７Ｃ）、二値化後の画像において光スポットＳｐの輪郭Ｏｌを検出する（図７Ｄ）。この輪郭Ｏｌの検出処理は、光スポットＳｐの形状及びサイズの検出処理と換言できる。
　さらに、検出した輪郭Ｏｌの情報に基づき、この輪郭Ｏｌの中心位置（つまり光スポットＳｐの中心位置）を暫定入力位置Ｐｒとして検出する（図７Ｅ）。

　なお、上記では光スポットＳｐ内の所定の代表位置を光スポットＳｐの中心位置とする例を挙げたが、代表位置は光スポットＳｐの中心位置に限定されるものではなく、例えば、輪郭Ｏｌ上において最も離間している２点間を結ぶ直線の中心間点として定めることもできる。ここでの代表位置とは、光スポットＳｐ内の位置のうち少なくとも所定の幾何学的条件を満たす位置として求められるものであればよい。

　ここで、電子ペン２の入力位置としては、上記のように検出される暫定入力位置Ｐｒをそのまま用いるということも考えられる。しかしながら、光スポットＳｐの形状は電子ペン２の入力面Ｓに対する傾き状態が変化することに応じて変化するものである。
　図８Ａ、図８Ｂ、図８Ｃでは、電子ペン２の入力面Ｓに対する傾き状態をそれぞれ異なる状態とした場合におけるカメラ４の撮像画像（拡大画像）を例示している。このように入力面Ｓに対する傾き状態が変化すると光スポットＳｐの形状が異なるものとなり、それに伴い、暫定入力位置Ｐｒについてもそれぞれ異なる位置として検出されてしまう。図８Ｃのように電子ペン２が入力面Ｓに対しほぼ垂直状態であれば、入力位置の真値Ｐｔ（真の入力位置）に対する暫定入力位置Ｐｒのずれは小さいものとなるが、図８Ａや図８Ｂのように入力面Ｓに対する傾きが大きくなると、暫定入力位置Ｐｒの真値Ｐｔからのずれも大きくなる。

　このように、暫定入力位置Ｐｒをそのまま入力位置として適用する手法では、入力位置を正確に検出することが困難となってしまう。

　そこで、本実施形態では、図６に示した傾き推定部１１ｄ、及び位置補正部１１ｆを設けることで、電子ペン２の傾き状態に応じて暫定入力位置Ｐｒを補正するという手法を採る。
　傾き推定部１１ｄは、電子ペン２の姿勢変化に連動して変化する姿勢変化連動情報に基づき、入力面Ｓに対する電子ペン２の傾き状態を推定するものである。具体的に、本例では、電子ペン２がセンサ部２５（動きセンサ）の検出信号に基づいて算出する電子ペン２の姿勢情報に基づいて電子ペン２の傾き状態を推定する。
　また、位置補正部１１ｆは、傾き推定部１１ｄが推定した電子ペン２の傾き状態に基づいて暫定入力位置Ｐｒを補正する。

　ここで、上記のように電子ペン２におけるセンサ部２５の検出信号に基づいて算出された電子ペン２の姿勢情報から傾き状態を推定する際には、電子ペン２の姿勢情報が前提とする座標系（以下「電子ペン座標系」と表記する）と、入力位置の検出において前提とする入力面Ｓの座標系（以下「入力面座標系」と表記する）とが必ずしも一致するものでない点を考慮すべきである。

　図９は電子ペン座標系と入力面座標系との関係を説明するための図である。
　前述したように、電子ペン２（制御部２３）が算出する姿勢情報は、電子ペン２の起動時からの姿勢変化を示す情報であり、電子ペン座標系は電子ペン２の起動時に決定されるものとなる。図９Ａでは、電子ペン２の起動時に決定された電子ペン座標系の各軸の例を示している。電子ペン座標系におけるＸ，Ｙ，Ｚそれぞれの軸をＸｐ、Ｙｐ、Ｚｐと表記する。
　電子ペン２の姿勢情報は、このように起動時に定まった電子ペン座標系を基準として、そこからの相対姿勢変化を回転行列として算出したものとなる。具体的に、図９Ｂでは、電子ペン２の使用時における最新の姿勢をＸｐ’、Ｙｐ’、Ｚｐ’の各軸で表し、また、起動時に決定したＸｐ、Ｙｐ、Ｚｐの各軸を点線により示しているが、これらを変換する回転行列が電子ペン２の姿勢情報として算出されるものである。

　また、図９Ｂでは、入力面座標系のＸ，Ｙ，Ｚそれぞれの軸をＸｓ、Ｙｓ、Ｚｓと表記している。このＸｓ、Ｙｓ、Ｚｓの各軸とＸｐ、Ｙｐ、Ｚｐの各軸とを比較して分かるように、電子ペン座標系の各軸が入力面座標系の各軸と一致する保証はない。

　このため、本例では、電子ペン座標系と入力面座標系とのずれを解消するための姿勢合わせを行う。図６に示した姿勢合わせ処理部１１ｅは、このような姿勢合わせのための処理を行う。

［1-2．姿勢合わせ処理について］

　姿勢合わせ処理部１１ｅによる姿勢合わせ処理について説明する。
　図１０に、姿勢合わせ処理の際の入力システム１００の様子を例示する。また、図１１に、制御部１１が姿勢合わせ処理として実行する処理例のフローチャートを示す。

　姿勢合わせ処理において、制御部１１は、先ずステップＳ１０１で、入力面Ｓに姿勢合わせのためのＵＩ（User Interface）画像を表示するための処理を行う。具体的には、例えば図１０に例示するように電子ペン２の入力位置を指示するためのマークＭｃと、該マークＭｃの位置を入力位置とした状態で電子ペン２を入力面Ｓに対して垂直の状態とすることを指示するためのメッセージ情報を表したＵＩ画像を生成し、該ＵＩ画像をプロジェクタ装置３により入力面Ｓ上に投影させる。

　ステップＳ１０１に続くステップＳ１０２で制御部１１は、電子ペン２の入力を検出したか否かを判定する。この判定は、電子ペン２のスイッチ２２がｏｎ状態となったか否かの判定として行う。
　電子ペン２の入力が検出されなかったと判定した場合、制御部１１はステップＳ１０１に戻る。

　一方、電子ペン２の入力が検出したと判定した場合、制御部１１はステップＳ１０３に進んで入力時の電子ペン２の姿勢情報を取得する。つまり、入力面Ｓに対して垂直な状態とされた電子ペン２において算出された姿勢情報を取得するものである。

　ステップＳ１０３に続くステップＳ１０４で制御部１１は、入力面座標系へ変換する回転行列を計算し、ステップＳ１０５において、計算した回転行列を座標変換情報１５ａとしてメモリ部１５に記憶する処理を行う。
　制御部１１は、ステップＳ１０５の処理を実行したことに応じて図１１に示す一連の処理を終える。

　ここで、上記のような姿勢合わせ処理は、電子ペン２が起動されるごとに行うことが考えられる。

　図６に示した傾き推定部１１ｄは、電子ペン２の傾き状態を、電子ペン２から取得した姿勢情報と上記のようにメモリ部１５に記憶した座標変換情報１５ａとに基づき推定する。具体的には、電子ペン２から取得した姿勢情報に対し、座標変換情報１５ａとしての回転行列を乗算することで、入力面座標系における電子ペン２の姿勢情報に変換する。そして、この入力面座標系における電子ペン２の姿勢情報から、電子ペン２の入力面Ｓに対する傾き状態を示す情報を求める。

　本例において、電子ペン２の入力面Ｓに対する傾き状態を示す情報としては、図１２に示すような傾き角度θの情報と傾き方向ψの情報を求める。
　傾き角度θは、電子ペン２が入力面Ｓに直交する軸（Ｚｓ軸）と平行な状態を基準として、そこからの傾斜角度を示す情報である。また、傾き方向ψは、電子ペン２が入力面Ｓに直交する軸の軸周りにおける何れの方向に傾斜しているかを示す情報である。

［1-3．キャリブレーション処理について］

　前述のように、図６に示した位置補正部１１ｆは、傾き推定部１１ｄが推定した電子ペン２の傾き状態に基づいて暫定入力位置Ｐｒを補正するが、本例において、この補正は、メモリ部１５に記憶された座標補正テーブル１５ｂを用いて行われる。
　ここで、座標補正テーブル１５ｂは、電子ペン２の傾き状態と暫定入力位置の補正値との対応関係を示すテーブル情報である。

　本例の情報処理装置１は、このような座標補正テーブル１５ｂを以下のようなキャリブレーション処理を行って作成する機能を有している。制御部１１は、この機能の実現のため、図６に示したキャリブレーション処理部１１ｇを有する。
　ここでのキャリブレーション処理とは、電子ペン２による入力位置を入力面Ｓ上の既知の位置に一致させた状態において、入力装置の傾き状態を複数の異なる傾き状態に変化させたときの暫定入力位置Ｐｒを位置検出部１１ｃに検出させ、各傾き状態で検出された暫定入力位置Ｐｒと既知の位置との差分値を傾き状態ごとの補正値として算出する処理である。

　本例において、キャリブレーション処理は、図１３に例示するように入力面Ｓを複数の領域に分けて、領域ごとに補正値を求めるようにして行う。
　具体的に、図１３の例では、入力面Ｓにおける投影領域を縦方向及び横方向にそれぞれ３等分して<０>から<８>の九つの領域に等分割した例を示している。

　図１４は、キャリブレーション時における入力システム１００の様子を例示している。
　領域ごとのキャリブレーション時には、入力面Ｓ上において、図示のように電子ペン２の入力位置を指示するためのマークＭｃと、該マークＭｃの位置を入力位置とした状態で電子ペン２をどのように傾斜させればよいかをガイドするための情報（キャリブレーションにおいて目標とする傾き状態をガイドするための情報）とを含むＵＩ画像をプロジェクタ装置３により表示させる。ここで、マークＭｃは、該当する領域における既知の位置（つまり制御部１１が座標を把握している位置）に表示させる。
　また、ガイドについては、図１４の例では、電子ペン２のイラストの表示により電子ペン２の傾き方向ψを何れの方向とすればよいかのガイドを行い、また、画像下部のメッセージ情報により目標とする傾き角度θをガイドするものとしている。

　キャリブレーション処理部１１ｇは、このように入力面Ｓ上に表示するＵＩ画像のガイド内容を逐次変更して、電子ペン２の傾き状態を複数の異なる傾き状態に変化させる。そして、各傾き状態で、位置検出部１１ｃにより暫定入力位置Ｐｒを検出させ、それら傾き状態ごとに、検出された暫定入力位置Ｐｒと既知の位置（マークＭｃの位置）との差分値を補正値として算出する。具体的に、この差分値（補正値）としては、入力面座標系におけるＸｓ座標値の差分値、及びＹｓ座標値の差分値として算出する。

　ここで、制御部１１は、傾き推定部１１ｄにより電子ペン２の傾き状態を把握できるため、キャリブレーション時において、電子ペン２の傾き状態が目標の傾き状態に一致したか否かを判定できる。制御部１１は、この判定により、電子ペン２の傾き状態が目標の傾き状態と一致したときの暫定入力位置Ｐｒを検出する。
　なお、このようにキャリブレーション時においても傾き推定部１１ｄによる傾き状態の推定を行う必要がある。このため、キャリブレーションを行うにあたっては、図１１で説明した姿勢合わせ処理を事前に行っておくことを要する。

　キャリブレーション処理部１１ｇは、上記のようなキャリブレーション処理により、入力面Ｓの領域ごとに、電子ペン２の傾き状態（本例では傾き角度θと傾き方向ψとの組み合わせ）ごとの補正値を得る。そして、キャリブレーション処理部１１ｇは、このように領域ごとに得られる、それぞれの傾き状態と補正値との対応関係を示す情報を、座標補正テーブル１５ｂとしてメモリ部１５に記憶する。

　図１５は、座標補正テーブル１５ｂの例を示している。
　図示のように座標補正テーブル１５ｂは、入力面Ｓを分割して形成される各領域について、傾き角度θと傾き方向ψの組み合わせごとのＸｓ座標補正値及びＹｓ座標補正値の対応関係を示す情報とされる。上記説明から理解されるように、Ｘｓ座標補正値、Ｙｓ座標補正値は、検出された暫定入力位置Ｐｒと既知の位置とのＸｓ座標値の差分値、Ｙｓ座標値の差分値として算出されたものである。

　なお、図１５に示す傾き角度θ、及び傾き方向ψの数値についてはあくまで説明上の一例を示したものに過ぎず、これらの数値に限定されないことは言うまでもない。

　ここで、キャリブレーションとしては、一部の傾き状態についてのみ暫定入力位置Ｐｒを検出して補正値の算出を行い、暫定入力位置Ｐｒを検出していない他の傾き状態についての補正値は、上記一部の傾き状態について算出した補正値から補間して求めるという手法を採ることもできる。換言すれば、位置検出部１１ｃに暫定入力位置Ｐｒを検出させていない傾き状態についての補正値を、位置検出部１１ｃに暫定入力位置Ｐｒを検出させた傾き状態について算出した補正値から補間して求めることもできる。
　この際、補正値の補間は、例えば線形補間により行うことが考えられる。

　図１６は、キャリブレーション処理の全体的な流れを示したフローチャートである。
　先ず、制御部１１はステップＳ１１０で、領域識別子ｉを０リセットする。領域識別子ｉは、入力面Ｓを分割して形成される各領域を識別するための値であり、本例では０から８の値をとり得る。

　次いで、制御部１１はステップＳ１１１で、ｉ番目の領域についてのＵＩ画像を表示する処理を行う。具体的には、少なくともマークＭｃの位置をｉ番目の領域に対応する位置としたＵＩ画像をプロジェクタ装置３により投影させる処理を行う。

　ステップＳ１１１に続くステップＳ１１２で制御部１１は、座標補正テーブル更新処理を実行する。この座標補正テーブル更新処理については図１７で説明する。

　ステップＳ１１２の座標補正テーブル更新処理を実行したことに応じ、制御部１１はステップＳ１１３で領域識別子ｉが最大値ｉＭＡＸ（本例では「８」）よりも小さいか否かを判定する。領域識別子ｉが最大値ｉＭＡＸよりも小さければ、制御部１１はステップＳ１１４で領域識別子ｉの値を１インクリメントし、ステップＳ１１１に戻る。
　一方、領域識別子ｉが最大値ｉＭＡＸよりも小さければ、制御部１１は図１６に示す一連の処理を終える。
　この図１６の処理により、各領域についてステップＳ１１２の座標補正テーブル更新処理が実行される。

　図１７は、ステップＳ１１２の座標補正テーブル更新処理のフローチャートである。
　座標補正テーブル更新処理において、制御部１１はステップＳ１２０で傾き状態識別子ｊを０リセットする。傾き状態識別子ｊは、キャリブレーションにおいて暫定入力位置Ｐｒを検出すべきものとして定められた複数の傾き状態（傾き角度θと傾き方向ψの組み合わせ）を識別するための値である。

　ステップＳ１２０に続くステップＳ１２１で制御部１１は、ｊ番目の傾き状態で入力するようにユーザに指示する処理を行う。具体的には、電子ペン２の傾き状態をｊ番目の傾き状態とするためのガイド情報を含むＵＩ画像をプロジェクタ装置３により入力面Ｓ上に投影させる。

　ステップＳ１２１に続くステップＳ１２２で制御部１１は、電子ペン２の入力を検出したか否かを判定する。すなわち、電子ペン２のスイッチ２２がｏｎ状態となったか否かを判定する。
　電子ペン２の入力が検出されなければ、制御部１１はステップＳ１２１に戻る。

　電子ペン２の入力が検出された場合、制御部１１はステップＳ１２３に進んで入力時の電子ペン２の姿勢情報を取得し、続くステップＳ１２４で電子ペン２の姿勢を入力面座標系へ変換してステップＳ１２５に進む。

　ステップＳ１２５で制御部１１は、ｊ番目の傾き状態と一致したか否かを判定する。すなわち、ステップＳ１２４で変換した電子ペン２の姿勢情報から電子ペン２の傾き状態を推定し、推定した傾き状態がｊ番目の傾き状態と一致したか否かを判定する。
　ｊ番目の傾き状態と一致していないと判定した場合、制御部１１はステップＳ１２１に戻る。

　一方、ｊ番目の傾き状態と一致したと判定した場合、制御部１１はステップＳ１２６に進んで暫定入力位置Ｐｒの検出を行う。
　なお、キャリブレーション時における暫定入力位置Ｐｒの検出についても、先の図７と同様の手法で行う（図７Ａ→図７Ｂの遷移として示した射影変換も含む）。これにより、正面から観測した画像を基準として座標補正テーブル１５ｂを生成することになり、キャリブレーション時と使用時とで同条件となるように図ることができる。

　ステップＳ１２６の検出処理に続くステップＳ１２７で制御部１１は、マーク位置と暫定入力位置Ｐｒとの差分値を計算する。すなわち、ｉ番目の領域のマークＭｃの位置とステップＳ１２６で検出した暫定入力位置Ｐｒとの差分値（Ｘｓ座標値、Ｙｓ座標値それぞれの差分値）を計算する。
　そして、続くステップＳ１２８で制御部１１は、差分値を補正値としてテーブルに登録する処理を行う。すなわち、算出した差分値を、ｊ番目の傾き状態に対応する座標補正値として座標補正テーブル１５ｂに登録する処理を行う。

　ステップＳ１２８の登録処理に続くステップＳ１２９で制御部１１は、傾き状態識別子ｊが最大値ｊＭＡＸよりも小さいか否かを判定し、傾き状態識別子ｊが最大値ｊＭＡＸよりも小さければ、ステップＳ１３０で傾き状態識別子ｊを１インクリメントしてステップＳ１２１に戻る。これにより、次の傾き状態について、暫定入力位置Ｐｒの検出や補正値の算出・登録のための処理が開始される。

　一方、傾き状態識別子ｊが最大値ｊＭＡＸよりも小さくなければ、制御部１１はステップＳ１１２の座標補正テーブル更新処理を終える。

　ここで、上記により説明したキャリブレーション処理は、入力システム１００がユーザの使用環境に置かれた状態で行うことが考えられる。これにより、座標補正テーブル１５ｂとして、ユーザによる使用環境に適したテーブル情報を生成することが可能となり、暫定入力位置Ｐｒの補正精度向上（つまり入力位置の検出精度向上）を図ることができる。なお、ユーザによる使用環境の差異としては、例えば、発光部２１が発する光についての入力面Ｓの反射率や、電子ペン２の充電残量（発光部２１の発光量に影響する）、入力面Ｓ周囲の外光の影響等が考えられる。
　或いは、キャリブレーション処理は、ユーザによる作業負担を考慮し、情報処理装置１の工場出荷時に行っておくことも考えられる。

　また、キャリブレーション時において制御部１１は、傾き推定部１１ｄにより電子ペン２の傾き状態を把握できるため、目標とする傾き状態との差異も把握できる。このため、キャリブレーション時において制御部１１は、推定した電子ペン２の傾き状態と目標とする傾き状態との差異を示す情報をＵＩ画像に表示する（入力面Ｓに表示する）処理を行うこともできる。
　例えば、傾き方向ψについて、目標とする方向に対するずれ方向を示す情報を表示したり、目標とする方向と一致させるための電子ペン２の移動方向を示す例えば矢印マーク等の情報を表示することが考えられる。或いは、傾き角度θについて、目標とする角度と一致させるためにあと何度傾ければよいかを示す情報を表示することも考えられる。
　このように電子ペン２の傾き状態と目標とする傾き状態との差異を示す情報を入力面Ｓに表示する処理を行うことで、キャリブレーション時において電子ペン２を入力面Ｓに対してどのように傾ければよいかを適切にガイドすることが可能となり、キャリブレーションに要する作業についての容易性の向上、及び作業効率の向上を図ることができる。

［1-4．入力位置検出のための処理手順］

　図１８は、制御部１１が電子ペン２の使用時に対応して行う入力位置検出のための処理手順の例を示したフローチャートである。
　先ず、制御部１１はステップＳ１５０で、電子ペン２との接続処理を行い、続くステップＳ１５１で発光命令送信処理を行う。すなわち、前述した発光制御命令として、発光部２１の発光を指示する発光命令を電子ペン２に送信する処理を行う。

　ステップＳ１５１に続くステップＳ１５２で制御部１１は、電子ペン２のスイッチ２２の状態を確認し、スイッチ２２がｏｆｆ状態であれば再度ステップＳ１５２の処理を実行し、スイッチ２２がｏｎ状態であればステップＳ１５３に処理を進める。このステップＳ１５２の処理により、電子ペン２が入力状態になければ以下で説明する入力位置検出のための処理が行われないものとなる。

　ステップＳ１５３で制御部１１は、光スポットＳｐを検出したか否かを判定する。すなわち、カメラ４から入力した撮像画像中に光スポットＳｐが検出されたか否かを判定する。光スポットＳｐを検出していなければ、制御部１１はステップＳ１５２に戻る。これにより、電子ペン２が入力状態であっても撮像画像内に光スポットＳｐが検出されていなければ、以下で説明する入力位置検出のための処理は行われない。

　光スポットＳｐを検出した場合、制御部１１はステップＳ１５４に進んで暫定入力位置Ｐｒの検出を行う。

　ステップＳ１５４に続くステップＳ１５５で制御部１１は、電子ペン２の姿勢情報を取得する。そして、続くステップＳ１５６で制御部１１は、入力面Ｓと電子ペン２の姿勢合わせ済みであるか否かを判定する。すなわち、現在接続中の電子ペン２について、前述した姿勢合わせ処理を実行済みであるか否かを判定する。
　姿勢合わせ処理を実行済みでなければ、制御部１１はステップＳ１５７に進んで姿勢合わせ処理を実行し、ステップＳ１５８に処理を進める。この姿勢合わせ処理については既に図１１を参照して説明済みであるため重複説明は避ける。
　また、制御部１１は、姿勢合わせ処理を実行済みであった場合は、ステップＳ１５７の処理をパスしてステップＳ１５８に処理を進める。

　ステップＳ１５８で制御部１１は、電子ペン姿勢を入力面座標系へ変換し、続くステップＳ１５９で傾き状態の推定を行う。すなわち、ステップＳ１５８で入力面座標系の姿勢情報として変換された電子ペン２の姿勢情報に基づき、電子ペン２の傾き状態（傾き角度θ及び傾き方向ψ）を求める。

　ステップＳ１５９に続くステップＳ１６０で制御部１１は、座標補正テーブル１５ｂから座標補正値を取得する。すなわち、座標補正テーブル１５ｂに登録された座標補正値（Ｘｓ座標値、Ｙｓ座標値それぞれの補正値）のうち、ステップＳ１５９で推定した傾き状態に対応する座標補正値を取得する。

　そして、ステップＳ１６０に続くステップＳ１６１で制御部１１は、暫定入力位置Ｐｒの補正処理として、ステップＳ１５４で検出した暫定入力位置Ｐｒの座標値をステップＳ１６０で取得した座標補正値により補正する。

　ステップＳ１６１に続くステップＳ１６２で制御部１１は、画像生成・出力処理を行う。すなわち、暫定入力位置Ｐｒを補正して求まった電子ペン２の入力位置を反映した画像を生成し、プロジェクタ装置３に出力する処理を行う。具体的に、描画用途に対応した本例の場合には、入力位置の移動軌跡を示す画像を生成してプロジェクタ装置３に出力する処理を行う。

　ステップＳ１６２に続くステップＳ１６３で制御部１１は、処理終了条件が成立したか否かを判定する。ここでの処理終了条件としては、例えば、電子ペン２を入力装置とした描画アプリケーション等、電子ペン２の入力位置を利用するアプリケーションの終了等を挙げることができる。
　ステップＳ１６３において、処理終了条件が成立していないと判定した場合、制御部１１はステップＳ１５２に戻る。

　一方、ステップＳ１６３において処理終了条件が成立したと判定した場合、制御部１１はステップＳ１６４の発光停止命令送信処理として、電子ペン２に発光部２１の発光停止を指示する発光制御命令を送信し、図１８に示す一連の処理を終える。

　なお、第一実施形態では、電子ペン２の傾き状態の推定において姿勢検出部の姿勢検出結果を用いる例として、電子ペン２に設けられた動きセンサの検出信号に基づく姿勢検出結果を用いる例を挙げたが、この場合における姿勢検出部は、このように電子ペン２に設けられた動きセンサの検出信号に基づき姿勢情報を検出するものに限定されない。例えば、電子ペン２を撮像した撮像画像に基づき、電子ペン２の姿勢情報検出を行うものを挙げることができる。この場合、電子ペン２に動きセンサを設ける必要はない。また、姿勢検出のために電子ペン２を撮像するカメラは、カメラ４と兼用することも可能である。

<２．第二実施形態>
［2-1．第二実施形態としての入力システムの構成］

　続いて、第二実施形態について説明する。
　第二実施形態は、光スポットＳｐについての画像解析により電子ペン２の傾き状態を推定するものである。
　なお、以下の説明において、既に説明済みとなった部分と同様となる部分については同一符号を付して説明を省略する。

　図１９は、第二実施形態としての電子ペン２Ａの内部構成例を示したブロック図、図２０は、第二実施形態としての情報処理装置１Ａの内部構成例を示したブロック図である。
　図１９において、電子ペン２Ａは、図３に示した電子ペン２と比較して、センサ部２５が省略された点と、制御部２３に代えて制御部２３Ａが設けられた点が異なる。
　制御部２３Ａは、制御部２３と比較して、姿勢算出部２３ｃが省略された点が異なる。

　第二実施形態では、傾き状態の推定がカメラ４による撮像画像の画像解析で行われるため、第一実施形態のように傾き状態の推定に動きセンサを用いる必要はなく、また、動きセンサの検出信号に基づき電子ペン２Ａの姿勢情報を算出する必要もない。このため、上記のようにセンサ部２５及び姿勢算出部２３ｃが省略された構成となっている。

　図２０において、情報処理装置１Ａは、図６に示した情報処理装置１と比較して、制御部１１に代えて制御部１１Ａが設けられた点が異なる。
　制御部１１Ａは、制御部１１と比較して、姿勢合わせ処理部１１ｅが省略された点、及び、傾き推定部１１ｄに代えて傾き推定部１１ｄＡが設けられた点、及びキャリブレーション処理部１１ｇに代えてキャリブレーション処理部１１ｇＡが設けられた点が異なる。

　電子ペン２Ａの傾き状態の推定にあたり電子ペン２Ａの姿勢情報を用いる必要がないため、上記のように姿勢合わせ処理部１１ｅが省略された構成が採られている。
　傾き推定部１１ｄＡ、及びキャリブレーション処理部１１ｇＡは、それぞれ電子ペン２Ａの傾き状態の推定処理として、以降で説明するように光スポットＳｐについての画像解析による推定処理を行う点が傾き推定部１１ｄ、キャリブレーション処理部１１ｇと異なる。

　また、第二実施形態では、姿勢合わせ処理が不要であるため、メモリ部１５において座標変換情報１５ａは記憶されていない。

［2-2．第二実施形態としての傾き状態の推定手法］

　図２１は、第二実施形態としての傾き状態の推定手法の説明図である。
　先ず、この場合における傾き状態の推定にあたっては、カメラ４による撮像画像について、図２１Ａから図２１Ｂへの遷移として示す射影変換を伴う投影領域の切り出し処理、及び切り出し後の画像について図７Ｃに示す二値化処理、及び二値化後の画像について図７Ｄに示す光スポットＳｐの輪郭Ｏｌの検出処理を行う。これら切り出し処理、二値化処理、及び光スポットＳｐの輪郭Ｏｌの検出処理については図７で説明したものと同様となるため重複説明は避ける。

　この場合は、図２１Ｄに示す輪郭Ｏｌの検出後、この輪郭Ｏｌの形状に対して楕円フィッティングを行う（図２１Ｅ）。これにより、楕円の長軸の線分Ｖ_ｍ０＾－（「Ｖ_ｍ０＾－」は「Ｖ_ｍ０」上に「－」を配置した記号を意味する）と、短軸の線分Ｖ_ｍ１＾－（「Ｖ_ｍ１＾－」は「Ｖ_ｍ１」上に「－」を配置した記号を意味する）を得ることができる。ここで、或る形状に対する楕円フィッティングを行う手法については公知の技術を用いればよい。例えば、「http://opencv.jp/sample/computational_geometry.html」に示された手法等を用いることが考えられる。

　また、このように楕円フィッティングで求められた楕円についての長軸の線分Ｖ_ｍ０＾－、及び短軸の線分Ｖ_ｍ１＾－を求める一方で、この場合は、図２１Ｂの切り出し処理後の画像について、光スポットＳｐ内における輝度変化方向（具体的には輝度が低下していく方向）を示す輝度変化ベクトルＶ_１＾→（「Ｖ_１＾→」は「Ｖ_１」上に「→」を配置した記号を意味する）を算出する。これは、電子ペン２が発光している場所は高輝度に、そこから離れるほど輝度が小さくなることから、輝度変化を求めることで電子ペン２の傾き方向ψを推定するためである。

　電子ペン２の傾き方向ψを決めるにあたっては、上記の楕円フィッティングで算出された長軸の線分Ｖ_ｍ０＾－、及び短軸の線分Ｖ_ｍ１＾－と、輝度変化ベクトルＶ_１＾→とを比較し、輝度変化方向に最も近い線分のベクトルを求める。これは、輝度変化ベクトルＶ_１＾→と線分の各方向との内積が最も小さいものに該当する。これにより輝度変化だけでなく、形状も加味して電子ペン２の入力方向をロバストに推定することができる。図２１Ｆでは、線分Ｖ_ｍ０＾－のベクトルＶ_ｍ０＾→が最終的に特定されたベクトルとなっており、これを基準となる軸（例えばＸｓ軸）からの角度ψに変換して、電子ペン２の傾き方向ψを求める。

　傾き角度θについては、線分Ｖ_ｍ０＾－のベクトルＶ_ｍ０＾→の長さ、すなわち、輝度変化方向に最も近い線分のベクトルの長さから推定する。この推定には、ベクトルの長さと傾き角度θとの対応関係を示す関数ｆを用いることが考えられる。この場合、傾き角度θは、図２１Ｆに示すように「θ＝ｆ（｜Ｖ_ｍ０＾→｜）」により求める。

　ここで、傾き角度θの推定においては、上記した関数ｆではなく、ベクトルの長さと傾き角度θとの対応関係を示すテーブル情報を用いることもできる。ベクトルの長さと傾き角度θとの対応関係は、予めキャリブレーションにより求めておくことが考えられる。

［2-3．キャリブレーション処理について］

　図２２は、制御部１１Ａがキャリブレーション処理部１１ｇＡとして実行する第二実施形態としてのキャリブレーション処理の全体的な流れを示したフローチャートである。
　先の図１６に示した処理との差は、ステップＳ１１２の座標補正テーブル更新処理に代えて、ステップＳ１１２’の座標補正テーブル更新処理を行う点である。

　図２３は、ステップＳ１１２’の座標補正テーブル更新処理の例を示したフローチャートである。
　先ず、ステップＳ１２０からＳ１２１の処理については、図１７で説明したものと同様となるため説明を省略する。
　この場合、制御部１１Ａは、ステップＳ１２２で電子ペン２の入力が検出されたと判定した場合に、ステップＳ１４０で光スポット画像解析により電子ペン２の傾き状態を推定する処理を行う。具体的には、先の図２１を参照して説明した手法により、カメラ４による撮像画像に基づき傾き角度θ及び傾き方向ψを推定する。

　ステップＳ１４０の処理を実行したことに応じ、制御部１１ＡはステップＳ１２５に処理を進めて、ｊ番目の傾き状態と一致したか否かを判定し、ｊ番目の傾き状態と一致していなければステップＳ１２２に戻り、ｊ番目の傾き状態と一致していればステップＳ１２６で暫定入力位置Ｐｒの検出を行う。

　ステップＳ１２６による暫定入力位置Ｐｒの検出処理を実行したことに応じ、制御部１１ＡはステップＳ１２７以降の処理を実行するが、ステップＳ１２７以降の処理については図１７で説明したものと同様となるため説明を省略する。

　なお、第二実施形態において、座標補正テーブル１５ｂとしては、図２４に例示するように輝度変化方向に最も近い線分のベクトル（図中｜ｖ＾→｜：「ｖ＾→」は「ｖ」上に「→」を配置した符号を意味する）を格納した情報とすることもできる。
　この場合、以下で説明する暫定入力位置Ｐｒの補正では、電子ペン２の傾き推定処理において、傾き角度θまでを算出せず、｜ｖ＾→｜に基づいてテーブルから対応する座標補正値を取得することが可能となる。

［2-4．入力位置検出のための処理手順］

　図２５は、制御部１１Ａが電子ペン２の使用時に対応して行う第二実施形態としての入力位置検出のための処理手順の例を示したフローチャートである。
　先ず、図中のステップＳ１５０からＳ１５４までの処理については図１８の場合と同様となるため説明を省略する。

　制御部１１Ａは、ステップＳ１５４の暫定入力位置Ｐｒの検出処理を行ったことに応じて、ステップＳ１７０に処理を進めて光スポット画像解析により電子ペン２の傾き状態を推定する処理を行う。すなわち、図２１を参照して説明した手法により、カメラ４による撮像画像に基づき傾き角度θ及び傾き方向ψを推定する。

　そして、制御部１１Ａは、ステップＳ１７０の推定処理を実行したことに応じて、ステップＳ１６０以降の処理を実行する。なお、ステップＳ１６０以降、ステップＳ１６４までの処理については図１８の場合と同様となるため説明を省略する。

　上記のような第二実施形態によれば、電子ペン２の傾き状態の推定のためには光スポットＳｐを撮像した撮像画像が取得されればよく、電子ペン２に対して動きセンサを設ける必要をなくすことが可能となる。動きセンサの検出信号に基づく傾き状態の推定を行う必要がなくなることから、前述した姿勢合わせ処理（図１１、Ｓ１５７）や姿勢合わせ処理結果に基づく座標変換処理（Ｓ１２４、Ｓ１５８）を行う必要もなくなり、情報処理装置１Ａの処理負担軽減を図ることができる。

　なお、上記では、光スポットＳｐの画像解析による傾き状態の推定について、光スポットＳｐに対する楕円フィッティングを行う手法を例示したが、それ以外にも、例えば光スポットＳｐの画像から傾き角度θや傾き方向ψを判定するように機械学習された判定器を用いる手法を挙げることができる。例えば、観測される光スポットＳｐの画像に対して正解の傾き角度θ及び傾き方向ψを学習させ、判定器を生成することができる。実使用時は、観測した光スポットＳｐの画像を判定器に入力することで傾き角度θ及び傾き方向ψを求めることができる。

<３．変形例>

　ここで、実施形態としては上記で説明した具体例に限定されるものではなく、多様な変形例としての構成を採り得るものである。
　例えば、電子ペン２の傾き状態と補正値との対応関係を把握するためのキャリブレーション処理について、上記では、入力面Ｓの分割領域ごとにキャリブレーションを行う例を挙げたが、領域分割はせず入力面Ｓ上の代表位置でのみキャリブレーションを行ってもよい。

　また、キャリブレーション処理については、入力面Ｓの投影領域とそれを撮像するカメラ４との位置関係によって作業の簡易化を行ってもよい。
　図２６に説明図を示す。
　図２６Ａは、投影領域に対してカメラ４が真正面から撮像しているケースである。この場合、カメラ４により撮像された投影領域に歪みが生じていない。そのため、キャリブレーションする領域は投影領域の中央一カ所のみで行ってもよい。これは、カメラ４により撮像された投影領域に歪みが生じていないことから、全箇所で均一に電子ペン２の光が観測されるとみなしても、精度への影響が小さいと考えられるためである。
　また、この際のキャリブレーションする電子ペン２の傾き方向ψに関しても、全周の１／４である９０度分の傾き方向ψが観測できればよい。これは、カメラ４から見た投影領域は正対して観測されるためである。キャリブレーションした９０度分の結果に基づき、他の傾き方向ψについての補正値を補間することができる。

　図２６Ｂは、投影領域に対して水平方向に斜めに観測しているケースである。この場合、カメラ４により撮像された投影領域の水平方向に歪みが生じる。そのため、例えば、キャリブレーション領域を縦方向に３分割して行う。これは、図中の領域<１>はカメラ４に近い領域、領域<３>はカメラ４から遠い領域にあたり、それぞれで電子ペン２の光の見え方が異なる可能性があるためである。
　また、この際のキャリブレーションする電子ペン２の傾き方向ψに関しては、全周の１／２である１８０度分の向き（上半分か下半分）が分かればよい。これは、カメラ４から見た投影領域は、上下の歪みがなく観測されるからである。キャリブレーションした１８０度分の結果に基づき、他の傾き方向ψについての補正値を補間することができる。

　図２６Ｃは、投影領域に対して垂直方向に斜めに観測しているケースである。この場合、カメラ４により撮像された投影領域の垂直方向に歪みが生じる。そのため、例えばキャリブレーション領域を横方向に３分割して行う。これは、図中の領域<１>はカメラ４から遠い領域、領域<３>はカメラに近い領域にあたり、それぞれで電子ペン２の光の見え方が異なる可能性があるためである。
　この際のキャリブレーションする電子ペン２の傾き方向ψに関しては、全周の１／２である１８０度分の向き（右半分か左半分）が分かればよい。これは、カメラ４から見た投影領域は、左右の歪みなく観測されるからである。キャリブレーションした１８０度分の結果に基づき、他の傾き方向ψについての補正値を補間することができる。

　ここで、カメラ４と投影領域との位置合わせの際には、カメラ４から観測される投影領域が水平方向、垂直方向にどれだけ歪んでいるかを算出することができる。その歪みの状態をもとに、図２６Ａから図２６Ｃのような必要最低限のキャリブレーション作業を選定してもよい。

　また、これまでの説明では、一つの平面に対するキャリブレーション処理を想定していたが、プロジェクタ装置３として、前述したような駆動機構を有するプロジェクタ装置３を用いたシステムでは、複数の面に対して画像投影することが可能である。そのため、登録する投影面ごとにキャリブレーション処理を行い、それら投影面ごとの複数の座標補正テーブル１５ｂをメモリ部１５に記憶しておき、現在の投影面に合わせて参照する座標補正テーブル１５ｂを変えてもよい。

　また、座標補正テーブル１５ｂに関して、格納する傾き状態ごとの補正値としては、キャリブレーションで求めることに限定されず、例えば、設計値等から計算により求められた値を格納してもよい。

　また、第一実施形態と第二実施形態を組み合わせることが可能である。
　例えば、電子ペン２の動きセンサが何らかの理由で故障して利用できない場合に、第二実施形態で説明した、光スポットＳｐの画像解析による傾き状態の推定処理を行うといったことを挙げることができる。或いは、光スポットＳｐの画像解析から電子ペン２の傾き状態の推定が困難な状況では第一実施形態で説明した傾き状態推定手法を採用するといったことも可能である。
　このように、状況に合わせて傾き状態の推定手法を切り替えることで、よりロバストに入力位置検出を行うことができる。

　上記では、電子ペン２の姿勢は起動時に定義される電子ペン座標系からの相対的な回転量を算出できることを述べた。そのため、入力面座標系における電子ペンの姿勢情報に変換する回転行列を姿勢合わせ処理として行っている。
　これに対し、電子ペン２が入力面座標系に対して既知の場所に配置される構造を有してもよい。例えば、スクリーン座標系のＹｓ軸（図９Ｂ参照）と平行になるように電子ペン２を収納するボックスを設ける等により、電子ペン２が起動したときの座標系と入力面座標系との相対回転量を既知とすることができ、電子ペン２の姿勢を入力面座標系に変換することができる。これにより、図１０や図１１で述べた姿勢合わせのための作業や処理を省略することができる。

　また、電子ペン２の電池残量によって、座標補正値を修正することも考えられる。
　電子ペン２は、電池残量によって発光部２１の発光量や発光強度が低下し、カメラ４で観測される光スポットＳｐの強度が変化し得る。このため、電子ペン２の電池残量を考慮した暫定入力位置Ｐｒの補正を行う。この場合、電子ペン２から情報処理装置１（又は１Ａ）には電池残量を通知する仕組みを設け、電池残量に応じて座標補正値を修正することでこれを実現できる。具体的には、電池残量に応じて変化する変数（０．０から１．０の値をとり、電池残量が少なくなるほど小さくなる）を設け、その値を座標補正値に乗算することで補正値の修正が可能である。

　また、第一実施形態では、電子ペン２に設けた動きセンサの検出信号に基づき姿勢を算出していたが、電子ペン２のペン先に感圧センサを設けてもよい。入力面Ｓに対する電子ペン２の傾きによって感圧センサの値（押し付けられ方)が変わるため、感圧センサの値と電子ペン２の傾き状態とを対応させたテーブル情報を作成することで、電子ペン２の傾きを推定することができる。

　また、電子ペン２のペン先および根本（ペン先と反対側の端）にマーカを付与し、それを複数のカメラで撮像することで、三次元的な電子ペン２の方向および傾きを検出することができる。これにより、第一実施形態では電子ペン２に動きセンサを設けて姿勢を算出していたが、外部に取り付けられたカメラによって姿勢を算出することができる。

　また、これまでの説明では、本技術に係る入力装置の例として電子ペン２を挙げたが、本技術に係る入力装置は、例えばレーザポインタのように、遠隔から入力面Ｓに向けて投光によるポインティングを行うような装置形態もあり得る。
　図２７では、このようなポインティングデバイスの例として、拳銃型のポインティングデバイス２’の例を示している。

　また、これまでの説明では、入力面Ｓに対して画像を表示する表示装置としてプロジェクタ装置３を用いる例を挙げたが、表示装置としては、液晶ディスプレイ装置や有機ＥＬディスプレイ装置等のディスプレイ装置を用いることもできる。この場合、ディスプレイ装置の表示面を入力面Ｓとすることが考えられる。また、表示装置としては、入力面Ｓに対して反対側から画像投影を行うリアプロジェクション型のプロジェクタ装置を用いることもできる

<４．実施形態のまとめ>

　上記のように実施形態の情報処理装置（同１，１Ａ）は、発光部を有する入力装置（電子ペン２又は２Ａ）が発した光によって入力面に形成される光スポットを入力面の撮像画像に基づき検出し、光スポット内における所定の代表位置を入力位置の暫定位置である暫定入力位置として検出する位置検出部（同１１ｃ）と、入力装置の姿勢変化に連動して変化する姿勢変化連動情報（例えば、動きセンサの検出信号、又は光スポットＳｐを撮像するカメラ４の撮像画像）に基づき、入力面に対する入力装置の傾き状態を推定する傾き推定部（同１１ｄ、１１ｄＡ）と、傾き推定部が推定した入力装置の傾き状態に基づいて、暫定入力位置を補正する補正部（位置補正部１１ｆ）と、を備えるものである。
　これにより、入力装置が入力面に対して傾いた場合には、暫定入力位置が入力装置の傾き状態に基づいて補正される。
　従って、入力位置の検出精度向上を図ることができる。

　また、実施形態としての情報処理装置においては、位置検出部は、光スポットの中心位置を暫定入力位置として検出している。
　これにより、暫定入力位置の検出は、入力面上に形成される光スポットの中心位置を検出するという簡易な処理で実現される。
　従って、暫定入力位置の検出に係る処理負担軽減を図ることができる。

　さらに、実施形態としての情報処理装置においては、補正部は、入力装置の傾き状態と暫定入力位置の補正値との対応関係を示すテーブル情報（座標補正テーブル１５ｂ）に基づき、傾き推定部が推定した入力装置の傾き状態に対応する補正値を取得し、取得した補正値に基づいて暫定入力位置の補正を行っている。
　これにより、入力装置の傾き状態に応じた暫定入力位置の補正にあたり、傾き状態から補正値を都度算出する処理を不要とすることが可能となる。
　従って、暫定入力位置の補正に係る処理負担軽減を図ることができる。また、暫定入力位置の補正までを含めた入力位置検出に要する時間の短縮化を図ることができる。

　さらにまた、実施形態としての情報処理装置においては、入力装置による入力位置を入力面上の既知の位置に一致させた状態において、入力装置の傾き状態を複数の異なる傾き状態に変化させたときの暫定入力位置を位置検出部に検出させ、各傾き状態で検出された暫定入力位置と既知の位置との差分値を傾き状態ごとの補正値として算出するキャリブレーション処理を行うキャリブレーション処理部（同１１ｇ、１１ｇＡ）を備えている。
　上記のようなキャリブレーション処理を行うことで、暫定入力位置の補正に用いるテーブル情報としてユーザによる使用環境に適したテーブル情報を生成することが可能となる。
　従って、暫定入力位置の補正精度向上を図ることができ、入力位置の検出精度向上を図ることができる。

　また、実施形態としての情報処理装置においては、キャリブレーション処理部は、入力面を分割して形成される複数の領域ごとにキャリブレーション処理を行っている。
　これにより、入力装置の傾き状態と補正値との対応関係が入力面の領域ごとに変化する場合であっても、領域ごとに適切なテーブル情報を生成することが可能となる。
　従って、暫定入力位置の補正精度向上を図ることができ、入力位置の検出精度向上を図ることができる。

　さらに、実施形態としての情報処理装置においては、キャリブレーション処理部は、位置検出部に暫定入力位置を検出させていない傾き状態についての補正値を、位置検出部に暫定入力位置を検出させた傾き状態について算出した補正値から補間して求めている。
　これにより、キャリブレーションにおいて傾き状態を変化させる回数の削減が図られる。
　従って、キャリブレーションに要する作業負担の軽減を図ることができる。

　さらにまた、実施形態としての情報処理装置においては、キャリブレーション処理部は、既知の位置をガイドする情報（図１４のマークＭｃ）を入力面上に表示する処理を行っている。
　これにより、キャリブレーション時において入力装置による入力位置を入力面上の何れの位置に合わせればよいかをガイドすることが可能となる。
　従って、キャリブレーションに要する作業についての容易性の向上、及び作業効率の向上を図ることができる。

　また、実施形態としての情報処理装置においては、キャリブレーション処理部は、目標とする傾き状態をガイドする情報を入力面上に表示する処理を行っている（図１４参照）。
　これにより、キャリブレーション時において入力装置を入力面に対してどのように傾ければよいかをガイドすることが可能となる。
　従って、キャリブレーションに要する作業についての容易性の向上、及び作業効率の向上を図ることができる。

　さらに、実施形態としての情報処理装置においては、キャリブレーション処理部は、目標とする傾き状態と傾き推定部が推定した傾き状態との差異を示す情報を入力面上に表示する処理を行っている。
　これにより、キャリブレーション時において入力装置を入力面に対してどのように傾ければよいかを適切にガイドすることが可能となる。
　従って、キャリブレーションに要する作業についての容易性の向上、及び作業効率の向上を図ることができる。

　さらにまた、実施形態としての情報処理装置においては、ペン型の入力装置について、暫定入力位置の検出、傾き状態の推定、及び暫定入力位置の補正を行っている。
　これにより、ペン型の入力装置による位置入力を可能とする入力システムについて、入力位置の検出精度向上を図ることができる。

　また、実施形態としての情報処理装置においては、傾き推定部は、入力装置の姿勢検出を行う姿勢検出部による姿勢検出結果に基づいて傾き状態を推定している。
　姿勢検出部としては、例えば入力装置に設けられた加速度センサや角速度センサ等の動きセンサによる検出信号に基づき姿勢検出を行うものや、入力装置を撮像した撮像画像に基づき姿勢検出を行うものを挙げることができる。
　上記のように姿勢検出部による姿勢検出結果を用いることで、入力装置の傾き状態を適切に推定することができる。

　さらに、実施形態としての情報処理装置においては、姿勢検出部（センサ部２５及び姿勢算出部２３ｃ）は、入力装置に設けられて入力装置の動きを検出する動きセンサの検出信号に基づいて入力装置の姿勢情報を検出し、傾き推定部（同１１ｄ）は、姿勢検出部が検出した入力装置の姿勢情報を入力面の座標系における姿勢情報に変換し、変換後の姿勢情報に基づいて傾き状態を推定している。
　これにより、入力装置で検出される姿勢情報の座標系が入力面の座標系と一致しない場合であっても、入力面の座標系に適切に変換される。
　従って、入力装置の傾き状態を適切に推定することができる。

　さらにまた、実施形態としての情報処理装置においては、傾き推定部（同１１ｄＡ）は、光スポットについての画像解析により傾き状態を推定している。
　入力面に対する入力装置の傾き状態が変化すると、光スポットの形状や輝度分布に変化が生じる。このため、上記のように光スポットについての画像解析を行うことで、入力装置の傾き状態を推定することが可能である。
　上記構成によれば、入力装置の傾き状態の推定のためには光スポットを撮像した撮像画像が取得されればよく、入力装置に対して姿勢検出部を設ける必要をなくすことが可能となる。そのため、入力装置の部品点数削減を図ることができ、入力装置の小型化、軽量化やコスト削減を図ることができる。
　また、入力装置の省電力化を図ることができ、同じ充電容量であってもより長時間の入力装置の利用が可能となる。

　また、実施形態としての情報処理装置においては、傾き推定部は、光スポットの形状を解析した結果に基づいて傾き状態を推定している（図２１参照）。
　入力装置の傾き状態が変化すると、光スポットの形状が変化する。
　従って、上記のように光スポットについての形状解析結果に基づき入力装置の傾き状態を推定する構成とすることで、入力装置の傾き状態を適切に推定することができる。

　さらに、実施形態としての情報処理装置においては、傾き推定部は、光スポットの輝度変化方向の検出結果に基づき入力装置の傾き方向を推定し、光スポットに対する楕円フィッティング処理で求められた楕円の長軸又は短軸のうち傾き方向に対応する軸の長さに基づき入力装置の傾き角度を推定している（図２１参照）。
　入力面に対する入力装置の傾き方向が変化すると、光スポットにおける輝度変化方向が変化し、また、入力面に対する入力装置の傾き角度が変化すると、光スポットを楕円とみなした際の長軸、短軸の長さが変化する。
　従って、上記構成によれば、入力面に対する入力装置の傾き方向、傾き角度を適切に推定することができる。

　また、実施形態としての情報処理方法は、情報処理装置が、発光部を有する入力装置が発した光によって入力面に形成される光スポットを入力面の撮像画像に基づき検出し、光スポット内における所定の代表位置を入力位置の暫定位置である暫定入力位置として検出し、入力装置の姿勢変化に連動して変化する姿勢変化連動情報に基づき、入力面に対する入力装置の傾き状態を推定し、推定した入力装置の傾き状態に基づいて、暫定入力位置を補正する情報処理方法である。
　このような情報処理方法によっても、上記した実施形態としての情報処理装置と同様の作用及び効果を得ることができる。

　なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。

<５．本技術>

　本技術は以下のような構成も採ることができる。
（１）
　発光部を有する入力装置が発した光によって入力面に形成される光スポットを前記入力面の撮像画像に基づき検出し、前記光スポット内における所定の代表位置を入力位置の暫定位置である暫定入力位置として検出する位置検出部と、
　前記入力装置の姿勢変化に連動して変化する姿勢変化連動情報に基づき、前記入力面に対する前記入力装置の傾き状態を推定する傾き推定部と、
　前記傾き推定部が推定した前記入力装置の傾き状態に基づいて、前記暫定入力位置を補正する補正部と、を備える
　情報処理装置。
（２）
　前記位置検出部は、
　前記光スポットの中心位置を前記暫定入力位置として検出する
　前記（１）に記載の情報処理装置。
（３）
　前記補正部は、
　前記入力装置の傾き状態と前記暫定入力位置の補正値との対応関係を示すテーブル情報に基づき、前記傾き推定部が推定した前記入力装置の傾き状態に対応する前記補正値を取得し、取得した前記補正値に基づいて前記暫定入力位置の補正を行う
　前記（１）又は（２）に記載の情報処理装置。
（４）
　前記入力装置による入力位置を入力面上の既知の位置に一致させた状態において、前記入力装置の傾き状態を複数の異なる傾き状態に変化させたときの前記暫定入力位置を前記位置検出部に検出させ、各前記傾き状態で検出された前記暫定入力位置と前記既知の位置との差分値を前記傾き状態ごとの前記補正値として算出するキャリブレーション処理を行うキャリブレーション処理部を備えた
　前記（３）に記載の情報処理装置。
（５）
　前記キャリブレーション処理部は、
　前記入力面を分割して形成される複数の領域ごとに前記キャリブレーション処理を行う
　前記（４）に記載の情報処理装置。
（６）
　前記キャリブレーション処理部は、
　前記位置検出部に前記暫定入力位置を検出させていない前記傾き状態についての前記補正値を、前記位置検出部に前記暫定入力位置を検出させた前記傾き状態について算出した前記補正値から補間して求める
　前記（４）又は（５）に記載の情報処理装置。
（７）
　前記キャリブレーション処理部は、
　前記既知の位置をガイドする情報を前記入力面上に表示する処理を行う
　前記（４）から（６）の何れかに記載の情報処理装置。
（８）
　前記キャリブレーション処理部は、
　目標とする前記傾き状態をガイドする情報を前記入力面上に表示する処理を行う
　前記（４）から（７）の何れかに記載の情報処理装置。
（９）
　前記キャリブレーション処理部は、
　目標とする前記傾き状態と前記傾き推定部が推定した前記傾き状態との差異を示す情報を前記入力面上に表示する処理を行う
　前記（８）に記載の情報処理装置。
（１０）
　ペン型の前記入力装置について、前記暫定入力位置の検出、前記傾き状態の推定、及び前記暫定入力位置の補正を行う
　前記（１）から（９）の何れかに記載の情報処理装置。
（１１）
　前記傾き推定部は、
　前記入力装置の姿勢検出を行う姿勢検出部による姿勢検出結果に基づいて前記傾き状態を推定する
　前記（１）から（１０）の何れかに記載の情報処理装置。
（１２）
　前記姿勢検出部は、前記入力装置に設けられて前記入力装置の動きを検出する動きセンサの検出信号に基づいて前記入力装置の姿勢情報を検出し、
　前記傾き推定部は、
　前記姿勢検出部が検出した前記入力装置の姿勢情報を前記入力面の座標系における姿勢情報に変換し、変換後の前記姿勢情報に基づいて前記傾き状態を推定する
　前記（１１）に記載の情報処理装置。
（１３）
　前記傾き推定部は、
　前記光スポットについての画像解析により前記傾き状態を推定する
　前記（１）から（１２）の何れかに記載の情報処理装置。
（１４）
　前記傾き推定部は、
　前記光スポットの形状を解析した結果に基づいて前記傾き状態を推定する
　前記（１３）に記載の情報処理装置。
（１５）
　前記傾き推定部は、
　前記光スポットの輝度変化方向の検出結果に基づき前記入力装置の傾き方向を推定し、前記光スポットに対する楕円フィッティング処理で求められた楕円の長軸又は短軸のうち前記傾き方向に対応する軸の長さに基づき前記入力装置の傾き角度を推定する
　前記（１３）又は（１４）に記載の情報処理装置。
（１６）
　情報処理装置が、
　発光部を有する入力装置が発した光によって入力面に形成される光スポットを前記入力面の撮像画像に基づき検出し、前記光スポット内における所定の代表位置を入力位置の暫定位置である暫定入力位置として検出し、
　前記入力装置の姿勢変化に連動して変化する姿勢変化連動情報に基づき、前記入力面に対する前記入力装置の傾き状態を推定し、
　推定した前記入力装置の傾き状態に基づいて、前記暫定入力位置を補正する
　情報処理方法。

１００　入力システム
１，１Ａ　情報処理装置
２，２Ａ　電子ペン
ｏｂ　入力対象物
Ｓ　入力面
１１，１１Ａ　制御部
１１ａ　電子ペン管理部
１１ｂ　入出力画像管理部
１１ｃ　位置検出部
１１ｄ，１１ｄＡ　傾き推定部
１１ｅ　姿勢合わせ処理部
１１ｆ　位置補正部
１１ｇ，１１ｇＡ　キャリブレーション処理部
１５　メモリ部
１５ａ　座標変換情報
１５ｂ　座標補正テーブル
２１　発光部
２２　スイッチ
２３，２３Ａ　制御部
２３ａ　発光制御部
２３ｂ　状態通知部
２３ｃ　姿勢算出部
２５　センサ部
Ｓｐ　光スポット
Ｏｌ　輪郭
Ｐｒ　暫定入力位置
Ｐｔ　真値
Ｍｃ　マーク
２’　ポインティングデバイス

Claims

　発光部を有する入力装置が発した光によって入力面に形成される光スポットを前記入力面の撮像画像に基づき検出し、前記光スポット内における所定の代表位置を入力位置の暫定位置である暫定入力位置として検出する位置検出部と、
　前記入力装置の姿勢変化に連動して変化する姿勢変化連動情報に基づき、前記入力面に対する前記入力装置の傾き状態を推定する傾き推定部と、
　前記傾き推定部が推定した前記入力装置の傾き状態に基づいて、前記暫定入力位置を補正する補正部と、を備える
　情報処理装置。
　前記位置検出部は、
　前記光スポットの中心位置を前記暫定入力位置として検出する
　請求項１に記載の情報処理装置。
　前記補正部は、
　前記入力装置の傾き状態と前記暫定入力位置の補正値との対応関係を示すテーブル情報に基づき、前記傾き推定部が推定した前記入力装置の傾き状態に対応する前記補正値を取得し、取得した前記補正値に基づいて前記暫定入力位置の補正を行う
　請求項１に記載の情報処理装置。
　前記入力装置による入力位置を入力面上の既知の位置に一致させた状態において、前記入力装置の傾き状態を複数の異なる傾き状態に変化させたときの前記暫定入力位置を前記位置検出部に検出させ、各前記傾き状態で検出された前記暫定入力位置と前記既知の位置との差分値を前記傾き状態ごとの前記補正値として算出するキャリブレーション処理を行うキャリブレーション処理部を備えた
　請求項３に記載の情報処理装置。
　前記キャリブレーション処理部は、
　前記入力面を分割して形成される複数の領域ごとに前記キャリブレーション処理を行う
　請求項４に記載の情報処理装置。
　前記キャリブレーション処理部は、
　前記位置検出部に前記暫定入力位置を検出させていない前記傾き状態についての前記補正値を、前記位置検出部に前記暫定入力位置を検出させた前記傾き状態について算出した前記補正値から補間して求める
　請求項４に記載の情報処理装置。
　前記キャリブレーション処理部は、
　前記既知の位置をガイドする情報を前記入力面上に表示する処理を行う
　請求項４に記載の情報処理装置。
　前記キャリブレーション処理部は、
　目標とする前記傾き状態をガイドする情報を前記入力面上に表示する処理を行う
　請求項４に記載の情報処理装置。
　前記キャリブレーション処理部は、
　目標とする前記傾き状態と前記傾き推定部が推定した前記傾き状態との差異を示す情報を前記入力面上に表示する処理を行う
　請求項８に記載の情報処理装置。
　ペン型の前記入力装置について、前記暫定入力位置の検出、前記傾き状態の推定、及び前記暫定入力位置の補正を行う
　請求項１に記載の情報処理装置。
　前記傾き推定部は、
　前記入力装置の姿勢検出を行う姿勢検出部による姿勢検出結果に基づいて前記傾き状態を推定する
　請求項１に記載の情報処理装置。
　前記姿勢検出部は、前記入力装置に設けられて前記入力装置の動きを検出する動きセンサの検出信号に基づいて前記入力装置の姿勢情報を検出し、
　前記傾き推定部は、
　前記姿勢検出部が検出した前記入力装置の姿勢情報を前記入力面の座標系における姿勢情報に変換し、変換後の前記姿勢情報に基づいて前記傾き状態を推定する
　請求項１１に記載の情報処理装置。
　前記傾き推定部は、
　前記光スポットについての画像解析により前記傾き状態を推定する
　請求項１に記載の情報処理装置。
　前記傾き推定部は、
　前記光スポットの形状を解析した結果に基づいて前記傾き状態を推定する
　請求項１３に記載の情報処理装置。
　前記傾き推定部は、
　前記光スポットの輝度変化方向の検出結果に基づき前記入力装置の傾き方向を推定し、前記光スポットに対する楕円フィッティング処理で求められた楕円の長軸又は短軸のうち前記傾き方向に対応する軸の長さに基づき前記入力装置の傾き角度を推定する
　請求項１３に記載の情報処理装置。
　情報処理装置が、
　発光部を有する入力装置が発した光によって入力面に形成される光スポットを前記入力面の撮像画像に基づき検出し、前記光スポット内における所定の代表位置を入力位置の暫定位置である暫定入力位置として検出し、
　前記入力装置の姿勢変化に連動して変化する姿勢変化連動情報に基づき、前記入力面に対する前記入力装置の傾き状態を推定し、
　推定した前記入力装置の傾き状態に基づいて、前記暫定入力位置を補正する
　情報処理方法。