JP5923588B2 - フラットパネルディスプレイ装置と画像センサを整合するための装置および方法と、その方法を用いて整合されたフラットパネルディスプレイ装置と画像センサを備える電子装置 - Google Patents

Description

本発明は、フラットパネルディスプレイ装置と画像センサを整合するための装置および方法に関するものであり、より詳細には、ユーザに画像を提供するフラットパネルディスプレイ装置とユーザの情報を取得する画像センサを相互に整合するための装置および方法に関するものである。

スマートフォンや、スマートＴＶなどのスマートデバイスが普及するにつれ、ユーザのジェスチャーに基づいたインタフェース方法に関して活発な研究が行われている。
現在のユーザのジェスチャインタフェース方法には、ユーザが画面に指などを直接接触させる接触センシング方法と、ユーザが画面に接触しなくても、例えば、カメラセンサなどの画像センサを用いて取得した情報を利用する非接触センシング方法がある。

しかし、現在の非接触センシング方法を利用したインタフェース方法は、ユーザの動きを単純に分析して、画面に提示される別のポインタを移動させて、アイコンを選択するグラフィカルユーザインタフェース（ＧＵＩ）の単純な拡張にとどまるのが一般的である。

最近、３Ｄテレビなどのようなユーザに３次元情報を提供する３次元ディスプレイ装置が普及している。
３次元ディスプレイ装置を用いて、ユーザによりリアルなインタフェース環境を提供するためには、ポインタなどを媒体にするのではなく、ユーザがアイコンなどの画像に直接手を出しているように感じさせる、一種の視覚的な「錯視効果」が提供される必要があり、そのための多様な方法が講じられている。

しかし、従来技術によれば、画像センサを用いて、ディスプレイ装置の画面に出力される画像とユーザを同時に観察して、ユーザに合わせて画像を補正する方法などが提供されている。

しかし、現在普及しているスマートフォンやスマートＴＶなどに含まれる画像センサは、画面と向き合うユーザや物体を観察できるように、ディスプレイ装置の画面と同一方向に配向され、画面に出力される画像を直接観察できない位置に配置されるのが一般的である。

このように、画像センサが画面の画像を直接観察できない機器においては、従来技術による方法の適応が難しく、画像を出力するディスプレイ装置とユーザや物体を観察する画像センサとの間の位置関係の設定が必要である。

米国特許第６５２７３９５号

本発明は、上述した従来技術の問題点を解決するためのものであり、フラット画面を備えるディスプレイ装置と、前記画面に出力される画像を直接観察できない位置に配置され、前記画面と向き合った物体を観察する画像センサを備える電子装置において、前記画像センサでデータ処理の基準となる前記画像センサの固有座標系（「センサ座標系」）と前記画面の画像出力の基準となる前記ディスプレイ装置の固有座標系（「ディスプレイ座標系」）との変換関係を求めて、前記センサ座標系と前記ディスプレイ座標系を相互変換できるように整合させるための装置および方法を提供することを目的とする。

上記目的を達成するために、本発明の一側面によれば、フラット画面を備えるディスプレイ装置と、前記画面に出力される画像を直接観察できない位置に配置され、前記画面と向き合った物体を観察する画像センサを備える電子装置において、センサ座標系とディスプレイ座標系の変換関係を求め、前記センサ座標系と前記ディスプレイ座標系を相互変換できるように整合させるための情報を提供できるように、カメラと、前記カメラと結合され、所定の第１パターンが図示されたパネルを含み、前記カメラが、前記画面に出力された画像を撮影して、前記カメラで撮影された画像データの処理基準となる前記カメラの固有座標系（「カメラ座標系」）と前記ディスプレイ座標系との変換関係を提供し、前記画像センサが、前記第１パターンを撮影して、前記パネル上に任意に設定された前記パネルの固有座標系（「パネル座標系」）と前記センサ座標系との変換関係を提供する整合補助装置が提供される。

本発明の一実施例によれば、前記カメラは、前記パネルに対して角度を変更可能に形成されて、前記パネルに対する姿勢を変更することができる。
本発明の他の側面によれば、前記整合補助装置を用いて前記センサ座標系と前記ディスプレイ座標系とを相互変換できるように整合させるための整合方法であって、前記画面に所定の第２パターンの画像を出力するステップａと、前記カメラと前記パネルの相対位置を維持したまま、前記整合補助装置を前記画像センサの撮影可能範囲内で複数の位置に移動させるステップｂと、前記複数の位置のそれぞれにおいて、前記カメラを用いて前記第２パターンを撮影し、前記画像センサを用いて前記第１パターンを撮影するステップｃと、前記カメラを用いて撮影した前記第２パターンに間する情報を用いて前記複数の位置のそれぞれにおける前記カメラ座標系と前記ディスプレイ座標系との変換関係を求めるステップｄと、前記画像センサを用いて撮影した前記第１パターンに関する情報を用いて前記複数の位置のそれぞれにおける前記パネル座標系と前記センサ座標系との変換関係を求めるステップｅと、前記センサ座標系、前記パネル座標系、前記カメラ座標系、および前記ディスプレイ座標系の連鎖的な変換関係を用いて、前記パネル座標系と前記カメラ座標系の固定された変換関係、前記カメラ座標系と前記ディスプレイ座標系の変換関係、前記センサ座標系と前記パネル座標系の変換関係、および前記ディスプレイ座標系と前記センサ座標系の固定された変換関係の関係式を提供するステップｆと、前記ステップｄとステップｅで求められた前記複数の位置のそれぞれにおける前記カメラ座標系と前記ディスプレイの変換関係と、前記複数の位置のそれぞれにおける前記パネル座標系と前記センサ座標系の変換関係を前記関係式に代入して前記ディスプレイ座標系と前記センサ座標系の固定された変換関係を求めるステップｇとを含む整合方法が提供される。

一実施例によれば、前記ステップａないしｇは、複数回繰り返され、前記整合方法は、それらの繰り返し工程で得られるすべての情報を利用した非線形最適化手法を介して最適化された前記ディスプレイ座標系と前記センサ座標系の変換関係式を求めるステップｈをさらに含むことができる。

前記ステップｂでは、整合補助装置が、３つ以上の位置に移動されることが好ましい。
また、前記ステップｂを実行する前に、前記パネルが前記センサを向くように配置されて、前記第１パターンが、前記センサによって観察されるようにし、前記カメラが、前記ディスプレイ装置の画面上の前記第２パターンを観察できるように、前記カメラと前記パネルの姿勢を調整して固定するステップをさらに含むことができる。

本発明の別の側面によれば、フラット画面を備えるディスプレイ装置と、前記画面に出力される画像を直接観察できない位置に配置され、前記画面と向き合った物体を観察する画像センサを備える電子装置であって、前記整合方法を用いて上記センサ座標系と前記ディスプレイ座標系が相互変換できるように整合された電子装置が提供される。

本発明の一実施例によれば、前記画像センサは、前記ディスプレイ装置に固定結合される。
また、前記ディスプレイ装置は、ユーザが実際に立体感を感じることができる３次元画像を提供する３次元ディスプレイ装置であることができる。

本発明に係るディスプレイ装置と画像センサを整合するためのシステムを説明する概略図である。 図１のシステムを用いて、ディスプレイ装置と画像センサを整合する方法を説明する概略図である。

以下、本発明の好適な実施例について添付図面を参照して説明する。本発明は、図面に示された実施例を参考に説明されたが、これは一つの実施例として説明されるものであり、これによって本発明の技術的思想と核心構成及び作用は限定されない。

図１は、本発明の一実施例に係るディスプレイ装置１０と、画像センサ２０を整合するためのシステムを説明する概略図であり、図２は、図１のシステムを用いてディスプレイ装置１０と画像センサ２０を整合する方法を説明するための概略図である。

ディスプレイ装置１０は、画像を出力するためのフラット画面１１を備える。ディスプレイ装置１０には、画面１１に出力される画像の基準となる任意の原点（Ｏ_Ｄｉｓ）を持つディスプレイ装置の固有座標系（「ディスプレイ座標系」）が設定されている。

ディスプレイ装置１０は、ユーザが実際の立体感を感じることができる３次元画像を提供する３次元ＴＶであることができる。
画像センサ２０は、カメラタイプのセンサとしてユーザや物体を撮影して、ユーザや物体に関する情報を収集する。

本実施例に係る画像センサ２０は、任意の原点（Ｏ_Ｓｅｃ）を持つ画像センサの固有座標系（「センサ座標系」）が設定されており、画像センサから取得されるユーザや物体の位置データは、センサ座標系を基準に処理される。

画像センサ２０は、画面１１と向き合ったユーザや物体を観察できるように配向されており、画面１１に出力される画像を直接観察できないように配置されている。
図１及び図２では、画像センサ２０がディスプレイ装置１０と分離されているが、画像センサ２０は、画面１１と同一方向に配向されるように、ディスプレイ装置１０に固定設置され得るものであることが理解されるべきである。

ディスプレイ装置１０の画面１１に出力される画像を鑑賞するユーザが手を伸ばして画像に直接手を出しているように感じることができる、一種の視覚的な「錯視効果」を提供するためには、例えば、画像センサ２０によって観察されたユーザの位置データに合わせて画面１１に出力される画像の位置などを適切に補正する必要がある。

このためには、センサ座標系とディスプレイ座標系で処理されるデータが相互変換できるように整合される必要がある。つまり、センサ座標系とディスプレイ座標系の変換関係を求めることが要求される。

本実施例によれば、センサ座標系とディスプレイ座標系の変換関係を求めるための情報を提供するために、整合補助装置３０が用いられる。
図１に示すように、整合補助装置３０は、カメラ３１と、前記カメラ３１と結合されるパネル３２とを含む。

図示していないが、カメラ３１とパネル３２は、支持台で床に支持されることができ、必要に応じて複数の位置に移動されることができる（図２参照）。
カメラ３１は、パネル３２に対して角度変更が可能で、パネル３２に対して様々な姿勢をとることができる。

カメラ３１には、撮影された画像データの処理の基準となる原点（Ｏ_Ｃａｍ）を持つカメラの固有座標系（「カメラ座標系」）が設定されている。
パネル３２の前面部には正方形の白黒の格子からなる第１パターンが図示されている。第１パターンと後述する第２パターンは、座標計算などの便宜のために白黒の格子を有するが、必ずしもこれに限定される必要はない。格子は、円形などの様々な形で実現しても所望の効果を得ることができるということは、当業者に理解されるところである。

ユーザは、パネル３２上に任意に設定された原点（Ｏ_Ｐａｔ）（例えば、第１パターンの格子のコーナー点のうち任意の一つ）を持つパネルの固有座標系（「パネル座標系」）を任意に設定して、パネル座標系における第１パターンの格子の各コーナー点の位置を座標化することができる。

図１に示すように、整合補助装置３０は、ディスプレイ装置１０と画像センサ２０の前面でカメラ３１はディスプレイ装置１０の画面１１を撮影し、パネル３２の第１パターンが画像センサ２０によって撮影されるように配置される。

整合補助装置３０は、カメラ３１を用いて画面１１に出力された画像（第２パターン）を撮影して、カメラ座標系と前記ディスプレイ座標系の変換関係を提供し、画像センサ２０が、前記第１パターンを撮影するようにすることで、パネル座標系と前記センサ座標系の変換関係を提供することによって、センサ座標系とディスプレイ座標系を相互変換できるように整合させるための情報を提供する。

以下、図２を参照して、整合補助装置３０を用いた整合方法をより具体的に説明する。
まず、ディスプレイ装置１０の画面１１に所定の第２パターンの画像を出力する（ステップａ）。第２パターンは、第１パターンと同様に、正方形の白黒の格子からなる。第２パターンの格子の各コーナー点の位置は、ディスプレイ座標系上で座標化されている。

整合補助装置３０のカメラ３１とパネル３２を所定の姿勢で固定した後、カメラ３１とパネル３２の相対位置を維持したまま、整合補助装置３０を、画像センサの撮影可能範囲内で複数の位置（ＡないしＤ）に移動させながら（ステップｂ）、複数の位置（ＡないしＤ）のそれぞれにおいて、カメラ３１を用いて前記第２パターンを撮影し、画像センサ２０を用いて、前記第１パターンを撮影する（ステップｃ）。

上述したように、カメラ３１は、パネル３２に対して角度の変更が可能であり、パネル３２に対して様々な姿勢をとることができる。したがって、例えば、図１に示すように、センサ２０がディスプレイ装置１０の左側に前方を指向して位置している場合、パネル３２は、センサ２０を向くように配置され、第１パターンがセンサ２０によってより容易に観察されるように調整して、カメラ３１は、パネル３２との角度を適切に変更してディスプレイ装置１０を容易に観察できる姿勢に調節されることができる。

もし、センサ２０がディスプレイ装置１０の上部から下部に向けて指向している場合には、パネル３２は、図１とは異なり、前方を向けながら、センサ２０を見るように調節されることができる。

このようにカメラ３１は、パネル３２に対して角度変更が可能であり、パネル３２に対して様々な姿勢をとれるように、整合補助装置３０を構成することによって、カメラ３１とパネル３２の相互の姿勢情報を予め知ることができない状況でも、様々なディスプレイ−センサ間の位置関係の取得に柔軟に対応できるようになる。

図１を参照すると、カメラ座標系からパネル座標系への変換式、ディスプレイ座標系からカメラ座標系への変換式、パネル座標系からセンサ座標系への変換式、およびセンサ座標系からディスプレイ座標系への変換式は、それぞれ行列式のＴ_{Ｐａｔ_Ｃａｍ}、Ｔ_{Ｃａｍ_Ｄｉｓ}、Ｔ_{Ｓｅｎ_Ｐａｔ}、Ｔ_{Ｄｉｓ_Ｓｅｎ}で表すことができる。各変換式で下付き文字の位置を変えると、その逆方向への変換を意味する。たとえば、ディスプレイ座標系からセンサ座標系への変換式は、Ｔ_{Ｓｅｎ_Ｄｉｓ}で表すことができる。

本実施例は、図１においてボックスで表示されているように、ディスプレイ座標系のセンサ座標系に対する変換関係（Ｔ_{Ｄｉｓ_Ｓｅｎ}）を求めようとするものである。
再び図２を参照すると、カメラ３１を用いて撮影した前記第２パターンの情報を用いて、複数の位置（ＡないしＤ）のそれぞれでのカメラ座標系とディスプレイ座標系の変換関係を求める（ステップｄ）。

カメラ座標系とディスプレイ座標系の変換関係は、平面格子である第２パターンのコーナー対応点抽出手法により求められる。平面格子パターンのコーナー対応点抽出によってカメラをキャリブレーション（Ｃａｌｉｂｒａｔｉｏｎ）して、カメラの内部パラメータ（ｉｎｔｒｉｎｓｉｃ ｐａｒａｍｅｔｅｒ）および歪みパラメータ（ｄｉｓｔｏｒｔｉｏｎ ｐａｒａｍｅｔｅｒ）を推定し、平面格子パターン座標系（本ステップでは、ディスプレイ座標系）とカメラ座標系の変換関係を求める方法は、すでに公知であるので、ここではその詳細な説明は省略する。

次に、画像センサ２０を用いて撮影した前記第１パターンに間する情報を用いて複数の位置（ＡないしＤ）のそれぞれにおけるパネル座標系とセンサ座標系の変換関係を求める（ステップｅ）。パネル座標系とセンサ座標系の変換関係は、平面格子である第１パターンのコーナー対応点抽出手法により求められる。

再び図１を参照すると、座標系の連鎖変換から、各座標系の変換関係は下記［数学式１］を満足することがわかる。

画像センサ２０は、ディスプレイ装置１０に対して、カメラ３１は、パネル３２に対して、位置固定された状態なので、上記の［数学式１］でＴ _{Ｄｉｓ＿Ｓｅｎ} とＴ _{Ｐａｔ＿Ｃａｍ} は固定された未知数である。

したがって、上記［数学式１］は、下記の［数学式２］のように表すことができる。

上記［数学式２］をまとめると、下記［数学式３］のように表すことができる。

各変換は、すべてユークリッド変換なので、上記の［数学式３］は、下記［数学式４］の形のユークリッド方程式で表現することができる。

前記ステップｄとステップｅを介して、少なくとも３つの位置に対するカメラ座標系とディスプレイ座標系の変換関係（すなわち、Ｔ_{Ｃａｍ_Ｄｉｓ}）とパネル座標系とセンサ座標系の変換関係（すなわち、Ｔ_{Ｓｅｎ_Ｐａｔ}）が知れば、上記［数学式４］のようなユークリッド方程式にまとめられる前記［数学式３］からディスプレイ座標系とセンサ座標系に対する変換関係（すなわち、Ｔ_{Ｄｉｓ_Ｓｅｎ}）を求める解法は、既に知られている。

すなわち、整合補助装置３０を少なくとも３つの位置に移動させると、ディスプレイ座標系とセンサ座標系に対する変換関係を求めることができる。
まとめると、センサ座標系、パネル座標系、カメラ座標系、およびディスプレイ座標系の連鎖的な変換関係を用いて、各座標系の変換関係の関係式（数学式３）を提供して（ステップｆ）、前記ステップｄとステップｅで求められた複数の位置（ＡないしＤ）のそれぞれでにおいて求められたカメラ座標系とディスプレイ座標系の変換関係と、パネル座標系とセンサ座標系の変換関係とをその関係式に代入して、ディスプレイ座標系とセンサ座標系の変換関係を求めることができる（ステップｇ）。

本実施例によれば、整合の信頼性を維持するために、前記ステップａないしｇを複数回繰り返し実行して、繰り返し工程で得られたすべての情報を利用した非線形最適化手法を介して最適化されたディスプレイ座標系のセンサ座標系に対する変換関係を求めることができる（ステップｈ）。

非線形最適化は、カメラによる再投影誤差（ｒｅｐｒｏｊｅｃｔｉｏｎ ｅｒｒｏｒ）を最小化するためのものであり、非線形最適化のためのコスト関数（Ｃｏｓｔ Ｆｕｎｃｔｉｏｎ）は、カメラの姿勢（Ｔ_{Ｃａｍ_Ｄｉｓ}）と、画像センサとディスプレイの変換関係（Ｔ_{Ｄｉｓ_Ｓｅｎ}）と、カメラとパネルの変換（Ｔ_{Ｃａｍ_Ｐａｔ}）を変数にして、カメラと画像センサの内部変数と歪み変数、カメラと画像センサの３ｄ−２ｄ対応点（カメラ３１は、Ｘ^ｊ _ｃａｍｉ<->ｘ^ｊ _ｃａｍｉ；画像センサは、Ｘ^ｊ _Ｓｅｎｉ<->ｘ^ｊ _Ｓｅｎｉ）を与えられた値にして、下記［数学式５］のように与えられる。

また、本実施例によれば、整合補助装置を用いて、画像センサとディスプレイ装置を一度整合させると、画像センサとディスプレイ装置を使用することにおいて、ユーザに視覚的な「錯視効果」を与えるための別途の装置を必要としなくなる。

したがって、本発明の一実施例のように、画像センサがディスプレイ装置に固定設置される場合、製造過程で画像センサとディスプレイ装置を整合することで充分であり、使用場所において画像センサとディスプレイ装置を再整合するなどの不要な作業を省略することができる。

本実施例に係る整合方法は、フラットパネルディスプレイを用いた家庭用バーチャルリアリティ環境、タッチ式の次世代ナチュラルユーザインタフェース（ＮＵＩ）、スマートフォンなどの小型家電製品を介したバーチャルリアリティ環境に広く応用されることができる。

本発明に係る実施形態における方法は、コンピュータにより具現される多様な動作を実行するためのプログラム命令を含むコンピュータ読取可能な記録媒体を含む。コンピュータ読取可能な記録媒体としては、プログラム命令、データファイル、データ構造などを単独または組合せて含むことができる。この媒体に記録されるプログラム命令は本発明のために特別に設計され構成されたものでもよく、コンピュータソフトウェアの当業者に公知され使用できるものでもよい。コンピュータ読取可能な記録媒体の例は、ハードディスク、フロッピーディスク及び磁気テープのような磁気媒体（ｍａｇｎｅｔｉｃ ｍｅｄｉａ）、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体（ｏｐｔｉｃａｌ ｍｅｄｉａ）、フロップティーカールディスク（Ｆｌｏｐｔｉｃａｌ ｄｉｓｋ）のような磁気−光媒体（ｍａｇｎｅｔｏ−ｏｐｔｉｃａｌ ｍｅｄｉａ）、及びリードオンリーメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリなどのようなプログラム命令を格納して行うように特別に構成されたハードウェア装置を含む。プログラム命令の例には、コンパイラーにより作られるような機械語コードだけでなく、インタープリターなどを使用してコンピュータによって実行されることのできる高級言語コードが含まれる。前述したハードウェア装置は本発明の動作を行うために一つ以上のソフトウェアモジュールとして作動するように構成されることができ、その逆も同様である。

以上のように、本発明では具体的な構成要素などのような特定事項と限定された実施形態及び図面により説明したが、これは本発明のより全体的な理解を助けるために提供されたものであり、本発明は前述の実施形態に限定されるものではなく、本発明が属する分野で通常的な知識を持った者であれば、このような記載から多様な修正及び変形が可能であるはずである。

以上、本発明の詳細な説明では具体的な実施形態について説明したが、本発明の要旨から逸脱しない範囲内で多様に変形できる。よって、本発明の権利範囲は、上述の実施形態に限定されるものではなく、特許請求の範囲の記載及びこれと均等なものに基づいて定められるべきである。

Claims (14)

1. ディスプレイ装置と画像センサを整合するための整合補助装置であって、
   カメラと、
   前記カメラと連動し、第１パターンが表示されるパネルと、
   前記カメラと前記パネルの位置や角度が調節されるようにして、前記パネルに表示される前記第１パターンが、前記画像センサを用いて撮影されるようにし、前記ディスプレイ装置の画面に出力されたパターンである第２パターンが、前記カメラを用いて撮影されるようにする制御部とを備え、
   前記制御部は、前記画像センサを用いて撮影された前記第１パターンに関する情報を利用して取得した前記パネル座標系と前記画像センサ座標系との間の変換関係に関する情報と、前記カメラを用いて撮影された前記第２パターンの情報を利用して取得した前記カメラ座標系と前記ディスプレイ装置の座標系との間の変換関係に関する情報を参照にして、前記ディスプレイ装置座標系と前記画像センサ座標系との間の変換関係に関する情報が取得されるようにして、前記ディスプレイ装置と前記画像センサが整合されるようにするために使用されて、
   前記カメラは、前記パネルに対して角度変更が可能であることを特徴とする整合補助装置。
2. 前記制御部は、
   前記取得された前記ディスプレイ装置座標系と前記画像センサ座標系との間の変換関係の情報を参照にして、前記ディスプレイ装置と前記画像センサを整合することを特徴とする請求項１記載の整合補助装置。
3. カメラと前記カメラと連動するパネルを含む整合補助装置を用いて、ディスプレイ装置と画像センサを整合するための方法であって、
   前記整合補助装置の前記パネルに表示されるパターンである第１パターンが、前記画像センサを用いて撮影されるようにして、前記ディスプレイ装置の画面に出力されるパターンである第２パターンが、前記整合補助装置の前記カメラを用いて撮影されるようにするステップａと、
   前記画像センサを用いて撮影された前記第１パターンの情報を利用して取得された前記パネル座標系と前記画像センサ座標系との間の変換関係に関する情報と、前記カメラを用いて撮影された前記第２パターンの情報を利用して取得された前記カメラ座標系と前記ディスプレイ装置座標系との間の変換関係に関する情報を参照にして、前記ディスプレイ装置座標系と前記画像センサ座標系との間の変換関係に関する情報が取得されるようにして、前記ディスプレイ装置と前記画像センサが整合することに用いられるようにするステップｂとを含んで、
   前記カメラは、前記パネルに対して角度変更が可能であることを特徴とする方法。
4. 前記取得された前記ディスプレイ装置座標系と、前記画像センサ座標系との間の変換関係に関する情報を参照にして、前記ディスプレイ装置と前記画像センサを整合するステップｃをさらに含む請求項３記載の方法。
5. カメラと前記カメラと連動するパネルを含む整合補助装置を用いて、ディスプレイ装置と画像センサを整合するための方法であって、
   前記整合補助装置の前記パネルに表示されるパターンである第１パターンが、前記画像センサを用いて撮影されるようにして、前記ディスプレイ装置の画面に出力されるパターンである第２パターンが、前記整合補助装置の前記カメラを用いて撮影されるようにするステップａと、
   前記画像センサを用いて撮影された前記第１パターンの情報を利用して取得された前記パネル座標系と前記画像センサ座標系との間の変換関係に関する情報と、前記カメラを用いて撮影された前記第２パターンの情報を利用して取得された前記カメラ座標系と前記ディスプレイ装置座標系との間の変換関係に関する情報を参照にして、前記ディスプレイ装置座標系と前記画像センサ座標系との間の変換関係に関する情報が取得されるようにして、前記ディスプレイ装置と前記画像センサが整合することに用いられるようにするステップｂとを含んで、
   前記ステップａは、
   前記整合補助装置を、前記画像センサの撮影可能範囲内で移動または回転させながら、前記第１パターン及び前記第２パターンの撮影が複数回行われるようにすることを特徴とする方法。
6. 前記画像センサは、前記画面に出力される画像を直接観察できない位置に配置されていることを特徴とする請求項３記載の方法。
7. カメラと前記カメラと連動するパネルを含む整合補助装置を用いて、ディスプレイ装置と画像センサを整合するための方法であって、
   前記整合補助装置の前記パネルに表示されるパターンである第１パターンが、前記画像センサを用いて撮影されるようにして、前記ディスプレイ装置の画面に出力されるパターンである第２パターンが、前記整合補助装置の前記カメラを用いて撮影されるようにするステップａと、
   前記画像センサを用いて撮影された前記第１パターンの情報を利用して取得された前記パネル座標系と前記画像センサ座標系との間の変換関係に関する情報と、前記カメラを用いて撮影された前記第２パターンの情報を利用して取得された前記カメラ座標系と前記ディスプレイ装置座標系との間の変換関係に関する情報を参照にして、前記ディスプレイ装置座標系と前記画像センサ座標系との間の変換関係に関する情報が取得されるようにして、前記ディスプレイ装置と前記画像センサが整合することに用いられるようにするステップｂとを含んで、
   前記ステップａないしｂは、複数回繰り返され、
   前記繰り返しで実行される前記ステップａないしｂにより得られた情報を利用した非線形最適化手法を介して前記ディスプレイ装置座標系と、前記画像センサ座標系との間の変換関係に関する情報を取得することを特徴とする方法。
8. 前記第１パターンと前記第２パターンは、格子型のパターンであることを特徴とする請求項３記載の方法。
9. カメラおよび前記カメラと連動するパネル−前記パネルには、第１パターンが表示される−を含む整合補助装置を用いて整合を行う電子装置であって、
   画面を含むディスプレイ装置と、
   前記ディスプレイ装置と連動する画像センサとを備え、
   前記画像センサを用いて撮影された前記第１パターンの情報を用いて取得された前記パネル座標系と前記画像センサ座標系との間の変換関係に関する情報と、前記カメラを用いて撮影された前記画面上に出力される第２パターンの情報を用いて取得された前記カメラ座標系と前記ディスプレイ装置座標系との間の変換関係に関する情報を参照して取得された、前記ディスプレイ装置座標系と前記画像センサ座標系との間の変換関係に関する情報を利用して、前記ディスプレイ装置と前記画像センサが整合された状態で提供され、
   前記カメラは、前記パネルに対して角度変更が可能であることを特徴とする電子装置。
10. 前記画像センサは、前記ディスプレイ装置に固定結合されることを特徴とする請求項９記載の電子装置。
11. 前記ディスプレイ装置は、３次元画像を提供することを特徴とする請求項９記載の電子装置。
12. ディスプレイ装置と画像センサを整合するための整合補助装置であって、
    カメラと、
    前記カメラと連動し、第１パターンが表示されるパネルと、
    前記カメラと前記パネルの位置や角度が調節されるようにして、前記パネルに表示される前記第１パターンが、前記画像センサを用いて撮影されるようにし、前記ディスプレイ装置の画面に出力されたパターンである第２パターンが、前記カメラを用いて撮影されるようにする制御部とを備え、
    前記制御部は、前記画像センサを用いて撮影された前記第１パターンに関する情報を利用して取得した前記パネル座標系と前記画像センサ座標系との間の変換関係に関する情報と、前記カメラを用いて撮影された前記第２パターンの情報を利用して取得した前記カメラ座標系と前記ディスプレイ装置の座標系との間の変換関係に関する情報を参照にして、前記ディスプレイ装置座標系と前記画像センサ座標系との間の変換関係に関する情報が取得されるようにして、前記ディスプレイ装置と前記画像センサが整合されるようにするために使用され、
    前記整合補助装置が前記画像センサの撮影可能範囲内で移動または回転されながら前記第１パターンと前記第２パターンの撮影が複数回行われることを特徴とする整合補助装置。
13. ディスプレイ装置と画像センサを整合するための整合補助装置であって、
    カメラと、
    前記カメラと連動し、第１パターンが表示されるパネルと、
    前記カメラと前記パネルの位置や角度が調節されるようにして、前記パネルに表示される前記第１パターンが、前記画像センサを用いて撮影されるようにし、前記ディスプレイ装置の画面に出力されたパターンである第２パターンが、前記カメラを用いて撮影されるようにする制御部とを備え、
    前記制御部は、前記画像センサを用いて撮影された前記第１パターンに関する情報を利用して取得した前記パネル座標系と前記画像センサ座標系との間の変換関係に関する情報と、前記カメラを用いて撮影された前記第２パターンの情報を利用して取得した前記カメラ座標系と前記ディスプレイ装置の座標系との間の変換関係に関する情報を参照にして、前記ディスプレイ装置座標系と前記画像センサ座標系との間の変換関係に関する情報が取得されるようにして、前記ディスプレイ装置と前記画像センサが整合されるようにするために使用され、
    前記制御部の動作が繰り返して行われ、前記繰り返しの過程で得られた情報を利用した非線形最適化の方法を介して前記ディスプレイ装置の座標系と前記画像センサの座標系との間の変換関係についての情報が獲得されることを特徴とする整合補助装置。
14. カメラおよび前記カメラと連動するパネル−前記パネルには、第１パターンが表示される−を含む整合補助装置を用いて整合を行う電子装置であって、
    画面を含むディスプレイ装置と、
    前記ディスプレイ装置と連動する画像センサとを備え、
    前記画像センサを用いて撮影された前記第１パターンの情報を用いて取得された前記パネル座標系と前記画像センサ座標系との間の変換関係に関する情報と、前記カメラを用いて撮影された前記画面上に出力される第２パターンの情報を用いて取得された前記カメラ座標系と前記ディスプレイ装置座標系との間の変換関係に関する情報を参照して取得された、前記ディスプレイ装置座標系と前記画像センサ座標系との間の変換関係に関する情報を利用して、前記ディスプレイ装置と前記画像センサが整合された状態で提供され、
    前記整合補助装置が前記画像センサの撮影可能範囲内で移動または回転されながら前記第１パターンと前記第２パターンの撮影が複数回行われることを特徴とする電子装置。