JP6711670B2 - 情報処理装置、画像表示装置、画像表示システム、および情報処理方法 - Google Patents

Description

本発明は、画像表示装置に備えられた撮像部により撮像された画像データを処理するための技術に関する。

近年、現実空間と仮想空間をリアルタイムでシームレスに融合させる技術として、複合現実感（ＭＲ：Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術や拡張現実感（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）技術が知られている。これらの技術の１つとして、ビデオシースルーＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）を利用したものがある。この画像表示システムでは、まず、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像する。そして、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像を、ＨＭＤ装着者がＨＭＤ内部パネルを通して観察できるようになっている。

このとき、ＨＭＤ装着者が観察する映像は、撮像光学系で発生する歪み特性および表示光学系で発生する歪み特性を含んでいる。特許文献１には、ＨＭＤ装着者に複合現実感を提供するため、撮像系の歪み補正と表示系との歪み補正とを外部装置を含めたシステム全体において行う撮像機能付き表示装置が提案されている。

特開２００８−５４６０号公報

撮像光学系による撮像映像の画角（領域）の一部を表示光学系の画角に合わせて表示するシステムの場合、撮像映像の一部を切り出し処理する必要がある。従来のシステムにおいては、撮像系歪み補正処理、表示系歪み補正処理それぞれについて、映像入出力で倍率変動が発生するため、両歪み補正の後に画角を調整する画像切り出し処理を行う必要がある。しかしながら、画像切り出し処理を最後に行うために余剰な画素データを伝送する必要があった。そこで、本発明は、システム全体として伝送すべき映像データのデータ総量を抑えることを目的とする。

上記課題を解決するために、本発明は、画像を撮像する撮像部と、使用者に表示すべき表示画像を表示する表示部と、を備え、前記使用者の頭部に装着されて使用される画像表示装置に接続された情報処理装置であって、前記撮像部の撮像光学系に係る情報と前記表示部の表示光学系に係る情報とに基づいて、前記撮像された画像に対して、前記撮像光学系による画像の歪みの補正、及び、前記表示光学系による画像の歪みの補正の両方が段階的に実行された場合に、前記撮像された画像に生じる変化の情報に基づいて、前記撮像された画像の一部を切り出す切り出し手段と、前記切り出された画像に対して、前記撮像光学系と前記表示光学系との少なくとも一方による歪みを補正する処理を段階的に実行する補正手段と、を有することを特徴とする。

以上の構成によれば、本発明は、システム全体として伝送すべき映像データのデータ総量を抑えることができる。

第１の実施形態に係る画像表示システムを示すブロック図。 第１の実施形態において撮像歪みと表示歪みを示す概念図。 第１の実施形態における撮像歪みと撮像歪みに係る情報の一例を示す図。 第１の実施形態に係る映像切り出し部の機能構成を示すブロック図。 第１の実施形態に係る画角変化演算部による処理の流れを示すフローチャート。 第１の実施形態において映像データの解像度と画角の変化を示す図。 第１の実施形態の変形例に係る画像表示システムを示すブロック図。

［第１の実施形態］
以下、本発明の第１の実施形態について、図面を参照しながら説明する。図１は、本実施形態における画像表示システムの構成を示すブロック図である。図１に示すように、本実施形態の画像表示システムは大きく分けて４つの機能部より構成されており、撮像映像を生成する撮像部１０と、撮像映像および表示映像に対して画像処理を行う画像処理部１１とを有する。さらに、撮像映像の内容に応じて重畳するＣＧデータを演算し、表示映像（表示画像）を作成する画像合成部１２と、表示映像を表示し使用者に映像を視認させる表示部１３とを有している。

撮像部１０および表示部１３は本システムにおける画像表示装置に相当するヘッドマウントディスプレイ（以下、ＨＭＤ）に備えられている。一方、画像処理部１１および画像合成部１２は本システムにおける情報処理装置に相当するＰＣに備えられている。ＨＭＤおよび情報処理装置（ＰＣ）は互いに有線方式または無線方式により接続され、それぞれＣＰＵ、ＲＯＭ、ＲＡＭ等のハードウェア構成を備える。そして、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、例えば、後述する各機能構成やフローチャートの処理が実現される。ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。

撮像部１０と表示部１３を含むＨＭＤにおいては、ＨＭＤを頭部に装着した使用者が外界の映像にＣＧを重畳した映像を見ることができ、現実空間と仮想空間がリアルタイムに融合した複合現実感を体験することができる。撮像部１０は、撮像光学系である撮像レンズ１００と撮像素子であるイメージセンサ１０１とを含み、撮像レンズ１００を介して結像された現実空間における被写体像をイメージセンサ１０１による光電変換によって撮像映像を取得する。イメージセンサ１０１は、例えば、ＣＭＯＳイメージセンサやＣＣＤイメージセンサなどの半導体センサから構成される。図２は撮像歪みと表示歪みを概念的に示しており、撮像部１０より作成される撮像映像には、撮像レンズ１００の光学特性によって、例えば、図２（ａ）のように被写体に対し幾何学的な歪みや色収差などが発生する。

表示部１３は、パネル１３０と表示レンズ１３１とを含み、画像合成部１２により生成された表示映像をパネル１３０に表示し、表示レンズ１３１を介して光束を観察対象へと結像させる。パネル１３０は、例えば、液晶表示パネルや有機ＥＬパネル等の表示素子から構成される。観察対象が表示部１３により観察する映像には、表示レンズ１３１の光学特性によって、例えば、図２（ｂ）のように表示映像に対し幾何学的な歪みや色収差などが発生する。

続いて、情報処理装置側に設けられている画像処理部１１および画像合成部１２の機能について説明する。画像処理部１１は、撮像部１０より入力される撮像映像に対して映像切り出し処理を行う映像切り出し部１１０と、撮像光学特性を保持する撮像光学特性保持部１１２とを有する。さらに、撮像光学特性に基づき歪み補正を行う撮像歪み補正部１１１と、表示光学特性を保持する表示光学特性保持部１１４と、画像合成部１２より入力される表示映像に対して表示光学特性に基づき歪み補正を行う表示歪み補正部１１３とを有する。各機能部の詳細については、後述する。

画像合成部１２は、画像処理部１１より入力される撮像映像に対し、ＣＧを重畳し表示映像として再度画像処理部１１へと出力する機能を有する。また、画像合成部は、不図示のＣＧ重畳位置推定手段によって推定されたＨＭＤ使用者の位置姿勢に関する情報に基づいて、撮像映像に対してＣＧおよび重畳する位置の計算を行う。そして、計算した画像位置にＣＧデータを合成し、表示映像として出力する。ＣＧ重畳位置推定手段による位置姿勢の推定手法としては、例えば、加速度センサや角速度センサおよび地磁気センサならびにＧＰＳなどを用いる技術が存在する。また、撮像部１０とは別の撮像センサを搭載し、その撮像映像内にあるマーカーを利用して位置姿勢を推定したり、また空間的な特徴点があればその特徴点から位置姿勢を推定することもできる。

また、画像合成部１２は不図示の解像度変換部を有しており、表示画角に合わせて撮像解像度を変更し、撮像画角との整合を合わせるための解像度変換処理を行う場合がある。本実施形態では、解像度変換処理は画像合成部１２により行われる構成としているが、本発明はこのような構成に限定されない。例えば、解像度変換処理を行わない構成としてもよいし、画像合成部１２の後に解像度変換処理を行うようにしてもよい。

このように、撮像部１０により撮像された撮像映像が画像処理部１１を介して画像合成部１２へと入力され、撮像映像内の情報や他のセンサ情報等に基づいて、撮像映像にＣＧを重畳した表示映像が作成される。作成された表示映像は、再度、画像処理部１１を介して表示部１３へと入力され、使用者に現実世界と仮想世界がリアルタイムに融合した複合現実感を提供することができる。このとき、撮像映像に応じてＣＧ重畳位置を推定する演算処理を行うため、システムを動作させる装置（例えばＰＣ）の能力と撮像映像の解像度によっては所定のパフォーマンスが達成できない可能性がある。

＜画像処理部１１の詳細＞
ここで、本実施形態の画像表示システムにおいて、画像処理部１１が有する撮像歪み補正部１１１および撮像光学特性保持部１１２の処理の詳細について説明する。撮像歪み補正部１１１は、撮像光学特性保持部１１２に保持された撮像光学特性の情報に基づいて、歪み補正処理を行う。撮像歪み補正部１１１と撮像光学特性保持部１１２は、例えば、同一基板に撮像歪み補正機能を搭載したＬＳＩと撮像光学特性を保持するＦＬＡＳＨ ＲＯＭを実装しＦＬＡＳＨ ＲＯＭより撮像光学特性の情報を読み込むことで実現される。また、アプリケーションとして撮像歪み補正機能を実現する構成等としてもよく、撮像歪み補正を行える構成であれば特定の構成に限定されるものではない。

図３には、本実施形態において撮像光学特性保持部１１２に保持されている撮像光学特性および表示光学特性保持部１１４に保持されている表示光学特性の情報の一例を示しており、図３（ａ）が撮像光学特性の情報の一例である。同図に示すように、画像情報３００として、撮像部１０における撮像レンズ１００およびイメージセンサ１０１の情報が保持されており、具体的には、解像度や画角、光軸中心の情報などが該当する。また、撮像歪みテーブル３０１には、撮像部１０によって発生する歪みの局所情報が保持されており、任意の画像位置Ｐにおける撮像歪み補正量を示す参照位置Ｒや解像度に対する倍率変化情報などを示す倍率Ｍなどが含まれる。また、色収差が発生する場合には、色ごとの歪み情報も合わせて保持することで色収差補正を行うことも可能となる。

撮像歪み補正部１１１は、図３（ａ）に示す歪み補正テーブルを撮像光学特性保持部１１２から読み込むことで、入力される撮像映像に対して歪み補正処理を実行する。歪み補正処理は、例えば、任意の注目画像位置おいて、注目画素位置に対応する歪み補正量を参照位置Ｒより算出し、算出された画素位置における撮像映像を出力として生成することで実現することができる。前述の歪み補正量の算出方法としては、バイリニア補間やスプライン補間など様々な手法が提案されており、本発明は特定の算出方法に限定されるものではない。

このように、撮像歪み補正部１１１は図３（ａ）のような歪み補正テーブルを読み込み、入力される撮像映像に対して歪み補正処理を実行するため、入力される撮像映像は、出力される撮像歪み補正後の撮像映像に対して、倍率が変化した状態となる。入出力前後で倍率が変動するということは入出力で解像度に変化がない場合、撮像画角が変化することと同義となる。すなわち、図３（ａ）の撮像光学特性を例に説明すると、水平最大変化倍率は−３．４％であるため、水平方向の画角は入力された撮像映像においては、４９．３９°×０．９６６＝４７．７１°となる。本実施形態では、説明の簡素化のために歪みの最大変化倍率と画角の変化率を等価とみなして説明したが、計算の方法は焦点距離やイメージセンサの画素ピッチ、取り付け公差などを使ってもよい。

次に、本実施形態の画像表示システムにおいて、画像処理部１１が有する表示歪み補正部１１３および表示光学特性保持部１１４の処理の詳細について説明する。表示歪み補正部１１３は、表示光学特性保持部１１４に保持される歪み補正に係る情報を読み込み、表示部１３に表示する映像情報の歪み補正を行うものであり、その基本的な動作は撮像歪み補正部１１１と同様である。図３（ｂ）には、表示光学特性保持部１１４に保持されている表示光学特性の情報の一例を示している。

このように、撮像歪み補正部１１１および表示歪み補正部１１３において、各々の光学特性に応じて倍率変化、すなわち画角変化が生じる。そのため、表示部１３に入力する表示映像は表示部１３に入力する直前で切り出し処理を行い、解像度および画角を調整することが望ましい。しかしながら、切り出し処理を表示歪み補正部１１１の後に実行する従来構成のシステムにおいては、画像合成部１２へと入力される撮像映像の解像度が高く、システムとしてオーバーヘッドを含んだ状態で処理がなされる。そのため、パフォーマンスが最適とはなっていなかった。そこで、本実施形態の構成では、以下に説明するように、画角演算処理部によりシステムに最適な切り出し解像度を算出し、撮像映像に対して切り出し処理を実行するようにする。

＜映像切り出し部１１０の詳細＞
次に、本実施形態に係る映像切り出し部１１０の処理の詳細について説明する。図４は、映像切り出し部１１０の機能構成を示す概略ブロック図である。映像切り出し部１１０は、画角変化演算部１１００と切り出し実行部１１０１とにより構成されている。画角変化演算部１１００は、撮像光学特性保持部１１２および表示光学特性保持部１１４から読み込んだ撮像光学特性情報および表示光学特性情報に基づいて、両歪み補正における入力映像の画角変化を計算し、システムに最適な切り出し解像度を算出する。また、切り出し実行部１１０１は、画角変化演算部１１００で計算した切り出し解像度を元に、入力される撮像映像に対して切り出し処理を実行する。

図５は、画角変化演算部１１００による処理の流れを示すフローチャートである。なお、ここでは、図３（ａ），（ｂ）で示した撮像光学特性、表示光学特性の情報の例を用いて説明を行う。図５のフローチャートにおいて、ステップＳ５０１で、画角変化演算部１１００は、表示解像度ＤＲ（１９２０ｘ１０８０）および表示画角ＤＡ（４０ｘ２２．５°）を表示光学特性保持部１１４より読み込む。さらに、ステップＳ５０２において、画角変化演算部１１００は、表示歪み補正テーブルＤＴを表示光学特性保持部１１４より読み込む。

画角変化演算部１１００は、これらの情報により、表示歪み補正部１１３の入力解像度ＰＲと入力画角ＰＡを算出することができる。例えば、簡易化のためにＤＲ＝ＰＲとして説明をすると、前述したように歪みによる倍率の変動分が画角の変動分となる。すなわち、図３（ｂ）の表示歪み補正テーブルによると、テーブルの最大変化倍率は、水平＝０．１％、垂直＝５．３％であるため、画角は、水平方向がＤＡ＝０．９９９×ＰＡ、垂直方向がＤＡ＝０．９４７×ＰＡとして求めることができる。ステップＳ５０３では、このようにして、表示画角ＤＡ（４０ｘ２２．５°）および表示歪み補正テーブルＤＴより、表示歪み補正前解像度ＰＲ（１９２０ｘ１０８０）と、表示歪み補正前画角ＰＡ（４０ｘ２３．７°）が決定される。

次に、ステップＳ５０４において、画角変化演算部１１００は撮像解像度ＣＲ（１９２０ｘ１０８０）および撮像画角ＣＡ（４９．４ｘ２９．４）を撮像光学特性保持部１１２より読み込む。さらに、ステップＳ５０５において、画角変化演算部１１００は撮像歪み補正テーブルＣＴを撮像光学特性保持部１１２より読み込む。ステップＳ５０６において、画角変化演算部１１００は、これらの情報に基づいて、まず撮像歪み補正部１１１への入力画角ＱＡを算出する。その算出の方法としては、ステップＳ５０３と同様に、撮像歪み補正テーブルを参照し、撮像歪みによる倍率変化情報を元に算出する。ステップＳ５０６では、このようにして、撮像歪み補正前画角ＱＡ（４１．１６×２４．５°）が決定する。

切り出す画角ＱＡが決定すると、ステップＳ５０７において、画角変化演算部１１００は、最終的な切り出し解像度ＱＲを演算する。切り出し画角ＱＡ（４１．１６×２４．５°）が決定しているため、撮像解像度ＣＲ（１９２０ｘ１０８０）および撮像画角ＣＡ（４９．４ｘ２９．４°）より、切り出し解像度ＱＲが決定される。すなわち、水平方向ＱＲｘ＝１９２０×４１．１６／４９．４＝１６００、垂直方向ＲＱｙ＝１０８０×２４．５／２９．４＝９００となるため、ＱＲ（１６００ｘ９００）として決定される。最後に、ステップＳ５０８において、画角変化演算部１１００は切り出し解像度ＱＲ（１６００ｘ９００）を切り出し実行部１１０１へと送信する。

切り出し実行部１１０１は、画角変化演算部１１００より入力される切り出し解像度の情報を元に撮像映像の一部を切り出す。切り出し位置は、例えば、撮像の光軸中心位置を切り出し前後で揃えた位置等として、切り出される。

図６は、本実施形態の画像処理システムの一連の処理において、映像データの解像度と画角を示す図である。同図には、比較対象として、上述した従来構成のシステムにおける解像度と画角も併せて記載している。図６において、「Ａ．イメージセンサからの出力」は、図１のイメージセンサ１０１から映像切り出し部１１０へと転送される撮像映像の解像度と画角を示している。「Ｂ．撮像歪み補正前切り出し処理からの出力」は、映像切り出し部１１０から撮像歪み補正部１１１へと転送される撮像映像の解像度と画角を示している。

また、「Ｃ．撮像歪み補正部からの出力」は、撮像歪み補正部１１１から画像合成部１２へと転送される撮像映像の解像度と画角を示している。「Ｄ．画像合成部からの出力」は、画像合成部１２から表示歪み補正部１１３へと転送される表示映像の解像度と画角を示している。ここで、ＣからＤの間で解像度が増加しているのは、前述した画像合成部１２における解像度変換処理によるものである。この処理では、撮像の画角を維持したまま表示の解像度に合わせた映像を生成している。

また、「Ｅ．表示歪み補正部からの出力」は、表示歪み補正部１１３から出力される表示映像の解像度と画角を示している。「Ｆ．表示歪み補正後の切り出し処理からの出力」は、従来構成の画像表示システムにおいて、表示歪み補正部とパネルとの間に配置された切り出し処理部から出力される表示映像の解像度と画角を示している。最後に、「Ｇ．表示パネルへの入力」は、パネル１３０へ入力される表示映像の解像度と画角を示している。なお、従来構成のシステムにおいてはＢの出力がなく、本実施形態のシステムにおいてはＦの出力がないため、それぞれの解像度と画角については記載していない。

ここで、図６の「Ｇ．表示パネルへの入力」に注目すると、従来構成と本実施形態とで解像度および画角について差異はない。一方、「Ｃ．撮像歪み補正部からの出力」では、従来構成における解像度が１９２０ｘ１０８０であるのに対し、本実施形態の解像度は１６００ｘ９００となっており、本実施形態の方が、約３０％解像度が低いことがわかる。このように、表示する映像の解像度および画角に影響することなく、表示部への入力より前段の処理において転送、処理される映像データのデータ量を抑え、画像合成部１２への入力解像度を最適にすることができる。これにより、本実施形態では、システム全体のパフォーマンスを最適にすることが可能となる。

なお、本実施形態では、上述したように、撮像光学系と表示光学系の情報を取得し、その情報から撮像光学系による歪みと表示光学系の歪みの両方を補正するようにしているが、いずれか一方のみの歪みに着目し、その一方のみを補正する形態でもよい。

以上、本実施形態によれば、撮像光学特性と表示光学特性に応じて切り出し解像度を算出し、撮像歪み補正前に切り出し処理を行うことで、画像合成部への入力解像度を抑制することができる。このため、転送、処理される映像データのデータ量が抑制され、システムを動作させる装置への負荷が軽減し、画像表示システム全体のパフォーマンスを最適にすることが可能となる。

［第１の実施形態の変形例］
ここで、上述した第１の実施形態の変形例について説明する。図７は、本変形例に係る画像表示システムを示すブロック図である。本変形例が、上述した第１の実施形態と相違する点は、画像処理部１１の内部構成である。具体的には、本変形例では、撮像歪み補正処理と表示歪み補正処理を共通歪み補正部７０２により共通で処理するとともに、共通歪みテーブル演算部７０１を備えている。また、映像切り出し部７００は、共通歪みテーブル演算部７０１からの入力により切り出し解像度を決定する構成としている。

共通歪みテーブル演算部７０１は、撮像光学特性保持部１１２と表示光学特性保持部１１４から読み込んだテーブル情報を元に新たにテーブルを生成する。そして、映像切り出し部７００は、新たに生成したテーブルを用い、上述の第１の実施形態と同様にして切り出し解像度を決定する。これにより、撮像光学特性と表示光学特性を含めて切り出し領域を決定することができる。このように、本変形例では、共通の歪み補正処理を行う場合においてもシステム全体のパフォーマンスを最適にすることが可能となる。

［その他の実施形態］
上述の説明では、ＨＭＤ側が撮像部１０と表示部１３とを備え、情報処理装置（ＰＣ）側が画像処理部１１と画像合成部１２とを備える構成を示した。しかしながら、本発明は、このような形態に限定されるものではなく、例えば、上記４つの機能部の全てをＨＭＤ側が有し、ＨＭＤ側だけで全ての処理が実行されるように構成してもよい。

また、上述の説明では、撮像光学特性保持部１１２と表示光学特性保持部１１４とがそれぞれ別々に構成された例について説明したが、撮像光学特性情報と表示光学特性情報とを単一の保持部で保持するような構成であってもよい。また、このような情報は、上述の実施形態に係る画像表示システムの外部に保持され、それを取得して利用するような形態であってもよい。

また、本発明は、上記実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読出し実行する処理である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。本発明は上記実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形（各実施例の有機的な組合せを含む）が可能であり、それらを本発明の範囲から除外するものではない。即ち、上述した各実施例及びその変形例を組み合わせた構成も全て本発明に含まれるものである。

１０ 撮像部
１１ 画像処理部
１２ 画像合成部
１３ 表示部

Claims (10)

1. 画像を撮像する撮像部と、使用者に表示すべき表示画像を表示する表示部と、を備え、前記使用者の頭部に装着されて使用される画像表示装置に接続された情報処理装置であって、
   前記撮像部の撮像光学系に係る情報と前記表示部の表示光学系に係る情報とに基づいて、前記撮像された画像に対して、前記撮像光学系による画像の歪みの補正、及び、前記表示光学系による画像の歪みの補正の両方が段階的に実行された場合に、前記撮像された画像に生じる変化の情報に基づいて、前記撮像された画像の一部を切り出す切り出し手段と、
   前記切り出された画像に対して、前記撮像光学系による画像の歪みを補正する処理と前記表示光学系による画像の歪みを補正する処理を段階的に実行する補正手段と、
   を有することを特徴とする情報処理装置。
2. 前記撮像光学系に係る情報と前記表示光学系に係る情報とに基づいて、前記撮像光学系に係る情報と前記表示光学系に共通した情報を演算した結果として、前記変化の情報を取得する取得手段を更に有し、
   前記補正手段は、前記取得手段により取得された前記変化の情報に基づいて画像の歪みを補正することを特徴とする請求項１に記載の情報処理装置。
3. 画像を撮像する撮像部と、使用者に表示すべき表示画像を表示する表示部と、を備え、前記使用者の頭部に装着されて使用される画像表示装置に接続された情報処理装置であって、
   前記撮像部の撮像光学系に係る情報と前記表示部の表示光学系に係る情報との少なくとも一方に基づいて、前記撮像光学系と前記表示光学系との少なくとも一方による前記撮像された画像の歪みを補正した場合に、前記撮像された画像に生じる変化の情報に基づいて、前記撮像された画像の一部を切り出す切り出し手段と、
   前記切り出された画像に対して、前記撮像光学系と前記表示光学系との少なくとも一方による歪みを補正する処理を実行する補正手段と、
   前記撮像光学系と前記表示光学系における解像度、画角、および注目画素位置における補正量とに基づいて、前記撮像光学系に係る情報と前記表示光学系に共通した情報を演算した結果として、前記変化の情報を取得する取得手段と、を有し、
   前記補正手段は、前記取得手段により取得された前記変化の情報に基づいて画像の歪みを補正することを特徴とする情報処理装置。
4. 前記撮像された画像の画角は、前記表示部に表示する表示画像の画角よりも大きいことを特徴とする請求項１から３のいずれか１項に記載の情報処理装置。
5. 前記撮像部の撮像光学系に係る情報と前記表示部の表示光学系に係る情報とを保持する保持手段を更に有することを特徴する請求項１から４のいずれか１項に記載の情報処理装置。
6. 前記切り出された画像に対して、まず前記補正手段によって前記撮像光学系による歪みを補正した画像に、ＣＧデータを重畳した合成画像を生成する合成手段を更に備え、
   前記補正手段は、前記合成手段によって生成された合成画像に対し、さらに前記表示光学系による歪みを補正するものであって、
   前記表示部には、前記補正された合成画像が表示されることを特徴する請求項１から５のいずれか１項に記載の情報処理装置。
7. 画像を撮像する撮像部と、
   前記撮像部の撮像光学系に係る情報と表示部の表示光学系に係る情報とに基づいて、前記撮像された画像に対して、前記撮像光学系による画像の歪みの補正、及び、前記表示光学系による画像の歪みの補正の両方が段階的に実行された場合に、前記撮像された画像に生じる変化の情報に基づいて、前記撮像された画像の一部を切り出す切り出し手段と、
   前記切り出された画像に対して、前記撮像光学系による画像の歪みを補正する処理と前記表示光学系による画像の歪みを補正する処理を段階的に実行する補正手段と、
   前記補正された画像に基づいて、使用者に表示すべき表示画像を表示する表示部と、を有し、前記使用者の頭部に装着されて使用されることを特徴とする画像表示装置。
8. 画像を撮像する撮像部と、
   前記撮像部の撮像光学系に係る情報と表示部の表示光学系に係る情報とに基づいて、前記撮像された画像に対して、前記撮像光学系による画像の歪みの補正、及び、前記表示光学系による画像の歪みの補正の両方が段階的に実行された場合に、前記撮像された画像に生じる変化の情報に基づいて、前記撮像された画像の一部を切り出す切り出し手段と、
   前記切り出された画像に対して、前記撮像光学系による画像の歪みを補正する処理と前記表示光学系による画像の歪みを補正する処理を段階的に実行する補正手段と、
   前記補正された画像に基づいて、使用者に表示すべき表示画像を、前記使用者の頭部に装着されて使用される画像表示装置に表示する表示部と、を有することを特徴とする画像表示システム。
9. 画像を撮像する撮像部と、使用者に表示すべき表示画像を表示する表示部と、を備え、前記使用者の頭部に装着されて使用される画像表示装置に接続された情報処理装置における情報処理方法であって、
   前記撮像部の撮像光学系に係る情報と前記表示部の表示光学系に係る情報とに基づいて、前記撮像された画像に対して、前記撮像光学系による画像の歪みの補正、及び、前記表示光学系による画像の歪みの補正の両方が段階的に実行された場合に、前記撮像された画像に生じる変化の情報に基づいて、前記撮像された画像の一部を切り出すステップと、
   前記切り出された画像に対して、前記撮像光学系による画像の歪みを補正する処理と前記表示光学系による画像の歪みを補正する処理を段階的に実行する補正ステップと、
   を有することを特徴とする情報処理方法。
10. 画像を撮像する撮像部と、使用者に表示すべき表示画像を表示する表示部と、を備え、前記使用者の頭部に装着されて使用される画像表示装置に接続された情報処理装置における情報処理方法であって、
    前記撮像部の撮像光学系に係る情報と前記表示部の表示光学系に係る情報との少なくとも一方に基づいて、前記撮像光学系と前記表示光学系との少なくとも一方による前記撮像された画像の歪みを補正した場合に、前記撮像された画像に生じる変化の情報に基づいて、前記撮像された画像の一部を切り出すステップと、
    前記切り出された画像に対して、前記撮像光学系と前記表示光学系との少なくとも一方による歪みを補正する処理を実行するステップと、
    前記撮像光学系と前記表示光学系における解像度、画角、および注目画素位置における補正量とに基づいて、前記撮像光学系に係る情報と前記表示光学系に共通した情報を演算した結果として、前記変化の情報を取得する取得ステップと、を有し、
    前記補正する処理を実行するステップでは、前記取得ステップで取得された前記変化の情報に基づいて画像の歪みを補正することを特徴とする情報処理方法。

Images