JP5074777B2 - 撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システム - Google Patents

Description

本発明は、撮像機能付表示装置、画像処理装置、画像処理方法、および、画像表示システムに関し、特に、映像信号を外部装置に出力する出力手段と、映像信号を外部装置から入力する入力手段と、撮像部と表示部とを有する撮像機能付表示装置、該撮像機能付表示装置で使用される画像処理方法、および映像信号を外部装置より入力する入力手段と、映像信号を外部装置に出力する出力手段とを有する画像処理装置、および撮像機能付表示装置と画像処理装置から構成される画像表示システムに関する。

従来、ＭＲ（Ｍｉｘｅｄ Ｒｅａｌｔｙ）において撮像機能付表示装置を利用する際には、撮像装置の歪み補正を行うため撮像装置の映像を一旦ＰＣに取り込んで歪み補正処理を行っていた（以下、撮像機能付表示装置をＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）と略す。但し、双眼鏡のような手持ちタイプの装置でもよく、頭部装着型の装置に限らない）。そして、補正画像とＣＧ映像とを合成して表示装置に供給し、表示していた。ここで撮像系の歪み補正に関しては、従来例として非特許文献１のようなものがある。
Ｓ．Ｕｃｈｉｙａｍａ，Ｋ．Ｔａｋｅｍｏｔｏ，Ｋ．Ｓａｔｏｈ，Ｈ．Ｙａｍａｍｏｔｏ，ａｎｄ Ｈ．Ｔａｍｕｒａ："ＭＲ Ｐｌａｔｆｏｒｍ：Ａ ｂａｓｉｃ ｂｏｄｙ ｏｎ ｗｈｉｃｈ ｍｉｘｅｄ ｒｅａｌｉｔｙ ａｐｐｌｉｃａｔｉｏｎｓ ａｒｅ ｂｕｉｌｔ，"Ｐｒｏｃ．ＩＥＥＥ／ＡＣＭ Ｉｎｔ’ｌ Ｓｙｍｐ．ｏｎ Ｍｉｘｅｄ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ（ＩＳＭＡＲ ２００２），ｐｐ．２４６−２５３，２００２．

しかしながら、ＨＭＤの表示系の歪み補正はこれまであまり考慮されておらず、ＨＭＤの表示系が広画角になると表示映像が歪むという問題があった。また、これを改善するために表示系の歪み補正を単純に導入すると、撮像系の歪み補正処理が行われた映像に再度表示系歪み補正処理が加わることになる。したがって、ＨＭＤで撮影した映像をそのままダイレクトにＨＭＤの表示装置で観察する場合、２回の歪み補正演算を行うことになる。そのため、演算誤差により最終的な表示画像の品質が低下するという問題があった。

また、ＨＭＤ毎に備わっている歪み補正の機能が異なる場合、例えばＡのＨＭＤには撮像系歪み補正は内蔵されているが、Ｂでは内蔵されていない場合等に、ＰＣ側で一律に補正処理をすると歪み補正をしている映像にさらに歪み補正処理を加えることになり、表示される映像に歪みが生じることがあった。

本発明は上記の問題を鑑みてなされたものであり、撮像機能付表示装置の撮像系の歪み補正と表示系との歪み補正を、外部装置を含めたシステム全体において適切に行うことができるような撮像機能付表示装置を提供することを目的とする。

上記目的を達成するために、本発明の撮像機能付表示装置は、映像信号を外部装置に出力する出力手段と、映像信号を外部装置から入力する入力手段と、撮像部と表示部とを有する撮像機能付表示装置であって、前記撮像部によって撮影された映像信号に対して撮像系の歪み補正を行う撮像系歪み補正手段と、前記撮像部によって撮影された映像信号に対して表示系の歪み補正を行う表示形歪み補正手段と、前記撮像系歪み補正手段において前記撮像系の歪み補正を行うか否か、および、前記表示系歪み補正手段において前記表示系の歪み補正を行うか否かを制御する制御手段とを有することを特徴とする。

また、本発明の画像処理方法は、映像信号を外部装置に出力する出力手段と、映像信号を外部装置から入力する入力手段と、撮像部と表示部とを有する撮像機能付表示装置の画像処理方法であって、前記撮像部によって撮影された映像信号に対して撮像系の歪み補正を行う撮像系歪み補正工程と、前記撮像部によって撮影された映像信号に対して表示系の歪み補正を行う表示系歪み補正工程と、前記撮像系歪み補正工程において前記撮像系の歪み補正を行うか否かおよび前記表示系歪み補正工程において前記表示系の歪み補正を行うか否かを制御する制御工程とを有することを特徴とする。

また、本発明の画像表示システムは、映像信号を外部装置から入力する入力手段と、映像信号を外部装置に出力する出力手段と、現実空間を撮像する撮像部と、画像を表示する表示部とを有する撮像機能付表示装置と、前記撮像機能付表示装置の撮像部によって撮影された現実空間画像に合成するための合成用画像を生成する画像生成部を有する画像処理装置とから構成される画像表示システムであって、前記撮像部で撮像された現実空間画像に、前記画像生成部によって生成された画像を合成する画像合成部と、歪み補正の種類を設定する設定部と、前記設定部における設定に応じて画像の歪みを補正する歪み補正部とを有することを特徴とする。

また、本発明の画像処理装置は、外部装置から画像信号を入力する入力手段と、入力された外部入力画像に合成するための合成用画像を生成する画像生成部と、外部装置に画像信号を出力する出力手段と、前記外部入力画像に、前記合成用画像を合成する画像合成部と、画像の歪みを補正する少なくとも１つの歪み補正部と、前記歪み補正部で行う歪み補正の種類、および前記画像合成部において画像合成を行うか否かを設定する設定部とを有することを特徴とする。

本発明によれば、撮像系の歪み補正および表示系の歪み補正の各々を実行するか否かを制御することができる。よって、撮像機能付表示装置の撮像系の歪み補正と表示系との歪み補正を、外部装置を含めたシステム全体において適切に行うことができる。

また、本発明によれば、撮像系から得られる信号をダイレクトに表示系に出力する場合、撮像系歪み補正と表示系歪み補正とを１回の演算で行うことができ、歪み補正の演算誤差から生じる画質の低下を抑制することができる。

（実施例１）
以下、添付の図面を参照して実施例１について説明する。
実施例における撮像機能付表示装置とは、撮影機能を備えた表示機器である。たとえば、カメラ付のヘッドマウントディスプレイ（以下、ＨＭＤ）や、ハンドヘルドタイプのカメラ付表示装置、カメラ付双眼鏡等を指す。

また、以下の説明では説明を単純にするために単眼の装置の説明を行うが、同じものをもう１系統用意すればステレオ撮像機能付表示装置として機能することは言うまでもない。

図１は、実施例１のブロック構成図である。実施例１のＨＭＤは、通常、内蔵の撮影部で撮影した画像信号をパソコン（ＰＣ）等の外部機器に出力する。そして、パソコン（ＰＣ）等において、画像信号にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｅｎｅｒａｔｅｄ）画像が合成される。パソコンから出力される、この合成画像を示す画像信号を入力して、表示部で表示する。

図１において、１は現実世界を撮影する撮像部である。２、４、５、７、１３、１４はセレクタ、３は撮像歪み補正部、６は表示歪み補正部、８は表示部、９は設定部、１０は設定記憶部、１１は制御部、１２は信号処理部、１５はＨＭＤ（単眼）である。

撮像部１で獲得された現実世界の映像信号は、制御部１１による制御に基づき、セレクタ２を介して、撮像歪み補正部３またはセレクタ４に出力される。撮像歪み補正部３では、入力された信号に含まれるレンズ歪みやその他の歪み成分の補正を行い、セレクタ１３に出力する。セレクタ１３では、制御部１１の指示に従い、歪み補正がなされた信号をセレクタ４またはセレクタ１４に出力する。セレクタ４は、制御部１１の指示に従い、歪み補正がなされた信号または原信号を外部の信号処理部１２に信号１０２として出力する。信号処理部１２は、例えばパソコンや画像処理装置などの情報処理装置が該当する。本実施例では図示していないが、信号処理部１２には、磁気式センサやジャイロなどの位置または姿勢、またはその両方を獲得するためのセンサ類も接続されることがある。

また、信号処理部１２は、処理した信号１０３をセレクタ５に出力する。セレクタ５は、信号１０３を、制御部１１の指示に従い、セレクタ７またはセレクタ１４に出力する。セレクタ１４は、制御部１１の指示に従い、セレクタ１３を介して入力された撮像歪み補正済みの信号またはセレクタ５を介して外部から入力された信号１０３のいずれかを表示歪み補正部６に出力する。表示歪み補正部６は、表示系の歪みをキャンセルするための補正処理を行い、処理された結果をセレクタ７に出力する。セレクタ７は、制御手段１１の指示に従い、表示歪み補正部６から入力される表示歪みが補正された信号またはセレクタ５から入力される信号のいずれかを表示部８に出力する。表示部８は、入力された信号に基づく画像を表示する。

設定部９は、制御部１１が動作する条件を設定する。動作条件を設定する方法としては、外部からの信号１０１により動作条件を設定する方法と、設定パネル等により直接動作条件を設定する方法がある。なお、ＵＳＢメモリやコンパクトフラッシュ（登録商標）等のメディアを介して設定するようにしても構わない。設定部９により設定された情報は設定記憶部１０に格納される。制御部１１は設定記憶部１０の設定内容に基づき、各部を制御する。設定記憶部１０に格納された情報は、外部機器等から読み出し可能である。設定記憶手段１０に格納された情報により、ＨＭＤの動作を把握することができる。よって、例えば、撮像歪み補正処理をＨＭＤ側と外部機器側の両方で行うなどの不正な処理を防止することができる。

ここで、設定記憶部１０に格納される内容は下記の５種類のモードのいずれかである。
（モード１）ＨＭＤ１５において、撮像系歪み補正を行わずに映像信号を外部に出力する。外部から入力された信号１０３に対して、ＨＭＤ１５において表示系の歪み補正を行わずに表示する。
（モード２）ＨＭＤ１５において、撮像系歪み補正を行わずに映像信号を外部に出力する。外部から入力された信号１０３に対して、ＨＭＤ１５において表示系の歪み補正を行い、表示する。
（モード３）ＨＭＤ１５において、映像信号に対して撮像系歪み補正を行い、撮像系歪み補正が行われた信号を外部に出力する。外部から入力された信号１０３に対して、ＨＭＤ１５において表示系の歪み補正を行わずに表示する。
（モード４）ＨＭＤ１５において、映像信号に対して撮像系歪み補正を行い、撮像系歪み補正が行われた信号を外部に出力する。外部から入力された信号１０３に対して、ＨＭＤ１５において表示系の歪み補正を行い、表示する。
（モード５）ＨＭＤ１５において、映像信号に対して撮像歪み補正部３で撮像系の歪み補正を行い、セレクタ１３を介して、直接（外部に出力することなく）、表示歪み補正部６に出力する。そして、表示歪み補正部６にて表示系の歪み補正を行い、表示する。

設定記憶部１０で設定された内容が（モード１）の場合は、撮像部１からの信号は、セレクタ２およびセレクタ４を介して信号１０２として外部に出力される。また、外部から入力された信号１０３は、セレクタ５およびセレクタ７を介して表示部８に供給される。

設定記憶部１０で設定された内容が（モード２）の場合は、撮像部１からの信号は、セレクタ２およびセレクタ４を介して外部へ信号１０２として出力される。また、外部から入力された信号１０３は、セレクタ５およびセレクタ１４を介して表示歪み補正部６に入力される。表示歪み補正部６では、表示されたときに正しく見えるように表示系の歪み補正が行われる。その結果は、セレクタ７を介して表示部８に供給される。

設定記憶部１０で設定された内容が（モード３）の場合は、撮像部１からの信号は、セレクタ２を介して撮像歪み補正部３に出力される。撮像歪み補正部３では撮影された画像の歪み補正が行われ、セレクタ１３およびセレクタ１４を介して外部へ信号１０２として出力される。また、外部から入力された信号１０３は、セレクタ５およびセレクタ７を介して表示部８に供給される。

設定記憶手段１０で設定された内容が（モード４）の場合は、撮像部１からの信号は、セレクタ２を介して撮像歪み補正部３に出力される。撮像歪み補正部３では撮影された画像の歪み補正が行われ、セレクタ１３およびセレクタ４を介して外部へ信号１０２として出力される。また、外部から入力された信号１０３は、セレクタ５およびセレクタ１４を介して表示歪み補正部６に入力される。表示歪み補正部６では表示されたときに正しく見えるように表示系の歪み補正が行われる。その結果は、セレクタ７を介して表示部８に供給される。

設定記憶部１０で設定された内容が（モード５）の場合は、撮像部１からの信号は、セレクタ２を介して撮像歪み補正部３に出力される。撮像歪み補正部３では撮影された画像の歪み補正が行われ、セレクタ１３およびセレクタ１４を介して表示歪み補正部６に入力される。表示歪み補正部６では表示されたときに正しく見えるように表示系の歪み補正が行われる。その結果は、セレクタ７を介して表示部８に供給される。

なお、モードの選択は、信号処理部１２から不図示の通信回線を介して、または、設定パネル（不図示）からの指示に基づき選択される。また、歪み補正に関しては、種々の手法が提案されており、何れかを用いればよいためその詳細な説明は省略する。

このような構成にすることにより、撮像系歪み補正と表示系歪み補正とをＨＭＤの内部で行うことができ、信号処理部が表示系の歪み補正を考慮する必要がなくなる。また、信号処理部の処理能力に応じて歪み補正の有無の選択ができるため、信号処理部の処理能力が高いときは一部の補正を信号処理部で行うなど、信号処理部の能力に応じた柔軟な処理を行うことが可能となる。

また、本実施例では単眼のＨＭＤを想定して説明したが、同様の回路をもう１つ追加すればステレオのＨＭＤを構成することができる。その際に、設定手段９、設定記憶手段１０、制御手段１１はステレオの場合でも１つでよい。これは左目と右目に対応する撮像手段・表示手段の補正処理を左右で独立に設定することはないからである。

（実施例２）
実施例１では、信号処理部をまったく介さずに撮影した画像を補正して直接表示することが可能であった。

しかしながら、その場合は撮影画像の歪み補正と表示画像の歪み補正の２回の歪み補正を行うため、演算誤差等により表示画像に画質劣化が生じることがある。

本実施例２では、この問題を解決するための構成を示す。実施例１の場合と同様に単眼のＨＭＤで説明を行うが、実施例１と同様にステレオＨＭＤに拡張することも可能である。

実施例２の構成を図２を用いて説明する。図２において図１と同一の構成については同一の符号をつけている。

実施例１の場合と同様に、設定記憶部１０に格納される内容は、（モード１）〜（モード５）のいずれかである。制御部１１は、設定記憶部１０の内容に応じて適切に動作する。

設定記憶部１０で設定された内容が（モード１）の場合は、撮像部１からの信号は、セレクタ２２およびセレクタ２４を介して信号１０２として外部へ出力される。また、外部から入力された信号１０３は、セレクタ２５およびセレクタ２７を介して表示部８に供給される。

設定記憶部１０で設定された内容が（モード２）の場合は、撮像部１からの信号は、セレクタ２２およびセレクタ２４を介して外部へ信号１０２として出力される。また、外部から入力された信号１０３は、セレクタ２５を介して表示歪み補正部６に入力される。表示歪み補正部６では表示されたときに正しく見えるように表示系の歪み補正が行われる。その結果は、セレクタ２７を介して表示部８に供給される。

設定記憶部１０で設定された内容が（モード３）の場合は、撮像部１からの信号は、セレクタ２２を介して撮像歪み補正部３に出力される。撮像歪み補正部３では撮影された画像の歪み補正が行われ、セレクタ２４を介して外部へ信号１０２として出力される。また、外部から入力された信号１０３は、セレクタ２５およびセレクタ２７を介して表示部８に供給される。

設定記憶部１０で設定された内容が（モード４）の場合は、撮像部１からの信号は、セレクタ２２を介して撮像歪み補正部３に出力される。撮像歪み補正部３では撮影された画像の歪み補正が行われ、セレクタ２４を介して外部へ信号１０２として出力される。また、外部から入力された信号１０３は、セレクタ２５を介して表示歪み補正部６に入力される。表示歪み補正部６では表示されたときに正しく見えるように表示系の歪み補正が行われる。その結果は、セレクタ２７を介して表示部８に供給される。

実施例２に特徴的な処理は、設定記憶部１０で設定された内容が（モード５）の場合である。モード５が設定された場合、撮像部１からの信号は、セレクタ２２を介して撮像表示同時歪み補正部２３に出力される。撮像表示同時歪み補正部２３では撮影された画像の歪み補正と表示歪みの補正とが１回の演算で同時に実行される。その結果は、セレクタ２７を介して表示部８に供給される。

ここで、撮像系と表示系の歪みを同時に補正するため方法であるが、例えば、以下の計測を行い、それをキャンセルするような変換を行えばよい。
（ａ）幾何的情報が既知の格子点を、撮像部１で撮影した画像を、直接（補正を行わない状態で）表示部８に表示する。
（ｂ）表示部８に表示された画像を、表示光学系を介して取得し、取得された格子点とそれに対応するもとの格子点の位置との変位量を計測する
（ｃ）計測された変位量をキャンセルする変換を導き、その変換を撮像表示同時歪み補正部２３にて実現する。

ここで、光学系の設計値が利用可能な場合は、その値を利用して変換式を求めても良い。
変換式を求めるほかに、表示系の情報（縦横の画素数、画角等）がわかっていればあらかじめ変換したものをテーブル形式で保持しておくことにより、簡単な処理で歪み補正を行うことも可能である。

撮像系からの信号を直接表示系に出力する場合に関しては、信号処理部１２または設定パネルからの指示によるモードの設定のほかに、信号処理部１２との通信が途絶えた場合が考えられる。

図２中のセレクタ２７と表示部８との間の信号をチェックする信号チェック部を備えることにより、信号処理部１２からの信号の有無をチェックすることができ、信号処理部１２からの通信状況を把握することが可能である。即ち、モード１〜モード４の何れかの場合に、信号処理部１２からの信号が途絶えた場合は、不図示のモード変更部が実行中のモードをモード５に自動的に切り替えるように構成する。これにより、信号処理部１２からの信号が途絶えたとしても、外部の状況を体験者に提示することができる。そのため、体験者に常に快適な視界を提供できるという効果がある。

以上の構成にすることにより、撮影系の歪みと表示系との歪みが一度の演算で実現されるため、演算誤差が低減し、最終的に得られる表示画像の品質の低下を最小限に抑えることが可能となる。

（実施例３）
実施例３のポイントは、複数の歪み補正回路で行う処理を、１つの回路で時分割処理することにより、回路構成の簡素化を図った点にある。

実施例３の構成を図３を用いて説明する。図３において図１と同一の構成については同一の符号をつけている。

３１、３２、３３、３４、３７、３７はセレクタ、３５は歪み補正部、３６は歪み補正テーブル記憶部である。歪み補正テーブル記憶部３６には、撮像系の歪み補正データ、表示系の歪み補正データ、撮像系の歪みおよび表示系の歪みを一度に補正するためのデータなどが格納されている。但し、ここに記憶される内容はこれらに限らず、複数の撮像系歪みデータや複数の表示歪みデータなどを格納してもよい。

また、ステレオＨＭＤの場合は、基本的に右目用と左目用の補正データは異なるため、それぞれに対応した補正データを持つことになる。設定記憶部１０に記憶される情報は、実施例１の場合と同様に、（モード１）〜（モード５）である。

かかる構成により、設定記憶部１０で設定された内容が（モード１）の場合は、撮像部１からの信号は、セレクタ３１およびセレクタ３３を介して外部へ信号１０２として出力される。また、外部から入力された信号１０３は、セレクタ３４およびセレクタ３８を介して表示部８に供給される。

設定記憶部１０で設定された内容が（モード２）の場合は、撮像部１からの信号は、セレクタ３１およびセレクタ３３を介して外部へ信号１０２として出力される。また、外部から入力された信号１０３は、セレクタ３４、セレクタ３２を介して歪み補正部３５に入力される。歪み補正部３５では、表示系歪み補正に対応する歪みテーブル情報を歪み補正テーブル記憶手段３６から取り出し、この情報を利用して歪み補正を行う。補正された結果はセレクタ３７セレクタ３８を介して表示部８供給される。

設定記憶部１０で設定された内容が（モード３）の場合は、撮像部１からの信号は、セレクタ３１、セレクタ３２を介して歪み補正部３５に出力される。歪み補正部３５では撮像系の歪みデータに対応する歪み補正テーブルが歪み補正テーブル記憶部３６から取り出され、その情報を利用して表示系の歪み補正が行われる。補正された信号は、セレクタ３７、セレクタ３３を介して信号１０２として外部へ出力される。また、信号処理部１２から入力された信号１０３は、セレクタ３４およびセレクタ３８を介して表示部８に供給される。

設定記憶部１０で設定された内容が（モード４）の場合は、撮像部１からの信号は、セレクタ３１、セレクタ３２を介して歪み補正部３５に出力される。歪み補正部３５では撮像系の歪みデータに対応する歪み補正テーブルが歪み補正テーブル記憶部３６から取り出され、その情報を利用して表示系の歪み補正が行われる。補正された信号は、セレクタ３７、セレクタ３３を介して外部へ信号１０２として出力される。また、信号処理部１２から入力された信号１０３は、セレクタ３４、セレクタ３２を介して歪み補正部３５に入力される。歪み補正部３５において表示系歪み補正に対応する歪み補正テーブルが歪み補正テーブル記憶手段３６から取り出され、その情報を利用して表示系の歪み補正が行われる。その結果は、セレクタ３７、セレクタ３８を介して表示部８に供給される。

設定記憶部１０で設定された内容が（モード５）の場合は、撮像部１からの信号は、セレクタ３１およびセレクタ３２を介して歪み補正部３５に出力される。歪み補正部３５では撮影された画像の歪み補正と表示歪みの補正とが１回の演算で同時に実行される。その結果は、セレクタ３７およびセレクタ３８を介して表示部８に供給される。

以上のような構成で歪み補正処理を行うことにより、歪み補正回路を１つしか持つ必要がないため、回路構成が簡素化され、小型化にも繋がる。

（実施例４）
設定記憶部１０を信号処理部１２（例えば、ＰＣ等）から制御することにより、様々なメリットが享受できる。例えば、歪み補正のモードを外部機器側からコントロール（ＨＭＤのモード変更、ＨＭＤ内部に設定されているモードの読み出し等）することにより、ＨＭＤ内と外部機器内とで歪み補正を重複して行うことを回避することができる。

また、最終的に表示される画像信号の演算誤差を低減する別の方法としては、図３中の信号処理部１２において撮像系歪みを付加したＣＧ画像の生成を行う。すなわち、生成されたＣＧ画像は、従来の歪みのない画像ではなく、撮像系を通して獲得された画像（歪み補正無しの画像信号）と同様の撮像系歪みを有することになる。次に、生成されたＣＧ画像と撮像手段１から得られた歪み補正無しの画像信号とを合成する。そして、合成された画像信号に撮像系・表示系同時歪み補正処理を行い、出力する。

このような構成で処理を行うことにより、一度の演算で補正処理が行えるため、演算誤差の累積を避けることができ、表示画像の劣化を抑えることができる。

また、表示系歪みを考慮した画像を生成する方法としてテクスチャーマッピングを使う方法も考えられる。原画像の格子点をどのように変位させれば表示系を通してみたときに正しく見えるかを求め、この格子点の対応関係を使って、テクスチャーマッピングを行うことにより、簡便に表示歪みを考慮した画像を生成することができる。

（実施例５）
本発明を実現する第５の実施の形態を、図に従って説明する。
図４は、第５の実施の形態におけるＭＲシステムの構成を示した図である。

ビデオシースルー型のＨＭＤ４０１は、撮像部と画像表示部とを備えている。撮像部は、装着者の観察している現実空間の画像を取得する。画像表示部は、現実空間画像に画像処理装置で生成したＣＧ画像を重畳したＭＲ画像、撮像した現実空間画像、画像処理装置４０３からの出力画像などを装着者に提供するための画像表示手段を有する。

ＨＭＤ４０１は、接続されたコントローラ４０２と通信を行う。ＨＭＤ４０１とコントローラ４０２間は有線による通信に限らず、例えば、ＷＬＡＮ（Ｗｉｒｅｌｅｓｓ Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やＷＰＡＮ（Ｗｉｒｅｌｅｓｓ Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）のような、小規模ネットワークを構成する無線通信方式を利用してもよい。

ＨＭＤ４０１は、コントローラ４０２からの電源供給を受けて駆動することも、バッテリーで駆動することも可能である。

コントローラ４０２に有線接続された画像処理装置４０３は、ＣＧ画像の描画を行う画像処理部を有する。画像処理装置４０３はコントローラ４０２を介し、ＨＭＤ４０１と通信を行う。ＨＭＤ４０１では、受信したＣＧ画像とＨＭＤ４０１で撮像した現実空間画像を合成し、合成されたＭＲ画像を画像表示部によりＨＭＤ装着者に表示する。

図４では、画像処理装置４０３とコントローラ４０２を別々のハードウェア構成としているが、コントローラ４０２の持つ機能をすべて画像処理装置４０３に実装して一体化したり、画像処理装置４０３とコントローラ４０２がそれぞれ有する機能を集め、専用の画像処理装置を構成することも可能である。また、画像合成機能は、必ずしもＨＭＤ４０１側で有している必要はなく、画像処理装置４０３、またはコントローラ４０２側に実装する構成も可能である。

以下の説明では、機能的な観点から、画像処理装置４０３とコントローラ４０２がそれぞれ有する機能を組み合わせたものを画像処理装置と表記して説明する。

図５は、本発明の特徴を説明する第５の実施の形態におけるＨＭＤの機能ブロック図である。
ＨＭＤ５０は、撮像ユニット５０１、表示ユニット５０２、Ｉ／Ｆ５０３、画像合成部５０４、第一の歪み補正部５０５、第二の歪み補正部５０６、設定部５０７、制御部５０８、位置姿勢センサ５１０、位置情報生成部５１１から構成される。

第一の歪み補正部５０５と第二の歪み補正部５０６は、図５で示したように、他の機能ブロックとのパスが異なるように構成し、それぞれの機能を限定することもできる。しかしながら、第一の歪み補正部と第二の歪み補正部を区別なく自由に利用できるように、他の機能ブロックとのパスを等しく構成することも可能である。

撮像ユニット５０１は、ＨＭＤ装着者が観察している現実空間を撮像し、撮像画像を生成する。表示ユニット５０２は、ＨＭＤ装着者に画像を表示する。Ｉ／Ｆ５０３は、ＨＭＤ５０と接続された外部装置と通信を行う。画像合成部５０４は、撮像ユニット５０１で撮像した撮像画像と、Ｉ／Ｆ５０３を介して、外部装置より入力された外部入力画像を合成する。第一の歪み補正部５０５、および第二の歪み補正部５０６は、撮像画像や外部入力画像、合成画像に対して、歪み補正を行う。設定部５０７は、ＨＭＤ５０の設定を行い、制御部５０８は、設定に応じて、画像合成部５０４、第一の歪み補正部５０５、第二の歪み補正部５０６、位置情報生成部５１１の制御を行う。

図５では、設定部５０７より設定を行う構成となっているが、Ｉ／Ｆ５０３を介して、ＨＭＤ５０と接続された外部装置から制御部５０８に設定情報を送ることも可能である。

位置姿勢センサ５１０は、ＨＭＤ５０の空間的な位置や姿勢などを算出するために必要となる各種センシング情報を取得する。位置情報生成部５１１は、撮像ユニット５０１で撮像した撮像画像情報や位置姿勢センサ５１０で取得したセンシング情報を用いて、ＨＭＤ５０の三次元位置姿勢情報を生成する。三次元位置姿勢情報は、外部装置において、撮像画像に合成するための画像を生成するために利用される。外部装置が位置情報生成機能を有する場合は、ＨＭＤ５０の位置情報生成部５１１を利用せず、撮像ユニット５０１で撮像した撮像画像や位置姿勢センサ５１０で取得したセンシング情報を、Ｉ／Ｆ５０３を介して外部装置に送信する制御を行い、外部装置で三次元位置姿勢情報を生成することも可能である。

図６は、本実施の形態におけるＨＭＤ５０に設定可能な設定を示す表である。
表中の撮像という表記は、撮像画像に対して歪み補正の欄に記載された補正を実行することを表している。外部という表記は、外部装置から入力された外部入力画像に対して歪み補正の欄に記載された補正を行うことを表している。合成という表記は、合成後の画像に対して歪み補正の欄に記載の補正を実行することを表している。

また、表中の合成の欄は、ＨＭＤ、外部装置のどちらで画像合成を行うかを示している。合成の欄がナシと記載されている設定は、ＨＭＤ５０の撮像ユニット５０１で撮像した画像を外部装置に出力せず、さらにＨＭＤ５０内で合成を行うことなく、撮像画像を表示ユニット５０２で表示する系を示している。合成の欄がＨＭＤと記載されている設定は、撮像ユニット５０１で撮像した画像と、Ｉ／Ｆ５０３から入力された外部入力画像をＨＭＤ５０内で合成し、表示ユニット５０２で表示する系を示している。合成の欄が外部装置と記載されている設定は、外部装置で撮像画像と合成用画像の合成を行い、Ｉ／Ｆ５０３から合成画像を入力し、表示ユニットで表示する系、または、外部装置、およびＨＭＤ５０のいずれにおいても合成を行わず、Ｉ／Ｆ５０３からＨＭＤ５０に画像を入力し、表示ユニットで表示する系を示している。

以下で、図６の一覧表に示した各設定について、図５の機能ブロック図を用いて動作を説明する。

設定１から設定５は、ＨＭＤ５０の撮像ユニット５０１で撮像した撮像画像を、表示ユニット５０２で表示する系を示している。
設定１は、撮像ユニット５０１で取得した撮像画像に対して、第一の歪み補正部５０５で撮像系歪みと表示系歪みを同時に補正する歪み補正処理を行い、表示ユニット５０２で表示する。
設定２は、第一の歪み補正部５０５で撮像画像の撮像歪みを補正し、第二の歪み補正部５０６で表示歪みを補正し、表示ユニット５０２で表示する。
設定３は、第一の歪み補正部５０５で、撮像系歪みを補正し、表示ユニット５０２で表示する。
設定４は、第一の歪み補正部５０５で、表示系歪みを補正し、表示ユニット５０２で表示する。
設定５は、歪み補正処理を行わずに、撮像画像をそのまま表示ユニット５０２で表示する。

設定１と設定２はどちらも、撮像画像に対して、撮像系歪みと表示系歪みの両方を補正している。しかしながら、設定１は１回の処理で撮像系歪みと表示系歪みの補正を同時に実現できることに対して、設定２では歪み補正処理が２回実行することになる。したがって、設定２の演算誤差は、設定１よりも大きくなるので、設定１を利用する方がより効果的であると言える。

設定３、４、５は、ＨＭＤ５０が撮像系か表示系のいずれかの歪みしか持たない、または無視しうる場合、または撮像系と表示系のいずれの歪みも待たない、または無視しうる場合に利用することができる。しかしながら、ユーザーが歪みを補正したくない場合でも、意図的に利用することができる。

設定６から設定１３は、撮像ユニット５０１で撮像した撮像画像と、Ｉ／Ｆ５０３から入力された外部入力画像をＨＭＤ５０内で合成し、表示ユニット５０２で表示する系を示している。

ここでは、撮像系歪みと表示系歪みの両方を補正する設定６から設定８について、詳しく説明する。

設定６は、Ｉ／Ｆ５０３を介して、外部装置から入力された外部入力画像に対して、第二の歪み補正部５０６でＨＭＤ５０の撮像系歪みと等しい歪みを加える。この処理を撮像系逆歪み補正とする。これは、画像合成前に歪みを取ってしまうのではなく、同じ歪みを持つ画像同士を合成した後で撮像系歪みと表示系歪みを合わせた歪み補正を一度の処理で行うために行う。

続いて、撮像系歪みを有する撮像画像と、撮像系逆歪み補正を行った外部入力画像を、画像合成部５０４で合成する。合成後、合成画像に対して、第一の歪み補正部５０５で撮像系歪みと表示系歪みを同時に補正する歪み補正処理を行い、表示ユニット５０２で画像を表示する。

設定７は、撮像画像に対して、第一の歪み補正部５０５で撮像系歪みを補正する処理を行い、外部入力画像と合成する。そして、合成画像に対して、第二の歪み補正部５０６で表示系歪みを補正する処理を行い、表示ユニット５０２で画像を表示する。ＭＲシステムにおいては、外部入力画像は主にＣＧ画像であり、歪み補正処理を実行した際の演算誤差によってＨＭＤ装着者が感じる画像の劣化は、現実空間を撮像した画像のような自然画像と比べて小さくなると考えられる。したがって、ＨＭＤ装着者にとっては、設定７のように、ＣＧ画像に対しては１回の補正処理で、撮像画像すなわち自然画像に２回の補正処理が行われる設定よりは、設定６のように、ＣＧ画像に対しては２回の補正処理が行われるものの、撮像画像には１回の補正処理で済む設定の方が、最終的に表示される合成画像の画質がよいと感じられることになる。

設定８は、撮像画像に対して、第一の歪み補正部５０５で撮像系歪みと表示系歪みを同時に補正する歪み補正処理を行い、外部入力画像に対して、第二の歪み補正部５０６で表示系の歪み補正処理を行う。そして、画像合成部５０４で歪み補正後の両画像を合成し、表示ユニット５０２で画像を表示する。設定８は、撮像画像にも外部入力画像にも１回の歪み補正処理しか行わないため、設定６、設定７と比べて、より演算誤差が小さくなり、有効な設定であると言える。

設定９、設定１０は、撮像系歪みのみを補正し、設定１１、設定１２は、表示系歪みのみを補正し、設定１３は、撮像系歪みと表示系歪みのいずれの歪み補正も行わない設定となっている。

設定１４から設定２２は、撮像画像と合成用画像の合成が外部装置で行われ、Ｉ／Ｆ５０３を介して、外部装置から合成画像を入力し、表示ユニット５０２で表示する系、または、外部装置でも合成を行わずに、Ｉ／Ｆ５０３を介して、外部装置から画像を入力し、表示ユニット５０２で表示する系を示している。

設定１４、設定１７、設定１８、設定２１は、ＨＭＤ５０側で撮像系歪みと表示系歪みの両方を補正する。
設定１５、設定１９は、ＨＭＤ５０側で撮像系歪み補正のみを行い、設定１６、設定２０は、ＨＭＤ５０側で表示系歪み補正のみを行う。
設定２２はＨＭＤ５０側では、撮像系と表示系のいずれの歪み補正も行わない設定となっている。

図７は、本実施の形態におけるＨＭＤの設定処理の流れを示すフローチャートである。
ＨＭＤ５０は、電源が投入されると、まず、外部装置が接続されているか否かを判断する（ステップ７０１）。外部装置が接続されている場合、外部装置の設定情報の読み込みを行い（ステップ７０２）、設定情報が読み込めたか否かを判断する（ステップ７０３）。

外部装置の有する設定情報を読み込めた場合、外部装置の設定情報を参照し（ステップ７０４）、外部装置から強制的にＨＭＤ５０の設定を行う情報が含まれているか否かを判断する（ステップ７０５）。外部装置から強制的にＨＭＤ５０の設定を行う情報が含まれていた場合は、設定情報に基づいてＨＭＤ５０の設定を行い（ステップ７０８）、設定に応じて、画像合成部、歪み補正部、位置情報生成部の機能制御を行い（ステップ７０９）、設定を終了する。

外部装置から強制的にＨＭＤ５０の設定を行う情報が含まれていない場合は、外部装置における合成機能の有無や、歪み補正機能の有無とその機能、位置情報生成機能の有無とその機能を確認し、ＨＭＤ５０の持つ設定の中から、選択可能な設定を判断する（ステップ７０６）。ここで、選択可能な設定とは、例えば、外部装置側とＨＭＤ５０側で繰り返し同じ歪み補正を行ったり、繰り返し画像合成を行ったりすることがないような設定のことを指し、ステップ７０６では、ＨＭＤの持つ設定の中からこのような設定を判断することが好ましい。ただし、選択可能な設定の判断基準は、ユーザーが任意に設定することを可能とし、必ずしも上記には限らない。

続いて、選択可能な設定が１つであるか否かを判断し（ステップ７０７）、１つであった場合は、該当する設定をＨＭＤ５０に行う（ステップ７０８）。そして、設定に応じて、画像合成部、歪み補正部、位置情報生成部の機能制御を行い（ステップ７０９）、設定を終了する。

ステップ７０７で、選択可能な設定が１つではなかった場合には、選択可能な設定をユーザーに通知し（ステップ７１０）、選択可能な設定の中から、ユーザーからの指示に基づき１つの設定を選択する（ステップ７１１）。そして、選択した設定をＨＭＤに行い（ステップ７０８）、設定に応じて、画像合成部、歪み補正部、位置情報生成部の機能制御を行い（ステップ７０９）、設定を終了する。

ステップ７０１で、外部装置が接続されていなかった場合や、ステップ７０３で、外部装置の設定情報が読み込めなかった場合には、ＨＭＤ５０の持つすべての設定の中から、前述と同様にして１つの設定を選択する（ステップ７１１）。

そして、選択した設定をＨＭＤに行い（ステップ７０８）、設定に応じて、画像合成部、歪み補正部、位置情報生成部の機能制御を行い（ステップ７０９）、設定を終了する。

以上で説明したように、ＨＭＤで複数の設定を持つことによって、次のような効果を持つ。即ち、ＨＭＤと接続される外部装置の合成機能および歪み補正機能、位置情報生成機能の有無や、外部装置の有している歪み補正機能の種類に関係なく、ＨＭＤ装着者に撮像系および表示系の歪み補正処理を行った好ましい表示画像を提供することが可能となる。

（実施例６）
本発明を実現する第６の実施の形態を、図に従って説明する。
図８は、本発明の特徴を説明する第６の実施の形態における画像表示システムの機能ブロック図である。
画像表示システムは、ＨＭＤ８０と画像処理装置８１とで構成される。

ＨＭＤ８０は、撮像ユニット８０１、表示ユニット８０２、Ｉ／Ｆ８０３、８０４、画像合成部８０５、歪み補正部８０６、制御部８０７、位置姿勢センサ８０８、位置情報生成部８０９を有する。

画像処理装置８１は、Ｉ／Ｆ８１０、８１５、位置情報生成部８１１、ＣＧ画像描画部８１２、歪み補正部８１３、画像合成部８１４、設定部８１６、制御部８１７を有する。

画像処理装置８１のＣＧ画像描画部８１２は、ＨＭＤ８０側の位置情報生成部８０９、または画像処理装置側の位置情報生成部８１１で生成された三次元位置姿勢情報に基づいて、撮像画像に合成するためのＣＧ画像の描画を行う。その他の各ブロックの機能は、実施例５と同様である。即ち、ＨＭＤ８０、および画像処理装置８１は、設定部８１６によって入力された設定に応じて、制御部８０７、８１７で、ＨＭＤ側の画像合成部８０５、歪み補正部５０５、位置情報生成部８０９と、画像処理装置側の画像合成部８１４、歪み補正部８１３、位置情報生成部５１１、ＣＧ画像描画部８１２の制御を行う。これらの機能を組み合わせることで、以降で説明する様々な機能を実行することが可能となる。

本実施の形態では、設定部８１６を画像処理装置８１側に設ける構成となっているが、設定部をＨＭＤ８０側に設け、ＨＭＤ側の制御部８０７、Ｉ／Ｆ８０４、画像処理装置側のＩ／Ｆ８１５を介して、画像処理装置側の制御部８１７に設定情報を送る構成としても良い。また、ＨＭＤ８０、または画像処理装置８１に設定用Ｉ／Ｆを設け、外部装置から設定を行う構成としても良い。

図９は、本実施の形態における画像表示システムに設定可能な設定を示す表である。
表中の撮像という表記は、撮像画像に対して歪み補正の欄に記載された補正を実行することを表している。同様にＣＧという表記は、ＣＧ画像に対して歪み補正の欄に記載された補正を行い、合成という表記は、合成後の画像に対して歪み補正の欄に記載の補正を実行することを表している。

また、表中の合成の欄は、ＨＭＤ８０、画像処理装置８１のどちらの画像合成部で画像合成を行うかを示している。合成の欄がナシと記載されている設定は、ＨＭＤ８０の撮像ユニット８０１で撮像した画像を画像処理装置８１に送らずに、さらにＨＭＤ８０内で合成を行わずに、撮像画像を表示ユニット８０２で表示する系を示している。

以下で、図９に示した設定について、図８の機能ブロック図を用いて動作を説明する。
設定１から４は、ＨＭＤ８０の撮像ユニット８０１で撮像した画像に対して、画像合成を行わずに、表示ユニット８０２で表示する系を示している。

設定１は、撮像ユニット８０１で取得した撮像画像に対して、歪み補正部８０６で撮像系歪みと表示系歪みを同時に補正する歪み補正処理を行い、表示ユニット８０２で表示する。

設定２は、歪み補正部８０６で撮像画像の撮像歪みを補正する処理を行う。設定３は、歪み補正部８０６で撮像画像の表示歪みを補正する処理を行う。設定４は、歪み補正処理を行わずに表示ユニット５０２で表示を行う。

設定２、３、４は、ＨＭＤ８０が撮像系か表示系のいずれかの歪みしか持たない場合、または、撮像系と表示系のいずれの歪みも待たない場合に利用することが想定されるが、ユーザーが歪みを補正したくない場合でも、意図的に利用することができる。

設定５から設定１１は、ＨＭＤ８０の撮像ユニット８０１で撮像した画像と、画像処理装置８１のＣＧ画像描画部８１２で生成したＣＧ画像をＨＭＤ８０側の画像合成部８０５で合成し、表示ユニット８０２で表示する系を示している。

ここでは、撮像系歪みと表示系歪みの両方を補正する設定５と設定６について詳しく説明する。

設定５は、画像処理装置８１で生成されたＣＧ画像に対して、画像処理装置側の歪み補正部８１３で撮像系逆歪み補正を行い、Ｉ／Ｆ８１５、８０４を介して、ＨＭＤ８０にＣＧ画像を送信する。続いて、撮像系歪みを有する撮像画像と、撮像系逆歪み補正を行ったＣＧ画像を、ＨＭＤ８０側の画像合成部８０５で合成する。そして、合成画像に対して、ＨＭＤ８０側の歪み補正部８０６で撮像系歪みと表示系歪みを同時に補正する歪み補正処理を行い、表示ユニット８０２で画像を表示する。

設定６は、撮像画像に対して、ＨＭＤ８０側の歪み補正部８０６で撮像系歪みと表示系歪みを同時に補正する歪み補正処理を行い、ＣＧ画像に対して、画像処理装置８１側の歪み補正部８１３で表示系の歪み補正処理を行う。そして、歪み補正後の両画像をＨＭＤ８０側の画像合成部８０５で合成し、表示ユニット８０２で画像を表示する。設定６は、撮像画像にも外部入力画像にも１回しか歪み補正処理を行わないため、設定５と比べて、演算誤差がより小さくなり、有効であると言える。

設定７、設定８は、撮像系歪みのみを補正し、設定９、設定１０は、表示系歪みのみを補正し、設定１１は、撮像系と表示系のいずれの歪み補正も行わない設定である。

設定１２から設定２２は、撮像画像とＣＧ画像の合成が画像処理装置８１で行われ、Ｉ／Ｆ８１５、８０４を介して、ＨＭＤ８０に合成画像を送信し、表示ユニット８０２で表示する系を示している。

ここでは、撮像系歪みと表示系歪みの両方を補正する設定１２から設定１５について詳しく説明する。
設定１２は、まず、画像処理装置８１で生成されたＣＧ画像に対して、画像処理装置側の歪み補正部８１３で撮像系逆歪み補正を行う。続いて、撮像系歪みを有する撮像画像と、撮像系逆歪み補正を行ったＣＧ画像を、画像処理装置８１側の画像合成部８１４で合成する。その後、Ｉ／Ｆ８１５、８０４を介して、ＨＭＤ８０に合成画像を送信し、合成画像に対して、ＨＭＤ８０側の歪み補正部８０６で撮像系歪みと表示系歪みを同時に補正する歪み補正処理を行い、表示ユニット８０２で画像を表示する。

設定１３は、撮像画像に対して、ＨＭＤ８０側の歪み補正部８０６で撮像系歪みと表示系歪みを同時に補正する歪み補正処理を行い、ＣＧ画像に対して、画像処理装置８１側の歪み補正部８１３で表示系の歪み補正処理を行う。そして、歪み補正後の両画像を画像処理装置８１側の画像合成部８１４で合成し、Ｉ／Ｆ８１５、８０４を介して、ＨＭＤに合成画像を送信し、表示ユニット８０２で画像を表示する。設定１３は、設定６と同様に、撮像画像にも外部入力画像にも１回しか歪み補正処理が行われないため、設定１２よりも演算誤差が小さくなり、有効な設定であると言える。

設定１４は、撮像ユニット８０１で撮像した撮像画像に対して、ＨＭＤ側の歪み補正部８０６で撮像系歪みを補正する処理を行い、Ｉ／Ｆ８０３、８１０を介して、画像処理装置８１に撮像系歪み補正後の撮像画像を送信する。そして、ＣＧ画像描画部８１２で生成されたＣＧ画像と、撮像系歪み補正後の撮像画像を、画像処理装置８１側の画像合成部８１４で合成し、合成画像に対して、画像処理装置８１側の歪み補正部８１３で表示系歪みの補正処理を行う。そして、歪み補正後の合成画像をＩ／Ｆ８１５、８０４を介して、ＨＭＤ８０に送信し、表示ユニット８０２で表示する。

設定１５は、撮像ユニット８０１で生成した撮像画像を、Ｉ／Ｆ８０３、８１０を介して、画像処理装置８１に送信し、画像処理装置８１側の歪み補正部８１３で撮像系歪みを補正する処理を行う。そして、ＣＧ画像描画部８１２で生成されたＣＧ画像と、撮像系歪み補正後の撮像画像を、画像処理装置８１側の画像合成部８１４で合成する。そして、Ｉ／Ｆ８１５、８０４を介して、歪み補正後の合成画像をＨＭＤ８０に送信する。そして、ＨＭＤ８０側の歪み補正部８０６で合成画像に対して、表示系ひずみを補正する処理を行い、表示ユニット８０２で表示する。

設定１６、設定１７、設定１８は、撮像系歪み補正のみを行い、設定１９、設定２０、設定２１は、表示系歪み補正のみを行い、設定２２は、撮像系と表示系のいずれの歪み補正も行わない設定となっている。

以上で説明したような複数の設定を持つことによって、ＨＭＤ８０と画像処理装置８１で構成される画像表示システムにおいて、画像合成部や歪み補正機能の処理内容を組み合わせて、撮像系歪みと表示系歪みを補正したＭＲ画像をＨＭＤ装着者に提供することが可能となる。

（実施例７）
本発明を実現する第７の実施の形態を、図に従って説明する。

図１０は、本発明の特徴を説明する第７の実施の形態における画像処理装置の機能ブロック図である。

画像処理装置１００は、Ｉ／Ｆ１００１、画像合成部１００３、第一の歪み補正部１００４、第二の歪み補正部１００５、設定部１００６、制御部１００７、位置情報生成部１００８、ＣＧ画像描画部１００９から構成される。

各ブロックの機能は、実施例５、および実施例６と同様であり、画像処理装置１００は、設定部１００６によって入力された設定に応じて、制御部１００７で、画像合成部１００３、第一の歪み補正部１００４、第二の歪み補正部１００５、位置姿勢情報生成部１００８、ＣＧ画像描画部１００９の制御を行う。これらの機能を組み合わせることで、以降で説明する様々な機能を実行することが可能である。

図１０では、設定部１００６より設定を行う構成となっているが、画像処理装置１００と接続された外部装置から、Ｉ／Ｆ１００１を介して、制御部１００７に設定情報を送ることも可能である。

また、第一の歪み補正部１００４と第二の歪み補正部１００５は、図１０で示したように、他の機能ブロックとのパスが異なるように構成し、それぞれの機能を限定することもできる。また、第一の歪み補正部と第二の歪み補正部を区別なく自由に利用できるように、他の機能ブロックとのパスを等しく構成することも可能である。

図１１は、本実施の形態における画像処理装置に設定可能な設定を示す表である。
表中の外部という表記は、画像処理装置１００に接続された外部装置からの外部入力画像に対して歪み補正の欄に記載された補正を実行することを表している。同様にＣＧという表記は、ＣＧ画像描画部で生成されたＣＧ画像に対して歪み補正の欄に記載された補正を行い、合成という表記は、合成後の画像に対して歪み補正の欄に記載の補正を実行することを表している。また、表中の合成の欄は、画像処理装置で画像合成を行うか否かを示しており、合成の欄がナシと記載されている設定は、合成を行わないことを示している。合成の欄が画像処理装置と記載されている設定は、Ｉ／Ｆ１００１から入力された外部入力画像を画像処理装置１００内で合成し、Ｉ／Ｆ１００１から外部装置に合成画像を出力する系を示している。

図１１に示した設定について、図１０の機能ブロック図を用いて動作を説明する。
設定１から５は、外部装置から入力された外部入力画像に対して、合成を行わずに、Ｉ／Ｆ１００１を介して、外部装置に画像を出力する系を示している。

設定１は、外部装置からの入力画像に対して、第一の歪み補正部１００４で撮像系歪みと表示系歪みを同時に補正する歪み補正処理を行い、Ｉ／Ｆ１００１を介して、外部装置に出力する。

設定２は、第一の歪み補正部１００４で外部入力画像に対して、撮像系歪みを補正する処理を行った後に、第二の歪み補正部１００５で表示系歪みを補正する処理をそれぞれ行い、Ｉ／Ｆ１００１を介して、歪み補正後のＣＧ画像を外部装置に出力する。なお、補正の順番は逆でも良い。

設定３は、第一の歪み補正部１００４で、外部入力画像に対して、撮像系歪みを補正する処理を行い、設定４は、第一の歪み補正部１００４で、外部入力画像に対して、表示系歪みを補正する処理を行う。

設定５は、外部入力画像に対して、歪み補正処理を行わずに、Ｉ／Ｆ１００１を介して、外部装置に出力する。

設定１と２を比較すると、設定１は１回の処理で撮像系と表示系の歪み補正を同時に実現できることに対して、設定２では歪み補正処理が２回必要となる。したがって、設定２の演算誤差は、設定１よりも大きくなるので、設定１を利用する方がより効果的であると言える。

また、設定３、４、５は、画像処理装置１００に接続された外部装置が撮像系か表示系のいずれかの歪みしか持っていない場合や、撮像系と表示系のいずれの歪みも待っていない場合に利用する。

設定３は、外部装置からの入力画像に対して、歪み補正が必要であれば補正を行って、Ｉ／Ｆ１００１を介して、再び外部装置に外部入力画像を出力する系として説明したが、実際には、外部入力画像を外部装置に出力しない系も考えられる。以下で、この系について説明する。

ＣＧ画像描画部１００９において、外部入力画像に合成するＣＧ画像を描画する際に用いる三次元位置姿勢情報は、位置情報生成部１００８において、外部入力画像データや、各種センシングデバイスによって取得したセンシング情報を用いて生成することができる。

しかし、外部入力画像データから三次元位置姿勢情報を生成する場合、画像に撮像系歪みが含まれていると、生成される三次元位置姿勢情報の精度が低くなる。このような場合に、外部入力画像に対して、第一の歪み補正部１００４で撮像系歪みを補正し、位置情報生成部１００８で、撮像系歪み補正後の画像データを用いることによって、精度の高い三次元位置姿勢情報を得ることが可能となる。

したがって、本実施例における画像処理装置では、精度の高い三次元位置姿勢情報を生成するために外部入力画像の撮像系歪みを補正し、画像出力を行わない設定や、精度の高い三次元位置姿勢情報を生成するために外部入力画像の撮像系歪みを補正し、生成した三次元位置姿勢情報を用いて描画したＣＧ画像に対して、必要な歪み補正処理を行い、外部装置にＣＧ画像を出力する設定を用意してもよい。

設定６から設定１１は、ＣＧ画像描画部１００９で生成されたＣＧ画像に対して、画像処理装置１００内での合成を行わずに、Ｉ／Ｆ１００１を介して、外部装置に画像を出力する系を示している。

設定６は、ＣＧ画像描画部１００９で生成したＣＧ画像に対して、第一の歪み補正部１００４で撮像系歪みと表示系歪みを同時に補正する歪み補正処理を行い、Ｉ／Ｆ１００１を介して、外部装置に出力する。

設定７は、ＣＧ画像に対して、第一の歪み補正部１００４で撮像系歪みを補正する処理を行った後に、第二の歪み補正部１００５で表示系歪みを補正する処理をそれぞれ行い、Ｉ／Ｆ１００１を介して、歪み補正後のＣＧ画像を外部装置に出力する。なお、補正の順番は逆でも良い。

設定８、設定９、設定１０は、第一の歪み補正部１００４で、ＣＧ画像に対して、撮像系歪み補正、表示系歪み補正、撮像系逆歪み補正のいずれかの処理を行い、Ｉ／Ｆ１００１を介して、歪み補正後のＣＧ画像を外部装置に出力する。

設定１１は、ＣＧ画像に対して、歪み補正処理を行わずに、Ｉ／Ｆ１００１を介して、外部装置に出力する。
撮像系歪みと表示系歪みの両方を補正する設定である設定６と７を比較した場合、設定６は設定１の場合と同様に、１回の処理で撮像系と表示系の歪み補正を同時に実現できるので、２回の歪み補正処理を行う設定７よりも演算誤差が小さくなり、効果的であると言える。

設定１２から設定１９は、画像処理装置１００内の画像合成部１００３で、Ｉ／Ｆ１００１を介して、外部装置から入力される外部入力画像と、ＣＧ画像描画部１００９で生成されたＣＧ画像の合成を行い、Ｉ／Ｆ１００１を介して、外部装置に合成画像を出力する系を示している。

設定１２、設定１３、設定１４は、画像処理装置１００内で、撮像系歪みと表示系歪みの両方の補正を行う設定である。
設定１５、設定１６は、画像処理装置内で撮像系歪み補正のみを行う設定である。
設定１７、設定１８は、画像処理装置内で表示系歪み補正のみを行う設定である。
設定１９は、撮像系と表示系のいずれの歪み補正も行わない設定である。

以上で説明したような複数の設定を持つことによって、次の様な効果を持つ。即ち、画像処理装置１００と接続される外部装置の合成機能および歪み補正機能、位置情報生成機能の有無や、外部装置が有する歪み補正機能の種類に関係なく、撮像系および表示系の歪み補正処理を考慮した出力画像を生成することが可能となる。

（その他の実施例）
なお、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。

この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。

プログラムコードを供給するための記憶媒体としては、例えば、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどを用いることができる。

また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

実施例１を説明するためのブロック構成図である。 実施例２を説明するためのブロック構成図である。 実施例３を説明するためのブロック構成図である。 実施例５におけるＭＲシステムの構成図である。 実施例５を説明するためのＨＭＤのブロック構成図である。 実施例５におけるＨＭＤの設定一覧表を示す図である。 実施例５における設定処理の流れを示すフローチャートである。 実施例６を説明するための画像表示システムのブロック構成図である。 実施例６における画像表示システムの設定一覧表を示す図である。 実施例７を説明するための画像処理装置のブロック構成図である。 実施例７における画像処理装置の設定一覧表を示す図である。

Claims (20)

1. 映像信号を外部装置に出力する出力手段と、映像信号を外部装置から入力する入力手段と、撮像部と表示部とを有する撮像機能付表示装置であって、
   前記撮像部によって撮影された映像信号に対して撮像系の歪み補正を行う撮像系歪み補正手段と、
   前記撮像部によって撮影された映像信号に対して表示系の歪み補正を行う表示系歪み補正手段と、
   前記撮像系歪み補正手段において前記撮像系の歪み補正を行うか否か、および、前記表示系歪み補正手段において前記表示系の歪み補正を行うか否かを制御する制御手段とを有することを特徴とする撮像機能付表示装置。
2. さらに、前記撮像部によって撮影された映像信号に対して撮像系の歪み補正および表示系の歪み補正を行う撮像表示同時歪み補正手段を有し、
   前記制御手段は、前記撮像系歪み補正手段において前記撮像系の歪み補正を行うか否か、前記表示系歪み補正手段において前記表示系の歪み補正を行うか否か、および、前記撮像表示同時歪み補正手段において前記撮像部によって撮影された映像信号に対して撮像系の歪み補正および表示系の歪み補正を行うか否かを制御することを特徴とする請求項１記載の撮像機能付表示装置。
3. 前記撮像部からの映像信号を、外部装置に出力することなく、前記表示部に出力する際に、前記何れかの歪み補正手段を用いて、該映像信号を補正することを特徴とする請求項１または２記載の撮像機能付表示装置。
4. １つの歪み補正回路を有し、
   前記撮像系歪み補正手段は、前記歪み補正回路に対して撮像系の歪み補正を行うための歪み補正テーブルを設定し、前記撮像部によって撮影された映像信号に対して前記撮像系の歪み補正を行い、
   前記表示形歪み補正手段は、前記歪み補正回路に対して表示系の歪み補正を行うための歪み補正テーブルを設定し、前記撮像部によって撮影された映像信号に対して前記表示系の歪み補正を行うことを特徴とする請求項１記載の撮像機能付表示装置。
5. 映像信号を外部装置に出力する出力手段と、映像信号を外部装置から入力する入力手段と、撮像部と表示部とを有する撮像機能付表示装置の画像処理方法であって、
   前記撮像部によって撮影された映像信号に対して撮像系の歪み補正を行う撮像系歪み補正工程と、
   前記撮像部によって撮影された映像信号に対して表示系の歪み補正を行う表示系歪み補正工程と、
   前記撮像系歪み補正工程において前記撮像系の歪み補正を行うか否かおよび前記表示系歪み補正工程において前記表示系の歪み補正を行うか否かを制御する制御工程とを有することを特徴とする画像処理方法。
6. 前記撮像画像と前記入力手段より入力された外部入力画像とを合成する画像合成手段と、
   各歪み補正手段で行う歪み補正の種類、および前記画像合成部において画像合成を行うか否かを設定する設定手段とを更に有し、
   前記制御手段は、前記設定手段の設定に基づいて制御を行うことを特徴とする請求項１乃至４の何れか１項に記載の撮像機能付表示装置。
7. 前記撮像手段で撮像した現実空間画像を、画像合成を行わずに前記表示手段で表示する場合、撮像系歪み補正と表示系歪み補正を合わせて実行することを特徴とする請求項６記載の撮像機能付表示装置。
8. 前記画像合成手段で画像合成を行う場合、各歪み補正手段のうち少なくとも１つが、前記外部入力画像に対して、前記撮像手段の撮像系歪みに等しい歪みを与える撮像系逆歪み補正を行い、他の歪み補正手段のうち少なくとも１つが、合成画像に対して、撮像系歪みと表示系歪みの補正を合わせて行うことを特徴とする請求項６記載の撮像機能付表示装置。
9. 前記画像合成手段で画像合成を行う場合、各歪み補正手段のうち少なくとも１つが、前記外部入力画像に対して、表示系歪みの補正を行い、他の歪み補正手段のうち少なくとも１つが、前記撮像画像に対して、撮像系歪みと表示系歪みの補正を合わせて行うことを特徴とする請求項６記載の撮像機能付表示装置。
10. 映像信号を外部装置から入力する入力手段と、映像信号を外部装置に出力する出力手段と、現実空間を撮像する撮像部と、画像を表示する表示部とを有する撮像機能付表示装置と、
    前記撮像機能付表示装置の撮像部によって撮影された現実空間画像に合成するための合成用画像を生成する画像生成部を有する画像処理装置とから構成される画像表示システムであって、
    前記撮像部で撮像された現実空間画像に、前記画像生成部によって生成された画像を合成する画像合成部と、
    歪み補正の種類を設定する設定部と、
    前記設定部における設定に応じて画像の歪みを補正する歪み補正部とを有することを特徴とする画像表示システム。
11. 前記画像合成部、前記歪み補正部を、前記撮像機能付表示装置と前記画像処理装置のそれぞれに設けとことを特徴とする請求項１０記載の画像表示システム。
12. 前記撮像部で撮像した現実空間画像を、画像合成を行わずに前記表示部で表示する場合、前記撮像機能付表示装置内の歪み補正部において撮像系歪みと表示系歪みの補正を同時に行うことを特徴とする請求項１１記載の画像表示システム。
13. 前記撮像機能付表示装置内の画像合成部で画像合成を行う場合、前記画像処理装置内の歪み補正部が、前記合成用画像に対して、前記撮像部の撮像系歪みに等しい歪みを与える撮像系逆歪み補正を行い、前記撮像機能付表示装置内の歪み補正部が、合成画像に対して、撮像系歪みと表示系歪みの補正を合わせて行うことを特徴とする請求項１１記載の画像表示システム。
14. 前記撮像機能付表示装置内の画像合成部で画像合成を行う場合、前記画像処理装置内の歪み補正部が、前記合成用画像に対して、表示系歪みの補正を行い、撮像機能付表示装置内の歪み補正部が、前記現実空間画像に対して、撮像系歪みと表示系歪みの補正を合わせて行うことを特徴とする請求項１１記載の画像表示システム。
15. 前記画像処理装置内の画像合成部で画像合成を行う場合、前記画像処理装置内の歪み補正部が、前記合成用画像に対して、前記撮像部の撮像系歪みに等しい歪みを与える撮像系逆歪み補正を行い、前記撮像機能付表示装置内の歪み補正部が、合成画像に対して、撮像系歪みと表示系歪みの補正を合わせて行うことを特徴とする請求項１１記載の画像表示システム。
16. 前記画像処理装置内の画像合成部で画像合成を行う場合、前記画像処理装置内の歪み補正部が、前記合成用画像に対して、表示系歪みの補正を行い、前記撮像機能付表示装置内の歪み補正部が、前記現実空間画像に対して、撮像系歪みと表示系歪みの補正を合わせて行うことを特徴とする請求項１１記載の画像表示システム。
17. 外部装置から画像信号を入力する入力手段と、
    入力された外部入力画像に合成するための合成用画像を生成する画像生成部と、
    外部装置に画像信号を出力する出力手段と、
    前記外部入力画像に、前記合成用画像を合成する画像合成部と、
    画像の歪みを補正する少なくとも１つの歪み補正部と、
    前記歪み補正部で行う歪み補正の種類、および前記画像合成部において画像合成を行うか否かを設定する設定部とを有することを特徴とする画像処理装置。
18. 前記画像合成部で合成を行わずに前記外部入力画像、または前記合成用画像のいずれかを前記出力手段より出力する場合、前記歪み補正部が、撮像系歪み補正と表示系歪み補正を同時に実行することを特徴とする請求項１７記載の画像処理装置。
19. 前記歪み補正部を複数有し、前記画像合成部で画像合成を行う場合、前記歪み補正部のうち少なくとも１つが、前記合成用画像に対して、前記撮像部の撮像系歪みに等しい歪みを与える撮像系逆歪み補正を行い、他の歪み補正部のうち少なくとも１つが、合成画像に対して、撮像系歪みと表示系歪みの補正を合わせて行うことを特徴とする請求項１７記載の画像処理装置。
20. 前記歪み補正部を複数有し、前記画像合成部で画像合成を行う場合、前記歪み補正部のうち少なくとも１つが、前記合成用画像に対して、表示系歪みの補正を行い、他の歪み補正部のうち少なくとも１つが、前記外部入力画像に対して、撮像系歪みと表示系歪みの補正を合わせて行うことを特徴とする請求項１７記載の画像処理装置。

Images