JP4693552B2 - 表示装置、制御装置、及び制御方法 - Google Patents

Description

本発明は、撮像装置、及び表示装置に係るパラメータを校正するための技術に関するものである。

従来より、観察者の瞳位置とほぼ同じ位置で撮影した映像をコンピュータ等に取り込み、コンピュータ・グラフィックス（ＣＧ）を重ね合わせて表示するビデオシースルー・タイプの頭部装着型映像表示装置（ヘッドマウントディスプレイ）が提案されている。また、同機能の手持ち型映像表示装置（ハンドヘルドディスプレイ）も提案されている。

以下では、頭部装着型映像表示装置の一例について、図５から図７を用いて以下説明する。

図５は、従来のビデオシースルー・タイプの頭部装着型映像表示装置のハードウェア構成を示すブロック図である。なお、同図において、番号に後続するＲ、Ｌはそれぞれ右眼用／左眼用を意味するもので、それぞれペアとなっている。従って、同じ番号に対してＲ、Ｌが付いているものはそれぞれ同じ機能を有するものであるので、以下では、Ｒ、Ｌを省いた形で説明することにする。

図５に示す如く、頭部装着型映像表示装置は、頭部横着ユニット５０１と、制御ユニット５００とで構成されている。

同図において１１０は、動画の撮影を行うCCDやCMOSエリアセンサ等の撮像素子である。１１１は撮像素子１１０からの映像信号に対する画像処理を行うAGC（自動利得制御）、CDS（相関２重サンプリング）、ADC（アナログ−ディジタル変換器）等のアナログ画像処理部である。１１２は、アナログ画像処理部１１１によってディジタル信号化された信号に対する画像処理を行うγ（ガンマ）補正、色相補正、輪郭補正、撮像光学系に対する歪補正等のディジタル画像処理部である。

１１３はディジタル画像処理部１１３により画像処理された信号を所定のビデオフォーマットに変換して出力するNTSCエンコーダ等の撮影映像出力部である。１２０は、外部コンピュータから出力された映像信号を取り込むPLL（位相同期ループ）、ADC（アナログ−ディジタル変換器）等の表示映像入力部である。１２３は表示映像入力部１２０により入力した映像信号に基づく映像の解像度やフレーム周波数を、後段の小型表示素子１２５に合わせて変換し、表示光学系に対する歪の補正を行う表示映像変換部である。１２４は後段の小型表示素子１２５に対するコントローラやドライバ等の表示素子駆動部である。１２５はLCD（液晶）、EL素子等の小型表示素子である。

１０１Ｒは右眼映像撮像表示ユニット、１０１Ｌは左眼映像撮像表示ユニットである。１３０はCPU等の制御部、１３１は撮像光学系に対する歪補正テーブル部、１３２は表示光学系に対する歪補正テーブル部である。５０２は頭部装着ユニット５０１と制御ユニット５００を接続するためのケーブルである。

図６は従来のビデオシースルー・タイプの頭部装着型映像表示装置の内部構成図である。なお図６においては、全体の構成が分かり易いように、図５で示した回路が搭載されている基板は特に図示しておらず、撮像素子１１０および小型表示素子１２５のみを図示している。図６において、６１０は外界から入射される入射光であるところの外光の光束である。６１１は撮像素子１１０の位置を観察者の眼球６２２の位置に可能な限り近づけるよう入射光の光軸を入射方向と異なる方向へ折り返すと共に、距離を稼ぐための楔形プリズムである。６１２は外光の光束６１０を撮像素子１１０へ結像させるための撮像レンズである。６２２は観察者の眼球である。６２１は表示素子１２５から射出されて観察者の眼球６２０へ入射する表示部映像光の光束である。６２０は表示素子１２５から射出される光を拡大すると共にある程度の太さの光束として観察者の眼球６２２に導くための自由曲面プリズムである。

図７は従来のビデオシースルー・タイプの頭部装着型映像表示装置を観察者が装着したときの外観図である。図７において７０１は観察者の頭部である。１０１Ｒ，Ｌは左右の映像撮像表示ユニット、５０１は頭部装着型映像表示装置の頭部装着ユニット、５００は頭部装着型映像表示装置の制御ユニット、５０２は頭部装着ユニット５０１と制御ユニット５００を接続するためのケーブルである。

以上、３つの図を用いて全体の構成、及び各部の機能について説明すると、先ず観察者は図７に示すように頭部装着型映像表示装置の頭部装着ユニット５０１が観察者の眼球６２２の前にくるように観察者の頭部７０１に装着する。装着された頭部装着ユニット５０１には右眼用の右眼映像撮像表示ユニット１０１Ｒ、及び左眼用の左眼映像撮像表示ユニット１０１Ｌが含まれており、各々図６に示すような構成／配置となっている。即ち、撮像系においては外光の光束６１０が外界から入射され、楔形プリズム６１１により入射光の光軸を入射方向と異なる方向へ折り返す。それと共に距離を稼いで撮像レンズ６１２により撮像素子１１０へ結像させることにより、撮像素子１１０の位置を観察者の眼球６２２の位置に可能な限り近づけるようにしている。

これにより、実際に眼で見ている像にほぼ一致する映像を撮影することが可能となる。また、表示系においては小型表示素子１２５から射出される光を自由曲面プリズム６２０で拡大すると共にある程度の太さの光束６２１として観察者の眼球６２２に導くことにより、観察者は拡大された小型表示素子１２５の虚像を観察することが可能となる。また、撮像素子１１０で撮影された映像は図５に示される構成でもって処理され、外部コンピュータに転送される。外部コンピュータ側では、転送された映像にＣＧ等を重畳した映像を再度頭部装着型映像表示装置に出力し、表示素子１２５で表示させる。

即ち、撮像素子１１０で撮影された映像は、先ずアナログ画像処理部１１１においてAGC（自動利得制御）、CDS（相関２重サンプリング）、ADC（アナログ−ディジタル変換器）等の画像処理がアナログ信号の状態で施される。アナログ画像処理部１１１により画像処理が施されたディジタル信号に対して、ディジタル画像処理部１１２は、γ（ガンマ）補正、色相補正、輪郭補正等の画像処理を施す。また同時に、このディジタル信号に対しては、撮像光学系に対する歪補正テーブル部１３１のデータを元に撮像光学歪を補正するための画像処理が行われる。

画像処理を施された映像信号は撮影映像出力部１１３においてNTSCエンコーダ等により所定のビデオフォーマットに変換して、外部コンピュータへ出力される。外部コンピュータ側では、この撮影映像にＣＧ等を重畳した映像を生成し、外部コンピュータの標準映像出力からVGA等所定のフォーマットで映像入力部１２０に入力される。表示映像入力部１２０において同期信号からPLL（位相同期ループ）を用いて画素クロックの生成を行う。そして、ADC（アナログ−ディジタル変換器）によって、外部コンピュータから入力したアナログ映像信号をディジタル化して後段の処理回路で使用可能なディジタル・ビデオ信号に変換する。

ディジタル化された映像信号は次に表示映像変換部１２３にて小型表示素子１２５の解像度や表示に最適なフレーム周波数に変換される。また同時に、表示光学系に対する歪補正テーブル部１３２のデータを元に表示光学歪を補正するための画像処理が行われる。表示素子駆動部１２４におけるコントローラやドライバ等にて小型表示素子１２５を駆動するのに適した信号に加工され、LCD（液晶）、EL素子等の小型表示素子１２５により映像が表示される。なお、表示光学歪みの補正は、例えば、特許文献１に記載されている。

これらシステム全ての制御を行っているのが制御部１３０である。

また、頭部装着ユニット５０１はできる限り軽い物が望まれるため、右眼映像撮像表示ユニット１０１Ｒ、及び左眼映像撮像表示ユニット１０１Ｌのみとし、他の回路は制御ユニット５００に搭載されている。それら２つを接続しているのがケーブル５０２であり、観察者７０１が動き回ることを想定して、５〜１０メートルの長さとしている。

なお、上記光学歪は光学部品の個体差や組立公差等の影響により固体によって各々異なる。従って、上記撮像光学系に対する歪補正テーブル部１３１および表示光学系に対する歪補正テーブル部１３２は固体毎に歪データを測定して各々書き込むこととなる。
特開平１０−３２７３７３号公報

しかしながら、上記従来のビデオシースルー・タイプの頭部装着型映像表示装置においては、頭部装着ユニットと制御ユニットを必ず対にしなくてはいけないという問題があった。また、対にしない場合には、頭部装着ユニットを交換した際には何らかの方法により交換後の頭部装着ユニットの歪データに対応した歪補正値を歪補正テーブルに書き込まなければならないという問題があった。

本発明は以上の問題に鑑みて成されたものであり、表示ユニット固有の個体差に応じた画像処理を行う為の技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の表示装置は以下の構成を備える。

即ち、外界を撮像する撮像部と、当該撮像部が撮像した画像に基づく表示を行う表示部と、を備える表示ユニットと、
前記撮像部が撮像した画像を受け、当該受けた画像に対して所定の処理を行い、当該処理した画像を前記表示部に出力する処理ユニットと、
を備え、前記表示ユニットと前記処理ユニットとは別個の装置として構成される表示装置であって、
前記表示ユニットは、
前記表示ユニットの個体差を示す固有情報を保持する第１のメモリを備え、
前記処理ユニットは、
１以上の表示ユニットのそれぞれについて、該表示ユニットの個体差を示す固有情報を保持する第２のメモリと、
前記第１のメモリに保持されている固有情報が前記第２のメモリに登録されている場合には当該登録されている固有情報を選択する選択手段と、
前記第１のメモリに保持されている固有情報が前記第２のメモリに登録されていない場合には前記第１のメモリに保持されている固有情報を前記第２のメモリに登録する登録手段とを備え、
前記処理ユニットは、前記選択手段で選択された、若しくは前記登録手段で登録された固有情報を用いて、前記撮像部から受けた画像に対して前記表示ユニットに固有の処理を行うことを特徴とする。

本発明の構成により、表示ユニット固有の個体差に応じた画像処理を行うことができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図１は、本実施形態に係る頭部装着型映像表示装置（以下、単に表示装置と呼称する場合がある）のハードウェア構成を示すブロック図である。なお、同図において、図５と同じ部分については同じ番号を付けている。また、番号にＲが付いた部分、Ｌが付いた部分はそれぞれ、右目用の処理を行う構成要素、左目用の処理を行う構成要素である。しかし、Ｒ、Ｌが付いている番号が同じであれば、同じ機能を有するものである。

例えば、撮像素子１１０Ｒ、１１０Ｌはそれぞれ右目用、左目用の外界撮像部として機能するものであるが、それぞれは同じ動作を行うものである。このように、Ｌ、Ｒが付いている番号が同じであれば、機能は同じであるので、以下では特に断らない限りは、Ｒ、Ｌは省略して説明する。

同図に示す如く、本実施形態に係る表示装置は、頭部装着ユニット（表示ユニット）１０１と、制御ユニット（処理ユニット）１００とで構成されている。同図において１１０は、外界の動画像を撮像する為のCCDやCMOSエリアセンサ等で構成されている撮像素子である。１１１は、撮像素子１１０からの映像信号に対する画像処理を行うAGC（自動利得制御）、CDS（相関２重サンプリング）、ADC（アナログ−ディジタル変換器）等で構成されているアナログ画像処理部である。１１２は、アナログ画像処理部１１１によってディジタル信号化された信号に対する画像処理（γ（ガンマ）補正、色相補正、輪郭補正、撮像光学系に対する歪補正等）を行うディジタル画像処理部である。なお、ディジタル画像処理部１１２は、歪み補正処理を行う際、歪み補正テーブル部１３１に保持されている後述の歪み補正テーブルデータを用いる。

１１３は、ディジタル画像処理部１１３により画像処理された信号を所定のビデオフォーマットに変換して出力するNTSCエンコーダ等で構成されている撮影映像出力部である。１２０は、外部コンピュータから出力された映像信号を取り込むPLL（位相同期ループ）、ADC（アナログ−ディジタル変換器）等で構成されている表示映像入力部である。

１２３は、表示映像入力部１２０により入力した映像信号に基づく映像の解像度やフレーム周波数を、後段の小型表示素子１２５に合わせて変換し、表示光学系に対する歪の補正を行う表示映像変換部である。なお、表示映像変換部１２３は、歪み補正処理を行う際、歪み補正テーブル部１３２に保持されている後述の歪み補正テーブルデータを用いる。

１２４は、後段の小型表示素子１２５に対するコントローラやドライバ等で構成されている表示素子駆動部である。１２５はLCD（液晶）、EL素子等で構成されている小型表示素子である。

１０１Ｒは右眼映像撮像表示ユニットで、同図に示す如く、撮像素子１１０Ｒ、アナログ画像処理部１１１Ｒ、表示素子駆動部１２４Ｒ、小型表示素子１２５Ｒにより構成されている。１０１Ｌは左眼映像撮像表示ユニットで、同図に示す如く、撮像素子１１０Ｌ、アナログ画像処理部１１１Ｌ、表示素子駆動部１２４Ｌ、小型表示素子１２５Ｌにより構成されている。

１３０はＣＰＵ、ＭＰＵ等のプロセッサにより構成されている制御部である。１３１は撮像光学系に対する歪補正を行うために用いるデータ（歪み補正テーブルデータ）が登録されているテーブル部である。１３２は表示光学系に対する歪補正を行うために用いるデータ（歪み補正テーブルデータ）が登録されているテーブル部である。なお、それぞれのテーブル部１３１，１３２には、様々な頭部装着ユニットに対する歪み補正テーブルデータが登録されている。

１４０は、頭部装着ユニット１０１固有の歪み補正テーブルデータ（固有情報）を記録しておくためのメモリである。

１０２は頭部装着ユニット１０１と制御ユニット１００とを接続するためのケーブルである。即ち、頭部装着ユニット１０１と制御ユニット１００とは、別個の装置として構成されている。

次に、上記構成を有する表示装置の動作について説明する。先ず、本実施形態に係る頭部装着ユニット１０１を介して画像を観察するためには、観察者は図７に示す如く、自身の頭部にこの頭部装着ユニット１０１を装着する。その際、観察者の左目の眼前にはユニット１０１Ｌ、右目の眼前にはユニット１０１Ｒが位置するように、頭部装着ユニット１０１を観察者の頭部に装着する。

図６に示す如く、撮像系においては、外光の光束６１０が外界から入射され、楔形プリズム６１１により入射光の光軸を入射方向と異なる方向へ折り返すと共に、距離を稼いで撮像レンズ６１２により撮像素子１１０へ結像させる。これにより、撮像素子１１０の位置を観察者の眼球６２２の位置に可能な限り近づけるようにする。その結果、実際に眼で見ている像にほぼ一致する映像を撮影することが可能となる。

また、表示系においては、図６に示す如く、小型表示素子１２５から射出される光を自由曲面プリズム６２０で拡大すると共にある程度の太さの光束６２１として観察者の眼球６２２に導く。これにより、観察者は拡大された小型表示素子１２５の虚像を観察することが可能となる。

また、図１に示した各部の動作については、先ず、撮像素子１１０により撮像された映像は、アナログ画像信号としてアナログ画像処理部１１１に入力される。アナログ画像処理部１１１はこの入力されたアナログ画像信号に対してAGC（自動利得制御）、CDS（相関２重サンプリング）、ADC（アナログ−ディジタル変換）等の処理を施す。そして、ディジタル画像信号としてケーブル５０２を介してディジタル画像処理部１１２に送出する。ディジタル画像処理部１１２は、アナログ画像処理部１１１から入力されたディジタル信号に対して、γ（ガンマ）補正、色相補正、輪郭補正等の画像処理を施す。更に、ディジタル画像処理部１１２は、このディジタル信号に対して、歪補正テーブル部１３１が保持する歪み補正テーブルデータのうち、後述の処理でもって選択された歪み補正テーブルデータを用いて撮像光学歪を補正するための画像処理を行う。

ディジタル画像処理部１１２による処理済みのディジタル画像信号は撮影映像出力部１１３によりNTSCエンコーダ等でもって所定のビデオフォーマットに変換し、外部コンピュータに送出する。

外部コンピュータ側では、この送出されたディジタル画像信号が示す画像上にＣＧ等を重畳した合成画像を生成し、生成した合成画像を、外部コンピュータの標準映像出力からVGA等所定のフォーマットで表示映像入力部１２０に送出する。

なお、外部コンピュータとのデータ通信において、本実施形態では、外部コンピュータへの映像出力信号をNTSC、外部コンピュータからの映像入力信号をVGAとしている。しかし、これに限るものでなく、例えばディジタル・インタフェースであるIEEE１３９４、USBやDVI等の信号を用いるようにしても良い。

表示映像入力部１２０において同期信号からPLL（位相同期ループ）を用いて画素クロックの生成を行う。そして、ADC（アナログ−ディジタル変換器）によって、外部コンピュータから入力したアナログ映像信号をディジタル化して後段の処理回路で使用可能なディジタル・ビデオ信号に変換する。

ディジタル化された映像信号は次に表示映像変換部１２３にて小型表示素子１２５の解像度や表示に最適なフレーム周波数に変換される。更に、表示映像変換部１２３は、このディジタル信号に対して、歪補正テーブル部１３２が保持する歪み補正テーブルデータのうち、後述の処理でもって選択された歪み補正テーブルデータを用いて表示光学歪を補正するための画像処理を行う。

そしてこのような画像処理を施されたディジタル画像信号は、表示素子駆動部１２４におけるコントローラやドライバ等にて小型表示素子１２５を駆動するのに適した信号に加工され、LCD（液晶）、EL素子等の小型表示素子１２５に画像として表示される。この表示される画像は、撮像素子１１０により撮像された画像上にＣＧが重畳された画像である。

小型表示素子１２５に表示された合成画像は、図６を用いた上記説明による構成でもって観察者の目６２２に光束６２１として導かれる。これにより、観察者はこの合成画像を眼前に観察することができる。

次に、メモリ１４０が保持しているデータについて説明する。図２は、メモリ１４０が保持している「頭部装着ユニット１０１固有の歪み補正テーブルデータ」の構成例を示す図である。表示光学系、撮像光学系に係る光学歪みは、光学部品の個体差や組立公差等の影響に起因するが故に、頭部装着ユニット毎に異なる。従って、頭部装着ユニット１０１に固有の表示光学系、撮像光学系に係る光学歪みを予め測定しておき、歪み補正テーブルデータとしてメモリ１４０に格納しておく。

同図において２０１は、頭部装着ユニット１０１固有の識別ＩＤである。なお、頭部装着ユニット１０１を固有に識別可能な情報であれば、識別ＩＤ以外のものを用いても良い。

２０２は、頭部装着ユニット１０１の左側の撮像光学系の光学歪みを測定することで得られた歪補正テーブルデータである。２０３は頭部装着ユニット１０１の右側の撮像光学系の光学歪みを測定することで得られた歪補正テーブルデータである。２０４は頭部装着ユニット１０１の左側の表示光学系の光学歪みを測定することで得られた歪補正テーブルデータである。２０５は頭部装着ユニット１０１の右側の表示光学系の光学歪みを測定することで得られた歪補正テーブルデータである。

図３は、テーブル部１３１，１３２に保持されている歪み補正テーブルデータの構成例を示す図である。図３（ｂ）については後述する。

図３（ａ）に示す如く、歪み補正テーブルデータは、様々な頭部装着ユニットに対応する歪み補正テーブルデータにより構成されている。同図では、それぞれの頭部装着ユニットに対応する歪み補正テーブルデータは、ブロックデータ３００，３１０，３２０，３３０である。

例えば同図の歪み補正テーブルデータがテーブル部１３１Ｌに保持されているものである場合、ブロックデータ３００〜３３０は、対応する頭部装着ユニットの左側の撮像光学系の光学歪みを測定することで得られた歪補正テーブルデータとなる。

例えば同図の歪み補正テーブルデータがテーブル部１３１Ｒに保持されているものである場合、ブロックデータ３００〜３３０は、対応する頭部装着ユニットの右側の撮像光学系の光学歪みを測定することで得られた歪補正テーブルデータとなる。

例えば同図の歪み補正テーブルデータがテーブル部１３２Ｌに保持されているものである場合、ブロックデータ３００〜３３０は、対応する頭部装着ユニットの左側の表示光学系の光学歪みを測定することで得られた歪補正テーブルデータとなる。

例えば同図の歪み補正テーブルデータがテーブル部１３２Ｒに保持されているものである場合、ブロックデータ３００〜３３０は、対応する頭部装着ユニットの右側の表示光学系の光学歪みを測定することで得られた歪補正テーブルデータとなる。

以上のように、テーブル部１３１，１３２には、それぞれの頭部装着ユニットについての歪み補正テーブルデータが登録されている。

次に、ブロックデータの構成について説明する。

３００は第１ブロックのデータである。３０１は各ブロックデータのうち第１ブロックデータ３００に対する使用優先順位を示すデータ、３０２は第１ブロックデータに対応する頭部装着ユニットの識別ＩＤである。３０３は、歪み補正テーブルデータ本体である。従って、第１ブロックデータ３００は、識別ＩＤ３０２で特定される頭部装着ユニットに対する歪み補正テーブルデータ３０３を含むものである。

このようなブロックデータの構成は、ブロックデータ３１０，３２０，３３０についても同様である。

ここで、小型表示素子１２５に画像を表示するための仕組みについては図６に示す如く、光学的に行われるのであるが、これについては従来の表示装置についての上述の説明の通りであるので、これに関する説明は省略する。

また、本実施形態に係る表示装置を観察者の頭部に装着した場合の外観については図７に示すとおりであり、これに関しては従来の表示装置についての上述の説明の通りであるので、これに関する説明は省略する。

ここで、本実施形態では、小型表示素子１２５に画像を表示する前段で、この画像に対して歪み補正を行う際に用いる歪み補正テーブルデータを、使用する頭部装着ユニット（本実施形態では頭部装着ユニット１１０）に応じて決定する点が、従来とは異なる。以下では、歪み補正処理（表示光学系、撮像光学系に係る歪み補正処理）の為に用いる歪み補正テーブルデータを決定するための処理について、同処理のフローチャートを示す図４を用いて以下説明する。

なお、同図のフローチャートに従った処理を制御部１３０に実行させるためのプログラムやデータは制御部１３０内の不図示のメモリに格納されているものとする。また、同図のフローチャートに従った処理は、本実施形態に係る表示装置の電源が投入されたことを制御部１３０が検知したタイミングで行うものである。若しくは、制御ユニット５００に接続する頭部装着ユニットを通電状態で交換したことを制御ユニット５００が検知したタイミングで行うものである。

先ず、メモリ１４０に保持されている頭部装着ユニット１０１の識別ＩＤ（図２では２０１）を読み出す（ステップＳ４０１）。次に、テーブル部１３１，１３２に保持されている各ブロックデータに含まれている識別ＩＤと、ステップＳ４０１で読み出した識別ＩＤとを比較する（ステップＳ４０２）。これにより、頭部装着ユニット１０１の識別ＩＤが、テーブル部１３１，１３２に保持されているのか否かを判断する。

図２，３の場合、識別ＩＤ２０１が、識別ＩＤ３０２，３１２，３２２，３３２の何れであるのかをチェックする。即ち、メモリ１４０に保持されている歪み補正テーブルデータ２０２，２０３がテーブル部１３１にも登録されているか、メモリ１４０に保持されている歪み補正テーブルデータ２０４，２０５がテーブル部１３２にも登録されているかのチェック処理に相当する。

ステップＳ４０２におけるチェック処理の結果、頭部装着ユニット１０１の識別ＩＤが、テーブル部１３１，１３２に保持されていると判別した場合には、処理をステップＳ４０３に進める。そして、頭部装着ユニット１０１の識別ＩＤを有するテーブル部１３１，１３２内のブロックデータを参照し、このブロックデータの使用優先度順位が最高順位（１位）であるのかをチェックする（ステップＳ４０３）。図３の場合、頭部装着ユニット１０１の識別ＩＤを有するブロックデータが、３１０のブロックデータである場合には、使用優先度順位を示すデータ３１１が最高順位を示すものであるのかをチェックする。

ステップＳ４０３におけるチェックの結果、頭部装着ユニット１０１の識別ＩＤを有するテーブル部１３１，１３２内のブロックデータの使用優先度順位が最高順位である場合には処理をステップＳ４１３に進める。そして、このブロックデータ中の歪み補正テーブルデータ本体を、用いる対象の歪み補正テーブルデータとして選択する（ステップＳ４１３）。

即ち、頭部装着ユニット１０１の識別ＩＤを有するテーブル部１３１内のブロックデータの使用優先度が最高順位であればこのブロックデータ中の歪み補正テーブルデータ本体を、撮像光学系に係る歪み補正処理で用いる歪み補正テーブルデータとして選択する。また、頭部装着ユニット１０１の識別ＩＤを有するテーブル部１３２内のブロックデータの使用優先度が最高順位であればこのブロックデータ中の歪み補正テーブルデータ本体を、表示光学系に係る歪み補正処理で用いる歪み補正テーブルデータとして選択する。

一方、ステップＳ４０３におけるチェックの結果、頭部装着ユニット１０１の識別ＩＤを有するテーブル部１３１，１３２内のブロックデータ中の使用優先度順位が最高順位ではない場合には処理をステップＳ４０４に進める。そして、頭部装着ユニット１０１の識別ＩＤを有するテーブル部１３１，１３２内のブロックデータ中の使用優先度順位よりも順位が高いブロックデータについて、順位を１つ下げる（ステップＳ４０４）。次に、頭部装着ユニット１０１の識別ＩＤを有するテーブル部１３１，１３２内のブロックデータ中の使用優先度順位を最高順位に更新する（ステップＳ４０５）。

そして、最高順位に更新したブロックデータ中の歪み補正テーブルデータ本体を、用いる対象の歪み補正テーブルデータとして選択する（ステップＳ４１３）。即ち、最高順位に更新したテーブル部１３１内のブロックデータ中の歪み補正テーブルデータ本体を、撮像光学系に係る歪み補正処理で用いる歪み補正テーブルデータとして選択する。また、最高順位に更新したテーブル部１３２内のブロックデータ中の歪み補正テーブルデータ本体を、表示光学系に係る歪み補正処理で用いる歪み補正テーブルデータとして選択する。

一方、ステップＳ４０２におけるチェック処理で、頭部装着ユニット１０１の識別ＩＤが、テーブル部１３１，１３２に保持されていないと判別した場合には、処理をステップＳ４０６に進める。そして、テーブル部１３１，１３２に保持されているブロックデータのうち、使用優先度順位が最低順位のものを特定し、特定したブロックデータ中の使用優先度順位を削除する（ステップＳ４０６）。削除する処理では、例えば無効な数値（９９９）を設定する。例えば、テーブル部１３１，１３２に保持されているブロックデータが図３（ａ）に示す如く状態である場合には、先ず、使用優先度順位が「４」のブロックデータ、即ち、ブロックデータ３１０を特定する。そして、このブロックデータ３１０の使用優先度順位を示すデータ部分３１１に無効な数値を設定することで、使用優先度順位を削除する。

図４に戻って次に、メモリ１４０から歪み補正テーブルデータを読み出す（ステップＳ４０７）。そして、読み出した歪み補正テーブルデータでもって、ステップＳ４０６で特定したブロックデータ（使用優先度順位が削除されたブロックデータ）中の歪み補正テーブルデータ本体を更新する（ステップＳ４０８）。即ち、ステップＳ４０６で特定したブロックデータ中の歪み補正テーブルデータ本体部分に、読み出した歪み補正テーブルデータを上書きする。例えば、テーブル部１３１，１３２に保持されているブロックデータが図３（ａ）に示す如く状態である場合には、ステップＳ４０６ではブロックデータ３１０が特定される。従って、このブロックデータ３１０中の歪み補正テーブルデータ本体３１３に、メモリ１４０から読み出した歪み補正テーブルデータを上書きする。

上書き処理が完了すれば処理をステップＳ４０９を介してステップＳ４１０に進め、ステップＳ４０６で特定したブロックデータ中の識別ＩＤに、ステップＳ４０１で読み出した頭部装着ユニット１０１の識別ＩＤを書き込む（ステップＳ４１０）。例えば、テーブル部１３１，１３２に保持されているブロックデータが図３（ａ）に示す如く状態である場合には、ステップＳ４０６ではブロックデータ３１０が特定される。従って図３（ｂ）に示す如く、このブロックデータ３１０中の識別ＩＤ３１２に頭部装着ユニット１０１の識別ＩＤ（同図では「Ｇ」）を書き込む。

次に、ステップＳ４０６で特定したブロックデータ以外のブロックデータについて、使用優先度順位を１つ下げる（ステップＳ４１１）。次に、ステップＳ４０６で特定したブロックデータ中の使用優先度順位を最高順位に更新する（ステップＳ４１２）。

そして、最高順位に更新したブロックデータ中の歪み補正テーブルデータ本体を、用いる対象の歪み補正テーブルデータとして選択する（ステップＳ４１３）。即ち、最高順位に更新したテーブル部１３１内のブロックデータ中の歪み補正テーブルデータ本体を、撮像光学系に係る歪み補正処理で用いる歪み補正テーブルデータとして選択する。また、最高順位に更新したテーブル部１３２内のブロックデータ中の歪み補正テーブルデータ本体を、表示光学系に係る歪み補正処理で用いる歪み補正テーブルデータとして選択する。

以上の説明により、本実施形態によれば、制御ユニットに接続される頭部装着ユニットに応じた歪み補正テーブルデータが得られるので、これを用いることで、頭部装着ユニットの個体差を考慮した歪み補正処理を行うことができる。

なお、歪み補正テーブルデータの種別は、表示光学系、撮像光学系に係る光学歪みを補正する為のデータに限定するものではなく、その他の歪みを補正するものであっても良い。また、頭部装着ユニットの個体差は「歪み」だけではなく、様々なもの（例えば、CCDやLCDの個体差に依存するパラメータ等）が考えられる。そこで、歪み補正テーブルデータの代わりに、この個体差をデータとして作成した固有情報を用いるようにしても良い。なお、歪み補正テーブルデータの代わりにこのような固有情報を用いても本実施形態は同様に適用することができる。また、手持ち型映像表示装置においても、同様に適用できることことができる。

［第２の実施形態］
第１の実施形態では、頭部装着ユニットは右目、左目それぞれに独立した表示系、撮像系を有するものであったが、１つの撮像系、表示系でもって両眼に対応するものであっても良いし、片眼に対応するものであっても良い。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

本発明の第１の実施形態に係る頭部装着型映像表示装置のハードウェア構成を示すブロック図である。 メモリ１４０が保持している「頭部装着ユニット１０１固有の歪み補正テーブルデータ」の構成例を示す図である。 テーブル部１３１，１３２に保持されている歪み補正テーブルデータの構成例を示す図である。 歪み補正処理（表示光学系、撮像光学系に係る歪み補正処理）の為に用いる歪み補正テーブルデータを決定するための処理のフローチャートである。 従来のビデオシースルー・タイプの頭部装着型映像表示装置のハードウェア構成を示すブロック図である。 従来のビデオシースルー・タイプの頭部装着型映像表示装置の内部構成図である。 従来のビデオシースルー・タイプの頭部装着型映像表示装置を観察者が装着したときの外観図である。

符号の説明

１００ 制御ユニット
１０１ 頭部装着ユニット
１１０ 撮像素子
１１１ アナログ画像処理部
１１２ ディジタル画像処理部
１１３ 表示映像出力部
１２０ 表示映像入力部
１２３ 表示映像変換部
１２４ 表示素子駆動部
１２５ 小型表示素子
１３１、１３２ 歪補正テーブル部

Claims (6)

1. 外界を撮像する撮像部と、当該撮像部が撮像した画像に基づく表示を行う表示部と、を備える表示ユニットと、
   前記撮像部が撮像した画像を受け、当該受けた画像に対して所定の処理を行い、当該処理した画像を前記表示部に出力する処理ユニットと、
   を備え、前記表示ユニットと前記処理ユニットとは別個の装置として構成される表示装置であって、
   前記表示ユニットは、
   前記表示ユニットの個体差を示す固有情報を保持する第１のメモリを備え、
   前記処理ユニットは、
   １以上の表示ユニットのそれぞれについて、該表示ユニットの個体差を示す固有情報を保持する第２のメモリと、
   前記第１のメモリに保持されている固有情報が前記第２のメモリに登録されている場合には当該登録されている固有情報を選択する選択手段と、
   前記第１のメモリに保持されている固有情報が前記第２のメモリに登録されていない場合には前記第１のメモリに保持されている固有情報を前記第２のメモリに登録する登録手段とを備え、
   前記処理ユニットは、前記選択手段で選択された、若しくは前記登録手段で登録された固有情報を用いて、前記撮像部から受けた画像に対して前記表示ユニットに固有の処理を行うことを特徴とする表示装置。
2. 前記処理ユニットは、前記第１のメモリに保持されている固有情報が前記第２のメモリに登録されている場合には更に、
   当該登録されている固有情報の使用優先度が最高の優先度では無い場合には、当該固有情報の使用優先度を最高の優先度に設定する第１の設定手段を備えることを特徴とする請求項１に記載の表示装置。
3. 前記処理ユニットは、前記第１のメモリに保持されている固有情報が前記第２のメモリに登録されていない場合には更に、
   前記第１のメモリに保持されている固有情報を前記第２のメモリに登録すると共に、当該固有情報の使用優先度を最高の優先度に設定することで、前記第２のメモリに登録されている固有情報のうち最低の優先度が設定された固有情報を更新する第２の設定手段を備えることを特徴とする請求項１に記載の表示装置。
4. 前記固有情報は、前記撮像部の撮像光学系に係る光学歪みを測定することで得られる歪み補正テーブルデータ、前記表示部の表示光学系に係る光学歪みを測定することで得られる歪み補正テーブルデータを含むことを特徴とする請求項１乃至３の何れか１項に記載の表示装置。
5. 外界を撮像する撮像部と、当該撮像部が撮像した画像に基づく表示を行う表示部と、を備える表示ユニットと、
   前記撮像部が撮像した画像を受け、当該受けた画像に対して所定の処理を行い、当該処理した画像を前記表示部に出力する処理ユニットと、
   を備え、前記表示ユニットと前記処理ユニットとは別個の装置として構成される表示装置の制御方法であって、
   １以上の表示ユニットのそれぞれについて、該表示ユニットの個体差を示す固有情報を保持するメモリを備える前記処理ユニットの制御方法が、
   前記表示ユニットが保持している該表示ユニットの個体差を示す固有情報が前記メモリに登録されている場合には当該登録されている固有情報を選択する選択工程と、
   前記表示ユニットが保持している該表示ユニットの個体差を示す固有情報が前記メモリに登録されていない場合には前記表示ユニットが保持している固有情報を前記メモリに登録する登録工程とを備え、
   前記処理ユニットは、前記選択工程で選択された、若しくは前記登録工程で登録された固有情報を用いて、前記撮像部から受けた画像に対して前記表示ユニットに固有の処理を行うことを特徴とする表示装置の制御方法。
6. 外界を撮影する撮像部と、当該撮像部が撮影した画像に基づく表示を行う表示部とを備える表示ユニットに接続される制御装置であって、
   前記撮像部により撮影された画像を入力する入力部と、
   前記入力した画像に対して所定の処理を行った画像を、前記表示ユニットへ出力する出力部と、
   表示ユニットの個体差を示す固有情報を保持するメモリと、
   接続された表示ユニットの固有情報が、前記メモリに保持されているか否かを判断する判断手段と、
   前記判断手段により保持されていると判断された場合、前記メモリに記憶されている固有情報を選択し、保持されていないと判断された場合は、前記表示ユニットに保持されている該表示ユニットの個体差を示す固有情報を前記メモリに保持する制御手段と、
   前記選択された固有情報、又は、前記メモリに保持された固有情報の何れかを用いて、前記撮像部から受けた画像に対して前記表示ユニットに固有の処理を行う処理手段と
   を備えることを特徴とする制御装置。

Images