JP5094430B2 - 画像処理方法、画像処理装置、システム - Google Patents

Description

本発明は、光学系の色収差を補正する為の技術に関し、特に、ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）の撮像系または表示系において発生する色収差を補正する為の技術に関するものである。

近年、現実世界と仮想世界とをリアルタイムかつシームレスに融合させる技術として、複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）技術が知られている。ＭＲ技術の１つに、次のような技術が知られている。即ち、ビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ、以下「ＨＭＤ」）を利用して、ＨＭＤ装着者の瞳位置から観察される被写体と略一致する被写体をビデオカメラなどで撮像する。そして、その撮像画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳した複合現実画像をＨＭＤが有する表示部に表示することで、ＨＭＤ装着者に係る画像を提供する。

ビデオシースルー型ＨＭＤは、ＣＣＤ等の電荷結合素子により被写体を撮像し、この被写体のデジタル画像データを得るとともに、係るデジタル画像データ上にＣＧ画像を重畳したＭＲ画像（複合現実画像）を液晶等の表示デバイスに表示する構成になっている。

このような頭部に装着するＨＭＤは、小型化・軽量化が望まれている。撮像および表示の光学系に関しても、サイズや重量が増大する光学的なアプローチで各種の収差を補正するよりも、一般的には、信号処理による電子的な補正を施すことで、廉価なレンズの採用やレンズ枚数を減らすことができる。

このように、廉価なレンズや、十分な補正ができない枚数のレンズで光学系を構成する場合、レンズの収差に起因して、撮像で得られた画像および表示する画像の画質を良好に維持できないおそれがある。即ち、レンズの歪曲収差に起因して、樽型の像が得られたり、糸巻型の像が得られたりする。また、レンズの倍率色収差に起因して、被写体像の境界部分に赤や青や緑の色にじみが生じる。このため、上記のようなレンズの収差に起因した被写体像の画質低下を補正する技術が望まれる。

光学系の各種収差のうち、歪曲収差と倍率色収差を信号処理によって補正する技術が開示されている。主な手法として大きく以下に挙げる３つのものがあり、その概要を説明する。

一つ目は、アドレス変換による歪曲収差、倍率色収差の補正処理で、特許文献１では歪曲収差の補正が、特許文献２では歪曲収差と併せて色収差の補正に関する技術が、それぞれ開示されている。

アドレス変換は、撮像系においては理想的な光学系で得られる結像位置と実際の収差の影響を受けた結像位置との対応関係に基づき、歪んだ画像を理想的な画像位置へと移動させる手法である。変換後の位置に関する対応関係をテーブル化し、単にメモリの読み出しアドレスと書き込みアドレスとの対応関係（アドレス）を変換するものから、精度の高い変換後の座標データを保持するものまで様々である。表示系においても、表示する画素と実際に表示される位置との対応関係によって表示位置を変換する。このように画素の変換を行えば歪曲収差の補正が、画素を構成する色毎に変換を行えば倍率色収差の補正が、それぞれ実現できる。

二つ目は、解像度変換による倍率色収差の補正処理で、色によって変倍率が異なることを利用し、基となる色に対して、拡大、縮小処理を適用することで色にじみの少ない画像を得る。

三つ目は、近似多項式を利用した歪曲収差、各色の歪曲収差補正による倍率色収差の補正処理で、補正パラメータを係数とする高次の多項式で近似して変換後の座標を算出するものである。

しかしながら上述した従来の技術においては、以下のような問題があった。

アドレス変換では、一般的に対応関係を参照用のテーブルとして保持する必要があるため、撮像系、表示系の解像度の増大と共に保持すべきテーブルのデータ量も膨大になった。特に倍率色収差の補正を行う場合は、仮に画素がＲＧＢの３成分で構成されるとすると、単なる歪曲収差と比べて三倍のデータサイズのテーブルが必要となる。参照用のテーブルを間引き、必要な座標を補間演算によって算出する構成もあるが、演算精度と補間演算による回路規模を考慮すれば、大幅なテーブル量の削減は望めない。また、データサイズの増大は、テーブルを構成するメモリデバイスへのアクセス頻度を上げることになり、より高速、大容量のメモリの実装が必須となった。このことは、コストおよび実装の両面で実現時のしきいを上げることにつながる。

解像度変換による色収差の補正は、レンズ一枚で構成される理想的な回転対称系の光学系では有効である。しかし、各種の光学的な収差を補正するために何枚かのレンズによって構成される光学系では、変換後の座標の位置精度がでなかったり、上述するように適用できる光学系が非常に限定されたりすることになった。また、光学系の小型・軽量化を実現する、自由曲面を持つプリズムの採用においては、光学原点が画像中心とずれ、上下または左右で非対称となる収差を発生することが多く、単純な拡大や縮小では対応することが困難であった。

近似多項式による補正処理は、精度を高めるためには次数を上げる必要があり、乗算や除算の複雑な演算処理によって回路規模が増大することになった。また、回転対称系ではない光学系では、複数の近似多項式を持つ必要があり、精度を維持しつつ適用することが煩雑であった。

また、アドレス変換時に、ＲＧＢ三原色のうちの一色について精度の高い変換を行い、残りの色については基準色との差分を取ることで、参照テーブルのメモリ数を削減する構成も特許文献７，８に開示されている。
特開平５−２０７３５１号公報 特開平６−２９２２０７号公報 特開平６−２０５２７３号公報 特開平１１−１６１７７３号公報 特開２００４−２３４３７９号公報 特開２００４−３３６１０６号公報 特開平８−２０５１８１号公報 特開２０００−１５３３２３号公報

特許文献７，８に開示されているような、差分値を使用した方法を用いても、その効果は整数部の有効ビット数の削減に留まり、演算精度を維持しつつさらなるメモリ量の低減が望まれていた。

本発明は以上の問題に鑑みてなされたものであり、より高速且つ省メモリで、撮像系や表示系における光学系の収差補正を行うための技術を提供することを目的とする。

本発明の目的を達成するために、例えば、本発明の画像処理方法は以下の構成を備える。

即ち、光学系で生じる色収差の影響を受けた画像を補正する画像処理装置が行う画像処理方法であって、
前記画像処理装置の選択手段が、前記画像に含まれている複数の色成分のうち１つを基準色として選択する工程と、
前記画像処理装置の取得手段が、前記基準色を色成分として有する画素の画素位置に対して、前記画像に対する前記光学系の歪みを補正する為の変換処理を行うことで得られる、変換後の画素位置を取得する取得工程と、
前記画像処理装置の第１の計算手段が、前記基準色を色成分として有する画素の画素位置に関連付けてルックアップテーブルに格納されている、前記複数の色成分のうち前記基準色を除く一方の他色を色成分として有する画素の画素位置に対して前記変換処理を行うことで得られる画素位置と前記変換後の画素位置との差分値を該ルックアップテーブルから取得し、該取得した差分値と、予め定められた値と、を用いて、他方の他色を色成分として有する画素の画素位置に対して、前記変換処理を行うことで得られる画素位置を求める第１の計算工程と、
前記画像処理装置の第２の計算手段が、前記差分値から、前記一方の他色を色成分として有する画素の画素位置に対して、前記変換処理を行うことで得られる画素位置を求める第２の計算工程と、
前記画像処理装置の補正手段が、前記取得工程で取得した画素位置に前記基準色を色成分として有する画素を配置し、前記第１の計算工程で求めた画素位置に前記他方の他色を色成分として有する画素を配置し、前記第２の計算工程で求めた画素位置に前記一方の他色を色成分として有する画素を配置することで、前記画像を補正する工程と
を備え、
前記光学系は、前記基準色の光と前記一方の他色の光との結像位置のずれと、前記基準色の光と前記他方の他色の光との結像位置のずれとの比が、像高によらず略一定となる光学系であることを特徴とする。

本発明の構成によれば、撮像系や表示系における光学系に生じる歪曲収差と色収差とを信号処理によって補正する際に、演算精度を維持しつつ、参照用のテーブルを保持する為のメモリ容量の削減と、回路規模の低減および処理の高速化を実現することができる。

以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。

［第１の実施形態］
現実世界と仮想世界とをリアルタイムかつシームレスに融合させる技術である複合現実感、いわゆるＭＲ技術では、撮像機能付表示装置（以下、撮像機能付表示装置をＨＭＤと略す。ただし、双眼鏡のような手持ちタイプの装置でもよく、頭部装着型の装置に限らない）を利用する。そして、ＨＭＤが有する撮像部により撮像された、ＨＭＤ装着者の視点から見える現実空間の画像（背景画像）に、ＨＭＤ装着者の視点の位置、方向などの三次元位置姿勢情報に基づいて生成されたＣＧ画像を重畳し、ＨＭＤが有する表示部に表示する。これにより、ＨＭＤ装着者は、ＣＧで描画されたオブジェクト（仮想物体）が、観察している現実空間内にあたかも存在しているかのような複合現実感を体感することができる。

図１は、ＨＭＤ装着者に複合現実感を体験させるための、本実施形態に係るシステム（ＭＲシステム）の外観構成例を示す図である。図１に示す如く、本実施形態に係るシステム（画像処理システム）は、ＨＭＤ１０１、コントローラ１０２、画像処理装置１０３から構成されている。

ＨＭＤ１０１は、係るＨＭＤ１０１を頭部に装着している装着者が観察している現実空間の画像を撮像する撮像部を有する。更に、ＨＭＤ１０１は、画像処理装置１０３からコントローラ１０２を介して出力された画像（例えば、撮像部が撮像した現実空間の画像に対して画像処理装置１０３が生成したＣＧ画像を重畳した合成画像）を拡大表示する為の表示部も有する。また、ＨＭＤ１０１は、コントローラ１０２との間でデータ通信を行い、コントローラ１０２からの電源供給を受けて駆動したり、自信に搭載されるバッテリーで駆動したり、する。

コントローラ１０２に接続された画像処理装置１０３は、コントローラ１０２を介してＨＭＤ１０１から送出された現実空間の画像上に合成するＣＧ画像を生成するＣＧ描画部を有する。更に、コントローラ１０２は、生成したＣＧ画像を、コントローラ１０２を介してＨＭＤ１０１から送出された現実空間の画像上に合成する画像合成部も有する。

コントローラ１０２は、ＨＭＤ１０１から受けた現実空間の画像や、画像処理装置１０３から受けた合成画像に対して、画像の解像度変換、色空間変換、光学系の歪み補正等の各種画像処理や、伝送フォーマット変換等を行う。

なお、図１では、画像処理装置１０３とコントローラ１０２とは別個の装置としているが、コントローラ１０２と画像処理装置１０３とを１つの装置にまとめても良い。この場合、この１つの装置は、コントローラ１０２の機能と、画像処理装置１０３の機能を有する。

また、図１では、それぞれの装置の間では有線通信を行っているものとしているが、これらの一部若しくは全部の間で無線通信を行うようにしても良い。

さらには、コントローラ１０２の機能の一部または全部をＨＭＤ１０１側に取り込むようにしても良い。以降の説明では機能的な観点から、ＨＭＤ１０１内にコントローラ１０２を組み込んだものを改めてＨＭＤ１０１と呼称する。

図２は、本実施形態に係るシステム、即ち、ＨＭＤ１０１と画像処理装置１０３とで構成されているシステムの機能構成例を示すブロック図である。

まず、ＨＭＤ１０１について説明する。ＨＭＤ１０１は図２に示す如く、ビデオシースルー型のＨＭＤである。

撮像ユニット２０３は、ＨＭＤ装着者の視線位置と略一致する現実空間の動画像を撮像する撮像装置であって、撮像した各フレームの画像（現実空間の画像、撮像画像）は順次、後段の撮像系収差補正部２０４に送出される。撮像ユニット２０３は、ステレオ画像を生成するための右目用、左目用のそれぞれについて、撮像素子と光学系および後段の画像処理を行うための信号処理回路から構成される。光学系の構成については後述する。

撮像系収差補正部２０４は、撮像ユニット２０３が有する光学系（撮像光学系）に起因する収差が、撮像ユニット２０３が撮像した画像（補正対象）に与えた影響を補正することで、係る収差の影響を受けていない現実空間の画像を生成する。そして、係る収差の影響を受けていない現実空間の画像を後段のＩ／Ｆ２０６に対して送出する。

Ｉ／Ｆ２０６は、ＨＭＤ１０１が画像処理装置１０３とのデータ通信を行うために使用されるもので、係るＩ／Ｆ２０６を介して、ＨＭＤ１０１は画像処理装置１０３とのデータ通信を行う。

三次元位置姿勢センサ２０５は、自信の位置姿勢を計測するためのセンサで、例えば、磁気センサやジャイロセンサ（加速度、角速度）が使用される。なお、三次元位置姿勢センサ２０５は、本実施形態では必須の構成ではない。

表示系収差補正部２０７は、Ｉ／Ｆ２０６を介して画像処理装置１０３から受けた画像を表示ユニット２０８に表示する前に、表示ユニット２０８が有する光学系（表示光学系、拡大光学系）に起因する収差に基づいた補正処理を、係る画像に対して行う。そして、補正後の画像は、後段の表示ユニット２０８に送出する。

表示ユニット２０８は、表示系収差補正部２０７によって補正された画像を表示するためのもので、ＨＭＤ１０１を自信の頭部に装着した装着者の眼前に位置するようにＨＭＤ１０１に取り付けられている。更に、表示ユニット２０８は、右目用、左目用のそれぞれについて、表示デバイスと光学系から構成される。表示デバイスは小型の液晶ディスプレイやＭＥＭＳ（Ｍｉｃｒｏ Ｅｌｅｃｔｒｏ Ｍｅｃｈａｎｉｃａｌ Ｓｙｓｔｅｍ）による網膜スキャンタイプのデバイスが使用される。光学系の構成については後述する。

次に、画像処理装置１０３について説明する。画像処理装置１０３には、一般にはパソコンやワークステーション等の高性能な演算処理機能やグラフィック表示機能を有する装置を用いる。

Ｉ／Ｆ２０９は、画像処理装置１０３がＨＭＤ１０１とのデータ通信を行うために使用するもので、係るＩ／Ｆ２０９を介して、画像処理装置１０３はＨＭＤ１０１とのデータ通信を行う。なお、何れのＩ／Ｆ２０６、２０９についても、リアルタイム性が求められ、かつ大容量の伝送が可能な通信規格を採用することが望ましい。有線系であれば、ＵＳＢやＩＥＥＥ１３９４のメタル線、ＧｉｇａｂｉｔＥｔｈｅｒｎｅｔ（登録商標）等の光ファイバが使用される。無線系であれば、ＩＥＥＥ８０２．１１のワイヤレスＬＡＮ、ＩＥＥＥ８０２．１５のワイヤレスＰＡＮ規格等に準拠した高速無線通信が使用される。ここでは有線系であれば光ファイバ、無線系であればＵＷＢ（Ｕｌｔｒａ Ｗｉｄｅ Ｂａｎｄ）を想定している。光ファイバの伝送帯域は数Ｇｂｐｓ、ＵＷＢは数百Ｍｂｐｓである。

ここで、ＨＭＤ１０１は、撮像ユニット２０３で撮像した画像を撮像系収差補正部２０４によって補正し、補正した画像をＩ／Ｆ２０６を介して画像処理装置１０３に送出する。Ｉ／Ｆ２０９は係る画像を受けると、これを後段の画像合成部２１３と、位置姿勢情報生成部２１０と、に送出する。

位置姿勢情報生成部２１０は、Ｉ／Ｆ２０９を介してＨＭＤ１０１から受けた画像を用いて、撮像ユニット２０３の位置姿勢情報（ＨＭＤ１０１装着者の視点の位置姿勢情報）を求める。この場合、現実空間中には、マーカー等の特徴点が設けられており、位置姿勢情報生成部２１０は、Ｉ／Ｆ２０９から受けた画像中のマーカーを用いて周知の計算技術により、係る画像を撮像した撮像ユニット２０３の位置姿勢情報を求める。なお、ＨＭＤ１０１装着者の視点の位置姿勢情報を求める為には、これ以外の方法を用いても良い。例えば、不図示の客観視点による撮像画像や、ＨＭＤ１０１に取り付けられた三次元位置姿勢センサ２０５による情報を補足的に使用することで精度を上げ、画像中に使用すべきマーカーや特徴点がない場合でも対応することが可能である。

ＣＧ描画部２１１は、コンテンツＤＢ（データベース）２１２に格納されているそれぞれの仮想物体に係るデータを用いて、それぞれの仮想物体を仮想空間中に配置した仮想空間を形成する。そして、形成した仮想空間を、位置姿勢情報生成部２１０が求めた位置姿勢情報が示す位置姿勢を有する視点から見た場合の画像を、仮想空間の画像（ＣＧ画像）として生成する。なお、所定の位置姿勢を有する視点から見える仮想空間の画像を生成する為の技術については周知であるので、これに関する詳細な説明は省略する。

コンテンツＤＢ２１２には、仮想空間を構成する各仮想物体に係るデータが保持されている。仮想物体に係るデータには、例えば仮想物体の配置位置姿勢や、その動作則を示すデータ、仮想物体がポリゴンで構成されている場合には、各ポリゴンの法線ベクトルデータやその色データ、ポリゴンを構成している各頂点の座標位置データ等が含まれている。また、仮想物体にテクスチャマッピングを施す場合には、テクスチャデータも含まれる。また、以下の説明で、既知の情報として取り扱う情報についても、このコンテンツＤＢ２１２に登録されているものとする。

画像合成部２１３は、Ｉ／Ｆ２０９を介してＨＭＤ１０１から受信した現実空間の画像上に、ＣＧ描画部２１１が生成したＣＧ描画を合成した合成画像を生成する。なお、現実空間の画像上にＣＧ画像を合成するための技術については様々なものがあるが、本実施形態では係る技術については重要ではないので、これについては特には問わない。そして画像合成部２１３は、生成した合成画像のデータをＩ／Ｆ２０９を介してＨＭＤ１０１に対して送出する。

以上の構成、及び処理のプロセスにより、収差が補正された画像を得るとともに、好ましい画像をＨＭＤ１０１装着者の瞳に導くことが可能となる。

次に、画像処理装置１０３についてより詳細に説明する。上述の通り、画像処理装置１０３には、一般のＰＣ（パーソナルコンピュータ）やＷＳ（ワークステーション）等のコンピュータが適用可能である。この場合、図２に示した位置姿勢情報生成部２１０、ＣＧ描画部２１１、画像合成部２１３のそれぞれをプログラムで実装し、係るプログラムを、係るコンピュータが有するCPUが実行する。これにより、係るコンピュータは画像処理装置１０３として機能することになる。もちろん、係るコンピュータには、コンテンツＤＢ２１２に該当するメモリが必要となる。

図３は、画像処理装置１０３に適用可能なコンピュータのハードウェア構成例を示すブロック図である。

３０１はＣＰＵで、ＲＡＭ３０２やＲＯＭ３０３に格納されているプログラムやデータを用いて、コンピュータ全体の制御を行うと共に、画像処理装置１０３が行うものとして後述する各処理を実行する。

３０２はＲＡＭで、外部記憶装置３０６からロードされたプログラムやデータ、Ｉ／Ｆ３０７を介して外部（本実施形態の場合、ＨＭＤ１０１）から受信したデータ等を一時的に記憶するためのエリアを有する。更に、ＲＡＭ３０２は、ＣＰＵ３０１が各種の処理を実行する際に用いるワークエリアも有する。即ち、ＲＡＭ３０２は、各種のエリアを適宜提供することができる。

３０３はＲＯＭで、本コンピュータの設定データやブートプログラム等を格納する。

３０４は操作部で、キーボードやマウスなどにより構成されており、本コンピュータの操作者が操作することで、ＣＰＵ３０１に対して各種の指示を入力することができる。

３０５は表示部で、ＣＲＴや液晶画面等により構成されており、ＣＰＵ３０１や不図示のグラフィックスボードによる処理結果を画像や文字でもって表示することができる。

３０６は外部記憶装置で、ハードディスクドライブ装置に代表される大容量情報記憶装置である。ここにはＯＳ（オペレーティングシステム）や、画像処理装置１０３が行うものとして後述する各処理をＣＰＵ３０１に実行させるためのプログラムやデータが保存されている。これらのプログラムやデータは、ＣＰＵ３０１による制御に従って適宜ＲＡＭ３０２にロードされ、ＣＰＵ３０１による処理の対象となる。

３０７はＩ／Ｆで、図２に示したＩ／Ｆ２０９に相当するものであり、ＨＭＤ１０１とのデータ通信を行うためのインターフェースとして機能する。

３０８は上述の各部を繋ぐバスである。

次に、ＨＭＤ１０１についてより詳細に説明する。

図４は、ＨＭＤ１０１のハードウェア構成例を示すブロック図である。なお、図４において、図２と同じ部分については同じ参照番号をつけており、その説明は省略する。

４０３はＲＡＭで、ＣＰＵ４０６が各種の処理を行うために用いるワークエリアや、Ｉ／Ｆ２０６を介して外部（本実施形態では画像処理装置１０３）から受信した各種のデータを一時的に記憶するためのエリア等を有する。即ち、ＲＡＭ４０３は、各種のエリアを適宜提供することができる。

４０４はＲＯＭで、ＨＭＤ１０１全体の制御をCPU４０６に実行させるためのプログラムやデータが格納されている。

４０６はＣＰＵで、ＲＯＭ４０４に格納されているプログラムやデータを用いて、ＨＭＤ１０１の初期設定を始め、ＨＭＤ１０１を構成する各部の動作制御を行う。

４０８は収差補正ＬＳＩで、撮像系収差補正部２０４および表示系収差補正部２０７に相当するものである。ここでは専用集積回路であるＡＳＩＣを想定しているが、信号処理プロセッサであるＤＳＰによってソフト的に機能を記述し実現する構成でもよい。詳細については後述する。

４０９は上述の各部を繋ぐバスである。

図５Ａ〜５Ｃは、歪曲収差並びに倍率色収差を説明する図である。

図５Ａは、歪曲のない撮像画像を示している。図５Ｂは歪曲のある撮像画像を示している。図５Ｃは歪曲に加えて倍率色収差の生じた撮像画像を示している。状
図５Ｃにおいては、ＲＧＢの３成分（複数色成分）のうち、Ｇｒｅｅｎを実線で、Ｒｅｄを破線で、Ｂｌｕｅを一点鎖線で表している。これはＲｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅの各波長によってレンズでの屈折率が異なるため、Ｇｒｅｅｎの像に対して、Ｒｅｄの像は外側に、Ｂｌｕｅの像は内側に結ぶ現象が起こり、白黒の被写体であってもその像のエッジに色にじみ（色ずれ）が生じる。カラー画像の被写体であっても境界領域等の色味が変わるエッジ部分では同様な色にじみが生じる。

実レンズにおける結像においては、図５Ａのような図形を撮像した場合に、図５Ｃのように画像が歪み、また、色によって結像位置（倍率）が異なる現象が生じる。単色における前者を歪曲収差と呼び、色の違いによる倍率の差を倍率色収差と呼ぶ。

単レンズの場合は、レンズ媒質のＲ、Ｇ、Ｂの波長に対する屈折率の差によって倍率色収差が生じるため、基本的にある理想像高に向う各色の光の結像位置のずれの比（Ｒ−Ｇ）／（Ｇ−Ｂ）は像高によらず一定となる。

レンズ系が複雑になった場合、この条件は必ずしも像高によらず一定とはならない。しかし、後述する図７の表示光学系のように、最終面が強いパワーを有し、それ以外の面での倍率色収差の発生が少ない場合には、この比（Ｒ−Ｇ）／（Ｇ−Ｂ）は像高によらず一定に近い値となる。

図６Ａ、６Ｂに示す撮像光学系においても同様に、物体側のレンズ群においてある程度の色収差補正がなされている場合には、比（Ｒ−Ｇ）／（Ｇ−Ｂ）は像高によらず一定に近い値となる。

図６Ａ、６Ｂは、撮像光学系の一例を示す図である。

図６Ａは光学系の光路断面図であり、図６Ｂは光学系の縦収差図である。また、撮像光学系のデータを以下の表１に示し、理想像高に対する歪曲，倍率色収差のデータを以下の表２に示している。

表１のデータのＳは面番号、ＲＤＹはこの面の曲率半径、ＴＨＩはこの面と次の面との間隔、Ｎｄはｄ線での屈折率、νｄはアッベ数を表している。表１のデータに表した数値単位をｍｍとすると、焦点距離約４．８０３ｍｍ、１／３”サイズの撮像素子に対して対角画角６４°で、Ｆ値３程度の光学系を構成している。

図６Ｂの収差図、並びに表２のデータにおける波長は、Ｃ線（６５６．２７ｎｍ）を赤（Ｒ）、ｄ線（５８７．５６ｎｍ）を緑（Ｇ）、Ｆ線（４８６．１３ｎｍ）を青（Ｂ）としている。また、表２の理想像高並びに各色の実像高及びその差分は、ｍｍ単位で表している。また、表からも分かる通り、ＲとＧとの実像高の差Ｒ−Ｇと、ＧとＢとの実像高の差Ｇ−Ｂとの比（Ｒ−Ｇ）／（Ｇ−Ｂ）は５．１１〜５．２３と比較的近い値をとっている。数μｍ程度の画素ピッチの撮像素子を考えた場合に、（Ｒ−Ｇ）／（Ｇ−Ｂ）を上記範囲内の適当な値をとって一意に定めても、補正される色収差の誤差は非常に小さく無視しうる値となる。

図７は、表示光学系の一例を示す図である。この表示光学系のデータを表３〜表５に示す。

なお、表３〜表５は１つの表を３つに分割し、分割したそれぞれの分割表を上から順番に表３，表４，表５としたものである。

面データの基本的な記載方法は表１と同じであるが、偏心を表す項と、自由曲面（非回転対称面）を表す項が追加されている。ＹＤＥは図の断面内でのＹ方向シフト偏心を表し、ＡＤＥはＸ軸まわりの回転を表している。なお、ＡＤＥは図において半時計まわりを正の回転方向としている。また、非回転対称面にはＦＦＳを付し、表の下方に示した対応する番号の係数を有する形状の面となっている。なお、係る例においてはすべてＹＺ面に対称な形状としたため、Ｘの奇数次項をあらかじめ除去した以下の式を非回転対称面の定義式としている。

表示光学系は非回転対称であるため、撮像系において示したＲ−Ｇ，Ｇ−Ｂをそれぞれ図の断面ｙ方向Δｙ、図の断面に垂直方向Δｘとに分けて考える。表示面を結像面として９×９分割した際に、理想的なｘ、ｙに向う光線に対しての実光線のΔｙ（Ｒ−Ｇ）／（Ｇ−Ｂ）、Δｙ（Ｒ−Ｇ）／（Ｇ−Ｂ）をとると、Δｘは１．２６〜１．２７の間、Δｙは１．２６〜１．２８の間にある。これを用いて色収差の補正を行うことができる。

図８は、収差補正ＬＳＩ４０８の機能構成例を示すブロック図である。なお、図８に示した各部はハードウェアでもって構成されても良いし、収差補正ＬＳＩ４０８上に設けられるＲＯＭ内に格納されるプログラムでもって構成されても良い。

なお、上述の通り、収差補正ＬＳＩ４０８は、撮像光学系、表示光学系の何れに対しても、収差の補正のために用いられるものであるが、以下の説明では、表示光学系における収差補正を行う場合について説明する。従って、以下の説明は、撮像光学系の収差補正にも同様に適用することができる。

バッファ８０１は、撮像ユニット２０３により撮像された撮像画像を構成する各画素の画素値データを格納する。本実施形態では、撮像画像を構成する各画素の画素値データは、Ｒ、Ｇ、Ｂの３成分で構成されているものとする。即ち、Ｒ値のデータ、Ｇ値のデータ、Ｂ値のデータでもって画素値データが構成されているものとする。

色分離部８０２は、バッファ８０１から、後段の補間処理において必要となる画素群のそれぞれの座標（アドレス）における画素値データを読み出し、読み出したそれぞれの画素値データについて、Ｒ値のデータ、Ｇ値のデータ、Ｂ値のデータに分解する。なお、画素値データが、輝度値データと色差データとで構成されている場合には、色分離部８０２は輝度値データと色差データとを用いて、Ｒ値のデータ、Ｇ値のデータ、Ｂ値のデータを生成する処理を行う。輝度値と色差値とからＲ値、Ｇ値、Ｂ値のそれぞれを求めるための方法は周知であるので、これについての説明は省略する。

補正値選択部８０３は、上記３成分のうち１つを基準色として選択する。本実施形態では、Ｇ（Ｇｒｅｅｎ）を基準色として選択する。そして補正値選択部８０３は、撮像画像に対する光学系の歪みを補正する為の変換処理を行うことで得られる、これから表示しようとする画素である参照画素（参照点）の変換後の位置（変換済み画素位置）を、後述する歪み補正テーブル８０４から読み出す。係る変換済み画素位置は、二次元座標におけるそれぞれの軸上の値を持つ。そして補正値選択部８０３は、撮像画像上の参照画素の座標位置と、歪み補正テーブル８０４から読み出された参照画素の変換済み座標位置とをセットにして出力する。

歪み補正テーブル８０４は、撮像画像上における参照画素の座標位置と、係る参照画素の変換済み画素位置とを対応付けて予め保持している。歪み補正テーブル８０４について詳しくは後述する。

色ずれ量算出部８０５は、基準色の参照画素と、後述する色ずれ補正テーブル８０６と、を用いて、上記３成分のうち基準色以外の成分の色である他色の色ずれ量を算出する。色ずれ量算出部８０５について詳しくは後述する。

色ずれ補正テーブル８０６は、他色の色ずれ量を算出するためのデータが登録されたものであり、より詳しくは、他色として想定しているＲ、Ｂのうち一方の色について、基準色の変換済み画素位置との差分値が登録されている。

座標変換部８０７は、色ずれ量算出部８０５によって得られた他色の色ずれ量と、補正値選択部８０３が求めた基準色の変換済み画素位置と、に基づいて、他色の変換済み画素位置を求める。座標変換部８０７は、他色がＲである場合、Ｂである場合のそれぞれについて係る処理を行うので、結果として座標変換部８０７は、Ｒの変換済み画素位置、Ｂの変換済み画素位置を求め、出力することになる。

補間処理部８０８は、補正値選択部８０３から出力された２つの座標位置のセット、色分離部８０２から出力された複数の画素についての基準色の色値データ、を用いて、処理を行う。係る処理は、補間画素位置を求め、求めた画素補間位置におけるＧの値を決定する処理である。補間処理部８０８が行う処理について詳しくは後述する。

補間処理部８０９は、座標変換部８０７から得られるＲの変換済み画素位置と、色分離部８０２から出力された複数の画素についてのＲ値のデータと、を用いて、処理を行う。係る処理は、補間画素位置を求め、求めた画素補間位置におけるＲ値を決定する処理である。補間処理部８０９が行う処理について詳しくは後述する。

補間処理部８１０は、座標変換部８０７から得られるＢの変換済み画素位置と、色分離部８０２から出力された複数の画素についてのＢ値のデータと、を用いて、処理を行う。係る処理は、補間画素位置を求め、求めた画素補間位置におけるＢ値を決定する処理である。補間処理部８１０が行う処理について詳しくは後述する。

色結合部８１１は、補間処理部８０８，８０９，８１０のそれぞれから出力されたそれぞれの画素位置における色を画素毎に統合し、１つの画素位置に１つの画素データを形成する。例えば、Ｒ、Ｇ、Ｂそれぞれが８ビットデータである場合、色結合部８１１は、２４ビットの画素値データを出力することになる。

図９は、色ずれ量算出部８０５のより詳細な機能構成例を示すブロック図である。

ここで、本実施形態では、色ずれ補正テーブル９０６には、基準色についての変換済み画素位置と、Ｒｅｄについての変換済み画素位置との差分値がデータとして格納されているものとして説明する。

色ずれ補正値選択部９０１は、補正値選択部８０３が求めた参照画素の基準色についての変換済み画素位置に対応する差分値を、色ずれ補正テーブル８０６から読み出す。なお、後述するテーブル構成にあるように、ここではＸ−Ｙの二次元座標を考え、ｘとｙの各差分の成分を持つものとする。

差分値算出部９０２は、残る色であるＢｌｕｅの変換済み画素位置（Ｘ−Ｙ座標）を、以下説明するようにして算出する。

これまで各光学系で説明してきたように、それぞれの変換後のＸ−Ｙ座標の関係は次式で表すことができる。

（Ｇｘ―Ｂｘ）／（Ｒｘ―Ｇｘ）≒Ｃ（定数）
（Ｇｙ―Ｂｙ）／（Ｒｙ―Ｇｙ）≒Ｃ（定数）
なお、ｘとｙのサフィックスはそれぞれｘ、ｙの座標成分を表している。

距離によって比例定数Ｃ（定数９０３）がほぼ等しくなることから、誤差を無視し、近似式を等式と見なす。これにより、ここで求める値は（Ｇｘ―Ｂｘ）および（Ｇｙ―Ｂｙ）となる。従って、色ずれ補正テーブル８０６に格納されている差分値である（Ｒｘ―Ｇｘ）、（Ｒｙ―Ｇｙ）と比例定数Ｃとの乗算を行う。これにより、テーブルとして登録していないＢｌｕｅの変換済み画素位置と基準色Ｇｒｅｅｎの変換済み画素位置との差分値、即ち、（Ｇｘ―Ｂｘ）、（Ｇｙ―Ｂｙ）を取得することができる。

なお、比例定数Ｃ、即ち、定数９０３については図５〜図７を用いた光学系の説明で示しているので省略する。

図１０は、色収差補正の処理概念を示す模式図である。

図１０では白色の参照画素Ｗが倍率色収差によってＲＧＢそれぞれの位置にずれることを示している。本実施形態ではＧｒｅｅｎをどの位置に変換すれば元のＷに表示されるかを考慮してテーブルが作成されているものとする。例えば、Ｇの位置とＷの位置との差分である（Ｗｘ―Ｇｘ）、（Ｗｙ―Ｇｙ）の値が歪み補正テーブル８０４に格納されている。

また、色ずれ補正テーブル８０６には、（Ｒｘ―Ｇｘ）、（Ｒｙ―Ｇｙ）のそれぞれの差分値が格納されている。従って、座標変換部８０７は、補正値選択部８０３で選択されたＧｘ、Ｇｙの座標と、上記差分値（Ｒｘ―Ｇｘ）、（Ｒｙ―Ｇｙ）によってＲｘおよびＲｙの値を求めることが可能となる（第一の補正値算出）。

もう一色であるＢｌｕｅのＸ−Ｙ座標は、ＧとＲとの差分値がＧとＢとの差分値と比例の関係になることを利用して求めることができる（第二の補正値算出）。即ち、（Ｇｘ―Ｂｘ）／（Ｒｘ―Ｇｘ）≒Ｃ（定数）において、（Ｒｘ―Ｇｘ）、Ｇｘ、Ｃはこの段階では既知であるので、Ｂｘは係る式から求めることができる。これはＢｙについても同様である。

図１１は、色ずれ補正テーブル８０６の構成例を示す図である。

図１１に示す如く、色ずれ補正テーブル８０６には、変換前座標である座標（アドレス）と変換後の座標（アドレス）との差分値が組として格納されている。従って、所望のアドレスを指定することで、対応する変換後の基準色以外の他色と基準色との差分値を得ることができる。なお、ｘ座標、ｙ座標は共に、ｘとｙの関数となっている。

本実施形態では、変換前の座標についてもテーブルとして構成しているが、変換前の座標をメモリアクセスのアドレスと対応づけることによって、変換前座標をメモリ領域にとる必要がなくなり、メモリサイズを削減することも可能である。

図１２は、補間位置における新たな輝度値算出処理である補間処理の概念を示す図である。

二次元座標系における表示中心座標ｏ（ｘ０、ｙ０）を原点とするレンズの歪曲収差情報及び解像度情報より、二次元座標系における各画素の各々の位置における歪曲量を求める。そして、求めたこの歪曲量だけ補正するためのｘ軸方向、ｙ軸方向の各々の座標変換量を画素毎に求める。

そして、求めた座標変換量だけ各画素の各色を座標変換したときの状態で、二次元座標系における各画素位置（本来の画素位置）における画像データ（ＲＧＢの各値）を補間演算で求めるための補正パラメータを求める。

画素Ｐ１の画素値データ（ｘ１，ｙ１）は、座標変換後に画素Ｐ１の周囲に存在する４画素の値Ｐ１’（ｘ１’，ｙ１’）、Ｐ２’（ｘ２’，ｙ２’）、Ｐ３’（ｘ３’，ｙ３’）、Ｐ４’（ｘ４’，ｙ４’）に基づき、以下の式に従って補間演算で求められる。

Ｐ１（ｘ１，ｙ１）＝Ｐ１’(１−ｐｘ)(１−ｐｙ）＋Ｐ２’ｐｘ（１−ｐｙ)＋Ｐ３’(１−ｐｘ）ｐｙ＋Ｐ４’＊ｐｘ＊ｐｙ
なお、ｐｘおよびｐｙは、座標変換前の画素の位置と座標変換後の画素の位置との偏差を表している。

本実施形態では、補正パラメータとして、上記式に従って変換するためのデータ、即ち、画素値データＰ１（ｘ１，ｙ１）への変換において、参照すべき画素のアドレスを表すデータｘ、ｙおよび定数ｐｘ、ｐｙを求める。ｘ、ｙは変換後の座標をそれぞれ表すことになる。

上記式に従って各画素の画素値データを変換することは、実質的に、歪曲収差の方向と逆の方向に画像が歪むように撮像画像を補正することに相当する。

なお、ここでは上記式に示される線形の補間処理を説明したが、Ｂｉｃｕｂｉｃに代表される三次式による補間処理や、ＮｅａｒｅｓｔＮｅｉｇｈｂｏｒ等の最近傍近似による補間アルゴリズムを採用してもよい。

図１３は、座標変換処理のフローチャートである。なお、上述の通り、係る処理は、ＣＰＵ４０６による制御の元、収差補正ＬＳＩ４０８によって行われるものである。

ステップＳ１３０２では、参照画素の座標を指定する。

次に、ステップＳ１３０３では、撮像画像に対する光学系の歪みを補正する為の変換処理を行うことで得られる、基準色の参照画素の変換済み画素位置を、歪み補正テーブル８０４から読み出す。

次に、ステップＳ１３０４では、基準色の参照画素と、色ずれ補正テーブル８０６と、を用いて、上記３成分において基準色以外の他色の色ずれ量を算出する。ステップＳ１３０４における処理の詳細については後述する。

次に、ステップＳ１３０５では、他色の色ずれ量と、基準色の変換済み画素位置と、に基づいて、他色の変換済み画素位置を求める。

次に、処理対象となる全ての画素について処理が完了した場合には、図１３のフローチャートに従った処理を終了させるが、未だ処理していない画素が存在する場合には、ステップＳ１３０６を介してステップＳ１３０２に戻り、以降の処理を行う。

以上説明した処理は換言すれば次のような処理となる。即ち、光学系で生じる色収差の影響を受けた画像を補正する為に、係る画像に含まれている複数の色成分のうち１つを基準色として選択する。そして、基準色を色成分として有する画素の画素位置に対して、係る画像に対する光学系の歪みを補正する為の変換処理を行うことで得られる、変換後の画素位置を取得する。そして、複数の色成分のうち基準色を除く一方の他色を色成分として有する画素の画素位置に対して変換処理を行うことで得られる画素位置と変換後の画素位置との差分値（色収差補正値算出）と、予め定められた値と、を取得する。そして、取得した情報を用いて、他方の他色を色成分として有する画素の画素位置に対して、変換処理を行うことで得られる画素位置を求める（第１の計算、第一の座標算出）。そして、差分値から、一方の他色を色成分として有する画素の画素位置に対して、変換処理を行うことで得られる画素位置を求める（第２の計算、第二の座標算出）。

そしてその後は、詳しくは図１５のフローチャートを用いて説明するが、次のようにして画像を補正する。即ち、取得した画素位置に基準色を色成分として有する画素を配置し、第１の計算で求めた画素位置に他方の他色を色成分として有する画素を配置し、第２の計算で求めた画素位置に一方の他色を色成分として有する画素を配置することで、画像を補正する。

次に、上記ステップＳ１３０４における処理の詳細について、図１４のフローチャートを用いて説明する。図１４は、ステップＳ１３０４における処理の詳細を示すフローチャートである。

先ず、ステップＳ１４０１では、参照画素の基準色についての変換済み画素位置に対応する差分値を、色ずれ補正テーブル８０６から読み出す。本実施形態では、Ｒｅｄについての差分値を読み出している。

次に、ステップＳ１４０２では、ステップＳ１４０１で取得した差分値と差分値の比の関係を示す定数から、残る一色であるＢｌｕｅと基準色との差分値を求める。

次に、ステップＳ１４０３では、ＲｅｄおよびＢｌｕｅの各色と基準色であるＧｒｅｅｎとの差分値を把握する。

次に、図１３，１４に示したフローチャートに従った処理とは独立して行われている補間処理について、図１５のフローチャートを用いて説明する。図１５は、補間処理のフローチャートである。

ステップＳ１５０１では、撮像画像を構成する各画素の画素値データを格納するバッファ８０１から、色分離部８０２は、後段の補間処理において必要となる画素群のそれぞれの座標（アドレス）における画素値データを読み出す。そして、読み出したそれぞれの画素値データについて、Ｒ値のデータ、Ｇ値のデータ、Ｂ値のデータに分解する。ここではＲＧＢの各色に分離する形態を取っているが、第４の色を付け加える構成でも構わない。 次に、ステップＳ１５０２では、各色の補間位置における新たな色の値を算出する。補間演算のアルゴリズムについては既に説明しているためここでは省略する。上記説明では線形補間であるＢｉｌｉｎｅａｒ変換を用いたが、より高次の補間処理アルゴリズムであるＢｉｃｕｂｉｃ等を用いても構わない。

次に、ステップＳ１５０３では、ステップＳ１５０２で新たに算出したそれぞれの色の値を結合し、表示画素における画素値を決定する。

最後に、処理対象となる全画像に対して上記処理を実行した場合には、図１５のフローチャートに従った処理を終了する。一方、未だ処理が成されていない画素が残っている場合には、ステップＳ１５０４を介してステップＳ１５０１に戻り、以降の処理を行う。

以上の説明により、本実施形態によれば、撮像系と表示とにおける光学系によって生じる歪曲収差と色収差とを信号処理によって補正する際に、演算精度を維持しつつ、参照用のテーブルを記憶するために必要なメモリ容量を削減することができる。更には、回路規模の低減および処理の高速化を実現することができる。

メモリ容量の削減によってチップ点数や基板面積の削減に寄与することができ、これによりコストダウンを実現する。また、参照用のテーブルへのアクセス回数を減らすことができ、これによって処理の高速化、消費電力の低減も可能となる。

具体的な数値を挙げると、全てアドレス変換によって歪曲収差、倍率色収差を補正する場合と比べると約１／３以下、変倍処理（基準色はアドレス変換）と比べるとほぼ同等である。また、基準色との差分値を使ってビット数を落とす場合と比べても約２／３のテーブルサイズでほぼ同じ座標変換精度を維持することが可能となる。

［第２の実施形態］
第１の実施形態では、色ずれ補正の為のテーブルとしてＸ−Ｙの二次元座標の各座標値を格納していたのに対し、本実施形態では、基準色の変換後の座標と他色の変換後の座標との距離をテーブルとする。また、本実施形態では、基準色および他色の参照画素としてすべての座標を格納せずに、代表となるサンプリング点の座標値を格納し、その間の座標については補間演算によって求める。以下では、これらの点を中心に、本実施形態が第１の実施形態とは異なる点のみについて説明する。

図１６は、本実施形態に係る収差補正ＬＳＩ４０８の機能構成例を示すブロック図である。図１６において、図８に示したものと同じものについては説明を省略し、異なるもののみについて説明する。

１６０５は、補間座標算出部である。歪み補正テーブル１６０４に格納されている代表点の間の座標を求める際に、補間曲線や補間直線を用いてその間の変換後の座標を算出する。補間演算については線形補間の他、スプライン等の曲線近似やＢｉｃｕｂｉｃ等の双三次曲線も使用できるが、これらの補間演算は一般的な技術であるため、ここではその詳細については省略する。

１６０６は、色ずれ量算出部である。図８に示した構成との違いは、色ずれ補正テーブルに格納されている値がＸ−Ｙの二次元座標データではなく、基準色と他色の一方との距離情報である点にある。距離情報から座標を演算するためには、各変換後の色の座標が光学原点を結ぶ直線上に乗るという関係を利用する。そのため、基準色の参照画素情報だけではなく、変換後の補間座標についても利用することになる。詳細については次の図を使用して説明する。

図１７は、色ずれ量算出部１６０６のより詳細な機能構成例を示すブロック図である。

１７０１は、色ずれ補正値選択部である。色ずれ補正テーブル１６０７には図８と同様にすべての参照画素に対応する変換後の座標との距離情報が格納されているものとする。外部から指定されたアドレスに従い、色ずれ補正テーブル１６０７から変換後の座標と基準色の座標との距離情報を取得する。なお、ここでは全参照画素に対応するテーブルを保持する構成としたが、図１６と同様に代表点のみの情報を格納し、補間演算によって補間座標を算出する構成としてもよい。その際は、参照画素を挟む代表点の距離情報を取得することになる。

１７０２は、第一の差分値算出部である。色ずれ補正値選択部１７０１によって選択された変換後の座標と基準色の変換座標との距離と、基準色の変換後の座標情報をもとに他色のうちの一方の差分値を算出する。距離情報と基準色の変換後の座標から他色のうちの一方の座標または差分値を算出する考え方については次の図を使用して説明する。ここではＲｅｄとＧｒｅｅｎの変換後の座標間の距離情報を用いて、ＲｅｄとＧｒｅｅｎのｘ、ｙのそれぞれの座標の差分値を算出する。

１７０３および１７０４は、図９の９０２および９０３と同様のため、ここでの説明は省略する。

図１８は、色収差補正の処理概念を示す模式図である。

補間座標算出部１６０５によってＧｒｅｅｎのｘ、ｙ座標が算出される。光学原点であるｏとＧｒｅｅｎの変換後の座標であるＧ（Ｇｘ、Ｇｙ）とを結ぶ直線上には他の色の変換後の座標がくる。そのため、距離情報Ｌのみでは本来算出不可能なＲｅｄのｘ座標、ｙ座標をＧの座標から求められるベクトル（のうちの向き）の情報を用いてＲｘおよびＲｙを算出することが可能となる。

距離ＬとＧｘ、Ｇｙの各座標および算出するＲｘ、Ｒｙの座標との関係は次式で表すことができる。

（Ｒｘ―Ｇｘ）２＋（Ｒｙ―Ｇｙ）２＝Ｌ２
Ｇｙ／Ｇｘ ＝ Ｒｙ／Ｒｘ
この関係式から、ＲｘおよびＲｙを求めることが可能となる。

図１９は、色ずれ量を算出する為の処理のフローチャートである。

ステップＳ１９０１では、変換座標を算出するための参照点の座標を指定する。

ステップＳ１９０２では、他色のうちの一色について色ずれ補正テーブル１６０７から基準色との距離情報を取得する。本実施形態ではＲｅｄとＧｒｅｅｎとの距離情報をテーブルから取得する。

ステップＳ１９０３では、基準色の変換後のアドレスである座標と、ステップＳ１９０２で取得した距離情報をもとに、他色のうち一方のＸ−Ｙ座標を算出し、その後基準色との差分値を色ずれ量として把握する。

ステップＳ１９０４では、ステップＳ１９０３で取得した差分値と、差分値の比の関係を示す定数とから、残る一色であるＢｌｕｅと基準色との差分値を求める。この処理は図１４のステップＳ１４０２と同様である。

以上の説明により、本実施形態によれば、撮像と表示の光学系によって生じる歪曲収差と色収差を信号処理によって補正する際に、第１の実施形態と同様に演算精度を維持しつつ、参照用のテーブルを記憶するためのメモリ容量の削減と処理の高速化を実現する。特に回転対称の光学系では有効である。

また、第１の実施形態では、色ずれ補正用のテーブルに変換後のＸ−Ｙ座標を格納していたのに対して距離情報を格納することにより、求められる精度にもよるが、格納する情報量を約半分にすることが可能となる。ただし第１の実施形態と比較すると距離から座標を求める演算が追加された分、回路規模は増大する。

具体的な数値を挙げると、基準色との差分値を使ってビット数を落とす場合と比べても、約半分程度のテーブルサイズによってほぼ同じ座標変換精度を維持することが可能となる。

また、座標演算自体に補間演算を適用することで、例えば８画素おきにサンプリングした場合、トータルではテーブルのサイズを１／６４に低減することが可能となる。こちらも補間演算の精度、補間演算を行う回路規模とのトレードオフであるが、回路規模をある程度にまで抑えて、メモリ容量を削減する場合は有効となる。

［第３の実施形態］
第１、２の実施形態では変換座標の算出をテーブル参照型のアドレス変換によって行っていたのに対し、本実施形態では、近似多項式を利用して算出することで、参照テーブル自体を省略する。以下では、本実施形態が第１の実施形態とは異なる点のみについて説明する。

図２０は、色ずれ量算出部８０５の変形例としての機能構成例を示すブロック図である。図２０において、図８に示したものと同じものについては説明を省略し、異なるもののみについて説明する。

２００１は、色ずれ量算出部である。

２００２は、色ずれ量算出用のパラメータを格納しているテーブルである。第１、２の実施形態では、参照画素に対応する変換後の座標を格納していたが、本実施形態では、後述する近似多項式の係数パラメータを格納する。

２００３は、近似多項式演算部である。図６、表１に示した撮像光学系の場合、理想像高ｘに対するＧの実像高ｙを以下の３次曲線で表すと、表２に示した１１ポイントでの近似値とＧ実像高との差異の絶対値は、最大で０．００１ｍｍ程度となる。上記で示した近似多項式と係数パラメータを用いて変換後の座標群を算出する。

ｙ＝−０．００２３×ｘ^３−０．０１１６×ｘ^２＋１．００７６×ｘ−０．０００７
２００４は、第一の差分値算出部である。第一の差分値算出部２００４は、近似多項式演算部２００３で求められた基準色以外の他色のうちの一方の座標と基準色の変換後の座標からその差分値を算出して出力する。

２００５、２００６は、図９の９０２，９０３と同様のため、ここでの説明は省略する。

図２１は、色ずれ量を算出する為の処理のフローチャートである。

ステップＳ２１０１では、変換座標を算出するための参照点の座標を指定する。

ステップＳ２１０２では、多項式の係数パラメータをテーブルから取得し、把握する。

ステップＳ２１０３では、予め取得しておいた光学条件によって近似多項式を演算し、基準色を除く他色のうちの一方の変換後の補間座標を算出する。例としてここでも同様にＲｅｄのＸ−Ｙ座標を算出する。

ステップＳ２１０４では、ステップＳ２１０３で得られたＲｅｄのＸ−Ｙ座標と基準色であるＧｒｅｅｎのＸ−Ｙ座標からそれぞれの座標の差分値を算出する。

ステップＳ２１０５では、ステップＳ２１０４で取得した差分値と、差分値の比の関係を示す定数とから、残る一色であるＢｌｕｅと基準色との差分値を求める。この処理は図１４のステップＳ１４０２、図１９のステップＳ１９０４と同様である。

以上の説明により本実施形態によれば、撮像と表示の光学系によって生じる歪曲収差と色収差を信号処理により補正する際に、第１、２の実施形態と同様に演算精度を維持しつつ、参照用のテーブルを構成するメモリ容量の大幅な削減と処理の高速化を実現する。こちらも同様に特に回転対称の光学系では有効である。

近似多項式の利用をＲＧＢ各色に適用すると大幅な回路規模の増大につながる。ここでは、回路規模とテーブルサイズのバランスを重視している。論理演算回路規模に余裕があり、外付けメモリの増設が難しい場合には特に有効である。

具体的な数値を挙げると、基準色との差分値を使ってビット数を落とす場合と比べても約１／３程度のテーブルサイズでほぼ同じ座標変換精度を維持することが可能となる。

［第４の実施形態］
本実施形態は、光学仕様やアプリケーション側の要件定義により、歪み補正、色収差補正を含む歪み補正、および色収差補正の機能の切り替えを実現する点にある。以下では、これらの点を中心に、本実施形態が第１の実施形態とは異なる点のみについて説明する。

図２２は、本実施形態に係る収差補正ＬＳＩ４０８の機能構成例を示すブロック図である。図２２において、図８に示したものと同じものについては説明を省略し、異なるもののみについて説明する。

２２０３は、基準色の補正値を選択する補正値選択部である。本実施形態では、基準色をＧｒｅｅｎとし、表示する画素である参照点を決定し、参照点が変換される座標を後述する参照テーブルである歪み補正テーブル２２０４から読み出すものとする。補正値選択部２２０３では、参照点の座標と対応する変換座標を出力する。その際、収差補正の各機能を有効にするかどうかを、後述する収差補正制御部２２０８の指示によって変更する。すなわち、歪曲収差の機能を有効にする場合は、そのまま歪み補正テーブル２２０４の対応値を取得し採用するが、機能を無効にする場合は、テーブルを参照することなく参照点のアドレスを変換後の座標のアドレスと見なしその後の処理を行う。

２２０４は、歪み補正テーブルである。参照点の座標に対応する変換後の座標値を格納する。

２２０５は、色ずれ量算出部で、基準色の参照点と後述する色ずれ補正テーブル２２０７によって基準色以外の他色の色ずれ量を算出する。後述する色ずれ量選択部２２０６において色収差補正機能が無効化された場合は、算出した色ずれ量を０、すなわち基準色と同じ変換座標を用いて、その後の新たな色の値を算出する補間処理部２３１０〜２３１２に適用する。

２２０６は、色ずれ量選択部である。収差補正制御部２２０８の指示により、色収差の補正機能を有効にするか否かを選択する。

２２０７は、他色の色ずれ量を算出するための色ずれ補正テーブルである。他色として想定しているＲｅｄおよびＢｌｕｅのうち一色のデータを、基準色の変換後の座標との差分として保持している。

２２０８は、収差補正制御部であり、歪曲収差機能および倍率色収差補正機能について各々有効か、無効かを設定することが可能である。

２２０９は、色ずれ量算出部２２０５で得られた基準色との差分値と、基準色の変換後の座標をもとに、他色の変換後の座標を求める座標変換部である。

光学仕様やシステムアプリケーションの条件や要件によって処理機能の振る舞いを変える例について簡単に説明する。

例えばビデオシースルー型ＨＭＤでは撮像系と表示系を同時に備えるため、補正値を変えたテーブルを持つだけで、同じ機能を持つ収差補正の信号処理系を持つことが望ましい。

撮像光学系や表示光学系の要件として、サイズの点で歪曲収差と倍率色収差のうち、どちらかを許容できない自体も起こりうる。その際、それぞれ選択する機能に応じて回路を設計することはオーバーヘッドも大きく無駄である。アプリケーションによっては画像処理装置において撮像系、表示系の何れかの収差補正をソフトウェアによって実現する形態も考えられるため、システムに応じた機能の選択が回路構成を変えずに実現できることは望ましいことである。

図２３は、収差補正機能選択処理のフローチャートである。係る処理は、収差補正制御部２２０８による制御の元で行われる処理である。

ステップＳ２３０１では、収差補正機能の選択処理を開始する。機能の選択はシステム設計時に固定しても、アプリケーションによって動的に変更する構成にしてもよい。

ステップＳ２３０２では、歪曲収差補正機能を有効にしたか否かを判断する。有効にした場合は処理をステップＳ２３０３に進める。一方、無効にした場合は処理をステップＳ２３０４に進める。

ステップＳ２３０３では、歪曲収差補正機能を有効にすることを受けて、歪み補正テーブル２２０４が保持する値を採用する処理を選択する。

ステップＳ２３０４では、歪曲収差補正機能を無効にすることを受けて、歪み補正テーブル２２０４が保持する値を採用しない、すなわち参照点の座標を変換後の座標とする処理を選択する。

ステップＳ２３０５では、色収差補正機能を有効にしたか否かを判断する。有効にした場合は処理をステップＳ２３０６に進める。無効にした場合は処理をステップＳ２３０７に進める。

ステップＳ２３０６では、色収差補正機能を有効にすることを受けて、色ずれ補正テーブル２２０７が保持する値を採用する処理を選択する。

ステップＳ２３０７では、色収差補正機能を無効にすることを受けて、算出した色ずれ量に関わらず色ずれ量を０に、すなわち基準色の変換座標を他色でも採用することを選択する。

以上の説明により、本実施形態によれば、撮像と表示の光学系によって生じる歪曲収差と色収差を信号処理によって補正する際に、光学仕様やアプリケーションに合わせて収差補正機能を選択して使用することが容易に実現できる。この機能の実現は各種テーブルの参照の有無、色ずれ量の値の制御によって可能である。

その結果、システム設計時の固定的な機能の使用のみならず、アプリケーションによって機能を選択する場合などの動的な対応も可能となる。

［第５の実施形態］
本実施形態は、色収差補正の適用範囲を座標位置または色ずれ量（補正量）に応じて制御する。以下では、これらの点を中心に、本実施形態が第１の実施形態とは異なる点のみについて説明する。

図２４は、本実施形態に係る収差補正ＬＳＩ４０８の機能構成例を示すブロック図である。図２４において、図８に示したものと同じものについては説明を省略し、異なるもののみについて説明する。

２４０３は、基準色の補正値を選択する補正値選択部である。本実施形態では、基準色をＧｒｅｅｎとし、表示する画素である参照点を決定し、参照点が変換される座標を後述する参照テーブルである歪み補正テーブル２４０４から読み出すものとする。補正値選択部２４０３では、参照点の座標と対応する変換座標を出力する。

２４０４は、歪み補正テーブルであり、参照点の座標に対応する変換後の座標値を格納する。

２４０５は、色収差補正範囲指定部であり、二次元座標において倍率色収差補正の適用エリアまたは非適用エリアを座標値で指定する。

２４０６は、色収差補正範囲指定部２４０５で指定されたエリアに対して変換後の座標が含まれるか否かを判断する比較部である。

２４０７は、基準色の参照点と色ずれ補正テーブル２４０８が保持する値によって基準色以外の他色の色ずれ量を算出する色ずれ量算出部である。

２４０９は、比較部２４０６による比較の結果、色収差補正適用エリアの場合は色ずれ量算出部２４０７で算出した色ずれ量をそのまま採用し、非該当エリアの場合は色ずれ量０を選択する色ずれ量選択部である。

２４１０は、色ずれ量算出部２４０７で得られた基準色との差分値と、基準色の変換後の座標をもとに、他色の変換後の座標を求める座標変換部である。

上記で説明したように、指定のエリアに入っているか否かによって色ずれ量を制御することによって、所望のエリアに対してのみ色収差補正を適用することが可能となる。

図２５は、座標変換処理のフローチャートである。なお、上述の通り、係る処理は、ＣＰＵ４０６による制御の元、収差補正ＬＳＩ４０８によって行われるものである。

ステップＳ２５０２からステップＳ２５０４の各ステップにおける処理はそれぞれ、図１３のステップＳ１３０２からステップＳ１３０４の各ステップにおける処理と同じであるため、その説明は省略する。

ステップＳ２５０５では、変換後の座標が色収差補正の適用エリアの範囲内に位置しているか否かを判断する。係る判断の結果、適用エリアに入っている場合は処理をステップＳ２５０６に進める。一方、適用エリアに入っていない場合は処理をステップＳ２５０７に進める。

ステップＳ２５０６では、色収差補正の適用エリア内であることを受けて、ステップＳ２５０４で算出した色ずれ量をそのまま採用する。

ステップＳ２５０７では、色収差補正の適用エリア外であることを受けて、ステップＳ２５０４で算出した色ずれ量を破棄し、基準色とのずれがないものとしてその後の処理を行う。

ステップＳ２５０８、ステップＳ２５０９の各ステップにおける処理はそれぞれ、図１３のステップＳ１３０５，Ｓ１３０６の各ステップにおける処理と同じであるため、その説明は省略する。

図２６は、色ずれ量算出部２４０７の変形例としての機能構成例を示すブロック図である。図２６において、図８に示したものと同じものについては説明を省略し、異なるもののみについて説明する。

図２４および図２５では座標の比較によって色収差補正の適用の有無を判断したが、本実施形態では、色ずれの絶対的な値によって適用の有無を判断する構成ついて説明する。

２６０１は色ずれ補正値選択部、２６０２は差分値算出部、２６０３は定数（比例定数Ｃ）である。それぞれは、図９の色ずれ補正値選択部９０１、差分値算出部９０２、定数９０３と同様のためその説明は省略する。

２６０４は、色ずれ量比較・選択部であり、後述する色ずれ量のしきい値との比較によって、色ずれ補正値選択部２６０１で選択した色ずれ補正テーブルによる差分値および差分値算出部２６０２で算出された差分値の採用の可否を判断する。

２６０５は、色ずれ量比較のためのしきい値である。

なお、色ずれ量として算出される値は基準色以外の２色であるが、いずれか一方がしきい値以下、もう一方がしきい値より大きくなることも考えられる。特定色のみ色収差補正を適用すると画質への影響が大きいため、何れか一方でもしきい値を超えた場合は色収差補正を非適用にする構成が望ましい。

図２７は、ステップＳ１３０４における処理、即ち、色ずれ量算出処理の詳細を示すフローチャートである。

ステップＳ２７０１，Ｓ２７０２はそれぞれ、図１４のステップＳ１４０１，Ｓ１４０２と同じであるため、その説明は省略する。

ステップＳ２７０３では、色ずれ量がしきい値未満か否かを判断する。係る判断の結果、しきい値未満である場合には処理をステップＳ２７０４に進める。一方、しきい値以上である場合には、処理をステップＳ２７０５に進める。

ステップＳ２７０４では、色ずれ量がしきい値よりも小さいことを受けて、ステップＳ２７０１、Ｓ２７０２で算出した色ずれ量をそのまま採用する。

ステップＳ２７０５では、色ずれ量がしきい値以上であることを受けて、基準色との色ずれ量をなしとする処理を行う。

ステップＳ２７０６は、図１４のステップＳ１４０３と同じであるため、その説明は省略する。

以上の説明により、本実施形態によれば、色収差補正の適用範囲を座標指定および色ずれ量としきい値との比較によって容易に実現することができる。また、表示画像であれば画像中央部の比較的色収差が少ない部分への補正処理の適用を抑制し、違和感のない画像の生成を行うことが可能となる。

［第６の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。係る記憶媒体は言うまでもなく、コンピュータ読み取り可能な記憶媒体である。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

［その他の実施形態］
第１〜３の実施形態では、基準色座標との差分値の比の関係を用いることで参照テーブルのサイズを削減し、より高速かつ回路規模の小さい実現形態を取ることが可能であることを示してきた。

第４、５の実施形態では、システムの要件によって収差補正機能の切り替えや、色収差補正機能の適用範囲の切り替えを実現した。

第４、５の実施形態で説明してきた構成は、第１〜３の実施形態とお互いに組み合わせて使用しても良い。特に、第１〜３の実施形態に対して、ほとんど機能を追加することなく、回路規模や演算処理を増大させることなくシステムの拡張性、自由度を上げることができる点は特徴的である。

また、上記各実施形態における様々な技術を適宜組み合わせて新たなシステムを構成することは当業者であれば容易に相当し得るものであるので、このような様々な組み合わせによるシステムもまた、本発明の範疇に属するものである。

ＨＭＤ装着者に複合現実感を体験させるための、本発明の第１の実施形態に係るシステム（ＭＲシステム）の外観構成例を示す図である。 本発明の第１の実施形態に係るシステム、即ち、ＨＭＤ１０１と画像処理装置１０３とで構成されているシステムの機能構成例を示すブロック図である。 画像処理装置１０３に適用可能なコンピュータのハードウェア構成例を示すブロック図である。 ＨＭＤ１０１のハードウェア構成例を示すブロック図である。 歪曲収差並びに倍率色収差を説明する図である。 歪曲収差並びに倍率色収差を説明する図である。 歪曲収差並びに倍率色収差を説明する図である。 撮像光学系の一例を示す図である。 撮像光学系の一例を示す図である。 表示光学系の一例を示す図である。 収差補正ＬＳＩ４０８の機能構成例を示すブロック図である。 色ずれ量算出部８０５のより詳細な機能構成例を示すブロック図である。 色収差補正の処理概念を示す模式図である。 色ずれ補正テーブル８０６の構成例を示す図である。 補間位置における新たな輝度値算出処理である補間処理の概念を示す図である。 座標変換処理のフローチャートである。 ステップＳ１３０４における処理の詳細を示すフローチャートである。 補間処理のフローチャートである。 本発明の第２の実施形態に係る収差補正ＬＳＩ４０８の機能構成例を示すブロック図である。 色ずれ量算出部１６０６のより詳細な機能構成例を示すブロック図である。 色収差補正の処理概念を示す模式図である。 色ずれ量を算出する為の処理のフローチャートである。 色ずれ量算出部８０５の変形例としての機能構成例を示すブロック図である。 色ずれ量を算出する為の処理のフローチャートである。 本発目の第４の実施形態に係る収差補正ＬＳＩ４０８の機能構成例を示すブロック図である。 収差補正機能選択処理のフローチャートである。 本発明の第５の実施形態に係る収差補正ＬＳＩ４０８の機能構成例を示すブロック図である。 座標変換処理のフローチャートである。 色ずれ量算出部２４０７の変形例としての機能構成例を示すブロック図である。 ステップＳ１３０４における処理、即ち、色ずれ量算出処理の詳細を示すフローチャートである。

Claims (22)

1. 光学系で生じる色収差の影響を受けた画像を補正する画像処理装置が行う画像処理方法であって、
   前記画像処理装置の選択手段が、前記画像に含まれている複数の色成分のうち１つを基準色として選択する工程と、
   前記画像処理装置の取得手段が、前記基準色を色成分として有する画素の画素位置に対して、前記画像に対する前記光学系の歪みを補正する為の変換処理を行うことで得られる、変換後の画素位置を取得する取得工程と、
   前記画像処理装置の第１の計算手段が、前記基準色を色成分として有する画素の画素位置に関連付けてルックアップテーブルに格納されている、前記複数の色成分のうち前記基準色を除く一方の他色を色成分として有する画素の画素位置に対して前記変換処理を行うことで得られる画素位置と前記変換後の画素位置との差分値を該ルックアップテーブルから取得し、該取得した差分値と、予め定められた値と、を用いて、他方の他色を色成分として有する画素の画素位置に対して、前記変換処理を行うことで得られる画素位置を求める第１の計算工程と、
   前記画像処理装置の第２の計算手段が、前記差分値から、前記一方の他色を色成分として有する画素の画素位置に対して、前記変換処理を行うことで得られる画素位置を求める第２の計算工程と、
   前記画像処理装置の補正手段が、前記取得工程で取得した画素位置に前記基準色を色成分として有する画素を配置し、前記第１の計算工程で求めた画素位置に前記他方の他色を色成分として有する画素を配置し、前記第２の計算工程で求めた画素位置に前記一方の他色を色成分として有する画素を配置することで、前記画像を補正する工程と
   を備え、
   前記光学系は、前記基準色の光と前記一方の他色の光との結像位置のずれと、前記基準色の光と前記他方の他色の光との結像位置のずれとの比が、像高によらず略一定となる光学系であることを特徴とする画像処理方法。
2. 光学系で生じる色収差の影響を受けた画像を補正する画像処理装置であって、
   前記画像に含まれている複数の色成分のうち１つを基準色として選択する手段と、
   前記基準色を色成分として有する画素の画素位置に対して、前記画像に対する前記光学系の歪みを補正する為の変換処理を行うことで得られる、変換後の画素位置を取得する取得手段と、
   前記基準色を色成分として有する画素の画素位置に関連付けてルックアップテーブルに格納されている、前記複数の色成分のうち前記基準色を除く一方の他色を色成分として有する画素の画素位置に対して前記変換処理を行うことで得られる画素位置と前記変換後の画素位置との差分値を該ルックアップテーブルから取得し、該取得した差分値と、予め定められた値と、を用いて、他方の他色を色成分として有する画素の画素位置に対して、前記変換処理を行うことで得られる画素位置を求める第１の計算手段と、
   前記差分値から、前記一方の他色を色成分として有する画素の画素位置に対して、前記変換処理を行うことで得られる画素位置を求める第２の計算手段と、
   前記取得手段で取得した画素位置に前記基準色を色成分として有する画素を配置し、前記第１の計算手段で求めた画素位置に前記他方の他色を色成分として有する画素を配置し、前記第２の計算手段で求めた画素位置に前記一方の他色を色成分として有する画素を配置することで、前記画像を補正する手段と
   を備え、
   前記光学系は、前記基準色の光と前記一方の他色の光との結像位置のずれと、前記基準色の光と前記他方の他色の光との結像位置のずれとの比が、像高によらず略一定となる光学系であることを特徴とする画像処理装置。
3. 光学系で生じる色収差の影響を受けた画像を補正する画像処理装置が行う画像処理方法であって、
   前記画像処理装置の第一の座標算出手段が、前記画像中の画素を構成する複数色成分のうちの１つを基準色とし、前記画像に対する光学系の歪みを補正するための変換を前記基準色について画素の座標に対して行うことで変換後の座標を算出する第一の座標算出工程と、
   前記画像処理装置の第二の座標算出手段が、前記複数色成分のうち前記基準色を除く第一の他色について、前記画像の座標に対して前記変換を行うことで得られる変換後の座標を算出する第二の座標算出工程と、
   前記画像処理装置の色収差補正値算出手段が、前記第一の座標算出工程で算出された座標と前記第二の座標算出工程で算出された座標との差分値と、前記第一の座標算出工程で算出された座標と前記複数色成分のうち前記基準色を除く第二の他色について前記画像の座標に対して前記変換を行うことで得られる座標との差分値と、の比の関係を用いて、色ずれ量を示す補正値を算出する色収差補正値算出工程と、
   前記画像処理装置の第三の座標算出手段が、前記色収差補正値算出工程で算出された補正値に基づいて、前記第二の他色について前記画像の座標に対して前記変換を行うことで得られる座標を算出する第三の座標算出工程と
   を備え、
   前記光学系は、前記基準色の光と前記第一の他色の光との結像位置のずれと、前記基準色の光と前記第二の他色の光との結像位置のずれとの比が、像高によらず略一定となる光学系であることを特徴とする画像処理方法。
4. 光学系で生じる色収差の影響を受けた画像を補正する画像処理装置であって、
   前記画像中の画素を構成する複数色成分のうちの１つを基準色とし、前記画像に対する光学系の歪みを補正するための変換を前記基準色について画素の座標に対して行うことで変換後の座標を算出する第一の座標算出手段と、
   前記複数色成分のうち前記基準色を除く第一の他色について、前記画像の座標に対して前記変換を行うことで得られる変換後の座標を算出する第二の座標算出手段と、
   前記第一の座標算出手段で算出された座標と前記第二の座標算出手段で算出された座標との差分値と、前記第一の座標算出手段で算出された座標と前記複数色成分のうち前記基準色を除く第二の他色について前記画像の座標に対して前記変換を行うことで得られる座標との差分値と、の比の関係を用いて、色ずれ量を示す補正値を算出する色収差補正値算出手段と、
   前記色収差補正値算出手段で算出された補正値に基づいて、前記第二の他色について前記画像の座標に対して前記変換を行うことで得られる座標を算出する第三の座標算出手段と
   を備え、
   前記光学系は、前記基準色の光と前記第一の他色の光との結像位置のずれと、前記基準色の光と前記第二の他色の光との結像位置のずれとの比が、像高によらず略一定となる光学系であることを特徴とする画像処理装置。
5. 現実空間を撮像する撮像手段と、表示画像を入力する入力手段と、当該表示画像を拡大表示する表示手段と、を備える装置が有する光学系で生じる色収差の影響を受けた画像を補正する画像処理システムであって、
   前記画像中の画素を構成する複数色成分のうちの１つを基準色とし、前記画像に対する撮像光学系の歪みを補正するための変換を前記基準色について画素の座標に対して行うことで変換後の座標を算出する第一の座標算出手段と、
   前記複数色成分のうち前記基準色を除く第一の他色について、前記画像の座標に対して前記変換を行うことで得られる変換後の座標を算出する第二の座標算出手段と、
   前記第一の座標算出手段で算出された座標と前記第二の座標算出手段で算出された座標との差分値と、前記第一の座標算出手段で算出された座標と前記複数色成分のうち前記基準色を除く第二の他色について前記画像の座標に対して前記変換を行うことで得られる座標との差分値と、の比の関係を用いて、色ずれ量を示す補正値を算出する色収差補正値算出手段と、
   前記色収差補正値算出手段で算出された補正値に基づいて、前記他色について前記画像の座標に対して前記変換を行うことで得られる座標を算出する第二の座標算出手段と
   前記第一、第二、第三の座標算出手段によって算出されたそれぞれの座標と変換前の画素を構成する値をもとに補間位置における新たな画素の値を算出する手段と
   を備え、
   前記撮像光学系は、前記基準色の光と前記第一の他色の光との結像位置のずれと、前記基準色の光と前記第二の他色の光との結像位置のずれとの比が、像高によらず略一定となる光学系であることを特徴とする画像処理システム。
6. 現実空間を撮像する撮像手段と、表示画像を入力する入力手段と、拡大光学系を介して当該表示画像を表示する表示手段と、を備える装置が有する光学系で生じる色収差の影響を受けた画像を補正する画像処理システムであって、
   前記画像中の画素を構成する複数色成分のうちの１つを基準色とし、前記画像に対する撮像光学系及び／又は表示光学系の歪みを補正するための変換を前記基準色について画素の座標に対して行うことで変換後の座標を算出する第一の座標算出手段と、
   前記複数色成分のうち前記基準色を除く第一の他色について、前記画像の座標に対して前記変換を行うことで得られる変換後の座標を算出する第二の座標算出手段と、
   前記第一の座標算出手段で算出された座標と前記第二の座標算出手段で算出された座標との差分値と、前記第一の座標算出手段で算出された座標と前記複数色成分のうち前記基準色を除く第二の他色について前記画像の座標に対して前記変換を行うことで得られる座標との差分値と、の比の関係を用いて、色ずれ量を示す補正値を算出する色収差補正値算出手段と、
   前記色収差補正値算出手段で算出された補正値に基づいて、前記第二の他色について前記画像の座標に対して前記変換を行うことで得られる座標を算出する第三の座標算出手段と
   前記第一、第二、第三の座標算出手段によって算出されたそれぞれの座標と変換前の画素を構成する値をもとに補間位置における新たな画素の値を算出する手段と
   を備え、
   前記撮像光学系及び／又は表示光学系は、前記基準色の光と前記第一の他色の光との結像位置のずれと、前記基準色の光と前記第二の他色の光との結像位置のずれとの比が、像高によらず略一定となる光学系であることを特徴とする画像処理システム。
7. 前記第一の座標算出工程で算出された変換後の座標は、二次元座標におけるそれぞれの軸上の値を持つことを特徴とする請求項３に記載の画像処理方法。
8. 前記第二の座標算出工程では、前記変換後の座標の算出に参照テーブルを使用することを特徴とする請求項３に記載の画像処理方法。
9. 前記参照テーブルは、前記第一の座標算出工程によって算出された変換後の座標と、前記第一の他色についての前記変換後の座標との差分値を格納することを特徴とする請求項８に記載の画像処理方法。
10. 前記参照テーブルは、前記第一の座標算出工程によって算出された変換後の座標と、前記第一の他色についての前記変換後の座標との距離の値をテーブルとして持つことを特徴とする請求項８に記載の画像処理方法。
11. 前記色収差補正値算出工程では、前記参照テーブルに格納されている距離の値と光学原点と前記第一の座標算出工程によって算出された変換後の座標とを結ぶ向きをもとに補正値を算出することを特徴とする請求項１０に記載の画像処理方法。
12. 前記第二の座標算出工程では、座標の算出に近似多項式を用いることを特徴とする請求項３に記載の画像処理方法。
13. 前記第一の他色として、基準色を除く他色のうち、前記第一の座標算出工程によって算出された変換後の座標と前記他色との距離がもっとも短い色を採用することを特徴とする請求項３に記載の画像処理方法。
14. 更に、前記画像処理装置の制御手段が、歪曲収差および色収差補正機能を有効にするか否かを独立に設定する制御工程を有することを特徴とする請求項３に記載の画像処理方法。
15. 前記制御工程では、歪曲収差補正機能を有効に、かつ色収差補正機能を無効にした場合は、前記色収差補正値算出工程によって算出された補正値の値を０とする制御を行うことを特徴とする請求項１４に記載の画像処理方法。
16. 前記制御工程では、歪曲収差補正機能を無効に、かつ色収差補正機能を有効にした場合は、前記第一の座標算出工程によって算出された変換後の座標として変換前の座標値を採用する制御を行うことを特徴とする請求項１４に記載の画像処理方法。
17. 前記画像処理装置の第１の比較手段が、前記色収差補正値算出工程によって算出された補正値の値を、座標で指定されたエリアの範囲内で０とする制御を行うことを特徴とする請求項３に記載の画像処理方法。
18. 前記画像処理装置の第２の比較手段が、前記色収差補正値算出工程によって算出された補正値の値と、設定されたしきい値とを比較し、補正値がしきい値以下または未満の際、補正値を０とする制御を行うことを特徴とする請求項３に記載の画像処理方法。
19. 前記画像処理装置の前記第２の比較手段が、前記基準色及び前記第一の他色を除く他色のうち、少なくとも一つの色の補正値がしきい値以下の場合は、前記他色のすべての補正値を０とする制御を行うことを特徴とする請求項１８に記載の画像処理方法。
20. 前記第一、第二、第三の座標算出工程では、補正対象となる画像を構成する画素の数より参照テーブルで持つ対応する画素の数が少ない場合には、前記参照テーブルで代表される画素の間の画素の座標を補間処理によって算出することを特徴とする請求項３に記載の画像処理方法。
21. コンピュータに請求項１，３，７乃至２０の何れか１項に記載の画像処理方法を実行させるためのプログラム。
22. 請求項２１に記載のプログラムを格納した、コンピュータ読み取り可能な記憶媒体。

Images