JP4369867B2 - センサの回転により画像の解像度を高めるシステム - Google Patents

Description

本発明は、撮像システムに関し、特に画像の解像度を高める方法に関する。

本発明は、遠隔会議システム等に特に有用である非常に広角のレンズ系を使用する撮像システムを参照することにより、より容易に理解することができる。こうした画像は基本的に、カメラを動かす必要なくカメラの正面にあるシーン全体を捉える。

このようなレンズは非常に有用であるが、それによって生成される画像は、カメラレンズの中心光線から遠く離れた角度から生じる画像領域の解像度が低い場合が多い。魚眼レンズを使用する通常のカメラは、ＣＣＤアレイのような画像センサを焦点面に有するレンズからなる。ＣＣＤアレイは通常、等間隔のピクセルアレイを有する。レンズは、非常に大きな立体角をレンズの中心光線から遠く離れたピクセルにマッピングするため、これらの軸外ピクセルは、光軸に近いピクセルよりも解像度が非常に低い。したがって、魚眼レンズは大きな視野立体角を与えるが、軸外の点における画像の有用性は制限される。

原理的に、画像は、いくつかの画像を合成して解像度を高めた１枚の画像を形成することによって改良することができる。このタイプの超解像システムは、ここしばらくの間、従来のレンズと共に用いられてきた。通常の従来技術の超解像システムでは、一連の画像が異なるカメラ位置で撮影される。これは、カメラを移動させることで行われ、各画像が、以前の位置に対して移動させられる１台のカメラで撮影した画像を表すようにすることによって達成される。光軸の方向をｚ軸に定めた場合、カメラはｘ方向およびｙ方向に移動する。次に、このような変位画像をいくつか合成して、撮影したどの１枚の画像よりも解像度の高い１枚の画像を形成する。

残念ながら、このタイプの従来技術の超解像システムは、魚眼レンズにはあまり適していない。ピクセルは空間の、異なる立体角に対する方向から集めた光を表すため、超解像問題の提起および解決に内在する複雑さは、従来技術の方法の適用を、計算時間または記憶要件で測った場合に非常に高価にしている。

概して、本発明の目的は、魚眼レンズのようなレンズとともに用いる改良型の超解像システムを提供することである。

本発明の上記および他の目的は、以下の発明の詳細な説明および添付図面から当業者には明らかになるであろう。

本発明は、画像記録装置、および画像記録装置を用いてシーンの高解像度画像を、画像記録装置によって撮影した複数の低解像度画像から生成する方法である。本装置は、画像センサのアレイと、シーンを画像センサのアレイ上に結像して、各画像センサがシーンの異なる部分から光を受けるようにするレンズとを備える。本装置はまた、光軸を中心に画像のアレイを回転させるアクチュエータを備える。コントローラが、光軸に対する複数の回転角度のそれぞれにおいて画像のアレイを読み出して、複数の低解像度画像を提供し、これらの画像を合成して高解像度画像を形成する。

本発明が利点を提供する様式は、図１を参照することでより容易に理解することができ、図１は、本発明による画像センサ１０の概略図である。画像センサ１０は、画素化された画像アレイ１３上に画像を形成する魚眼レンズ１２を備える。アレイ１３は、ＣＣＤアレイまたはＣＭＯＳフォトダイオードアレイといった任意のタイプの画像センサから構築されてもよい。画像センサ１０はまた、レンズ１２の光軸１５を中心に画像アレイ１３を回転させるアクチュエータ１４を備える。

コントローラ１７が、画像アレイ１３の動きを制御する。実際には、画像アレイ１３を用いてレンズ１２からの画像を記録し、この画像がコントローラ１７内に読み出される。次に軸１５を中心に画像アレイを小さな角度だけ回転させ、別の画像を記録する。このプロセスは、コントローラ１７が個々の画像よりも解像度が高い新たな画像を計算することを可能にするのに十分な画像が記録されるまで何回か繰り返す。あるいは、画像アレイは回転し続け、画像を取得し続けて、超解像画像の画質を高め続けてもよい。

以下の説明を簡単にするために、ｚ軸をレンズ１２の光軸としてデカルト座標系を定義する。画像アレイ１３はこの座標系のｘｙ平面にある。画像アレイの各ピクセルは、原点からの距離Ｒおよびｘ軸に対する角度θを指定することによって指定されてもよい。

画像平面の各ピクセルは、レンズ軸からピクセルまでの距離に応じた立体角からレンズ１２に入ってくる光を測定する。例えば、ピクセル２４は、２１として示す立体角からの光を集め、ピクセル２３は、２２として示す立体角で入ってくる光を集める。各ピクセルに対応する立体角のサイズは、レンズ１２の軸から当該ピクセルまでの距離Ｒのみに依存する。したがって、レンズ軸を中心に画像アレイが回転されても、各ピクセルの集光立体角のサイズは変わらない。これは、各回転角度で記録された様々な低解像度画像から解像度を高めた画像を計算するために必要な複雑さをかなり簡略化する。

画像アレイが各回転角度Ａで記録した画像はＰ（ｒ_i，ｔ_i，Ａ）で表されることができ、ここで、（ｒ_i，ｔ_i）は、画像アレイのｉ番目のピクセルのｘｙ平面における極座標である。超解像アルゴリズムの目的は、あたかも撮像要素の密度がより高い画像センサによって記録されたかのような画像を算出することである。例えば、アレイ１３の各ピクセルが４つのサブピクセルに分けられるとすると、アルゴリズムは、いくつかの画像を合成して、あたかも高精細なピクセルアレイによって記録されたかのような、ある１つの角度におけるピクセル値

を生成する。通常、高解像度画像を得るには少なくとも４つの画像を合成しなければならない。ここで、

は高精細な格子におけるｊ番目の点のｘｙ平面の極座標である。

任意の角度Ａ_kに対して、測定されたピクセル値Ｐ（ｒ_i，ｔ_i，Ａ_k）はそれぞれ、高精細なピクセルアレイのいくつかのピクセル値の加重和として書き表すことができる。低解像度ピクセルと高解像度ピクセルの関係は次の形で書き表すことができる。

ここで、ｈ_kはｋ番目の回転角度のインパルス応答である。レンズが回転対称である場合、式（１）は以下のように書き換えることができることを示すことができる。

Ｈは、全ての回転角度に対して同じであることに留意すべきである。すなわち、Ｈは、半径方向でのみ変わり、角度方向では不変である。

センサを回転させる代わりにセンサをｘ方向およびｙ方向に直線移動させることによって様々な低解像度画像を取得した場合を考える。各低解像度画像は、センサ位置（ｄｘ_k，ｄｙ_l）において撮影される。この場合、対応する低解像度画像と高解像度画像の関係は以下のような形となる。

つまり、各変位（ｄｘ_k，ｄｙ_l）は異なるインパルス応答を必要とする。式（３）で表される連立方程式を解くために必要となる計算資源は、式（２）で表される連立方程式を解くために必要となる計算資源よりも相当に多い。

式（２）によって定義される一次方程式の組は原則として、Ｐが十分な数の角度において測定されるという前提のもとで、ｆの値について解くことができる。このような系を解くための数学的アルゴリズムは当該技術分野において既知である。例えば、凸集合への投影法を使用して、結果として生じる連立方程式を解いてもよい。このようなアルゴリズムの詳細な議論について、読者はM. Tekalp著「Digital Video Processing」（Prentice Hall, 1995, ISBN 0-13-190075-7）を参照されたい。

実際には、方程式の組のサイズはかなり大きい。例えば、高精細なアレイが１０００×１０００個のピクセルを有する場合、解かなければならない方程式の組は１００万個の方程式を含み、対応する行列は１０¹²個のエントリを有する。幸いなことに、エントリのほとんどはゼロである。しかし、各方程式の重み付け関数間に何らかの関係がなければ、非ゼロエントリを記憶する問題でさえ重大となる可能性がある。レンズの対称軸を中心にセンサのアレイを回転させることによって各画像が取得されるという事実により、本発明において必要な簡略化が行われる。上記のように、このような簡略化は、画像同士が画像アレイの直線移動によって関係付けられる場合には不可能である。

計算の複雑さを低減することに加えて、本発明の方法はまた、画像アレイのエッジ（周辺部）に近い画像部分によって導入される問題を減らす。従来技術のシステムでは、複数の低解像度画像が、画像アレイをｘ方向またはｙ方向に短い距離だけ平行移動させることによって形成される。つまり、様々な整数値のｎおよびｍの何らかの格子（ｎｄｘ，ｍｄｙ）上の位置を中心としたアレイの画像が撮影される。画像アレイは固定サイズであるため、低解像度画像は異なる視野を有する。すなわち、各画像はより大きなシーンの一部である。各画像は、他の画像によって共有されるｎ＝ｍ＝０に対応する中心領域を有するが、画像のエッジは、より大きなシーンの、他のどの低解像度画像にも見えない部分のデータを含む場合がある。したがって、エッジピクセルの情報は少ないため、エッジにおいて行うことができる画像の改善は中心領域においてもたらされる改善よりも少ない。魚眼レンズの場合、改良が必要なのは外側のピクセルであり、中心ピクセルではない。よって、従来技術の方法で得られる結果は理想的とは言えない。さらに、エッジピクセルのいくつかは、全体シーンの、他のどのピクセルにも見えない部分を捉えるため、より大きなシーンの画像境界付近の内容に依存する高解像度画像の外側領域にアーティファクトが生じる可能性がある。

本発明の上述の実施形態は、結像レンズが魚眼レンズであると仮定している。魚眼レンズの場合、サンプリングレートが最も低い領域は、視野の周辺領域である。これはちょうど本発明において、高解像度画像の、低解像度画像に対して解像度が最も改善される領域である。本発明は具体的には、その領域においてさらなるサンプルを提供し、これらのサンプルは（回転角度により）等間隔で離間している。したがって、本発明は、適度に離間したサンプルを、ちょうどそれらが最も必要とされる領域において提供するという点で魚眼レンズに良く適している。しかし、本発明の利点は、各ピクセルによってサンプリングされる立体角がレンズの光軸からピクセルまでの距離のみに依存する任意のレンズ、すなわち回転対称のレンズを用いても実現することができる。

本発明によって行われる計算の簡略化は回転対称のレンズに依存するが、本発明は、そのようなレンズを有しないシステムにおいて利点を提供することができる。センサを連続的に回転させるために必要な機械機構は一般に、センサを水平方向と垂直方向の両方において往復移動させるために必要な機械機構よりも遥かに単純である。さらに、センサの回転は、センサの直線的な往復移動よりも遥かに高速で行うことができる。したがって、本発明による画像記録システムは、非回転対称のレンズでも利点を提供することができる。

上述の超解像アルゴリズムは、低解像度画像のそれぞれにおいて取り込まれるシーンが同じであるとみなしている。シーンが時間経過とともに変化する場合、個々の画像は、各画像に生じる動きまたは新たな像を補償されなければならない。シーン中の動きまたは新たな像を補償する超解像アルゴリズムは当該技術分野において既知であるため、ここでは詳述しない。

センサの回転は断続したステップで行うことができ、あるいは、センサが回転しすぎてしまう前に画像アレイが画像を取り込むのに十分な速さを持つ場合、センサは連続的に回転されることができる。１０００〜１０，０００フレーム／秒のフレームレートで画像を取り込むことができるＣＭＯＳ画像センサが実証されている。したがって本発明は、そのようなセンサを用い、１０〜１００枚の低解像度画像を取り込み処理して、従来の３０〜６０フレーム／秒のフレームレートでリアルタイムに出力される各超解像画像を提供することによって高解像度ビデオを提供するために用いることができる。これらの高速センサは、空間解像度が限定されているかまたは信号対雑音比が低い場合が多いことに留意すべきである。よって本発明は、これらのセンサの長所を利用しながら、それらの弱点を矯正する手段を提供する。

高解像度のビデオ出力を提供する本発明の実施形態も実施することができる。センサが１方向に回転し、回転角度の所定数の組それぞれごとに１つの低解像度フレームを取得する実施形態を考慮する。新たな低解像度画像がそれぞれ、所定数の以前に取得した画像と合成されて、ビデオストリームの高解像度フレームとして出力される新たな高解像度画像を提供する。

本発明の、上記の実施形態は、正方形または長方形の、センサのアレイを使用する。しかし、他の形状の、センサのアレイを使用することもできる。必要なのは画像アレイの中心部分のみであるため、残りの領域は、他の回路部に使用するか、製造歩留まりを改善するために空けておくことができる。例えば図２に示すように、円形の、センサのアレイを有利に使用することもできる。画像センサ５０は、形状が円形である撮像アレイ５４を使用する。このアレイは、より大きな任意形状のチップ５３の一部であってもよい。アレイ５４の外側の領域５５は他の回路部のために使用してもよい。アレイ５４がチップ５３上で占める空間が少なくなるため、チップ歩留まりが、よってチップコストが低減される。

同様に、図３に示すように六角形の画像アレイ６４を使用することもできる。この場合も、チップ６３の外側の空き領域を画像処理回路部のために使用するか、またはデバイスの歩留まりを改善するために空けておくことができる。

代替的に、チップの形状は、いくつかの利点を得るために画像アレイの形状（例えば円形または六角形）に合わせてもよい。例えば、この形態のチップ形状により、チップまたは画像アレイの回転を単純化することができる。また、六角形または円形のようなチップ形状により、ウエハ上にチップをより高密度で密集させることができるため、ウエハ毎に作製されるセンサの数を増加させることができる。

上述の実施形態は、各画像センサが、正方形であると仮定した画像センサのアレイを使用する。しかし、他の形状の画像センサも使用することができる。例えば、図４の７１に示すような、２つの同心円の内部のセグメントに一致する形状の画像センサを使用することもできる。一般に、回転中心から所与の半径にある個々のセンサの形状および面積は通常すべて同じであるが、異なる半径にある個々のセンサの形状および面積は異なる場合がある。

当業者には、本発明に対する様々な修正が上記の説明および添付図面から明らかとなるであろう。したがって本発明は、添付の特許請求の範囲によってのみ限定されるものとする。

本発明による画像センサ１０の概略図である。 本発明の別の好適な実施形態による画像センサ５０の概略図である。 本発明の別の好適な実施形態による画像センサ６０の概略図である。 画像センサの別の構成を示す図である。

Claims (10)

1. 画像センサのアレイと、
   シーンを前記画像センサのアレイ上に結像して、前記画像センサのそれぞれが前記シーンの異なる部分から光を受けるようにするレンズと、
   前記レンズの光軸を中心に前記画像センサのアレイを回転させるアクチュエータと、
   前記レンズの光軸回りの、複数の回転角度位置のそれぞれにおいて前記画像センサのアレイを読み出して、複数の比較的低解像度の画像を出力し、前記複数の前記比較的低解像度の画像を合成することによって前記シーンの画像を生成するコントローラと
   を備えることを特徴とする装置。
2. 前記アクチュエータは、前記画像センサのアレイを連続的に回転させることを特徴とする、請求項１に記載の装置。
3. 前記レンズは、前記画像センサのアレイを貫通する光軸回りに回転対称であり、前記画像センサの各々の上に結像する前記シーンの前記部分が、前記レンズの前記光軸と前記画像センサのアレイとの交点から前記画像センサまでの距離のみに依存するような、対称の集光機能を有することを特徴とする、請求項１に記載の装置。
4. 前記画像センサの少なくとも２つは前記シーン中のサイズの異なる大きさの部分から光を受けることを特徴とする、請求項３に記載の装置。
5. 前記レンズは魚眼レンズであることを特徴とする、請求項１に記載の装置。
6. シーンの高解像度画像を生成する方法であって、
   画像センサのアレイを設けることと、
   光軸を有するレンズを用いて前記シーンから複数の比較的低解像度の画像を形成することであって、前記複数の比較的低解像度の画像は、前記光軸を中心とする前記画像センサのアレイの異なる回転角度位置にそれぞれ対応するものである、形成することと、
   前記比較的低解像度の画像を合成することであって、それによって、前記高解像度画像を形成する、合成することと
   を含むことを特徴とする、シーンの高解像度画像を生成する方法。
7. 新たに形成された比較的低解像度の画像を、所定数の以前に形成された比較的低解像度の画像と合成することによって、新たな高解像度画像が生成されることを特徴とする、請求項６に記載のシーンの高解像度画像を生成する方法。
8. 前記レンズは、前記光軸を中心として回転対称であり、前記画像センサのアレイの各々の上に結像する、前記シーン中の部分のサイズが、前記レンズの前記光軸と前記画像センサのアレイとの交点から前記画像センサまでの距離のみに依存するような、対称の集光機能を有することを特徴とする、請求項６に記載のシーンの高解像度画像を生成する方法。
9. 前記画像センサの少なくとも２つは、前記シーン中のサイズの異なる部分から光を受けることを特徴とする、請求項８に記載のシーンの高解像度画像を生成する方法。
10. 前記レンズは、魚眼レンズであることを特徴とする、請求項９に記載のシーンの高解像度画像を生成する方法。

Images