JP5083979B2 - 画像高精細化方法と撮像装置 - Google Patents

Description

この発明は、ディジタルカメラ等に用いられ、固体撮像素子により得られる画像の解像度を向上させる画像高精細化方法と撮像装置に関する。

従来、画像の高精細化技術として、ハイビジョンカメラ等の高精細化技術の研究がなされ、その技術は大きく２つに分かれる。１つの流れは撮像デバイスにおける受光素子密度の上昇であり、他の1つは、複数のＣＣＤによる複数の画像を元に1つの高精細な画像を作る方法(多板化技術)である。前者の技術進歩は非常に速く、現在、横4000ピクセル、縦3000ピクセル、総ピクセル数が1200万画素を有するものが出ている。

撮像デバイスとしては、一般に、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ等の半導体の単位受光素子を２次元状に配置した撮像デバイスがある。この撮像デバイスは、単位受光素子である各画素（ピクセル）毎に入射する光の量を取得するものである。従って、固体撮像素子は、撮影する物体を銀塩写真のようにフィルムの分子構造レベルに精細に撮影することができるものではなく、被写体を微小な区画に分けて、各区画を撮像素子の画素毎に切り取って光の量として捉えるものである。いわば物体を点の集合として描写するものである。また、カラー写真を撮る場合には、撮像素子は光の三原色のＲＧＢ色のそれぞれの量を取得する必要があり、カラー画像の１ピクセルは、撮像素子の１画素とは必ずしも対応せず、１ピクセルを複数の画素で表現することが一般的である。そして、ディジタルカメラ等では、各画素で取得した光の量は、ディジタルデータとして数値化してメモリに記憶される。

また、撮影される画像の精細度は単位面積あたりの画素（ピクセル）数、画素の密度により決まる。単位面積あたりの画素が多ければ高精細な画像、即ち緻密な画像を得ることが出来る。今日のＣＣＤやＣＭＯＳ素子は、技術の進歩と共に、単位面積あたりの画素数は年を追って増加している。

その他の高精細化技術として、特許文献１に開示されているように、機械的に各単位受光素子に入射する光の被写体の領域を、透明な平行平板を揺動させて、入射光の光路を各単位受光素子の半ピッチ分移動させ（画素ずらし）、イメージセンサである固体撮像素子の実際の画素数に対して、より高精細化することができる撮像装置が提案されている。特許文献２には、同様の方法により、撮像した画像データの各フレームを加算して出力し、縞模様の撮影時に発生するモアレを抑制したものが開示されている。同様に、特許文献３に開示された撮像装置は、透明平行平板を複数設けて、各々揺動させて解像度を向上させるようにしたものである。

また、二次元的に画素ずらしを行う方法として、特許文献４に開示されているように、透明な平行平板を、その面方向であって互いに直交する２軸で支持して揺動させる方法も提案されている。その他、二次元的に画素ずらしを行う方法として、特許文献５に開示されているように、１枚の平板ガラスを、１つの支持部と２つの作動部で支持し、２つの作動部を適宜に作動させるようにして、作動部によりガラスを傾斜させ、撮影レンズと撮像素子との間に設置したガラスを任意な角度に正確に傾斜させることができるようにした撮像装置も提案されている。

また、特許文献６に開示されているように、光学的に透明な電極と配向膜とを設けた複数の基体の間隙内に液晶が注入された位相変調光学素子と、光学的に透明な複屈折媒体とからなる素子を複数個組み合わせた光学装置が開示されている。この光学装置は、位相変調光学素子を設けて光の位相を変化させて偏光面をずらし、更に複屈折媒体によって入射光を選択的に屈折させ、二次元の画素ずらしを行い、解像度を向上させることが可能な装置である。その他、機械的画素ずらし機構を用いないものとして、特許文献７に開示されているように、小容量の記憶装置を用いて高解像度画像を実現することが可能な装置も提案されている。

これらの高精細化方法は、透明な平行平板を撮像素子の受光面に対して平行に配置するとともに、撮像に際して、所定の周期で光路をその素子の１／２画素分移動させ、見かけ上２倍以上の画素数と同様の精細度を得ることができるものである。
特開昭６１−７５６７９号公報 特開平６―９８２６３号公報 特開平６―２６１２３６号公報 特開平３―２３１５８９号公報 特開平７―２３６０８６号公報 特開平７―３６０５４号公報 特開平１０―２９４９００号公報

しかしながら、上記背景技術の画素ずらしによる高精細化技術は場合、全方位画像としての特徴に着目して研究しているものではなく、既存の通常画像を高精細化するものであり、魚眼レンズ等による全方位画像を対象にした高精細化の技術は存在していない。

一方、魚眼レンズやパノラマ撮像レンズ等の全方位画像は、通常のレンズでは撮影し得ない３６０度の画像を１枚の像面上に映すことが可能である。全方位の情報を1枚の画像に収めることが出来ることから、この全方位画像を基にして通常カメラで撮影したと同様な画像を画像処理(以下、この画像処理を「正像変換処理」と称する)を用いて得ることが出来る。この場合、広範囲の画像情報を1枚の画像に収めているため、相対的に正像変換に利用される画像の単位面積当たりのピクセル数は少ないものにならざるを得ない。そのため、正像変換された画像は精細度の低いものにならざるを得ず、高精細化の必要性が大きい。

さらに、上記背景技術の画素ずらしを利用した高精細化方法は、機械的にガラス板を１軸または２軸方向に正確に揺動させる制御は難しいものであり、ビデオカメラ等の動画撮影には適用し難いものである。また、上記背景技術の電気的光学的に像をシフトする方法は、光学素子の構成や制御が複雑になり、コストがかかり容易に利用できるものではない。

本発明は、上記従来の技術の問題点に鑑みてなされたものであり、魚眼レンズ等で得られる全方位画像の正像変換においても、高精細画像を容易に安価に得ることができる画像高精細化方法と撮像装置を提供することを目的とする。

この発明は、ディジタルカメラの画像高精細化方法において、個々の画素を構成する単位受光素子を２次元状に配置して形成された撮像デバイスと撮像レンズの間に、所定の等しい角度傾斜した２枚の平行透明板を設け、この平行透明板を、前記撮像レンズの光軸を軸として回転させて、前記各単位受光素子に対して、同一被写体の異なる画像を入射させて、前記撮像素子により前記２枚の平行透明板の所定の角度毎に異なる画像情報を取得し、取得した各画像を合成して一つの高精細画像を得る画像高精細化方法である。

前記２枚の平行透明板の回転角のみを制御することで、９倍又は１６倍の画素数に相当する高精細画像を得るものである。

またこの発明は、ディジタルカメラに設けられ個々の画素を構成する単位受光素子を２次元状に配置し形成した撮像デバイスと、この撮像デバイスに対して所定の等しい角度傾斜して各々配置された２枚の平行透明板と、この平行透明板を各々独立に、前記撮像デバイス表面に対して直交する軸を中心に回転させる駆動装置とにより構成され、前記駆動装置を制御して前記平行透明板を介して、前記撮像デバイスに同一被写体の異なる画像を入射させ、前記各単位受光素子に高解像度の画像情報を得る撮像装置である。

前記撮像デバイスには、広角の撮像レンズが接続され、前記撮像デバイスと前記撮像レンズとの間に、前記２枚の平行透明板が設けられたものである。特に、前記撮像レンズは、３６０度全周を撮影可能なパノラマ撮像レンズである。

前記駆動装置は、前記２枚の平行透明板をそれぞれ独立に回転させる機構と、この機構を回転させるモータと、このモータを制御するソフトウェア制御装置とにより構成されているものである。

この発明は、ディジタルカメラ等の固体撮像素子である撮像デバイスを用いた撮像装置において、厚みが一定かつ傾きが等しい平行透明板をレンズと撮像デバイスの間に挿入し、その平行透明板を撮像レンズの光軸を軸として回転させることにより、画像情報を取得し、その画像情報を利用して、簡単に画像の精細化を行うことができる。これにより、高価な装置を必要とせず極めて安価に画像の高精細化を実現することができる。

以下、この発明の実施形態について図面に基づいて説明する。まず、本発明における原理を図１に示す。ここでは、ＣＣＤあるいはＣＭＯＳの撮像デバイス１に、画素を構成する個々の単位受光素子Ａ，Ｂ，Ｃ，Ｄが集積化されている。撮像デバイス１の光入射方向前方には、図示しない魚眼レンズからの撮像光が入射する平行透明板であるガラス板２が位置している。ガラス板２は厚みが一定のものである。図１では、ガラス板２を撮像デバイス１に対して平行に置かれた状態をαとし、ガラス板２が矢印に示す方向に傾けた状態をβとする。また、ａ，ｂ，ｃ，ｄは、単位受光素子Ａ，Ｂ，Ｃ，Ｄに垂直に入射する光線を示す。入射光線ａ，ｂ，ｃ，ｄは、ガラス板２を挿入する前に単位受光素子Ａ，Ｂ，Ｃ，Ｄに入射している光線であり、この垂直な光線ａ，ｂ，ｃ，ｄは、ガラス板２をαの状態に挿入してもガラス板の厚みが一定である限り挿入する前と同様に単位受光素子Ａ，Ｂ，Ｃ，Ｄに入射する。従って、光線ａ，ｂ，ｃ，ｄは単位受光素子Ａ，Ｂ，Ｃ，Ｄで受光される。

次に、αの状態にあったガラス板２を揺動し、βの状態にする。この時、傾きの角度を適当に制御することにより、単位受光素子Ａ，Ｂ，Ｃ，Ｄには、光線ａ，ｂ，ｃ，ｄの間の光線で、α状態では受光されていなかった図１に破線で示す光線ａ’，ｂ’，ｃ’，ｄ’を受光することが出来る（図１の屈折量は、説明の都合上その量を実際以上に大きくしている）。即ち、まず、ガラス板２のα状態で光線ａ，ｂ，ｃ，ｄの画像を取得し、ついでガラス板２の状態βで光線ａ’，ｂ’，ｃ’，ｄ’の画像を取得し、これら２つの画像を合成することにより高精細画像を得ることが出来る。

ここで、図１では、光線ａ，ｂ，ｃ，ｄあるいはａ’，ｂ’，ｃ’，ｄ’が撮像デバイス１に対して垂直に入射する場合を示している。しかし、実際のレンズでは図２に示すごとく、レンズにより集光された垂直光を含む光線の束(光束)が撮像デバイス１の単位受光素子Ａ，Ｂ，Ｃ，Ｄに集束されて入力され、それが画像情報として取得される(図２は簡単のため光束の表示はｂ，ｂ’についてのみ表示している)。従って、実際は、図２（ａ）に示すように、光束の広がりの最大角度ψを考慮した場合の画像の変移量を考える必要がある。

まず、ガラス板２を挿入した時、光の収束位置が移動する。ガラス板２を撮像デバイス１に対して平行に挿入したとき、ガラス板２の厚みをｄ、ガラス板の屈折率をｎ_t、空気の屈折率をｎ_i、光束の広がりの最大角度をψとすると、光束の収束位置の光軸方向の移動量ｓは、

で与えられる。すなわち、ガラス板２を挿入する前と同じ画像情報を得るためには、撮像デバイスの位置を挿入前に位置からｓだけずらせる必要がある。この量の例について、ｎ_t=１．５、ｎ_i=１．０、またψ=１°〜１０°の場合を図３に示す。

厳密に考えると移動量ｓは光束の広がりの最大角度ψに依存する。しかし、光束の広がりが１０度程度であれば、実効的には約１％程度の誤差で、束の広がり最大角度ψに拘わらず一定のところに移動すればよいといえる。

さらに、式（１）で与える移動量ｓだけ撮像デバイス１を移動させた状態で、図２（ｂ）に示すように、ガラス板２をθi傾けた場合の画像の撮像面方向の変移量Ｄ（図２（ｂ）において、ガラス板２を傾けないときの結像点Ｂを有する平面βに平行で、距離ｓだけ離れた平面β’上の点Ｃからの点Ｃ’への移動量）は、簡単な計算によって、

として与えられる。画像変移量Ｄはガラス板２の挿入位置には依存せず、レンズと撮像デバイス１の間のどこにおいてもこの原理は適用できる。式（２）について、ψ=0°、10°、20°、屈折率ｎt＝１．５ (ガラス)、ｎi＝１．０(空気)とした場合の、ガラス板の傾きθ_iとＤ／ｄとの関係を図４に示す。

ψ=0°の場合の画像変移量（即ち、光束を考えない図１における垂直光線ａ，ｂ，ｃ，ｄあるいはａ’，ｂ’，ｃ’，ｄ’の画像変移量）は、例えばＣＣＤ撮像デバイスの横方向の長さを12.8mm、その方向の単位受光素子数が4992とした場合、ピクセルの間隔は2.564μmとなる。ここで、各ピクセル間の丁度中央の画像情報を取得すると仮定すると、画像変移量Ｄ=1.282μmとなる。角度を１°傾けてこの変移量を得るためにはガラス板の厚みd=220.3μmが必要であり、また、角度を2°傾けて得る場合のガラス板の厚みはd=110.1μm必要となり、具体的に実現できる数値である。

式（２）より解るごとく、ガラス板２の傾きを一定にしても、厳密には画像変移量Ｄは、光束広がりの最大角度ψに依存して変化する。ψ=20°とすると、ガラス板の傾きθiが大きくなるとψによる違いが大きい。しかし、図４からわかるように、ψ=10°程度であれば最大５％程度の誤差で一定、即ち垂直光線と考えて実効的には問題がない。

垂直光ではない場合は、ガラス板挿入以前の画像位置と、ガラス板挿入による画像位置とは異なる。従って、その量により基本的には挿入によって得られる画像には、たとえガラス板２を傾けない場合でも歪が発生する。この量は図４から、垂直光から３°傾いた入力光の場合本来の位置より、ｄ=200μmの場合には、3.5μm程度画像が変移する。

以上により、本発明における方法は、撮像デバイス１への入射角度が垂直に近く、且つできるだけ光の最大広がり角度ψが少ない光線を用いて画像を得るカメラシステムに対して適用できる。

以下、この発明の一実施形態について、図５〜図１４を基にして説明する。この実施形態で実際の撮像デバイス１における単位受光素子１０の配置は、図５に示すごとく２次元配置になっている。この上にガラス板を挿入し、図１あるいは、図２に示すようにα状態からβ状態に傾けた時に、Ａ’，Ｂ’，Ｃ’，Ｄ’点の画像情報がＡ，Ｂ，Ｃ，Ｄ点に変移するだけではなく、撮像デバイス平面上の全ての点の情報が式（２）で与える変移量Ｄだけ左方向に変移する。その中で、図６の□の位置ある画像情報が、対応する単位受光素子１０にて画像情報として取得される。この画像の変移操作は方向（図６では左方向）、と、その大きさ（変移量Ｄ）が決まっており、ベクトルとして表現される。例えば、図７（ａ）のように画像変移ベクトルをＤ_１→、Ｄ_２→、Ｄ_３→（以下、この明細書では各ベクトルを便宜上このように表す。）として表現したとすると、実際は、図７（ｂ）の画像変移操作を示すものであり、△、◇、□で示す各位置の画像を３枚得ることを意味する。

図７（ａ）で示すベクトルによる画像では実際は均一に画像を高精細化することができないことは自明である。均一な高精細な画像を得るためには、単位受光素子１０の２次元配列を考慮して、必要な画像情報位置を明確にして、それに必要なベクトルを生成する必要がある。

実際に４倍の高精細画像を作る場合の例を以下に示す。各単位受光素子１０の間隔を、横方向ｐ、縦方向ｑとする場合、必要なベクトルは、図８に示すＤ_１→、Ｄ_２→、Ｄ_３→である。Ｄ_１→は長さがｐ／２で、横方向の単位受光素子の並び方に平行なベクトル、Ｄ_２→は、Ｄ_１→と直交し、長さｑ／２のベクトル、Ｄ_３→は２つのベクトルＤ_１→、Ｄ_２→と４５度の角度をなし、長さ（ｐ^２＋ｑ^２）^１／２／２なるベクトルである。従って、ベクトルＤ_１→、Ｄ_２→、Ｄ_３→を作り出すことによって必要な画像情報を得ることができる。

図９にはそれぞれのベクトルにより得られる画像と、それに基づいての高精細画像取得法を示している。ベクトルＤ_１→により□位置の画像情報（図９（ｂ）に示す画像情報）、Ｄ_２→ベクトルで表現される画像情報の変移操作により◇の位置にある画像情報（図９（ｃ）に示す画像情報）、またベクトルＤ_３→で表現される画像情報の変移操作により△の位置の画像情報（図９(ｄ)に示す画像情報）が各々得られる。図９（ｂ），（ｃ），（ｄ）の３枚の画像情報を、図９（ａ）に示す元の画像（ガラス板を撮像デバイスに平行に挿入して得られる○印位置の画像）に対して、図９（ｅ）に示す□、◇、△のそれぞれの位置に挿入する操作を行うことによって、四倍の高精細化を実現することができる。この方法は倍率を大きくした場合も全く同様である。

次に、９倍の高精細化の場合のベクトル構成を図１０に示す。ベクトルの組み合わせは１通りではなく、図１０では２通りを示している。図１０（ａ）では黒丸で示す単位受光素子１０が、素子間距離ｐで正方形に並べられているとすると、画像変移させる各ベクトルＤ _１ →、Ｄ _２ →、Ｄ _３ →、Ｄ _４ →、Ｄ _５ →、Ｄ _６ →、Ｄ _７ →、Ｄ _８ →のなす角度は全て45°、画像変移量を示すベクトルの長さは、ベクトルＤ_１→、Ｄ_３→、Ｄ_５→、Ｄ_７→は、（２／３）ｐ、また、ベクトルＤ_２→、Ｄ_４→、Ｄ_６→、Ｄ_８→は、（２^１／２／３）ｐなるベクトルの組を生成すればよい。これにより、単位受光素子１０間の８箇所の画像情報を得ることができる。また図１０（ｂ）においては、黒丸で示す単位受光素子１０が、素子間距離ｐで正方形に並べられているとすると、画像変移させる各ベクトルＤ _１ →、Ｄ _２ →、Ｄ _３ →、Ｄ _４ →、Ｄ _５ →、Ｄ _６ →、Ｄ _７ →、Ｄ _８ →のなす角は全て45°、画像変移量を示すベクトルの長さは、ベクトルＤ_１→、Ｄ_３→、Ｄ_５→、Ｄ_７→は（１／３）ｐ、また、ベクトルＤ_２→、Ｄ_４→、Ｄ_６→、Ｄ_８→は、（２^１／２／３）ｐなる組のベクトルを生成すればよい。これによっても、単位受光素子１０間で８箇所の画像情報を得ることができ、これらのベクトルにより得られたそれぞれの画像情報を、逆向きに移動した位置で合成することにより９倍の高精細化した画像を得ることができる。

図１１には、１６倍画像を得るためのベクトルの組の１例を示す。この場合、単位受光素子１０間を４分割した格子状の交点置で、１５箇所の画像情報を得るものである。図１１で黒丸で示す単位受光素子１０の配置を正方形とした時、ベクトルＤ_１→、Ｄ_３→、Ｄ_５→、Ｄ_７→はそれぞれ直交し、長さはｐ／４、また、ベクトルＤ_２→、Ｄ_４→、Ｄ_６→、Ｄ_８→はそれぞれ直交し、ベクトルＤ_１→、Ｄ_３→、Ｄ_５→、Ｄ_７→に対して45°の角度をなし、長さが（２^１／２／４）ｐ、ベクトルＤ_９→、Ｄ_１１→、Ｄ_１３→、Ｄ_１５→は、縦軸、横軸とそれぞれ角度θ＝ｔａｎ^−１（１／２）、長さが（５^１／２／４）ｐ、ベクトルＤ_１０→、Ｄ_１４は、縦軸、横軸に平行で、長さがｐ／２、また、ベクトルＤ_１２→は縦軸横軸と45°をなし、長さがｐ／（２^１／２）である。これによっても、単位受光素子１０間で１５箇所の画像情報を得ることができ、これらのベクトルにより得られたそれぞれの画像情報を、逆向きに移動した位置で合成することにより１６倍の高精細化した画像を得ることができる。

次に、ベクトルを生成する具体的方法について述べる。例えば、図８の４倍化の場合は、まず、式（２）におけるni、nt、ψ、dを決め、

を与えるそれぞれの回転軸回りの角度である回転角度θ₁、θ₂、θ₃を求め、ガラス板を傾ける方向を図１２に示す様に、ベクトルＤ_１→、Ｄ_２→、Ｄ_３→のそれぞれの方向に対して直角な軸(１)，(２)，(３)（軸の位置は問わない）を回転軸として回転角度θ₁、θ₂、θ₃を実現すればよい。

この高精細化アダプタを装着した一実施形態としてディジタルカメラの概略構成を図１３（ａ）に示す。魚眼レンズ１２と、撮像デバイス１を内蔵したカメラ本体１４との中間にアダプタ１６を装着し、その中にガラス板２０を設け、画像情報の変移ベクトルを実現する。

図１３（ｂ）に示すアダプタ１６は、1枚のガラス板２０を持ち、そのガラス板２０を必要とするベクトルの方向に対応する箇所を特定し、その箇所を１軸方向に上下することによって、ベクトルの長さに対応する角度を得る構造である。図１３（ｂ）の方式は、上記背景技術と同様にガラス板の上下運動を必要とし、上下運動を正確に制御は難しい。

そこで、図１３（ｃ）に示す様に、光軸に対する傾き角度δを同一、かつ固定とし、互いに独立に回転する２枚のガラス板２２，２３を用いると良い。入射光線に対する画像情報の変移量Ｄは、２枚のガラス板２２，２３が作るそれぞれのベクトルの合成として与えられる。図１３（ｃ）では、２枚のガラス板２２，２３を、撮像光学系の光軸Ｌに対する所定の傾きδは同一で固定してあるため、ベクトルの長さは一定である。従って回転によって必要ベクトルを作る必要があり、全てのベクトルを作ることは不可能になるが、上下動は不要であり、回転のみにのみによってベクトルを作り出せるため制御が極めて簡略化される。

図１３（ｃ）に示すアダプタの方式による画像変移ベクトルの実現法を図１４に示す。図１４（ａ）に示すように、必要とする画像変移ベクトルをＤ_０→とし、アダプタ１６ａ、アダプタ１６ｂで作られるベクトルをＤ_１→、Ｄ_２→としたとき

として合成が出来る。図１４（ａ）における△ＡＢＣは、

であるため、二等辺三角形である。この２つのベクトルＤ_１→、Ｄ_２→でＡ点まで変移させることの出来る画像位置を図１４（ｂ）に示す。Ａ点（即ち１つの単位受光素子が存在する位置)から半径２ｒ内に存在する画像位置にある画像情報をＡ点の単位受光素子に変移させることができる。このことから、角度を正確に作り出すことができるのであれば、ｒを大きくとれば、全ての倍率を1つの２枚ガラスアダプタにより実現することが出来る。
なお、

の場合には、ガラス板挿入以前にＡ点で得られていた画像をガラス板２枚挿入によって、得ることができなくなるため、必ず、式（５）は成立しなければならない。
ここで、式（４）は、数学的に以下の式（７）のようにも書き表すことができる。

（ａ，ｂ）は、Ｄ→の移動量のｘおよびｙの成分である。式（７）をさらに変形して以下の式（8）を得ることができる。

ηは、希望する光線の遷移ベクトルの角度を表し、η _１ η _２ は、ガラス板の各の回転角度を表す。
ここで、｜Ｄ→｜をｒ _１ と記述する。
さらに、式（５）を式（８）に代入して以下の式（９）を得る。

式（９）は、以下の二本の数式（１０）に分解可能である。

これを解くと、以下の式（１１）が得られる。これは、変移したいベクトルＤ _０ →の変移ｒ _１ および傾きηを指定することと、傾斜した２枚のガラス板の各々の回転角η _１ ，η _２ を指定することが同等の意味を持つことを示す。

以上より、受光させたい画像素子の位置から、変移させて光線情報を得たい位置までのベクトル（距離と角度）を定めることにより、傾斜したガラス板の回転角度は容易に決定することができる。

次に、この発明の他の実施形態を、図１５を基にして説明する。この実施形態では、カメラ本体３１は、撮像デバイスを収容し、それにより撮影された情報を外部に取り出すためのインタフェースを実装している。カメラ本体３１には、全方位画像を撮影するための魚眼レンズや３６０度の全方位パノラマ撮像するパノラマ撮像レンズ３２と、パノラマ撮像レンズ３２を本体に装着するためのレンズマウント部３３である。このレンズマウント部３３に対してパノラマ撮像レンズ３２を装着する際に、パノラマ撮像レンズ３２の最先端部と撮像デバイスとの間で、レンズマウント部３３内に存在するスペース部分に、歯車を有し回転できる構造とした傾斜ガラス板３４を装着する。傾斜ガラス板３４は、光軸に対して所定角度傾斜し、伝達歯車３５を介して駆動歯車３６と連結して、レンズ系の光軸と同軸の軸を中心として回転可能に設けられている。駆動歯車３６は駆動モータ３７により駆動することにより、傾斜ガラス板３４を目的とする任意の角度に、すなわち、任意の方向に変移ベクトルを設定する。

この実施形態では、２枚の傾斜ガラス板によって、必要な変移ベクトルを実現する。そのため、上述の傾斜ガラス板３４とまったく同じ構造をもつ傾斜ガラス板３８を上述のレンズマウント部３３内の空間に傾斜ガラス板３４と近接して実装し、伝達歯車３９、駆動歯車４０、さらに駆動モータ４１を用いて任意の角度に制御する。

駆動モータ３７，４１は同一のパソコン等のプログラムで制御される制御装置４２と制御インタフェース４３，４４によって接続され、パソコン内に存在するソフトウェアにより、それぞれの傾斜ガラス板３４，３８の角度を制御し、必要な変移ベクトルを合成する。

さらに、カメラ本体３１とも制御インタフェース４５で接続され、角度設定後、撮影の指示を出すことによって、変移ベクトル生成し、撮影を連動させ動画像を作成することも可能となる。

なお、この発明の画像高精細化方法と撮像装置とは、上記実施形態に限定されるものではなく、撮像装置の構造は適宜選択可能なものであり、平行透明板の回転方法適宜のモータやその他の駆動素子を選択し得るものである。

この発明の原理図である。 入射光の光束を考慮した場合の屈折状況を説明するための概念図（ａ）と、変移量D、結像点移動量を説明する概略図（ｂ）である。 光束広がり最大角度と撮像デバイス移動量との関係を示すグラフである。 ガラスの傾きと画像変移量との関係を示すグラフである。 撮像デバイス構造を示す概念図である。 この発明において1方向の変移により得られる画像についての説明図である。 この発明を解りやすく説明するためのベクトル合成表示を示す説明図である。 この発明において画像４倍化を行う場合のベクトル組を示す図である。 この発明において４倍の画像の合成法を示す概念図である。 この発明により９倍化画像取得のためのベクトル組の例を示す図である。 この発明により１６倍化画像を合成するために必要なベクトルの組を示す図である。 この発明により４倍化画像合成を行うために必要な変移量、角度の説明図である。 この発明の一実施形態のディジタルカメラ画像の高精細化装置の構成例である。 この発明の２枚ガラスによる変移ベクトルの合成法を示す概念図である。 この発明の他の実施形態の、パノラマ撮像レンズを装着したディジタルカメラ画像高精細化装置の構成例を示す概念図である。

１ 撮像デバイス
１０ 単位受光素子
１２ 魚眼レンズ
１４ カメラ本体
１６ アダプタ
２０，２２，２３ ガラス板

Claims (4)

1. 個々の画素を構成する単位受光素子を２次元状に配置して形成された撮像デバイスと撮像レンズの間に、前記撮像レンズの光軸に対して所定の等しい傾斜角度で傾斜した２枚の平行透明板を設け、この平行透明板を、前記撮像レンズの光軸を軸として回転させて、前記各単位受光素子に対して、同一被写体の異なる画像部位からの光を入射させて、前記単位受光素子により前記２枚の平行透明板の所定の回転角度毎に異なる画像情報を順に取得し、取得した各画像を合成して一つの画像を得る画像高精細化方法において、
   前記２枚の平行透明板がない場合に、前記撮像レンズにより前記撮像デバイス表面に入射する前記異なる画像部位からの光が入射する位置であって、前記各単位受光素子を中心として、前記単位受光素子間の間隔をｐとすると、一辺が２（２^１／２）ｐ／３又は２ｐ／３の正方形の頂点及び前記頂点間の中点の位置へ各々入射する前記異なる画像部位からの８箇所の入射光を、前記２枚の平行透明板を通過させて前記撮像デバイス表面に入射させ、
   前記撮像レンズの光軸を軸として前記２枚の平行透明板を回転させて、前記各位置から前記入射光を変移させて、前記各単位受光素子に順次受光させ、
   前記撮像デバイスで順次取得した前記８箇所の変移画像と、前記２枚の平行透明板を通過させて前記変移のない１箇所の画像とを合成して一つの画像を得ることを特徴とする画像高精細化方法。
2. 個々の画素を構成する単位受光素子を２次元状に配置して形成された撮像デバイスと撮像レンズの間に、前記撮像レンズの光軸に対して所定の等しい傾斜角度で傾斜した２枚の平行透明板を設け、この平行透明板を、前記撮像レンズの光軸を軸として回転させて、前記各単位受光素子に対して、同一被写体の異なる画像部位からの光を入射させて、前記単位受光素子により前記２枚の平行透明板の所定の回転角度毎に異なる画像情報を順に取得し、取得した各画像を合成して一つの画像を得る画像高精細化方法において、
   前記２枚の平行透明板がない場合に、前記撮像レンズにより前記撮像デバイス表面に入射する前記異なる画像部位からの光が入射する位置であって、前記単位受光素子間の間隔をｐとすると一辺が３ｐ／４の正方形の頂点の位置と、前記頂点間を３等分した位置、及び前記頂点間を３等分した位置同士を前記正方形の各辺と平行に結んで前記各辺の内側に形成される４箇所の交点の位置の１６箇所への入射光について、
   前記２枚の平行透明板を通過させ、前記撮像レンズの光軸を軸として前記２枚の平行透明板を回転させて、前記各位置から変移させて、前記内側に形成される４箇所の位置のうちの１箇所を前記単位受光素子の位置として、その他の位置に入射する前記入射光を前記単位受光素子に順次受光させ、
   前記撮像デバイスで順次取得した前記１５箇所の変移画像と、前記２枚の平行透明板を通過させて前記変移のない１箇所の画像とを合成して一つの画像を得ることを特徴とする画像高精細化方法。
3. ディジタルカメラに設けられ個々の画素を構成する単位受光素子を２次元状に配置し形成した撮像デバイスと、この撮像デバイスに対して所定の等しい傾斜角度で傾斜して各々配置された２枚の平行透明板と、この平行透明板を各々独立に、前記撮像デバイス表面に対して直交する軸を中心に回転させる駆動装置とにより構成され、前記駆動装置を制御して前記平行透明板を介して、前記撮像デバイスに同一被写体の異なる画像を入射させ、前記各単位受光素子に高解像度の画像情報を得る撮像装置において、
   前記駆動装置は、前記２枚の平行透明板をそれぞれ独立に回転させる回転機構と、この機構を回転させるモータと、このモータを制御するソフトウェア制御装置とにより構成され、
   前記ソフトウェア制御装置は、前記回転機構を制御して、前記２枚の平行透明板がない場合に、前記撮像レンズにより前記撮像デバイス表面に入射する前記異なる画像部位からの光が入射する位置であって、前記各単位受光素子を中心として、前記単位受光素子間の間隔をｐとすると、一辺が２（２^１／２）ｐ／３又は２ｐ／３の正方形の頂点及び前記頂点間の中点の位置へ各々入射する前記異なる画像部位からの８箇所の入射光を、前記２枚の平行透明板を通過させて前記撮像デバイス表面に入射させ、前記撮像レンズの光軸を軸として前記２枚の平行透明板を回転させて、前記各位置から変移させ、前記撮像デバイスで順次取得した前記８箇所の変移画像と、前記２枚の平行透明板を通過させて前記変移のない１箇所の画像とを得ることを特徴とする撮像装置。
4. ディジタルカメラに設けられ個々の画素を構成する単位受光素子を２次元状に配置し形成した撮像デバイスと、この撮像デバイスに対して所定の等しい傾斜角度で傾斜して各々配置された２枚の平行透明板と、この平行透明板を各々独立に、前記撮像デバイス表面に対して直交する軸を中心に回転させる駆動装置とにより構成され、前記駆動装置を制御して前記平行透明板を介して、前記撮像デバイスに同一被写体の異なる画像を入射させ、前記各単位受光素子に高解像度の画像情報を得る撮像装置において、
   前記駆動装置は、前記２枚の平行透明板をそれぞれ独立に回転させる回転機構と、この機構を回転させるモータと、このモータを制御するソフトウェア制御装置とにより構成され、
   前記ソフトウェア制御装置は、前記回転機構を制御して、前記２枚の平行透明板がない場合に、前記撮像レンズにより前記撮像デバイス表面に入射する前記異なる画像部位からの光が入射する位置であって、前記単位受光素子間の間隔をｐとすると一辺が３ｐ／４の正方形の頂点の位置と、前記頂点間を３等分した位置、及び前記頂点間を３等分した位置同士を前記正方形の各辺と平行に結んで前記各辺の内側に形成される４箇所の交点の位置の１６箇所への入射光について、
   前記２枚の平行透明板を通過させ、前記撮像レンズの光軸を軸として前記２枚の平行透明板を回転させて、前記各位置から変移させ、前記内側に形成される４箇所の位置のうちの１箇所を前記単位受光素子の位置として、前記単位受光素子の位置及びその他の位置に入射する入射光を、前記各入射光を素子に順次受光させることを特徴とする撮像装置。

Images