JP4455156B2 - 撮像装置 - Google Patents

Description

本発明は、複数の撮像素子を用いて解像度を高めた撮像装置に関する。

限られた画素数の撮像素子（ＣＣＤ等）を用いて解像度を高める手法として、特許文献１及び特許文献２には以下のような提案がなされている。

特許文献１では、偏光板、偏光旋回液晶パネル及び複屈折板からなる画素ずらし部を設け、偏光旋回液晶パネルのオン時とオフ時の画像を互いに半画素ピッチずらして撮像することで、２倍の解像度を有する画像を得るようにしている。しかしながら、上述した手法では、偏光旋回液晶パネルのオン時とオフ時の２つの画像を用いるだけであるため、２倍の解像度を有する画像しか得られず、より高解像度の画像を得ることは困難である。また、上述した手法では、画素ずらし部の被写体側に設けた偏光板によって光量が半分に低下するため、被写体からの入射光を有効に利用することができない。

特許文献２では、２分割プリズムを用いて画像光を２つに分割するとともに、２つの撮像素子を空間的に半画素ピッチずらして配置することで、２倍の解像度を有する画像を得るようにしている。しかしながら、上述した手法では、２つの撮像素子によって２倍の解像度を有する画像を得るようにしているだけであり、より高解像度の画像を得ることは困難である。
特公平６−９１６０１号公報 特開平５−１３７１４８号公報

このように、従来の撮像装置では、高解像度の画像を得ることが困難であるといった
問題や、被写体からの入射光を有効に利用することができないといった問題があった。

本発明は、上記従来の課題に対してなされたものであり、高解像度化や入射光の有効利用をはかることが可能な撮像装置を提供することを目的としている。

本発明に係る撮像装置は、撮像光学系によって結像した被写体像を撮像して映像信号を出力する撮像装置であって、前記撮像光学系によって結像される被写体像からの光線に対し、偏光方向に基づいて一方の光線をシフトし且つ他方の光線をシフトしない２つの状態を生じさせる複屈折板と、前記複屈折板からの透過光の偏光方向を旋回可能な液晶パネルと、からなる光線シフト手段と、前記光線シフト手段からの光線シフトする光線と光線シフトしない光線の両方に対して偏光方向に基づいて反射又は透過させることで２つの水平と垂直の両方向に相対的にずれた光路に分離する光線分離手段と、前記光線分離手段で２つの光路に分離された光線の各像をそれぞれ撮像する水平又は垂直のいずれか一方に相対的にずらして配置してなる２つの撮像手段と、前記液晶パネルが前記撮像手段の撮像タイミングに同期して前記透過光の偏光方向を９０度旋回させる状態と旋回させない状態とに切り換えるよう制御するタイミング制御手段とを備えたことを特徴とする。

前記撮像装置において、前記光線シフト手段から出射された光線が有する２つの偏光方向は、Ｐ偏光及びＳ偏光であることが好ましい。

前記撮像装置において、前記光線シフト手段と前記光線分離手段との間に、前記液晶パネルが前記透過光の偏光方向を９０度旋回させる状態と旋回させない状態とに切り換えるタイミングに対応して前記光線シフト手段からの光線を遮断するシャッタ手段をさらに備えていることが好ましい。

前記撮像装置において、前記液晶パネルが前記透過光の偏光方向を９０度旋回させる状態において前記２つの撮像手段で撮像した画像と、前記液晶パネルが前記透過光の偏光方向を９０度旋回させない状態において前記２つの撮像手段で撮像した画像とを合成した画像の映像信号を生成する画像処理手段をさらに備え、前記画像処理手段によって生成された映像信号に基づく画像の解像度は、前記２つの撮像手段それぞれの解像度の４倍であることが好ましい。

前記撮像装置において、前記撮像手段で撮像された被写体像が所定時間内に所定量以上移動するものか否かを検出する検出手段と、前記検出手段で前記被写体像が所定時間内に所定量以上移動することが検出された場合に、前記液晶パネルが前記透過光の偏光方向を９０度旋回させる状態と旋回させない状態のいずれか一方の状態において前記２つの撮像手段で撮像された画像のみに基づいて映像信号を生成する画像処理手段と、をさらに備えていることが好ましい。

前記撮像装置において、前記撮像手段により所定時間の間隔を隔てて撮像された２つの画像間の相関を検出する検出手段と、前記検出手段で検出された相関が所定値よりも低い場合に、前記液晶パネルが前記透過光の偏光方向を９０度旋回させる状態と旋回させない状態のいずれか一方の状態において前記２つの撮像手段で撮像された画像のみに基づいて映像信号を生成する画像処理手段と、をさらに備えていることが好ましい。

前記撮像装置において、前記画像処理手段は、前記液晶パネルが前記透過光の偏光方向を９０度旋回させる状態と旋回させない状態のいずれか一方の状態において前記２つの撮像手段で撮像された画像に対して補間処理を行うことにより、前記液晶パネルが前記透過光の偏光方向を９０度旋回させる状態と旋回させない状態の２つの状態において前記２つの撮像手段で撮像された場合の画像の画素数と同じ画素数の画像を出力することが好ましい。

本発明によれば、光線シフト手段と光線分離手段とによって画素ずらしを行うことにより、高解像度の画像を得ることができるとともに被写体からの入射光を有効に活用することが可能となり、品質に優れた高解像度の画像を撮像することが可能となる。

以下、本発明の実施形態を図面を参照して説明する。

（実施形態１）
図１は、本発明の第１の実施形態に係る撮像装置について、その概略構成を模式的に示した説明図である。

撮像装置の被写体１００側には、撮像光学系１１０、テレセントリック光学部１２０及び波長板（λ／４板）１３０が設けられており、被写体１００からの画像光（自然光）がこれらの撮像光学系１１０、テレセントリック光学部１２０及び波長板１３０を介して光線シフト部２００に入力するようになっている。

光線シフト部２００は、複屈折性を有する複屈折板２１０と、偏光を旋回可能な偏光旋回液晶パネル２２０とによって構成されている。

複屈折板２１０は、複屈折性を有する無色透明の結晶板であり、水晶板やニオブ酸リチウム板等を用いることが可能である。通常は結晶軸が入射面に対して４５度になるように構成されており、入射光の偏光方向に応じて入射光を常光（ｎo）と異常光（ｎe）とに分離する性質を有している。被写体１００からの画像光に含まれるＳ偏光成分は複屈折板２１０でシフトせずに複屈折板２１０を通過し、Ｐ偏光成分は複屈折板２１０によってシフトされる。シフト量は、後述するように撮像素子の１／２画素ピッチ分であり、複屈折板２１０の材質と厚さによってシフト量を決めることができる。

偏光旋回液晶パネル２２０は、ＴＮ（Twisted Nematic）液晶を用いて構成されており、印加電圧のオン・オフによって偏光の旋回を制御できるように構成されている。すなわち、液晶パネル２２０への印加電圧がオフの場合には、Ｐ偏光は９０度旋回してＳ偏光となり、Ｓ偏光は９０度旋回してＰ偏光になる。液晶パネル２２０への印加電圧がオンの場合には、Ｐ偏光は旋回せずにＰ偏光のまま液晶パネル２２０を通過し、同様にＳ偏光も旋回せずにＳ偏光のまま液晶パネル２２０を通過する。図１では、液晶パネル２２０への印加電圧がオフであるときの状態を示している。なお、液晶パネル２２０は、上述した機能を有するものであればよく、強誘電性液晶パネル等を用いることも可能である。

光線シフト部２００からのＳ偏光及びＰ偏光の光線は、シャッタ３１０を介して撮像ユニット４００に入射する。

撮像ユニット４００は、光線分離部として機能するＰＢＳ（偏光ビームスプリッタ）プリズム４１０、偏光板４２１及び４２２、第１の撮像素子（第１のＣＣＤ）４３１及び第２の撮像素子（第２のＣＣＤ）４３２によって構成されている。

光線分離部として機能するＰＢＳプリズム４１０は、偏光分離面４１１に入射した光線に対し、Ｐ偏光を透過し、Ｓ偏光を反射する性質を有している。したがって、光線シフト部２００からのＰ偏光は、ＰＢＳプリズム４１０の偏光分離面４１１を通過し、偏光板４２１を介して第１の撮像素子４３１に入射する。また、光線シフト部２００からのＳ偏光は、ＰＢＳプリズム４１０の偏光分離面４１１で反射し、偏光板４２２を介して第２の撮像素子４３２に入射する。

なお、偏光板４２１（偏光板４２２）は、偏光分離面４１１に入射するＰ偏光（Ｓ偏光）の偏光の純度を高めて（言い換えると、Ｐ偏光（Ｓ偏光）以外の光線を減らして）、第１の撮像素子４３１（第２の撮像素子４３２）で撮像する画像の解像力低下を防止する目的で配置されている。よって、ある程度の解像力低下が許容できる場合、或いは、ＰＢＳプリズム４１０が偏光分離面４１１でＰ偏光とＳ偏光とを分離する性能が十分である場合には、偏光板４２１、偏光板４２２を配置しなくてもよい。

図２は、第１の撮像素子４３１及び第２の撮像素子４３２の位置関係を模式的に示した図であり、図２（Ａ）は平面図、図２（Ｂ）は側面図である。図３は、第１の撮像素子４３１及び第２の撮像素子４３２それぞれの画素配列を示した図である。図４は、第１の撮像素子４３１の画素配列と第２の撮像素子４３２の画素配列との相対的な位置関係を示した図である。

図２（Ａ）及び図４に示すように、第１の撮像素子４３１と第２の撮像素子４３２とは水平方向（横方向）に１／２画素ピッチ分、相対的にずらして配置されている。また、図２（Ｂ）及び図４に示すように、第１の撮像素子４３１と第２の撮像素子４３２とは垂直方向（縦方向）で同じ高さとなるように配置されている。

図５は光線シフト部２００の作用を説明するための図であり、図５（Ａ）は液晶パネル２２０の印加電圧がオフの場合、図５（Ｂ）は液晶パネル２２０の印加電圧がオンの場合を示している。なお、図５（Ａ）及び図５（Ｂ）では、説明の都合上、第１の撮像素子４３１及び第２の撮像素子４３２をずらして描いているが、第１の撮像素子４３１と第２の撮像素子４３２とは光学的に共役な位置関係にあり、第１の撮像素子４３１から被写体１００までの光路長と、第２の撮像素子４３２から被写体１００までの光路長とは互いに等しい。また、ＰＢＳプリズム４１０は簡略化して描いている。

図６は、第１の撮像素子４３１及び第２の撮像素子４３２に入射する画像光（光線）の画像位置について示した図である。図６（Ａ）は液晶パネル２２０の印加電圧がオフの場合、図６（Ｂ）は液晶パネル２２０の印加電圧がオンの場合を示している。

図５（Ａ）に示すように、液晶パネル２２０がオフの場合には、以下の動作が行われる。被写体１００からの画像光のうち、Ｐ偏光成分は複屈折板２１０で垂直方向にシフトされ、Ｓ偏光成分は複屈折板２１０でシフトされずに直進する。その結果、画像位置ｃからの光線と画像位置ｂからの光線の垂直方向（縦方向）の位置は等しくなる。複屈折板２１０からのＰ偏光は液晶パネル２２０でＳ偏光に旋回され、複屈折板２１０からのＳ偏光は液晶パネル２２０でＰ偏光に旋回され、それぞれ光線分離部（ＰＢＳプリズム）４１０に入射する。ＰＢＳプリズム４１０は、偏光分離面においてＰ偏光成分を透過し、Ｓ偏光成分を反射する性質を有しているため、液晶パネル２２０からのＰ偏光は、偏光分離面を通過して第１の撮像素子４３１に入射する。また、液晶パネル２２０からのからのＳ偏光は、ＰＢＳプリズム４１０の偏光分離面で反射して第２の撮像素子４３２に入射する。

第１の撮像素子４３１と第２の撮像素子４３２とは水平方向（横方向）に１／２画素ピッチ分、相対的にずらして配置されているため、液晶パネル２１０がオフの場合には、画素位置ｂからの光線が第１の撮像素子４３１の各画素の中心に入射し、画素位置ｃからの光線が第２の撮像素子４３２の各画素の中心に入射する。その結果、図６（Ａ）に示すように、第１の撮像素子４３１及び第２の撮像素子４３２には、水平方向及び垂直方向ともに互いに１／２画素ピッチ分ずれた画像が結像されることとなる。

図５（Ｂ）に示すように、液晶パネル２２０がオンの場合には、以下の動作が行われる。被写体１００からの画像光のうち、Ｐ偏光成分は複屈折板２１０で垂直方向にシフトされ、Ｓ偏光成分は複屈折板２１０でシフトされずに直進する。その結果、画像位置ａからの光線と画像位置ｄからの光線の垂直方向（縦方向）の位置は等しくなる。複屈折板２１０からのＰ偏光及びＳ偏光はいずれも、液晶パネル２２０で旋回されることなく液晶パネル２２０を通過し、光線分離部（ＰＢＳプリズム）４１０に入射する。液晶パネル２２０からのＰ偏光は、ＰＢＳプリズム４１０の偏光分離面を通過して第１の撮像素子４３１に入射し、液晶パネル２２０からのからのＳ偏光は、ＰＢＳプリズム４１０の偏光分離面で反射して第２の撮像素子４３２に入射する。

したがって、液晶パネル２１０がオンの場合には、画素位置ａからの光線が第１の撮像素子４３１の各画素の中心に入射し、画素位置ｄからの光線が第２の撮像素子４３２の各画素の中心に入射する。その結果、図６（Ｂ）に示すように、第１の撮像素子４３１及び第２の撮像素子４３２には、水平方向及び垂直方向ともに互いに１／２画素ピッチ分ずれた画像が結像されることとなる。

以上の説明からわかるように、液晶パネル２２０のオン・オフに応じて、図６（Ａ）に示したような撮像状態と図６（Ｂ）に示したような撮像状態とを得ることができる。したがって、第１の撮像素子４３１及び第２の撮像素子４３２の撮像タイミングに同期して、液晶パネル２２０のオン・オフを時間的に交互に切り換えることで、図６（Ａ）に示した撮像状態と図６（Ｂ）に示した撮像状態とを時間軸方向で合成することができる。その結果、図７に示すような合成された撮像状態を実現することが可能となる。すなわち、光線分離手段４１０、第１の撮像素子４３１及び第２の撮像素子４３２からなる撮像ユニット４００において水平方向の画素ずらしが行われ、複屈折板２１０及び偏光旋回液晶パネル２２０からなる光線シフト部２００において垂直方向の画素ずらしが行われ、図７に示すような４点画素ずらしの撮像状態を実現することが可能となる。

なお、図１に示した構成では、撮像光学系１１０と光線シフト手段２００の間にテレセントリック光学部１２０を配置しているが、テレセントリック光学部１２０を設けることにより、以下のようなメリットがある。ＣＣＤ等の撮像素子は、入射光の入射角度に依存した感度特性を有しており、入射面に垂直に光線が入射することが望ましい。また、ＰＢＳプリズムも、入射面に垂直に光線が入射する（偏光分離面に対して４５度の角度で光線が入射する）ことが、偏光分離特性の観点から望ましい。したがって、テレセントリック光学部１２０を設けて被写体像の光線を略平行光にすることにより、ＰＢＳプリズム４１０や撮像素子４３１、４３２の入射面に対して垂直な光線を入射させることができ、撮像装置の性能を向上させることが可能となる。なお、テレセントリック光学部１２０を撮像光学系１１０とは別に設けず、撮像光学系１１０自体にテレセントリックな特性を持たせるようにしてもよい。

また、図１に示した構成では、撮像光学系１１０と光線シフト手段の間に波長板（λ／４板）１３０を配置しているが、波長板（λ／４板）１３０を設けることにより、以下のようなメリットがある。被写体によっては、画像光の偏光成分に偏りがある場合がある。このよう場合には、光線シフト部でシフトする光線とシフトしない光線との間で光量の偏りが生じ、光量むらによって適正な画像を得ることができなくなる。波長板（λ／４板）１３０を設けることにより、このような光量むらを低減することができ、撮像装置の性能を向上させることが可能となる。

また、図１に示した構成では、光線シフト部２００と撮像ユニット４００との間にシャッタ３１０を配置しているが、シャッタ３１０を設けることにより、以下のようなメリットがある。液晶パネル２２０のオン・オフを切り換える過渡的なタイミングでは、図５（Ａ）に示したような状態と図５（Ｂ）に示したような状態とが混在するため、適正な光線を撮像ユニット４００に供給することが困難である。シャッタ３１０を設け、液晶パネル２２０のオン・オフを切り換えるタイミング、すなわち液晶パネルで偏光方向を９０度旋回させる状態と旋回させない状態とを切り換えるタイミングに対応させてシャッタを遮断状態にすることで、上述したような状態を回避させることができ、撮像装置の性能を向上させることが可能となる。

図８は、図７に示したような４点画素ずらしの撮像状態を実現するための構成を示したブロック図である。

タイミング制御部５１０は、偏光旋回液晶パネル２２０のオン・オフの切り換えタイミングと、撮像素子４３１及び４３２の撮像タイミングとの同期をとるための制御信号を生じるものである。すなわち、タイミング制御部５１０からの制御信号が液晶パネル駆動回路５２０に送られ、この制御信号によって液晶パネル２２０のオン・オフが切り換えられるとともに、この切り換えタイミングに同期した制御信号がタイミング制御部５１０から第１の撮像素子４３１及び第２の撮像素子４３２に送られ、この制御信号によって撮像動作が行われる。

また、タイミング制御部５１０からの制御信号により、第１フィールド（１フレームの前半のフィールド）では、画像位置ｂ及び画像位置ｃ（或いは、画像位置ａ及び画像位置ｄ）の画像が第１の撮像素子４３１及び第２の撮像素子４３２によって撮像され、第２フィールド（１フレームの後半のフィールド）では、画像位置ａ及び画像位置ｄ（或いは、画像位置ｂ及び画像位置ｃ）の画像が第１の撮像素子４３１及び第２の撮像素子４３２によって撮像される。このようにして得られた撮像信号は、記憶部５３０に送られて記憶される。

記憶部５３０内に記憶された撮像信号（撮像データ）は、画像処理部５４０により図７に示したような１フレーム分の画像として合成され、合成された１フレーム分の画像が映像信号として画像記録部５５０に記録される。このようにして、４点画素ずらしの撮像画像を得ることができる。

以上述べたように、本実施形態では、光線分離手段４１０、第１の撮像素子４３１及び第２の撮像素子４３２からなる撮像ユニット４００において水平方向の画素ずらしが行われ、複屈折板２１０及び偏光旋回液晶パネル２２０からなる光線シフト部２００において垂直方向の画素ずらしが行われる。すなわち、第１の撮像素子４３１及び第２の撮像素子４３２の幾何学的な位置関係によって水平方向の画素ずらしが行われ、光線シフト部２００における光線シフト動作の時間的な切り換えによって垂直方向の画素ずらしが行われる。その結果、図７に示すような４点画素ずらしの撮像画像が得られる。このように、幾何学的な位置関係に基づく画素ずらしと、時間的な切り換え動作に基づく画素ずらしとを組み合わせることにより、被写体からの入射光が有効に活用されて光強度を確保できるとともに、高解像度の画像を得ることが可能となる。したがって、本実施形態によれば、品質に優れた高解像度の画像を撮像することが可能となる。

また、本実施形態では、図６に示すように、第１フィールドの画像位置方向（図６（ａ）参照）と第２フィールドの画像位置方向（図６（ｂ）参照）とが、互いにクロスするような関係になっている。そのため、撮像画像の時間的及び空間的な偏りが少なく、この点においても画像品質の向上がはかられる。

（実施形態２）
図９は、本発明の第２の実施形態に係る撮像装置について、その概略構成を模式的に示した説明図である。本実施形態は、第１の実施形態で示した撮像装置の原理を利用して、撮像装置のカラー化を実現するものである。なお、図１等に示した第１の実施形態の構成要素と対応する構成要素については同一の参照符号を付し、それらの詳細な説明は省略する。

図１に示した例と同様に、光線シフト部２００からのＰ偏光及びＳ偏光が撮像ユニット４００に入射すると、Ｐ偏光は光線分離部（ＰＢＳプリズム）４１０の偏光分離面４１１を通過し、Ｓ偏光は偏光分離面４１１で反射する。

光線分離部４１０からのＰ偏光は、ダイクロイックプリズムで構成された色分離部４４１に入射する。色分離部４４１では、Ｐ偏光の画像光を赤（Ｒ）光、緑（Ｇ）光及び青（Ｂ）光に分離する。色分離部４４１の出射面側には、第１の撮像素子として、撮像素子（ＣＣＤ）４５１Ｒ、撮像素子（ＣＣＤ）４５１Ｇ及び撮像素子（ＣＣＤ）４５１Ｂが設けられており、Ｒ光は撮像素子４５１Ｒに、Ｇ光は撮像素子４５１Ｇに、Ｂ光は撮像素子４５１Ｂに、それぞれ結像する。

光線分離部４１０からのＳ偏光は、ダイクロイックプリズムで構成された色分離部４４２に入射する。色分離部４４２の出射面側には、第２の撮像素子として、撮像素子（ＣＣＤ）４５２Ｒ、撮像素子（ＣＣＤ）４５２Ｇ及び撮像素子（ＣＣＤ）４５２Ｂが設けられており、Ｒ光は撮像素子４５２Ｒに、Ｇ光は撮像素子４５２Ｇに、Ｂ光は撮像素子４５２Ｂに、それぞれ結像する。

撮像素子４５１Ｒと撮像素子４５２Ｒとの光学的な位置関係、撮像素子４５１Ｇと撮像素子４５２Ｇとの光学的な位置関係、及び撮像素子４５１Ｂと撮像素子４５２Ｂとの光学的な位置関係は、第１の実施形態で示した撮像素子４２１と撮像素子４２２との光学的な位置関係と同様になっている。したがって、第１の実施形態と同様に、光線シフト部２００及び撮像ユニット４００によって４点画素ずらしを実現することができる。

このように、本実施形態においても、第１の実施形態と同様、幾何学的な位置関係に基づく画素ずらしと、時間的な切り換え動作に基づく画素ずらしとを組み合わせることにより、品質に優れた高解像度の画像を撮像することが可能となる。

なお、図９に示した例では、図１に示したテレセントリック光学部１２０、波長板（λ／４板）１３０及びシャッタ３１０、偏光板４２１及び４２２は省略しているが、図１に示した例と同様にこれらの構成要素を設けてもよい。

（実施形態３）
図１０は、本発明の第３の実施形態に係る撮像装置について、その概略構成を模式的に示した説明図である。本実施形態も、第１の実施形態で示した撮像装置の原理を利用して、撮像装置のカラー化を実現するものである。なお、図１等に示した第１の実施形態の構成要素と対応する構成要素については同一の参照符号を付し、それらの詳細な説明は省略する。

図１に示した例と同様に、光線シフト部２００からのＰ偏光及びＳ偏光が撮像ユニット４００に供給されると、Ｐ偏光及びＳ偏光ともにダイクロイックプリズムで構成された色分離部４６０に入射する。色分離部４６０では、Ｐ偏光及びＳ偏光の画像光を赤（Ｒ）光、緑（Ｇ）光及び青（Ｂ）光に分離する。色分離部４６０の出射面側には、ＰＢＳプリズムで構成された光線分離部４７０Ｒ、４７０Ｇ及び４７０Ｂが設けられており、それぞれＲ光、Ｇ光及びＢ光が入射する。

光線分離部４７０Ｒでは、Ｐ偏光は光線分離部４７０Ｒの偏光分離面４７１Ｒを通過し、Ｓ偏光は偏光分離面４７１Ｒで反射する。偏光分離面４７１Ｒを通過したＰ偏光は撮像素子（第１の撮像素子）４８１Ｒに結像し、偏光分離面４７１Ｒで反射したＳ偏光は撮像素子（第２の撮像素子）４８２Ｒに結像する。光線分離部４７０Ｇ及び光線分離部４７０Ｂでも同様の動作が行われる。すなわち、偏光分離面４７１Ｇを通過したＰ偏光は撮像素子（第１の撮像素子）４８１Ｇに結像し、偏光分離面４７１Ｇで反射したＳ偏光は撮像素子（第２の撮像素子）４８２Ｇに結像する。同様に、偏光分離面４７１Ｂを通過したＰ偏光は撮像素子（第１の撮像素子）４８１Ｂに結像し、偏光分離面４７１Ｂで反射したＳ偏光は撮像素子（第２の撮像素子）４８２Ｂに結像する。

撮像素子４８１Ｒと撮像素子４８２Ｒとの光学的な位置関係、撮像素子４８１Ｇと撮像素子４８２Ｇとの光学的な位置関係、及び撮像素子４８１Ｂと撮像素子４８２Ｂとの光学的な位置関係は、第１の実施形態で示した撮像素子４２１と撮像素子４２２との光学的な位置関係と同様になっている。したがって、第１の実施形態と同様に、光線シフト部２００及び撮像ユニット４００によって４点画素ずらしを実現することができる。

このように、本実施形態においても、第１の実施形態と同様、幾何学的な位置関係に基づく画素ずらしと、時間的な切り換え動作に基づく画素ずらしとを組み合わせることにより、品質に優れた高解像度の画像を撮像することが可能となる。

なお、図１０に示した例では、図１に示したテレセントリック光学部１２０、波長板（λ／４板）１３０及びシャッタ３１０、偏光板４２１及び４２２は省略しているが、図１に示した例と同様にこれらの構成要素を設けてもよい。

（実施形態４）
本実施形態は、上述した各実施形態で説明した撮像装置における画像処理に関するものである。以下、図１１及び図１２を参照して、本実施形態の説明を行う。

図１１は、本実施形態の概略構成を示したブロック図である。

撮像部６１０は、例えば図１に示した撮像ユニット４００中の撮像素子４３１及び４３２に対応する。１フレームの前半の第１フィールドで得られた撮像信号は撮像部６１０から第１のフィールドメモリ６２１に送られ、１フレームの後半の第２フィールドで得られた撮像信号は撮像部６１０から第２のフィールドメモリ６２２に送られ、それぞれ記憶される。すなわち、第１のフィールドメモリ６２１には図６（Ａ）に示したような画像位置の撮像信号が記憶され、第２のフィールドメモリ６２２には図６（Ｂ）に示したような画像位置の撮像信号が記憶される。もちろん、第１のフィールドメモリ６２１に図６（Ｂ）に示したような画像位置の撮像信号が記憶され、第２のフィールドメモリ６２２に図６（Ａ）に示したような画像位置の撮像信号が記憶されるようにしてもよい。

検出部６３０では、第１のフィールドメモリ６２１及び第２のフィールドメモリ６２２に記憶された撮像データを用いて、後述するような動き検出処理及び相関検出処理を行う。画像処理部６４０では、検出部６３０によって得られた動き検出処理結果及び相関検出処理結果に基づき、補間処理等の後述する所定の画像処理を行う。画像処理部６４０で画像処理がなされた画像データはフレームメモリ６５０に送られ、図７に示したような画像位置の撮像データがフレームメモリ６５０に記憶され、さらにフレームメモリ６５０からの撮像データが画像記録部６６０に記憶される。

以下、本実施形態の動作について、図１２に示したフローチャートを参照して詳細に説明する。

まず、第２のフィールドメモリ６２２に記憶されているフィールド画像を、Ｎ×Ｎ画素（例えば１６×１６画素）で構成された複数の動き検出ブロックに分割する。分割された複数の動き検出ブロックから順次動き検出ブロックを抽出し、Ｎ×Ｎ画素の動き検出ブロックを包含するようなＭ×Ｍ画素（例えば３２×３２画素）のサーチエリアを順次第１のフィールドメモリ６２１から抽出する（Ｓ１）。

次に、Ｍ×Ｍ画素のサーチエリアにおいて、Ｎ×Ｎ画素の動き検出ブロックに対するパターンマッチング処理を行い、動き検出ブロックに対して相関が最も高い領域をサーチエリアから抽出することで、平行移動量（動きベクトルの大きさ）及びパターンマッチングの誤差量を算出する（Ｓ２）。

なお、動きベクトルは、画素ピッチの整数分の１（例えば、１／２或いは１／４）の精度で算出するようにしてもよい。具体的には、以下の通りである。まず、Ｎ×Ｎ画素の動き検出ブロック及びＭ×Ｍ画素のサーチエリアに対して、欠落画素の画像データを補間処理によって求める。続いて、スプライン補間等の処理を行い、画素間の整数分の１ピッチ位置の画像データを算出する。さらに算出された整数分の１ピッチ位置の画像データを用いてパターンマッチング処理を行うことで、平行移動量（動きベクトルの大きさ）及びパターンマッチング誤差量を算出する。

また、動きベクトルを算出する際に、間違った動きベクトルが算出される場合がある。このような場合には、以下のような処理を行えばよい。まず、対象としている動き検出ブロックとその周辺のブロックとの間で差分ベクトルを求め、差分ベクトルの値が所定値よりも大きい場合には、間違った動きベクトルであると判定する。続いて、対象としている動き検出ブロックの周辺ブロックの動きベクトルを用いて補間処理を行うことで、対象としている動き検出ブロックに対する動きベクトルとパターンマッチング誤差量とを決定する。

次に、Ｓ２のステップで算出された平行移動量（動きベクトルの大きさ）及びパターンマッチング誤差量を画像処理部６４０に入力し、以下に示すＳ３〜Ｓ８のステップを実行する。

まず、パターンマッチング誤差量が、所定の閾値Ａ以下であるか否かを判断する（Ｓ３）。パターンマッチング誤差量が閾値Ａ以下であると判断された場合には、平行移動量（動きベクトルの大きさ）が所定の閾値Ｂ以下であるか否かを判断する（Ｓ４）。Ｓ３のステップにおいてパターンマッチング誤差量が閾値Ａ以下でないと判断された場合、或いはＳ４のステップにおいて平行移動量（動きベクトルの大きさ）が所定の閾値Ｂ以下でないと判断された場合には、Ｓ５のステップに進む。

パターンマッチング誤差量が閾値Ａ以下でない場合は、画像間の相関が低いことを意味するため、フィールド間相関を用いた補間処理を行うことができない。また、平行移動量（動きベクトルの大きさ）が所定の閾値Ｂ以下でない場合は、対象物が高速で移動していることを意味するため、フィールド間相関を用いた高精度の補間処理を行う必要がない。そのため、Ｓ５のステップでは、単一フィールド（同一フィールド）内のみで補間処理を行い、欠落画素の画像データを算出する。具体的には、第２フィールドのＮ×Ｎ画素領域における欠落画素の画像データを補間処理によって算出することで、Ｎ×Ｎ画素領域のフレーム画像を作成する。このようにして補間処理（画像処理）がなされたＮ×Ｎ画素領域のフレーム画像の画像データは、フレームメモリ６５０に順次送られ、図７に示したような画像位置の画像データがフレームメモリ６５０に記憶される（Ｓ５）。

Ｓ４のステップにおいて平行移動量（動きベクトルの大きさ）が所定の閾値Ｂ以下であると判断された場合には、平行移動量がゼロであるか否かが判断される（Ｓ６）。

Ｓ６のステップで、平行移動量（動きベクトルの大きさ）がゼロでないと判断された場合には、フィールド間相関を用いた補間処理を行う。すなわち、第２フィールドの欠落画素の画像データを、動きベクトルの値及び第１フィールドの画像データを用いて補間処理によって算出する。具体的には、第２フィールドのＮ×Ｎ画素領域における欠落画素の画像データを第１フィールドの画像データを用いて算出することで、Ｎ×Ｎ画素領域のフレーム画像を作成する。このようにして補間処理（画像処理）がなされたＮ×Ｎ画素領域のフレーム画像の画像データは、フレームメモリ６５０に順次送られ、図７に示したような画像位置の画像データがフレームメモリ６５０に記憶される（Ｓ７）。

Ｓ６のステップで、平行移動量（動きベクトルの大きさ）がゼロであると判断された場合には、補間処理は行わず、第１フィールド及び第２フィールドのＮ×Ｎ画素領域を互いに重ね合わせ、第１フィールド及び第２フィールドそれぞれの欠落画素を互いに埋めるような処理を行う。このような処理がなされたＮ×Ｎ画素領域のフレーム画像の画像データは、フレームメモリ６５０に順次送られ、図７に示したような画像位置の画像データがフレームメモリ６５０に記憶される（Ｓ８）。

以上のようにしてフレームメモリ６５０に記憶されたフレーム画像は、画像記録部６６０に送られる。画像記録部６６０では、画像データに所定の画像圧縮処理（例えば、ＪＰＥＧ処理や可逆圧縮処理等）を施し、画像圧縮処理が施された画像データを記録媒体等に記録する。

なお、第１フィールド及び第２フィールドそれぞれの画像位置（画素位置）は、図６（Ａ）及び図６（Ｂ）に示すように、サブナイキストサンプリング位置となっており、斜め方向の空間周波数は半分に落ちるが、水平及び垂直方向の空間解像度は維持される。そのため、空間周波数の再現レベルが最も低い場合（Ｓ５のステップに対応）であっても、フィールド内のエッジに適応して補間処理を行うことにより、解像度の低下を最小限に抑えることが可能である。

以上のように、本実施形態においても、第１の実施形態と同様、幾何学的な位置関係に基づく画素ずらしと、時間的な切り換え動作に基づく画素ずらしとを組み合わせることにより、品質に優れた高解像度の画像を撮像することが可能となる。また、画像の動き（被写体の動き）に応じた画像処理を行うことで、画像の動きに応じた適切な画像を取得することが可能となる。

以上、本発明の実施形態を説明したが、本発明は上記実施形態に限定されるものではなく、その趣旨を逸脱しない範囲内において種々変形して実施することが可能である。さらに、上記実施形態には種々の段階の発明が含まれており、開示された構成要件を適宜組み合わせることによって種々の発明が抽出され得る。例えば、開示された構成要件からいくつかの構成要件が削除されても、所定の効果が得られるものであれば発明として抽出され得る。

本発明の第１の実施形態に係る撮像装置について、その概略構成を模式的に示した説明図である。 本発明の第１の実施形態に係り、撮像素子の位置関係を模式的に示した図である。 本発明の第１の実施形態に係り、撮像素子の画素配列を示した図である。 本発明の第１の実施形態に係り、撮像素子の画素配列の相対的な位置関係を示した図である。 本発明の第１の実施形態に係り、光線シフト部の作用を説明するための図である。 本発明の第１の実施形態に係り、撮像素子に入射する光線の画像位置について示した図である。 本発明の第１の実施形態に係り、合成された撮像画像の位置関係について示した図である。 本発明の第１の実施形態に係る撮像装置について、その電気的な構成を示したブロック図である。 本発明の第２の実施形態に係る撮像装置について、その概略構成を模式的に示した説明図である。 本発明の第３の実施形態に係る撮像装置について、その概略構成を模式的に示した説明図である。 本発明の第４の実施形態に係る撮像装置について、その概略構成を示したブロック図である。 本発明の第４の実施形態に係る撮像装置について、その動作を示したフローチャートである。

符号の説明

１００…被写体 １１０…撮像光学系
１２０…テレセントリック光学部 １３０…波長板（λ／４板）
２００…光線シフト部 ２１０…複屈折板
２２０…偏光旋回液晶パネル ３１０…シャッタ
４００…撮像ユニット ４１０…光線分離部（ＰＢＳプリズム）
４１１…偏光分離面 ４２１、４２２…偏光板
４３１、４３２…撮像素子 ４４１、４４２…色分離部
４５１Ｒ、４５１Ｇ、４５１Ｂ、４５２Ｒ、４５２Ｇ、４５２Ｂ…撮像素子
４６０…色分離部
４７０Ｒ、４７０Ｇ、４７０Ｂ…光線分離部（ＰＢＳプリズム）
４７１Ｒ、４７１Ｇ、４７１Ｂ…偏光分離面
４８１Ｒ、４８１Ｇ、４８１Ｂ、４８２Ｒ、４８２Ｇ、４８２Ｂ…撮像素子
５１０…タイミング制御部 ５２０…液晶パネル駆動回路
５３０…記憶部 ５４０…画像処理部
５５０…画像記録部
６１０…撮像部 ６２１、６２２…フィールドメモリ
６３０…検出部 ６４０…画像処理部
６５０…フレームメモリ ６６０…画像記録部

Claims (7)

1. 撮像光学系によって結像した被写体像を撮像して映像信号を出力する撮像装置であって、
   前記撮像光学系によって結像される被写体像からの光線に対し、偏光方向に基づいて一方の光線をシフトし且つ他方の光線をシフトしない２つの状態を生じさせる複屈折板と、前記複屈折板からの透過光の偏光方向を旋回可能な液晶パネルと、からなる光線シフト手段と、
   前記光線シフト手段からの光線シフトする光線と光線シフトしない光線の両方に対して偏光方向に基づいて反射又は透過させることで２つの水平と垂直の両方向に相対的にずれた光路に分離する光線分離手段と、
   前記光線分離手段で２つの光路に分離された光線の各像をそれぞれ撮像する水平又は垂直のいずれか一方に相対的にずらして配置してなる２つの撮像手段と、
   前記液晶パネルが前記撮像手段の撮像タイミングに同期して前記透過光の偏光方向を９０度旋回させる状態と旋回させない状態とに交互に切り換えるよう制御するタイミング制御手段と、
   を備えたことを特徴とする撮像装置。
2. 前記光線シフト手段から出射された光線が有する２つの偏光方向は、Ｐ偏光及びＳ偏光である
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記光線シフト手段と前記光線分離手段との間に、前記液晶パネルが前記透過光の偏光方向を９０度旋回させる状態と旋回させない状態とに切り換えるタイミングに対応して前記光線シフト手段からの光線を遮断するシャッタ手段をさらに備えた
   ことを特徴とする請求項１に記載の撮像装置。
4. 前記液晶パネルが前記透過光の偏光方向を９０度旋回させる状態において前記２つの撮像手段で撮像した画像と、前記液晶パネルが前記透過光の偏光方向を９０度旋回させない状態において前記２つの撮像手段で撮像した画像とを合成した画像の映像信号を生成する画像処理手段をさらに備え、
   前記画像処理手段によって生成された映像信号に基づく画像の解像度は、前記２つの撮像手段それぞれの解像度の４倍である
   ことを特徴とする請求項１に記載の撮像装置。
5. 前記撮像手段で撮像された被写体像が所定時間内に所定量以上移動するものか否かを検出する検出手段と、
   前記検出手段で前記被写体像が所定時間内に所定量以上移動することが検出された場合に、前記液晶パネルが前記透過光の偏光方向を９０度旋回させる状態と旋回させない状態のいずれか一方の状態において前記２つの撮像手段で撮像された画像のみに基づいて映像信号を生成する画像処理手段と、
   をさらに備えたことを特徴とする請求項１に記載の撮像装置。
6. 前記撮像手段により所定時間の間隔を隔てて撮像された２つの画像間の相関を検出する検出手段と、
   前記検出手段で検出された相関が所定値よりも低い場合に、前記液晶パネルが前記透過光の偏光方向を９０度旋回させる状態と旋回させない状態のいずれか一方の状態において前記２つの撮像手段で撮像された画像のみに基づいて映像信号を生成する画像処理手段と、
   をさらに備えたことを特徴とする請求項１に記載の撮像装置。
7. 前記画像処理手段は、前記液晶パネルが前記透過光の偏光方向を９０度旋回させる状態と旋回させない状態のいずれか一方の状態において前記２つの撮像手段で撮像された画像に対して補間処理を行うことにより、前記液晶パネルが前記透過光の偏光方向を９０度旋回させる状態と旋回させない状態の２つの状態において前記２つの撮像手段で撮像された場合の画像の画素数と同じ画素数の画像を出力する
   ことを特徴とする請求項５又は６に記載の撮像装置。

Images