JPWO2007083783A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JPWO2007083783A1
JPWO2007083783A1 JP2007554995A JP2007554995A JPWO2007083783A1 JP WO2007083783 A1 JPWO2007083783 A1 JP WO2007083783A1 JP 2007554995 A JP2007554995 A JP 2007554995A JP 2007554995 A JP2007554995 A JP 2007554995A JP WO2007083783 A1 JPWO2007083783 A1 JP WO2007083783A1
Authority
JP
Japan
Prior art keywords
liquid crystal
optical low
shooting mode
pass filter
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2007554995A
Other languages
English (en)
Other versions
JP4558804B2 (ja
Inventor
孝 増田
孝 増田
正史 清
正史 清
雅彦 本田
雅彦 本田
英俊 久保田
英俊 久保田
健一郎 脇
健一郎 脇
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Acutelogic Corp
Original Assignee
Acutelogic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Acutelogic Corp filed Critical Acutelogic Corp
Publication of JPWO2007083783A1 publication Critical patent/JPWO2007083783A1/ja
Application granted granted Critical
Publication of JP4558804B2 publication Critical patent/JP4558804B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Power Engineering (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Color Television Image Signal Generators (AREA)
  • Blocking Light For Cameras (AREA)
  • Liquid Crystal (AREA)
  • Polarising Elements (AREA)
  • Studio Devices (AREA)

Abstract

光学的ローパスフィルタ２を例えば複屈折板により構成し、光線分離幅を可変制御することで、撮影モードに応じてカットオフ周波数を変えられるようにする。樶像素子５の画素数は、動画の表示解像度に対応する画素数よりも多く設定しておく。静止画撮影モードのときは光線分離幅を狭くすることで、撮像素子５の解像度をなるべくそのまま活かして、偽色の発生をある程度抑制することができるようにする。一方、動画撮影モードのときは光線分離幅を広くすることで、出力画像信号に不要な解像度成分に相当する高周波成分をカットするとともに、静止画撮影モードと比較して偽色の抑制を強く余裕をもって行うことができるようにする。

Description

本発明は、光学的ローパスフィルタおよびこれを用いた撮像装置に関し、特に、像のぼけを利用して高周波成分を除去する光学フィルタに用いて好適なものである。また、１台のカメラで動画と静止画の双方を撮影できるように成されたハイブリッドカメラに用いて好適なものである。
近年、１台のカメラで動画と静止画の双方を撮影できるように成された、いわゆるハイブリッドカメラが提供されている。そして、撮影される動画および静止画の画質を向上させるための工夫が成されている。例えば、殆どのハイブリッドカメラでは、静止画の解像度を高くするために画素数の多い撮像素子が用いられている。また、サンプリングによる偽色（色モアレ）の発生を抑制することも、画質の向上を図る上で重要な要素である。
ここで、偽色が発生する原理について説明する。撮像素子は微小画素の集まりであり、撮像素子で光学像を捉えるということは、画素ピッチの間隔で信号をサンプリングすることに相当する。例えば、フォトダイオード（画素）を正方格子状に配列させた撮像素子において、画素ピッチをｄとすると、サンプリング周波数ｆｓは、ｆｓ＝１／ｄとなる。
このとき、図１に示すように、周波数領域におけるナイキスト周波数（＝ｆｓ／２）よりも大きな周波数領域が実空間での折り返し成分となり、実際には存在しないパターン（偽色）として現れる。すなわち、図１の実線で示すように被写体の空間周波数が撮像素子のナイキスト周波数を越えている場合、被写体に偽色が発生してしまうおそれがある。
このため、通常は、図２に示すように、撮像素子のナイキスト周波数（ｆｓ／２）をカットオフ周波数ｆｃ（＝ｆｓ／２）に設定した光学的ローパスフィルタ（ＯＬＰＦ）を光路中に設け、撮像素子に入射する撮像光をフィルタリングしている（例えば、特許文献１，２参照）。
特開平６−２９２０９３号公報 特許第２５５６８３１号公報
光学的ローパスフィルタは、水晶やニオブ酸リチウムなどを素材とした複屈折板から成り、光の複屈折を利用して高周波成分を除去する光学フィルタである。すなわち、図３に示すように、複屈折板は入射光線を常光線と異常光線とに分離する性質を有しているため、これを撮像素子への結像光路中に配置すると、撮像素子の結像面には、常光線による像と異常光線による像とが重なって二重像が形成される。その結果、複屈折板は、光線分離幅（常光線と異常光線との間隔）の２倍の大きさの波長に相当する空間周波数成分を被写体像の中から除去する光学的ローパスフィルタとして機能することになる。光線分離幅は、複屈折板の厚さに比例するため、二重像の分離幅が撮像素子の画素ピッチとほぼ等しくなるように複屈折板の厚さを定めると、偽色の発生を抑制することができるのである。
ところが、図４のように、正方格子配列された撮像画素上にカラーフィルタがベイヤー配列されている撮像素子の場合、縦横方向のＧ色（緑色）の画素ピッチはｄであるが、Ｒ色（赤色）およびＢ色（青色）の画素ピッチは２ｄとなるから、Ｒ色およびＢ色のナイキスト周波数はｆｓ／４となる（ｆｓ＝１／ｄで、ｆｓはＧ色のサンプリング周波数に相当する）。したがって、偽色の発生を完全に防止するためには、光学的ローパスフィルタのカットオフ周波数ｆｃはｆｓ／４以下に設定するのが好ましい。色の観点からみると、最適な光学的ローパスフィルタの設定は、上記のようになる。
しかしながら、解像度の観点からみると、出力画像の解像感が損なわれるほどまでは、光学的ローパスフィルタの効果を強くすることができない。すなわち、出力画像のサンプリング周波数をＦｓ、画素ピッチをＤ（＝１／Ｆｓ）とした場合、出力画像に充分な解像感を待たせるようにするには、光学的ローパスフィルタのカットオフ周波数ｆｃを少なくともほぼＦｓ／２（＝１／２Ｄ）、またはこの周波数を少し超えるくらいに設定する必要がある。
一般的なベイヤー配列の撮像素子を持ったデジタルカメラでは、撮像素子の画素数と出力画像の画素数とは同程度になっている（そのカメラの最高画質のモードに設定した場合）。この種のデジタルカメラでは、撮像素子の画素ピッチｄと出力画像の画素ピッチＤとが等しくなっている。このようなデジタルカメラでは、光学的ローパスフィルタのカットオフ周波数ｆｃをほぼｆｓ／２（＝１／２ｄ）、またはこの周波数を少し超えるくらいに設定している。
これは、色の観点よりも解像度の観点を重視していることを意味している。この場合、Ｇ色のナイキスト周波数はｆｓ／２なので、Ｇ色の偽色はあまり目立たないが、Ｒ色とＢ色のナイキスト周波数はｆｓ／４なので、Ｒ色とＢ色による偽色は残ってしまう。しかし、このような場合でも、被写体そのものが高周波成分を持たなければ、偽色は発生しない。そのため、一般的なユーザは色より解像度を優先する傾向が強い。一般的なデジタルカメラでは、この傾向に合わせて、上記のように光学的ローパスフィルタのカットオフ周波数ｆｃを設定している。
一般的なデジタルカメラでは色よりも解像度の観点を優先させているが、本出願人は、色の観点と解像度の観点との画者を同時に満たすようなカメラを考案している（例えば、特許文献３参照）。この特許文献３に記載のカメラでは、撮像素子により生成されたＮ個の画素信号から１個の出力画像信号を生成するようにしている。撮像素子の画素ピッチｄと出力画像の画素ピッチＤとの関係は、ｄ＜Ｄとなっている。これにより、光学的ローパスフィルタのカットオフ周波数ｆｃを、色の観点と解像度の観点との両者を満足するように設定することができる。
特願２００４−１５６０８３
一般的に、画質の向上を図る際に、静止画の場合は、高画素数・高解像度であることが強く求められる。これに対し、動画の場合は、高解像度であることが強く求められるが、画素数は規格（ＳＤ規格で３５万画素程度、ＨＤ規格で２０８万画素程度）を満たせば良い。規格に合わせる必要のない静止画向けのカメラの画素数（数百万画素〜一千万画素超）は、動画の規格を満たす画素数に比べてずっと多い。さらに動画撮影用カメラでは、３板式撮像素子を用いることによって偽色の殆ど発生しないカメラが普及しているため、これと同等に偽色の発生を抑制することも強く求められる。しかし、静止画・動画ともに、高解像度が低偽色よりも優先される傾向にある。
一台のカメラで静止画と動画の双方を撮影できるように成されたハイブリッドカメラを作成する場合、静止画と動画の双方に対して同時に適切な周波数特性を光学的ローパスフィルタに設定することができない。上述のように、静止画に最適な光学的ローパスフィルタのカットオフ周波数ｆｃは、ほぼｆｓ／２（＝１／２ｄ）またはこの周波数を少し超えるくらいであり、動画に最適なカットオフ周波数ｆｃはこれよりも低い。
本発明は、このような実情に鑑みて成されたものであり、動画に関しては出力画像の解像度を犠牲にすることなく偽色の発生を効果的に抑制できるようにするとともに、静止画に関しては偽色の発生を極力抑制しつつ解像度を充分に高められるようにすることを目的とする。
上記した課題を解決するために、本発明の光学的ローパスフィルタでは、静止画撮影モードか動画撮影モードかに応じて、撮像素子に結像する像のぼけ具合を可変制御するようにしている。例えば、静止画撮影モードか動画撮影モードかに応じて光線の分離幅を可変制御することにより、静止画撮影モードのときは光線分離幅を第１の幅とすることによって像のぼけ具合を第１の量とし、動画撮影モードのときは光線分離幅を第１の幅よりも広い第２の幅とすることによって像のぼけ具合を第２の量とするようにしている。
また、このような光学的ローパスフィルタを利用した本発明の撮像装置では、動画の規格で定められている表示画素数よりも多い画素数の撮像素子を備え、動画撮影モードのときは、撮像素子により生成されたＮ個の画素信号から１個の出力画像信号を生成するようにしている。
上記のように構成した本発明によれば、静止画撮影モードのときは、光学的ローパスフィルタでの光線分離幅が比較的狭くなるように制御されることとなる。光学的ローパスフィルタのカットオフ周波数は光線分離幅に依存するため、光線分離幅を比較的狭くしてカットオフ周波数がほぼｆｓ／２、または、この周波数を少し超えるくらいとなるように制御することにより、撮像素子の解像度をなるべくそのまま活かして、偽色の発生をある程度抑制することができる。これにより、強く求められる高解像度の要求を満足し、かつ、必要最小限の偽色抑制を施した静止画を得ることができる。
一方、動画撮影モードのときは、光学的ローパスフィルタでの光線分離幅が比較的広くなるように制御され、撮像素子により生成されたＮ個の画素信号から１個の出力画像信号が生成されることとなる。光線分離幅を比較的広くしてカットオフ周波数が出力画像の画素のナイキスト周波数に相当する周波数、または、この周波数を少し超えるくらいとなるように制御することにより、出力画像信号に不要な解像度成分に相当する高周波成分を光学的ローパスフィルタによりカットすることができる。また、静止画撮影モードと比較して、偽色の抑制を強く余裕をもって行うことができる。これにより、動画の規格で要求される解像度を満足し、かつ、偽色が効果的に抑制された動画を得ることができる。
図１は、偽色の発生原理を示す周波数特性図である。
図２は、偽色をカットする光学的ローパスフィルタの周波数特性を示す図である。
図３は、光学的ローパスフィルタの基本原理を示す図である。
図４は、ベイヤー配列の画素ピッチを示す図である。
図５は、本実施形態による撮像装置の主要構成部を示す図である。
図６は、液晶の複屈折を説明するための図である。
図７は、本実施形態による光学的ローパスフィルタの一構成例を示す図である。
図８は、出力画像信号生成部によって行われる解像度変換処理の例を示す図である。
図９は、出力画像信号生成部によって行われる解像度変換処理の例を示す図である。
図１０は、出力画像信号生成部によって行われる解像度変換処理の例を示す図である。
図１１は、本実施形態による光学的ローパスフィルタの他の構成例を示す図である。
図１２は、図１１に示す偏光液晶層の液晶分子の配列を示す図である。
図１３は、本実施形態による光学的ローパスフィルタの他の構成例を示す図である。
図１４は、本実施形態による光学的ローパスフィルタの他の構成例を示す図である。
図１５は、本実施形態による光学的ローパスフィルタの他の構成例を示す図である。
以下、本発明の一実施形態を図面に基づいて説明する。図５は、本実施形態による撮像装置１の主要構成部を示す図である。本実施形態の撮像装置１は、光学的ローパスフィルタ２を備えた撮像光学系３と、この撮像光学系３から出力された撮像光を所定の色成分に分解するカラーフィルタ４と、このカラーフィルタ４を通過した撮像光を光電変換して画素信号を生成する撮像素子５と、この撮像素子５から取得した画素信号に基づいて出力画像信号を生成するもので、Ａ／Ｄコンバータ７およびＩＳＰ８（Ｉｍａｇｅ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）を備えた出力画像信号生成部６と、上述の光学的ローパスフィルタ２および出力画像信号生成部６内のＩＳＰ８を制御するＣＰＵ９（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）とを備えている。
光学的ローパスフィルタ２は、撮像光の高い空間周波数成分を抑制する役割を果たすものである。本実施形態の光学的ローパスフィルタ２は、例えば、液晶を素材とする複屈折板から成っており、撮像光の光路上で撮像素子５の前方に配置される。物質の誘電率が非等方的な場合、その物質に対する入射光線は、その振動方向との関係によって、偏光方向の異なる２つの光線に分離される。
図６に示すように、光学的ローパスフィルタ２が液晶から成る複屈折板の場合、複屈折板に対する入射光線は、液晶分子２１の分極方向（長軸方向）に垂直な方向に振動する光線（常光線）と、液晶分子２１の分極方向に平行な方向に振動する光線（異常光線）とに分離される。図６では、常光線は紙面に垂直に振動する偏光として、異常光線は紙面内で振動する偏光として描かれている。
また、本実施形態では、静止画撮影モードと動画撮影モードのどちらが設定されているかに応じて、光学的ローパスフィルタ２の周波数特性を切り替えられるようになっている。光学的ローパスフィルタ２の周波数特性の切り替えは、複屈折板における常光線と異常光線との距離（光線分離幅と言う）を可変制御することによって実現される。光線分離幅が大きくなると、光学的ローパスフィルタ２のカットオフ周波数は低くなり、撮像素子５に結像する像のぼけ具合は大きくなる。逆に、光線分離幅が小さくなると、光学的ローパスフィルタ２のカットオフ周波数は高くなり、撮像素子５に結像する像のぼけ具合は小さくなる。
ここで、静止画撮影モードのときは光線分離幅を第１の幅とすることによって像のぼけ具合を第１の量とし、動画撮影モードのときは光線分離幅を第１の幅よりも広い第２の幅とすることによって像のぼけ具合を第１の量よりも多い第２の量とする。カラーフィルタ４が図４のようにベイヤー配列されている場合、静止画撮影モードのときは解像度を優先させて、かつ、偽色の抑制を必要最小限にするため、第１の幅は、光学的ローパスフィルタ２のカットオフ周波数がほぼｆｓ／２（＝１／２ｄ）、または、この周波数を少し超えるくらいとなるような幅とする。
また、動画撮影モードのときは、出力画像信号にとって不要な解像度成分に相当する高周波成分をカットして、さらに、偽色の抑制を強く余裕をもって行うために、第２の幅は、光学的ローパスフィルタ２のカットオフ周波数が出力画像の画素のナイキスト周波数に相当する周波数、または、この周波数を少し超えるくらいとなるような幅とする。
光学的ローパスフィルタ２での光線分離幅は、液晶に対する印加電圧を制御することによって可変とすることができる。すなわち、図７に示すように、本実施形態の光学的ローパスフィルタ２は、例えば液晶を素材とする複屈折層１１（本発明の可変焦点層に相当）を備えている。複屈折層１１の液晶はその印加電圧の大きさによって液晶分子２１の配向方向が変化し、異常光線に対する屈折率が変化する。このような液晶の電界制御複屈折効果を利用することにより、光学的ローパスフィルタ２の光線分離幅を変えることができる。
図７（ａ）のように、複屈折層１１の液晶に対して比較的小さい電圧Ｖ１を印加すると、入射光軸に対して液晶分子２１の傾きが小さくなるため、光線分離幅は比較的狭い第１の幅Ｗ１となる。また、図７（ｂ）のように、複屈折層１１の液晶に対して比較的大きい電圧Ｖ２（Ｖ１＜Ｖ２）を印加すると、入射光軸に対して液晶分子２１の傾きが大きくなるため、光線分離幅は比較的広い第２の幅Ｗ２（Ｗ１＜Ｗ２）となる。
撮像光学系３は、撮像光を撮像素子５に導く役割を果たすものである。本実施形態では、光学的ローパスフィルタ２を含め、撮影レンズや、赤外線除去フィルタ等から構成されている。なお、赤外線除去フィルタは、フォトダイオードに入射する赤外線を遮断するためのものであり、光学的ローパスフィルタ２の前方に配置され、１枚のガラスブロックとして構成されている。
カラーフィルタ４は、撮像素子５を構成する各画素の受光面上に所定パターンで規則的に配置され、撮像光を所定の色成分にフィルタリングする役割を果たすものである。本実施形態では、カラーフィルタ４を構成する第１色、第２色、第３色の３つの色として、Ｒ色、Ｇ色およびＢ色の原色フィルタを使用している。しかし、これらに限られず、Ｃ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）で構成される補色フィルタや別の色の組み合わせであってもよい。さらには、エメラルド色のフィルタを３色フィルタに加えてもよい。
また、本実施形態では、カラーフィルタ４の配列パターンとしては、図４に示したように、Ｇ色フィルタを市松模様で配置するとともに、Ｒ色フィルタおよびＢ色フィルタを各行に交互に配置するベイヤー配列を採用しているが、これに限られるものではない。
撮像素子５は、受光した撮像光を電気的な画像情報に光電変換して電荷量として貯え、これを電気信号として出力画像信号生成部６に出力する役割を果たすものである。撮像素子５は、所定パターンで配列された複数の画素（フォトダイオード）を有しており、この各画素の受光面上にカラーフィルタ４を所定パターンで規則的に配置している。本実施形態による撮像素子５の画素数は、動画の規格で定められている表示画素数（ＳＤ規格で３５万画素程度、ＨＤ規格でも２０８万画素程度）よりも多い数（例えば、ＨＤ規格の表示画素数のＮ倍（Ｎは２以上の実数）またはそれ以上）に設定されている。
出力画像信号生成部６は、撮像素子５の各画素から取得した画素信号をＡ／Ｄ変換するとともに、各種の画像処理を施し、出力画像信号を生成する役割を果たすものである。出力画像信号生成部６は、Ａ／Ｄコンバータ７とＩＳＰ８とにより構成されており、撮像素子５と電気的に接続されている。Ａ／Ｄコンバータ７は、アナログ電気信号である画素信号をデジタルデータに変換する。
ＣＰＵ９は、光学的ローパスフィルタ２の液晶に対して印加する電圧の制御と、ＩＳＰ８に対して撮影モード切換の制御とを行う。すなわち、静止画撮影モードのときは、液晶に対して電圧Ｖ１を印加するとともに、ＩＳＰ８に対して静止画撮影モードを設定するように制御する。また、動画撮影モードのときは、液晶に対して電圧Ｖ２を印加するとともに、ＩＳＰ８に対して動画撮影モードを設定するように制御する。ＩＳＰ８は、Ａ／Ｄ変換された画素信号にオプティカルブラック処理、ホワイトバランス処理、色補正処理、色補間処理、ノイズ抑制処理、輪郭強調処理、γ補正処理および解像度変換処理等の各種の画像処理を施し、出力画像信号を生成する。このときＩＳＰ８は、ＣＰＵ９から設定された撮影モードに応じて、静止画用または動画用の画像処理を行う。
解像度変換処理は、例えば動画撮影モードが設定されているときにのみ実施する。解像度変換処理の変換比率は、Ａ／Ｄ変換されたＮ個の画素信号が１個の出力画像信号に相当するように設定しておく。すなわち、ＩＳＰ８は、静止画撮影モードのときは、撮像素子５により生成されたＮ個の画素信号からＮ個の出力画像信号を生成し、動画撮影モードのときは、撮像素子５により生成されたＮ個の画素信号から１個の出力画像信号を生成する。なお、静止画撮影モードのときにも、ユーザの要求があれば解像度変換処理を行っても良い。
ここで、Ｎ個の画素信号から１個の出力画像信号を生成する処理の具体例について説明する。図８〜図１０は、ＩＳＰ８による解像度変換処理の内容例を示す図である。これらの図８〜図１０では、撮像素子５の画素配列と出力画像の画素配列との関係および、撮像素子５の画素ピッチｄ（＝１／ｆｓ）と出力画像の画素ピッチＤ（＝１／Ｆｓ）との関係を示している。
図８に示すように、撮像素子５の画素ピッチｄに対する出力画像の画素ピッチＤの比ｋを１．５（Ｄ＝１．５ｄ）にした場合、１画素の出力画像信号に対して２．２５個相当の画素信号がサンプリングされているため、ＩＳＰ８の解像度変換処理における変換比率、すなわち、１画素の出力画像信号を生成するのに使用する画素信号の相当数Ｎは２．２５である。
また、図９に示すように、撮像素子５の画素ピッチｄに対する出力画像の画素ピッチＤの比ｋを２（Ｄ＝２ｄ）とした場合、１画素の出力画像信号に対して４個相当の画素信号がサンプリングされているため、Ｎは４である。また、図１０に示すように、撮像素子５の画素ピッチｄに対する出力画像の画素ピッチＤの比ｋを４（Ｄ＝４ｄ）とした場合、１画素の出力画像信号に対して１６個相当の画素信号がサンプリングされているため、Ｎは１６である。
なお、本実施形態のＩＳＰ８は、例えばＣＰＵ、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）あるいはハードワイヤードロジックにより構成される。あるいは、Ａ／Ｄ変換された画素信号をＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）に取り込んで各種のプログラムにより上述した画像処理を行わせるようにしてもよい。
次に、上記のように構成した本実施形態による撮像装置の動作を説明する。まず、静止画撮影モードが設定されているときは、図７（ａ）のように光学的ローパスフィルタ２の液晶に対して電圧Ｖ１が印加され、光線分離幅が比較的狭い第１の幅Ｗ１となるように制御される。これにより、光学的ローパスフィルタ２のカットオフ周波数ｆｃが、ほぼｆｓ／２（＝１／２ｄ）、または、この周波数を少し超えるくらいに設定される。
これにより、撮像素子５におけるサンプリングにより発生する偽色をある程度抑制することができる。また、この場合には光学的ローパスフィルタ２のフィルタリング効果が強くなり過ぎることがなく、撮像素子５の画素信号にも不足が生じないので、光学的ローパスフィルタ２での解像度の低下を極力抑制することができる。
光学的ローパスフィルタ２およびカラーフィルタ４を通過した撮像光は撮像素子５で結像し、光電変換によって画素信号が生成される。そして、撮像素子５により生成された画素信号は出力画像信号生成部６に出力され、ここで出力画像信号が生成される。このとき、撮像素子５により生成されたＮ個の画素信号からＮ個の出力画像信号が生成される。つまり、撮像素子５の解像度をそのまま活かして、高解像度の出力画像信号が生成される。
一方、動画撮影モードが設定されているときは、図７（ｂ）のように光学的ローパスフィルタ２の液晶に対して電圧Ｖ２が印加され、光線分離幅が比較的広い第２の幅Ｗ２となるように制御される。これにより、光学的ローパスフィルタ２のカットオフ周波数ｆｃが、出力画像の画素のナイキスト周波数に相当する周波数、または、この周波数を少し超えるくらいに設定される。その結果、出力画像における充分な解像度を保ちつつ、静止画撮影モードよりも強く偽色の発生を抑制することができる。
光学的ローパスフィルタ２およびカラーフィルタ４を通過した撮像光は撮像素子５で結像し、光電変換によって画素信号が生成される。そして、撮像素子５により生成された画素信号は出力画像信号生成部６に出力され、ここで出力画像信号が生成される。このとき、撮像素子５により生成されたＮ個の画素信号から１個の出力画像信号が生成される。
すなわち、撮像素子５の画素数が動画の規格で要求される表示画素数よりも多く設定されていて、動画にとっては画素数が余分にある撮像素子５で得られたＮ個の画素信号から表示画素数に合った出力画像信号が生成される。これにより、カットオフ周波数ｆｃが低く設定された光学的ローパスフィルタ２で解像度が低下しても、出力画像信号の生成の際に出力画像信号にはもともと不要な解像度に相当する高周波成分がカットされているだけなので、動画の規格で要求される表示解像度は充分に満足させることができる。
以上詳しく説明したように、本実施形態によれば、静止画撮影モードのときには、必要最小限の偽色が抑制されていて、かつ、高解像度の静止画を得ることができる。また、動画撮影モードのときには、動画の規格で要求される表示解像度を満足し、かつ、偽色が効果的に抑制された動画を得ることができる。また、本実施形態によれば、光学的ローパスフィルタ２の液晶に対する印加電圧を制御することで光線分離幅を変えているので、静止画撮影モードに最適な周波数特性と動画撮影モードに最適な周波数特性とを簡単に切り替えることができる。
なお、上記実施形態では、光学的ローパスフィルタ２が液晶を素材とする複屈折板から成るものとして説明したが、本発明はこれに限定されない。すなわち、光の複屈折効果を有し、光線分離幅を電気的に制御可能な素材であれば、光学的ローパスフィルタ２の素材として適用することが可能である。
また、上記実施形態では、光学的ローパスフィルタ２の構成例として、図７のように１枚の液晶板によって複屈折率を動的に変える例について説明したが、本発明はこれに限定されない。例えば、図１１に示すように、複数枚の液晶板によって複屈折率を動的に変えるように構成することも可能である。
図１１の例では、光学的ローパスフィルタ２は、入射光の偏光状態（旋光性）を制御可能なツイストネマチック型の偏光液晶層３１と、偏光液晶層３１の入射側と射出側にそれぞれ配置されていて、入射光線を常光線と異常光線とに分離して出力する一対の液晶層３２，３３（請求項５による一対の複屈折層に相当）とを備えている。液晶層３２，３３の結晶軸の傾斜方向は、互いに同じであっても良いし、異なっていても良い。これらの偏光液晶層３１と一対の液晶層３２，３３とにより、本発明の可変焦点層が構成される。
図１１の例では、静止画撮影モードか動画撮影モードかに応じて、偏光液晶層３１における偏光状態を可変制御することにより、一方の液晶層３２に対する入射光線が偏光液晶層３１と一対の液晶層３２，３３とを通過することによって得られる出力光線の分離幅を、静止画撮影モードのときは図１１（ａ）のように第１の幅Ｗ１とし、動画撮影モードのときは図１１（ｂ）のように第２の幅Ｗ２とするようにしている。偏光液晶層３１における偏光状態の制御は、偏光液晶層３１に対する印加電圧の有無によって実現することができる。
図１２は、偏光液晶層３１の液晶分子２１の配列を示す図である。図１２に示すように、一定方向に微細な溝のある配向膜３１ａ，３１ｂに液晶を接触させると、液晶分子２１は溝に沿って並ぶ。溝の向きを９０度変えた２枚の配向膜３１ａ，３１ｂで液晶を挟むことにより、液晶層内で液晶分子２１は９０度ねじれて配列する。このように液晶分子２１の配列が９０度ねじれた状態の液晶に光を通すと、光は液晶分子２１が並ぶ隙間に沿って９０度ねじれて通っていく。これにより、偏光液晶層３１を通過する前後で光の振動方向が９０度変わる。
このような偏光液晶層３１に電圧をかけると、液晶分子２１の配列が変わる。すなわち、液晶分子２１は、配向膜３１ａ，３１ｂに対して印加電圧の大きさに応じた角度を持って配列するようになる。本実施形態では、ＣＰＵ９が印加電圧の有無を制御することにより、図１１に示すように、液晶分子２１が配向膜３１ａ，３１ｂに対して０度（平行）または９０度（直角）のどちらかとなるように制御する。
図１１に示す光学的ローパスフィルタ２の場合、入射光線は、まず、一方の液晶層３２によって常光線と異常光線とに分かれ、空間的にΔＡだけ分離して射出する。図１１では、常光線は紙面に垂直に振動する偏光として、異常光線は紙面内で振動する偏光として描かれている。一方の液晶層３２により分離された常光線と異常光線は、次に偏光液晶層３１に入射する。
ここで、図１１（ａ）に示すように、偏光液晶層３１に対する印加電圧がオフのときは、液晶分子２１は配向膜３１ａ，３１ｂに平行になっている。そのため、一方の液晶層３２を通過した撮像光は、偏光液晶層３１を通過することで９０度ねじれる。そのため、偏光液晶層３１に入射した常光線と異常光線との振動面の向きが変化する。ここでは、振動面の向きが９０度変化するので、一方の液晶層３２から射出した常光線は他方の液晶層３３に対しては異常光線となり、一方の液晶層３２から射出した異常光線は他方の液晶層３３に対しては常光線となる。
このため、一方の液晶層３２から射出した常光線は他方の液晶層３３でΔＢだけ変位して射出し、一方の液晶層３２から射出した異常光線は他方の液晶層３３で変位することなく射出する。その結果、ここでは、ΔＡ＞ΔＢであるから、光学的ローパスフィルタ２の全体としての光線分離幅である第１の幅Ｗ１は、Ｗ１＝ΔＡ−ΔＢとなる。
一方、図１１（ｂ）に示すように、偏光液晶層３１に対する印加電圧をオンとしたときは、液晶分子２１は配向膜３１ａ，３１ｂに垂直になっている。そのため、一方の液晶層３２を通過した撮像光は、偏光液晶層３１を何らねじれることなく通過する。そのため、一方の液晶層３２から射出した常光線は他方の液晶層３３に対しても常光線となり、一方の液晶層３２から射出した異常光線は他方の液晶層３３に対しても異常光線となる。
このため、一方の液晶層３２から射出した常光線は他方の液晶層３３でも変位することなく射出し、一方の液晶層３２から射出した異常光線は他方の液晶層３３で更にΔＢだけ変位して射出する。その結果、光学的ローパスフィルタ２の全体としての光線分離幅である第２の幅Ｗ２は、Ｗ２＝ΔＡ＋ΔＢとなる。
この図１１のように光学的ローパスフィルタ２を構成した場合、偏光液晶層３１に対する印加電圧の有無によって光線分離幅を可変制御することができる。そのため、図７の例のように異なる２つの印加電圧Ｖ１，Ｖ２を用意する必要がない。また、図７の場合は静止画撮影モードと動画撮影モードのどちらに設定している場合にも電圧を印加する必要があるが、図１１の場合は静止画撮影モードのときに電圧を印加する必要がなく、低消費電力化を図ることができる。
なお、図１１の例では、一対の複屈折層の例として液晶層３２，３３を用いているが、液晶の代わりに水晶またはニオブ酸リチウムなどを用いても良い。
また、図１１の例では、偏光液晶層３１の入射側と射出側とに一対の液晶層３２，３３を配置しているが、これに限定されない。例えば、図１３に示すように、２つの液晶層１１，３２を重ねて光学的ローパスフィルタ２を構成しても良い。すなわち、図１３に示す構成では、図７と同様の液晶層１１（請求項６における第１の複屈折層に相当）の入射側に、図１１と同様の液晶層３２（請求項６における第２の複屈折層に相当）を設けている。上層に位置する液晶層３２の結晶軸は、入射光線の光軸に対して所定の固定角度を持って傾斜している。また、下層に位置する液晶層１１の結晶軸の傾斜は、印加される電圧の有無によって変化するようになっている。
図１３の例では、静止画撮影モードか動画撮影モードかに応じて、下層の液晶層１１に対する印加電圧の有無を制御することにより、上層の液晶層３２に対する入射光線が下層の液晶層１１を通過することによって得られる出力光線の分離幅を、静止画撮影モードのときは図１３（ａ）のように第１の幅Ｗ１とし、動画撮影モードのときは図１３（ｂ）のように第２の幅Ｗ２とするようにしている。
図１３に示す光学的ローパスフィルタ２の場合、入射光線は、まず、上層の液晶層３２によって常光線と異常光線とに分かれ、空間的にΔＡだけ分離して射出する。図１３では、常光線は紙面に垂直に振動する偏光として、異常光線は紙面内で振動する偏光として描かれている。上層の液晶層３２により分離された常光線と異常光線は、下層の液晶層１１に入射する。
ここで、図１３（ａ）に示すように、下層の液晶層１１に対する印加電圧がオフのときは、液晶分子は入射光線の光軸に対して平行になっている。そのため、上層の液晶層３２から射出した常光線および異常光線は共に、下層の液晶層１１で変位することなく射出する。その結果、光学的ローパスフィルタ２の全体としての光線分離幅である第１の幅Ｗ１は、Ｗ１＝ΔＡとなる。
一方、図１３（ｂ）に示すように、下層の液晶層１１に対する印加電圧をオンとしたときは、液晶分子は入射光線の光軸に対してある程度の傾斜を持って並ぶ。そのため、上層の液晶層３２から射出した常光線は下層の液晶層１１でも変位することなく射出するが、上層の液晶層３２から射出した異常光線は下層の液晶層１１で更にΔＢだけ変位して射出する。その結果、光学的ローパスフィルタ２の全体としての光線分離幅である第２の幅Ｗ２は、Ｗ２＝ΔＡ＋ΔＢとなる。
この図１３のように光学的ローパスフィルタ２を構成した場合は、下層の液晶層１１に対する印加電圧の有無によって光線分離幅を可変制御することができる。そのため、異なる２つの印加電圧Ｖ１，Ｖ２を用意する必要がない。また、静止画撮影モードのときに電圧を印加する必要がなく、低消費電力化を図ることができる。
なお、図１３の例では、液晶層１１の入射側に配置する複屈折層の例として液晶層３２を用いているが、液晶の代わりに水晶またはニオブ酸リチウムなどを用いても良い。また、図１３では、液晶層１１の入射側に液晶層３２を配置する例について示しているが、液晶層１１の射出側に液晶層３２を配置するようにしても良い。また、図７の場合と同様に、液晶層１１も液晶を素材とするものである必要は必ずしもない。すなわち、光の複屈折効果を有し、光線分離幅を電気的に制御可能な素材であれば、液晶層１１の代わりに用いることが可能である。
図１４は、光学的ローパスフィルタ２の他の構成例を示す図である。図１４に示す光学的ローパスフィルタ２は、図１１に示した３層構造のローパスフィルタ４１，４２を２個備え、それらを結晶軸を含む面が互いに直交または斜交するようにして重ねるとともに、両者の間に１／４波長板４３（直線偏光を円偏光にする作用を有している）を配置することによって構成されている。
図１４に示す光学的ローパスフィルタ２では、１段目の光学的ローパスフィルタ４１によって入射光線をｘ軸方向に沿って常光線と異常光線とに分離し、１／４波長板４３によって光学的ローパスフィルタ４１から入射する直線偏光を円偏光に変える。そして、２段目の光学的ローパスフィルタ４２によって１／４波長板４３からの２本の入射光線をそれぞれｙ軸に沿って常光線と異常光線とに分離することにより、２次元状に４本の光線に分離する。
１本の入射光線を複数の光線に２次元状に分離するための構成は、図１４のような構成に限定されない。例えば、図１５に示すような構成とすることも可能である。なお、図１５において、黒丸は分離される複数の光線の位置関係を示している。
図１５（ａ）の構成では、図７、図１１または図１３に示した構成の１次元的光学的ローパスフィルタを２個備え、それらを結晶軸を含む面が互いに直交または斜交するようにして重ねて配置する。重ねて配置する２つの１次元的光学的ローパスフィルタは、図７、図１１、図１３の中の何れか１つを採用して共に同じ構成としても良いし、図７、図１１、図１３の中の何れか２つを採用して互いに異なる構成としても良い。
図１５（ｂ）の構成では、図７、図１１または図１３に示した構成の１次元的光学的ローパスフィルタを３個備え、それらを結晶軸を含む面が互いに直交または斜交するようにして重ねて配置する。重ねて配置する３つの１次元的光学的ローパスフィルタは、図７、図１１、図１３の中の何れか１つを採用して何れも同じ構成としても良いし、図７、図１１、図１３の中の何れか２つまたは３つを採用して任意の順番で組み合わせても良い。
図１５（ｃ）の構成では、図７、図１１または図１３に示した構成の１次元的光学的ローパスフィルタを２個備え、それらを結晶軸を含む面が互いに直交または斜交するようにして重ねるとともに、両者の間に１／４波長板を配置する。１／４波長板の両側に配置する２つの１次元的光学的ローパスフィルタは、図７、図１１、図１３の中の何れか１つを採用して共に同じ構成としても良いし、図７、図１１、図１３の中の何れか２つを採用して組み合わせても良い。１／４波長板の両側に共に図１１の構成の１次元的光学的ローパスフィルタを配置した例が、図１４の構成に相当する。
また、上記実施形態では、撮像素子５に結像する像のぼけ具合を可変とするための可変焦点層の一例として、液晶等を素材とする複屈折板を用いる例について説明したが、本発明はこれに限定されない。例えば、液晶レンズにより可変焦点層を構成するようにしても良い。
液晶レンズは、液晶を利用したレンズの一種である。液晶をレンズ状の空間に封入し、印加する電圧を調整すると、見かけ上の液晶の屈折率が変化する。同じ形状のレンズであっても、それを構成する液晶の屈折率が変化すると、レンズの焦点距離が変化する。このように、液晶レンズを用いると、電気信号のみの制御によりレンズの焦点距離を変化させることができる。
液晶レンズを可変焦点層として用いる場合は、静止画撮影モードか動画撮影モードかに応じて、液晶レンズに対する電圧の印加を制御することにより、液晶レンズの屈折率の変化を通じて焦点距離を可変制御する。これによって、静止画撮影モードのときは像のぼけ具合を第１の量とし、動画撮影モードのときは像のぼけ具合を第２の量とする。
また、上記実施形態では、撮像素子５の画素配列が正方格子配列である場合を例に挙げて説明したが、これに限定されない。例えば、４５°傾斜正方格子配列であっても良い。
なお、上記実施形態において、静止画撮影モードと動画撮影モードの設定は、撮像装置１に備えられた図示しないモード設定用操作子をユーザが操作することによって行うことが可能である。また、動画撮影モードを設定してユーザが動画の撮影中においても、ユーザが静止画の撮影用シャッタを押下したときに、一時的に静止画撮影モードに自動的に切り替えるようにすることも可能である。このようにして設定されたモード情報は、撮像装置１の図示しないメモリに保存される。そして、ＣＰＵ８が、このメモリに保存されたモード情報を参照することによって、光学的ローパスフィルタ２に対する印加電圧を制御する。
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
本発明の光学的ローパスフィルタは、１台のカメラで動画と静止画の双方を撮影できるように成されたハイブリッドカメラに有用である。
本発明は撮像装置に関し、特に、像のぼけを利用して高周波成分を除去する光学フィルタを備え、１台のカメラで動画と静止画の双方を撮影できるように成されたハイブリッドカメラに用いて好適なものである。
近年、１台のカメラで動画と静止画の双方を撮影できるように成された、いわゆるハイブリッドカメラが提供されている。そして、撮影される動画および静止画の画質を向上させるための工夫が成されている。例えば、殆どのハイブリッドカメラでは、静止画の解像度を高くするために画素数の多い撮像素子が用いられている。また、サンプリングによる偽色（色モアレ）の発生を抑制することも、画質の向上を図る上で重要な要素である。
ここで、偽色が発生する原理について説明する。撮像素子は微小画素の集まりであり、撮像素子で光学像を捉えるということは、画素ピッチの間隔で信号をサンプリングすることに相当する。例えば、フォトダイオード（画素）を正方格子状に配列させた撮像素子において、画素ピッチをｄとすると、サンプリング周波数ｆｓは、ｆｓ＝１／ｄとなる。
このとき、図１に示すように、周波数領域におけるナイキスト周波数（＝ｆｓ／２）よりも大きな周波数領域が実空間での折り返し成分となり、実際には存在しないパターン（偽色）として現れる。すなわち、図１の実線で示すように被写体の空間周波数が撮像素子のナイキスト周波数を越えている場合、被写体に偽色が発生してしまうおそれがある。
このため、通常は、図２に示すように、撮像素子のナイキスト周波数（ｆｓ／２）をカットオフ周波数ｆｃ（＝ｆｓ／２）に設定した光学的ローパスフィルタ（ＯＬＰＦ）を光路中に設け、撮像素子に入射する撮像光をフィルタリングしている（例えば、特許文献１，２参照）。
光学的ローパスフィルタは、水晶やニオブ酸リチウムなどを素材とした複屈折板から成り、光の複屈折を利用して高周波成分を除去する光学フィルタである。すなわち、図３に示すように、複屈折板は入射光線を常光線と異常光線とに分離する性質を有しているため、これを撮像素子への結像光路中に配置すると、撮像素子の結像面には、常光線による像と異常光線による像とが重なって二重像が形成される。その結果、複屈折板は、光線分離幅（常光線と異常光線との間隔）の２倍の大きさの波長に相当する空間周波数成分を被写体像の中から除去する光学的ローパスフィルタとして機能することになる。光線分離幅は、複屈折板の厚さに比例するため、二重像の分離幅が撮像素子の画素ピッチとほぼ等しくなるように複屈折板の厚さを定めると、偽色の発生を抑制することができるのである。
ところが、図４のように、正方格子配列された撮像画素上にカラーフィルタがベイヤー配列されている撮像素子の場合、縦横方向のＧ色（緑色）の画素ピッチはｄであるが、Ｒ色（赤色）およびＢ色（青色）の画素ピッチは２ｄとなるから、Ｒ色およびＢ色のナイキスト周波数はｆｓ／４となる（ｆｓ＝１／ｄで、ｆｓはＧ色のサンプリング周波数に相当する）。したがって、偽色の発生を完全に防止するためには、光学的ローパスフィルタのカットオフ周波数ｆｃはｆｓ／４以下に設定するのが好ましい。色の観点からみると、最適な光学的ローパスフィルタの設定は、上記のようになる。
しかしながら、解像度の観点からみると、出力画像の解像感が損なわれるほどまでは、光学的ローパスフィルタの効果を強くすることができない。すなわち、出力画像のサンプリング周波数をＦｓ、画素ピッチをＤ（＝１／Ｆｓ）とした場合、出力画像に充分な解像感を待たせるようにするには、光学的ローパスフィルタのカットオフ周波数ｆｃを少なくともほぼＦｓ／２（＝１／２Ｄ）、またはこの周波数を少し超えるくらいに設定する必要がある。
一般的なベイヤー配列の撮像素子を持ったデジタルカメラでは、撮像素子の画素数と出力画像の画素数とは同程度になっている（そのカメラの最高画質のモードに設定した場合）。この種のデジタルカメラでは、撮像素子の画素ピッチｄと出力画像の画素ピッチＤとが等しくなっている。このようなデジタルカメラでは、光学的ローパスフィルタのカットオフ周波数ｆｃをほぼｆｓ／２（＝１／２ｄ）、またはこの周波数を少し超えるくらいに設定している。
これは、色の観点よりも解像度の観点を重視していることを意味している。この場合、Ｇ色のナイキスト周波数はｆｓ／２なので、Ｇ色の偽色はあまり目立たないが、Ｒ色とＢ色のナイキスト周波数はｆｓ／４なので、Ｒ色とＢ色による偽色は残ってしまう。しかし、このような場合でも、被写体そのものが高周波成分を持たなければ、偽色は発生しない。そのため、一般的なユーザは色より解像度を優先する傾向が強い。一般的なデジタルカメラでは、この傾向に合わせて、上記のように光学的ローパスフィルタのカットオフ周波数ｆｃを設定している。
一般的なデジタルカメラでは色よりも解像度の観点を優先させているが、本出願人は、色の観点と解像度の観点との両者を同時に満たすようなカメラを考案している（例えば、特許文献３参照）。この特許文献３に記載のカメラでは、撮像素子により生成されたＮ個の画素信号から１個の出力画像信号を生成するようにしている。撮像素子の画素ピッチｄと出力画像の画素ピッチＤとの関係は、ｄ＜Ｄとなっている。これにより、光学的ローパスフィルタのカットオフ周波数ｆｃを、色の観点と解像度の観点との両者を満足するように設定することができる。
一般的に、画質の向上を図る際に、静止画の場合は、高画素数・高解像度であることが強く求められる。これに対し、動画の場合は、高解像度であることが強く求められるが、画素数は規格（ＳＤ規格で３５万画素程度、ＨＤ規格で２０８万画素程度）を満たせば良い。規格に合わせる必要のない静止画向けのカメラの画素数（数百万画素〜一千万画素超）は、動画の規格を満たす画素数に比べてずっと多い。さらに動画撮影用カメラでは、３板式撮像素子を用いることによって偽色の殆ど発生しないカメラが普及しているため、これと同等に偽色の発生を抑制することも強く求められる。しかし、静止画・動画ともに、高解像度が低偽色よりも優先される傾向にある。
一台のカメラで静止画と動画の双方を撮影できるように成されたハイブリッドカメラを作成する場合、静止画と動画の双方に対して同時に適切な周波数特性を光学的ローパスフィルタに設定することができない。上述のように、静止画に最適な光学的ローパスフィルタのカットオフ周波数ｆｃは、ほぼｆｓ／２（＝１／２ｄ）またはこの周波数を少し超えるくらいであり、動画に最適なカットオフ周波数ｆｃはこれよりも低い。
特開平６−２９２０９３号公報 特許第２５５６８３１号公報 特願２００４−１５６０８３号明細書
本発明は、このような実情に鑑みて成されたものであり、動画に関しては出力画像の解像度を犠牲にすることなく偽色の発生を効果的に抑制できるようにするとともに、静止画に関しては偽色の発生を極力抑制しつつ解像度を充分に高められるようにすることを目的とする。
上記した課題を解決するために、本発明では、静止画を撮影する静止画撮影モードが設定されているか動画を撮影する動画撮影モードが設定されているかに応じて、撮像素子に結像する像のぼけ具合を可変制御するように光学的ローパスフィルタを構成している。また、本発明では、動画の規格で定められている表示画素数よりも多い画素数の撮像素子を備え、動画撮影モードのときは、撮像素子により生成されたＮ個の画素信号から１個の出力画像信号を生成する一方、静止画撮影モードのときは撮像素子により生成されたＮ個の画素信号からＮ個の出力画像信号を生成するようにしている。
上記のように構成した本発明によれば、静止画撮影モードのときは、光学的ローパスフィルタでの光線分離幅が比較的狭くなるように制御されることとなる。光学的ローパスフィルタのカットオフ周波数は光線分離幅に依存するため、光線分離幅を比較的狭くしてカットオフ周波数がほぼｆｓ／２、または、この周波数を少し超えるくらいとなるように制御することにより、撮像素子の解像度をなるべくそのまま活かして、偽色の発生をある程度抑制することができる。これにより、強く求められる高解像度の要求を満足し、かつ、必要最小限の偽色抑制を施した静止画を得ることができる。
一方、動画撮影モードのときは、光学的ローパスフィルタでの光線分離幅が比較的広くなるように制御され、撮像素子により生成されたＮ個の画素信号から１個の出力画像信号が生成されることとなる。光線分離幅を比較的広くしてカットオフ周波数が出力画像の画素のナイキスト周波数に相当する周波数、または、この周波数を少し超えるくらいとなるように制御することにより、出力画像信号に不要な解像度成分に相当する高周波成分を光学的ローパスフィルタによりカットすることができる。また、静止画撮影モードと比較して、偽色の抑制を強く余裕をもって行うことができる。これにより、動画の規格で要求される解像度を満足し、かつ、偽色が効果的に抑制された動画を得ることができる。
図１は、偽色の発生原理を示す周波数特性図である。
図２は、偽色をカットする光学的ローパスフィルタの周波数特性を示す図である。
図３は、光学的ローパスフィルタの基本原理を示す図である。
図４は、ベイヤー配列の画素ピッチを示す図である。
図５は、本実施形態による撮像装置の主要構成部を示す図である。
図６は、液晶の複屈折を説明するための図である。
図７は、本実施形態による光学的ローパスフィルタの一構成例を示す図である。
図８は、出力画像信号生成部によって行われる解像度変換処理の例を示す図である。
図９は、出力画像信号生成部によって行われる解像度変換処理の例を示す図である。
図１０は、出力画像信号生成部によって行われる解像度変換処理の例を示す図である。
図１１は、本実施形態による光学的ローパスフィルタの他の構成例を示す図である。
図１２は、図１１に示す偏光液晶層の液晶分子の配列を示す図である。
図１３は、本実施形態による光学的ローパスフィルタの他の構成例を示す図である。
図１４は、本実施形態による光学的ローパスフィルタの他の構成例を示す図である。
図１５は、本実施形態による光学的ローパスフィルタの他の構成例を示す図である。
以下、本発明の一実施形態を図面に基づいて説明する。図５は、本実施形態による撮像装置１の主要構成部を示す図である。本実施形態の撮像装置１は、光学的ローパスフィルタ２を備えた撮像光学系３と、この撮像光学系３から出力された撮像光を所定の色成分に分解するカラーフィルタ４と、このカラーフィルタ４を通過した撮像光を光電変換して画素信号を生成する撮像素子５と、この撮像素子５から取得した画素信号に基づいて出力画像信号を生成するもので、Ａ／Ｄコンバータ７およびＩＳＰ８（Image Signal Processor）を備えた出力画像信号生成部６と、上述の光学的ローパスフィルタ２および出力画像信号生成部６内のＩＳＰ８を制御するＣＰＵ９（Central Processing Unit）とを備えている。
光学的ローパスフィルタ２は、撮像光の高い空間周波数成分を抑制する役割を果たすものである。本実施形態の光学的ローパスフィルタ２は、例えば、液晶を素材とする複屈折板から成っており、撮像光の光路上で撮像素子５の前方に配置される。物質の誘電率が非等方的な場合、その物質に対する入射光線は、その振動方向との関係によって、偏光方向の異なる２つの光線に分離される。
図６に示すように、光学的ローパスフィルタ２が液晶から成る複屈折板の場合、複屈折板に対する入射光線は、液晶分子２１の分極方向（長軸方向）に垂直な方向に振動する光線（常光線）と、液晶分子２１の分極方向に平行な方向に振動する光線（異常光線）とに分離される。図６では、常光線は紙面に垂直に振動する偏光として、異常光線は紙面内で振動する偏光として描かれている。
また、本実施形態では、静止画撮影モードと動画撮影モードのどちらが設定されているかに応じて、光学的ローパスフィルタ２の周波数特性を切り替えられるようになっている。光学的ローパスフィルタ２の周波数特性の切り替えは、複屈折板における常光線と異常光線との距離（光線分離幅と言う）を可変制御することによって実現される。光線分離幅が大きくなると、光学的ローパスフィルタ２のカットオフ周波数は低くなり、撮像素子５に結像する像のぼけ具合は大きくなる。逆に、光線分離幅が小さくなると、光学的ローパスフィルタ２のカットオフ周波数は高くなり、撮像素子５に結像する像のぼけ具合は小さくなる。
ここで、静止画撮影モードのときは光線分離幅を第１の幅とすることによって像のぼけ具合を第１の量とし、動画撮影モードのときは光線分離幅を第１の幅よりも広い第２の幅とすることによって像のぼけ具合を第１の量よりも多い第２の量とする。カラーフィルタ４が図４のようにベイヤー配列されている場合、静止画撮影モードのときは解像度を優先させて、かつ、偽色の抑制を必要最小限にするため、第１の幅は、光学的ローパスフィルタ２のカットオフ周波数がほぼｆｓ／２（＝１／２ｄ）、または、この周波数を少し超えるくらいとなるような幅とする。
また、動画撮影モードのときは、出力画像信号にとって不要な解像度成分に相当する高周波成分をカットして、さらに、偽色の抑制を強く余裕をもって行うために、第２の幅は、光学的ローパスフィルタ２のカットオフ周波数が出力画像の画素のナイキスト周波数に相当する周波数、または、この周波数を少し超えるくらいとなるような幅とする。
光学的ローパスフィルタ２での光線分離幅は、液晶に対する印加電圧を制御することによって可変とすることができる。すなわち、図７に示すように、本実施形態の光学的ローパスフィルタ２は、例えば液晶を素材とする複屈折層１１（本発明の可変焦点層に相当）を備えている。複屈折層１１の液晶はその印加電圧の大きさによって液晶分子２１の配向方向が変化し、異常光線に対する屈折率が変化する。このような液晶の電界制御複屈折効果を利用することにより、光学的ローパスフィルタ２の光線分離幅を変えることができる。
図７（ａ）のように、複屈折層１１の液晶に対して比較的小さい電圧Ｖ１を印加すると、入射光軸に対して液晶分子２１の傾きが小さくなるため、光線分離幅は比較的狭い第１の幅Ｗ１となる。また、図７（ｂ）のように、複屈折層１１の液晶に対して比較的大きい電圧Ｖ２（Ｖ１＜Ｖ２）を印加すると、入射光軸に対して液晶分子２１の傾きが大きくなるため、光線分離幅は比較的広い第２の幅Ｗ２（Ｗ１＜Ｗ２）となる。
撮像光学系３は、撮像光を撮像素子５に導く役割を果たすものである。本実施形態では、光学的ローパスフィルタ２を含め、撮影レンズや、赤外線除去フィルタ等から構成されている。なお、赤外線除去フィルタは、フォトダイオードに入射する赤外線を遮断するためのものであり、光学的ローパスフィルタ２の前方に配置され、１枚のガラスブロックとして構成されている。
カラーフィルタ４は、撮像素子５を構成する各画素の受光面上に所定パターンで規則的に配置され、撮像光を所定の色成分にフィルタリングする役割を果たすものである。本実施形態では、カラーフィルタ４を構成する第１色、第２色、第３色の３つの色として、Ｒ色、Ｇ色およびＢ色の原色フィルタを使用している。しかし、これらに限られず、Ｃ（シアン）、Ｍ（マゼンダ）、Ｙ（イエロー）で構成される補色フィルタや別の色の組み合わせであってもよい。さらには、エメラルド色のフィルタを３色フィルタに加えてもよい。
また、本実施形態では、カラーフィルタ４の配列パターンとしては、図４に示したように、Ｇ色フィルタを市松模様で配置するとともに、Ｒ色フィルタおよびＢ色フィルタを各行に交互に配置するベイヤー配列を採用しているが、これに限られるものではない。
撮像素子５は、受光した撮像光を電気的な画像情報に光電変換して電荷量として貯え、これを電気信号として出力画像信号生成部６に出力する役割を果たすものである。撮像素子５は、所定パターンで配列された複数の画素（フォトダイオード）を有しており、この各画素の受光面上にカラーフィルタ４を所定パターンで規則的に配置している。本実施形態による撮像素子５の画素数は、動画の規格で定められている表示画素数（ＳＤ規格で３５万画素程度、ＨＤ規格でも２０８万画素程度）よりも多い数（例えば、ＨＤ規格の表示画素数のＮ倍（Ｎは２以上の実数）またはそれ以上）に設定されている。
出力画像信号生成部６は、撮像素子５の各画素から取得した画素信号をＡ／Ｄ変換するとともに、各種の画像処理を施し、出力画像信号を生成する役割を果たすものである。出力画像信号生成部６は、Ａ／Ｄコンバータ７とＩＳＰ８とにより構成されており、撮像素子５と電気的に接続されている。Ａ／Ｄコンバータ７は、アナログ電気信号である画素信号をデジタルデータに変換する。
ＣＰＵ９は、光学的ローパスフィルタ２の液晶に対して印加する電圧の制御と、ＩＳＰ８に対して撮影モード切換の制御とを行う。すなわち、静止画撮影モードのときは、液晶に対して電圧Ｖ１を印加するとともに、ＩＳＰ８に対して静止画撮影モードを設定するように制御する。また、動画撮影モードのときは、液晶に対して電圧Ｖ２を印加するとともに、ＩＳＰ８に対して動画撮影モードを設定するように制御する。ＩＳＰ８は、Ａ／Ｄ変換された画素信号にオプティカルブラック処理、ホワイトバランス処理、色補正処理、色補間処理、ノイズ抑制処理、輪郭強調処理、γ補正処理および解像度変換処理等の各種の画像処理を施し、出力画像信号を生成する。このときＩＳＰ８は、ＣＰＵ９から設定された撮影モードに応じて、静止画用または動画用の画像処理を行う。
解像度変換処理は、例えば動画撮影モードが設定されているときにのみ実施する。解像度変換処理の変換比率は、Ａ／Ｄ変換されたＮ個の画素信号が１個の出力画像信号に相当するように設定しておく。すなわち、ＩＳＰ８は、静止画撮影モードのときは、撮像素子５により生成されたＮ個の画素信号からＮ個の出力画像信号を生成し、動画撮影モードのときは、撮像素子５により生成されたＮ個の画素信号から１個の出力画像信号を生成する。なお、静止画撮影モードのときにも、ユーザの要求があれば解像度変換処理を行っても良い。
ここで、Ｎ個の画素信号から１個の出力画像信号を生成する処理の具体例について説明する。図８〜図１０は、ＩＳＰ８による解像度変換処理の内容例を示す図である。これらの図８〜図１０では、撮像素子５の画素配列と出力画像の画素配列との関係および、撮像素子５の画素ピッチｄ（＝１／ｆｓ）と出力画像の画素ピッチＤ（＝１／Ｆｓ）との関係を示している。
図８に示すように、撮像素子５の画素ピッチｄに対する出力画像の画素ピッチＤの比ｋを１．５（Ｄ＝１．５ｄ）にした場合、１画素の出力画像信号に対して２．２５個相当の画素信号がサンプリングされているため、ＩＳＰ８の解像度変換処理における変換比率、すなわち、１画素の出力画像信号を生成するのに使用する画素信号の相当数Ｎは２．２５である。
また、図９に示すように、撮像素子５の画素ピッチｄに対する出力画像の画素ピッチＤの比ｋを２（Ｄ＝２ｄ）とした場合、１画素の出力画像信号に対して４個相当の画素信号がサンプリングされているため、Ｎは４である。また、図１０に示すように、撮像素子５の画素ピッチｄに対する出力画像の画素ピッチＤの比ｋを４（Ｄ＝４ｄ）とした場合、１画素の出力画像信号に対して１６個相当の画素信号がサンプリングされているため、Ｎは１６である。
なお、本実施形態のＩＳＰ８は、例えばＣＰＵ、ＤＳＰ（Digital Signal Processor）あるいはハードワイヤードロジックにより構成される。あるいは、Ａ／Ｄ変換された画素信号をＰＣ（Personal Computer）に取り込んで各種のプログラムにより上述した画像処理を行わせるようにしてもよい。
次に、上記のように構成した本実施形態による撮像装置の動作を説明する。まず、静止画撮影モードが設定されているときは、図７（ａ）のように光学的ローパスフィルタ２の液晶に対して電圧Ｖ１が印加され、光線分離幅が比較的狭い第１の幅Ｗ１となるように制御される。これにより、光学的ローパスフィルタ２のカットオフ周波数ｆｃが、ほぼｆｓ／２（＝１／２ｄ）、または、この周波数を少し超えるくらいに設定される。
これにより、撮像素子５におけるサンプリングにより発生する偽色をある程度抑制することができる。また、この場合には光学的ローパスフィルタ２のフィルタリング効果が強くなり過ぎることがなく、撮像素子５の画素信号にも不足が生じないので、光学的ローパスフィルタ２での解像度の低下を極力抑制することができる。
光学的ローパスフィルタ２およびカラーフィルタ４を通過した撮像光は撮像素子５で結像し、光電変換によって画素信号が生成される。そして、撮像素子５により生成された画素信号は出力画像信号生成部６に出力され、ここで出力画像信号が生成される。このとき、撮像素子５により生成されたＮ個の画素信号からＮ個の出力画像信号が生成される。つまり、撮像素子５の解像度をそのまま活かして、高解像度の出力画像信号が生成される。
一方、動画撮影モードが設定されているときは、図７（ｂ）のように光学的ローパスフィルタ２の液晶に対して電圧Ｖ２が印加され、光線分離幅が比較的広い第２の幅Ｗ２となるように制御される。これにより、光学的ローパスフィルタ２のカットオフ周波数ｆｃが、出力画像の画素のナイキスト周波数に相当する周波数、または、この周波数を少し超えるくらいに設定される。その結果、出力画像における充分な解像度を保ちつつ、静止画撮影モードよりも強く偽色の発生を抑制することができる。
光学的ローパスフィルタ２およびカラーフィルタ４を通過した撮像光は撮像素子５で結像し、光電変換によって画素信号が生成される。そして、撮像素子５により生成された画素信号は出力画像信号生成部６に出力され、ここで出力画像信号が生成される。このとき、撮像素子５により生成されたＮ個の画素信号から１個の出力画像信号が生成される。
すなわち、撮像素子５の画素数が動画の規格で要求される表示画素数よりも多く設定されていて、動画にとっては画素数が余分にある撮像素子５で得られたＮ個の画素信号から表示画素数に合った出力画像信号が生成される。これにより、カットオフ周波数ｆｃが低く設定された光学的ローパスフィルタ２で解像度が低下しても、出力画像信号の生成の際に出力画像信号にはもともと不要な解像度に相当する高周波成分がカットされているだけなので、動画の規格で要求される表示解像度は充分に満足させることができる。
以上詳しく説明したように、本実施形態によれば、静止画撮影モードのときには、必要最小限の偽色が抑制されていて、かつ、高解像度の静止画を得ることができる。また、動画撮影モードのときには、動画の規格で要求される表示解像度を満足し、かつ、偽色が効果的に抑制された動画を得ることができる。また、本実施形態によれば、光学的ローパスフィルタ２の液晶に対する印加電圧を制御することで光線分離幅を変えているので、静止画撮影モードに最適な周波数特性と動画撮影モードに最適な周波数特性とを簡単に切り替えることができる。
なお、上記実施形態では、光学的ローパスフィルタ２が液晶を素材とする複屈折板から成るものとして説明したが、本発明はこれに限定されない。すなわち、光の複屈折効果を有し、光線分離幅を電気的に制御可能な素材であれば、光学的ローパスフィルタ２の素材として適用することが可能である。
また、上記実施形態では、光学的ローパスフィルタ２の構成例として、図７のように１枚の液晶板によって複屈折率を動的に変える例について説明したが、本発明はこれに限定されない。例えば、図１１に示すように、複数枚の液晶板によって複屈折率を動的に変えるように構成することも可能である。
図１１の例では、光学的ローパスフィルタ２は、入射光の偏光状態（旋光性）を制御可能なツイストネマチック型の偏光液晶層３１と、偏光液晶層３１の入射側と射出側にそれぞれ配置されていて、入射光線を常光線と異常光線とに分離して出力する一対の液晶層３２，３３（請求項５による一対の複屈折層に相当）とを備えている。液晶層３２，３３の結晶軸の傾斜方向は、互いに同じであっても良いし、異なっていても良い。これらの偏光液晶層３１と一対の液晶層３２，３３とにより、本発明の可変焦点層が構成される。
図１１の例では、静止画撮影モードか動画撮影モードかに応じて、偏光液晶層３１における偏光状態を可変制御することにより、一方の液晶層３２に対する入射光線が偏光液晶層３１と一対の液晶層３２，３３とを通過することによって得られる出力光線の分離幅を、静止画撮影モードのときは図１１（ａ）のように第１の幅Ｗ１とし、動画撮影モードのときは図１１（ｂ）のように第２の幅Ｗ２とするようにしている。偏光液晶層３１における偏光状態の制御は、偏光液晶層３１に対する印加電圧の有無によって実現することができる。
図１２は、偏光液晶層３１の液晶分子２１の配列を示す図である。図１２に示すように、一定方向に微細な溝のある配向膜３１ａ，３１ｂに液晶を接触させると、液晶分子２１は溝に沿って並ぶ。溝の向きを９０度変えた２枚の配向膜３１ａ，３１ｂで液晶を挟むことにより、液晶層内で液晶分子２１は９０度ねじれて配列する。このように液晶分子２１の配列が９０度ねじれた状態の液晶に光を通すと、光は液晶分子２１が並ぶ隙間に沿って９０度ねじれて通っていく。これにより、偏光液晶層３１を通過する前後で光の振動方向が９０度変わる。
このような偏光液晶層３１に電圧をかけると、液晶分子２１の配列が変わる。すなわち、液晶分子２１は、配向膜３１ａ，３１ｂに対して印加電圧の大きさに応じた角度を持って配列するようになる。本実施形態では、ＣＰＵ９が印加電圧の有無を制御することにより、図１１に示すように、液晶分子２１が配向膜３１ａ，３１ｂに対して０度（平行）または９０度（直角）のどちらかとなるように制御する。
図１１に示す光学的ローパスフィルタ２の場合、入射光線は、まず、一方の液晶層３２によって常光線と異常光線とに分かれ、空間的にΔＡだけ分離して射出する。図１１では、常光線は紙面に垂直に振動する偏光として、異常光線は紙面内で振動する偏光として描かれている。一方の液晶層３２により分離された常光線と異常光線は、次に偏光液晶層３１に入射する。
ここで、図１１（ａ）に示すように、偏光液晶層３１に対する印加電圧がオフのときは、液晶分子２１は配向膜３１ａ，３１ｂに平行になっている。そのため、一方の液晶層３２を通過した撮像光は、偏光液晶層３１を通過することで９０度ねじれる。そのため、偏光液晶層３１に入射した常光線と異常光線との振動面の向きが変化する。ここでは、振動面の向きが９０度変化するので、一方の液晶層３２から射出した常光線は他方の液晶層３３に対しては異常光線となり、一方の液晶層３２から射出した異常光線は他方の液晶層３３に対しては常光線となる。
このため、一方の液晶層３２から射出した常光線は他方の液晶層３３でΔＢだけ変位して射出し、一方の液晶層３２から射出した異常光線は他方の液晶層３３で変位することなく射出する。その結果、ここでは、ΔＡ＞ΔＢであるから、光学的ローパスフィルタ２の全体としての光線分離幅である第１の幅Ｗ１は、Ｗ１＝ΔＡ−ΔＢとなる。
一方、図１１（ｂ）に示すように、偏光液晶層３１に対する印加電圧をオンとしたときは、液晶分子２１は配向膜３１ａ，３１ｂに垂直になっている。そのため、一方の液晶層３２を通過した撮像光は、偏光液晶層３１を何らねじれることなく通過する。そのため、一方の液晶層３２から射出した常光線は他方の液晶層３３に対しても常光線となり、一方の液晶層３２から射出した異常光線は他方の液晶層３３に対しても異常光線となる。
このため、一方の液晶層３２から射出した常光線は他方の液晶層３３でも変位することなく射出し、一方の液晶層３２から射出した異常光線は他方の液晶層３３で更にΔＢだけ変位して射出する。その結果、光学的ローパスフィルタ２の全体としての光線分離幅である第２の幅Ｗ２は、Ｗ２＝ΔＡ＋ΔＢとなる。
この図１１のように光学的ローパスフィルタ２を構成した場合、偏光液晶層３１に対する印加電圧の有無によって光線分離幅を可変制御することができる。そのため、図７の例のように異なる２つの印加電圧Ｖ１，Ｖ２を用意する必要がない。また、図７の場合は静止画撮影モードと動画撮影モードのどちらに設定している場合にも電圧を印加する必要があるが、図１１の場合は静止画撮影モードのときに電圧を印加する必要がなく、低消費電力化を図ることができる。
なお、図１１の例では、一対の複屈折層の例として液晶層３２，３３を用いているが、液晶の代わりに水晶またはニオブ酸リチウムなどを用いても良い。
また、図１１の例では、偏光液晶層３１の入射側と射出側とに一対の液晶層３２，３３を配置しているが、これに限定されない。例えば、図１３に示すように、２つの液晶層１１，３２を重ねて光学的ローパスフィルタ２を構成しても良い。すなわち、図１３に示す構成では、図７と同様の液晶層１１（請求項６における第１の複屈折層に相当）の入射側に、図１１と同様の液晶層３２（請求項６における第２の複屈折層に相当）を設けている。上層に位置する液晶層３２の結晶軸は、入射光線の光軸に対して所定の固定角度を持って傾斜している。また、下層に位置する液晶層１１の結晶軸の傾斜は、印加される電圧の有無によって変化するようになっている。
図１３の例では、静止画撮影モードか動画撮影モードかに応じて、下層の液晶層１１に対する印加電圧の有無を制御することにより、上層の液晶層３２に対する入射光線が下層の液晶層１１を通過することによって得られる出力光線の分離幅を、静止画撮影モードのときは図１３（ａ）のように第１の幅Ｗ１とし、動画撮影モードのときは図１３（ｂ）のように第２の幅Ｗ２とするようにしている。
図１３に示す光学的ローパスフィルタ２の場合、入射光線は、まず、上層の液晶層３２によって常光線と異常光線とに分かれ、空間的にΔＡだけ分離して射出する。図１３では、常光線は紙面に垂直に振動する偏光として、異常光線は紙面内で振動する偏光として描かれている。上層の液晶層３２により分離された常光線と異常光線は、下層の液晶層１１に入射する。
ここで、図１３（ａ）に示すように、下層の液晶層１１に対する印加電圧がオフのときは、液晶分子は入射光線の光軸に対して平行になっている。そのため、上層の液晶層３２から射出した常光線および異常光線は共に、下層の液晶層１１で変位することなく射出する。その結果、光学的ローパスフィルタ２の全体としての光線分離幅である第１の幅Ｗ１は、Ｗ１＝ΔＡとなる。
一方、図１３（ｂ）に示すように、下層の液晶層１１に対する印加電圧をオンとしたときは、液晶分子は入射光線の光軸に対してある程度の傾斜を持って並ぶ。そのため、上層の液晶層３２から射出した常光線は下層の液晶層１１でも変位することなく射出するが、上層の液晶層３２から射出した異常光線は下層の液晶層１１で更にΔＢだけ変位して射出する。その結果、光学的ローパスフィルタ２の全体としての光線分離幅である第２の幅Ｗ２は、Ｗ２＝ΔＡ＋ΔＢとなる。
この図１３のように光学的ローパスフィルタ２を構成した場合は、下層の液晶層１１に対する印加電圧の有無によって光線分離幅を可変制御することができる。そのため、異なる２つの印加電圧Ｖ１，Ｖ２を用意する必要がない。また、静止画撮影モードのときに電圧を印加する必要がなく、低消費電力化を図ることができる。
なお、図１３の例では、液晶層１１の入射側に配置する複屈折層の例として液晶層３２を用いているが、液晶の代わりに水晶またはニオブ酸リチウムなどを用いても良い。また、図１３では、液晶層１１の入射側に液晶層３２を配置する例について示しているが、液晶層１１の射出側に液晶層３２を配置するようにしても良い。また、図７の場合と同様に、液晶層１１も液晶を素材とするものである必要は必ずしもない。すなわち、光の複屈折効果を有し、光線分離幅を電気的に制御可能な素材であれば、液晶層１１の代わりに用いることが可能である。
図１４は、光学的ローパスフィルタ２の他の構成例を示す図である。図１４に示す光学的ローパスフィルタ２は、図１１に示した３層構造のローパスフィルタ４１，４２を２個備え、それらを結晶軸を含む面が互いに直交または斜交するようにして重ねるとともに、両者の間に１／４波長板４３（直線偏光を円偏光にする作用を有している）を配置することによって構成されている。
図１４に示す光学的ローパスフィルタ２では、１段目の光学的ローパスフィルタ４１によって入射光線をｘ軸方向に沿って常光線と異常光線とに分離し、１／４波長板４３によって光学的ローパスフィルタ４１から入射する直線偏光を円偏光に変える。そして、２段目の光学的ローパスフィルタ４２によって１／４波長板４３からの２本の入射光線をそれぞれｙ軸に沿って常光線と異常光線とに分離することにより、２次元状に４本の光線に分離する。
１本の入射光線を複数の光線に２次元状に分離するための構成は、図１４のような構成に限定されない。例えば、図１５に示すような構成とすることも可能である。なお、図１５において、黒丸は分離される複数の光線の位置関係を示している。
図１５（ａ）の構成では、図７、図１１または図１３に示した構成の１次元的光学的ローパスフィルタを２個備え、それらを結晶軸を含む面が互いに直交または斜交するようにして重ねて配置する。重ねて配置する２つの１次元的光学的ローパスフィルタは、図７、図１１、図１３の中の何れか１つを採用して共に同じ構成としても良いし、図７、図１１、図１３の中の何れか２つを採用して互いに異なる構成としても良い。
図１５（ｂ）の構成では、図７、図１１または図１３に示した構成の１次元的光学的ローパスフィルタを３個備え、それらを結晶軸を含む面が互いに直交または斜交するようにして重ねて配置する。重ねて配置する３つの１次元的光学的ローパスフィルタは、図７、図１１、図１３の中の何れか１つを採用して何れも同じ構成としても良いし、図７、図１１、図１３の中の何れか２つまたは３つを採用して任意の順番で組み合わせても良い。
図１５（ｃ）の構成では、図７、図１１または図１３に示した構成の１次元的光学的ローパスフィルタを２個備え、それらを結晶軸を含む面が互いに直交または斜交するようにして重ねるとともに、両者の間に１／４波長板を配置する。１／４波長板の両側に配置する２つの１次元的光学的ローパスフィルタは、図７、図１１、図１３の中の何れか１つを採用して共に同じ構成としても良いし、図７、図１１、図１３の中の何れか２つを採用して組み合わせても良い。１／４波長板の両側に共に図１１の構成の１次元的光学的ローパスフィルタを配置した例が、図１４の構成に相当する。
また、上記実施形態では、撮像素子５に結像する像のぼけ具合を可変とするための可変焦点層の一例として、液晶等を素材とする複屈折板を用いる例について説明したが、本発明はこれに限定されない。例えば、液晶レンズにより可変焦点層を構成するようにしても良い。
液晶レンズは、液晶を利用したレンズの一種である。液晶をレンズ状の空間に封入し、印加する電圧を調整すると、見かけ上の液晶の屈折率が変化する。同じ形状のレンズであっても、それを構成する液晶の屈折率が変化すると、レンズの焦点距離が変化する。このように、液晶レンズを用いると、電気信号のみの制御によりレンズの焦点距離を変化させることができる。
液晶レンズを可変焦点層として用いる場合は、静止画撮影モードか動画撮影モードかに応じて、液晶レンズに対する電圧の印加を制御することにより、液晶レンズの屈折率の変化を通じて焦点距離を可変制御する。これによって、静止画撮影モードのときは像のぼけ具合を第１の量とし、動画撮影モードのときは像のぼけ具合を第２の量とする。
また、上記実施形態では、撮像素子５の画素配列が正方格子配列である場合を例に挙げて説明したが、これに限定されない。例えば、４５°傾斜正方格子配列であっても良い。
なお、上記実施形態において、静止画撮影モードと動画撮影モードの設定は、撮像装置１に備えられた図示しないモード設定用操作子をユーザが操作することによって行うことが可能である。また、動画撮影モードを設定してユーザが動画の撮影中においても、ユーザが静止画の撮影用シャッタを押下したときに、一時的に静止画撮影モードに自動的に切り替えるようにすることも可能である。このようにして設定されたモード情報は、撮像装置１の図示しないメモリに保存される。そして、ＣＰＵ８が、このメモリに保存されたモード情報を参照することによって、光学的ローパスフィルタ２に対する印加電圧を制御する。
その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。
本発明の光学的ローパスフィルタは、１台のカメラで動画と静止画の双方を撮影できるように成されたハイブリッドカメラに有用である。

Claims (10)

  1. 静止画撮影モードか動画撮影モードかに応じて、撮像素子に結像する像のぼけ具合を可変制御することにより、上記静止画撮影モードのときは上記像のぼけ具合を第１の量とし、上記動画撮影モードのときは上記像のぼけ具合を上記第１の量よりも多い第２の量とするようにしたことを特徴とする光学的ローパスフィルタ。
  2. 印加される電圧に応じて光の屈折率が変化し、これによって上記像のぼけ具合が変化するように成された可変焦点層を備え、
    上記可変焦点層に対する印加電圧によって上記像のぼけ具合を電子的に切替可能に構成したことを特徴とする請求の範囲第１項に記載の光学的ローパスフィルタ。
  3. 上記可変焦点層は液晶レンズから成り、
    上記静止画撮影モードか上記動画撮影モードかに応じて上記液晶レンズに対する印加電圧を制御し、上記液晶レンズの屈折率の変化を通じて焦点距離を可変制御することにより、上記像のぼけ具合を電子的に切り替えるようにしたことを特徴とする請求の範囲第２項に記載の光学的ローパスフィルタ。
  4. 上記可変焦点層は、入射光線を常光線と異常光線とに分離して出力する複屈折層から成り、
    上記静止画撮影モードか上記動画撮影モードかに応じて上記複屈折層に対する印加電圧を制御し、上記複屈折層より出力される上記常光線および上記異常光線の光線分離幅を可変制御することにより、上記静止画撮影モードのときは上記光線分離幅を第１の幅とすることによって上記像のぼけ具合を上記第１の量とし、上記動画撮影モードのときは上記光線分離幅を上記第１の幅よりも広い第２の幅とすることによって上記像のぼけ具合を上記第２の量とするようにしたことを特徴とする請求の範囲第２項に記載の光学的ローパスフィルタ。
  5. 上記可変焦点層は、入射光の偏光状態を制御可能な偏光液晶層と、上記偏光液晶層の入射側および射出側にそれぞれ配置されていて、入射光線を常光線と異常光線とに分離して出力する一対の複屈折層とから成り、
    上記静止画撮影モードか上記動画撮影モードかに応じて上記偏光液晶層に対する印加電圧を制御し、上記偏光液晶層における偏光状態を可変制御することにより、入射光線が上記偏光液晶層と上記一対の複屈折層とを通過することによって得られる出力光線の分離幅を、上記静止画撮影モードのときは第１の幅とすることによって上記像のぼけ具合を上記第１の量とし、上記動画撮影モードのときは上記第１の幅よりも広い第２の幅とすることによって上記像のぼけ具合を上記第２の量とするようにしたことを特徴とする請求の範囲第２項に記載の光学的ローパスフィルタ。
  6. 上記可変焦点層は、入射光線を常光線と異常光線とに分離して出力する第１の複屈折層と、上記第１の複屈折層の入射側および射出側の少なくとも一方に配置されていて、入射光線を常光線と異常光線とに分離して出力する第２の複屈折層とから成り、
    上記静止画撮影モードか上記動画撮影モードかに応じて上記第１の複屈折層に対する印加電圧を制御し、上記第１の複屈折層より出力される上記常光線および上記異常光線の光線分離幅を可変制御することにより、入射光線が上記第１の複屈折層と上記第２の複屈折層とを通過することによって得られる出力光線の分離幅を、上記静止画撮影モードのときは第１の幅とすることによって上記像のぼけ具合を上記第１の量とし、上記動画撮影モードのときは上記第１の幅よりも広い第２の幅とすることによって上記像のぼけ具合を上記第２の量とするようにしたことを特徴とする請求の範囲第２項に記載の光学的ローパスフィルタ。
  7. 請求の範囲第４項〜第６項の何れか１項に記載の光学的ローパスフィルタを２個備え、当該２個の光学的ローパスフィルタを結晶軸を含む面が互いに直交または斜交するようにして重ねて配置したことを特徴とする光学的ローパスフィルタ。
  8. 請求の範囲第４項〜第６項の何れか１項に記載の光学的ローパスフィルタを３個備え、当該３個の光学的ローパスフィルタを結晶軸を含む面が互いに直交または斜交するようにして重ねて配置したことを特徴とする光学的ローパスフィルタ。
  9. 請求の範囲第４項〜第６項の何れか１項に記載の光学的ローパスフイルタを２個備え、当該２個の光学的ローパスフィルタを結晶軸を含む面が互いに直交または斜交するようにして重ねるとともに、上記２個の光学的ローパスフィルタの間に、直線偏光を円偏光に変換する１／４波長板を配置したことを特徴とする光学的ローパスフィルタ。
  10. 請求の範囲第１項〜第９項の何れか１項に記載の光学的ローパスフィルタと、
    上記光学的ローパスフィルタを通過した撮像光を結像し、光電変換により画素信号を生成する撮像素子と、
    上記撮像素子により生成された画素信号から出力画像信号を生成する出力画像信号生成部であって、上記動画撮影モードのときは上記撮像素子により生成されたＮ個（Ｎは２以上の実数）の画素信号から１個の出力画像信号を生成するように成された出力画像信号生成部とを備え、
    上記撮像素子の画素数は、動画の規格で定められている表示画素数より多く設定されていることを特徴とする撮像装置。
JP2007554995A 2006-01-20 2007-01-16 撮像装置 Expired - Fee Related JP4558804B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2006012672 2006-01-20
JP2006012672 2006-01-20
PCT/JP2007/050861 WO2007083783A1 (ja) 2006-01-20 2007-01-16 光学的ローパスフィルタおよびこれを用いた撮像装置

Publications (2)

Publication Number Publication Date
JPWO2007083783A1 true JPWO2007083783A1 (ja) 2009-06-11
JP4558804B2 JP4558804B2 (ja) 2010-10-06

Family

ID=38287728

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007554995A Expired - Fee Related JP4558804B2 (ja) 2006-01-20 2007-01-16 撮像装置

Country Status (7)

Country Link
US (1) US20090169126A1 (ja)
EP (1) EP1978753A4 (ja)
JP (1) JP4558804B2 (ja)
KR (1) KR20080089601A (ja)
CN (1) CN101366289A (ja)
TW (1) TW200730880A (ja)
WO (1) WO2007083783A1 (ja)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005117453A1 (ja) * 2004-05-26 2005-12-08 Acutelogic Corporation 撮像装置
JPWO2011105581A1 (ja) * 2010-02-26 2013-06-20 旭硝子株式会社 光学ローパスフィルタおよびデジタルカメラ
JP2011232650A (ja) * 2010-04-28 2011-11-17 Asahi Glass Co Ltd 光学ローパスフィルタ及びデジタルカメラ
JP4991907B2 (ja) * 2010-05-11 2012-08-08 キヤノン株式会社 画像処理装置、および、画像処理装置の制御方法
JP5510105B2 (ja) * 2010-06-21 2014-06-04 株式会社ニコン ディジタルカメラ
JP2012175449A (ja) * 2011-02-22 2012-09-10 Sony Corp 撮像装置、撮像方法及び撮像制御プログラム
JP5837766B2 (ja) * 2011-03-25 2015-12-24 株式会社有沢製作所 光回折素子及び光学ローパスフィルタ
JP2012225958A (ja) * 2011-04-14 2012-11-15 Asahi Glass Co Ltd 光学ローパスフィルタおよび撮像機器
JP6125878B2 (ja) * 2013-04-01 2017-05-10 ソニーセミコンダクタソリューションズ株式会社 固体撮像装置および電子機器
JP6291747B2 (ja) 2013-08-28 2018-03-14 ソニー株式会社 光学的ローパスフィルタ、撮像デバイスおよび撮像装置
US10122901B2 (en) * 2014-08-07 2018-11-06 Sony Corporation Control unit, imaging unit, and method of controlling liquid-crystal low pass filter
CN105527741A (zh) * 2016-02-17 2016-04-27 信利光电股份有限公司 滤光结构、改变滤光结构截止波长的方法及摄像模组
JP2017158764A (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、画像処理方法、及び記録媒体
WO2017154367A1 (ja) * 2016-03-09 2017-09-14 ソニー株式会社 画像処理装置、および画像処理方法、撮像装置ならびにプログラム
JP6789696B2 (ja) * 2016-06-30 2020-11-25 キヤノン株式会社 光学ローパスフィルタおよびそれを有する撮像装置、撮像ユニット
DE102016112968B4 (de) * 2016-07-14 2018-06-14 Basler Ag Bestimmung von Farbwerten für Pixel an Zwischenpositionen
JP7249748B2 (ja) * 2018-08-30 2023-03-31 株式会社ミツトヨ 焦点距離可変レンズ装置および焦点距離可変レンズ制御方法
CN116888524A (zh) * 2021-01-22 2023-10-13 华为技术有限公司 可变光学低通滤波器、包括所述可变光学低通滤波器的摄像头模组、包括所述摄像头模组的成像系统、包括所述成像系统的智能手机和用于控制所述成像系统的方法
CN113747035A (zh) * 2021-10-12 2021-12-03 维沃移动通信有限公司 摄像头模组和电子设备

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2556831B2 (ja) 1985-05-11 1996-11-27 オリンパス光学工業株式会社 光学的ロ−パスフイルタ−及びこれを用いた撮像装置
JPS6472119A (en) * 1987-09-11 1989-03-17 Canon Kk Optical low-pass filter
JPH06292093A (ja) 1993-03-31 1994-10-18 Sony Corp 撮像装置
JPH08214197A (ja) * 1995-01-31 1996-08-20 Sony Corp 撮像装置及び撮像方法
JPH09261535A (ja) * 1996-03-25 1997-10-03 Sharp Corp 撮像装置
JPH11183849A (ja) * 1997-12-19 1999-07-09 Sharp Corp 可変空間フィルタおよび撮像装置
JP2000333049A (ja) * 1999-05-14 2000-11-30 Sony Corp 撮像装置
US6250550B1 (en) * 1999-06-14 2001-06-26 International Business Machines Corporation Automated media storage library with variable focal length lens
US20040012710A1 (en) * 2001-01-22 2004-01-22 Tsuyoshi Yaji Optical apparatus using deformable mirror
JP2003167123A (ja) * 2001-11-30 2003-06-13 Nikon Corp 光学ローパスフィルタおよびカメラ
JP4032930B2 (ja) 2002-11-05 2008-01-16 Ｊｆｅスチール株式会社 Ｒｈ脱ガス設備での酸素含有ガス上吹き装置および低炭素高マンガン鋼の精錬方法
US7266248B2 (en) * 2003-08-08 2007-09-04 Hewlett-Packard Development Company, L.P. Method and apparatus for generating data representative of an image
WO2005117453A1 (ja) * 2004-05-26 2005-12-08 Acutelogic Corporation 撮像装置
JP4414918B2 (ja) * 2005-03-17 2010-02-17 オリンパス株式会社 ズームレンズ

Also Published As

Publication number Publication date
WO2007083783A1 (ja) 2007-07-26
JP4558804B2 (ja) 2010-10-06
TWI366680B (ja) 2012-06-21
US20090169126A1 (en) 2009-07-02
CN101366289A (zh) 2009-02-11
TW200730880A (en) 2007-08-16
EP1978753A4 (en) 2012-07-04
EP1978753A1 (en) 2008-10-08
KR20080089601A (ko) 2008-10-07

Similar Documents

Publication Publication Date Title
JP4558804B2 (ja) 撮像装置
WO2011118077A1 (ja) 立体撮像装置および視差画像復元方法
US20170078640A1 (en) Imaging apparatus, image processing method, and program
JP5947217B2 (ja) 色分離フィルタアレイ、固体撮像素子、撮像装置、および表示装置
US20090096915A1 (en) Anti-aliasing spatial filter system
JP5776006B2 (ja) 三板カメラ装置
JP6291747B2 (ja) 光学的ローパスフィルタ、撮像デバイスおよび撮像装置
CN109387950B (zh) 光学低通滤波器和成像装置
WO2017154366A1 (ja) ローパスフィルタ制御装置、およびローパスフィルタ制御方法、ならびに撮像装置
WO2013046820A1 (ja) イメージセンサ及び撮像装置
JP5634614B2 (ja) 撮像素子及び撮像装置
JP5453958B2 (ja) 撮像装置
WO2017154367A1 (ja) 画像処理装置、および画像処理方法、撮像装置ならびにプログラム
JP6824757B2 (ja) 撮像装置、その制御方法、および制御プログラム
JP6789696B2 (ja) 光学ローパスフィルタおよびそれを有する撮像装置、撮像ユニット
WO2016002447A1 (ja) フィルタ制御装置およびフィルタ制御方法、ならびに撮像装置
JP2013090085A (ja) 撮像装置、画像処理方法及びプログラム
JP2007104419A (ja) 撮影装置
JP5978570B2 (ja) 撮像装置
CN114930210B (zh) 应用空间变化偏振器的相机设备
JP3989862B2 (ja) 光学式ローパスフィルタ
WO2016021418A1 (ja) 制御装置、撮像装置、および液晶ローパスフィルタの制御方法
JP4926471B2 (ja) 光学素子およびそれを有する撮像装置
JPH10164603A (ja) 撮像装置
WO2013047080A1 (ja) 立体画撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090331

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090507

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090731

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090814

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100305

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100721

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130730

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees