JP5480175B2 - 固体電子撮像装置およびその動作制御方法 - Google Patents

固体電子撮像装置およびその動作制御方法 Download PDF

Info

Publication number
JP5480175B2
JP5480175B2 JP2011020550A JP2011020550A JP5480175B2 JP 5480175 B2 JP5480175 B2 JP 5480175B2 JP 2011020550 A JP2011020550 A JP 2011020550A JP 2011020550 A JP2011020550 A JP 2011020550A JP 5480175 B2 JP5480175 B2 JP 5480175B2
Authority
JP
Japan
Prior art keywords
row
numbered
video signal
odd
column
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011020550A
Other languages
English (en)
Other versions
JP2011217356A (ja
Inventor
謙一郎 冨永
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2011020550A priority Critical patent/JP5480175B2/ja
Publication of JP2011217356A publication Critical patent/JP2011217356A/ja
Application granted granted Critical
Publication of JP5480175B2 publication Critical patent/JP5480175B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6811Motion detection based on the image signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/684Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/689Motion occurring during a rolling shutter mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/767Horizontal readout lines, multiplexers or registers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Studio Devices (AREA)

Description

この発明は,固体電子撮像装置およびその動作制御方法に関する。
C−MOSセンサでは,フォトダイオードに蓄積された信号電荷を1行ごとに順に読み出すために,1行ごとに露光タイミングが異なる。このために,動きのある被写体を撮像すると,歪が生じることがある(いわゆるローリング歪)。このようなローリング歪を軽減するものが考えられている(特許文献1)。しかしながら,画像が得られるまでにタイムラグが生じてしまう。また,手振れがあってもローリング歪が発生するので,手振れに対する動き検出を行い,ローリング歪を軽減するものもある(特許文献2)。しかしながら,制御が複雑となる。
特開2006-54788号公報 特開2001-358999号公報
この発明は,比較的簡単にローリング歪を軽減することを目的とする。
この発明による固体電子撮像装置は,赤色,緑色もしくは青色またはシアン,マゼンタもしくはイエローの光成分を透過する特性を有するカラー・フィルタが受光面上に形成された光電変換素子が奇数行奇数列および偶数行偶数列または奇数行偶数列および偶数行奇数列に配列され,第4n(nは0以上の整数)+1行と第4n+2行において斜め方向の2つの光電変換素子に形成されているカラー・フィルタの特性と第4n+3行と第4n+4行において斜め方向の2つの光電変換素子に形成されているカラー・フィルタの特性とがそれぞれ同じであるMOSセンサ,ならびに奇数行の光電変換素子に蓄積された信号電荷を1行ずつまたは1列ずつ順に読み出して第1の映像信号として出力し,偶数行の光電変換素子に蓄積された信号電荷を,奇数行の光電変換素子に蓄積された信号電荷の読み出しと異なるように1列ずつまたは1行ずつ順に読み出して第2の映像信号として出力するように上記MOSセンサを制御する読み出し制御手段を備えていることを特徴とする。
この発明は,上記固体電子撮像装置に適した動作制御方法も提供している。すなわち,この方法は,赤色,緑色もしくは青色またはシアン,マゼンタもしくはイエローの光成分を透過する特性を有するカラー・フィルタが受光面上に形成された光電変換素子が奇数行奇数列および偶数行偶数列または奇数行偶数列および偶数行奇数列に配列されたMOSセンサにおいて,第4n(nは0以上の整数)+1行と第4n+2行において斜め方向の2つの光電変換素子に形成されているカラー・フィルタの特性と第4n+3行と第4n+4行において斜め方向の2つの光電変換素子に形成されているカラー・フィルタの特性とがそれぞれ同じであり,読み出し制御手段が,奇数行の光電変換素子に蓄積された信号電荷を1行ずつまたは1列ずつ順に読み出して第1の映像信号として出力し,偶数行の光電変換素子に蓄積された信号電荷を,奇数行の光電変換素子に蓄積された信号電荷の読み出しと異なるように1列ずつまたは1行ずつ順に読み出して第2の映像信号として出力するように上記MOSセンサを制御するものである。
この発明によると,第1の映像信号は,1行ずつまたは1列ずつ順に読み出された信号電荷にもとづくものである。MOSセンサから出力される第1の映像信号または第2の映像信号が1行ずつ順に読み出された信号電荷にもとづくものである場合には,垂直方向での露光開始時間の差は比較的大きいので,水平方向に動きのある被写体を撮像していた場合にはローリング歪が生じる。逆にMOSセンサから出力される第1の映像信号または第2の映像信号が1列ずつ順に読み出された信号電荷にもとづくものである場合には,水平方向での露光開始時間の差は比較的大きいので,垂直方向に動きのある被写体を撮像していた場合にはローリング歪が生じる。垂直方向に動きのある被写体を撮像していた場合には1行ずつ順に読み出された信号電荷にもとづく映像信号を用い,水平方向に動きのある被写体を撮像していた場合には1列ずつ順に読み出された信号電荷にもとづく映像信号を用いることにより,ローリング歪が軽減された被写体像が得られる。
上記MOSセンサによって撮像される被写体の動き方向が水平方向か垂直方向かを検出する動き方向検出手段,および上記動き方向検出手段によって水平方向の動き方向と検出されたことに応じて,上記第1の映像信号または上記第2の映像信号のうち1列ずつ順に読み出された信号電荷にもとづいて得られる映像信号を選択し,上記動き方向検出手段によって垂直方向の動き方向と検出されたことに応じて,上記第1の映像信号または上記第2の映像信号のうち1行ずつ順に読み出された信号電荷にもとづいて得られる映像信号を選択する第1の選択手段をさらに備えてもよい。
上記動き方向検出手段によって検出された動き方向の動き量を検出する動き量検出手段,ならびに上記動き量検出手段によって検出された動き量および上記動き方向検出手段によって検出された動き方向に応じたリサイズ率で上記第1の選択手段によって選択された映像信号によって表される被写体像をリサイズする第1のリサイズ手段をさらに備えてもよい。
また,上記固体電子撮像装置のぶれ方向が水平方向か垂直方向かを検出するぶれ方向検出手段,および上記ぶれ方向検出手段によって水平方向のぶれ方向と検出されたことに応じて,上記第1の映像信号または上記第2の映像信号のうち1列ずつ順に読み出された信号電荷にもとづいて得られる映像信号を選択し,上記ぶれ方向検出手段によって垂直方向のぶれ方向と検出されたことに応じて,上記第1の映像信号または上記第2の映像信号のうち1行ずつ順に読み出された信号電荷にもとづいて得られる映像信号を選択する第2の選択手段をさらに備えてもよい。
さらに,上記ぶれ方向検出手段によって検出されたぶれ方向のぶれ量を検出するぶれ量検出手段,ならびに上記ぶれ量検出手段によって検出されたぶれ量および上記ぶれ方向検出手段によって検出されたぶれ方向に応じたリサイズ率で上記第2の選択手段によって選択された映像信号によって表される被写体像をリサイズする第2のリサイズ手段をさらに備えてもよい。
上記MOSセンサは,たとえばC−MOSセンサである。
(A)はC−MOSセンサの模式図を,(B)は奇数行画像を,(C)は偶数行画像をそれぞれ示している。 奇数行画像の一例である。 偶数行画像の一例である。 奇数行画像の一例である。 偶数行画像の一例である。 C−MOSセンサの回路図である。 撮像装置の電気的構成を示すブロック図である。 被写体の一例である。 撮像装置の処理手順を示すフローチャートである。 撮像装置の電気的構成を示すブロック図である。 奇数行画像の一例である。 偶数行画像の一例である。 撮像装置の処理手順を示すフローチャートである。
図1(A)は,この発明の実施例を示すもので,C−MOS(Complementary Metal Oxide Semiconductor)センサ40の一部分の模式図を示している。この実施例ではC−MOSセンサ40について述べるが,C−MOSセンサ40以外のMOSセンサ(3MOSセンサ,LiveMOSセンサ,NMOSセンサなど)にも適用できる。
C−MOSセンサ40には,行方向および列方向に多数のフォトダイオード2および3が配列されている。奇数行に配列されているフォトダイオード2に符号「2」が付され,偶数行に配列されているフォトダイオード3に符号「3」が付されている。この実施例では,奇数行奇数列および偶数行偶数列にフォトダイオード2または3が配列されているが,奇数行偶数列および偶数行奇数列にフォトダイオード2または3が配列されるようにしてもよい。
フォトダイオード2または3の受光面上には,赤色成分,緑色成分または青色成分の光成分を透過する特性を有するカラー・フィルタが形成されている。赤色の光成分を透過するフィルタには「R」または「r」の符号が付され,緑色の光成分を透過するフィルタには「G」または「g」の符号が付され,青色の光成分を透過するフィルタには「B」または「b」の符号が付されている。第4n(nは0以上の整数)+1行と第4n+2行とにおいて斜め方向の2つの光電変換素子に形成されているカラー・フィルタの特性と第4n+3行と第4n+4行とにおいて斜め方向の2つのフォトダイオード2および3に形成されているカラー・フィルタの特性とがそれぞれ同じである。赤色成分,緑色成分または青色成分の光成分を透過する特性を有するカラー・フィルタの代わりに,シアン成分,マゼンタ成分またはイエロー成分の光成分を透過する特性を有するカラー・フィルタを設けてもよい。そのような場合であっても,上述のように,斜め方向の2つの光電変換素子に形成されているカラー・フィルタの特性は同じものとされる。
この実施例では,奇数行のフォトダイオード2に蓄積された信号電荷については,1行ずつ順に列方向に向かって読み出される。奇数行のフォトダイオード2に蓄積された信号電荷にもとづいて被写体像(奇数行画像ということにする)が得られる。
図1(B)は,奇数行画像4の一部分を示している。奇数行画像4を構成する画素P1は,C−MOSセンサ40の奇数行のフォトダイオード2に対応している。フォトダイオード2に形成されているカラー・フィルタと奇数行画素P1との関係をわかりやすくするために,画素P1には対応するフォトダイオード2に形成されているカラー・フィルタの符号も付されている。
奇数行画像4は,奇数行のフォトダイオード2に蓄積された信号電荷が1行ずつ順に列方向に向かって読み出されるから,下の行のフォトダイオード2に蓄積された信号電荷ほど上の方の行のフォトダイオード2に蓄積された信号電荷よりも読み出しタイミングが徐々に遅れる。しかしながら,右側の列のフォトダイオード2に蓄積された信号電荷の読み出しタイミングと左側の列のフォトダイオード2に蓄積された信号電荷の読み出しタイミングとはほぼ同じである。
また,この実施例では,偶数行のフォトダイオード3に蓄積された信号電荷については,1列ずつ順に行方向に向かって読み出される。偶数行のフォトダイオード3に蓄積された信号電荷にもとづいて被写体像(偶数行画像ということにする)が得られる。
図1(C)は,偶数行画像5の一部分を示している。偶数行画像5を構成する画素P2は,C−MOSセンサ40のフォトダイオード3に対応している。フォトダイオード3に形成されているカラー・フィルタと偶数行画素P2との関係をわかりやすくするために,画素P2には対応するフォトダイオード3に形成されているカラー・フィルタの符号も付されている。
偶数行画像5は,偶数行のフォトダイオード3に蓄積された信号電荷が1列ずつ順に行方向に向かって読み出されるから,右の列のフォトダイオード3に蓄積された信号電荷ほど左の列のフォトダイオード3に蓄積された信号電荷よりも読み出しタイミングが徐々に遅れる。しかしながら,上の行のフォトダイオード3に蓄積された信号電荷の読み出しタイミングと下の行のフォトダイオード3に蓄積された信号電荷の読み出しタイミングとは同じである。
上述したものとは逆に奇数行のフォトダイオード2に蓄積された信号電荷を1列ずつ順に列方向に読み出し,偶数行のフォトダイオード3に蓄積された信号電荷を1行ずつ順に行方向に読み出してもよい。
図2は,奇数行画像の一例である。
奇数行画像4Aは,水平方向に移動している被写体を表すものである。奇数行画像4Aには,水平方向に移動している被写体を表す被写体像11が含まれている。上述したように,奇数行画像4Aは,フォトダイオード2に蓄積された信号電荷を1行ずつ順に行方向に読み出して得られるものであるから,上側の行のフォトダイオード2に蓄積された信号電荷の読み出しタイミングよりも下側の行のフォトダイオード2に蓄積された信号電荷の読み出しタイミングの方が遅れる。このために,水平方向に移動している被写体を表す被写体像11は,奇数行画像4Aではローリング歪が生じ,斜めにゆがんでしまう。
図3は,偶数行画像の一例である。
偶数行画像5Aは,水平方向に移動している被写体を表すものである。偶数行画像5Aには,水平方向に移動している被写体を表す被写体像12が含まれている。上述したように,偶数行画像5Aは,フォトダイオード3に蓄積された信号電荷を1列ずつ順に列方向に読み出して得られるものであるから,上側の行のフォトダイオード2に蓄積された信号電荷の読み出しタイミングと下側の行のフォトダイオード2に蓄積された信号電荷の読み出しタイミングとは同じである。このために,水平方向に移動している被写体を表す被写体像12には,斜めのゆがみが含まれていない。
しかしながら,偶数行画像5Aでは,左側の列のフォトダイオード3に蓄積された信号電荷の読み出しタイミングよりも右側の列のフォトダイオード3に蓄積された信号電荷の読み出しタイミングの方が遅れる。このために,水平方向に移動している被写体を表す被写体像12は,移動方向に応じて伸び縮みしてしまう。この実施例では,伸び縮みした量が動き方向および動き量に応じて補正される。
図4は,奇数行画像の他の一例である。
奇数行画像4Bは,垂直方向に移動している被写体を表すものである。奇数行画像4Bには,垂直方向に移動している被写体を表す被写体像13が含まれている。上述したように,奇数行画像4Bは,フォトダイオード2に蓄積された信号電荷を1行ずつ順に列方向に読み出して得られるものであるから,右側の列のフォトダイオード2に蓄積された信号電荷の読み出しタイミングと左側の列のフォトダイオード2に蓄積された信号電荷の読み出しタイミングとは同じである。このために垂直方向に移動する被写体を表す被写体像13では水平方向のゆがみは生じない。
しかしながら,奇数行画像4Bでは,上側の行のフォトダイオード2に蓄積された信号電荷の読み出しタイミングよりも下側の行のフォトダイオード2に蓄積された信号電荷の読み出しタイミングの方が遅れる。このために,垂直方向に移動している被写体を表す被写体像13は,移動方向(垂直方向)に応じて伸び縮みしてしまうので,伸び縮みした量が動き方向および動き量に応じて補正される。
図5は,偶数行画像の一例である。
偶数行画像5Bも,垂直方向に移動している被写体を表すものである。偶数行画像5Bには,垂直方向に移動している被写体を表す被写体像14が含まれている。上述したように,偶数行画像5Bは,フォトダイオード3に蓄積された信号電荷を1列ずつ順に列方向に読み出して得られるものであるから,垂直方向に移動している被写体を現す被写体像14には斜めのゆがみが生じてしまう。
この実施例では,水平方向に移動している被写体については奇数行画像を選択し,垂直方向に移動している被写体については偶数行画像を選択するものである。斜め方向のゆがみが含まれない画像が得られる。
図6は,C−MOSセンサ40の回路図である。
上述した奇数行のフォトダイオード2には,第1のFET(Field effect transistor)21のソース端子が接続されている。第1のFET21のゲート端子には,読み出しライン25が接続されている。第1のFET21のドレイン端子には,第2のFET22のソース端子および第3のFET23のゲート端子が接続されている。第2のFET22のゲート端子およびソース端子には,リセット・ライン24およびドレイン・ライン26がそれぞれ接続されている。第3のFET23のドレイン端子およびソース端子には信号ライン27およびドレイン・ライン26が接続されている。これらのフォトダイオード2および第1から第3のFET21から23が奇数行画像の1画素に対応する。これらのフォトダイオード2および第1から第3のFET21から23のひとまとまりを,奇数行画素部20とする。
同様に,上述した偶数行のフォトダイオード3には,第1のFET(Field effect transistor)31のソース端子が接続されている。第1のFET31のゲート端子には,読み出しライン35が接続されている。第1のFET31のドレイン端子には,第2のFET32のソース端子および第3のFET33のゲート端子が接続されている。第2のFET32のゲート端子およびソース端子には,リセット・ライン34およびドレイン・ライン36がそれぞれ接続されている。第3のFET33のドレイン端子およびソース端子には信号ライン37およびドレイン・ライン36が接続されている。これらのフォトダイオード3および第1から第3のFET31から33が偶数行画像の1画素に対応する。これらのフォトダイオード3および第1から第3のFET31から33のひとまとまりを,偶数行画素部30とする。
信号ライン27および37の一端には定電流源28および38が接続されている。
第1のシフト・レジスタ25Aは,奇数行のフォトダイオード2への電荷の蓄積,排出を制御するもので,リセット・ライン24および読み出しライン25が接続されている。第1のシフト・レジスタ25Aから1行ずつ順に行方向にリセット・ライン24および読み出しライン25にリセット・パルスおよび読み出しパルスが出力することにより,奇数行のフォトダイオード2に蓄積された不要電荷がドレインから掃き出される。第1のシフト・レジスタ25Aから1行ずつ行方向に読み出しライン25に読み出しパルスが出力することにより,奇数行のフォトダイオード2に蓄積された信号電荷が信号ライン27から奇数行画像を表す第1の映像信号として出力される。
第2のシフト・レジスタ35Aは,偶数行のフォトダイオード3への電荷の蓄積,排出を制御するもので,リセット・ライン34および読み出しライン35が接続されている。第2のシフト・レジスタ35Aから1行ずつ順に行方向にリセット・ライン34および読み出しライン35にリセット・パルスおよび読み出しパルスが出力することにより,偶数行のフォトダイオード3に蓄積された不要電荷がドレインから掃き出される。第2のシフト・レジスタ35Aから1列ずつ列方向に読み出しライン35に読み出しパルスが出力することにより,偶数行のフォトダイオード3に蓄積された信号電荷が信号ライン37から偶数行画像を表す第2の映像信号として出力される。
第1の映像信号および第2の映像信号は,選択回路41に与えられる。水平方向に移動している被写体を撮像したときには,偶数行画像を表す第2の映像信号が選択回路41によって選択される。垂直方向に移動している被写体を撮像したときには,奇数行画像を表す第1の映像信号が選択回路41によって選択される。
図7は,撮像装置の電気的構成を示すブロック図である。
C−MOSセンサ40は,読み出し制御装置44によって読み出しが制御される。読み出し制御装置44からC−MOSセンサ40に読み出し制御パルスが与えられる。すると,その制御パルスは第1のシフト・レジスタ25Aおよび第2のシフト・レジスタ35Aに与えられて,奇数行画像を表す第1の映像信号および偶数行画像を表す第2の映像信号が選択回路41に入力する。
撮像装置には,動き方向/動き量検出装置42が含まれている。動き方向/動き量検出装置42によって被写体の動き方向および動き量が検出される。動き方向/動き量検出装置42には,被写体を撮像する撮像素子が含まれており,その撮像素子を用いてC−MOSセンサ40での撮像タイミングとほぼ同時のタイミングで2回撮像される。この2回の撮像により得られる2フレームの被写体像から被写体の動き方向および動き量が検出される。検出された動き方向を表すデータは選択回路41に入力し,動き量を表すデータはリサイズ装置43に入力する。
被写体が水平方向に移動している場合には偶数行画像を表す第2の映像信号が選択回路41によって選択され,被写体が垂直方向に移動している場合には奇数行画像を表す第1の映像信号が選択回路41によって選択される。選択回路41によって選択された映像信号は,リサイズ装置43に入力する。
リサイズ装置43は,入力する映像信号によって表される奇数行画像または偶数行画像を,与えられる動き量を表すデータにもとづいて垂直方向または水平方向に伸び縮みさせる補正を行うものである。被写体が水平方向に移動している場合において,右側に移動しているときには動き量は正の値となり,左側に移動しているときには動き量は負の値となる。動き量が正の値のときには,右側に移動している被写体像は縮んでいるから動き量に応じて伸びるように補正される。逆に左側に移動している被写体像は伸びているから動き量に応じて縮むように補正される。被写体が垂直方向に移動している場合において,下側に移動しているときには動き量は正の値となり,上側に移動しているときには動き量は負の値となる。動き量が正の値のときには,下側に移動している被写体像は縮んでいるから動き量に応じて伸びるように補正される。逆に上側に移動している被写体像は伸びているから動き量に応じて縮むように補正される。
リサイズ装置43において補正された映像信号が出力となる。
図8は,被写体の一例である。
被写体50には,右側に移動する動きの大きい被写体51と左側に移動する動きの小さい被写体52とが含まれている。このように被写体50の中に動きのある被写体51および52というように,動きのある被写体が複数含まれている場合には,動きの大きい被写体の動き量を補正するようにリサイズ処理される。また,動き量の大きい方の被写体の動き方向に対応した映像信号が選択回路41において選択される。
図9は,撮像装置の処理手順を示すフローチャートである。
C−MOSセンサ40によって被写体が撮像される(ステップ61)。上述のように,動き方向/動き量検出装置42によって,被写体の動き方向が検出される。被写体の動きがあれば(ステップ62でYES),動き方向が,水平方向かどうかが確認される(ステップ63)。
動き方向が水平方向であれば(ステップ63でYES),偶数行画像(第2の映像信号)が選択回路41によって選択される(ステップ64)。動き方向/動き量検出装置42によって被写体の動き量が算出される(ステップ65)。算出された動き量に応じて偶数行画像が水平方向にリサイズされる(ステップ66)。
動き方向が垂直方向であれば(ステップ63でNO),奇数行画像(第1の映像信号)が選択回路41によって選択される(ステップ64)。動き方向/動き量検出装置42によって被写体の動き量が算出される(ステップ68)。算出された動き量に応じて奇数行画像が垂直方向にリサイズされる(ステップ69)。
リサイズされた偶数行画像または奇数行画像を表す映像信号(画像データ)がメモリ・カードなどの所定の記録媒体に記録される(ステップ70)。
図10から図13は,他の実施例を示している。この実施例は手振れを検出し,その手振れ方向および手振れ量に応じて,画像を補正するものである。
図10は,撮像装置の電気的構成を示すブロック図である。この図において,図7に示すものと同一物については同一符号を付して説明を省略する。
撮像装置には,手振れ検出装置46が設けられている。手振れ検出装置46は,撮像装置の手振れ方向および手振れ量を検出するものである。検出された手振れ方向を表すデータは選択回路41に入力し,手振れ量を表すデータはリサイズ装置43に入力する。
上述した動きのある被写体と同じように,水平方向の手振れの場合には偶数行画像を表す第2の映像信号が選択され,垂直方向の手振れの場合には奇数行画像を表す第1の映像信号が選択される。また,動き量に応じたリサイズによる補正と同様に手振れ量に応じてリサイズによる補正が行われる。
図11は,奇数行画像の一例である。
奇数行画像4Cは,水平方向の手振れがあった場合の被写体を表すものである。奇数行画像4Cには,水平方向の手振れによりゆがんだ被写体像71が含まれている。
図12は,偶数行画像の一例である。
偶数行画像5Cも,水平方向の手振れがあった場合の被写体を表すものである。上述したように,偶数行画像5Cは,フォトダイオード3に蓄積された信号電荷を1列ずつ順に列方向に読み出して得られるものであるから,上側の行のフォトダイオード2に蓄積された信号電荷の読み出しタイミングと下側の行のフォトダイオード2に蓄積された信号電荷の読み出しタイミングとは同じである。このために,水平方向に手振れがあったとしても被写体像72には,斜めのゆがみが生じない。
しかしながら,水平方向の手振れがあった場合被写体像72は,手振れ方向に応じて伸び縮みしてしまう。この実施例では,伸び縮みした量が手振れ方向および手振れ量に応じて補正される。
図13は,撮像装置の処理手順を示すフローチャートである。この図において,図9に示す処理と同一の処理については同一符号を付して説明を省略する。
上述したのと同様に,被写体が撮像される(ステップ61)。手振れがあると(ステップ73でYES),手振れ方向が,水平方向かどうかが判断される(ステップ74)。
手振れ方向が水平方向であると偶数行画像が選択される(ステップ64)。手振れ量が算出され(ステップ75),手振れ量および手振れ方向に応じたリサイズ処理が行われる(ステップ66)。このリサイズ処理は,上述したように,被写体の動き量および動き方向に応じたリサイズ処理と同様である。
手振れ方向が垂直方向であると奇数行画像が選択される(ステップ67)。奇数行画像が選択された場合も,手振れ量が算出され,算出された手振れ量および手振れ方向に応じたリサイズ処理が行われる(ステップ78,69)。
2,3 フォトダイオード(光電変換素子)
40 C−MOSセンサ
41 選択回路
42 動き方向/動き量検出装置
43 リサイズ装置
44 読み出し制御装置
R,G,B,r,g,b カラー・フィルタ

Claims (7)

  1. 赤色,緑色もしくは青色またはシアン,マゼンタもしくはイエローの光成分を透過する特性を有するカラー・フィルタが受光面上に形成された光電変換素子が奇数行奇数列および偶数行偶数列または奇数行偶数列および偶数行奇数列に配列され,第4n(nは0以上の整数)+1行と第4n+2行において斜め方向の2つの光電変換素子に形成されているカラー・フィルタの特性と第4n+3行と第4n+4行において斜め方向の2つの光電変換素子に形成されているカラー・フィルタの特性とがそれぞれ同じであるMOSセンサ,ならびに
    奇数行の光電変換素子に蓄積された信号電荷を1行ずつまたは1列ずつ順に読み出して第1の映像信号として出力し,偶数行の光電変換素子に蓄積された信号電荷を,奇数行の光電変換素子に蓄積された信号電荷の読み出しと異なるように1列ずつまたは1行ずつ順に読み出して第2の映像信号として出力するように上記MOSセンサを制御する読み出し制御手段,
    を備えた固体電子撮像装置。
  2. 上記MOSセンサによって撮像される被写体の動き方向が水平方向か垂直方向かを検出する動き方向検出手段,および
    上記動き方向検出手段によって水平方向の動き方向と検出されたことに応じて,上記第1の映像信号または上記第2の映像信号のうち1列ずつ順に読み出された信号電荷にもとづいて得られる映像信号を選択し,上記動き方向検出手段によって垂直方向の動き方向と検出されたことに応じて,上記第1の映像信号または上記第2の映像信号のうち1行ずつ順に読み出された信号電荷にもとづいて得られる映像信号を選択する第1の選択手段,
    をさらに備えた請求項1に記載の固体電子撮像装置。
  3. 上記動き方向検出手段によって検出された動き方向の動き量を検出する動き量検出手段,ならびに
    上記動き量検出手段によって検出された動き量および上記動き方向検出手段によって検出された動き方向に応じたリサイズ率で上記第1の選択手段によって選択された映像信号によって表される被写体像をリサイズする第1のリサイズ手段,
    をさらに備えた請求項1または2に記載の固体電子撮像装置。
  4. 上記固体電子撮像装置のぶれ方向が水平方向か垂直方向かを検出するぶれ方向検出手段,および
    上記ぶれ方向検出手段によって水平方向のぶれ方向と検出されたことに応じて,上記第1の映像信号または上記第2の映像信号のうち1列ずつ順に読み出された信号電荷にもとづいて得られる映像信号を選択し,上記ぶれ方向検出手段によって垂直方向のぶれ方向と検出されたことに応じて,上記第1の映像信号または上記第2の映像信号のうち1行ずつ順に読み出された信号電荷にもとづいて得られる映像信号を選択する第2の選択手段,
    をさらに備えた請求項1から3のうち,いずれか一項に記載の固体電子撮像装置。
  5. 上記ぶれ方向検出手段によって検出されたぶれ方向のぶれ量を検出するぶれ量検出手段,ならびに
    上記ぶれ量検出手段によって検出されたぶれ量および上記ぶれ方向検出手段によって検出されたぶれ方向に応じたリサイズ率で上記第2の選択手段によって選択された映像信号によって表される被写体像をリサイズする第2のリサイズ手段,
    をさらに備えた請求項1から4のうち,いずれか一項に記載の固体電子撮像装置。
  6. 上記MOSセンサがC−MOSセンサである,請求項1から5のうちいずれか一項に記載の固体電子撮像装置。
  7. 赤色,緑色もしくは青色またはシアン,マゼンタもしくはイエローの光成分を透過する特性を有するカラー・フィルタが受光面上に形成された光電変換素子が奇数行奇数列および偶数行偶数列または奇数行偶数列および偶数行奇数列に配列されたMOSセンサにおいて,第4n(nは0以上の整数)+1行と第4n+2行において斜め方向の2つの光電変換素子に形成されているカラー・フィルタの特性と第4n+3行と第4n+4行において斜め方向の2つの光電変換素子に形成されているカラー・フィルタの特性とがそれぞれ同じであり,
    読み出し制御手段が,奇数行の光電変換素子に蓄積された信号電荷を1行ずつまたは1列ずつ順に読み出して第1の映像信号として出力し,偶数行の光電変換素子に蓄積された信号電荷を,奇数行の光電変換素子に蓄積された信号電荷の読み出しと異なるように1列ずつまたは1行ずつ順に読み出して第2の映像信号として出力するように上記MOSセンサを制御する,
    固体電子撮像装置の動作制御方法。
JP2011020550A 2010-03-16 2011-02-02 固体電子撮像装置およびその動作制御方法 Expired - Fee Related JP5480175B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2011020550A JP5480175B2 (ja) 2010-03-16 2011-02-02 固体電子撮像装置およびその動作制御方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2010059339 2010-03-16
JP2010059339 2010-03-16
JP2011020550A JP5480175B2 (ja) 2010-03-16 2011-02-02 固体電子撮像装置およびその動作制御方法

Publications (2)

Publication Number Publication Date
JP2011217356A JP2011217356A (ja) 2011-10-27
JP5480175B2 true JP5480175B2 (ja) 2014-04-23

Family

ID=44646946

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011020550A Expired - Fee Related JP5480175B2 (ja) 2010-03-16 2011-02-02 固体電子撮像装置およびその動作制御方法

Country Status (2)

Country Link
US (1) US8692913B2 (ja)
JP (1) JP5480175B2 (ja)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8692913B2 (en) * 2010-03-16 2014-04-08 Fujifilm Corporation Solid-state electronic image sensing apparatus and method of controlling operation of same
CN102870405B (zh) * 2011-03-09 2015-06-17 富士胶片株式会社 彩色成像元件
JP5734082B2 (ja) * 2011-05-11 2015-06-10 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
US8913153B2 (en) * 2011-10-06 2014-12-16 Aptina Imaging Corporation Imaging systems and methods for generating motion-compensated high-dynamic-range images
JP6131556B2 (ja) * 2012-09-28 2017-05-24 富士通株式会社 撮像信号処理装置及び撮像信号処理方法
EP2851900B1 (en) * 2013-09-18 2017-08-23 Nxp B.V. Media content real time analysis and semi-automated summarization for capturing a fleeting event.
KR20170046404A (ko) * 2015-10-21 2017-05-02 삼성전자주식회사 영상 촬영 장치 및 방법
FR3070779B1 (fr) * 2017-09-01 2019-09-13 Teledyne E2V Semiconductors Sas Procede d'acquisition d'image par un capteur d'image de type cmos pour la reconnaissance de code lisible optiquement
JP2019062479A (ja) * 2017-09-27 2019-04-18 京セラ株式会社 撮像装置及び移動体
US10999539B2 (en) * 2017-12-26 2021-05-04 Waymo Llc Adjustable vertical field of view

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2797393B2 (ja) * 1989-04-10 1998-09-17 キヤノン株式会社 記録再生装置
US5805217A (en) * 1996-06-14 1998-09-08 Iterated Systems, Inc. Method and system for interpolating missing picture elements in a single color component array obtained from a single color sensor
JP3724882B2 (ja) * 1996-08-14 2005-12-07 シャープ株式会社 カラー固体撮像装置
US6882364B1 (en) * 1997-12-02 2005-04-19 Fuji Photo Film Co., Ltd Solid-state imaging apparatus and signal processing method for transforming image signals output from a honeycomb arrangement to high quality video signals
JP2001358999A (ja) 2000-06-12 2001-12-26 Sharp Corp 画像入力装置
US8120690B2 (en) * 2001-04-12 2012-02-21 Nikon Corporation Imaging device
US7554067B2 (en) * 2001-05-07 2009-06-30 Panavision Imaging Llc Scanning imager employing multiple chips with staggered pixels
US7045758B2 (en) * 2001-05-07 2006-05-16 Panavision Imaging Llc Scanning image employing multiple chips with staggered pixels
US7834927B2 (en) * 2001-08-22 2010-11-16 Florida Atlantic University Apparatus and method for producing video signals
JP4531484B2 (ja) * 2004-08-16 2010-08-25 パナソニック株式会社 カメラシステム
JP4449936B2 (ja) * 2006-03-31 2010-04-14 ソニー株式会社 撮像装置、カメラシステムおよびその駆動方法
JP5011814B2 (ja) * 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US8169521B2 (en) * 2008-05-20 2012-05-01 Sywe Neng Lee Image sampling method and image processing method thereof
US8035711B2 (en) * 2008-05-22 2011-10-11 Panavision Imaging, Llc Sub-pixel array optical sensor
US8692913B2 (en) * 2010-03-16 2014-04-08 Fujifilm Corporation Solid-state electronic image sensing apparatus and method of controlling operation of same

Also Published As

Publication number Publication date
US20110228114A1 (en) 2011-09-22
US8692913B2 (en) 2014-04-08
JP2011217356A (ja) 2011-10-27

Similar Documents

Publication Publication Date Title
JP5480175B2 (ja) 固体電子撮像装置およびその動作制御方法
US9036068B2 (en) CMOS image sensor with fast read out
JP5739640B2 (ja) 撮像素子及び撮像装置
JP4951440B2 (ja) 撮像装置及び固体撮像素子の駆動方法
JP5608820B2 (ja) 撮像装置及び合焦制御方法
US8830384B2 (en) Imaging device and imaging method
JP5657184B2 (ja) 撮像装置及び信号処理方法
JP2008301360A (ja) 撮像装置、撮像方法および集積回路
JP4678849B2 (ja) 撮像装置及びその制御方法及びプログラム及び記憶媒体
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
JP2013243781A (ja) 撮像素子およびその制御方法並びにカメラ
JP4929584B2 (ja) 信号処理方法および信号処理装置並びに物理量分布検知のための半導体装置
JP4745677B2 (ja) 撮像装置
JP5398610B2 (ja) 固体電子撮像装置およびその動作制御方法
JP4181871B2 (ja) 固体撮像素子の駆動方法
JP4634953B2 (ja) 固体撮像装置および駆動方法
JP2007235888A (ja) 単板式カラー固体撮像素子及び撮像装置
JP2009303020A (ja) 撮像装置及び欠陥画素補正方法
JP2008148022A (ja) 固体撮像素子の駆動方法並びに撮像装置
JP2008228118A (ja) 固体電子撮像素子の補正装置およびその補正方法
JP6572074B2 (ja) 撮像装置
JP2009049523A (ja) 固体撮像素子、撮像装置、及び固体撮像素子の駆動方法
JP2005260411A (ja) 高感度撮像装置
JP2007159024A (ja) Ccd型固体撮像素子の駆動方法及びccd型固体撮像装置
JP2009044620A (ja) 固体撮像素子の画素混合読出方法及び撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140121

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140213

R150 Certificate of patent or registration of utility model

Ref document number: 5480175

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees