JP6992753B2 - 撮像制御装置および撮像制御方法、並びに撮像素子 - Google Patents

撮像制御装置および撮像制御方法、並びに撮像素子 Download PDF

Info

Publication number
JP6992753B2
JP6992753B2 JP2018529758A JP2018529758A JP6992753B2 JP 6992753 B2 JP6992753 B2 JP 6992753B2 JP 2018529758 A JP2018529758 A JP 2018529758A JP 2018529758 A JP2018529758 A JP 2018529758A JP 6992753 B2 JP6992753 B2 JP 6992753B2
Authority
JP
Japan
Prior art keywords
pixel
pixels
image
read
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018529758A
Other languages
English (en)
Other versions
JPWO2018021034A1 (ja
Inventor
大輔 宮腰
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2018021034A1 publication Critical patent/JPWO2018021034A1/ja
Application granted granted Critical
Publication of JP6992753B2 publication Critical patent/JP6992753B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • H04N23/651Control of camera operation in relation to power supply for reducing power consumption by affecting camera operations, e.g. sleep mode, hibernation mode or power off of selective parts of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/42Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by switching between different modes of operation using different resolutions or aspect ratios, e.g. switching between interlaced and non-interlaced mode
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/445Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by skipping some contiguous pixels within the read portion of the array
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50Control of the SSIS exposure
    • H04N25/53Control of the integration time
    • H04N25/531Control of the integration time by controlling rolling shutters in CMOS SSIS
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/62Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels
    • H04N25/621Detection or reduction of noise due to excess charges produced by the exposure, e.g. smear, blooming, ghost image, crosstalk or leakage between pixels for the control of blooming
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/7795Circuitry for generating timing or clock signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

本開示は、撮像制御装置および撮像制御方法、並びに撮像素子に関し、特に、行単位での間引きによる省電力化を実現しつつ、読み出しモードを切り替える際にも無効フレームを発生させないようにした撮像制御装置および撮像制御方法、並びに撮像素子に関する。
CMOS(Complementary Metal Oxide Semiconductor)イメージセンサに代表される撮像素子は、多画素化が急速に進んでいる。CMOSイメージセンサの画素数が多画素化すると、高画質化を実現することができる反面、1画面(1画像)を得るために係る消費電力は大きくなる。
しかしながら、撮像素子は、携帯性の高い装置に搭載されることも多くあり、携帯性の観点から、撮像素子の駆動に必要なバッテリの大きさにも限界があるため、撮像素子の省電力化のニーズが高まっている。
撮像素子で動画像を撮像する場合、撮像の条件によっては、必ずしも高画質な画像が必要とされないことがあり、そのような条件下における画像については、画素アレイにおける画素を読み出す際、所定の行数を間引いて読み出すようにして低画質化することで、高速撮像を実現すると共に、省電力化を実現させる技術が提案されている(特許文献1参照)。
特開2010-183558号公報
しかしながら、特許文献1の技術のように画素アレイの画素信号を行単位で間引いて読み出す際、ローリングシャッタで制御される撮像素子においては、読み出す画素信号を行単位で間引くモードに切り替えられる瞬間や、間引く行間隔が異なるモードに切り替えられるようなとき、間引くべき行や読み出すべき行が変化することにより、無効フレームが発生してしまい、モードが切り替えられた瞬間の画像を視聴するにあたっては、違和感が生じてしまうことがあった。
本開示は、このような状況に鑑みてなされたものであり、特に、CMOSイメージセンサに代表される撮像素子をローリングシャッタにより撮像する場合において、行単位の間引きによる省電力化のメリットを保ちつつ、行単位での間引きモードが切り替えられる際にも無効フレームの発生を抑制するものである。
本開示の一側面の撮像制御装置は、入射光の光量に応じた電荷を画素信号として蓄積する、アレイ状に配置された複数の画素からの前記画素信号の、前記画素の所定数を行単位で間引いた読み出しを制御する制御部と、前記画素の動作状態を判定する判定部と、前記判定部の判定結果に基づいて、前記画素により撮像された画素信号からなる画像の画質のモードに対応する、前記所定数に対応する値を含むモード切替信号を設定する設定部と、水平同期クロック信号を発生する水平同期クロック信号発生部と、前記水平同期クロック信号に基づいて、カウントアップするカウンタと、前記設定部により設定された前記モード切替信号に含まれる値と、前記カウンタの値とを比較し、一致したとき、読出パルスを発生する比較部とを含み、前記制御部は、前記複数の画素の行単位での画素リセットを、前記画素の全行について、それぞれの行毎に一定の間隔で制御前記読出パルスに基づいて、前記画素を前記所定数の行単位で間引いて、画素読み出しさせるように制御し、前記モード切替信号に含まれる値と、前記カウンタの値とが、一致したとき、前記カウンタの値はリセットする撮像制御装置である。
前記水平同期クロック信号発生部には、水平方向に1列分の処理を規定する水平同期クロック信号を発生せるようにすることができ、前記制御部には、前記水平同期クロック信号に同期して、前記水平同期クロック信号が1個について、前記画素を1行ずつ順次前記行単位で画素リセットさせるようにすることができる。
前記画素により撮像された画素信号からなる画像を時系列に記憶するフレームメモリをさらに含ませるようにすることができ、前記判定部には、前記フレームメモリに記憶された時系列の画像の比較による、前記画像内の動被写体の有無に基づいて、前記画素の動作状態を判定させるようにすることができる。
前記判定部により、前記画素の動作状態として、前記画像内に動被写体が有る状態であると判定された場合、前記制御部には、前記画素により撮像された画素信号からなる画像を、所定の画質のモードに対応するモード切替信号に基づいて、前記画素を所定数の行単位で間引いて、前記画素読み出しさせるように制御させ、前記判定部により、前記画素の動作状態として、前記画像内に動被写体が無い状態であると判定された場合、前記制御部には、前記画素により撮像された画素信号からなる画像を、前記所定の画質よりも低い画質のモードに対応するモード切替信号に基づいて、前記画素を所定数の行単位で間引いて、前記画素読み出しさせるように制御させるようにすることができる。
前記判定部により、前記画素の動作状態として、前記画像内に動被写体が有る状態であると判定された場合、前記設定部には、前記所定数に対応する値として、第1の値の情報を含むモード切替信号を設定させ、前記制御部には、前記画素により撮像された画素信号からなる画像を、前記所定の画質のモードに対応する、前記モード切替信号に含まれる前記第1の値に応じた行単位で、前記画素を間引いて、前記画素読み出しさせるように制御させ、前記判定部により、前記画素の動作状態として、前記画像内に動被写体が無い状態であると判定された場合、前記設定部には、前記所定数に対応する値として、前記第1の値よりも大きな第2の値の情報を含むモード切替信号を設定させ、前記制御部には、前記画素により撮像された画素信号からなる画像を、前記所定の画質よりも低い画質のモードに対応する、前記モード切替信号に含まれる前記第2の値に応じた行単位で、前記画素を間引いて、前記画素読み出しさせるように制御させるようにすることができる。
駆動用のバッテリをさらに含ませるようにすることができ、前記判定部には、前記バッテリのレベルであるバッテリレベルに基づいて、前記画素の動作状態を判定させるようにすることができる。
前記判定部により、前記バッテリレベルに基づいて、前記画素の動作状態として、前記バッテリレベルが所定の値より高い状態であると判定された場合、前記制御部には、前記画素により撮像された画素信号からなる画像を、所定の画質のモードに対応するモード切替信号に基づいて、前記画素を所定数の行単位で間引いて、前記画素読み出しさせるように制御させ、前記判定部により、前記バッテリレベルに基づいて、前記画素の動作状態として、前記バッテリレベルが所定の値より低い状態であると判定された場合、前記制御部には、前記画素により撮像された画素信号からなる画像を、前記所定の画質よりも低い画質のモードに対応するモード切替信号に基づいて、前記画素を所定数の行単位で間引いて、前記画素読み出しさせるように制御させるようにすることができる。
前記判定部により、前記バッテリレベルに基づいて、前記画素の動作状態として、前記バッテリレベルが所定の値より高い状態であると判定された場合、前記設定部には、前記所定数に対応する値として、第1の値の情報を含むモード切替信号を設定させ、前記制御部には、前記画素により撮像された画素信号からなる画像を、前記所定の画質のモードに対応する、前記モード切替信号に含まれる前記第1の値に応じた行単位で、前記画素を間引いて、前記画素読み出しさせるように制御させ、前記判定部により、前記バッテリレベルに基づいて、前記画素の動作状態として、前記バッテリレベルが所定の値より低い状態であると判定された場合、前記設定部には、前記所定数に対応する値として、前記第1の値よりも大きな第2の値の情報を含むモード切替信号を設定させ、前記制御部には、前記画素により撮像された画素信号からなる画像を、前記所定の画質よりも低い画質のモードに対応する、前記モード切替信号に含まれる前記第2の値に応じた行単位で、前記画素を間引いて、前記画素読み出しさせるように制御させるようにすることができる。
前記水平同期クロック信号発生部には、水平方向に1列分の処理を規定する水平同期クロック信号を発生せるようにすることができ、前記画素をm行毎に1行だけ前記画素読み出しするように、前記行単位で間引いで、前記画素読み出しさせるとき、前記画素読み出しは、水平同期クロック信号のm倍の時間間隔となるようにすることができる。
前記制御部には、ローリングシャッタ方式で、複数の画素を行単位で画素リセットする、または、画素読み出しさせるようにすることができる。
前記複数の画素は、CMOSイメージセンサとすることができる。
本開示に一側面の撮像制御方法は、入射光の光量に応じた電荷を画素信号として蓄積するアレイ状に配置された複数の画素からの前記画素信号の、前記画素の所定数を行単位で間引いた画素読み出しを制御する制御ステップと、前記画素の動作状態を判定する判定ステップと、前記判定ステップの処理における判定結果に基づいて、所定数に対応する値の情報を含むモード切替信号を設定する設定ステップと、水平同期クロック信号を発生する水平同期クロック信号発生ステップと、前記水平同期クロック信号に基づいて、カウンタをカウントアップさせるカウントステップと、前記設定ステップの処理により設定された前記モード切替信号に含まれる値と、前記カウンタの値とを比較し、一致したとき、読出パルスを発生する比較ステップとを含み、前記制御ステップの処理は、前記複数の画素の行単位での画素リセットを、前記画素の全行について、それぞれの行毎に一定の間隔で制御前記読出パルスに基づいて、前記画素を前記所定数の行単位で間引いて、画素読み出しさせるように制御し、前記モード切替信号に含まれる値と、前記カウンタの値とが、一致したとき、前記カウンタの値はリセットする撮像制御方法である。
本開示の一側面の撮像素子は、入射光の光量に応じた電荷を画素信号として蓄積するアレイ状に配置された複数の画素からの前記画素信号の、前記画素の所定数を行単位で間引いた画素読み出しを制御する制御部と、前記画素の動作状態を判定する判定部と、前記判定部の判定結果に基づいて、所定数に対応する値の情報を含むモード切替信号を設定する設定部と、水平同期クロック信号を発生する水平同期クロック信号発生部と、前記水平同期クロック信号に基づいて、カウントアップするカウンタと、前記設定部により設定された前記モード切替信号に含まれる値と、前記カウンタの値とを比較し、一致したとき、読出パルスを発生する比較部とを含み、前記制御部は、前記複数の画素の行単位での画素リセットを、前記画素の全行について、それぞれの行毎に一定の間隔で制御前記読出パルスに基づいて、前記画素を前記所定数の行単位で間引いて、画素読み出しさせるように制御し、前記モード切替信号に含まれる値と、前記カウンタの値とが、一致したとき、前記カウンタの値はリセットする撮像素子である。
本開示の一側面においては、入射光の光量に応じた電荷を画素信号として蓄積するアレイ状に配置された複数の画素からの前記画素信号の、前記画素の所定数を行単位で間引いた画素読み出しが制御され、前記画素の動作状態が判定され、判定結果に基づいて、所定数に対応する値の情報を含むモード切替信号が設定され、水平同期クロック信号が発生され、前記水平同期クロック信号に基づいて、カウンタがカウントアップされ、設定された前記モード切替信号に含まれる値と、前記カウンタの値とが比較され、一致したとき、読出パルスが発生され、前記複数の画素の行単位での画素リセットが、前記画素の全行について、それぞれの行毎に一定の間隔で制御され前記読出パルスに基づいて、前記画素を前記所定数の行単位で間引いて、画素読み出しされるように制御され、前記モード切替信号に含まれる値と、前記カウンタの値とが、一致したとき、前記カウンタの値がリセットされる。
本開示の一側面によれば、間引きによる省電力化のメリットを保ちつつ、行単位での間引きモードに切り得られる瞬間や、間引き行間隔が異なるモードに切り替えられる際にも無効フレームの発生を抑制することが可能となる。
従来の間引き読み出しを説明する図である。 本開示の技術を適用した間引き読み出しを説明する図である。 本開示の撮像装置の構成例を説明する図である。 図3のイメージセンサの構成例を説明する図である。 画素回路の構成例を説明する図である。 読出パルス発生部の構成例を説明する図である。 読出パルス発生部の動作を説明するタイミングチャートである。 図3の撮像装置による動作制御処理を説明するフローチャートである。 読出リセット指示処理を説明するフローチャートである。 読出リセット指示処理を説明する図である。 読出リセット指示処理を説明する図である。 係数nを4としたときの全画素読み出しモードを説明するタイミングチャートである。 係数nを4としたときの1/3系読み出しモードを説明するタイミングチャートである。 係数nを4としたときの1/5系読み出しモードを説明するタイミングチャートである。 図3の撮像装置によるその他の動作制御処理を説明するフローチャートである。 本開示の技術を適用した撮像装置のその他の構成例を説明する図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
<<1.本開示の撮像装置の概要について>>
<ローリングシャッタにおける一般的な間引きについて>
本開示の技術を適用した撮像装置の概要を説明するにあたって、まず、ローリングシャッタにおける一般的な間引きについて説明する。
図1は、画素アレイに配置された画素信号を行単位で読み出すタイミングを示すものである。図中の上部には、水平同期クロック(H同期)が、右方向に向けて、水平同期クロックの第1クロック、第2クロック、第3クロック・・・が時系列に発生していることが示されている。また、左端部には、処理対象となる画素行の行番号が示されており、図中の上から順に第0行目、第1行目、第2行目、・・・と順次記載されている。
また、図1では、水平同期クロック(H同期)の第1クロック乃至第10クロックにおいては、1/3系読み出しモード、すなわち、読み出し行が1/3に間引いて読み出されるモードのときの画素リセットのタイミング(図中のShut)と、画素読み出しのタイミング(図中のRead)とが示されている。さらに、図1では、水平同期クロックの第11クロック乃至第16クロックにおいては、1/5系読み出しモード、すなわち、読み出し行が1/5に間引いて読み出されるモードのときの画素リセットのタイミング(図中のShut)と、画素読み出しタイミング(図中のRead)とが示されている。
すなわち、図1で示されるように、1/3系読み出しモードの場合、水平同期クロックの第0クロックにおいて、第0行目の画素読み出し(Read)がなされる。
すると、その次のタイミングとなる水平同期クロックの第1クロックにおいて、第0行目の画素が、画素リセット(Shut)されると共に、同時に、3行先の第3行目の画素読み出し(Read)がなされる。
さらに、その次のタイミングとなる水平同期クロックの第2クロックにおいて、第3行目の画素が、画素リセット(Shut)されると共に、同時に、3行先の第6行目の画素読み出し(Read)がなされる。
また、その次のタイミングとなる水平同期クロックの第4クロックにおいて、第9行目の画素が、画素リセットされると共に、同時に、3行先の第12行目の画素読み出しがなされる。
以降において、水平同期クロックが進むにつれて、順次繰り返し、3行ずつずれながら、画素リセットと、画素読み出しが繰り返され、最下行まで繰り返されると、新たなフレームについて、再び最上行からの処理となり、同様の処理が繰り返される。
尚、図1においては、第21行目までの処理が記述されている。
ここで、例えば、図1で示されるように、水平同期クロックの第10クロックが完了したタイミングで、1/3系読み出しモードから、1/5系読み出しモードに切り替えられて、水平同期クロックの第11クロックにおいて、第0行目の画素が、画素読み出しされる。
すると、その次のタイミングとなる水平同期クロックの第12クロックにおいて、第0行目の画素リセットがなされると共に、同時に、5行先の第5行目の画素読み出しがなされる。
さらに、その次のタイミングとなる水平同期クロックの第13クロックにおいて、第5行目の画素リセットがなされると共に、同時に、5行先の第10行目の画素読み出しがなされる。
また、その次のタイミングとなる水平同期クロックの第14クロックにおいて、第10行目の画素リセットがなされると共に、同時に、5行先の第15行目の画素読み出しがなされる。
さらに、その次のタイミングとなる水平同期クロックの第15クロックにおいて、第15行目のリセットがなされると共に、同時に、5行先の第20行目の画素が画素読み出しされる。
すなわち、水平同期タイミングが進むにつれて、順次繰り返し、5行ずつずれながら、画素リセットと、画素読み出しが繰り返され、最下行まで繰り返されると、再び最上行からの処理となる。
しかしながら、1/5系読み出しモードに切り替えられた後においては、水平同期クロックの第11クロックにおいては、第0行目の画素読み出しがなされるが、水平同期クロックの第12乃至15クロックのそれぞれにおいて読み出される第5行目、第10行目、第15行目、および第20行目の画素信号は、バツ印で示されるように、1/3系読み出しモードにおいて、画素リセットがなされていない。
また、仮に、図1中のバツ印で示されたタイミングにおいて、画素リセットがなされていたと仮定しても、モード遷移直後のフレーム面内では、水平同期クロックの第12乃至15クロックのそれぞれにおいて読み出される第5行目、第10行目、第15行目、および第20行目の画素信号の露光時間は、それぞれ水平同期クロックの第2クロック乃至第11クロック、第4クロック乃至第13クロック、第6クロック乃至第14クロック、第7クロック乃至第15クロックとなり、蓄積時間(露光時間)のばらつきが発生し、結果として、使用できる画素信号ではない。
すなわち、図1で示されるように、間引かれる行については、画素リセットがなされないため、1/3系読み出しモード、および1/5系読み出しモードの読み出しタイミングの水平同期クロックの変化に対して画素読み出しされる行番号の変化を表す傾きが揃わない。
結果として、モード切り替え直後のフレーム画像は、使用することができないことになるため、捨てフレーム(無効フレーム)が発生することにより、視聴に当たって違和感を生じさせてしまうことがあった。
そこで、本開示においては、間引きされる行についても、画素読み出しが行われる行における場合と同様のタイミングで画素リセットを実施する。このようにすることにより、蓄積時間(露光時間)が全行に対して一定となるので、モードが切り替わって、読み出し行が変化しても、何れの行においても適切に画素読み出しがなされるので、捨てフレーム(無効フレーム)の発生を抑制することが可能となる。
より詳細には、図2で示されるように、水平同期クロックの第11クロックにおいて、間引きのない全画素系読み出しモードから、1/3系読み出しモードに切り替わる場合、1/3系読み出しモードに切り替えられた後において、3行間隔で第0行目、第3行目、第6行目の画素読み出し(Read)は、水平同期クロックの第11クロック、第14クロック、第17クロックにおいてなされるが、点線の丸印で示されるように、画素リセット(shut)は、全行で水平同期クロック1回毎になされる。
結果として、モードが切り替わっても、第0行目、第3行目、第6行目の画素読み出しがなされるときのそれぞれの画素信号は、同一の露光時間とされる。ここで、画素リセットをフォーカルプレーンシャッタにおける先幕とし、画素読み出しを後幕として考えるとき、シャッタ速度(幕速)が一定にされる。また、間引き行を含めた全行で、水平同期クロック1回毎に順次1行ずつずらしながら画素リセットがなされるようになっても、間引き行では画素読み出しがなされないため、AD変換がなされることがなく、これまでと同様に省電力化を図ることが可能となる。また、先幕と後幕との間隔が一定になるので、フォーカルプレーン歪などが発生した場合でも、常に、同一の対応で補正できるので、実装工数を抑制することが可能となる。
<<2.本開示の技術を適用した撮像装置の構成例>>
次に、図3のブロック図を参照して、本開示の技術を適用した撮像装置の構成例について説明する。
図3の撮像装置11は、光学ブロック20、イメージセンサ21、信号処理部22、表示部23、および操作部24を備えている。
光学ブロック20は、複数のレンズから構成されており、被写体からの入射光を集光して、被写体の像をイメージセンサ21の撮像面上に結像させる。
イメージセンサ21は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサより構成されており、ローリングシャッタ方式で、行単位で順次画素信号を転送して、画像を生成し、信号処理部22に供給する。イメージセンサ21は、ライブビュー画像などを表示させる際、信号処理部22からの、上述した動作モードの切り替えを指示する情報を取得し、画素アレイの所定数の行単位で間引き読出しすることで、高速撮像を実現しつつ、AD変換する行数を間引くことで省電力化を実現する。
信号処理部22は、例えば、LSI(Large Scale Integration)よりなり、イメージセンサ21より供給されてきた画像信号に所定の処理を施して、LCD(Liquid Crystal Display)などからなる表示部23に表示させる。また、信号処理部22は、操作ボタンなどからなる操作部24が操作された際に供給される操作信号に基づいて、イメージセンサ21による動作モードの情報を受け付けると共に、供給されてきた画像の状態等に応じて、動作モードを切り替えるモード切替信号をイメージセンサ21に供給する。
より詳細には、信号処理部22は、フレームメモリ31、状態判定部32、撮像素子制御部33、カメラ信号処理部34、および表示制御部35を備えている。
フレームメモリ31は、イメージセンサ21より供給されてくる画像のうち、少なくとも2フレーム以上の画像を記憶し、状態判定部32に供給する。
状態判定部32は、操作部24が操作されて、動被写体高画質モードを指定したか否かを判定し、動被写体高画質モードが指定された場合、フレームメモリ31に記憶されている画像を順次読み出して、例えば、動き検出などをすることにより、動被写体が存在するか否かを判定する。そして、状態判定部32は、動被写体が存在すると判定するとき、高画質モードにする必要があることを示す情報を撮像素子制御部33に供給する。また、動被写体高画質モードではない場合、または、動被写体が存在しないとき、状態判定部32は、高画質ではないモード(例えば、低画質モード)にする必要があることを示す情報を撮像素子制御部33に供給する。
撮像素子制御部33は、状態判定部32より供給される画質のモードに合わせた間引き行数を指定するモード切替信号をイメージセンサ21に供給する。より具体的には、例えば、撮像素子制御部33は、1/5系読み出しの場合、間引き行をカウントするための最大値としてモード切替信号Rmax=4を供給し、同様に、1/3系読み出しの場合、モード切替信号Rmax=2を供給し、さらに、全行読出しの場合、モード切替信号Rmax=0を供給する。尚、モード切替信号Rmaxについては、図6,図7を参照して詳細を後述する。
<イメージセンサの構成例>
次に、図4のブロック図を参照して、図3のイメージセンサ21の構成例について説明する。
イメージセンサ21は、例えば、画素アレイ51、垂直転送制御部52、H同期クロック(水平同期クロック)発生部53、水平転送制御部54、および画像処理部55を備えている。
画素アレイ51は、入射光の光量に応じた画素信号を発生する画素91がアレイ状に配置されたものであり、垂直転送制御部52より供給されてくる制御信号に基づいて、行単位で画素91の動作が制御され、生成された画素信号が順次水平転送制御部54に供給される。
垂直転送制御部52は、画素アレイ51を構成する画素91に対して、行単位で画素リセットや画素読み出しを制御する制御信号を発生する。より詳細には、垂直転送制御部52は、読出パルス発生部71、およびリセットパルス発生部72を備えている。
読出パルス発生部71は、H同期クロック発生部53より供給されてくるH同期クロック(水平同期信号)に基づいて、行単位で画素アレイ51の画素91における所定行の画素に対して、画素読み出しを実行させるタイミングを制御するパルス信号を発生する。
リセットパルス発生部72は、H同期クロック発生部53より供給されてくるH同期クロック(水平同期信号)に基づいて、画素アレイ51の画素91における所定行の画素に対して、画素(フォトダイオード)リセットさせるタイミングを制御するパルス信号を発生する。
H同期クロック発生部53は、水平同期クロック(水平同期信号)を発生し、垂直転送制御部52、および水平転送制御部54に供給する。
水平転送制御部54は、H同期クロック発生部53より供給されてくるH同期クロック(水平同期信号)に基づいて、画素アレイ51より順次行単位で供給されてくる画素信号を順次AD(Analog/Digital)変換し、水平方向に転送し、行単位で画素信号を画像処理部55に供給する。
画像処理部55は、例えば、水平転送制御部54より供給されてくる画素信号を順次蓄積し、1フレーム分の画像が形成されたとき、デモザイク処理して合成するといった一般的な現像処理を施して出力する。
<画素回路の構成例>
次に、図5を参照して、画素アレイ51の画素91における画素回路の構成について説明する。画素91を構成する画素回路は、光電変換素子として、例えばフォトダイオード(PD)101を有している。また、画素91を構成する画素回路は、フォトダイオード101、および、電荷を蓄積するフローティングディフュージョン(FD)103に加えて、例えば、転送トランジスタ(TG:転送ゲート)102、リセットトランジスタ(RST)104、増幅トランジスタ105、及び、選択トランジスタ(SEL)106の4つのトランジスタを有している。
この画素91を構成する画素回路に対して、画素回路を駆動する駆動信号(制御信号)である転送信号TG、リセット信号RST、及び、選択信号SELが垂直転送制御部52から適宜与えられる。すなわち、転送信号TGが転送トランジスタ101のゲート電極に、リセット信号RSTがリセットトランジスタ104のゲート電極に、選択信号SELが選択トランジスタ106のゲート電極にそれぞれ印加される。
フォトダイオード101は、アノード電極が低電位側電源(例えば、グランド)に接続されており、受光した光(入射光)をその光量に応じた電荷量の光電荷(ここでは、光電子)に光電変換してその光電荷を蓄積する。フォトダイオード101のカソード電極は、転送トランジスタ102を介して増幅トランジスタ105のゲート電極と電気的に接続されている。増幅トランジスタ105のゲート電極と電気的に繋がったノードは、フローティングディフュージョン/浮遊拡散領域(FD)部103である。
転送トランジスタ102は、フォトダイオード101のカソード電極とFD部103との間に接続されている。転送トランジスタ102のゲート電極には、高レベル(例えば、VDDレベル)がアクティブ(以下、「Highアクティブ」と記述する)の転送信号TGが垂直転送制御部52から与えられる。この転送信号TGに応答して、転送トランジスタ102が導通状態となり、フォトダイオード101で光電変換された光電荷をFD部103に転送する。
リセットトランジスタ104は、ドレイン電極が画素電源VDDに、ソース電極がFD部103にそれぞれ接続されている。リセットトランジスタ104のゲート電極には、Highアクティブのリセット信号RSTが垂直転送制御部52から与えられる。このリセット信号RSTに応答して、リセットトランジスタ104が導通状態となり、FD部103の電荷を画素電源VDDに捨てることによって当該FD部103をリセットする。
増幅トランジスタ105は、ゲート電極がFD部103に、ドレイン電極が画素電源VDDにそれぞれ接続されている。そして、増幅トランジスタ105は、リセットトランジスタ104によってリセットされた後のFD部103の電位をリセット信号(リセットレベル)Vresetとして出力する。増幅トランジスタ105はさらに、転送トランジスタ102によって信号電荷が転送された後のFD部103の電位を光蓄積信号(信号レベル)Vsigとして出力する。
選択トランジスタ106は、例えば、ドレイン電極が増幅トランジスタ105のソース電極に、ソース電極が垂直信号線にそれぞれ接続されている。選択トランジスタ106のゲート電極には、Highアクティブの選択信号SELが垂直転送制御部52から与えられる。この選択信号SELに応答して、選択トランジスタ106が導通状態となり、画素91を選択状態として増幅トランジスタ105から出力される信号を垂直信号線VSLに読み出す。
上述したことから明らかなように、画素91を構成する画素回路からは、リセット後のFD部103の電位がリセットレベルVresetとして、次いで、信号電荷の転送後のFD部103の電位が信号レベルVsigとして順に垂直信号線VSLに読み出されることになる。因みに、信号レベルVsigには、リセットレベルVresetの成分も含まれる。
なお、ここでは、選択トランジスタ106について、増幅トランジスタ105のソース電極と垂直信号線VSLとの間に接続する回路構成としたが、画素電源VDDと増幅トランジスタ105のドレイン電極との間に接続する回路構成を採ることも可能である。
また、画素91を構成する画素回路としては、上記の4つのトランジスタから成る画素構成のものに限られるものではない。例えば、増幅トランジスタ105に選択トランジスタ106の機能を持たせた3個のトランジスタから成る画素構成や、複数の光電変換素子間(画素間)で、FD部103以降のトランジスタを共用する画素構成などであっても良く、その画素回路の構成は問わない。
<読出パルス発生部の構成例>
次に、図6のブロック図を参照して、読出パルス発生部71の構成例について説明する。
読出パルス発生部71は、読出カウンタ121、および比較器122より構成されている。
読出カウンタ121は、H同期クロック発生部53より供給されてくる水平同期クロック(水平同期信号)に同期して、カウンタを1ずつインクリメントし、カウンタの値を比較器122の非反転入力端子に供給する。また、読出カウンタ121は、比較器122の出力がリセット信号として供給され、Hi信号となるとき、リセットする。
比較器122は、反転入力端子に信号処理部22より供給されてくるモード切替信号として供給される、カウンタの最大値として設定される値(Rmax)と、非反転入力端子に入力される読出カウンタ121から供給される値とを比較し、非反転入力端子より供給される値が大きい場合、Hi信号を出力し、それ以外の場合、Low信号を出力する。
読出パルス発生部71は、信号処理部22より供給されてくるモード切替信号に応じて図7で示されるように動作する。
ここで、図7は、上から水平同期クロック(H同期)の波形、モード切替信号である読出カウンタ121の(最大値-1)を示すRmax(最大カウント値)の波形、読出カウンタ121のカウンタRの波形、および読出パルスの波形をそれぞれ示している。
すなわち、水平同期クロックの第1クロックにおいて、モード切替信号として、例えば、1/3系読み出しモードを指示するために、読出カウンタ121の最大値-1を表すRmax=2が供給されると、読出カウンタ121は、読出カウンタRの0を比較器122の非反転入力端子に出力する。このとき、比較器122は、反転入力端子には、Rmax=2が入力され、非反転入力端子には0が入力されるので、読出パルスとしてLow信号を出力する。
次に、水平同期クロックの第2クロックにおいて、モード切替信号であるRmaxは2のままであり、読出カウンタ121は、読出カウンタ値の0を1インクリメントして、比較器122の非反転入力端子に1を出力する。このとき、比較器122は、反転入力端子には、Rmax=2が入力され、非反転入力端子には1が入力されるので、読出パルスとしてLow信号を出力する。
また、水平同期クロックの第3クロックにおいて、モード切替信号であるRmaxは2のままであり、読出カウンタ121は、読出カウンタ値の1を1インクリメントして、比較器122の非反転入力端子に2を出力する。このとき、比較器122は、反転入力端子には、Rmax=2が入力され、非反転入力端子には2が入力されるので、読出パルスとしてHi信号を出力する。これにより、読出カウンタ121には、Hi信号が供給されることにより、読出カウンタ値が0にリセットされる。
すなわち、水平同期クロックの第3クロックにおいて、読出パルスが発生し、読出パルスが発生しているタイミングにおいて、垂直転送制御部52は、画素読み出し動作を実行させる。
以降、同様の動作が繰り返される。
すなわち、3回の水平同期クロックに対して、1回だけ読み出し動作が実行されるように読出パルスが出力されることになる。すなわち、この読出パルスの発生により、1/3系読み出しモードの動作が実現される。
尚、図示しないが、リセットパルス発生部72は、水平同期クロックに対して、毎回必ずHi信号のリセットパルスを出力する。垂直転送制御部52は、リセットパルスが発生しているタイミングにおいて、画素リセットの動作を実行する。すなわち、垂直転送制御部52は、水平同期クロックに同期して全行に対して画素リセットを実行させる。
<動作制御処理>
次に、図8のフローチャートを参照して、信号処理部22による動作制御処理について説明する。
ステップS1において、状態判定部32は、動被写体高画質モードであるか否かを判定する。状態判定部32は、例えば、操作部24が操作されて、動被写体高画質モードに設定された場合、動被写体高画質モードであるものとみなし、処理は、ステップS2に進む。
ステップS2において、状態判定部32は、所定時間が経過したか否かを判定し、所定時間が経過するまで、同様の処理を繰り返す。そして、ステップS2において、所定時間が経過したとみなされた場合、処理は、ステップS3に進む。
ステップS3において、状態判定部32は、画角内に動被写体が存在するか否かを判定する。より詳細には、状態判定部32は、例えば、フレームメモリ31に記憶されている直近の複数のフレームの画像を比較し、画素間の差分絶対値和が所定値以上であるか否かに基づいて、画角内の変化が大きいか否かにより、動被写体の有無を判定する。または、状態判定部32は、動き検出機能を設けるようにして、動きが検出されるか否かに基づいて動被写体の有無を判定する。
ステップS3において、動被写体を検出しない場合、処理は、ステップS4に進む。
ステップS4において、状態判定部32は、動被写体が検出されていない、または、動被写体高画質モードではないので、低画質の状態で、すなわち、間引き数が多い状態で画像を撮像するように撮像素子制御部33に指示する。この指示に基づいて、撮像素子制御部33は、モード切替信号として、読出カウンタ121の最大値Rmax=4の情報をイメージセンサ21に供給する。
一方、ステップS3において、動被写体を検出した場合、処理は、ステップS5に進む。
ステップS5において、状態判定部32は、動被写体が検出されているので、高画質の状態で、すなわち、間引き数が少ない状態で画像を撮像するように撮像素子制御部33に指示する。この指示に基づいて、撮像素子制御部33は、モード切替信号として、読出カウンタ121の最大値Rmax=2の情報をイメージセンサ21に供給する。
また、ステップS1において、動被写体高画質モードではない場合、処理は、ステップS4に進む。
ステップS6において、状態判定部32は、操作部24が操作されるなどして、撮像の終了が指示されているか否かを判定する。撮像の終了が指示されていない場合、処理は、ステップS1に戻る。すなわち、撮像の終了が指示されるまで、ステップS1乃至S6の処理が繰り返される。そして、ステップS6において、終了が指示された場合、処理は、終了する。
すなわち、動被写体が検出されない場合、または、動被写体高画質モードではない場合については、モード切替信号としてRmaxが4とされ、動被写体高画質モードであって、動被写体が検出される場合については、Rmaxが2とされる。
このため、動被写体高画質モードではない場合、または、動被写体モードであって、動被写体が検出されない場合については、1/5系読み出しモードとされ、動被写体モードであって、動被写体が検出された場合については、1/3系読み出しモードとされる。
結果として、動被写体高画質モードに設定された場合であって、動被写体が検出されたときの方が、動被写体高画質モードではない場合、または、動被写体高画質モードであって、動被写体が検出されない場合よりも、少ない間引き数で読み出され、より高画質で撮像することが可能となる。
これにより、動被写体高画質モードにおいては、動被写体が検出されない場合については、高画質モードではない、すなわち、間引き数の多い低画質モードで撮像されることにより省電力化を実現させることが可能になると共に、撮像された画像データ量を小さくすることができるので、画像を蓄積させるストレージの容量を圧縮することが可能となる。また、動被写体高画質モードであって、動被写体が検出された場合、間引き数の少ない、高画質モードで撮像することが可能となる。
<イメージセンサによる読出リセット処理>
次に、図9のフローチャートを参照して、イメージセンサ21による読出リセット制御処理について説明する。
ステップS11において、読出パルス発生部71は、図示せぬ行カウンタLを0にリセットする。
ステップS12において、読出パルス発生部71は、読出カウンタ121の読出カウンタRを0にリセットする。
ステップS13において、読出パルス発生部71は、水平同期クロックがカウントアップされたか否かを判定する。すなわち、読出パルス発生部71は、H同期クロック発生部53より水平同期クロック1回分の矩形波が発生して供給されてきたか否かを判定し、供給されてきた場合、処理は、ステップS14に進む。
ステップS14において、読出パルス発生部71は、読出カウンタRが最大値Rmaxより小さいか否かを判定する。ここでいう、最大値Rmaxは、上述した動作制御処理により出力されるモード切替信号Rmaxである。
ステップS14において、例えば、読出カウンタRがモード切替信号Rmaxより小さい場合、ステップS15,S16の処理がスキップされて、処理は、ステップS17に進む。
ステップS17において、リセットパルス発生部72は、行カウンタLで表される第L行目よりn行分減算した第(L-n)行目の画素リセットを指示するリセットパルスを発生する。ここで、係数nは、同一の水平同期クロックにおいて、画素リセットする行と画素読み出しする行との差分を表している。すなわち、画素読み出しがなされた後、次の画素リセットがなされるタイミングは、露光時間と読み出し間隔とにより決まるものであり、水平同期クロックの整数倍となり、水平同期クロックの回数と差分となる行数は同一であるので、この係数nにより調整される。
例えば、1/3系読み出しモードの場合、図2の水平同期クロックの第15クロックで示されるように、第3行目の画素リセット(shut)は、画素読み出し(Read)がなされた水平同期クロックの第14クロックの直後の水平同期クロックであり、相互の差分nは水平同期クロック1回分であって、1行分のずれとなる。尚、図9のフローチャートを説明するにあたっては、n=1であるものとして説明を進めるものとする。
ステップS18において、読出パルス発生部71は、行カウンタLが垂直方向の行数である最大行数Lmaxよりも小さいか否かを判定し、小さい場合、処理は、ステップS20に進む。
ステップS20においいて、読出パルス発生部71は、動作の終了が指示されたか否かを判定し、終了が指示されていない場合、処理は、ステップS21に進む。
ステップS21において、読出パルス発生部71は、行カウンタLを1インクリメントして、処理は、ステップS22に進む。
ステップS22において、読出パルス発生部71は、読出カウンタRを1インクリメントして、処理は、ステップS13に戻る。
また、ステップS18において、行カウンタLが最大値Lmaxよりも小さくない、すなわち、行カウンタLが最大値Lmaxになるとき、処理は、ステップS19に進む。
ステップS19において、読出パルス発生部71は、行カウンタLを0にリセットし、処理は、ステップS22に戻る。
すなわち、読出カウンタRが最大値Rmaxになるまで、ステップS13乃至S22の処理が繰り返される。この間、水平同期クロックが1回分経過するにつれて、1行分だけ処理が進み、各行でリセットパルスが発生される。このリセットパルスが発生されている水平同期タイミングにおいては、垂直転送制御部52は、画素リセットに必要な制御パルスを発生し、行カウンタLにおける画素リセットを実行させる。また、リセットパルスは、全ての行において発生されるため、水平同期クロックが1回進むつれて、1行進み、毎行必ず画素リセットがなされる。
そして、ステップS14において、読出カウンタR<Rmaxではない場合、すなわち、読出カウンタRが最大値Rmaxになった場合、処理は、ステップS15に進む。
ステップS15において、読出パルス発生部71は、行カウンタLの画素読み出しを指示する読出パルスを発生する。
ステップS16において、読出パルス発生部71は、読出カウンタRを0にリセットする。
すなわち、読出パルス発生部71により、画素読出パルスが発生されている水平同期クロックのタイミングにおいては、垂直転送制御部52は、画素読み出しに必要な制御パルスを発生し、行カウンタLにおける画素読み出しを実行させる。また、読出パルスは、モード切替信号Rmaxに規定される行間隔で発生されることになる。このため、例えば、モード切替信号Rmaxが2である場合、図7で示されるように、水平同期クロックの3回に1回、すなわち、1/3系読み出しモードとされることになり、3行に1回読出パルスが発生されることにより、3行に1行について画素読み出しがなされる。
以上の処理により、これまで間引き行とされた行についても、水平同期クロック1回分のリセットパルスが毎行発生されて、画素リセットがなされる。これにより、画素読み出しについては、間引き行が設定されても、いずれの行でも、同一の露光時間の画素信号を読み出すことが可能となる。
すなわち、図10の左部で示されるように、2画素×2画素からなるベイヤ配列の画素が6行分配置され、上から0行目、1行目、2行目・・・と設定されている場合、1/3系読み出しモードのとき、第0行目と3行目とが読み出し行に設定され、それ以外の行が間引き行に設定される。
このとき、従来の読み出し制御方法である場合、図10の中央上段で示されるように、読み出し行については、水平同期クロックの第1クロックとなる時刻t0乃至t1において、画素読み出しが実行される。すなわち、時刻t0乃至t1において、選択パルスSETがHi信号にされると共に、時刻t0において、リセットパルスRSTが発生して、リセットトランジスタ104がオンとされて、リセット後のFD部103の電位がリセットレベルVresetとして読み出される。その後、時刻t11において、転送信号TGが発生して、転送トランジスタ102がオンとされて、信号電荷の転送後のFD部103の電位が信号レベルVsigとして順に垂直信号線VSLに読み出される。この後、信号レベルVsigと、リセットレベルVresetとがAD(Analog/Digital)変換されて、差分が求められることで、CDS(Correlated Double Sampling)がなされて画素信号として出力される。
さらに、その直後の水平同期クロックの第2クロックが発生する時刻t1において、リセットパルスRSTが発生して、リセットトランジスタ104がオンとされると共に、転送信号TGが発生して、転送トランジスタ102がオンとされることにより画素リセットがなされる。
間引き行については、図10の中央下段で示されるように、画素91の画素回路が制御される制御信号が発生されない。
これに対して、本開示の撮像装置においては、読み出し行については、上述したように読出パルス発生部71が読出パルスを発生するので、垂直転送制御部52は、図10の右部上段で示されるように、図10の中央上段で示される制御信号と同様の制御信号を発生する。
このとき、間引き行については、読出パルス発生部71により読出パルスが発生されず、リセットパルス発生部72によりリセットパルスのみが発生される。このため、図10の右部下段で示されるように、水平同期クロックの第2クロックにおいて、リセットパルス発生部72によりリセットパルスが発生されるので、時刻t2において、丸印で示されるように、リセットパルスRSTが発生して、リセットトランジスタ104がオンとされると共に、転送信号TGが発生して、転送トランジスタ102がオンとされることにより画素リセットがなされる。
ただし、本開示の撮像装置においては、間引き行においても、画素読み出しがなされないので、AD変換されることがないため、省電力化を実現することが可能となる。
さらに、例えば、1/3系読み出しモードの場合、従来においては、図11の左部で示されるように、時刻t0乃至t1において読み出し行である第0行目の画素読み出しがなされると、その直後である、時刻t1乃至t2において、第0行目の画素リセットがなされるのと同時に、次の読み出し行である第3行目の画素読み出しがなされる。
すなわち、従来の場合、間引き行の間隔をm行としたとき、画素読み出しされる行が、画素読み出しされるフレームにおける読み出し開始時刻からのタイミングは、水平同期クロックのパルス幅に相当する時間の、画素読み出しされる行(行番号)/m倍となる。
これに対して、本開示の撮像装置においては、図11の右部で示されるように、時刻t0乃至t1において読み出し行である第0行目の画素読み出しがなされると、その直後である、時刻t1乃至t2において、第0行目の画素リセットがなされるのみとされる。
また、その後、間引き行である第1行目においては、画素読み出しがなされず、その次のタイミングである時刻t2において、画素リセットのみがなされる。さらに、間引き行である第2行目においても、画素読み出しがなされず、その次のタイミングである時刻t3において、画素リセットのみがなされる。
そして、次の読み出し行である第3行目においては、時刻t3乃至t4において画素読み出しがなされると、その直後である、時刻t4において、第3行目の画素リセットがなされる。
尚、図11において、点線で示される波形は、全行読み出しモードである場合の画素読み出しが行われる際の波形である。
図11の右部で示されるように、本開示の撮像装置においては、画素読み出しされる行間隔と、画素読み出しされる時間間隔とは、間引きの有無とは無関係に設定される。すなわち、1/3系読み出しモードの場合、第0行目が読み出されると、次の読み出し行は、第3行目となるが、画素読み出しがなされる行間の時間間隔は、水平同期クロックの3倍となる。また、1/5系読み出しモードの場合、第0行目が読み出されると次の読み出し行は第6行目となるので、画素読み出しがなされる時間間隔は、水平同期クロックの5倍となる。すなわち、1/m系読み出しモードの場合、画素読み出しがなされる行間の時間間隔は、水平同期クロックのm倍の間隔となる。
すなわち、間引き行の間隔をm行としたとき、画素読み出しの行間の時間間隔は、水平同期クロックのm倍となり、間引き行の行数に関わらず、すなわち、間引きの有無に拘わらず、画素読み出しされる行が読み出されるタイミングは、画素読み出しされるフレームにおける読み出し開始時刻から水平同期クロックの行数倍のタイミングとなり一定となる。
このため、1/3系読み出しモードから1/5系読み出しモードに切り替える、または、全画素読み出しモードに切り替えるといった動作がなされて、それまでの読み出しモードとは、異なる行が読み出し行として設定されても、適切な画素信号として読み出すことが可能である。これにより、モード切り替え直後において、無効なフレームが発生し、捨てフレームとすることがなくなるので、違和感のない動画再生を実現することが可能となる。しかも、間引き行を設定した場合については、画素読み出しがなされないことにより、AD変換されることがないので、消費電力を低減させることが可能となる。
また、本開示の撮像装置においては、各画素は、いずれも等しい露光時間が確保された画素信号が、間引きの有無や、間引きの間隔に拘わらず、全ての行において、一定の時間間隔で画素リセットと画素読み出しとがなされるので、フリッカなどの対策については、間引きの有無や、間引きの間隔に拘わらず、同一の処理を施すのみでよくなり、実装工数を低減させることが可能となる。
<係数nについて>
以上においては、図9のフローチャートのステップS17の処理において、係数nを1として、画素読み出しが終了した直後のタイミングにおいて、画素リセットする例について説明してきたが、上述したように、この係数nで設定される画素読み出しと画素リセットとの間隔は水平同期クロックの倍数として自由に設定することが可能である。
すなわち、例えば、図12の左部で示される2画素×2画素のベイヤ配列の画素が2列、すなわち、計4列の画素配列が上から下方向に並べられて、右から2列目が注目列であるような場合、画素読み出しのタイミングが水平同期クロックの第0クロックのタイミングであり、画素リセットが水平同期クロックの第5クロックのタイミングとなるように4周期分遅れるように設定するときには、係数nは4となる。ただし、係数nは、行数に設定されるので、処理対象となる行番号が第5行目になるまでは、0以下となるので、処理を無視するものとする。
(全行読み出しモードの場合)
全画素読み出しモードの場合、図12で示されるように、読出カウンタRは、常に0となり、読出パルスも発生され続ける。
例えば、行カウンタLが5となる第5行目の処理は、水平同期クロック(H同期)の第5クロックのタイミングにおいて、画素読み出しがなされると共に、係数n=4だけ減算した第1行目の画素リセットがなされる。
そして、この動作が、水平同期クロックが進むにつれて、順次、画素読み出しされる行番号と、画素リセットされる行番号とが1ずつインクリメントされて繰り返される。
(1/3系読み出しモードの場合)
また、例えば、1/3系読み出しモードの場合、図13で示されるように、読出カウンタRは、0,1,2をとり、このうち、読出カウンタR=2のとき、読出パルスが発生される。
従って、この場合、図13における水平同期クロックが第0クロック、第3クロック、第6クロック・・・となる、第0行目、第3行目、第6行目・・・において、画素読み出しがなされる。例えば、行カウンタLが6となる第6行目の処理は、水平同期クロック(H同期)の第6クロックのタイミングにおいて、画素読み出しがなされると共に、係数n=4だけ減算した第2行目の画素リセットがなされる。
そして、この動作が、水平同期クロックが進むにつれて、水平同期クロックが3クロックに1回、すなわち、処理対象となる行番号が3行毎に1行分の行番号が画素読み出しされると共に、各行において、画素リセットがなされる処理が繰り返される。
(1/5系読み出しモードの場合)
さらに、例えば、1/5系読み出しモードの場合、図14で示されるように、読出カウンタRは、0,1,2,3,4をとり、このうち、読出カウンタR=4のとき、読出パルスが発生される。
従って、この場合、図14における水平同期クロックが第0クロック、第5クロック、第10クロック・・・となる、第0行目、第5行目、第10行目・・・において、画素読み出しがなされ、例えば、行カウンタLが5となる第5行目の処理は、水平同期クロック(H同期)の第5クロックのタイミングにおいて、画素読み出しがなされると共に、係数n=4だけ減算した第1行目の画素リセットがなされる。
そして、この動作が、水平同期クロックが進むにつれて、水平同期クロックが5クロックに1回、すなわち、処理対象となる行番号が5行毎に1行分の行番号が画素読み出しされると共に、各行において、画素リセットがなされる処理が繰り返される。
以上の処理により、画素読み出しと画素リセットとの間隔を係数nにより調整するようにしても、間引き行の行数に関わらず、すなわち、間引きの有無に拘わらず、画素読み出しされる行が画素読み出しされるタイミングは、画素読み出しされるフレームにおける読み出し開始時刻から水平同期クロックの行数倍のタイミングとなり一定となる。
従って、読み出しモードが切り替えられる際にも、いずれの行でも統一された露光時間の画素読み出しを実現することができるので、無効な画素読み出しの行を発生させることがなくなり、無効フレームの発生を抑制ことが可能となる。
尚、以上においては、全画素読み出しモード、1/3系読み出しモード、および1/5系読み出しモードをそれぞれ切り替える例について説明してきたが、それ以外の間引き行の間隔(間引き率)で読み出しモードを設定するようにしてもよい。この際、例えば、1/3系読み出しモードと1/6系読み出しモードとの2種類の読み出しモードだけを使うことが予め特定されているような場合については、3の倍数となる行のみしか実質的に使用されることがない。
そこで、このような場合については、第0行目の画素読み出しがなされた後は、第0行目の画素リセットをすると共に、第3行目の画素読み出しを行う。そして、第3行目の読み出しが完了した後は、第3行目の画素リセットがなされると共に、第6行目の画素リセットがなされる。このように3の倍数となる行における画素読み出しと画素リセットとが繰り返され、それ以外の行の画素リセットや画素読み出しを停止する。
結果として、全画素読み出しモードにおける場合よりも高速な撮像を実現させることが可能になると共に、1/3系読み出しモード、および1/6系読み出しモードを切り替えても、シームレスな読み出しが可能であるので、切り替える際にも無効フレームの発生を抑制しつつ、省電力化を実現することが可能となる。
<<3.第1の変形例>>
以上においては、動作制御処理において、動被写体が撮像されている場合にだけ高画質モードにする動被写体高画質モードにおいて、動被写体の有無に応じて1/3系読み出しモードとするか、1/5系読み出しモードとするかを切り替える例について説明してきた。しかしながら、例えば、駆動用バッテリのバッテリレベルを検出し、所定レベルより低いときには、1/5系読み出しモードとし、それ以外のとき1/3系読み出しモードとするようにし、バッテリの残量に応じて読み出しモードを切り替えて省電力モードとするようにしてもよい。
そこで、図15のフローチャートを参照して、省電力モードにおける動作制御処理について説明する。
ステップS51において、状態判定部32は、省電力モードであるか否かを判定する。状態判定部32は、例えば、操作部24が操作されて、省電力モードに設定された場合、省電力モードであるものとみなし、処理は、ステップS52に進む。
ステップS52において、状態判定部32は、所定時間が経過したか否かを判定し、所定時間が経過するまで、同様の処理を繰り返す。そして、ステップS52において、所定時間が経過したとみなされた場合、処理は、ステップS53に進む。
ステップS53において、状態判定部32は、図示せぬ撮像装置11のバッテリレベルを検出し、所定レベルよりも低いか否かを判定する。
ステップS53において、バッテリレベルが所定レベルより低くない場合、処理は、ステップS55に進む。
ステップS55において、状態判定部32は、バッテリレベルが所定レベルより低くない、すなわち、十分なバッテリレベルであるので、高画質の状態で、すなわち、間引き数が少ない状態で画像を撮像するように撮像素子制御部33に指示する。この指示に基づいて、撮像素子制御部33は、モード切替信号Rmaxとして、読出カウンタ121の最大値Rmax=2の情報をイメージセンサ21に供給する。
一方、ステップS53において、バッテリレベルが所定レベルより低い場合、処理は、ステップS54に進む。
ステップS54において、状態判定部32は、バッテリレベルが所定レベルより低いので、低画質の状態で、すなわち、間引き数が多い状態で画像を撮像するように撮像素子制御部33に指示する。この指示に基づいて、撮像素子制御部33は、モード切替信号として、読出カウンタ121の最大値Rmax=4の情報をイメージセンサ21に供給する。
また、ステップS51において、省電力モードではない場合、処理は、ステップS55に進む。
ステップS56において、状態判定部32は、操作部24が操作されるなどして、撮像の終了が指示されているか否かを判定する。撮像の終了が指示されていない場合、処理は、ステップS51に戻る。すなわち、撮像の終了が指示されるまで、ステップS51乃至S56の処理が繰り返される。そして、ステップS56において、終了が指示された場合、処理は、終了する。
すなわち、バッテリレベルが所定レベルより低くない場合、または、省電力モードではない場合については、モード切替信号の情報としてRmaxが4とされ、省電力モードであって、バッテリレベルが所定レベルより低い場合については、Rmaxが2とされる。
このため、省電力モードであって、バッテリレベルが所定レベルより低い場合については、1/5系読み出しモードとされ、省電力モードではない場合、または、省電力モードであって、バッテリレベルが所定レベルより低くない場合については、1/3系読み出しモードとされる。
結果として、省電力モードに設定された場合であって、バッテリレベルが所定レベルより低いときの方が、省電力モードではない場合、または、省電力モードであって、バッテリレベルが低くない場合よりも、多い間引き数で読み出され、より省電力化することが可能となり、撮像可能時間を長くすることが可能となる。
<<4.第2の変形例>>
以上においては、イメージセンサ21と信号処理部22とが別体となっている構成例について説明してきたが、例えば、イメージセンサ21と信号処理部22とが一体となった構成であってもよい。
すなわち、図16は、イメージセンサ21と信号処理部22の構成とが同一チップ上に設けられるようにした撮像装置11の構成例を示している。図16の撮像装置11において、図3の撮像装置11における構成と同一の機能を備えた構成については、同一の名称、および同一の符号を付しており、その説明は適宜省略するものとする。
すなわち、図16の撮像装置11において、図3の撮像装置11と異なる点は、信号処理部22における構成と、イメージセンサ21とが一体となったイメージセンサ141とされている点である。
イメージセンサ141は、例えば、イメージセンサ21における構成である画素アレイ51乃至画像処理部55と、図1の信号処理部22における構成であるフレームメモリ31乃至表示制御部35とが一体化された構成となっている。
より詳細には、イメージセンサ141は、例えば、イメージセンサ21における構成である画素アレイ51乃至画像処理部55と、図1の信号処理部22における構成であるフレームメモリ31乃至表示制御部35とが同一チップに構成されている。
または、イメージセンサ141は、イメージセンサ21における構成である画素アレイ51が配設された上チップと、図1の信号処理部22における構成であるフレームメモリ31乃至表示制御部35、並びに、垂直転送制御部52乃至画像処理部55が配設された下チップとが積層された構成とされている。
このような構成とすることで、読み出しモードが変化しても無効フレームの発生を抑制しつつ、撮像装置11の装置構成の小型化、および軽量化を実現することが可能となる。
以上の如く、本開示の撮像装置によれば、読み出しモードを切り替えるようにしても、切替直後に捨てフレーム(無効フレーム)を発生させることがなくなるので、読み出しモードをシームレスに切り替えても違和感のない画像を撮像することが可能となる。
また、プリ調光やハイフレームレート撮像などの高速撮像をする必要がある場合については、例えば、図1で示される、従来のように、間引き行を順次読み出し、その後、画素リセットする処理を繰り返すようなモードとするようにしてもよい。
さらに、以上においては、読み出しモードを動被写体の有無やバッテリレベルに応じて切り替える例について説明してきたが、例えば、本開示の撮像装置を監視カメラとして利用するようにしてもよい。すなわち、本開示の撮像装置を監視カメラとして利用する場合、監視領域内に侵入者が検出されたときにのみ、全画素読み出しモードとし、それ以外のときには、1/3系読み出しモードや1/5系読み出しモードとするようにしてもよい。
また、本開示の撮像装置は、車載カメラとして利用するようにしてもよい。すなわち、例えば、本開示の撮像装置を車載カメラとして走行中に利用する場合、衝撃を検知する衝撃検知装置などと共に協働させて、強い衝撃を検知し、事故等が発生したものと判定したときには、全画素読み出しモードとし、それ以外のときには、1/3系読み出しモードや1/5系読み出しモードとするようにしてもよい。また、走行中以外には、上述した監視カメラとして機能させるようにしてもよい。
さらに、撮像装置に、例えば、ビューファインダなどが設けられているような場合、ユーザがビューファインダを除いたか否かを検知し、ビューファインダを除いていることが検知されたときにのみ、全画素読み出しモードとし、それ以外のときには、1/3系読み出しモードや1/5系読み出しモードとするようにしてもよい。
尚、本開示は、以下のような構成も取ることができる。
<1> 入射光の光量に応じた電荷を画素信号として蓄積する、アレイ状に配置された複数の画素からの前記画素信号の読み出しを制御する制御部を含み、
前記制御部は、前記複数の画素の行単位でのリセットを、前記画素の全行について、それぞれの行毎に一定の間隔で制御すると共に、前記画素を所定数の行単位で間引いて、画素読み出しさせるように制御する
撮像制御装置。
<2> 水平方向に1列分の処理を規定する水平同期クロック信号を発生する水平同期クロック信号発生部をさらに含み、
前記制御部は、前記水平同期クロック信号に同期して、前記水平同期クロック信号が1個について、前記画素を1行ずつ順次前記行単位で画素リセットする
<1>に記載の撮像制御装置。
<3> 前記制御部は、前記画素により撮像された画素信号からなる画像の画質のモードに対応するモード切替信号に基づいて、前記画素を所定数の行単位で間引いて、前記画素読み出しさせるように制御する
<1>または<2>に記載の撮像制御装置。
<4> 前記画素の動作状態を判定する判定部と、
前記判定部の判定結果に基づいて、前記所定数に対応する値の情報を含むモード切替信号を設定する設定部と、
水平同期クロック信号を発生する水平同期クロック信号発生部と、
前記水平同期クロック信号に基づいて、カウントアップするカウンタと、
前記設定部により設定された前記モード切替信号に含まれる値と、前記カウンタの値とを比較し、一致したとき、読出パルスを発生する比較部とを含み、
前記制御部は、前記読出パルスに基づいて、前記画素リセットされた画素を行単位で画素読み出しさせ、
前記設定部により設定された前記モード切替信号に含まれる値と、前記カウンタの値とが、一致したとき、前記カウンタはリセットする
<3>に記載の撮像制御装置。
<5> 前記画素により撮像された画素信号からなる画像を時系列に記憶するフレームメモリをさらに含み、
前記判定部は、前記フレームメモリに記憶された時系列の画像の比較による、前記画像内の動被写体の有無に基づいて、前記画素の動作状態を判定する
<4>に記載の撮像制御装置。
<6> 前記判定部により、前記画素の動作状態として、前記画像内に動被写体が有る状態であると判定された場合、
前記制御部は、前記画素により撮像された画素信号からなる画像を、所定の画質のモードに対応するモード切替信号に基づいて、前記画素を所定数の行単位で間引いて、前記画素読み出しさせるように制御し、
前記判定部により、前記画素の動作状態として、前記画像内に動被写体が無い状態であると判定された場合、
前記制御部は、前記画素により撮像された画素信号からなる画像を、前記所定の画質よりも低い画質のモードに対応するモード切替信号に基づいて、前記画素を所定数の行単位で間引いて、前記画素読み出しさせるように制御する
<5>に記載の撮像制御装置。
<7> 前記判定部により、前記画素の動作状態として、前記画像内に動被写体が有る状態であると判定された場合、
前記設定部は、前記所定数に対応する値として、第1の値の情報を含むモード切替信号を設定し、
前記制御部は、前記画素により撮像された画素信号からなる画像を、前記所定の画質のモードに対応する、前記モード切替信号に含まれる前記第1の値に応じた行単位で、前記画素を間引いて、前記画素読み出しさせるように制御し、
前記判定部により、前記画素の動作状態として、前記画像内に動被写体が無い状態であると判定された場合、
前記設定部は、前記所定数に対応する値として、前記第1の値よりも大きな第2の値の情報を含むモード切替信号を設定し、
前記制御部は、前記画素により撮像された画素信号からなる画像を、前記所定の画質よりも低い画質のモードに対応する、前記モード切替信号に含まれる前記第2の値に応じた行単位で、前記画素を間引いて、前記画素読み出しさせるように制御する
<6>に記載の撮像制御装置。
<8> 駆動用のバッテリをさらに含み、
前記判定部は、前記バッテリレベルに基づいて、前記画素の動作状態を判定する
<4>に記載の撮像制御装置。
<9> 前記判定部により、前記バッテリレベルに基づいて、前記画素の動作状態として、前記バッテリレベルが所定の値より高い状態であると判定された場合、
前記制御部は、前記画素により撮像された画素信号からなる画像を、所定の画質のモードに対応するモード切替信号に基づいて、前記画素を所定数の行単位で間引いて、前記画素読み出しさせるように制御し、
前記判定部により、前記バッテリレベルに基づいて、前記画素の動作状態として、前記バッテリレベルが所定の値より低い状態であると判定された場合、
前記制御部は、前記画素により撮像された画素信号からなる画像を、前記所定の画質よりも低い画質のモードに対応するモード切替信号に基づいて、前記画素を所定数の行単位で間引いて、前記画素読み出しさせるように制御する
<8>に記載の撮像制御装置。
<10> 前記判定部により、前記バッテリレベルに基づいて、前記画素の動作状態として、前記バッテリレベルが所定の値より高い状態であると判定された場合、
前記設定部は、前記所定数に対応する値として、第1の値の情報を含むモード切替信号を設定し、
前記制御部は、前記画素により撮像された画素信号からなる画像を、前記所定の画質のモードに対応する、前記モード切替信号に含まれる前記第1の値に応じた行単位で、前記画素を間引いて、前記画素読み出しさせるように制御し、
前記判定部により、前記バッテリレベルに基づいて、前記画素の動作状態として、前記バッテリレベルが所定の値より低い状態であると判定された場合、
前記設定部は、前記所定数に対応する値として、前記第1の値よりも大きな第2の値の情報を含むモード切替信号を設定し、
前記制御部は、前記画素により撮像された画素信号からなる画像を、前記所定の画質よりも低い画質のモードに対応する、前記モード切替信号に含まれる前記第2の値に応じた行単位で、前記画素を間引いて、前記画素読み出しさせるように制御する
<9>に記載の撮像制御装置。
<11> 水平方向に1列分の処理を規定する水平同期クロック信号を発生する水平同期クロック信号発生部をさらに含み、
前記画素をm行毎に1行だけ前記画素読み出しするように、前記行単位で間引いで、前記画素読み出しさせるとき、前記画素読み出しは、水平同期クロック信号のm倍の時間間隔となる
<1>乃至<10>のいずれかに記載の撮像制御装置。
<12> 前記制御部は、ローリングシャッタ方式で、複数の画素を行単位で画素リセットする、または、画素読み出しさせる
<1>乃至<11>のいずれかに記載の撮像制御装置。
<13> 前記複数の画素は、CMOSイメージセンサである
<1>乃至<12>のいずれかに記載の撮像制御装置。
<14> 入射光の光量に応じた電荷を画素信号として蓄積するアレイ状に配置された複数の画素からの前記画素信号の画素読み出しを制御する制御ステップを含み、
前記制御ステップの処理は、前記複数の画素の行単位でのリセットを、前記画素の全行について、それぞれの行毎に一定の間隔で制御すると共に、前記画素を所定数の行単位で間引いて、画素読み出しさせるように制御する
撮像制御方法。
<15> 入射光の光量に応じた電荷を画素信号として蓄積するアレイ状に配置された複数の画素からの前記画素信号の画素読み出しを制御する制御部を含み、
前記制御部は、前記複数の画素の前記行単位でのリセットを、前記画素の全行について、それぞれの行毎に一定の間隔で制御すると共に、前記画素を所定数の行単位で間引いて、画素読み出しさせるように制御する
撮像素子。
11 撮像装置, 20 光学ブロック, 21 イメージセンサ, 22 信号処理部, 23 表示部, 31 フレームメモリ, 32 状態判定部, 33 撮像素子制御部, 34 カメラ信号処理部, 35 表示制御部, 51 画素アレイ, 52 垂直転送制御部, 53 H同期クロック発生部, 54 水平転送制御部, 55 画像処理部, 101 フォトダイオード, 102 転送トランジスタ, 103 フローティングディフュージョン(FD), 104 リセットトランジスタ, 105 増幅トランジスタ, 106 選択トランジスタ, 121 読出カウンタ, 122 比較器, 141 イメージセンサ

Claims (13)

  1. 入射光の光量に応じた電荷を画素信号として蓄積する、アレイ状に配置された複数の画素からの前記画素信号の、前記画素の所定数を行単位で間引いた読み出しを制御する制御部と、
    前記画素の動作状態を判定する判定部と、
    前記判定部の判定結果に基づいて、前記画素により撮像された画素信号からなる画像の画質のモードに対応する、前記所定数に対応する値を含むモード切替信号を設定する設定部と、
    水平同期クロック信号を発生する水平同期クロック信号発生部と、
    前記水平同期クロック信号に基づいて、カウントアップするカウンタと、
    前記設定部により設定された前記モード切替信号に含まれる値と、前記カウンタの値とを比較し、一致したとき、読出パルスを発生する比較部とを含み、
    前記制御部は、
    前記複数の画素の行単位での画素リセットを、前記画素の全行について、それぞれの行毎に一定の間隔で制御
    前記読出パルスに基づいて、前記画素を前記所定数の行単位で間引いて、画素読み出しさせるように制御し、
    前記モード切替信号に含まれる値と、前記カウンタの値とが、一致したとき、前記カウンタの値はリセットする
    撮像制御装置。
  2. 前記水平同期クロック信号発生部は、水平方向に1列分の処理を規定する前記水平同期クロック信号を発生
    前記制御部は、前記水平同期クロック信号に同期して、前記水平同期クロック信号が1個について、前記画素を1行ずつ順次前記行単位で画素リセットする
    請求項1に記載の撮像制御装置。
  3. 前記画素により撮像された画素信号からなる画像を時系列に記憶するフレームメモリをさらに含み、
    前記判定部は、前記フレームメモリに記憶された時系列の画像の比較による、前記画像内の動被写体の有無に基づいて、前記画素の動作状態を判定する
    請求項に記載の撮像制御装置。
  4. 前記判定部により、前記画素の動作状態として、前記画像内に動被写体が有る状態であると判定された場合、
    前記制御部は、前記画素により撮像された画素信号からなる画像を、所定の画質のモードに対応するモード切替信号に基づいて、前記画素を所定数の行単位で間引いて、前記画素読み出しさせるように制御し、
    前記判定部により、前記画素の動作状態として、前記画像内に動被写体が無い状態であると判定された場合、
    前記制御部は、前記画素により撮像された画素信号からなる画像を、前記所定の画質よりも低い画質のモードに対応するモード切替信号に基づいて、前記画素を所定数の行単位で間引いて、前記画素読み出しさせるように制御する
    請求項に記載の撮像制御装置。
  5. 前記判定部により、前記画素の動作状態として、前記画像内に動被写体が有る状態であると判定された場合、
    前記設定部は、前記所定数に対応する値として、第1の値の情報を含むモード切替信号を設定し、
    前記制御部は、前記画素により撮像された画素信号からなる画像を、前記所定の画質のモードに対応する、前記モード切替信号に含まれる前記第1の値に応じた行単位で、前記画素を間引いて、前記画素読み出しさせるように制御し、
    前記判定部により、前記画素の動作状態として、前記画像内に動被写体が無い状態であると判定された場合、
    前記設定部は、前記所定数に対応する値として、前記第1の値よりも大きな第2の値の情報を含むモード切替信号を設定し、
    前記制御部は、前記画素により撮像された画素信号からなる画像を、前記所定の画質よりも低い画質のモードに対応する、前記モード切替信号に含まれる前記第2の値に応じた行単位で、前記画素を間引いて、前記画素読み出しさせるように制御する
    請求項に記載の撮像制御装置。
  6. 駆動用のバッテリをさらに含み、
    前記判定部は、前記バッテリのレベルであるバッテリレベルに基づいて、前記画素の動作状態を判定する
    請求項に記載の撮像制御装置。
  7. 前記判定部により、前記バッテリレベルに基づいて、前記画素の動作状態として、前記バッテリレベルが所定の値より高い状態であると判定された場合、
    前記制御部は、前記画素により撮像された画素信号からなる画像を、所定の画質のモードに対応するモード切替信号に基づいて、前記画素を所定数の行単位で間引いて、前記画素読み出しさせるように制御し、
    前記判定部により、前記バッテリレベルに基づいて、前記画素の動作状態として、前記バッテリレベルが所定の値より低い状態であると判定された場合、
    前記制御部は、前記画素により撮像された画素信号からなる画像を、前記所定の画質よりも低い画質のモードに対応するモード切替信号に基づいて、前記画素を所定数の行単位で間引いて、前記画素読み出しさせるように制御する
    請求項に記載の撮像制御装置。
  8. 前記判定部により、前記バッテリレベルに基づいて、前記画素の動作状態として、前記バッテリレベルが所定の値より高い状態であると判定された場合、
    前記設定部は、前記所定数に対応する値として、第1の値の情報を含むモード切替信号を設定し、
    前記制御部は、前記画素により撮像された画素信号からなる画像を、前記所定の画質のモードに対応する、前記モード切替信号に含まれる前記第1の値に応じた行単位で、前記画素を間引いて、前記画素読み出しさせるように制御し、
    前記判定部により、前記バッテリレベルに基づいて、前記画素の動作状態として、前記バッテリレベルが所定の値より低い状態であると判定された場合、
    前記設定部は、前記所定数に対応する値として、前記第1の値よりも大きな第2の値の情報を含むモード切替信号を設定し、
    前記制御部は、前記画素により撮像された画素信号からなる画像を、前記所定の画質よりも低い画質のモードに対応する、前記モード切替信号に含まれる前記第2の値に応じた行単位で、前記画素を間引いて、前記画素読み出しさせるように制御する
    請求項に記載の撮像制御装置。
  9. 前記水平同期クロック信号発生部は、水平方向に1列分の処理を規定する水平同期クロック信号を発生し、
    前記画素をm行毎に1行だけ前記画素読み出しするように、前記行単位で間引い、前記画素読み出しさせるとき、前記画素読み出しは、水平同期クロック信号のm倍の時間間隔となる
    請求項1に記載の撮像制御装置。
  10. 前記制御部は、ローリングシャッタ方式で、複数の画素を行単位で画素リセットする、または、画素読み出しさせる
    請求項1に記載の撮像制御装置。
  11. 前記複数の画素は、CMOSイメージセンサである
    請求項1に記載の撮像制御装置。
  12. 入射光の光量に応じた電荷を画素信号として蓄積するアレイ状に配置された複数の画素からの前記画素信号の、前記画素の所定数を行単位で間引いた画素読み出しを制御する制御ステップと、
    前記画素の動作状態を判定する判定ステップと、
    前記判定ステップの処理における判定結果に基づいて、所定数に対応する値の情報を含むモード切替信号を設定する設定ステップと、
    水平同期クロック信号を発生する水平同期クロック信号発生ステップと、
    前記水平同期クロック信号に基づいて、カウンタをカウントアップさせるカウントステップと、
    前記設定ステップの処理により設定された前記モード切替信号に含まれる値と、前記カウンタの値とを比較し、一致したとき、読出パルスを発生する比較ステップとを含み、
    前記制御ステップの処理は、
    前記複数の画素の行単位での画素リセットを、前記画素の全行について、それぞれの行毎に一定の間隔で制御
    前記読出パルスに基づいて、前記画素を前記所定数の行単位で間引いて、画素読み出しさせるように制御し、
    前記モード切替信号に含まれる値と、前記カウンタの値とが、一致したとき、前記カウンタの値はリセットする
    撮像制御方法。
  13. 入射光の光量に応じた電荷を画素信号として蓄積するアレイ状に配置された複数の画素からの前記画素信号の、前記画素の所定数を行単位で間引いた画素読み出しを制御する制御部と、
    前記画素の動作状態を判定する判定部と、
    前記判定部の判定結果に基づいて、所定数に対応する値の情報を含むモード切替信号を設定する設定部と、
    水平同期クロック信号を発生する水平同期クロック信号発生部と、
    前記水平同期クロック信号に基づいて、カウントアップするカウンタと、
    前記設定部により設定された前記モード切替信号に含まれる値と、前記カウンタの値とを比較し、一致したとき、読出パルスを発生する比較部とを含み、
    前記制御部は、
    前記複数の画素の行単位での画素リセットを、前記画素の全行について、それぞれの行毎に一定の間隔で制御
    前記読出パルスに基づいて、前記画素を前記所定数の行単位で間引いて、画素読み出しさせるように制御し、
    前記モード切替信号に含まれる値と、前記カウンタの値とが、一致したとき、前記カウンタの値はリセットする
    撮像素子。
JP2018529758A 2016-07-26 2017-07-12 撮像制御装置および撮像制御方法、並びに撮像素子 Active JP6992753B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016145904 2016-07-26
JP2016145904 2016-07-26
PCT/JP2017/025461 WO2018021034A1 (ja) 2016-07-26 2017-07-12 撮像制御装置および撮像制御方法、並びに撮像素子

Publications (2)

Publication Number Publication Date
JPWO2018021034A1 JPWO2018021034A1 (ja) 2019-05-16
JP6992753B2 true JP6992753B2 (ja) 2022-01-13

Family

ID=61015989

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018529758A Active JP6992753B2 (ja) 2016-07-26 2017-07-12 撮像制御装置および撮像制御方法、並びに撮像素子

Country Status (5)

Country Link
EP (1) EP3493529A4 (ja)
JP (1) JP6992753B2 (ja)
KR (1) KR20190029606A (ja)
CN (1) CN109479102A (ja)
WO (1) WO2018021034A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7052022B2 (ja) * 2018-05-01 2022-04-11 オリンパス株式会社 内視鏡装置、内視鏡およびプロセッサならびに内視鏡装置の作動方法
WO2023281724A1 (ja) * 2021-07-08 2023-01-12 キヤノン株式会社 撮像素子、撮像装置、監視装置、および撮像素子の制御方法

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003338979A (ja) 2002-05-20 2003-11-28 Fuji Photo Film Co Ltd 撮像装置
JP2005318169A (ja) 2004-04-28 2005-11-10 Canon Inc 撮像装置
JP2008172608A (ja) 2007-01-12 2008-07-24 Sony Corp 固体撮像装置、撮像装置
JP2009038761A (ja) 2007-08-03 2009-02-19 Canon Inc 撮像装置及び撮像システム
JP2009089087A (ja) 2007-09-28 2009-04-23 Sony Corp 固体撮像装置及び撮像装置
JP2010004175A (ja) 2008-06-18 2010-01-07 Canon Inc 撮像装置
JP2010199724A (ja) 2009-02-23 2010-09-09 Nikon Corp 撮像装置
JP2011151669A (ja) 2010-01-22 2011-08-04 Olympus Corp 固体撮像装置
JP2012063664A (ja) 2010-09-17 2012-03-29 Nikon Corp 測光装置及び電子カメラ

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4614591B2 (ja) * 2001-07-17 2011-01-19 Ntn株式会社 研削スラッジの固形化物製造装置
EP2079231B1 (en) * 2006-10-24 2014-04-30 Sony Corporation Imaging device and reproduction control device
KR20090091646A (ko) * 2006-12-18 2009-08-28 소니 가부시끼 가이샤 촬상 장치 및 방법, 기록 장치 및 방법, 재생 장치 및 방법
JP5053869B2 (ja) * 2008-01-10 2012-10-24 キヤノン株式会社 固体撮像装置、撮像システム、及び固体撮像装置の駆動方法
JP4868021B2 (ja) 2009-01-07 2012-02-01 ソニー株式会社 固体撮像素子および駆動制御方法
US10063757B2 (en) * 2012-11-21 2018-08-28 Infineon Technologies Ag Dynamic conservation of imaging power
KR102205702B1 (ko) * 2014-07-30 2021-01-21 삼성전자주식회사 이미지 센서 및 이미지 센서를 구동하는 방법, 그리고 이를 이용한 영상 촬영 장치

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003338979A (ja) 2002-05-20 2003-11-28 Fuji Photo Film Co Ltd 撮像装置
JP2005318169A (ja) 2004-04-28 2005-11-10 Canon Inc 撮像装置
JP2008172608A (ja) 2007-01-12 2008-07-24 Sony Corp 固体撮像装置、撮像装置
JP2009038761A (ja) 2007-08-03 2009-02-19 Canon Inc 撮像装置及び撮像システム
JP2009089087A (ja) 2007-09-28 2009-04-23 Sony Corp 固体撮像装置及び撮像装置
JP2010004175A (ja) 2008-06-18 2010-01-07 Canon Inc 撮像装置
JP2010199724A (ja) 2009-02-23 2010-09-09 Nikon Corp 撮像装置
JP2011151669A (ja) 2010-01-22 2011-08-04 Olympus Corp 固体撮像装置
JP2012063664A (ja) 2010-09-17 2012-03-29 Nikon Corp 測光装置及び電子カメラ

Also Published As

Publication number Publication date
JPWO2018021034A1 (ja) 2019-05-16
KR20190029606A (ko) 2019-03-20
EP3493529A4 (en) 2019-07-31
WO2018021034A1 (ja) 2018-02-01
EP3493529A1 (en) 2019-06-05
CN109479102A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
JP6754157B2 (ja) 撮像装置
JP5835996B2 (ja) 撮像装置
JP6120091B2 (ja) 固体撮像素子および駆動方法、並びに電子機器
JPWO2016147885A1 (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
US8878117B2 (en) Image sensor and image capture apparatus
JP2014060573A (ja) 固体撮像素子、制御方法、および電子機器
KR102025935B1 (ko) 이미지 생성 장치 및 이미지 생성 방법
JP2010062638A (ja) 撮像装置
US10965890B2 (en) Imaging device and imaging system
JP2017175345A (ja) 固体撮像装置、固体撮像装置の駆動方法、及び、電子機器
WO2011043045A1 (ja) 撮像装置、固体撮像素子、画像生成方法、およびプログラム
US20110037882A1 (en) Solid-state imaging device, method of driving solid-state imaging device, and electronic apparatus
JP5885431B2 (ja) 撮像素子及び撮像装置
JP6992753B2 (ja) 撮像制御装置および撮像制御方法、並びに撮像素子
JP6574653B2 (ja) 撮像装置及び撮像システム
JP2005184777A (ja) スミア演算回路、撮像装置、及び固体撮像素子の駆動方法
JP5106055B2 (ja) 撮像装置及びそのフリッカ検出方法
JP2008187614A (ja) 撮影装置
JP2014013852A (ja) リニアセンサ、撮像素子、および電子機器
US10623642B2 (en) Image capturing apparatus and control method thereof with change, in exposure period for generating frame, of conversion efficiency
JP2011182321A (ja) 固体撮像装置、駆動方法、および撮像装置
JP2020141146A (ja) 撮像装置
JP6635310B2 (ja) 撮像素子、制御方法、プログラム、および電子機器
JP2009124239A (ja) 撮像装置及びそのフリッカ検出方法
JP4730530B2 (ja) 撮影装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200623

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210811

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211008

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211122

R151 Written notification of patent or utility model registration

Ref document number: 6992753

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151