JP6070599B2 - 情報処理装置、情報処理方法、情報処理システム、および撮像装置 - Google Patents

情報処理装置、情報処理方法、情報処理システム、および撮像装置 Download PDF

Info

Publication number
JP6070599B2
JP6070599B2 JP2014028749A JP2014028749A JP6070599B2 JP 6070599 B2 JP6070599 B2 JP 6070599B2 JP 2014028749 A JP2014028749 A JP 2014028749A JP 2014028749 A JP2014028749 A JP 2014028749A JP 6070599 B2 JP6070599 B2 JP 6070599B2
Authority
JP
Japan
Prior art keywords
exposure period
image
period
photographed
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014028749A
Other languages
English (en)
Other versions
JP2015154413A (ja
JP2015154413A5 (ja
Inventor
彰宏 原
彰宏 原
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to JP2014028749A priority Critical patent/JP6070599B2/ja
Publication of JP2015154413A publication Critical patent/JP2015154413A/ja
Publication of JP2015154413A5 publication Critical patent/JP2015154413A5/ja
Application granted granted Critical
Publication of JP6070599B2 publication Critical patent/JP6070599B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2353Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor by influencing the exposure time, e.g. shutter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, TV cameras, video cameras, camcorders, webcams, camera modules for embedding in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/225Television cameras ; Cameras comprising an electronic image sensor, e.g. digital cameras, video cameras, camcorders, webcams, camera modules specially adapted for being embedded in other devices, e.g. mobile phones, computers or vehicles
    • H04N5/235Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor
    • H04N5/2355Circuitry or methods for compensating for variation in the brightness of the object, e.g. based on electric image signals provided by an electronic image sensor by increasing the dynamic range of the final image compared to the dynamic range of the electronic image sensor, e.g. by adding correct exposed portions of short and long exposed images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/351Control of the SSIS depending on the scene, e.g. brightness or motion in the scene
    • H04N5/355Control of the dynamic range
    • H04N5/35536Control of the dynamic range involving multiple exposures
    • H04N5/35572Control of the dynamic range involving multiple exposures sequentially taken, e.g. using the combination of odd and even image fields
    • H04N5/35581Control of the dynamic range involving multiple exposures sequentially taken, e.g. using the combination of odd and even image fields with different integration times, e.g. short and long exposures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/335Transforming light or analogous information into electric information using solid-state image sensors [SSIS]
    • H04N5/369SSIS architecture; Circuitry associated therewith
    • H04N5/379Details of the architecture or circuitry being divided to different or multiple substrates, chips or circuit boards, e.g. stacked image sensors

Description

本開示は、撮像機能を有する撮像装置および、そのような撮像装置に適用可能な情報処理装置、情報処理方法、情報処理システムに関する。

CMOS(Complementary Metal-Oxide Semiconductor)等のイメージセンサを備える撮像装置において、電子シャッタの方式としては、グローバルシャッタ方式とローリングシャッタ方式とが知られている。グローバルシャッタ方式では、全ての画素に同時に電子シャッタ動作を行う。このため、グローバルシャッタ方式では露光のタイミングが全画素で同じである。ローリングシャッタ方式では、例えば1水平ラインずつ電子シャッタ動作を行う。このため、ローリングシャッタ方式では、露光のタイミングが例えば1水平ラインずつ、シフトした状態となる。ローリングシャッタ方式は、フォーカルプレーンシャッタ方式とも呼ばれる。

特開2013−081060号公報 特開2011−244309号公報

撮像装置において、例えば特許文献1に記載されているように、ダイナミックレンジ拡大のために、露光期間(シャッタスピード)の異なる複数の撮影画像を合成する方法が知られている。この方法では、時間的に重複しない期間に撮影された複数の撮影画像を合成するため、例えば被写体が移動する等した場合に合成後の画像品質が劣化してしまう。特許文献1に記載の方法では、イメージセンサからの信号の読み出しライン数を少なくし、読み出しスピードが早い動画モードしか対応できない。特許文献1に記載の方法で静止画を撮影すると、フォーカルプレーン歪みが発生し、画質が大幅に劣化してしまう。

特許文献2では、イメージセンサにおける第1のラインと、第1のラインとは異なる第2のラインとの2つのラインのシャッタスピードを異なる値にすることで、複数の撮影画像を生成する方法が提案されている。この方法では、イメージセンサにおける信号の蓄積期間の開始時間が揃えられるため、複数の撮影画像間で撮影開始のタイムラグは発生しないが、空間座標の異なる2ラインの画像を合成するため、不自然な模様が発生する可能性がある。また、合成前の撮影画像の垂直ライン数も半減してしまう。

本開示の目的は、シャッタスピードの異なる複数の撮影画像を短時間で生成することができる情報処理装置、情報処理方法、情報処理システム、および撮像装置を提供することにある。

本開示による情報処理装置は、第1の露光期間に基づく第1の画像と、第1の露光期間を含む第2の露光期間に基づく第2の画像とを生成する画像処理部を備えたものである。 第2の露光期間は、第1の露光期間に、第1の露光期間よりも短い第1の露光期間との差分期間を足した期間であり、画像処理部は、第1の画像を、第1の露光期間内に撮影された第1の撮影画像データに基づいて生成し、第2の画像を、第1の撮影画像データと、差分期間内に撮影された第2の撮影画像データとを合成することにより生成する。

本開示による情報処理方法は、第1の露光期間に基づく第1の画像と、第1の露光期間を含む第2の露光期間に基づく第2の画像とを画像処理部によって生成する処理を含むようにしたものである。
第2の露光期間は、第1の露光期間に、第1の露光期間よりも短い第1の露光期間との差分期間を足した期間であり、画像処理部によって、第1の画像を、第1の露光期間内に撮影された第1の撮影画像データに基づいて生成し、第2の画像を、第1の撮影画像データと、差分期間内に撮影された第2の撮影画像データとを合成することにより生成する。

本開示による情報処理システムは、第1の露光期間に基づく第1の画像と、第1の露光期間を含む第2の露光期間に基づく第2の画像とを生成する画像処理部を備えたものである。
第2の露光期間は、第1の露光期間に、第1の露光期間よりも短い第1の露光期間との差分期間を足した期間であり、画像処理部は、第1の画像を、第1の露光期間内に撮影された第1の撮影画像データに基づいて生成し、第2の画像を、第1の撮影画像データと、差分期間内に撮影された第2の撮影画像データとを合成することにより生成する。
なお、本開示による情報処理システムは、第1および第2の撮影画像データを出力する撮像装置をさらに備えていてもよい

本開示による撮像装置は、第1の露光期間に基づく第1の画像と、第1の露光期間を含む第2の露光期間に基づく第2の画像とを生成する画像処理部を備えたものである。
第2の露光期間は、第1の露光期間に、第1の露光期間よりも短い第1の露光期間との差分期間を足した期間であり、画像処理部は、第1の画像を、第1の露光期間内に撮影された第1の撮影画像データに基づいて生成し、第2の画像を、第1の撮影画像データと、差分期間内に撮影された第2の撮影画像データとを合成することにより生成する。
なお、本開示による撮像装置は、第1および第2の撮影画像データを出力するセンサ部をさらに備えていてもよい

本開示による情報処理装置、情報処理方法、情報処理システム、または撮像装置では、第1の露光期間に基づく第1の画像と、第1の露光期間を含む第2の露光期間に基づく第2の画像とが生成される。

本開示の情報処理装置、情報処理方法、情報処理システム、または撮像装置によれば、第1の露光期間に基づく第1の画像と、第1の露光期間を含む第2の露光期間に基づく第2の画像とを生成するようにしたので、シャッタスピードの異なる複数の撮影画像を短時間で生成することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本開示の一実施の形態に係る撮像装置の一構成例を示すブロック図である。 図1に示した撮像装置におけるイメージセンサの回路構成の一例を表す回路図である。 イメージセンサの回路を一層で構成した場合の構成図である。 イメージセンサの回路構成を積層構造にした場合の構成図である。 イメージセンサにおける露光タイミングの一例を示す説明図である。 撮影画像の合成処理の一例を表す流れ図である。 露光処理およびメモリ記録処理の一例を表す流れ図である。 図7に続く処理の一例を表す流れ図である。 撮影画像の生成処理の第1の例を示す説明図である。 撮影画像の生成処理の第2の例を示す説明図である。 撮影画像の生成処理の第3の例を示す説明図である。 第1の変形例に係る撮像装置の一構成例を示すブロック図である。 第2の変形例に係る情報処理装置および情報処理システムの一構成例を示すブロック図である。 メカシャッタを用いて撮影を行う第1の比較例における露光タイミングの一例を示す説明図である。 メカシャッタを用いずに、電子的なフォーカルプレーンシャッタ方式で撮影を行う第2の比較例における露光タイミングの一例を示す説明図である。

以下、本開示の実施の形態について図面を参照して詳細に説明する。なお、説明は以下の順序で行う。
<1.構成>
[1.1 撮像装置の全体構成例]
[1.2 センサ部(イメージセンサ)の構成例]
<2.動作>
[2.1 比較例の露光タイミングの例]
[2.2 画像合成処理の例]
<3.効果>
<4.変形例>
[4.1 第1の変形例]
[4.2 第2の変形例](情報処理システムの構成例)
<5.その他の実施の形態>

<1.構成>
[1.1 撮像装置の全体構成例]
図1は、本開示の一実施の形態に係る撮像装置1の全体構成例を表すものである。
撮像装置1は、イメージセンサ100と、カメラ制御・信号処理部200と、インタフェース116とを備えている。インタフェース116は、カメラ制御・信号処理部200とイメージセンサ100との間で画像データおよび各種制御信号等の信号伝送を可能にするためのものである。

イメージセンサ100は、画素アレイ部111と、周辺回路部110とを有している。周辺回路部110は、A/D変換部(ADC(Analog Digital Converter))113と、フレームメモリ115とを有している。カメラ制御・信号処理部200は、合成処理部201と、カメラ信号処理部202と、カメラ制御部203とを有している。

図1では、画素アレイ部111と周辺回路部110とを別々の層に形成した積層構造の例を示しているが、画素アレイ部111と周辺回路部110とを同一の層に形成した構造であってもよい。さらに、周辺回路部110のADC113とフレームメモリ115とを別々の層に形成した3層以上の多層構造であってもよい。画素アレイ部111と周辺回路部110は電気的に接続されており、画素アレイ部111の信号(光が光電変換された信号)が周辺回路部110に電気信号として伝達される。

画素アレイ部111は、行列状に配置された複数の画素を有する画素部となっている。画素アレイ部111は、1画素につき1色のカラーフィルタを持ったベイヤー配列や、1画素に複数色のカラーフィルタを持つ構造であっても良い。

ADC113は、画素アレイ部111における各画素列に対して複数設けられている。ADC113を所定エリアごとに複数設け、画素アレイ部111を所定単位のエリアに区切り、エリアごとにAD変換を行うことで、並列処理能力を高め、全画素を高いフレームレートでAD変換できる能力を持つことが好ましい。例えば全画素について240fpsの処理能力を持つことが好ましい。究極的には1画素につき1つのADC113を搭載してもよい。

フレームメモリ115は、ADC113から出力された全画素の画素データを複数フレーム分、高速で記録することのできるメモリ部となっている。イメージセンサ100内に高速記録が可能なフレームメモリ115を持ち、イメージセンサ100からカメラ制御・信号処理部200にデータ出力するときはゆっくり転送することで、インタフェース116での転送律速を回避することができる。このため、伝送路の設計自由度が向上し、信号処理LSI(大規模集積回路)の処理速度もそこまで速くなくとも良い。

合成処理部201は、後述するように、第1の露光期間に基づく第1の画像と、第1の露光期間を含む第2の露光期間に基づく第2の画像とを生成する画像処理部となっている。イメージセンサ100は、後述するように、露光開始タイミングの異なる複数枚の撮影画像データをフレームメモリ115を介して合成処理部201に出力可能となっている。合成処理部201は、後述するように、イメージセンサ100から出力された、露光開始タイミングの異なる複数枚の撮影画像データに基づいて、第1の画像および第2の画像を生成する。

カメラ信号処理部202は、一般的なカメラ現像処理を行い、図示しないモニタや記録装置等に画像データを外部出力するようになっている。ここで、一般的なカメラ現像処理とは、例えば欠陥補正、黒レベル調整、デモザイク処理、ホワイトバランス処理、ガンマ補正処理、Jpeg圧縮等の処理であってもよい。

カメラ制御部203は、撮像装置1の全体制御や、ユーザの指示に基づく撮影条件の設定処理等を行うようになっている。

[1.2 センサ部(イメージセンサ)の構成例]
図2は、イメージセンサ100の回路構成の一例を表している。図2に示されるイメージセンサ100は、例えば、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサやCCD(Charge Coupled Device)イメージセンサ等の、被写体を撮像し、撮像画像のデジタルデータを得る撮像素子である。

図2に示されるように、イメージセンサ100は、制御部101と、画素アレイ部111と、選択部112と、ADC113と、定電流回路部114とを有していてもよい。

制御部101は、イメージセンサ100の各部を制御し、画像データ(画素信号)の読み出し等に関する処理を実行させる。

画素アレイ部111は、フォトダイオード等の光電変換素子を有する画素構成が行列(アレイ)状に配置される画素領域である。画素アレイ部111は、制御部101に制御されて、各画素で被写体の光を受光し、その入射光を光電変換して電荷を蓄積し、所定のタイミングにおいて、各画素に蓄積された電荷を画素信号として出力する。

画素121および画素122は、その画素アレイ部111に配置される画素群の中の、上下に隣接する2画素を示している。画素121および画素122は、互いに同じカラム(列)の連続する行の画素である。図2の例の場合、画素121および画素122に示されるように、各画素の回路には、光電変換素子並びに4つのトランジスタが用いられている。なお、各画素の回路の構成は、任意であり、図2に示される例以外であってもよい。

一般的な画素アレイには、カラム(列)ごとに、画素信号の出力線が設けられる。画素アレイ部111の場合、1カラム(列)ごとに、2本(2系統)の出力線が設けられる。1カラムの画素の回路は、1行おきに、この2本の出力線に交互に接続される。例えば、上から奇数番目の行の画素の回路が一方の出力線に接続され、偶数番目の行の画素の回路が他方の出力線に接続される。図2の例の場合、画素121の回路は、第1の出力線(VSL1)に接続され、画素122の回路は、第2の出力線(VSL2)に接続される。

なお、図2においては、説明の便宜上、1カラム分の出力線のみ示されているが、実際には、各カラムに対して、同様に2本ずつ出力線が設けられる。各出力線には、そのカラムの画素の回路が1行おきに接続される。

選択部112は、画素アレイ部111の各出力線をADC113の入力に接続するスイッチを有し、制御部101に制御されて、画素アレイ部111とADC113との接続を制御する。つまり、画素アレイ部111から読み出された画素信号は、この選択部112を介してADC113に供給される。

選択部112は、スイッチ131、スイッチ132、およびスイッチ133を有する。スイッチ131(選択SW)は、互いに同じカラムに対応する2本の出力線の接続を制御する。例えば、スイッチ131がオン(ON)状態になると、第1の出力線(VSL1)と第2の出力線(VSL2)が接続され、オフ(OFF)状態になると切断される。

詳細については後述するが、イメージセンサ100においては、各出力線に対してADCが1つずつ設けられている(カラムADC)。したがって、スイッチ132およびスイッチ133がともにオン状態であるとすると、スイッチ131がオン状態になれば、同カラムの2本の出力線が接続されるので、1画素の回路が2つのADCに接続されることになる。逆に、スイッチ131がオフ状態になると、同カラムの2本の出力線が切断されて、1画素の回路が1つのADCに接続されることになる。つまり、スイッチ131は、1つの画素の信号の出力先とするADC(カラムADC)の数を選択する。

詳細については後述するが、このようにスイッチ131が画素信号の出力先とするADCの数を制御することにより、イメージセンサ100は、そのADCの数に応じてより多様な画素信号を出力することができる。つまり、イメージセンサ100は、より多様なデータ出力を実現することができる。

スイッチ132は、画素121に対応する第1の出力線(VSL1)と、その出力線に対応するADCとの接続を制御する。スイッチ132がオン(ON)状態になると、第1の出力線が、対応するADCの比較器の一方の入力に接続される。また、オフ(OFF)状態になるとそれらが切断される。

スイッチ133は、画素122に対応する第2の出力線(VSL2)と、その出力線に対応するADCとの接続を制御する。スイッチ133がオン(ON)状態になると、第2の出力線が、対応するADCの比較器の一方の入力に接続される。また、オフ(OFF)状態になるとそれらが切断される。

選択部112は、制御部101の制御に従って、このようなスイッチ131乃至スイッチ133の状態を切り替えることにより、1つの画素の信号の出力先とするADC(カラムADC)の数を制御することができる。

なお、スイッチ132やスイッチ133(いずれか一方若しくは両方)を省略し、各出力線と、その出力線に対応するADCとを常時接続するようにしてもよい。ただし、これらのスイッチによって、これらの接続・切断を制御することができるようにすることにより、1つの画素の信号の出力先とするADC(カラムADC)の数の選択の幅が拡がる。つまり、これらのスイッチを設けることにより、イメージセンサ100は、より多様な画素信号を出力することができる。

なお、図2においては、1カラム分の出力線に対する構成のみ示されているが、実際には、選択部112は、カラムごとに、図2に示されるのと同様の構成(スイッチ131乃至スイッチ133)を有している。つまり、選択部112は、各カラムについて、制御部101の制御に従って、上述したのと同様の接続制御を行う。

ADC113は、画素アレイ部111から各出力線を介して供給される画素信号を、それぞれA/D変換し、デジタルデータとして出力する。ADC113は、画素アレイ部111からの出力線ごとのADC(カラムADC)を有する。つまり、ADC113は、複数のカラムADCを有する。1出力線に対応するカラムADCは、比較器、D/A変換器(DAC)、およびカウンタを有するシングルスロープ型のADCである。

比較器は、そのDAC出力と画素信号の信号値とを比較する。カウンタは、画素信号とDAC出力が等しくなるまで、カウント値(デジタル値)をインクリメントする。比較器は、DAC出力が信号値に達すると、カウンタを停止する。その後カウンタ1,2によってデジタル化された信号をDATA1およびDATA2よりイメージセンサ100の外部に出力する。

カウンタは、次のA/D変換のためデータ出力後、カウント値を初期値(例えば0)に戻す。

ADC113は、各カラムに対して2系統のカラムADCを有する。例えば、第1の出力線(VSL1)に対して、比較器141(COMP1)、DAC142(DAC1)、およびカウンタ143(カウンタ1)が設けられ、第2の出力線(VSL2)に対して、比較器151(COMP2)、DAC152(DAC2)、およびカウンタ153(カウンタ2)が設けられている。図示は省略しているが、ADC113は、他のカラムの出力線に対しても同様の構成を有する。

ただし、これらの構成の内、DACは、共通化することができる。DACの共通化は、系統ごとに行われる。つまり、各カラムの互いに同じ系統のDACが共通化される。図2の例の場合、各カラムの第1の出力線(VSL1)に対応するDACがDAC142として共通化され、各カラムの第2の出力線(VSL2)に対応するDACがDAC152として共通化されている。なお、比較器とカウンタは、各出力線の系統ごとに設けられる。

定電流回路部114は、各出力線に接続される定電流回路であり、制御部101により制御されて駆動する。定電流回路部114の回路は、例えば、MOS(Metal Oxide Semiconductor)トランジスタ等により構成される。この回路構成は任意であるが、図2においては、説明の便宜上、第1の出力線(VSL1)に対して、MOSトランジスタ161(LOAD1)が設けられ、第2の出力線(VSL2)に対して、MOSトランジスタ162(LOAD2)が設けられている。

制御部101は、例えばユーザ等の外部から要求を受け付けて読み出しモードを選択し、選択部112を制御して、出力線に対する接続を制御する。また、制御部101は、選択した読み出しモードに応じて、カラムADCの駆動を制御したりする。さらに、制御部101は、カラムADC以外にも、必要に応じて、定電流回路部114の駆動を制御したり、例えば、読み出しのレートやタイミング等、画素アレイ部111の駆動を制御したりする。

つまり、制御部101は、選択部112の制御だけでなく、選択部112以外の各部も、より多様なモードで動作させることができる。したがって、イメージセンサ100は、より多様な画素信号を出力することができる。

なお、図2に示される各部の数は、不足しない限り任意である。例えば、各カラムに対して出力線が3系統以上設けられ、各カラムに対してADCが3つ以上設けられるようにしてもよい。

なお、上述したように、各カラムに対して複数のADCを設けると、例えば、図3に示される1層の構造では、チップサイズが増大し、コストが増大してしまう恐れがある。そこで、図4に示されるように、チップの積層化をするようにしてもよい。

図4の場合、イメージセンサ100は、画素アレイ部111が主に形成される画素チップ100−1と、出力回路、周辺回路、フレームメモリ115およびADC113等が形成される周辺回路チップ100−2、およびパッド(PAD)との複数チップにより構成される。画素チップ100−1の画素アレイ部111の出力線とドライブ線が貫通ビア(VIA)を介して周辺回路チップ100−2の回路と接続されている。

このような構成とすることにより、チップサイズを小さくすることができ、コストを削減させることができる。また、配線層のスペースに余裕ができるので、配線の引き回しも容易になる。さらに、複数チップ化することにより、各チップをそれぞれ最適化することができる。例えば、画素チップにおいては、配線層による光学的な反射による量子効率の低下を防ぐためにより少ない配線層で低背化を実現し、周辺回路チップにおいては、配線間カップリング対策など最適化を可能にするために配線層の多層化を実現することができる。例えば、周辺回路チップの配線層を、画素チップの配線層よりも多層化することもできる。

<2.動作>
図5は、本実施の形態のイメージセンサ100における露光タイミングの一例を示している。図5において横軸は時間、縦軸は画素アレイ部111における上下方向の画素ラインの位置を示している。図5の例では、露光期間ta(例えば1/60s)での撮影を2枚連続して行う例を示している。時刻t1〜t2に1枚目の撮影、時刻t2〜t3に2枚目の撮影を行っている。

本実施の形態におけるイメージセンサ100では、ADC113の搭載数を多くすることで、画素アレイ部111における全画素の画素データの読み出し時間を短くし、後述する比較例のようなメカシャッタを使用せずとも、フォーカルプレーン歪みの少ない良好な画質を実現できる。また、メカシャッタを使用しないことで、メカ的な駆動時間が無くなり、連写した場合のレスポンス低下も抑えられる。N枚目のシャッタを切り終えてから、N+1枚目のシャッタを切るまでの時間を短くできる。

[2.1 比較例の露光タイミングの例]
ここで、図5に示した本実施の形態における露光タイミングに対する比較例の露光タイミングの例を説明する。

図14は、メカシャッタを用いて撮影を行う第1の比較例における露光タイミングの一例を示している。図15は、メカシャッタを用いない、第2の比較例における露光タイミングの一例を示している。第1および第2の比較例では、画素アレイ部111においてADC113を例えば1列につき1つのみ搭載している構成となっている。図14および図15において横軸は時間、縦軸は画素アレイ部111における上下方向のライン位置を示している。図14および図15では、図5の撮影例に対応させて、露光期間ta(例えば1/60s)での撮影を2枚連続して行う例を示している。

図14に示した第1の比較例では、全画素を複数回露光する場合は、例えば、1回シャッタを切ったあと,2回目のシャッタを切るまでにタイムラグが発生する。また、ADC113の搭載数が少なく、画素アレイ部111における全画素の画素データの読み出しスピードが非常に遅くなっている。このため、メカシャッタを閉じている間にゆっくり画素データを読み出すことでフォーカルプレーン歪みを回避している。また、メカシャッタの先膜から後膜までの時間間隔を同じにすることで、画素の上下での露光期間を同じにすることができる。メカシャッタのスピードを速く、例えば1/240sにすることでフォーカルプレーン歪みを小さくすることができる。

しかしながら、図14に示した第1の比較例では、1枚目の撮影画像データを得るための露光期間と2枚目の撮影画像データを得るための露光期間との間の期間において、画素データを読み出すための時間が必要となるため、撮影不能期間が生ずる。このため,この2枚の撮影画像データを重ね合わせて例えば1/30sの合成画像を得ようとしても、動物体が不自然につながったり、合成後の撮影開始から終了までの時間が実際には1/30sより長くなってしまう。

図15に示した第2の比較例では、ADC113の搭載数が少なく、かつメカシャッタを用いていないため、画素の上下で、露光タイミングおよび画素データの読み出しタイミングに大きな差が生じる。例えば、画素の上から下までの露光スピードおよび読み出しスピードは1/10s〜1/20程度であり、これにより、フォーカルプレーン歪みが生ずる。

[2.2 画像合成処理の例]
図6は、本実施の形態に係る撮像装置1における撮影画像の合成処理の流れの一例を表している。カメラ制御部203は、まず、露光期間と撮影枚数との撮影条件を決定する(ステップS11)。撮影条件は、撮像装置1側で自動的に行ってもよいし、ユーザが指定したものであってもよい。イメージセンサ100では、その撮影条件での露光処理と、それによって得られたN枚の撮影画像データのフレームメモリ115へのメモリ記録処理とを行う(ステップS12)。次に、フレームメモリ115から合成処理部201へのデータ転送を行う(ステップS13)。フレームメモリ115には、合成処理に必要な複数の撮影画像データが合成処理部201に転送される。合成処理部201では、複数の撮影画像データに基づいて画像の合成処理を行う(ステップS14)。

ここで、図6のステップS12において、撮像装置1では、例えばフレームメモリ115に第1の露光期間内に露光された1枚目の第1の撮影画像データを記録する処理と、後述するような2枚目の第2の撮影画像データを得るための露光処理とを並列して行う。

このため、図6のステップS12では例えば図7および図8に示したような処理を行う。なお、図8は、図7に続く処理の一例を表している。

まず、イメージセンサ100において1枚目の撮影画像の露光を開始する(ステップS21)。1枚目の撮影画像の露光が終了(ステップS22)すると、1枚目の撮影画像データのフレームメモリ115へのメモリ記録の開始処理(ステップS23A1)およびメモリ記録の終了処理を行う(ステップS24A1)。また、1枚目の撮影画像データのメモリ記録処理と並列して、2枚目の撮影画像の露光の開始処理(ステップS23B1)および露光の終了処理を行う(ステップS24B1)。

以降、図8に示したように、N−1枚目の撮影画像データのフレームメモリ115へのメモリ記録の開始処理(ステップS23An−1)およびメモリ記録の終了処理を行う(ステップS24An−1)。また、N−1枚目の撮影画像データのメモリ記録処理と並列して、N枚目の撮影画像の露光の開始処理(ステップS23Bn−1)および露光の終了処理を行う(ステップS24Bn−1)。

N枚目の撮影画像の露光が終了(ステップS24Bn−1)すると、N枚目の撮影画像データのフレームメモリ115へのメモリ記録の開始処理(ステップS23An)およびメモリ記録の終了処理を行う(ステップS24An)。これにより、N枚の撮影画像データがフレームメモリ115に記録される。

(撮影画像の生成処理の具体例)
図9〜図11を参照して、所望とする撮影画像の生成処理の具体例を説明する。図9〜図11において、横軸は時間、縦軸は画素アレイ部111における上下方向の画素ラインの位置を示している。

図9は、撮影画像の生成処理の第1の例を示している。図9の例では、図6のステップS11における撮影条件をユーザが指定した場合を想定している。例えば、ユーザによって所望の露光期間(シャッタスピード)と撮影枚数とが指定される。撮像装置1では、ユーザによって指定された撮影条件を満たすように露光処理、および画像処理を行う。ただし、撮影枚数の上限はフレームメモリ115の大きさに依存する。

ユーザによって指定されたN枚の所望の画像の露光期間を、期間の短い側から順にSt1,St2,…Stnとする。これらの所望の露光期間St1,St2,…Stnの画像を生成するために、撮像装置1では、実際に撮影する際の露光期間を以下のように設定する。
実際に撮影する1枚目の露光期間:St1、
実際に撮影する2枚目の露光期間:St2−St1、
…、
実際に撮影するN枚目の露光期間:Stn−Stn−1

図9では、ユーザによって所望の画像として、露光期間St1,St2,St3の3枚の画像が指定された場合の例を示している。例えば露光期間St1が1/60sの第1の画像と、露光期間St2が1/50sの第2の画像と、露光期間St3が1/40sの第3の画像とをユーザが指定した場合を示している。

この場合、撮像装置1では、第1の露光期間St1での撮影と、第2の露光期間St2と第1の露光期間St1との差分期間(St2−St1)での撮影と、第3の露光期間St3と第2の露光期間St2との差分期間(St3−St2)での撮影とを行う。これにより、フレームメモリ115には第1の露光期間St1で撮影された第1の撮影画像データと、差分期間(St2−St1)で撮影された第2の撮影画像データと、差分期間(St3−St2)で撮影された第3の撮影画像データとが記録される。

合成処理部201は、ユーザが指定した所望の第1の露光期間St1の第1の画像を、第1の露光期間St1で撮影された第1の撮影画像データに基づいて生成する。また、合成処理部201は、ユーザが指定した所望の第2の露光期間St2の第2の画像を、第1の撮影画像データと第2の撮影画像データとを合成することにより生成する。

このようにして得られた最終的な複数の画像では、露光期間として、少なくとも第1の露光期間St1が重複している。すなわち、本実施の形態では、露光期間の異なる複数の撮影画像を生成する際に、部分的に撮影時間を重複させることができる。これにより、全体的な撮影時間を短縮することができる。

なお、合成処理部201において、ダイナミックレンジを拡大した画像を生成するようにしてもよい。例えば、第1の露光期間St1の第1の画像と、第2の露光期間St2の第2の画像とを合成することにより、ダイナミックレンジが拡大された合成画像を得ることができる。

また、合成処理部201における撮影画像データの合成方法としては、以下のような方法がある。

方法1)単純合成
位置合わせをせず、単純に指定枚数分の撮影画像データの加算を行う。

方法2)位置合わせ
フレーム間で動きベクトル等を算出し、位置やあおりを合わせ、精度良く加算しても良い。

方法3)ダイナミックレンジ拡大
加算後に飽和レベルを超えてしまう場合は、飽和を超えたレベルの階調を失わず合成することで。ダイナミックレンジの拡大も見込める。

図10は、撮影画像の生成処理の第2の例を示している。図10の例では、図6のステップS11における撮影条件を撮像装置1側で自動的に行う場合を想定している。例えば、撮像装置1側で既知の手法により、推奨シャッタスピードを決定する。そして、例えば推奨シャッタスピードから±0.3EVの撮影画像を最終的に生成する。なお、EV値は任意であり、ユーザによって指定されたものであってもよい。

この第2の例においても、画像の生成処理および合成処理は基本的に上記第1の例と同様である。一番早いシャッタスピードを最初に撮影し、順次差分を撮影していく。撮影順番は−0.3,±0,+0.3の順となる。フレームメモリ115に十分余裕がある場合はEV値は細かく割り振っても良い。
例えば、
−0.3,−0.2,−0.1,±0,+0.1,+0.2,+0.3
のように割り振っても良い。合成処理部201で合成する際には、撮像装置1側で適切なシャッタスピードを1枚以上指定しても良いが(例えば−0.3〜+0.3EVまで0.1EV刻みで合計7枚保存)、ユーザが選べるようにしても良い.

図10の例では、推奨シャッタスピードが1/100sの場合で、EV値の変動を全てシャッタスピード変化とした場合、−0.3,−0.2,−0.1,0,+0.1,+0.2,+0.3のシャッタスピードはそれぞれ、1/130s,1/120s,1/110s,1/100s,1/90s,1/80s,1/70sとなる。このシャッタスピードを早いものから撮影していく。

図10の例では、撮像装置1で実際に撮影する際の露光期間は以下のようになる。
実際に撮影する1枚目の露光期間:St1=1/130s
実際に撮影する2枚目の露光期間:St2−St1=(1/130−1/120)s
実際に撮影する3枚目の露光期間:St3−St2=(1/120−1/110)s
実際に撮影する4枚目の露光期間:St4−St3=(1/110−1/100)s
実際に撮影する5枚目の露光期間:St5−St4=(1/100−1/90)s
実際に撮影する6枚目の露光期間:St6−St5=(1/90−1/80)s
実際に撮影する7枚目の露光期間:St7−St6=(1/80−1/70)s

図11は、撮影画像の生成処理の第3の例を示している。フレームメモリ115に記録する複数枚の撮影画像データは、あらかじめ決められた所定の時間間隔St0で露光することにより得られた画像データであってもよい。例えば短いシャッタスピードで高速に多数枚撮影し、多数枚の撮影画像データをフレームメモリ115に記録する。合成処理部201では、多数枚の撮影画像データを適宜加算して所望のシャッタスピードの画像を生成する。

図11では、所定の時間間隔St0を1/10000sとして、1000枚の撮影画像データをフレームメモリ115に記録する例を示している。これにより、撮影画像データを例えば10枚加算すれば1/1000sのシャッタスピード(露光期間St10)で撮影した画像と同等のものが得られる。1000枚加算すれば1/10sのシャッタスピード(露光期間St1000)で撮影した画像と同等のものが得られる。

<3.効果>
以上のように、本実施の形態によれば、第1の露光期間に基づく第1の画像と、第1の露光期間を含む第2の露光期間に基づく第2の画像とを生成するようにしたので、シャッタスピードの異なる複数の撮影画像を短時間で生成することができる。

なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。以降の他の実施の形態および変形例についても同様である。

<4.変形例>
[4.1 第1の変形例]
図12は、第1の変形例に係る撮像装置1Aの一構成例を示している。図12の撮像装置1Aのように、合成処理部201をイメージセンサ100内に設けるようにしてもよい。

[4.2 第2の変形例](情報処理システムの構成例)
図13は、第2の変形例に係る情報処理装置および情報処理システムの一構成例を示している。図13に示したように、撮像装置1Bとは別の情報処理装置2内に合成処理部201を設けた情報処理システムを構築してもよい。撮像装置1Bと情報処理装置2との接続は、無線または有線によるネットワーク接続であってもよい。また、いわゆるクラウドコンピューティングのような形態で合成処理部201の処理を行ってもよい。例えば、インターネット等のネットワーク上のサーバで合成処理部201の処理を行うような形態であってもよい。

<5.その他の実施の形態>
本開示による技術は、上記実施の形態の説明に限定されず種々の変形実施が可能である。

例えば、本技術は以下のような構成を取ることができる。
(1)
第1の露光期間に基づく第1の画像と、前記第1の露光期間を含む第2の露光期間に基づく第2の画像とを生成する画像処理部
を備える情報処理装置。
(2)
前記画像処理部は、露光開始タイミングの異なる複数枚の撮影画像データに基づいて、前記第1の画像および前記第2の画像を生成する
上記(1)に記載の情報処理装置。
(3)
前記画像処理部は、
前記第1の画像を、前記第1の露光期間内に撮影された第1の撮影画像データに基づいて生成し、
前記第2の画像を、前記第1の撮影画像データと、前記第2の露光期間と前記第1の露光期間との差分期間内に撮影された少なくとも1枚の第2の撮影画像データとを合成することにより生成する
上記(1)または(2)に記載の情報処理装置。
(4)
前記画像処理部は、前記第1の画像と前記第2の画像とを合成した第3の画像をさらに生成する
上記(1)ないし(3)のいずれか1つに記載の情報処理装置。
(5)
前記撮影画像データを複数枚、記録することが可能なメモリ部をさらに備える
上記(2)または(3)に記載の情報処理装置。
(6)
前記複数枚の撮影画像データは、あらかじめ決められた所定の時間間隔で露光することにより得られた画像データである
上記(2)に記載の情報処理装置。
(7)
前記複数枚の撮影画像データは、前記第1の露光期間と、前記第2の露光期間と前記第1の露光期間との差分期間とに基づいて求められた時間間隔で露光することにより得られた画像データである
上記(2)に記載の情報処理装置。
(8)
第1の露光期間に基づく第1の画像と、前記第1の露光期間を含む第2の露光期間に基づく第2の画像とを画像処理部によって生成する
情報処理方法。
(9)
第1の露光期間に基づく第1の画像と、前記第1の露光期間を含む第2の露光期間に基づく第2の画像とを生成する画像処理部
を備える情報処理システム。
(10)
露光開始タイミングの異なる複数枚の撮影画像データを出力する撮像装置をさらに備え、
前記画像処理部は、前記撮像装置から出力された前記複数枚の撮影画像データに基づいて、前記第1の画像および前記第2の画像を生成する
上記(9)に記載の情報処理システム。
(11)
第1の露光期間に基づく第1の画像と、前記第1の露光期間を含む第2の露光期間に基づく第2の画像とを生成する画像処理部
を備える撮像装置。
(12)
露光開始タイミングの異なる複数枚の撮影画像データを出力するセンサ部をさらに備え、
前記画像処理部は、前記センサ部から出力された前記複数枚の撮影画像データに基づいて、前記第1の画像および前記第2の画像を生成する
上記(11)に記載の撮像装置。
(13)
前記センサ部内に、
行列状に配置された複数の画素を有する画素部と、
前記画素部における各画素列に対して複数設けられたA/D変換部とを含む
上記(12)に記載の撮像装置。
(14)
前記センサ部内にさらに、
前記A/D変換部から出力された画素データを複数フレーム分、記録するメモリ部を含む
上記(13)に記載の撮像装置。
(15)
前記メモリ部に、前記センサ部で前記第1の露光期間内に露光された第1の撮影画像データを記録する処理と、
前記センサ部において、前記第2の露光期間と前記第1の露光期間との差分期間内に第2の撮影画像データを得るための露光処理とを並列して行う
上記(14)に記載の撮像装置。

1,1A,1B…撮像装置、2…情報処理装置、100…イメージセンサ、101…制御部、110…周辺回路部、111…画素アレイ部、112…選択部、113…ADC、114…定電流回路部、115…フレームメモリ、116…インタフェース、121,122…画素、131〜133…スイッチ、141…比較器、142…DAC、143…カウンタ、151…比較器、152…DAC、153…カウンタ、161,162…MOSトランジスタ、200…カメラ制御・信号処理部、201…合成処理部、202…カメラ信号処理部、203…カメラ制御部。

Claims (13)

  1. 第1の露光期間に基づく第1の画像と、前記第1の露光期間を含む第2の露光期間に基づく第2の画像とを生成する画像処理部
    を備え、
    前記第2の露光期間は、前記第1の露光期間に、前記第1の露光期間よりも短い前記第1の露光期間との差分期間を足した期間であり、
    前記画像処理部は、
    前記第1の画像を、前記第1の露光期間内に撮影された第1の撮影画像データに基づいて生成し、
    前記第2の画像を、前記第1の撮影画像データと、前記差分期間内に撮影された第2の撮影画像データとを合成することにより生成する
    情報処理装置。
  2. 互いに露光期間が異なる複数の画像を撮影するよう指定された場合に、前記差分期間を算出し、撮像装置に対して前記差分期間内で撮影を行わせるカメラ制御部
    をさらに備える
    請求項1に記載の情報処理装置。
  3. 前記画像処理部は、前記第1の画像と前記第2の画像とを合成した第3の画像をさらに生成する
    請求項1または2に記載の情報処理装置。
  4. 複数枚の撮影画像データを記録することが可能なメモリ部をさらに備える
    請求項1ないし3のいずれか1つに記載の情報処理装置。
  5. 第1の露光期間に基づく第1の画像と、前記第1の露光期間を含む第2の露光期間に基づく第2の画像とを画像処理部によって生成する処理を含み、
    前記第2の露光期間は、前記第1の露光期間に、前記第1の露光期間よりも短い前記第1の露光期間との差分期間を足した期間であり、
    前記画像処理部によって、
    前記第1の画像を、前記第1の露光期間内に撮影された第1の撮影画像データに基づいて生成し、
    前記第2の画像を、前記第1の撮影画像データと、前記差分期間内に撮影された第2の撮影画像データとを合成することにより生成する
    情報処理方法。
  6. 第1の露光期間に基づく第1の画像と、前記第1の露光期間を含む第2の露光期間に基づく第2の画像とを生成する画像処理部
    を備え、
    前記第2の露光期間は、前記第1の露光期間に、前記第1の露光期間よりも短い前記第1の露光期間との差分期間を足した期間であり、
    前記画像処理部は、
    前記第1の画像を、前記第1の露光期間内に撮影された第1の撮影画像データに基づいて生成し、
    前記第2の画像を、前記第1の撮影画像データと、前記差分期間内に撮影された第2の撮影画像データとを合成することにより生成する
    情報処理システム。
  7. 前記第1および第2の撮影画像データを出力する撮像装置をさらに備える
    請求項6に記載の情報処理システム。
  8. 第1の露光期間に基づく第1の画像と、前記第1の露光期間を含む第2の露光期間に基づく第2の画像とを生成する画像処理部
    を備え、
    前記第2の露光期間は、前記第1の露光期間に、前記第1の露光期間よりも短い前記第1の露光期間との差分期間を足した期間であり、
    前記画像処理部は、
    前記第1の画像を、前記第1の露光期間内に撮影された第1の撮影画像データに基づいて生成し、
    前記第2の画像を、前記第1の撮影画像データと、前記差分期間内に撮影された第2の撮影画像データとを合成することにより生成する
    を備える撮像装置。
  9. 前記第1および第2の撮影画像データを出力するセンサ部をさらに備える
    請求項8に記載の撮像装置。
  10. 前記センサ部内に、
    行列状に配置された複数の画素を有する画素部と、
    前記画素部における各画素列に対して複数設けられたA/D変換部とを含む
    請求項9に記載の撮像装置。
  11. 前記センサ部内にさらに、
    前記A/D変換部から出力された画素データを複数フレーム分、記録するメモリ部を含む
    請求項10に記載の撮像装置。
  12. 前記メモリ部に前記第1の撮影画像データを記録する処理と、
    前記センサ部において前記第2の撮影画像データを得るための露光処理とを並列して行う
    請求項11に記載の撮像装置。
  13. 互いに露光期間が異なる複数の画像を撮影するよう指定された場合に、前記差分期間を算出し、前記センサ部に対して前記差分期間内で撮影を行わせるカメラ制御部
    をさらに備える
    請求項9ないし12のいずれか1つに記載の撮像装置。
JP2014028749A 2014-02-18 2014-02-18 情報処理装置、情報処理方法、情報処理システム、および撮像装置 Active JP6070599B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014028749A JP6070599B2 (ja) 2014-02-18 2014-02-18 情報処理装置、情報処理方法、情報処理システム、および撮像装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2014028749A JP6070599B2 (ja) 2014-02-18 2014-02-18 情報処理装置、情報処理方法、情報処理システム、および撮像装置
US14/614,963 US20150237247A1 (en) 2014-02-18 2015-02-05 Information processing apparatus, information processing method, information processing system, and imaging apparatus
CN201510070908.4A CN104853108B (zh) 2014-02-18 2015-02-11 信息处理设备、信息处理方法、信息处理系统以及成像设备

Publications (3)

Publication Number Publication Date
JP2015154413A JP2015154413A (ja) 2015-08-24
JP2015154413A5 JP2015154413A5 (ja) 2016-04-07
JP6070599B2 true JP6070599B2 (ja) 2017-02-01

Family

ID=53799248

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014028749A Active JP6070599B2 (ja) 2014-02-18 2014-02-18 情報処理装置、情報処理方法、情報処理システム、および撮像装置

Country Status (3)

Country Link
US (1) US20150237247A1 (ja)
JP (1) JP6070599B2 (ja)
CN (1) CN104853108B (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052426A (en) 1994-05-17 2000-04-18 Thomson Lcd Shift register using M.I.S. transistors of like polarity
KR101109540B1 (ko) * 2011-06-01 2012-01-31 한국기계연구원 토크 가변 기능이 구비된 기어박스 시험장치 및 이를 이용한 토크 가변 방법

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9686488B2 (en) 2015-09-30 2017-06-20 Semiconductor Components Industries, Llc Imaging systems with flicker mitigation and high dynamic range
US10652483B2 (en) 2015-11-13 2020-05-12 Sony Semiconductor Solutions Corporation Imaging element, driving method of imaging element, and electronic device
US9955096B2 (en) 2016-03-22 2018-04-24 Taiwan Semiconductor Manufacturing Co., Ltd. System and method for high-speed down-sampled CMOS image sensor readout
KR20180074392A (ko) * 2016-12-23 2018-07-03 삼성전자주식회사 이미지를 촬영하는 센서 및 그 제어 방법
JP6634035B2 (ja) * 2017-01-05 2020-01-22 キヤノン株式会社 撮像素子及び撮像装置

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002305683A (ja) * 2001-04-04 2002-10-18 Olympus Optical Co Ltd 撮像装置および撮像プログラムを記録した記録媒体
US7027092B2 (en) * 2001-09-17 2006-04-11 Hewlett-Packard Development Company, L.P. Image capture and storage device
JP4522207B2 (ja) * 2004-09-17 2010-08-11 キヤノン株式会社 カメラシステム、カメラ本体及び交換レンズ
JP4378272B2 (ja) * 2004-12-15 2009-12-02 キヤノン株式会社 撮影装置
JP4979969B2 (ja) * 2006-04-03 2012-07-18 三星電子株式会社Samsung Electronics Co.,Ltd. 撮像装置および撮像方法
JP2009055320A (ja) * 2007-08-27 2009-03-12 Fujifilm Corp 撮像装置及び固体撮像素子の駆動方法
JP4424402B2 (ja) * 2007-09-28 2010-03-03 ソニー株式会社 撮像装置、撮像制御方法、撮像制御プログラム
JP4715853B2 (ja) * 2008-02-12 2011-07-06 ソニー株式会社 固体撮像装置および撮像方法
JP4483962B2 (ja) * 2008-03-25 2010-06-16 ソニー株式会社 撮像装置、撮像方法
CN101394487B (zh) * 2008-10-27 2011-09-14 华为技术有限公司 一种合成图像的方法与系统
JP5185805B2 (ja) * 2008-12-26 2013-04-17 オリンパス株式会社 撮像装置
JP5520517B2 (ja) * 2009-02-25 2014-06-11 京セラ株式会社 携帯電子機器
KR101643319B1 (ko) * 2010-01-11 2016-07-27 삼성전자주식회사 하이 다이나믹 레인지 영상을 획득하는 장치 및 그 방법
JP2011244309A (ja) * 2010-05-20 2011-12-01 Sony Corp 画像処理装置、画像処理方法及びプログラム
CN103109523B (zh) * 2010-09-14 2016-06-15 富士胶片株式会社 成像装置和成像方法
US9413923B2 (en) * 2011-01-24 2016-08-09 Panasonic Intellectual Property Management Co., Ltd. Imaging apparatus
JP5655626B2 (ja) * 2011-02-24 2015-01-21 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5744614B2 (ja) * 2011-04-28 2015-07-08 オリンパス株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP5862126B2 (ja) * 2011-09-06 2016-02-16 ソニー株式会社 撮像素子および方法、並びに、撮像装置
US9049380B2 (en) * 2011-09-26 2015-06-02 Canon Kabushiki Kaisha Image processing apparatus for generating an image having an expanded dynamic range and method thereof, and image capture apparatus
JP6172967B2 (ja) * 2013-02-20 2017-08-02 キヤノン株式会社 撮像装置、及びその制御方法
JP6159105B2 (ja) * 2013-03-06 2017-07-05 キヤノン株式会社 撮像装置及びその制御方法
US9277147B2 (en) * 2013-08-23 2016-03-01 Semiconductor Components Industries, Llc Multimode pixel readout for enhanced dynamic range

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6052426A (en) 1994-05-17 2000-04-18 Thomson Lcd Shift register using M.I.S. transistors of like polarity
KR101109540B1 (ko) * 2011-06-01 2012-01-31 한국기계연구원 토크 가변 기능이 구비된 기어박스 시험장치 및 이를 이용한 토크 가변 방법

Also Published As

Publication number Publication date
JP2015154413A (ja) 2015-08-24
US20150237247A1 (en) 2015-08-20
CN104853108B (zh) 2019-08-06
CN104853108A (zh) 2015-08-19

Similar Documents

Publication Publication Date Title
US10110827B2 (en) Imaging apparatus, signal processing method, and program
US9628729B2 (en) Image sensor, electronic apparatus, and driving method of electronic apparatus
US20180295309A1 (en) Imaging device
US9215387B2 (en) Imaging sensor, imaging apparatus, electronic device, and imaging method with photoelectric conversion elements having different exposure times
US8988593B2 (en) Image sensor and image capturing apparatus with focus detection pixels
US9288399B2 (en) Image processing apparatus, image processing method, and program
JP5862126B2 (ja) 撮像素子および方法、並びに、撮像装置
JP5633323B2 (ja) 固体撮像装置及び電子機器
US9319614B2 (en) Image pickup device with a group of focus detection pixels associated with a dedicated readout circuit and image pickup apparatus including the image pickup device
US8077232B2 (en) Imaging device for adding signals including same color component
US7982789B2 (en) Image sensing apparatus driving method, image sensing apparatus, and image sensing system
US10218928B2 (en) Image capturing apparatus and mobile telephone
JP5026951B2 (ja) 撮像素子の駆動装置、撮像素子の駆動方法、撮像装置、及び撮像素子
JP5342969B2 (ja) 撮像装置及び撮像方法
JP6019692B2 (ja) 撮像素子、撮像素子の制御方法、および、撮像装置
US7978240B2 (en) Enhancing image quality imaging unit and image sensor
JP5821315B2 (ja) 電子機器、電子機器の駆動方法
CN101860689B (zh) 固体摄像器件
KR101469311B1 (ko) 선택 가능한 하드-와이어드 비닝을 갖는 cmos 이미지 센서
JP4691930B2 (ja) 物理情報取得方法および物理情報取得装置、並びに物理量分布検知の半導体装置、プログラム、および撮像モジュール
DE102013227163B4 (de) Bildaufnahmeelement, bildaufnahmevorrichtung und verfahren und programm zum steuern von diesen
KR101929596B1 (ko) 고체 촬상 소자 및 카메라 시스템
JP4484944B2 (ja) 撮像装置及び撮像装置の駆動方法
US8390692B2 (en) Image pick up apparatus and image pick up method capable of reading signal charge for image display by newly performing exposure while reading signal charge for still image by simultaneous exposure of all pixels
KR20140044289A (ko) 촬상 장치, 촬상 소자, 촬상 제어 방법 및 프로그램

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160217

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160217

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160630

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160726

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160915

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20161011

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20161111

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20161206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161219

R151 Written notification of patent or utility model registration

Ref document number: 6070599

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250