JP7444589B2 - 撮像装置およびその制御方法 - Google Patents

撮像装置およびその制御方法 Download PDF

Info

Publication number
JP7444589B2
JP7444589B2 JP2019219073A JP2019219073A JP7444589B2 JP 7444589 B2 JP7444589 B2 JP 7444589B2 JP 2019219073 A JP2019219073 A JP 2019219073A JP 2019219073 A JP2019219073 A JP 2019219073A JP 7444589 B2 JP7444589 B2 JP 7444589B2
Authority
JP
Japan
Prior art keywords
light receiving
pulse
correction
counting
pulse signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019219073A
Other languages
English (en)
Other versions
JP2021090134A (ja
JP2021090134A5 (ja
Inventor
秀樹 池戸
顯 佐々木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2019219073A priority Critical patent/JP7444589B2/ja
Priority to US17/108,457 priority patent/US11637984B2/en
Publication of JP2021090134A publication Critical patent/JP2021090134A/ja
Publication of JP2021090134A5 publication Critical patent/JP2021090134A5/ja
Application granted granted Critical
Publication of JP7444589B2 publication Critical patent/JP7444589B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/772Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising A/D, V/T, V/F, I/T or I/F converters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/38Transmitter circuitry for the transmission of television signals according to analogue transmission standards
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/76Addressed sensors, e.g. MOS or CMOS sensors

Description

本発明は撮像装置およびその制御方法に関し、特には入射した光子(フォトン)を計数するタイプの撮像装置およびその制御方法に関する。
単一光子を検出可能な受光素子を用い、受光素子ごとに入射した光子を計数することにより、A/D変換を行うことなく光学像をデジタルデータに変換可能なフォトンカウンティングタイプの撮像素子が知られている。特許文献1には、アバランシェフォトダイオード(APD)とカウンタ回路とを用いフォトンカウンティングタイプの撮像素子が開示されている。APDを、降伏電圧より大きな逆バイアス電圧を印加した状態(ガイガーモード)で動作させることにより、フォトンの入射によってアバランシェ増倍を発生させることができる。
アバランシェ増倍によりAPDにはパルス状の大電流が発生するため、この電流を整形したパルス信号をAPDごとに設けられたカウンタ回路で計数することで、APDごとに入射したフォトンの数が得られる。露光期間中に得られた計数値は入射光量に応じた値となるため、従前の撮像素子で得られるアナログ画素信号に対応するデジタル画素信号として用いることができる。
フォトンカウンティングタイプの撮像素子では、パルス信号の計数値を信号値として出力するため、従前のCCDやCMOSイメージセンサと比較して、A/D変換が不要である。また、信号値が回路ノイズに影響を受けづらいため、特に暗い被写体に対して良好な画質が実現できる。
特開昭61-152176号公報
しかしながら、フォトンカウンティングタイプの撮像素子には、アバランシェ増倍に伴う電圧変化が収束する前に次のフォトンが入射した場合、複数のパルス信号が1つに結合し、入射したフォトン数よりも計数値が小さくなるという課題がある。この課題は、特に、高い頻度でフォトンが入射する高照度の環境において大きくなる。
本発明はこのような課題に鑑みてなされたものであり、計数値の精度を高めることが可能なフォトンカウンティングタイプの撮像装置およびその制御方法の提供を目的とする。
上述の目的は、アバランシェフォトダイオードを有し、フォトンの入射に応じてパルス信号を出力する複数の受光手段と、複数の受光手段が出力するパルス信号を計数する複数の計数手段と、複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、アバランシェフォトダイオードに抵抗または容量を接続するか否かを切り替えることにより、パルス信号のパルス幅を制御する制御手段と、を有し、補正手段は、パルス信号のパルス幅が異なる状態または、パルス信号の発生頻度が異なる条件において複数の計数手段で得られた計数値に基づいて補正係数を算出し、補正係数を用いて補正を行うことを特徴とする撮像装置によって達成される。
本発明によれば、計数値の精度を高めることが可能なフォトンカウンティングタイプの撮像装置およびその制御方法を提供することができる。
第1実施形態に係るデジタルカメラの機能構成例を示すブロック図 第1実施形態における撮像素子の構成例に関する図 第1実施形態における単位画素の動作に関する図 第1実施形態におけるフレームメモリと補正部の構成例を示すブロック図 第1実施形態における補正係数の算出方法を説明するための図 第1実施形態における画像撮影処理に関するフローチャート 第1実施形態の変形例における単位画素の構成例に関する図 第2実施形態における撮像素子の構成例に関する図 第3実施形態における撮像素子の構成例に関する図 第3実施形態における単位画素の動作に関する図 第4実施形態におけるフレームメモリと補正部の構成例を示すブロック図 第4実施形態における入射フォトンレートと画素データの関係例を示す図 第4実施形態における画像撮影処理に関するフローチャート 第5実施形態に係るデジタルカメラの機能構成例を示すブロック図 第5実施形態における動画撮影中の露出制御動作に関するフローチャート
以下、添付図面を参照して本発明をその例示的な実施形態に基づいて詳細に説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定しない。また、実施形態には複数の特徴が記載されているが、その全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。また、図面には実施形態の説明に必要な構成要素のみが開示されており、他の構成要素の存在を排除するものではない。
なお、以下では、本発明に係る撮像素子をデジタルレフカメラに適用したで実施形態に関して説明する。しかし、本発明に係る撮像素子は撮像機能を搭載可能な任意の電子機器に対して適用可能である。このような電子機器には、ビデオカメラ、コンピュータ機器(パーソナルコンピュータ、タブレットコンピュータ、メディアプレーヤ、PDAなど)、携帯電話機、スマートフォン、ゲーム機、ロボット、ドローン、ドライブレコーダが含まれる。これらは例示であり、本発明は他の電子機器にも適用可能である。
●(第1実施形態)
図1は、本発明の第1実施形態に係るデジタルカメラ1の機能ブロック図である。フォトンカウンティングタイプの撮像素子100には、単一光子を検出可能な受光素子の一例としてのアバランシェフォトダイオード(APD)が複数、二次元的に配列されている。また、撮像素子100は、各APDの出力信号に基づくパルスを計数するカウンタ回路(計数部)を有している。撮像素子100の動作は制御部104が制御する。撮像素子100は、各APDに対する計数値を画像データとして出力する。
撮影レンズ102は、被写体の光学像を撮像素子100の撮像面に形成する。便宜上、撮影レンズ102は単レンズのように図示しているが、実際には複数のレンズを有し、その中にはフォーカスレンズ、変倍レンズ、ブレ補正レンズなどの可動レンズが含まれる。また、レンズ以外にも、シャッター兼用であってよい絞りなどの可動部材や、可動レンズを含む可動部材を駆動するアクチュエータ、モータ、位置検出回路などの回路も含まれている。レンズ駆動部103は、制御部104の制御に応じてアクチュエータやモータを動作させてこれら可動部材を駆動する。また、レンズ駆動部103は、可動部材の位置や状態を検出して制御部104に通知する。
撮影レンズ102と撮像素子100の間には、ND(Neutral Density)フィルタ110が設けられている。NDフィルタ110は、光量を低減させる光学フィルタであり、光路中の第1の位置と、光路から離脱した第2の位置とを取り得る。NDフィルタ110が第1の位置にある場合、撮影レンズ102から入射する光はNDフィルタ110を介して撮像素子100に入射する。一方、NDフィルタ110が第2の位置にある場合は撮影レンズ102から入射する光はNDフィルタ110を介さずに撮像素子100に入射する。なお、NDフィルタ110は撮像素子100に入射する光量を制御する光学部材の一例であり、他の部材を用いてもよい。また、NDフィルタ110の透過率が電気的に制御可能な場合には、NDフィルタ110の位置は第1の位置に固定されてもよい。
NDフィルタ110の位置はレンズ駆動部103が制御部104(NDフィルタ制御部109)の制御に従って変更する。
信号処理部101は撮像素子100から出力される画像データに対して予め定められた信号処理を適用し、表示用および/または記録用の画像データを生成したり、各種の情報を取得および/または生成したりする。信号処理部101は例えば特定の機能を実現するように設計されたASICのような専用のハードウェア回路であってもよいし、DSPやGPUのようなプログラマブルプロセッサーがソフトウェアを実行することで特定の機能を実現する構成であってもよい。
ここで、信号処理部101が画像データに適用する信号処理には、前処理、色補間処理、補正処理、検出処理、データ加工処理、評価値算出処理などが含まれる。前処理には、信号増幅、基準レベル調整、欠陥画素補正などが含まれる。色補間処理は、画素から読み出した画像データに含まれていない色成分の値を補間する処理であり、デモザイク処理とも呼ばれる。補正処理には、ホワイトバランス調整、画像の輝度を補正する処理、撮影レンズ102の光学収差の影響を補正する処理、色を補正する処理などが含まれる。
検出処理には、特徴領域(たとえば顔領域や人体領域)の検出および追尾処理、人物の認識処理などが含まれる。データ加工処理には、スケーリング処理、符号化および復号処理、ヘッダ情報生成処理などが含まれる。評価値算出処理は、自動焦点検出に用いる信号や評価値の生成、自動露出制御に用いる評価値の算出処理などである。なお、これらは信号処理部101が画像データに適用可能な信号処理の例示であり、信号処理部101が画像データに適用する信号処理の内容を限定するものではない。
制御部104は、例えばCPUのような、プログラムを実行可能な1つ以上のプロセッサである。制御部104は、メモリ部105が有するROMに記憶されたプログラムをメモリ部105が有するRAMに読み込んで実行し、デジタルカメラ1の各部の動作を制御する。例えば、制御部104は、撮像素子100の動作を制御する制御信号を生成して撮像素子100に供給する。NDフィルタ制御部109は、制御部104がプログラムを実行することによって実現するNDフィルタ110を制御する機能を、1つの機能ブロックとして記載したものである。したがって、本明細書において説明される、NDフィルタ制御部109が実行する動作の実体的な動作主体は制御部104である。
制御部104はまた、信号処理部101が生成する評価値などを用い、公知の方法で自動焦点検出や自動露出制御を行い、撮影レンズ102の合焦距離や撮像素子100の露出条件(例えば絞り値、シャッタースピード、および撮影感度)を決定する。制御部104は決定した合焦距離に撮影レンズ102が合焦するようにレンズ駆動部103を通じてフォーカスレンズの位置を制御する。また、制御部104は、決定した露出条件で撮影が行われるようにレンズ駆動部103や撮像素子100の動作を制御する。
メモリ部105は書き換え可能な不揮発性メモリ部(ROM)と揮発性メモリ部(RAM)とを有する。ROMには制御部104のプロセッサが実行するためのプログラム、デジタルカメラ1の設定値、GUIデータなどが記憶される。RAMはROMから読み出されたプログラムを実行するためのワークメモリ、画像データを一時的に記憶するためのバッファメモリ、表示部106のためのビデオメモリなどとして用いられる。
表示部106は、例えば液晶ディスプレイであり、信号処理部101が生成する表示用画像データや、デジタルカメラ1の状態や設定値を示す情報、メニュー画面などのGUIなどを表示する。
操作部108は、デジタルカメラ1に設けられた複数の入力デバイスの総称である。操作部108にはシャッターボタン、駆動モード選択ダイヤル、方向キー、決定ボタン、メニューボタンなどが含まれる。操作部108の操作は制御部104が検出し、制御部104は検出した操作に応じた動作を実行する。表示部106がタッチディスプレイである場合、表示部106が有するタッチパネルは操作部108に含まれる。
記録部107は、制御部104の制御に従って、信号処理部101が生成する記録用の画像データを記録媒体に記録したり、記録媒体に記録されたデータを読み出したりする。記録媒体はメモリカードのようにデジタルカメラ1から取り外し可能であってもよいし、取り外し不能であってもよい。また、記録部107は、外部の記録装置への記録が可能な構成を有してもよい。
図2(a)は、撮像素子100の回路構成例を示すブロック図である。撮像素子100は画素領域200、垂直制御回路202、水平制御回路203、タイミングジェネレータ(TG)204、パルス幅変更回路205、フレームメモリ206、補正部207、デジタル出力部208を有する。
画素領域200には、単位画素201が行列状に配置されている。図2(a)では説明を簡単にするために4行×4列の16個の単位画素201しか記載していないが、一般には数百万個以上の単位画素が配列されている。個々の単位画素201は受光素子と計数回路とを有し、計数回路の計数値(デジタル値)を画素データとして出力することができる。
パルス幅変更回路205は、単位画素201が有するクエンチトランジスタ(後述)のオン抵抗を制御することにより、単位画素201の受光素子にフォトンが入射した際に受光素子に発生する電流に基づいて生成されるパルス信号のパルス幅を制御する。単位画素201の詳細な構成例およびパルス幅の制御方法については後述する。パルス幅変更回路205は少なくともパルス幅を2通りに制御することができる。パルス幅変更回路205の設定は制御部104から行うことができる。
垂直制御回路202は、画素領域200に配列されている単位画素201のそれぞれと、垂直信号線との間に設けられたスイッチ209のオン/オフを1画素行を単位で制御する。本明細書においてある画素行を「選択する」とは、その画素行についてスイッチ209をオンにすることである。また、垂直制御回路202は、不図示の配線を通じて行単位で単位画素201に制御信号を供給する。
水平制御回路203は、垂直信号線ごとに設けられているスイッチ210のオン/オフを制御する。本明細書においてある画素列を「選択する」とは、その画素列が接続されている垂直信号線のスイッチ210をオンにすることである。
垂直制御回路202が1画素行を選択している状態で、水平制御回路203が1画素列ごとに順次選択することにより、1画素行分の画素データを読み出すことができる。水平制御回路203は読み出した画素データをフレームメモリ206に順次記憶する。垂直制御回路202が選択する画素行を順次変更することにより、1画面(1フレーム)分の画素データ(画像データ)が読み出され、フレームメモリ206に記憶される。なお、垂直制御回路202は画素行を間引いて選択してもよい。また、垂直制御回路202が複数の画素行を選択できてもよい。本実施形態において、フレームメモリ206は、少なくとも2フレーム分の容量を有するものとする。
垂直制御回路202および水平制御回路203の動作は、TG204が垂直制御回路202および水平制御回路203に与える制御信号によって制御される。また、TG204の動作は制御部104から制御可能である。
補正部207は、フレームメモリ206に記憶されている画像データに対し、入射したフォトンの数と計数値との差を抑制するための補正処理を適用する。補正部207の構成および動作の詳細については後述する。
デジタル出力部208は、補正部207によって補正処理が適用された画像データを撮像素子100の外部に出力する。
図2(b)は、単位画素201の回路構成例を示す図である。単位画素201は、単一光子の検出が可能な受光素子の一例としてのアバランシェフォトダイオード(以下、単にフォトダイオードともいう)301を有する。フォトダイオード301をガイガーモードで動作させるため、フォトダイオード301にはクエンチトランジスタ302を介して降伏電圧より大きな逆バイアス電圧Vbiasが印加される。
フォトダイオード301にフォトンが入射するとアバランシェ電流が発生する。クエンチトランジスタ302は、アバランシェ電流による電圧降下によって逆バイアス電圧を低下させ、フォトダイオード301のアバランシェ増倍現象を停止されるための抵抗素子として機能する。本実施形態では、クエンチトランジスタ302はNMOSトランジスタで構成される。
反転バッファ303は、アバランシェ電流の発生に起因する電圧変化をパルス信号PLSとしてカウンタ回路304に出力する波形整形回路として機能する。フォトダイオード301、クエンチトランジスタ302および反転バッファ303は、フォトン入射を検知してパルス信号を生成する受光部を構成する。
カウンタ回路304はパルス信号PLSがLレベルからHレベルに変化した回数を計数する。露光期間中の計数値は、画素データとしてスイッチ209を通じて垂直信号線に出力される。計数値を出力したカウンタ回路304は、TG204から不図示の配線を通じて供給される制御信号によりリセットされる。
クエンチトランジスタ302のゲートには、パルス幅変更回路205から電圧Vqncが供給される。電圧Vqncを変化させてクエンチトランジスタ302のオン抵抗を制御することで、ルス信号PLSのパルス幅を制御することができる。パルス幅変更回路205は少なくとも2種類の電圧を供給可能に構成されている。パルス幅変更回路205が供給する電圧は、制御部104からの設定によって変更することができる。
単位画素201のフォトダイオード301にフォトンが入射した際に、パルス信号PLSがどのように生成されるかについて、図3を用いて説明する。図3はフォトダイオード301のカソード電圧Voutと、反転バッファ303の出力電圧(パルス信号PLS)の経時変化の一例を示す図である。ここで、フォトダイオード301のカソード電圧Voutは、フォトダイオード301に印加される逆バイアス電圧でもある。実線405はパルス幅変更回路205がクエンチトランジスタ302のゲートに所定の電圧Vqnc=VHを供給した状態におけるカソード電圧Voutの波形である。
時刻t0においてフォトダイオード301には、降伏電圧Vbrより大きな逆バイアス電圧Vbiasが印加されており、ガイガーモードで動作している。そして、時刻t401でフォトダイオード301にフォトンが入射すると、フォトダイオード301で生成されたキャリアがアバランシェ増倍現象を引き起こし、アバランシェ電流が発生する。このアバランシェ電流とクエンチトランジスタ302による電圧降下により、フォトダイオード301のカソード電圧Voutが低下し始める。
時刻t402でVoutが降伏電圧Vbrを下回るとアバランシェ増倍現象が停止する。そして、Vbiasを印加している電源からクエンチトランジスタ302を介して再充電が行われ、カソード電圧Voutは上昇し始める。
時刻t403で再充電が完了すると、Voutは再び逆バイアス電圧Vbiasに戻り、フォトダイオード301はガイガーモードになる。ここで、再充電に掛かる時間(時刻t402とt403との差)は、クエンチトランジスタ302の抵抗値と寄生容量に依存する。
ここで、一点鎖線406で示すVoutの波形はパルス幅変更回路205がクエンチトランジスタ302のゲートにVHよりも低い電圧Vqnc=VL<VHを供給した際のVoutの電圧波形である。クエンチトランジスタ302のゲートに電圧Vqnc=VLを供給する場合、電圧Vqnc=VHを供給する場合よりもクエンチトランジスタ302のオン抵抗が高くなるため、再充電に掛かる時間が長くなる。そのため、クエンチトランジスタ302のゲートにVqnc=VLを供給した場合、一点鎖線406に示すように時刻t404で再充電が完了する。
反転バッファ303の出力がLレベルからHレベル(またはHレベルからLレベル)に切り替わる閾値電圧をVthとする。そして、パルス信号PLSの幅は、クエンチトランジスタ302のオン抵抗に応じて変化する。具体的には、407は、ゲートに供給する電圧Vqnc=VHの場合に生成されるパルス信号PLSであり、パルス幅Tdsを有する。また、408は、ゲートに供給する電圧Vqnc=VLの場合に生成されるパルス信号PLSであり、パルス幅TdLを有する。そして、TdS<TdLの関係がある。このように、パルス幅変更回路205により、フォトンが入射した際に生成されるパルス信号PLSのパルス幅を制御することができる。
図4は、フレームメモリ206と補正部207の機能ブロック図である。
フレームメモリ206は、パルス幅変更回路205からクエンチトランジスタ302に供給する電圧を異ならせて撮影された画像データを一時的に記憶する。ここでは、高い方の電圧(第1の電圧)を供給した状態で撮影した画像データを画像データShort、低い方の電圧(第2の電圧)を供給した状態で撮影した画像データを画像データLongと表記する。画像データShortの撮影時におけるパルス信号PLSのパルス幅は、画像データLongの撮影時におけるパルス信号PLSのパルス幅よりも短い。図3の例でいえば、第1の電圧がVH、第2の電圧がVLである。なお、画像データShortおよび画像データLongは例えば連続して撮影するなど、シーン変化の可能性が低い条件で撮影するものとする。
補正部207は出力比算出部501とゲイン補正部502を備える。出力比算出部501は、フレームメモリ206に保持された画像データShortおよび画像データLongの対応する位置の画素データを比較し、値の比(出力比)を算出する。ゲイン補正部502は、出力比算出部501で算出した出力比に応じた補正係数を画像データShortに乗算するゲイン補正処理を適用する。ゲイン補正処理により、画像データShortを構成する画素データの値と入射光量との線形性が改善され、画質が向上する。なお、補正部207は例えばFPGAなどのハードウェア回路によって実現することができる。
次に、補正部207の動作について図5および図7を用いてさらに説明する。
図5(a)はある単位画素について、フォトダイオード301に1秒間に入射するフォトンの数(入射フォトンレートRph[photon/s])と、カウンタ回路304の計数値(画素データOut)との関係例を示す図である。入射フォトンレートRphは、フォトダイオードの単位時間当たりの受光量に比例した値を有する。
実線602は、パルス幅変更回路205がVqnc=VHを供給した状態における、入射フォトンレートと画素データとの関係(入出力特性)の例を示している。また、一点鎖線603は、パルス幅変更回路205がVqnc=VLを供給した状態における、入射フォトンレートと画素データとの関係例を示している。また、破線601は、入射フォトンレートと画素データとの理想的な関係を示している。
図5(a)に示すように、入射フォトンレートが高くなると画素データと入射光量との乖離が大きくなる。これは、入射フォトンレートが高くなり、フォトンの入射間隔が短くなると、複数のパルス信号PLSが1つのパルス信号として計数される確率が高くなるからである。
ここで、破線601に示す、入射フォトンレートRphと画素データOut’との理想的な入出力特性は、式(1)のように表すことができる。
Out’(x,y)=Rph(x,y)×Tacc …(1)
ここで、x、yは画素領域内のある単位画素の水平座標および垂直座標であり、Taccは、露光期間(すなわち、計数期間)の長さである。単位画素の座標は、例えば1フレームの画像データの左上角を原点(0,0)とし、右方向がx軸の正方向、下方向がy軸の正方向である直交座標系の座標であってよい。
一方、実線602および一点鎖線603に示す入射フォトンレートRphと画素データOutとの入出力特性は、式(2)のように表すことができる。
Out(x,y)=Rph(x,y)×Tacc×exp(-Rph×Td) …(2)
ここで、Tdは、フォトンが入射した際に生成されるパルス信号PLSのパルス幅を示し、例えば実線602はTd=TdS、一点鎖線603はTd=TdLに対応するものとする。
パルス幅が長いほど、連続して発生したパルス信号が結合しやすくなるため、入射フォトンレートが高くなると理想的な関係からの乖離が大きく(理想の計数値と実際の計数値との差が大きく)なる。例えば、実線602に示す入出力特性では、604、605で示すように、異なる入射フォトンレートに対して画素データが同じ値になることがある。そのため、画素データの値から入射フォトンレートを推定し、破線601に示す理想的な画素信号値を求めることはできない。
出力比算出部501は、フォトン1つの入射に対して生成されるパルス信号PLSの幅が異なる状態で撮影した2種類の画像データShortおよび画像データLongに基づいて、画素ごとに式(3)にしたがって出力比p(x,y)を算出する。
p(x,y)=OutS(x,y)/OutL(x,y) …(3)
ここで、OutS(x,y)、OutL(x,y)はそれぞれ画像データShort、画像データLongの画素データである。また、式(3)に式(2)を適用すると、以下の式(4)が得られる。
p(x,y)=exp{Rph(x,y)×(TdL-TdS)} …(4)
図5(b)に式(4)で表される入射フォトンレートRphと出力比pとの関係例を示す。図示のとおり、式(4)は単調増加関数であり、出力比pは入射フォトンレートRphの増加に伴って増加する。これは、画像データの値からは入射フォトンレートRphが推定できないが、出力比pからは入射フォトンレートRphが推定できることを意味する。
したがって、出力比p(x,y)の大きさに応じた所定の補正係数(>0)を画素データOut(x,y)に乗算することにより、入射フォトンレートRphもしくは露光期間中の入射光量と画素データの値と関係を理想的な状態に近づけることができる。本実施形態では、画像データShortおよび画像データLongのうち、画像データShortに対して補正処理を適用する。これは、画像データShortの方が画像データLongよりも理想的な入出力特性に対する追従性が良好なことによる。
画像データShortの画素データOutS(x,y)に適用する補正係数(ゲイン)をα(x,y)とすると、補正後の画素信号Out’は以下の式(5)で表される。
Out’(x,y)=α(x,y)×OutS(x,y) …(5)
なお、補正係数α(x,y)は式(1)~式(5)から、入射フォトンレートRphを用いずに、以下の式(6)で表すことができる。
Figure 0007444589000001
このように、補正係数αは、計数値の比pと、パルス幅の差に基づく。したがって、入射フォトンレートRphが未知の状態であっても、出力比算出部501が算出する出力比p(x,y)と、既知のパルス幅TdS、TdLとを式(6)に適用することにより、画素データごとに適切な補正係数を得ることができる。
図5(c)に式(6)で示される出力比p(x,y)と補正係数α(x,y)との関係例を示す。図5(c)では、TdS=4nsec、TdL=8nsecとした。TdSおよびTdLの値、あるいはTdS/(TdL-TdS)の値はゲイン補正部502に予め記憶しておくことができる。なお、TdSおよびTdLの温度依存性を補償するため、画素領域の温度を計測する構成を追加し、ゲイン補正部502が予め記憶された温度に応じたTdSおよびTdLを用いるようにしてもよい。
なお、本実施形態では、画像データShortを補正するものとしたが、画像データLongを補正するための補正係数を以下の式(6)’に従って算出し、補正する構成にしてもよい。
Figure 0007444589000002
あるいは、画像データShortおよび画像データLongの両方に対して補正処理を適用したのち、それらを平均化してもよい。この場合、ノイズを低減効果が期待できる。 また、出力比算出部501が算出する出力比pは、画素ごとに求めた値を所定数の画素単位で平均化して用いてもよい。
図6は、第1実施形態に係る撮影動作に関するフローチャートである。この動作は、例えば操作部108を通じて記録用の静止画の撮影指示が入力された際に実行することができる。なお、撮影指示の入力前に撮影レンズ102の焦点調節や撮影条件の決定が完了しているものとする。
S801で制御部104は、画像データShortを取得するための撮影動作を実行する。具体的には、制御部104は、パルス幅変更回路205を、各単位画素201のクエンチトランジスタ302のゲートにVqnc=VHの電圧を供給するように設定してから撮影動作を実行する。
露光期間中、各単位画素201では、フォトダイオード301のカソード電圧の変化に基づいて生成されるパルス信号をカウンタ回路304で計数する。露光期間終了後、制御部104は撮像素子100の読み出し制御を実行する。これにより、各単位画素201のカウンタ回路304から計数値が読み出され、画像データShortとしてフレームメモリ206に記憶される。その後、各単位画素201のカウンタ回路304の計数値は初期値にリセットされる。
次に、S802で制御部104は、画像データLongを取得するための撮影動作を実行する。具体的には、制御部104は、パルス幅変更回路205を、各単位画素201のクエンチトランジスタ302のゲートにVqnc=VLの電圧を供給するように設定してから撮影動作を実行する。ここで、撮影条件、特に露出時間(シャッタースピード)はS801での撮影時と同じである。
S801と同様にして読み出された計数値は、フレームメモリ206に画像データLongとして記憶される。
制御部104は、2種類の画像データの撮影動作が終了すると、補正部207に対して補正処理を実行するように指示する。なお、補正部207は他のトリガによって補正処理を開始してもよい。
S803で補正部207は、フレームメモリ206に保持された画像データShortおよび画像データLongに基づいて、図4~図5(c)を参照して説明した補正係数の算出処理および補正処理を実行する。補正後の画像データがデジタル出力部208を通じて撮像素子100から出力され、信号処理部101に供給される。信号処理部101は記録用の静止画データを生成する。記録用の静止画データは制御部104によって記録部107に記録される。
なお、フレームメモリ206および補正部207は撮像素子100の外部に設けてもよい。例えば、フレームメモリ206の代わりに図1のメモリ部105に画像データShortおよび画像データLongを保持し、制御部104が補正部207として補正処理を適用してもよい。
また、本実施形態では、フォトン入射によって生成されるパルス信号の幅を異ならせた2種類の画像データを用いる構成について説明した。しかし、パルス信号の幅を異ならせた3種類以上の画像データを用いる構成としてもよい。この場合、例えば、異なる組み合わせの2種類の画像データに基づいて補正処理を行った画像データを複数生成し、それらを平均して最終的な画像データを得ることができる。
なお、本実施形態では単位画素が有するクエンチトランジスタのゲートに印加する電圧を異ならせることで、フォトン入射ごとに生成されるパルス信号のパルス幅を制御する構成について説明した。しかし、異なる構成によってパルス信号のパルス幅を異ならせてもよい。
図7(a)、(b)はそれぞれ第1実施形態の変形例による単位画素901、904の回路図である。例えば、図7(a)に示す単位画素901では、フォトダイオード301のカソードと反転バッファ303との間と電源との間に、スイッチとしてのトランジスタ903とクエンチ抵抗902との直列回路が追加されている。そして、パルス幅変更回路205は、トランジスタ903のゲートに供給する電圧Vcontを制御してトランジスタ903のオンオフを制御する。トランジスタ903をオンするとクエンチ抵抗902がフォトダイオード301のカソード(Vout)に接続され、トランジスタ903がオフの場合よりも、図3のt402~t403で示した再充電時間を短縮することができる。これにより、反転バッファ303から出力されるパルス信号PLSの幅を短くすることができる。このように、パルス信号PLDの幅を制御することは、逆バイアス電圧が所定の電圧から低下してアバランシェ増倍が停止してから、再び所定の電圧に戻るまでの時間(再充電時間)を制御することともいえる。
また、図7(b)に示す単位画素904は、容量905とスイッチとしてのトランジスタ906との直列回路が、フォトダイオード301のカソード(Vout)と反転バッファ303との間とグランドとの間に追加されている。そして、パルス幅変更回路205は、トランジスタ906のゲートに供給する電圧Vcontを制御してトランジスタ906のオンオフを制御する。トランジスタ906をオンすると容量905フォトダイオード301のカソード(Vout)に接続され、トランジスタ906がオフの場合よりも、図3のt402~t403で示した再充電時間を延長することができる。これにより、反転バッファ303から出力されるパルス信号PLSの幅を長くすることができる。
本実施形態では、フォトンカウンティングタイプの撮像素子において、フォトンの入射によって生成されるパルス信号の幅が異なる条件で撮影された複数フレームの画像データの値に基づいて補正係数を算出し、画像データの値を補正するようにした。これにより、精度良くフォトンの入射レートを推定することができ、画像データの値を適切に補正することができる。
●(第2実施形態)
次に、本発明の第2実施形態について説明する。第1実施形態では、フォトン入射により生成されるパルス信号の幅が異なる条件で複数フレームの画像データを取得する構成であった。本実施形態では、フォトン入射により生成されるパルス信号の幅を、画素領域内で異ならせることで、1フレーム分の画像データから補正係数を算出する。
図8は、本実施形態における撮像素子100’の回路構成例を示すブロック図である。図8において、第1実施形態における撮像素子100と同じ構成については図2(a)と同じ参照数字を付して説明を省略する。なお、本実施形態の撮像素子100’も第1実施形態で説明したデジタルカメラ1で用いるものとする。
パルス幅変更回路1001は、画素領域200に配置された単位画素のうち、奇数行の単位画素1004(が有するクエンチトランジスタ302)には配線1002を介してVqnc=VHの電圧を供給する。一方、パルス幅変更回路1001は、画素領域200に配置された単位画素のうち、偶数行の単位画素1005(が有するクエンチトランジスタ302)には配線1003を介してVqnc=VLの電圧を供給する。
この結果、奇数行の単位画素1004(Sと表記)では、フォトン入射に応じてパルス幅TdSのパルス信号PLSが生成され、偶数行の単位画素1005(Lと表記)では、フォトン入射に応じてパルス幅TdL(>TdS)のパルス信号PLSが生成される。
したがって、ある露光期間で1フレーム分の撮影を行った場合、単位画素1004から得られる画像データを画像データShortとして、単位画素1005から得られる画像データを画像データLongとして用いることができる。画像データShortおよび画像データLongの露光タイミングは同一(同時に撮影される)ため、撮影シーンの変化の影響を受けない出力比を得ることができる。また、1回の撮影でよいため、撮影時間を短縮し、かつ処理負荷を短縮することができる。
したがって、撮像素子100’を用いた場合、デジタルカメラ1の静止画撮影時の動作は、図6のS801において行った撮影で得られた1フレーム分の画像データを、画像データShortおよび画像データLongに分けてフレームメモリ206に保存する。そして、S802は実行せず、S803で第1実施形態と同様に補正処理を実行する。なお、S803での出力比の算出において、画像データShortおよび画像データLongで対応する位置の画素データは、実際には行方向に隣接する単位画素で得られたデータであるが、位置の違いが出力比に影響を与える可能性は非常に小さい。
なお、本実施形態で得られる画像データShortおよび画像データLongは、行方向の解像度が第1実施形態に比べて半分になる。そのため、補正後の画像データについても行方向の解像度が第1実施形態に比べて半分になる。したがって、低照度環境下など、入射フォトンレートと計数値との乖離が問題にならない場合には、補正を行わないように構成してもよい。例えば、信号処理部101が生成する自動露出制御用の評価値に基づいて制御部104が低照度環境下の撮影か否かを判定し、低照度環境下の撮影と判定される場合には補正を行わないようにしてもよい。補正を行わない場合、制御部104はパルス幅変更回路1001を、すべての単位画素に同一のVqnc電圧(例えばVqnc=VH)を供給するように設定してから1フレーム分の撮影を実行する。あるいは、制御部104は、画素数優先の撮影モードが設定されている場合には補正を行わず、ダイナミックレンジ優先の撮影モードが設定されている場合には補正を行うことを決定してもよい。
また、制御部104は、動画撮影時など、画素領域の解像度よりも低い解像度の画像データを生成する撮影モードや撮影条件が設定されている場合には補正を行うことを決定してもよい。この場合、必要に応じて補正部207は、補正後の画像データが指定の解像度となるようにリサイズ処理(基本的には解像度の低減処理)を適用してもよい。
また、本実施形態では隣接する画素行ごとにパルス幅を異ならせる構成について説明したが、2行ずつなど、他の単位でパルス幅を異ならせてもよい。また、3種類以上のパルス幅を用いるようにしてもよい。さらに、第1および第2のパルス幅で1フレーム、第2および第3のパルス幅で1フレームといったように、パルス幅の異なる組み合わせで2フレーム以上の撮影を行ってもよい。この場合、複数フレーム分の補正後の画像データから、例えば平均化処理などによって最終的な1フレーム分の補正後の画像データを生成することができる。
さらに、本実施形態においても、図7を参照して第1実施形態で説明したように、単位画素が有するクエンチトランジスタのゲートに印加する電圧を異ならせる代わりに、抵抗や容量を選択的に接続する構成を用いることができる。この場合、画像データShortを生成するための単位画素についてはトランジスタ903をオンし、画像データLongを生成するための単位画素についてはトランジスタ903をオフするように、パルス幅変更回路1001からVcontを供給すればよい。あるいは、画像データShortを生成するための単位画素についてはトランジスタ906をオフし、画像データLongを生成するための単位画素についてはトランジスタ906をオンするように、パルス幅変更回路1001からVcontを供給すればよい。
本実施形態では、フォトン入射により生成されるパルス信号の幅を、所定単位の単位画素ごとに異ならせるようにした。そのため、第1実施形態と同様の効果に加え、撮影時間の短縮、処理負荷の軽減といった効果が得られる。
●(第3実施形態)
次に、本発明の第3実施形態について説明する。本実施形態では、フォトン入射により幅の異なる複数のパルス信号を生成するように単位画素を構成することにより、1フレームの撮影によって補正係数を算出可能とした。
図9(a)は、本実施形態における撮像素子100”の回路構成例を示すブロック図である。図9(a)において、第1実施形態における撮像素子100と同じ構成については図2(a)と同じ参照数字を付して説明を省略する。なお、本実施形態の撮像素子100”も第1実施形態で説明したデジタルカメラ1で用いるものとする。撮像素子100”は、パルス幅変更回路205を備えておらず、単位画素1101が幅の異なるパルス信号を生成可能に構成されている。
図9(b)は、本実施形態の単位画素1101の回路構成例を示す図であり、第1実施形態の単位画素201と同じ構成要素には同じ参照数字を付して説明を省略する。
単位画素1101はパルス幅変更回路1202を有している。パルス幅変更回路1202は反転バッファ303の出力であるパルス信号PLSSのパルス幅を延長することにより、パルス信号PLSSと異なるパルス幅のパルス信号PLSLを生成する。パルス幅変更回路1202は、例えば、遅延素子としての反転バッファ群1206とOR回路1207で構成される。パルス信号PLSSとその遅延信号の論理和信号を生成することにより、パルス幅を延長したパルス信号PLSLを生成する。
カウンタ回路304は、フォトン入射に応じて反転バッファ303から出力されたパルス信号PLSSのパルス数を計数する。また、カウンタ回路1204は、パルス幅変更回路1202が生成するパルス信号PLSLのパルス数を計数する。セレクタ1205はカウンタ回路304および1204の計数値のうち、単位画素1101から出力する計数値を切り替える。セレクタ1205は、TG204から供給される切り替え信号SELに応じて、カウンタ回路304および1204の一方の計数値を出力する。
図10に、単位画素1101のフォトダイオード301にフォトンが入射した際のカソード電圧Vout、およびパルス信号PLSS、PLSLの波形の一例を示す。図10において、時刻t1301~1304にフォトンが入射したものとする。バイアス電圧Vbiasや閾値電圧Vthは第1実施形態(図3)と同じとする。また、クエンチトランジスタ302のゲートにはVqnc=VHが例えば垂直制御回路202から制御信号線を通じて印加されているものとする。
フォトンの入射によって反転バッファ303では、パルス幅TdSのパルス信号PLSSが生成される。パルス信号PLSSはパルス幅変更回路1202入力され、パルス幅TdLに伸長されたパルス信号PLSLとして出力される。そのため、時刻t1303およびt1304のように短い間隔でフォトンが入射した場合、個々のフォトン入射によって生成されるパルス信号が結合する確率は、パルス信号PLSLの方がパルス信号PLSSよりも高くなる。そのため、単位時間あたりの受光量が大きい、すなわち入射フォトンレートが高い状態では、パルス信号PLSSについてカウンタ回路304で得られる計数値よりも、パルス信号PLSLについてカウンタ回路1204で得られる計数値の方が小さくなる。したがって、両者の計数値の比を第1実施形態における出力比として用いることができる。
したがって、撮像素子100”を用いた場合、デジタルカメラ1の静止画撮影時の動作は、図6のS801において、制御部104は、各単位画素1101からカウンタ回路304の計数値を読み出して画像データShortとしてフレームメモリ206に保存する。次いで制御部104は、各単位画素1101からカウンタ1204の計数値を読み出して画像データLongとしてフレームメモリ206に保存する。そして、制御部104はカウンタ回路304および1204の計数値を初期化する。
本実施形態においてもS802の実行は不要である。したがって、S801が終了すると、S803で補正部207が補正処理を実行する。補正処理の内容は第1実施形態と同様であるため、説明を省略する。
本実施形態では、フォトンの入射に応答して異なるパルス幅を有するパルス信号の生成ならびに計数を行う構成を各単位画素に設けた。本実施形態の構成によっても、第1実施形態と同様の効果が実現できる。さらに、1回の撮影で画像データShortおよび画像データLongが得られるため、第2実施形態の効果も実現できる。さらに、本実施形態では第2実施形態と異なり、画像データShortおよび画像データLongの解像度が低下しないため、補正後の画像データの解像度も低下しないというさらなる利点がある。
●(第4実施形態)
次に、本発明の第4実施形態について説明する。第1実施形態から第3実施形態では、補正係数の算出に用いる画像データを取得する際の撮影条件は同一もしくは実質的に同一であった。本実施形態では、撮影条件を異ならせて取得した画像データを用いて補正係数を算出する。
具体的には、パルス信号の発生頻度が異なる複数の撮影条件で取得した画像データを用いる。ここで、パルス信号の発生頻度とは、単位時間あたりに反転バッファ303から出力されるパルス信号PLSの数(LレベルからHレベル(または逆)への変化回数)である。例えば、単位時間あたりの受光量が大きい(入射フォトンレートが高い)場合、パルス信号の発生頻度は高くなる。
本実施形態は、補正部207の動作を除いて第1実施形態と共通であってよいため、第1実施形態で用いた図をここでも参照して説明する。
図11は、本実施形態におけるフレームメモリ206と補正部1402の機能ブロック図である。
フレームメモリ206は、所定の撮影条件で撮影することで得られた画像データを画像データHigh、所定の撮影条件よりもパルス信号の発生頻度が低い撮影条件で撮影することで得られた画像データを画像データLowとして一時的に保持する。なお、撮影時にパルス幅変更回路205がクエンチトランジスタ302に供給するVqncに変化はなく、例えばVqnc=VHであってよい。したがって、本実施形態ではフォトン入射に応じて生成されるパルス信号のパルス幅は撮影条件によらず共通である。
例えば制御部104は、図6の撮影動作において、S801ではNDフィルタを使用せずに撮影を行い、S802ではNDフィルタを使用して撮影を行うことで、画像データHighと画像データLowを得ることができる。ここで、NDフィルタを「使用」した撮影とは、透過率が固定のNDフィルタ110が第1の位置にある状態、あるいは透過率が可変のNDフィルタ110の透過率が最小の状態での撮影である。また、NDフィルタを「使用しない」撮影とは、透過率が固定のNDフィルタ110が第2の位置にある状態、あるいは透過率が可変のNDフィルタ110の透過率が最小でない状態での撮影である。あるいは、制御部104は、S802での撮影が、S801での撮影条件よりもパルス発生頻度が低い撮影条件となるように、絞り値を変更してもよい。また、このときパルス発生頻度が低下した分、シャッタースピードを長くしたり、撮影感度を高くしてS801での撮影条件と同一の露出量になるように調整してもよい。
補正部1402は、出力比算出部1403とゲイン補正部1404を備える。出力比算出部1403は、フレームメモリ206に保持された画像データHighおよび画像データLowの対応する位置の画素データを比較し、値の比(出力比)を算出する。ゲイン補正部1404は、出力比算出部1403で算出した出力比に応じた補正係数を画像データLighに乗算するゲイン補正処理を適用する。
次に、補正部1402での補正計数の算出方法について図12を参照して説明する。
図12は、図5(a)と同様に、ある単位画素について、フォトダイオード301に1秒間に入射するフォトンの数(入射フォトンレートRph[photon/s])と、カウンタ回路304の計数値(画素データOut)との関係例を示す図である。
実線1501はパルス幅変更回路205が例えばVqnc=VHを供給した状態における、入射フォトンレートと画素データとの関係(入出力特性)の例を示している。また、破線1502は、入射フォトンレートと画素データとの理想的な関係を示している。したがって、実線1501の入出力特性は、第1実施形態で述べた式(2)で表すことができる。また、破線1502は第1実施形態で述べた式(1)で表すことができる。
ここで、図12に示す入射フォトンレートRph1、Rph2はそれぞれ画像データLowおよび画像データHighを取得する際の撮影条件に対応しているものとする。ここで、例えばNDデータの使用時と未使用時とで、入射フォトンレートRphにb倍の差があるとすると、以下の関係が成り立つ。
Rph2(x,y)=b×Rph1(x,y) …(7)
ここで、x、yは第1実施形態で説明したように、画素領域内のある単位画素の水平座標および垂直座標である。
単位画素(x,y)において、入射フォトンレートがRph1の時に得られる画素データの値(計数値)をOut1(x,y)、入射フォトンレートがRph2の時に得られる画素データの値(計数値)をOut2(x,y)とする。Out1(x,y)およびOut2(x,y)は、式(2)を用いて以下のように表させる。
Out1(x,y)=Rph1(x,y)×Tacc×exp(-Rph1×Td)…(8)
Out2(x,y)=Rph2(x,y)×Tacc×exp(-Rph2×Td)…(9)
ここで、Tdは単位画素にフォトンが入射した際に反転バッファ303から出力されるパルス信号のパルス幅である。また、Taccは画像データHighおよび画像データLowの露光時間である。なお、ここでは、画像データHighおよび画像データLowの露光時間は同一としたが、異なっていてもよい。
出力比算出部1403は、画像データHighと画像データLowの対応する画素データの値を用いて、画素ごとに以下の式で示す出力比pを算出する。
p(x,y)=Out2(x,y)/Out1(x,y) …(10)
また、ゲイン補正部1404が画像データHighの画素値を補正するための補正係数をβとすると、補正後の画素データOut’は以下の式で表される。
Out’(x,y)=β(x,y)×Out2(x,y) …(11)
したがって、補正係数βは式(7)~(11)を使って以下の式(12)で表すことができる。
Figure 0007444589000003
式(12)に示すように、補正係数βは、計数値の比pと、パルス信号の発生頻度の比bに基づく。したがって、入射フォトンレートRphが未知の状態であっても、出力比算出部1403が算出する出力比p(x,y)と、撮影条件によって入射フォトンレートRphが何倍変化するかを示す値bとから、画素データごとに適切な補正係数を得ることができる。なお、入射フォトンレートと入射光量とは比例関係にあるものと考えられるため、例えば、NDフィルタが光量を1/Nにする濃度を有する場合、Nをbとして用いることができる。また、画像データHighの撮影条件と、画像データLowの撮影条件がAPEX単位においてM段分の差を有する場合、2をbとして用いることができる。NDフィルタの特性や、撮影条件をどのように異ならせるかは既知の情報としてゲイン補正部1404に予め記憶しておくことができる。
したがって、ゲイン補正部1404は、出力比算出部1403が算出した出力比pと、予め記憶されたbの値とを用い、式(12)にしたがって得られる補正係数を画像データHighの各画素値に乗算し、補正後の画像データを生成する。このようにして、入射光量に対する計数値の線形性を改善した画像データを得ることができる。
図13は、本実施形態に係る撮影動作に関するフローチャートである。この動作は、例えば操作部108を通じて記録用の静止画の撮影指示が入力された際に実行することができる。なお、撮影指示の入力前に撮影レンズ102の焦点調節や撮影条件の決定が完了しているものとする。
S1601で制御部104は、画像データHighを取得するための撮影動作を実行する。制御部104は、例えばNDフィルタ110を第2の位置に保持して(使用せずに)、所定の撮影条件(例えば自動露出制御によって得られた適正露出条件)で撮影動作を実行する。
露光期間中、各単位画素201では、フォトダイオード301のカソード電圧の変化に基づいて生成されるパルス信号をカウンタ回路304で計数する。露光期間終了後、制御部104は撮像素子100の読み出し制御を実行する。これにより、各単位画素201のカウンタ回路304から計数値が読み出され、画像データHighとしてフレームメモリ206に記憶される。その後、各単位画素201のカウンタ回路304の計数値は初期値にリセットされる。
次に、S1602で制御部104は、画像データLowを取得するための撮影動作を実行する。制御部104は例えば、撮影条件は変更せずに、NDフィルタ制御部109によってNDフィルタ110を第1の位置に移動させて撮影動作を実行する。あるいは制御部104は、NDフィルタ110は第2の位置に保持したまま、露出条件を所定段数露出アンダーになるように変更して、撮影動作を実行する。これにより、S1601よりもパルス発生頻度が低い状態での撮影が行われる。S1601と同様にして読み出された計数値は、フレームメモリ206に画像データLowとして記憶される。
制御部104は、2種類の画像データの撮影動作が終了すると、補正部1402に対して補正処理を実行するように指示する。なお、補正部1402は他のトリガによって補正処理を開始してもよい。
S1603で補正部1402は、フレームメモリ206に保持された画像データHighおよび画像データLowに基づいて、図11および図12を参照して説明した補正係数の算出処理および補正処理を実行する。補正後の画像データがデジタル出力部208を通じて撮像素子100から出力され、信号処理部101に供給される。信号処理部101は記録用の静止画データを生成する。記録用の静止画データは制御部104によって記録部107に記録される。
なお、本実施形態においてもフレームメモリ206および補正部1402は撮像素子100の外部に設けてもよい。例えば、フレームメモリ206の代わりに図1のメモリ部105に画像データHighおよび画像データLowを保持し、制御部104が補正部1402として補正処理を適用してもよい。
なお、ゲイン補正部1404は画像データHighに対して補正処理を行う構成であったが、画像データLowに対して補正処理を行う構成にしてもよい。
また、本実施形態では露光量の異なる撮影条件(絞り値、シャッタスピード、撮影感度の1つ以上)を用いたり、NDフィルタの使用・不使用を切り替えたりしてパルス発生頻度または入射フォトンレートの異なる状態を実現した。しかし、他の方法を用いてもよい。
例えば、各単位画素のフォトダイオード301に印加する逆バイアス電圧Vbiasの大きさを異ならせてもよい。逆バイアス電圧Vbiasを高くすると、フォトダイオード301のフォトン検出感度が高まるため、パルス発生頻度を高くすることができる。また、画素領域にフォトダイオード301の受光面積の異なる2種類の単位画素を(例えば1行ごとに)配置してもよい。相対的に大きな受光面積を有する単位画素から得られる計数値を画像データHigh、相対的に小さな受光面積を有する単位画素から得られる計数値を画像データLowとして用いることができる。この場合、第2実施形態と同様、1回の撮影で画像データHighおよび画像データLowが得られる。出力比の算出についても第2実施形態と同様に行うことができる。
また、第1実施形態と同様、パルス発生頻度または入射フォトンレートを異ならせた3種類以上の画像データを用いる構成としてもよい。この場合、例えば、異なる組み合わせの2種類の画像データに基づいて補正処理を行った画像データを複数生成し、それらを平均して最終的な画像データを得ることができる。
本実施形態では、パルス発生頻度または入射フォトンレートの異なる状態で撮影された画像データの出力比を用いて補正係数を算出するようにした。本実施形態でも第1実施形態と同様の効果が得られる。NDフィルタや撮影条件を変更する構成では、パルス幅を変更する構成よりも簡便であるという利点がある。
●(第5実施形態)
次に、本発明の第5実施形態について説明する。本実施形態では、第1実施形態で説明したパルス幅変更回路205を備えた撮像素子100を用い、動画撮影中に自動露出制御を行うことが可能な撮像装置について説明する。
図14は、本発明の第5実施形態に係るデジタルカメラ1’の機能ブロック図であり、第1実施形態で説明したデジタルカメラ1と同じ構成要素には同じ参照数字を付して説明を省略する。
デジタルカメラ1’の制御部104’は露出制御部1701を備える点で第1実施形態と異なる。露出制御部1701は、制御部104がプログラムを実行することによって実現する露出制御に関する機能を、1つの機能ブロックとして記載したものである。したがって、本明細書において説明される、露出制御部1701が実行する動作の実体的な動作主体は制御部104である。
露出制御部1701は撮像素子100が撮影した動画データを構成するフレーム画像データに基づいて、適正露出量またはユーザーが操作部108を介して設定した露出量になるように絞り値、露光時間、撮影感度、NDフィルタの使用・非使用などを決定する。
撮像素子100の回路構成は図2(a)を用いて説明した通りである。動画撮影時には、各フレームで補正係数を算出することが困難であるため、所定フレーム数ごとに、パルス幅を変更した状態でも撮影を行い、画素値が本来あるべき値よりも低下しているか否かを判定する。画素値の低下が発生していると判定される場合は、露出条件を変更したりNDフィルタを用いたりして、パルス発生頻度または入射フォトンレートを下げ、画素値と理想値との乖離を抑制する。
図15は本実施形態における動画撮影中の露出制御動作に関するフローチャートである。この動作は、ライブビュー表示用もしくは記録用の動画撮影時に実行することができる。
S1801で制御部104’は、パルス幅変更回路205に対する設定がVqnc=VLとなるよう、必要に応じて変更してから、1フレーム分の撮影動作を実行する。得られた画像データは、画像データLongとしてフレームメモリ206に保存する。
S1802で制御部104’は、撮影したフレームが予め定められた出力低下判定フレームであるか否かを判定する。出力低下判定フレームは予め定められた所定数をn(nは2以上の整数)とすると、撮影開始からn×m(mは1以上の整数)番目のフレームであってよい。
撮影したフレームが出力低下判定フレームでない場合、制御部104’はS1803を実行し、通常の露出制御を行う。具体的には、露出制御部1701がS1801で得られた画像データLongの所定領域に含まれる画素データの平均値を輝度情報として算出し、輝度情報に基づいて、適正露出もしくはユーザが設定した露出量が得られるような撮影条件を決定する。露出条件はNDフィルタの使用有無を含む。ここで、S1802で実施する、画像データLongに基づく露出制御を第1の露出制御モードと呼ぶ。なお、ここでは露出制御部1701が輝度情報を取得するものとしたが、信号処理部101で生成した評価値を用いてもよい。
一方、S1801で撮影したフレームが出力低下判定フレームである場合、制御部104’はS1804を実行する。S1804で制御部104’は、パルス幅変更回路205に対する設定がVqnc=VHとなるように変更してから、1フレーム分の撮影動作を実行する。得られた画像データは、画像データShortとしてフレームメモリ206に保存する。このように、S1804での撮影では、S1801での撮影と、パルス幅変更回路205が供給するVqncを異ならせる。これにより、フォトン入射に応じて生じる電流に基づいて生成されるパルス信号PLSのパルス幅が異なる状態で露光期間中に計数されたパルス数に基づく1組の画像データが得られる。
S1805で制御部104’は、S1801で取得した画像データLongとS1804で取得した画像データShortを用いて、画素値の出力低下が発生しているか否かを判定する。制御部104’は、例えば画像データShortの所定領域に含まれる画素の平均値aveSと、画像データLongで同じ所定領域に含まれる画素の平均値aveLとを算出し、これら平均値の差を、出力低下判定値Δaveとして算出する。すなわち、Δave=aveS-aveLである。画像データLongの方が画像データShortよりも画素値の低下が発生しやすいため、aveSからaveLを減じている。なお、所定領域は例えば画像中央部のような固定領域であってもよいし、信号処理部101で検出された顔領域やユーザが指定した領域であってもよい。また、画素値の出力低下は高輝度部で発生しやすいため、値が高い画素を多く含んだ領域を設定してもよい。
制御部104’は、出力低下判定値Δaveが所定の閾値以下であれば、入射フォトンレートが高いことによる画素信号の出力低下が発生していないと判定し、S1807を実行する。一方、制御部104’は、出力低下判定値Δaveが所定の閾値より大きい場合は、入射フォトンレートが高いことによる画素信号の出力低下が発生していると判定し、S1806を実行する。
S1806で制御部104’は、露出量を維持しつつ、入射フォトンレートが低下するように、撮影条件を変更する。例えば制御部104’は、NDフィルタを用いるようにしたり、現在の撮影条件から絞り値を大きくしたりする。このとき、露出量を維持するため、同時に露光時間を長くしたり、撮影感度を上げたりする。第4実施形態の画像データLowの撮影条件とは異なり、画像データLongの撮影と露出量に変更はない。ここで、画像データLongおよび画像データShortを用いてS1805、S1806で行う露出制御を第2の露出制御モードと呼ぶ。
ここで、撮影条件をどの程度、またはどのように変更するかは、出力低下判定値Δaveの大きさに応じて予め実験的に決定し、出力低下判定値Δaveの大きさにと関連づけてメモリ部105のROMに記憶しておくことができる。
S1807で制御部104’は、操作部108を通じて動画撮影の終了指示が入力されているか否かを判定し、終了指示の入力が検出されなければS1801からの処理を繰り返し実行する。一方、終了指示が検出された場合、制御部104’は撮影処理を終了する。
なお、ここで説明した露出制御処理は、動画の記録や表示処理と並行して実行される。そして、記録用や表示用の動画は画像データLongに基づいて生成される。S1804で撮影される画像データShortは記録や表示には用いなくてもよいが、フレームレートを維持するために必要な場合などには記録や表示に用いてもよい。
本実施形態によれば、動画撮影時には間欠的に第2の露出制御モードで露出制御を行うことで、シーンの明るさが変化しても、入射フォトンレートが高くなり過ぎないように露出条件が随時調整される。そのため、動画撮影時のように経時的にシーンの明るさが変わりうる撮影においても、明るさの変化に起因する画質の低下を抑制することができる。
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
本発明は上述した実施形態の内容に制限されず、発明の精神および範囲から離脱することなく様々な変更及び変形が可能である。したがって、発明の範囲を公にするために請求項を添付する。
200…画素領域、201…単位画素、202…垂直制御回路、203…水平制御回路、204…タイミング発生回路、205…パルス幅変更回路、206…フレームメモリ、207…補正部、208…デジタル出力部、209、210…スイッチ

Claims (20)

  1. アバランシェフォトダイオードを有し、フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
    前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
    前記複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、
    前記アバランシェフォトダイオードに抵抗または容量を接続するか否かを切り替えることにより、前記パルス信号のパルス幅を制御する制御手段と、を有し、
    前記補正手段は、前記パルス信号のパルス幅が異なる状態または、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行うことを特徴とする撮像装置。
  2. 前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値が、
    前記複数の受光手段のうち、第1の複数の受光手段について得られた計数値と、前記第1の複数の受光手段と前記パルス信号の幅が異なる第2の複数の受光手段について得られた計数値であることを特徴とする請求項1に記載の撮像装置。
  3. 前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値が、
    前記複数の受光手段が第1のパルス幅のパルス信号を出力するように設定された状態で得られた計数値と、前記複数の受光手段が第2のパルス幅のパルス信号を出力するように設定された状態で得られた計数値であることを特徴とする請求項1に記載の撮像装置。
  4. 前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値が、
    前記複数の受光手段が出力するパルス信号について得られた計数値と、前記パルス信号のパルス幅を変更した信号について得られた計数値であることを特徴とする請求項1に記載の撮像装置。
  5. 前記補正手段は、前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値の比と、前記パルス幅の差に基づいて前記補正係数を算出することを特徴とする請求項1に記載の撮像装置。
  6. フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
    前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
    前記複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、を有し、
    前記補正手段は、前記パルス信号のパルス幅が異なる状態または、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行い、
    前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値が、
    前記複数の受光手段のうち、第1の複数の受光手段について得られた計数値と、前記第1の複数の受光手段と前記パルス信号の幅が異なる第2の複数の受光手段について得られた計数値であることを特徴とする撮像装置。
  7. フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
    前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
    前記複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、を有し、
    前記補正手段は、前記パルス信号のパルス幅が異なる状態または、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行い、
    前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値が、
    前記複数の受光手段が第1のパルス幅のパルス信号を出力するように設定された状態で得られた計数値と、前記複数の受光手段が第2のパルス幅のパルス信号を出力するように設定された状態で得られた計数値であることを特徴とする撮像装置。
  8. フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
    前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
    前記複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、を有し、
    前記補正手段は、前記パルス信号のパルス幅が異なる状態または、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行い、
    前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値が、
    前記複数の受光手段が出力するパルス信号について得られた計数値と、前記パルス信号のパルス幅を変更した信号について得られた計数値であることを特徴とする撮像装置。
  9. フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
    前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
    前記複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、を有し、
    前記補正手段は、前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値の比と、前記パルス幅の差に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行うことを特徴とする撮像装置。
  10. フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
    前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
    前記複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、を有し、
    前記補正手段は、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行い、
    前記複数の受光手段が、受光面積の異なる第1の受光手段と第2の受光手段とを含み、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値が、前記第1の受光手段が出力する前記パルス信号の計数値と、前記第2の受光手段が出力する前記パルス信号の計数値であることを特徴とする撮像装置。
  11. フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
    前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
    前記複数の計数手段の計数値を補正して、補正した計数値を画像データとして出力する補正手段と、を有し、
    前記補正手段は、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行い、
    前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値が、前記複数の受光手段への入射光量を低減させた状態で得られた計数値と、前記複数の受光手段への入射光量を低減させない状態で得られた計数値であることを特徴とする撮像装置。
  12. 前記複数の受光手段への入射光量を低減させた状態が、光学フィルタを用いた状態であり、前記複数の受光手段への入射光量を低減させない状態が、前記光学フィルタを用いない状態であることを特徴とする請求項11に記載の撮像装置。
  13. 前記複数の受光手段への入射光量を低減させない状態が、撮影レンズの絞りを第1の絞り値としての撮影であり、前記複数の受光手段への入射光量を低減させる状態が、前記第1の絞り値よりも絞りを絞った第2の絞り値での撮影であることを特徴とする請求項11に記載の撮像装置。
  14. 前記補正手段は、前記パルス信号の発生頻度が異なる条件において前記複数の計数手段で得られた計数値の比と、前記パルス信号の発生頻度の比に基づいて前記補正係数を算出することを特徴とする請求項10から13のいずれか1項に記載の撮像装置。
  15. フォトンの入射に応じてパルス信号を出力する複数の受光手段と、
    前記複数の受光手段が出力する前記パルス信号を計数する複数の計数手段と、
    前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値に基づいて露出制御を行う露出制御手段と、を有することを特徴とする撮像装置。
  16. 前記露出制御手段は、動画撮影中、前記露出制御を間欠的に行うことを特徴とする請求項15に記載の撮像装置。
  17. 前記露出制御手段は、前記パルス信号のパルス幅が異なる状態において前記複数の計数手段で得られた計数値の差が予め定められた値より大きい場合には、露出量が変わらず、前記パルス信号の発生頻度が低下する撮影条件に変更することを特徴とする請求項15または16に記載の撮像装置。
  18. アバランシェフォトダイオードを有し、フォトンの入射に応じてパルス信号を出力する複数の受光部と、
    前記複数の受光部が出力する前記パルス信号を計数する複数の計数部と、を有する撮像装置の制御方法であって、
    補正手段が、前記複数の計数部の計数値を補正して、補正した計数値を画像データとして出力する補正工程と、
    制御手段が、前記アバランシェフォトダイオードに抵抗または容量を接続するか否かを切り替えることにより、前記パルス信号のパルス幅を制御する制御工程と、を有し、
    前記補正工程において前記補正手段は、前記パルス信号のパルス幅が異なる状態または、前記パルス信号の発生頻度が異なる条件において前記複数の計数部で得られた計数値に基づいて補正係数を算出し、前記補正係数を用いて前記補正を行うことを特徴とする撮像装置の制御方法。
  19. フォトンの入射に応じてパルス信号を出力する複数の受光部と、
    前記複数の受光部が出力する前記パルス信号を計数する複数の計数部と、を有する撮像装置の制御方法であって、
    露出制御手段が、前記パルス信号のパルス幅が異なる状態において前記複数の計数部で得られた計数値に基づいて露出制御を行う露出制御工程と、を有することを特徴とする撮像装置の制御方法。
  20. フォトンの入射に応じてパルス信号を出力する複数の受光部と、前記複数の受光部が出力する前記パルス信号を計数する複数の計数部と、を有する撮像装置のコンピュータに、請求項18または19に記載の撮像装置の制御方法の各工程を実行させるプログラム。
JP2019219073A 2019-12-03 2019-12-03 撮像装置およびその制御方法 Active JP7444589B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019219073A JP7444589B2 (ja) 2019-12-03 2019-12-03 撮像装置およびその制御方法
US17/108,457 US11637984B2 (en) 2019-12-03 2020-12-01 Image capturing apparatus and control method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019219073A JP7444589B2 (ja) 2019-12-03 2019-12-03 撮像装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2021090134A JP2021090134A (ja) 2021-06-10
JP2021090134A5 JP2021090134A5 (ja) 2022-11-30
JP7444589B2 true JP7444589B2 (ja) 2024-03-06

Family

ID=76091332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019219073A Active JP7444589B2 (ja) 2019-12-03 2019-12-03 撮像装置およびその制御方法

Country Status (2)

Country Link
US (1) US11637984B2 (ja)
JP (1) JP7444589B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2023044285A (ja) * 2021-09-17 2023-03-30 浜松ホトニクス株式会社 光検出装置

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090014660A1 (en) 2006-03-15 2009-01-15 Ii-Vi Incorporated Count uniformity correction in flux space for pixilated semiconducting radiation detectors
US20100182011A1 (en) 2007-06-25 2010-07-22 Koninklijke Philips Electronics N.V. Photodiode self-test
WO2013128998A1 (ja) 2012-02-27 2013-09-06 ソニー株式会社 撮像素子および電子機器
WO2013157448A1 (ja) 2012-04-20 2013-10-24 ソニー株式会社 半導体光検出装置および放射線検出装置
CN103698024A (zh) 2013-12-26 2014-04-02 中国科学院苏州生物医学工程技术研究所 一种光子计数的校正装置及方法
JP2014241543A (ja) 2013-06-12 2014-12-25 株式会社東芝 光検出装置およびct装置
JP2019009768A (ja) 2017-06-23 2019-01-17 キヤノン株式会社 固体撮像素子、撮像装置及び撮像方法
JP2019110406A (ja) 2017-12-15 2019-07-04 キヤノン株式会社 撮像素子、撮像装置および画像処理方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0799868B2 (ja) * 1984-12-26 1995-10-25 日本放送協会 固体撮像装置
JP7217528B2 (ja) * 2019-10-24 2023-02-03 株式会社リガク 処理装置、システム、x線測定方法およびプログラム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090014660A1 (en) 2006-03-15 2009-01-15 Ii-Vi Incorporated Count uniformity correction in flux space for pixilated semiconducting radiation detectors
US20100182011A1 (en) 2007-06-25 2010-07-22 Koninklijke Philips Electronics N.V. Photodiode self-test
WO2013128998A1 (ja) 2012-02-27 2013-09-06 ソニー株式会社 撮像素子および電子機器
WO2013157448A1 (ja) 2012-04-20 2013-10-24 ソニー株式会社 半導体光検出装置および放射線検出装置
JP2014241543A (ja) 2013-06-12 2014-12-25 株式会社東芝 光検出装置およびct装置
CN103698024A (zh) 2013-12-26 2014-04-02 中国科学院苏州生物医学工程技术研究所 一种光子计数的校正装置及方法
JP2019009768A (ja) 2017-06-23 2019-01-17 キヤノン株式会社 固体撮像素子、撮像装置及び撮像方法
JP2019110406A (ja) 2017-12-15 2019-07-04 キヤノン株式会社 撮像素子、撮像装置および画像処理方法

Also Published As

Publication number Publication date
US20210168323A1 (en) 2021-06-03
US11637984B2 (en) 2023-04-25
JP2021090134A (ja) 2021-06-10

Similar Documents

Publication Publication Date Title
US9160934B2 (en) Image capturing apparatus obtaining high-exposure and low-exposure images, and method for controlling the same
US10757348B2 (en) Image pickup apparatus, image pickup apparatus control method and computer-readable non-transitory recording medium recording program
US9154685B2 (en) Driving technology of an image sensor in an image capture apparatus
JP2019097213A (ja) 撮像装置、画像データの取得方法及びプログラム
US9544512B2 (en) Image capturing apparatus and method of reading out pixel signals from an image sensor
US10785423B2 (en) Image sensor, image capturing apparatus, and image capturing method
US11363219B2 (en) Information processing apparatus, image sensor, image capturing apparatus, and information processing method
US10573681B2 (en) Imaging device, camera, and imaging method
US20160269605A1 (en) Image capturing apparatus and control method for image capturing apparatus
US10848694B2 (en) Imaging apparatus and method for controlling image apparatus having pixel saturation
CN105407299B (zh) 摄像装置及控制摄像装置的方法
JP7444589B2 (ja) 撮像装置およびその制御方法
JP4637029B2 (ja) 撮像装置及びその制御方法
US10009559B2 (en) Imaging apparatus, method for controlling the same, and program
US10623642B2 (en) Image capturing apparatus and control method thereof with change, in exposure period for generating frame, of conversion efficiency
JP2014175778A (ja) 撮像装置および撮像方法
US10203206B2 (en) Image capture apparatus having signal readouts using distance measurement region
JP2020028115A (ja) 撮像装置
JP6590055B2 (ja) 撮像装置
JP6393087B2 (ja) 撮像素子及び撮像装置
JP6167473B2 (ja) 撮像装置
JP2020065236A (ja) 撮像装置及び撮像素子の駆動方法
JP6402807B2 (ja) 撮像装置
JP7020463B2 (ja) 撮像装置
JP7328842B2 (ja) 撮像装置およびその制御方法

Legal Events

Date Code Title Description
RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20210103

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210113

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221121

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221121

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230808

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240126

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240222

R151 Written notification of patent or utility model registration

Ref document number: 7444589

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151