JP6971767B2 - 撮像装置、その制御方法及びプログラム - Google Patents
撮像装置、その制御方法及びプログラム Download PDFInfo
- Publication number
- JP6971767B2 JP6971767B2 JP2017200575A JP2017200575A JP6971767B2 JP 6971767 B2 JP6971767 B2 JP 6971767B2 JP 2017200575 A JP2017200575 A JP 2017200575A JP 2017200575 A JP2017200575 A JP 2017200575A JP 6971767 B2 JP6971767 B2 JP 6971767B2
- Authority
- JP
- Japan
- Prior art keywords
- interest
- region
- contrast
- image pickup
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 36
- 238000003384 imaging method Methods 0.000 title claims description 27
- 238000012545 processing Methods 0.000 claims description 71
- 238000009825 accumulation Methods 0.000 claims description 34
- 238000001514 detection method Methods 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 7
- 230000002708 enhancing effect Effects 0.000 claims description 6
- 238000003860 storage Methods 0.000 description 34
- 230000008569 process Effects 0.000 description 28
- 238000007689 inspection Methods 0.000 description 8
- 230000015572 biosynthetic process Effects 0.000 description 7
- 238000003786 synthesis reaction Methods 0.000 description 7
- 238000012546 transfer Methods 0.000 description 6
- 230000001965 increasing effect Effects 0.000 description 4
- 238000010586 diagram Methods 0.000 description 3
- 238000005096 rolling process Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000004907 flux Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- HODRFAVLXIFVTR-RKDXNWHRSA-N tevenel Chemical compound NS(=O)(=O)C1=CC=C([C@@H](O)[C@@H](CO)NC(=O)C(Cl)Cl)C=C1 HODRFAVLXIFVTR-RKDXNWHRSA-N 0.000 description 1
- 238000011179 visual inspection Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/20—Circuitry for controlling amplitude response
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
- H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/71—Circuitry for evaluating the brightness variation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/76—Circuitry for compensating brightness variation in the scene by influencing the image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
- H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
- H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/50—Control of the SSIS exposure
- H04N25/53—Control of the integration time
- H04N25/533—Control of the integration time by using differing integration times for different sensor regions
- H04N25/535—Control of the integration time by using differing integration times for different sensor regions by dynamic region selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/57—Control of contrast or brightness
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
本発明は、イメージセンサから一部の領域の画素信号を読み出し可能な撮像装置、その制御方法及びプログラムに関する。
工場の製造ラインにおいて、検査者が行う目視検査の代わりに、画像入力用の撮像装置が用いられることがある。このような撮像装置は、マシンビジョンカメラとも呼ばれ、各種部品や製品をコンピュータやデジタル入出力機器とともに検査するために用いられる。近年では、検査精度を向上させるために、１０００万以上の画素を有する撮像装置が使用されるようになっている。また、民生用のデジタルカメラにおいても同様に、高画質化を図るために多画素化が進んでいる。
多画素化、高画質化のニーズが高まってきたことを受け、近年ではカメラに用いられる撮像素子として、ローリングシャッター方式のＣＭＯＳセンサが用いられることが多い。ローリングシャッター方式は、撮像素子の行ごとに順次露光させるライン露光順次読み出し方式であり、センサに露光させるための露光時間の単位も行単位とされる。
多画素化、高画質化のニーズが高まってきたことを受け、近年ではカメラに用いられる撮像素子として、ローリングシャッター方式のＣＭＯＳセンサが用いられることが多い。ローリングシャッター方式は、撮像素子の行ごとに順次露光させるライン露光順次読み出し方式であり、センサに露光させるための露光時間の単位も行単位とされる。
このような撮像装置で動画を撮像し、画素配列の全画素から画素信号を読み出す場合、画素数が多いと読み出し時間が長くなる。これにより、動画撮影の場合、１秒あたりの撮像枚数が減少する。また、撮像した映像を外部に出力するデータ量が多くなるため、フレームレートが低下する。例えばマシンビジョンカメラでは、撮像する画素数に伴って、読み出し時間の合計時間が変化するとともに、撮像装置の外部に送出する画素数に伴って、フレームレートが変化することとなる。
マシンビジョンカメラが用いられる検査システムでは、検査時間の短縮化も同時に求められる。そこで、カメラの撮像領域のうち、一部の領域の画素信号を読み出すことによって読み出し画素数を減らし、これによりフレームレートを高くすることが行われる。高フレームレート化できれば、システム全体の検査時間の短縮化につながる。
また、マシンビジョンカメラによって撮像した映像は、検査システムでの検査による判定を容易とするような画像処理が行われる。従来検査システムで行われる画像処理には、マシンビジョンカメラで実行されるものもある。マシンビジョンカメラで予め画像処理を実行することによって、全体のスループットを向上させることができる。
マシンビジョンカメラが用いられる検査システムでは、検査時間の短縮化も同時に求められる。そこで、カメラの撮像領域のうち、一部の領域の画素信号を読み出すことによって読み出し画素数を減らし、これによりフレームレートを高くすることが行われる。高フレームレート化できれば、システム全体の検査時間の短縮化につながる。
また、マシンビジョンカメラによって撮像した映像は、検査システムでの検査による判定を容易とするような画像処理が行われる。従来検査システムで行われる画像処理には、マシンビジョンカメラで実行されるものもある。マシンビジョンカメラで予め画像処理を実行することによって、全体のスループットを向上させることができる。
ところで、画素信号を読み出す領域が複数設定されるようなアプリケーションでは、領域ごとに適切な撮影条件とする必要がある。
特許文献１には、第１画素群の画素からの信号と第２画素群の画素からの信号とを、異なるフレームで読み出し、画素群毎にゲインを異ならせる構成が開示されている。これにより、高輝度領域ではゲインを低くし、低輝度領域ではゲインを高くすることで被写体画像の認識範囲を広げることができる。
また、特許文献２には、画像信号中の所定の領域内の階調の少なさを評価する階調低下評価部と、画像信号中の所定の領域内の階調の潰れ度合いを評価する階調潰れ評価部とを用いて、画像信号の補正強度を制御する構成が開示されている。これにより、シーンに応じて高画質と視認性向上を両立した画像信号を生成することができる。
特許文献１には、第１画素群の画素からの信号と第２画素群の画素からの信号とを、異なるフレームで読み出し、画素群毎にゲインを異ならせる構成が開示されている。これにより、高輝度領域ではゲインを低くし、低輝度領域ではゲインを高くすることで被写体画像の認識範囲を広げることができる。
また、特許文献２には、画像信号中の所定の領域内の階調の少なさを評価する階調低下評価部と、画像信号中の所定の領域内の階調の潰れ度合いを評価する階調潰れ評価部とを用いて、画像信号の補正強度を制御する構成が開示されている。これにより、シーンに応じて高画質と視認性向上を両立した画像信号を生成することができる。
しかしながら、特許文献１では、領域個別に撮像を行うため、領域が増えるほど処理時間が増大してしまう。また、ゲインの変更を行うものであり、高輝度側で低コントラストとなるような領域ではコントラストの最適化が困難となる。
特許文献２では、画像全体としての視認性は向上するが、画像全体が最適なダイナミックレンジとなるように画像処理されるため、マシンビジョンカメラが用いられるような検査システムでは、領域のコントラストが適切なものになるとは限らない。
特許文献２では、画像全体としての視認性は向上するが、画像全体が最適なダイナミックレンジとなるように画像処理されるため、マシンビジョンカメラが用いられるような検査システムでは、領域のコントラストが適切なものになるとは限らない。
本発明は上記のような点に鑑みてなされたものであり、処理時間の増大を防ぎつつ、関心領域で適切なコントラストとなる画像が得られるようにすることを目的とする。
本発明の撮像装置は、イメージセンサから一部の領域の画素信号を読み出し可能な撮像装置であって、関心領域の設定値を入力する関心領域入力手段と、前記関心領域入力手段により入力された前記関心領域の設定値に基づいて、前記イメージセンサの蓄積及び読み出し処理を制御する制御手段と、前記制御手段の制御下で読み出された画素信号による撮像信号に基づいて、前記関心領域のコントラスト検出を行うコントラスト検出手段と、前記制御手段の制御下で読み出された画素信号による撮像信号に対して、前記コントラスト検出手段によるコントラスト検出の結果に基づいて、前記関心領域のコントラスト強調処理を行うコントラスト強調処理手段とを備えたことを特徴とする。
本発明によれば、処理時間の増大を防ぎつつ、関心領域で適切なコントラストとなる画像を得ることができる。
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
＜第１の実施形態＞
図１に、実施形態に係る撮像装置の構成を示す。
撮像装置１００は、撮像系を構成するイメージセンサ１０１と、センサ制御部１０２と、ＡＤＣ１０３と、アドレスカウンタ１０４とを備える。また、撮像装置１００は、タイミング信号合成部１０５と、コントラスト処理部１０６と、関心領域入力部１０７と、蓄積時間入力部１０８と、動作モード入力部１０９と、蓄積制御部１１０と、画像信号出力部１１１とを備える。
＜第１の実施形態＞
図１に、実施形態に係る撮像装置の構成を示す。
撮像装置１００は、撮像系を構成するイメージセンサ１０１と、センサ制御部１０２と、ＡＤＣ１０３と、アドレスカウンタ１０４とを備える。また、撮像装置１００は、タイミング信号合成部１０５と、コントラスト処理部１０６と、関心領域入力部１０７と、蓄積時間入力部１０８と、動作モード入力部１０９と、蓄積制御部１１０と、画像信号出力部１１１とを備える。
撮像装置１００には、レンズ２００が装着される。レンズ２００は、不図示の絞り群、変倍群、フォーカスレンズ群等の要素により構成される。なお、レンズ２００に含まれる変倍群は、焦点距離が可変でも、固定でもよい。レンズ２００を通った光束は、イメージセンサ１０１に結像する。
センサ制御部１０２は、イメージセンサ１０１の蓄積動作や読み出し動作に必要なタイミング信号を生成し、イメージセンサ１０１に入力することにより、イメージセンサ１０１の蓄積及び読み出し処理を含む撮像制御を行う。イメージセンサ１０１は、ローリングシャッター方式のＣＭＯＳセンサである。センサ制御部１０２により撮像制御を行うと、イメージセンサ１０１からは撮像信号が出力され、ＡＤＣ１０３でＡＤ変換される。アドレスカウンタ１０４は、センサ制御部１０２が蓄積処理、読み出し処理を行う対象行又は対象画素となるアドレスを算出する。イメージセンサ１０１から一部の領域の画素信号を読み出しする場合、イメージセンサ１０１の撮像領域の全画素のうち、読み出しを行う画素を対象画素としてアドレスを設定し、読み出し対象とならない領域はスキップして読み出しを行わない。
タイミング信号合成部１０５は、ＡＤＣ１０３から出力される撮像信号データを入力するとともに、アドレスカウンタ１０４からの信号をセンサ制御部１０２を介して入力し、撮像信号データに対してフレーム同期信号や、垂直同期信号、水平同期信号等を合成する。
関心領域設定装置３００は、関心領域を設定する。例えば関心領域とする領域の座標を設定する。関心領域設定装置３００により、複数の関心領域を設定することができる。関心領域設定装置３００として、例えばパーソナルコンピュータ（ＰＣ）が使用される。関心領域入力部１０７は、関心領域設定装置３００による関心領域の設定値を入力し、保持する。
蓄積時間設定装置４００は、蓄積時間を設定する。蓄積時間設定装置４００として、例えばＰＣが使用される。蓄積時間入力部１０８は、蓄積時間設定装置４００による蓄積時間の設定値を入力し、保持する。
動作モード設定装置５００は、撮像装置１００の動作モードを設定する。動作モード設定装置５００として、例えばＰＣが使用される。動作モード入力部１０９は、動作モード設定装置５００による動作モードの設定値を入力し、保持する。動作モード設定装置５００により設定された動作モードに従って、コントラスト処理部１０６や蓄積制御部１１０が実行する処理が切り替えられる。
なお、関心領域設定装置３００、蓄積時間設定装置４００、動作モード設定装置５００は、同一のＰＣで構成してもよいし、別々のＰＣで構成してもよい。また、ＰＣ以外の機器で構成してもよく、また、撮像装置１００自身が関心領域設定装置３００、蓄積時間設定装置４００、動作モード設定装置５００の機能を有するようにしてもよい。
蓄積時間設定装置４００は、蓄積時間を設定する。蓄積時間設定装置４００として、例えばＰＣが使用される。蓄積時間入力部１０８は、蓄積時間設定装置４００による蓄積時間の設定値を入力し、保持する。
動作モード設定装置５００は、撮像装置１００の動作モードを設定する。動作モード設定装置５００として、例えばＰＣが使用される。動作モード入力部１０９は、動作モード設定装置５００による動作モードの設定値を入力し、保持する。動作モード設定装置５００により設定された動作モードに従って、コントラスト処理部１０６や蓄積制御部１１０が実行する処理が切り替えられる。
なお、関心領域設定装置３００、蓄積時間設定装置４００、動作モード設定装置５００は、同一のＰＣで構成してもよいし、別々のＰＣで構成してもよい。また、ＰＣ以外の機器で構成してもよく、また、撮像装置１００自身が関心領域設定装置３００、蓄積時間設定装置４００、動作モード設定装置５００の機能を有するようにしてもよい。
蓄積制御部１１０は、関心領域入力部１０７、蓄積時間入力部１０８、動作モード入力部１０９が保持する設定値を入力する。関心領域入力部１０７が保持する関心領域の設定値は、イメージセンサ１０１における読み出し対象の領域情報として、センサ制御部１０２を介してアドレスカウンタ１０４に渡される。前述したように、センサ制御部１０２の制御下で、読み出し対象とならない領域、すなわち関心領域以外の領域はスキップされる。
コントラスト処理部１０６は、タイミング信号合成部１０５から出力される撮像信号データにおいて、関心領域設定装置３００により設定された関心領域に対して、後述するコントラスト検出処理及びコントラスト強調処理を行う。
画像信号出力部１１１は、コントラスト処理部１０６によりコントラスト強調処理された撮像信号データを、撮像装置１００の外部に出力する。このとき、コントラスト処理部１０６から出力される撮像信号データにおいて、関心領域設定装置３００により設定された関心領域と、撮像信号データの関心領域の座標との対応が取れるように、必要なタイミング信号を加えた出力画像信号データを生成し、それを出力する。
なお、本実施形態においては、センサ制御部１０２、アドレスカウンタ１０４及び蓄積制御部１１０が相まって、本発明でいう制御手段として機能する。また、コントラスト処理部１０６が、本発明でいうコントラスト検出手段、コントラスト強調処理手段として機能する。本発明の制御手段、コントラスト検出手段、コントラスト強調処理手段は、例えばＣＰＵがメモリに格納された所定のプログラムを実行することにより実現される。
図２に、イメージセンサ１０１の構造図を示す。Ｉｍｇは行列状に配列された撮像素子群を示し、撮像素子群Ｉｍｇを構成する一部の画素１１〜３３を示す。撮像素子群Ｉｍｇ中の各画素には、水平信号線Ｖ（Ｖ１、Ｖ２、Ｖ３、…）を介して垂直走査回路１０１１が接続し、垂直信号線Ｈ（Ｈ１、Ｈ２、Ｈ３、…）を介して水平走査回路１０１２が接続する。
各垂直信号線Ｈには、画素列に対応して設けられた複数の列アンプ回路Ａｍｐ（Ａｍｐ１、Ａｍｐ２、Ａｍｐ３、…）が接続し、各画素から読み出された画素信号を増幅する。各列アンプＡｍｐには、列アンプ選択線Again Selが接続し、各列アンプＡｍｐの倍率を回路的に選択することが可能である。選択可能な倍率の例として１倍、２倍、４倍、８倍、１６倍等があるが、列アンプ回路の倍率はイメージセンサによって様々であるため、任意の倍率で構成してよい。
各垂直信号線Ｈには、画素列に対応して設けられた複数の列アンプ回路Ａｍｐ（Ａｍｐ１、Ａｍｐ２、Ａｍｐ３、…）が接続し、各画素から読み出された画素信号を増幅する。各列アンプＡｍｐには、列アンプ選択線Again Selが接続し、各列アンプＡｍｐの倍率を回路的に選択することが可能である。選択可能な倍率の例として１倍、２倍、４倍、８倍、１６倍等があるが、列アンプ回路の倍率はイメージセンサによって様々であるため、任意の倍率で構成してよい。
垂直走査回路１０１１には、Charge Reset、Read Reset、Line Shiftの３つの制御線が接続する。これら制御線は、センサ制御部１０２に接続されている。垂直走査回路１０１１には、蓄積対象行選択レジスタ及び読み出し対象行選択レジスタが構成される（図４を参照のこと）。各行選択レジスタは、撮像素子群Ｉｍｇ中の蓄積対象行及び読み出し対象行をそれぞれ選択することができる。Charge Resetは、行選択レジスタにより選択されている蓄積対象行を先頭行にリセットし、先頭行の蓄積を開始する。Read Resetは、行選択レジスタにより選択されている読み出し対象行を先頭行にリセットする。Line Shiftは、行選択レジスタにより選択されている蓄積対象行と読み出し対象行とをインクリメントするための制御線である。Line ShiftにＨｉ信号を１回入力すると（ワンショットパルス入力）、各行選択レジスタにより選択されている対象の次の行が参照される。本実施形態では、Line Shiftが１本の場合の例を説明するが、蓄積対象行選択レジスタと読み出し対象行選択レジスタとが参照する行を個別にインクリメントするために別々に構成してもよい。
水平走査回路１０１２には、Transfer H、H pulseの２つの制御線が接続する。これら制御線は、センサ制御部１０２に接続されている。Line Shiftへのワンショットパルス入力後、Transfer Hは、垂直走査回路１０１１の行選択レジスタにより選択されている読み出し対象行の画素信号を水平走査回路１０１２に転送する。例えば行選択レジスタにより選択されている読み出し対象行がＶ２のとき、Transfer Hにより、画素２１、２２，２３の画素信号が水平走査回路１０１２に転送される。H pulseは、水平走査回路１０１２に転送された画素信号を読み出すための制御線である。H pulseにパルスが入力されると、アンプ１０１３を通じて撮像信号がアナログ出力される。この撮像信号はＡＤＣ１０３に入力され、ＡＤＣ１０３は、H pulseに同期して、入力された撮像信号をＡＤ変換する。H pulseは、読み出しを行う画素数分のクロックを発生している。
ここで、図３及び図４を参照して、センサ制御部１０２による撮像制御の例について説明する。イメージセンサ１０１の読み出し対象行数をｎ行とすると、ｎ行分の読み出し時間と１行あたりの蓄積時間とを比較し、その大小関係で撮像制御方式を切り替える。
図３を参照して、１行あたりの蓄積時間がｎ行分の読み出し時間以上の条件における撮像制御の例を説明する。図３において横軸が時間方向を表わし、上図はタイミングチャートを示し、下図はイメージセンサ１０１の行方向の蓄積及び読み出しのイメージを示す。
まず、ｐ０１のタイミングでRead ResetとLine Shiftにワンショットパルスを入力することで、イメージセンサ１０１の第１行目の読み出しが開始される。ｐ０１のタイミングでのLine Shiftのパルスの入力後、水平走査回路１０１２のTransfer H、H pulseを用いて、第１行目の画素信号の読み出しが行われる。画素信号の読み出し時には、ＡＤＣ１０３によってH pulseに同期したＡＤ変換がなされる。図３に示すT readlineは、１行分の画素信号の読み出しに要する時間である。
まず、ｐ０１のタイミングでRead ResetとLine Shiftにワンショットパルスを入力することで、イメージセンサ１０１の第１行目の読み出しが開始される。ｐ０１のタイミングでのLine Shiftのパルスの入力後、水平走査回路１０１２のTransfer H、H pulseを用いて、第１行目の画素信号の読み出しが行われる。画素信号の読み出し時には、ＡＤＣ１０３によってH pulseに同期したＡＤ変換がなされる。図３に示すT readlineは、１行分の画素信号の読み出しに要する時間である。
１行分の画素信号の読み出しが完了した後、ｐ０２のタイミングでLine Shift及びCharge Resetにワンショットパルスを入力する。時間T readlineは、ｐ０１とｐ０２との間隔時間と同等である。また、時間T readlineは、ｐ０１、ｐ０２等で入力されるLine ShiftのワンショットパルスのＨｉ時間よりも十分長い。ここでは、垂直走査回路１０１１の行選択レジスタによって、読み出し対象行として第２行が選択され、蓄積対象行として第１行が選択される。ｐ０１からｐ０２にかけて第１行の画素信号が読み出された後、ｐ０２で第１行の蓄積が開始される。また、ｐ０２からｐ０３にかけて前述と同様にして時間T readlineで第２行の画素信号が読み出される。図３の「読み出し中の領域」、「蓄積中の領域」で示すように、各行間は時間T readlineに相当する時間差で蓄積及び読み出しが行われることとなる。
以下、同様にして、ｐ０１からｐ０ｎまでの時間においてイメージセンサ１０１の最終行ｎまでの蓄積及び読み出しが行われると、再びｐ１１のタイミングで第１行目からの読み出しが行われる。ｐ１１のタイミングでは、ｐ０１のタイミングで行われた水平走査回路１０１２への処理と同様の処理が行われる。ｐ１１のタイミングで読み出される第１行目の画素信号は、ｐ０２からｐ１１までに蓄積されたものである。また、例えばｐ１２のタイミングで読み出される第２行目の画素信号は、ｐ０３からｐ１２までに蓄積されたものである。ｐ０１からｐ０ｎまでに読み出される画素信号は、カメラ起動後の第０フレームであり、ダミーの読み出し期間としている。図３のFrame Valid信号は、第０フレームにおいて蓄積された画素信号が読み出されるｐ１１以降、すなわち第１フレーム以降の毎フレームで有効とし、ｐ０１からｐ０ｎまでに読み出される第０フレームの画素信号を無効とする。
このように、図３の撮像制御では、ｐ０１からｐ０ｎまで順次第０フレームの読み出しを行いつつ、ｐ０２以降は各行で第１フレームとして出力するための蓄積動作を順次行う。図３に示すように、第１行から最終行ｎまでの読み出し時間をT read_Aとして示す。時間T readlineに行数ｎを掛けた時間がT read_Aとなる。T charge_Aは、第１行の蓄積時間を示す。図３では第１行から最終行ｎまでの各行の蓄積時間T charge_AはT charge_A0と等しく、一様である。また、T read_AをT read、T charge_AをT chargeとすると、T chargeとT readとの関係は式（１）の通りである。
T charge≧T read …（１）
T charge≧T read …（１）
図４を参照して、１行あたりの蓄積時間がｎ行分の読み出し時間未満の条件における撮像制御の例を説明する。図４において横軸が時間方向を表わし、上図はタイミングチャートを示し、下図はイメージセンサ１０１の行方向の蓄積及び読み出しのイメージを示す。
式（１）の関係とは異なり、式（２）の関係にある場合、図４に示すような撮像制御を行う。
T charge＜T read …（２）
式（１）の関係とは異なり、式（２）の関係にある場合、図４に示すような撮像制御を行う。
T charge＜T read …（２）
まず、ｐ０１のタイミングでCharge ResetとLine Shiftにワンショットパルスを入力することで、イメージセンサ１０１の第１行目の蓄積が開始される。次に、ｐ０２のタイミングでLine Shiftにワンショットパルスを入力することで、イメージセンサ１０１の第２行目の蓄積が開始される。ｐ０１とｐ０２との間隔時間は、図３の場合と同様に、時間T readlineと同等である。以下、同様にして、時間T readlineに相当する時間間隔で、すなわちｐ０１、ｐ０２、・・・、ｐ０ｋ、・・・のタイミングでLine Shiftにワンショットパルスを入力する。このようにLine Shiftにワンショットパルスを入力していくことによって、イメージセンサ１０１の第１行、第２行、… 第ｋ行、…というようにT readlineの時間ずれを伴って順次蓄積が開始される。そして、ｐ０１＋ＴｃのタイミングでRead ResetとLine Shiftにワンショットパルスを入力することで、イメージセンサ１０１の第１行の蓄積を終了させる。
ｐ０１＋ＴｃのタイミングでのLine Shiftのパルスの入力後、図３の場合と同様に、水平走査回路１０１２のTransfer H、H pulseを用いて、第１行目の画素信号の読み出しが行われる。ここでは、ｐ０１からｐ０１＋Ｔｃまでの時間、すなわちT charge_Bの蓄積時間で蓄積された画素信号が読み出される。ここで、Ｔｃとは一行あたりの蓄積時間T charge_BをT readlineで割った値である。また、ｐ０１＋Ｔｃのタイミングでは、第１行の読み出しと同時に第Ｔｃ行の蓄積が開始される。以降、図３の場合と同様の読み出し方法により、ｐ０１＋Ｔｃのタイミング以降、T readlineの時間ずれを伴って、最終行ｎまで順次一行ずつ読み出しが行われる。このようにイメージセンサ１０１の全行を読み出す時間はT read_Bで与えられる。読み出しライン数が等しければ、T read_Bは図３に示すT read_Aと等しい。
このように、図４の撮像制御では、読み出し時間よりも蓄積時間の方が短い場合での撮像制御であり、第１行の読み出しが開始した時刻以降に、第Ｔｃ行以降の蓄積が行われていく。連続的に撮影を行う場合は、読み出し対象とする行すべての読み出しが終了した後に、次のフレームの蓄積や読み出しを行う。
以上の撮像制御の例を踏まえて、本実施形態では、４つの関心領域を設定して読み出し及びスキップを行い、各関心領域に対して、コントラスト検出処理及びコントラスト強調処理を行う例を説明する。
図５に、イメージセンサ１０１及び関心領域の例を示す。本例では、イメージセンサ１０１が３０００列２０００行の撮像素子で構成されている。関心領域を斜線で示しており、それぞれ関心領域Ａ（Ａｒｅａ Ａ）、関心領域Ｂ（Ａｒｅａ Ｂ）、関心領域Ｃ（Ａｒｅａ Ｃ）、関心領域Ｄ（Ａｒｅａ Ｄ）とする。向かって左上の座標及び右下の座標｛Ｘ１，Ｙ１，Ｘ２，Ｙ２｝で領域を表わすと、関心領域Ａは｛２０１，２０１，９５０，４００｝である。同様に、関心領域Ｂは｛２００１，２０１，２７５０，４００｝、関心領域Ｃは｛２０１，１５０１，９５０，１７００｝、関心領域Ｄは｛２００１，１５０１，２７５０，１７００｝である。
図５に、イメージセンサ１０１及び関心領域の例を示す。本例では、イメージセンサ１０１が３０００列２０００行の撮像素子で構成されている。関心領域を斜線で示しており、それぞれ関心領域Ａ（Ａｒｅａ Ａ）、関心領域Ｂ（Ａｒｅａ Ｂ）、関心領域Ｃ（Ａｒｅａ Ｃ）、関心領域Ｄ（Ａｒｅａ Ｄ）とする。向かって左上の座標及び右下の座標｛Ｘ１，Ｙ１，Ｘ２，Ｙ２｝で領域を表わすと、関心領域Ａは｛２０１，２０１，９５０，４００｝である。同様に、関心領域Ｂは｛２００１，２０１，２７５０，４００｝、関心領域Ｃは｛２０１，１５０１，９５０，１７００｝、関心領域Ｄは｛２００１，１５０１，２７５０，１７００｝である。
図６は、第１の実施形態において撮像装置１００が行う処理を示すフローチャートである。撮像装置１００に電源が投入されると、ステップＳ１１０から順番に処理を実行する。
ステップＳ１１０で、関心領域の設定値の入力を行う。関心領域入力部１０７は、関心領域設定装置３００により設定された関心領域の設定値（本例では、関心領域Ａ〜関心領域Ｄの座標）を入力する。関心領域を除く領域は、スキップ領域、すなわち読み出しを行わない領域として識別される。関心領域の設定値は、関心領域入力部１０７で保持され、蓄積制御部１１０に入力される。ステップＳ１１０が実行されると、次にステップＳ１２０に進む。
ステップＳ１１０で、関心領域の設定値の入力を行う。関心領域入力部１０７は、関心領域設定装置３００により設定された関心領域の設定値（本例では、関心領域Ａ〜関心領域Ｄの座標）を入力する。関心領域を除く領域は、スキップ領域、すなわち読み出しを行わない領域として識別される。関心領域の設定値は、関心領域入力部１０７で保持され、蓄積制御部１１０に入力される。ステップＳ１１０が実行されると、次にステップＳ１２０に進む。
ステップＳ１２０で、所謂シャッター速度としての蓄積時間の設定値の入力を行う。蓄積時間入力部１０８は、蓄積時間設定装置４００により設定された蓄積時間の設定値を入力する。蓄積時間の設定値は、蓄積時間入力部１０８で保持され、蓄積制御部１１０に入力される。蓄積時間は一般的には１／６０、１／１２０等で示されるが、任意の形式としてもよい。ステップＳ１２０が実行されると、次にステップＳ１３０に進む。
ステップＳ１３０で、関心領域及び撮像設定を行う。センサ制御部１０２及びアドレスカウンタ１０４は、ステップＳ１１０で入力された関心領域Ａ〜関心領域Ｄの座標をイメージセンサ１０１のアドレスに変換し、読み出し対象行及びスキップ行に変換する。また、蓄積制御部１１０は、ステップＳ１２０で入力された蓄積時間に基づいて、イメージセンサ１０１を駆動する制御パルスのカウント値に変換し、センサ制御部１０２に設定する。また、センサ制御部１０２は、イメージセンサ１０１が備える列アンプ回路Ａｍｐのアンプゲインを設定する。アンプゲインの初期値は任意の値でよいが、ここでは１倍とする。さらに、変数としての本撮影フラグを反転させる。本撮影フラグとは、後述するステップＳ１５０での判定に用いるフラグ変数であり、本撮影である状態を示す真と、本撮影ではない状態を示す偽とがある。詳細については後述するが、初期値は偽（本撮影ではない状態）としておく。これらの設定処理が終了すると、次にステップＳ１４０に進む。
ステップＳ１４０で、センサ制御部１０２は、ステップＳ１３０で設定された関心領域及び撮像設定に基づいて、イメージセンサ１０１の蓄積及び読み出し処理を行う。
図７に、ステップＳ１４０で実行される蓄積及び読み出し処理のタイミングチャートを示す。図７では、式（１）に示す条件での撮像制御の例を示す。横軸に時間軸を取り、Charge Reset、Read Reset、Line Shiftの各パルスを示す。式（１）に示す条件では、前述したようにRead Resetパルスにより行選択レジスタがクリアされ、イメージセンサ１０１の先頭行から読み出し処理が行われる。
ｐ０１からｐ０２０１の期間では、Line Shiftのパルスを連続的に発行することにより先頭行から２００行目までの読み出しがスキップされる。つまり、関心領域Ａ及び関心領域Ｂの開始行２０１行目までの読み出しは行われないことになる。
次に、ｐ０２０１のタイミング以降は、Ｔｃの間隔でLine Shiftのパルスが発行され、ｐ０４００まで、すなわち２０１行目から４００行目までの関心領域Ａ及び関心領域Ｂの読み出しが行われる。
図７に、ステップＳ１４０で実行される蓄積及び読み出し処理のタイミングチャートを示す。図７では、式（１）に示す条件での撮像制御の例を示す。横軸に時間軸を取り、Charge Reset、Read Reset、Line Shiftの各パルスを示す。式（１）に示す条件では、前述したようにRead Resetパルスにより行選択レジスタがクリアされ、イメージセンサ１０１の先頭行から読み出し処理が行われる。
ｐ０１からｐ０２０１の期間では、Line Shiftのパルスを連続的に発行することにより先頭行から２００行目までの読み出しがスキップされる。つまり、関心領域Ａ及び関心領域Ｂの開始行２０１行目までの読み出しは行われないことになる。
次に、ｐ０２０１のタイミング以降は、Ｔｃの間隔でLine Shiftのパルスが発行され、ｐ０４００まで、すなわち２０１行目から４００行目までの関心領域Ａ及び関心領域Ｂの読み出しが行われる。
次に、ｐ０４０１のタイミング以降は、再びｐ１５００、すなわち１５００行目までの期間で、Line Shiftのパルスを連続的に発行することにより４０１行目から１５００行目までの読み出しがスキップされる。
次に、ｐ１５０１のタイミング以降は、再びＴｃの間隔でLine Shiftのパルスが発行され、ｐ１７００まで、すなわち１５０１行目から１７００行目までの関心領域Ｃ及び関心領域Ｄの読み出しが行われる。
関心領域Ａ〜関心領域Ｄの読み出しが行われるタイミングを、Region of InterestがＨｉｇｈとなっている区間で示す。
次に、ｐ１５０１のタイミング以降は、再びＴｃの間隔でLine Shiftのパルスが発行され、ｐ１７００まで、すなわち１５０１行目から１７００行目までの関心領域Ｃ及び関心領域Ｄの読み出しが行われる。
関心領域Ａ〜関心領域Ｄの読み出しが行われるタイミングを、Region of InterestがＨｉｇｈとなっている区間で示す。
ステップＳ１４０で読み出された関心領域Ａ〜関心領域Ｄの撮像信号は、ＡＤＣ１０３でＡＤ変換された後、タイミング信号合成部１０５を経由してコントラスト処理部１０６に送られる。ここまでのデータの流れはハード的に行われるため、後述のステップＳ１５０〜Ｓ１９０までは同時並行的に実行されるものとして説明をする。ステップＳ１４０の処理が完了すると、次にステップＳ１５０に進む。
図６に説明を戻して、ステップＳ１５０で、センサ制御部１０２は、本撮影フラグを判定する。真である場合はステップＳ１６０に進み、偽である場合はステップＳ１８０に進む。前述したように初期値は偽としたので、ここではステップＳ１８０に進む。
ステップＳ１８０で、コントラスト処理部１０６は、ステップＳ１４０で読み出され、ＡＤＣ１０３及びタイミング信号合成部１０５を経由した関心領域Ａ〜関心領域Ｄの撮像信号データに基づいて、関心領域Ａ〜関心領域Ｄのコントラスト検出を行う。
図８は、ステップＳ１８０のコントラスト検出処理のサブルーチンを示すフローチャートである。図８に示すサブルーチンは、関心領域ごとに処理される。
ステップＳ１８１で、関心領域の最小輝度値を求め、保持する。ステップＳ１８２で、関心領域の最大輝度値を求め、保持する。ステップＳ１８３で、ステップＳ１８２で保持した関心領域の最大輝度値から、ステップＳ１８１で保持した関心領域の最小輝度値を減算することにより、関心領域の輝度レンジαを求める。輝度レンジαは関心領域ごとに保持される。ステップＳ１８４で、画素信号として取り得る全レンジを輝度レンジαで除算した結果をβ（以下、拡張値と呼ぶ）に格納する。拡張値βも輝度レンジαと同様に関心領域ごとに保持される。拡張値βは、後述するステップＳ１６０で実行されるコントラスト強調処理に用いるゲインとなる。ステップＳ１８４が実行されると、図８のサブルーチンを終了し、次にステップＳ１９０に進む。
図８は、ステップＳ１８０のコントラスト検出処理のサブルーチンを示すフローチャートである。図８に示すサブルーチンは、関心領域ごとに処理される。
ステップＳ１８１で、関心領域の最小輝度値を求め、保持する。ステップＳ１８２で、関心領域の最大輝度値を求め、保持する。ステップＳ１８３で、ステップＳ１８２で保持した関心領域の最大輝度値から、ステップＳ１８１で保持した関心領域の最小輝度値を減算することにより、関心領域の輝度レンジαを求める。輝度レンジαは関心領域ごとに保持される。ステップＳ１８４で、画素信号として取り得る全レンジを輝度レンジαで除算した結果をβ（以下、拡張値と呼ぶ）に格納する。拡張値βも輝度レンジαと同様に関心領域ごとに保持される。拡張値βは、後述するステップＳ１６０で実行されるコントラスト強調処理に用いるゲインとなる。ステップＳ１８４が実行されると、図８のサブルーチンを終了し、次にステップＳ１９０に進む。
図６に説明を戻して、ステップＳ１９０で、センサ制御部１０２は、ステップＳ１８０のコントラスト検出の結果に基づいて、撮影パラメータを更新する。
図９は、ステップＳ１９０の撮影パラメータ更新のサブルーチンを示すフローチャートである。
ステップＳ１９１で、全関心領域における輝度値の最大値を算出する。ステップＳ１９２で、イメージセンサ１０１が備える列アンプ回路Ａｍｐのアンプゲインを算出する。アンプゲインは、画素信号として取り得る全レンジをステップＳ１９１で算出された輝度値の最大値で除算することにより得られる。ステップＳ１９３で、ステップＳ１９２で算出されたアンプゲインを用いて、ステップＳ１８４で算出された拡張値βを更新する。詳細には、ステップＳ１８４で算出された拡張値βをステップＳ１９２で算出されたアンプゲインで除算した値で更新する。ステップＳ１９３が実行されると、図９のサブルーチンを終了する。
図９は、ステップＳ１９０の撮影パラメータ更新のサブルーチンを示すフローチャートである。
ステップＳ１９１で、全関心領域における輝度値の最大値を算出する。ステップＳ１９２で、イメージセンサ１０１が備える列アンプ回路Ａｍｐのアンプゲインを算出する。アンプゲインは、画素信号として取り得る全レンジをステップＳ１９１で算出された輝度値の最大値で除算することにより得られる。ステップＳ１９３で、ステップＳ１９２で算出されたアンプゲインを用いて、ステップＳ１８４で算出された拡張値βを更新する。詳細には、ステップＳ１８４で算出された拡張値βをステップＳ１９２で算出されたアンプゲインで除算した値で更新する。ステップＳ１９３が実行されると、図９のサブルーチンを終了する。
ステップＳ１９０が実行されると、次にステップＳ１３０に戻る。ステップＳ１３０では、ステップＳ１９０で更新された撮影パラメータのうち、変更のあったものが反映される。ここでは、ステップＳ１９２で設定されたアンプゲインが列アンプ回路Ａｍｐに適用される。また、本撮影フラグが反転され、真（本撮影である状態）となる。次にステップＳ１４０に進む。
ステップＳ１４０で、前述したように、センサ制御部１０２は、ステップＳ１３０で設定された関心領域及び撮像設定に基づいて蓄積及び読み出し処理を行う。ステップＳ１４０の処理が完了すると、次にステップＳ１５０に進む。
ステップＳ１５０で、センサ制御部１０２は、本撮影フラグを判定する。ステップＳ１３０で本撮影フラグが真となっており、ここではステップＳ１６０に進む。
ステップＳ１５０で、センサ制御部１０２は、本撮影フラグを判定する。ステップＳ１３０で本撮影フラグが真となっており、ここではステップＳ１６０に進む。
ステップＳ１６０で、コントラスト処理部１０６は、ステップＳ１４０で読み出され、ＡＤＣ１０３及びタイミング信号合成部１０５を経由した関心領域Ａ〜関心領域Ｄの撮像信号データに対して、関心領域Ａ〜関心領域Ｄのコントラスト強調処理を行う。
図１０は、ステップＳ１６０のコントラスト強調処理のサブルーチンを示すフローチャートである。図１０に示すサブルーチンは、関心領域ごとに処理される。
ステップＳ１６１で、ステップＳ１８０で算出された関心領域の最小輝度値を用い、各画素の撮像信号から当該関心領域の最小輝度値を減算し、変数ｔｅｍｐに格納する。ステップＳ１６２で、ステップＳ１６１で算出された変数ｔｅｍｐにステップＳ１９３で算出された拡張値βを乗算することにより出力信号を得る。関心領域内の各画素にステップＳ１６０による演算を適用していく。ステップＳ１６２が実行されると、図１０のサブルーチンを終了し、次にステップＳ１７０に進む。
図１０は、ステップＳ１６０のコントラスト強調処理のサブルーチンを示すフローチャートである。図１０に示すサブルーチンは、関心領域ごとに処理される。
ステップＳ１６１で、ステップＳ１８０で算出された関心領域の最小輝度値を用い、各画素の撮像信号から当該関心領域の最小輝度値を減算し、変数ｔｅｍｐに格納する。ステップＳ１６２で、ステップＳ１６１で算出された変数ｔｅｍｐにステップＳ１９３で算出された拡張値βを乗算することにより出力信号を得る。関心領域内の各画素にステップＳ１６０による演算を適用していく。ステップＳ１６２が実行されると、図１０のサブルーチンを終了し、次にステップＳ１７０に進む。
図６に説明を戻して、ステップＳ１７０で、画像信号出力部１１１は、コントラスト処理部１０６によりコントラスト強調処理された関心領域Ａ〜関心領域Ｄの撮像信号データを、撮像装置１００の外部に出力する。
以下、図１１に示す関心領域Ａ〜関心領域Ｄを例として説明する。図１１は、本撮影フラグが偽（本撮影ではない状態）において、ステップＳ１４０で読み出された関心領域Ａ〜関心領域Ｄの撮像信号を示し、各関心領域に描かれた特性線は撮像信号の輝度値を表わす。関心領域Ａでは、略全レンジにわたる撮像信号が得られている。関心領域Ｂでは、低輝度、低コントラストの撮像信号が得られている。関心領域Ｃでは、高輝度、低コントラストの撮像信号が得られている。関心領域Ｄでは、関心領域Ｂと関心領域Ｃとの中間程度のコントラストとなる撮像信号が得られている。
図１１に示す関心領域Ｃを例に、図１２を参照して、ステップＳ１８０で実行されるコントラスト検出を説明する。図１２（ａ）は関心領域Ｃを示す図、（ｂ）は関心領域Ｃの撮像信号から関心領域Ｃの最小輝度値を減算することによりオフセットした状態を示す図、（ｃ）はコントラスト強調処理された関心領域Ｃを示す図である。
ステップＳ１８１で保持される関心領域Ｃの最小輝度値を図１２（ａ）にＭｉｎと示す。また、ステップＳ１８２で保持される関心領域Ｃの最大輝度値を図１２（ａ）にＭａｘと示す。このＭａｘとＭｉｎとの差が関心領域の輝度レンジαであり、図１２（ｂ）にαで示す範囲となる。
また、ステップＳ１８４で算出される拡張値βは、画素信号として取り得る全レンジを輝度レンジαで除算した値であり、換言すれば、図１２（ｂ）に示すように、α×βが、画素信号として取り得る全レンジとなる。
ステップＳ１８１で保持される関心領域Ｃの最小輝度値を図１２（ａ）にＭｉｎと示す。また、ステップＳ１８２で保持される関心領域Ｃの最大輝度値を図１２（ａ）にＭａｘと示す。このＭａｘとＭｉｎとの差が関心領域の輝度レンジαであり、図１２（ｂ）にαで示す範囲となる。
また、ステップＳ１８４で算出される拡張値βは、画素信号として取り得る全レンジを輝度レンジαで除算した値であり、換言すれば、図１２（ｂ）に示すように、α×βが、画素信号として取り得る全レンジとなる。
図１２（ｃ）は、関心領域Ｃにおいて輝度レンジαを拡張値βを用いて拡張した状態を示しており、ステップＳ１９２で算出されるアンプゲインと、ステップＳ１９３で更新される拡張値βとを組み合わせたものと等価である。コントラスト処理部１０６において、関心領域Ｃの撮像信号が、図１２（ｃ）に示すようにコントラストが強調された撮像信号に変換される。
図１３には、コントラスト強調処理された関心領域Ａ〜関心領域Ｄの撮像信号を示す。
図１３には、コントラスト強調処理された関心領域Ａ〜関心領域Ｄの撮像信号を示す。
以上のように、関心領域入力部１０７により入力された関心領域の設定値に基づいて、イメージセンサ１０１の蓄積及び読み出し処理を制御し、関心領域の撮像信号を読み出す。本撮影に先立つ予備撮影によって、コントラスト処理部１０６により関心領域のコントラスト検出を行い、関心領域のコントラストを最適化するためのパラメータを求める。その後、本撮影によって、コントラスト処理部１０６により関心領域のコントラスト強調処理を行い、コントラストが強調された撮像信号を出力する。この場合に、関心領域が複数あっても、予備撮影を１枚として、各関心領域のコントラストを最適化するためのパラメータを求めることが可能となる。これにより、処理時間の増大を防ぎつつ、関心領域で適切なコントラストとなる画像を得ることができる。
なお、本実施形態では、本撮影において関心領域Ａ〜関心領域Ｄの撮像信号を読み出すようにしたが、これに限られるものではない。例えば本撮影においては関心領域Ａ〜関心領域Ｄの全て又は一部を含む広い領域の撮像信号を読み出し、その広い領域の中の各関心領域でコントラスト強調処理が施されるようにしてもよい。
＜第２の実施形態＞
第１の実施形態では、ステップＳ１９０で全関心領域における輝度値の最大値に基づいて唯一のアンプゲインを算出した。
ここで、拡張値βによるコントラスト強調処理よりも、列アンプ回路Ａｍｐのアンプゲインによってゲインを適用した場合に、高画質な画像が得られることがある。
そこで、本実施形態では、関心領域が垂直方向に一定の距離以上離れている場合、アンプゲインを変更して撮像信号を読み出すことにより、コントラスト強調処理を適用する例を説明する。
なお、撮像装置の構成及び基本的な処理動作は第１の実施形態と同様であり、以下では、第１の実施形態との相違点を中心に説明する。
第１の実施形態では、ステップＳ１９０で全関心領域における輝度値の最大値に基づいて唯一のアンプゲインを算出した。
ここで、拡張値βによるコントラスト強調処理よりも、列アンプ回路Ａｍｐのアンプゲインによってゲインを適用した場合に、高画質な画像が得られることがある。
そこで、本実施形態では、関心領域が垂直方向に一定の距離以上離れている場合、アンプゲインを変更して撮像信号を読み出すことにより、コントラスト強調処理を適用する例を説明する。
なお、撮像装置の構成及び基本的な処理動作は第１の実施形態と同様であり、以下では、第１の実施形態との相違点を中心に説明する。
図１４は、第２の実施形態において撮像装置１００が行う処理を示すフローチャートである。
ステップＳ１１０、Ｓ１２０は第１の実施形態と同様であり、関心領域の設定値と、蓄積時間の設定値とが入力され、次にステップＳ２１０に進む。
ステップＳ２１０で、センサ制御部１０２は、領域判定処理を行う。図５に示す関心領域Ａ〜関心領域Ｄでは、関心領域Ａ及び関心領域Ｂの終了行から、関心領域Ｃ及び関心領域Ｄの開始行までに１３００行ある。図７に示すように、垂直方向に位置が異なる関心領域間のスキップ時間が所定の時間以上であれば、アンプゲインを変更する処理時間を確保することができる。この所定の時間とは、予め測定した値等に基づいて定められればよい。また、スキップ時間については、１行あたりのスキップ時間を予め測定しておき、関心領域間の行数を乗算した時間をスキップ時間として算出すればよい。スキップ時間が所定の時間以上であれば、アンプゲイン切替有効フラグを真とし、スキップ時間が所定の時間未満であれば、アンプゲイン切替有効フラグを偽とする。ステップＳ２１０の処理が完了すると、ステップＳ１３０を経てステップＳ２２０に進む。
ステップＳ１１０、Ｓ１２０は第１の実施形態と同様であり、関心領域の設定値と、蓄積時間の設定値とが入力され、次にステップＳ２１０に進む。
ステップＳ２１０で、センサ制御部１０２は、領域判定処理を行う。図５に示す関心領域Ａ〜関心領域Ｄでは、関心領域Ａ及び関心領域Ｂの終了行から、関心領域Ｃ及び関心領域Ｄの開始行までに１３００行ある。図７に示すように、垂直方向に位置が異なる関心領域間のスキップ時間が所定の時間以上であれば、アンプゲインを変更する処理時間を確保することができる。この所定の時間とは、予め測定した値等に基づいて定められればよい。また、スキップ時間については、１行あたりのスキップ時間を予め測定しておき、関心領域間の行数を乗算した時間をスキップ時間として算出すればよい。スキップ時間が所定の時間以上であれば、アンプゲイン切替有効フラグを真とし、スキップ時間が所定の時間未満であれば、アンプゲイン切替有効フラグを偽とする。ステップＳ２１０の処理が完了すると、ステップＳ１３０を経てステップＳ２２０に進む。
ステップＳ２２０は、第１の実施形態のステップＳ１４０に置き換えられたものであり、センサ制御部１０２は、ステップＳ１３０で設定された関心領域及び撮像設定に基づいて、イメージセンサ１０１の蓄積及び読み出し処理を行う。
図１５に、ステップＳ２２０で実行される蓄積及び読み出し処理のタイミングチャートを示す。図１５は、第１の実施形態の図７のタイミングチャートに、アンプゲインを変更する区間をＨｉｇｈとして表現したAmp Gain Changeが追加されたものである。前述のアンプゲイン切替有効フラグが真、すなわち関心領域間のスキップ時間が所定の時間以上であれば、センサ制御部１０２は、区間Read Area A/Bと区間Read Area C/Dとの間のスキップ区間においてアンプゲインを変更する。なお、本実施形態においては、センサ制御部１０２が、本発明でいうアンプゲイン可変手段として機能する。
ステップＳ１５０〜Ｓ１９０は第１の実施形態と同様であり、ここではその説明を省略する。
図１５に、ステップＳ２２０で実行される蓄積及び読み出し処理のタイミングチャートを示す。図１５は、第１の実施形態の図７のタイミングチャートに、アンプゲインを変更する区間をＨｉｇｈとして表現したAmp Gain Changeが追加されたものである。前述のアンプゲイン切替有効フラグが真、すなわち関心領域間のスキップ時間が所定の時間以上であれば、センサ制御部１０２は、区間Read Area A/Bと区間Read Area C/Dとの間のスキップ区間においてアンプゲインを変更する。なお、本実施形態においては、センサ制御部１０２が、本発明でいうアンプゲイン可変手段として機能する。
ステップＳ１５０〜Ｓ１９０は第１の実施形態と同様であり、ここではその説明を省略する。
以上のように、第２の実施形態では、関心領域のコントラストに基づいてアンプゲインを検出し、イメージセンサ１０１からの読み出し時に動的にアンプゲインを変更することで、より高画質な画像を得ることが可能となる。
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
実施形態では、４つの関心領域Ａ〜関心領域Ｄが設定される例を述べたが、関心領域の数、位置及び大きさについては限定されることなく、本発明を適用することができる。また、３０００列２０００行の撮像素子を例としたが、これに限定されるものではない。
実施形態では、４つの関心領域Ａ〜関心領域Ｄが設定される例を述べたが、関心領域の数、位置及び大きさについては限定されることなく、本発明を適用することができる。また、３０００列２０００行の撮像素子を例としたが、これに限定されるものではない。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出しし実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出しし実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
１００：撮像装置
１０１：イメージセンサ
１０２：センサ制御部
１０３：ＡＤＣ
１０４：アドレスカウンタ
１０５：タイミング信号合成部
１０６：コントラスト処理部
１０７：関心領域入力部
１０８：蓄積時間入力部
１０９：動作モード入力部
１１０：蓄積制御部
１１１：画像信号出力部
１０１：イメージセンサ
１０２：センサ制御部
１０３：ＡＤＣ
１０４：アドレスカウンタ
１０５：タイミング信号合成部
１０６：コントラスト処理部
１０７：関心領域入力部
１０８：蓄積時間入力部
１０９：動作モード入力部
１１０：蓄積制御部
１１１：画像信号出力部
Claims (9)
- イメージセンサから一部の領域の画素信号を読み出し可能な撮像装置であって、
関心領域の設定値を入力する関心領域入力手段と、
前記関心領域入力手段により入力された前記関心領域の設定値に基づいて、前記イメージセンサの蓄積及び読み出し処理を制御する制御手段と、
前記制御手段の制御下で読み出された画素信号による撮像信号に基づいて、前記関心領域のコントラスト検出を行うコントラスト検出手段と、
前記制御手段の制御下で読み出された画素信号による撮像信号に対して、前記コントラスト検出手段によるコントラスト検出の結果に基づいて、前記関心領域のコントラスト強調処理を行うコントラスト強調処理手段とを備えたことを特徴とする撮像装置。 - 前記コントラスト検出手段による前記コントラスト検出は、第一の撮影によって得られる撮像信号に基づいて行われ、
前記コントラスト強調処理手段による前記コントラスト強調処理は、前記第一の撮影とは異なる第二の撮影によって得られる撮像信号に対して行われることを特徴とする請求項１に記載の撮像装置。 - 前記制御手段は、前記第二の撮影において前記関心領域の全て又は一部を含む広い領域の撮像信号を読み出すよう制御することを特徴とする請求項２に記載の撮像装置。
- 前記コントラスト検出手段は、前記関心領域の最小輝度値及び最大輝度値を求めることを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
- 前記コントラスト検出手段は、前記最大輝度値から前記最小輝度値を減算した輝度レンジを算出し、画素信号として取り得る全レンジを前記輝度レンジで除算した拡張値を算出することを特徴とする請求項４に記載の撮像装置。
- 前記コントラスト強調処理手段は、前記コントラスト強調処理として、前記関心領域の撮像信号から当該関心領域の最小輝度値を減算し、それに前記拡張値に応じた値を乗算することを特徴とする請求項５に記載の撮像装置。
- 前記イメージセンサは、画素列に対応して設けられた複数のアンプを備え、
前記関心領域が複数あるときに、そのうち垂直方向に位置が異なる前記関心領域間でアンプゲインを変更するアンプゲイン可変手段をさらに備えたことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。 - イメージセンサから一部の領域の画素信号を読み出し可能な撮像装置を制御する撮像装置の制御方法であって、
関心領域の設定値を入力するステップと、
前記関心領域の設定値に基づいて、前記イメージセンサの蓄積及び読み出し処理を制御するステップと、
前記イメージセンサから読み出された画素信号による撮像信号に基づいて、前記関心領域のコントラスト検出を行うステップと、
前記イメージセンサから読み出された画素信号による撮像信号に対して、前記コントラスト検出の結果に基づいて、前記関心領域のコントラスト強調処理を行うステップとを有することを特徴とする撮像装置の制御方法。 - イメージセンサから一部の領域の画素信号を読み出し可能な撮像装置を制御するためのプログラムであって、
関心領域の設定値を入力する関心領域入力手段と、
前記関心領域入力手段により入力された前記関心領域の設定値に基づいて、前記イメージセンサの蓄積及び読み出し処理を制御する制御手段と、
前記制御手段の制御下で読み出された画素信号による撮像信号に基づいて、前記関心領域のコントラスト検出を行うコントラスト検出手段と、
前記制御手段の制御下で読み出された画素信号による撮像信号に対して、前記コントラスト検出手段によるコントラスト検出の結果に基づいて、前記関心領域のコントラスト強調処理を行うコントラスト強調処理手段としてコンピュータを機能させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017200575A JP6971767B2 (ja) | 2017-10-16 | 2017-10-16 | 撮像装置、その制御方法及びプログラム |
| US16/154,108 US10841522B2 (en) | 2017-10-16 | 2018-10-08 | Image capturing apparatus, control method therefor, and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017200575A JP6971767B2 (ja) | 2017-10-16 | 2017-10-16 | 撮像装置、その制御方法及びプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019075700A JP2019075700A (ja) | 2019-05-16 |
| JP6971767B2 true JP6971767B2 (ja) | 2021-11-24 |
Family
ID=66096267
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017200575A Active JP6971767B2 (ja) | 2017-10-16 | 2017-10-16 | 撮像装置、その制御方法及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US10841522B2 (ja) |
| JP (1) | JP6971767B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP3993435A4 (en) * | 2019-06-28 | 2022-08-31 | Sony Semiconductor Solutions Corporation | SENDING DEVICE, RECEIVING DEVICE, AND TRANSMISSION SYSTEM |
| CN112967207B (zh) * | 2021-04-23 | 2024-04-12 | 北京恒安嘉新安全技术有限公司 | 一种图像处理方法、装置、电子设备及存储介质 |
| KR20230008496A (ko) * | 2021-07-07 | 2023-01-16 | 삼성전자주식회사 | 이미지 센서 및 이미지 센서의 동작 방법 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4526445B2 (ja) * | 2005-06-15 | 2010-08-18 | オリンパス株式会社 | 撮像装置 |
| US20070242153A1 (en) * | 2006-04-12 | 2007-10-18 | Bei Tang | Method and system for improving image region of interest contrast for object recognition |
| JP5106052B2 (ja) | 2007-11-08 | 2012-12-26 | キヤノン株式会社 | 固体撮像素子、撮像システム、及び固体撮像素子の駆動方法 |
| JP2014197832A (ja) * | 2013-03-07 | 2014-10-16 | キヤノン株式会社 | 撮像装置及びその駆動方法 |
| JP6336286B2 (ja) * | 2014-01-31 | 2018-06-06 | キヤノン株式会社 | 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置 |
| JP2015156600A (ja) | 2014-02-21 | 2015-08-27 | 株式会社 日立産業制御ソリューションズ | 画像信号処理装置，画像信号処理方法，および撮像装置 |
| KR102157675B1 (ko) * | 2014-07-25 | 2020-09-18 | 삼성전자주식회사 | 촬영 장치 및 그 촬영 방법 |
| JP6484513B2 (ja) * | 2014-10-08 | 2019-03-13 | 株式会社テクノロジーハブ | 画像センサ |
-
2017
- 2017-10-16 JP JP2017200575A patent/JP6971767B2/ja active Active
-
2018
- 2018-10-08 US US16/154,108 patent/US10841522B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| US10841522B2 (en) | 2020-11-17 |
| JP2019075700A (ja) | 2019-05-16 |
| US20190116330A1 (en) | 2019-04-18 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4830652B2 (ja) | 画像処理装置及び画像処理方法 | |
| JP5367640B2 (ja) | 撮像装置および撮像方法 | |
| JP6336286B2 (ja) | 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置 | |
| JP4573769B2 (ja) | 画像処理回路および画像処理方法 | |
| JP6312487B2 (ja) | 画像処理装置及びその制御方法、並びに、プログラム | |
| JP5767485B2 (ja) | 画像処理装置及び制御方法 | |
| JP5855035B2 (ja) | 固体撮像装置 | |
| JP6338385B2 (ja) | 撮像装置、撮像システム、撮像装置の制御方法および撮像装置を有する撮影装置 | |
| JP6971767B2 (ja) | 撮像装置、その制御方法及びプログラム | |
| JP5523065B2 (ja) | 撮像装置及びその制御方法 | |
| US9282256B1 (en) | System and method for HDR imaging | |
| JP2018207413A (ja) | 撮像装置 | |
| JP6234058B2 (ja) | 焦点調節装置およびその制御方法 | |
| JP2016126592A5 (ja) | ||
| JP2020036128A (ja) | 撮像装置及びその制御方法、プログラム、記憶媒体 | |
| JP2007174590A (ja) | 信号処理装置及び撮像装置 | |
| JP6478703B2 (ja) | 撮像装置及び撮像システム | |
| JP2007251611A (ja) | 撮像装置 | |
| JP2016066848A (ja) | 撮像装置およびその制御方法 | |
| JP2016058877A (ja) | 撮像装置及びその制御方法 | |
| JP2018042089A (ja) | 撮像装置及びその制御方法、プログラム | |
| JP7442989B2 (ja) | 撮像装置、該撮像装置の制御方法、及びプログラム | |
| JP6449320B2 (ja) | 撮像装置 | |
| JP2018050234A (ja) | 撮像装置及び撮像装置の処理方法 | |
| JP6223166B2 (ja) | 画像合成装置、画像合成方法、撮像装置、プログラム及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201001 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210826 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211005 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211102 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 6971767 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |