JP6289275B2 - 撮像制御装置、撮像装置および撮像制御方法 - Google Patents
撮像制御装置、撮像装置および撮像制御方法 Download PDFInfo
- Publication number
- JP6289275B2 JP6289275B2 JP2014116935A JP2014116935A JP6289275B2 JP 6289275 B2 JP6289275 B2 JP 6289275B2 JP 2014116935 A JP2014116935 A JP 2014116935A JP 2014116935 A JP2014116935 A JP 2014116935A JP 6289275 B2 JP6289275 B2 JP 6289275B2
- Authority
- JP
- Japan
- Prior art keywords
- image quality
- imaging
- curve
- setting condition
- sensor
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 title claims description 157
- 238000000034 method Methods 0.000 title claims description 11
- 238000004364 calculation method Methods 0.000 claims description 71
- 230000003287 optical effect Effects 0.000 claims description 70
- 238000013500 data storage Methods 0.000 claims description 19
- 238000011156 evaluation Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 12
- 238000012937 correction Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 5
- 230000000875 corresponding effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004075 alteration Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000013441 quality evaluation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Exposure Control For Cameras (AREA)
- Studio Devices (AREA)
Description
図1は、実施の形態1に係る撮像制御装置の構成を示すブロック図である。
撮像制御装置100は、撮像条件取得部1、入射輝度計算部2、センサ画質特性曲線計算部3、センサ画質特性データ蓄積部4、等画質曲線取得部5、画質曲線データ蓄積部6、撮像設定条件計算部7および撮像設定条件出力部8で構成されている。
撮像条件取得部1は、撮像地点の緯度、経度、撮像日時などの条件、および光学センサが位置する緯度、経度、高度などの条件を取得する。入射輝度計算部2は、撮像条件取得部1が取得した撮像地点の条件および光学センサの位置条件から算出される太陽反射光および地表放射光などに基づいて、光学センサへの入射輝度を算出する。
具体的には、後述するNIIRSのように画像の定量的な特性(鮮鋭度を示すRERや、SNRなど)に基づく画質評価指標を用いても良いし、ユーザが主観的に画質を評価した際に等しい画質と評価される鮮鋭さとSNRの組み合わせの集合を用いても良い。
図2は、実施の形態1に係る撮像制御装置の動作を示すフローチャートである。
まず、撮像条件取得部1は、撮像地点の条件および光学センサの条件を取得する(ステップST1)。入射輝度計算部2は、ステップST1で取得された撮像地点の条件および光学センサの条件に基づいて、光学センサへの入射輝度を算出する(ステップST2)。センサ画質特性曲線計算部3は、センサ画質特性データ蓄積部4を参照し、ステップST2で算出された入射輝度における撮影画像の鮮鋭度およびSNRを算出する(ステップST3)。
一般に、光学センサの画質特性は露光量に大きく依存し、露光時間を長くする、あるいは絞りを開放することにより露光量を増加させるとSNRが増大するが、収差やぶれによるボケ量が大きくなり、鮮鋭度が低下する。一方、露光時間短くする、あるいは絞りの開放を縮小することにより露光量を減少させるとボケが小さくなり鮮鋭度が向上するが、SNRは低下する。センサ画質特性曲線の一例を図3に示すが、光学センサの画質特性の鮮鋭度とSNRの関係は非線形であり、当該関係をグラフ化すると一般に上方に向かって凸形状の曲線が得られる。
なお、図3において曲線f1,f2,f3はそれぞれ異なる入力輝度値に対応したセンサ画質特性曲線であるものとする。
画質曲線の取得には、例えばJ.C.Leachtenauerらの提唱するGIQE(General Image-Quality Equation、引用文献1参照)が定義する予測NIIRS(National Image Interpretability Rating Scale)を用いてもよいし、各個人、あるいは各集団における実測データを用いてもよい。ここで、NIIRSとは画像の判読性を評価する指標であり、値が大きいほど画像の判読性が高い画像であるという特徴を有する。
J.C.Leachtenauer,et al.,“General Image-Quality Equation:GIQE”,Applied optics,Vol.36,No.32(1997)
なお、式(1)においてRERは鮮鋭度(RER:Relative Edge Response)を示す。その後、鮮鋭度(RER:Relative Edge Response)とSNRとの画質曲線が導かれ、NIIRS、SNR、RERをパラメータとしてセンサ画質特性曲線と画質曲線との接点が算出される。
図5に示すように、センサ画質特性曲線である曲線fと画質曲線である曲線gとの接点Cを算出することにより、当該接点Cでの鮮鋭度およびSNRを示す露光量が取得され、光学センサの露光量が決定される。
なお、センサ画質特性曲線が上方に凸形状の曲線であり、画質曲線が下方に凸形状の曲線である場合、2つの曲線の接線の傾きが等しくなる。従って、センサ画質特性曲線と画質曲線に対して導関数を算出し、導関数の値が等しくなるように最適露光量を決定してもよい。
画像のSN比を向上させるための手段としてTDI(Time Delay and Integration)方式のイメージセンサが開発されている。TDI方式は、電荷転送のタイミングを被写体像の移動タイミングに同期させることでSN比を改善するCCD(Charge Coupled Devices)イメージセンサの読出し方式である。TDI方式では複数行のラインセンサ出力を積分するため、同一地点を撮像する画素が時間的に変化するときに、同一地点を撮像する画素の出力を積分することで、実質的に長時間露光した場合と同等の信号量を得ることができる。
実施の形態2の撮像制御装置100aは、図1で示した実施の形態1の撮像制御装置100の撮像設定条件計算部7および撮像設定条件出力部8に替えて、TDI段数計算部9を備えた撮像設定条件計算部7aおよび撮像設定条件出力部8aを備えている。なお、以下では、実施の形態1に係る撮像制御装置100の構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。また、以下では、撮像制御装置100aがTDI方式の光学センサの撮像制御を行うものとして説明を行う。
図7は、実施の形態2に係る撮像制御装置の動作を示すフローチャートである。
また、以下では実施の形態1に係る撮像制御装置100と同一のステップには図2で使用した符号と同一の符号を付し、説明を省略または簡略化する。
この実施の形態3では、絞り値(以下、F値と称する)を設定変更可能な光学センサを用いる場合に、当該F値を変化させることにより最適露光量の探索を行う構成を示す。
図8は、実施の形態3に係る撮像制御装置の構成を示すブロック図である。
実施の形態3の撮像制御装置100bは、図1で示した実施の形態1の撮像制御装置100に撮像設定条件判定部10およびF値再設定部11を追加して設けている。なお、以下では、実施の形態1に係る撮像制御装置100の構成要素と同一または相当する部分には、実施の形態1で使用した符号と同一の符号を付して説明を省略または簡略化する。また、以下では、撮像制御装置100bがF値を設定変更可能な光学センサの撮像制御を行うものとして説明を行う。
F値の再設定は、例えば、最適露光量の露光時間が下限値未満である場合にはF値をより小さい値に設定して絞りを開いて光をより多く取りこむ設定とする。逆に最適露光量の露光時間が上限値より大きい場合にはF値をより大きい値に設定して絞りを閉じて光量を落とす設定とする。
図9は、実施の形態3に係る撮像制御装置の動作を示すフローチャートである。
また、以下では実施の形態1に係る撮像制御装置100と同一のステップには図2で使用した符号と同一の符号を付し、説明を省略または簡略化する。
ステップST7において、撮像設定条件計算部7が光学センサの最適露光量を決定すると、撮像設定条件判定部10は決定された最適露光量の露光時間が適正範囲内の値である(光学センサの露光時間の下限値以上且つ上限値以下である)か否か判定を行う(ステップST21)。最適露光量の露光時間が適正範囲内の値である場合(ステップST21;YES)、撮像設定条件出力部8はステップST7で決定された最適露光量に基づき光学センサの露光パラメータを設定して出力し(ステップST8)、処理を終了する。
この実施の形態4では、上述した実施の形態1から実施の形態3で示した撮像制御装置の制御動作を撮像装置に適用する構成を示す。
図10は、実施の形態4に係る撮像装置の構成を示す図である。
撮像装置200は、撮像レンズ21、カメラに入射する光量を調整するための絞り機構22および撮像信号を電気信号に変換する検出器23を備えた光学センサ24、検出器23の変調された撮像信号からリセットノイズを除去し、ベースバンドの撮像信号に変換するCDS(Correlated Double Sampling)25、A/D変換部26、デジタル信号処理部(以下、DSP:Digital Signal Processor)27、撮像したデータを記憶領域に格納するための撮像データ出力部28、本撮像装置200を総括して制御を行うと共に、各種演算を実施する手段として機能するCPU29、CPU29からの制御情報を元に撮像レンズ21に対して駆動信号を出力するレンズ駆動回路30およびCPU29からの制御情報を元に検出器23に対して駆動信号を出力するタイミングジェネレータ31で構成されている。
Claims (9)
- 撮像対象を撮像する光学センサへの入射輝度における当該光学センサの撮像画像の鮮鋭度とSN比との関係を示したセンサ画質特性曲線を取得するセンサ画質特性曲線計算部と、
ある画質における鮮鋭度とSN比との関係を示した画質曲線を複数の画質について取得する等画質曲線取得部と、
前記センサ画質特性曲線計算部が取得したセンサ画質特性曲線と、前記等画質曲線取得部が取得した画質曲線とから、前記光学センサの撮像設定条件を決定する撮像設定条件計算部と、
前記撮像設定条件計算部が決定した撮像設定条件に基づいて、前記光学センサの制御パラメータを設定する撮像設定条件出力部とを備えた撮像制御装置。 - 前記撮像設定条件計算部は、前記センサ画質特性曲線と前記画質曲線との接点における露光量を算出し、
前記撮像設定条件出力部は、前記撮像設定条件計算部が算出した露光量に基づいて前記制御パラメータを設定することを特徴とする請求項1記載の撮像制御装置。 - 前記撮像設定条件計算部は、前記センサ画質特性曲線の導関数と前記画質曲線の導関数が一致する条件での露光量を算出し、
前記撮像設定条件出力部は、前記撮像設定条件計算部が算出した露光量に基づいて前記制御パラメータを設定することを特徴とする請求項1記載の撮像制御装置。 - 前記撮像設定条件計算部は、前記露光量に最も近似するTDI段数を算出するTDI段数計算部を備え、
前記撮像設定条件計算部は、前記TDI段数計算部が算出したTDI段数を前記制御パラメータに設定することを特徴とする請求項2または請求項3記載の撮像制御装置。 - 前記撮像設定条件計算部が算出した露光量が前記光学センサの動作範囲に対して適正か否か判定を行う撮像設定条件判定部と、
前記撮像設定条件判定部において前記露光量が適正でないと判定された場合に、前記露光量の絞り値を再設定する絞り値再設定部とを備え、
前記センサ画質特性曲線計算部は、前記絞り値再設定部が再設定した絞り値での前記センサ画質特性曲線を再取得することを特徴とする請求項2から請求項4のうちのいずれか1項記載の撮像制御装置。 - 前記光学センサの撮像条件に対応した撮像画像の画質特性を示す情報を蓄積したセンサ画質特性データ蓄積部を備え、
前記センサ画質特性曲線計算部は、前記センサ画質特性データ蓄積部を参照し、前記画質特性を示す情報を用いて補間して前記センサ画質特性曲線を取得することを特徴とする請求項1から請求項5のうちのいずれか1項記載の撮像制御装置。 - 複数の画質について鮮鋭度とSN比に対する評価指標を蓄積する画質曲線データ蓄積部を備え、
前記等画質曲線取得部は、前記画質曲線データ蓄積部を参照し、前記複数の画質における評価指標を用いて前記画質曲線を取得することを特徴とする請求項1から請求項6のうちのいずれか1項記載の撮像制御装置。 - 前記請求項1から請求項7のうちのいずれか1項記載の撮像制御装置と、
前記撮像制御装置が設定した制御パラメータに従って、前記撮像対象を撮像する光学センサとを備えたことを特徴とする撮像装置。 - センサ画質特性曲線計算部が、撮像対象を撮像する光学センサへの入射輝度における当該光学センサの撮像画像の鮮鋭度とSN比との関係を示したセンサ画質特性曲線を取得するステップと、
画質特曲線取得部が、ある画質における鮮鋭度とSN比との関係を示した画質曲線を複数の画質について取得するステップと、
撮像設定条件計算部が、前記センサ画質特性曲線および前記画質曲線から前記光学センサの撮像設定条件を決定するステップと、
撮像設定条件出力部が、前記決定された撮像設定条件に基づいて、前記光学センサの制御パラメータを設定するステップとを備えた撮像制御方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014116935A JP6289275B2 (ja) | 2014-06-05 | 2014-06-05 | 撮像制御装置、撮像装置および撮像制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014116935A JP6289275B2 (ja) | 2014-06-05 | 2014-06-05 | 撮像制御装置、撮像装置および撮像制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015231150A JP2015231150A (ja) | 2015-12-21 |
JP6289275B2 true JP6289275B2 (ja) | 2018-03-07 |
Family
ID=54887728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014116935A Active JP6289275B2 (ja) | 2014-06-05 | 2014-06-05 | 撮像制御装置、撮像装置および撮像制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6289275B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10341565B2 (en) * | 2016-05-10 | 2019-07-02 | Raytheon Company | Self correcting adaptive low light optical payload |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006287517A (ja) * | 2005-03-31 | 2006-10-19 | Casio Comput Co Ltd | カメラ装置、撮影方法並びに撮影プログラム |
US8730329B2 (en) * | 2011-07-11 | 2014-05-20 | Qualcomm, Incorporated | Automatic adaptive image sharpening |
-
2014
- 2014-06-05 JP JP2014116935A patent/JP6289275B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015231150A (ja) | 2015-12-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5374217B2 (ja) | 画像処理装置およびその方法 | |
KR101399012B1 (ko) | 영상 복원 장치 및 방법 | |
US9100556B2 (en) | Image processing apparatus and image processing method | |
JP4497001B2 (ja) | 画像処理装置、電子カメラ、および画像処理プログラム | |
JP5643563B2 (ja) | 画像処理装置及びその制御方法 | |
US10171743B2 (en) | Image pickup apparatus, image processing apparatus, image processing method, and non-transitory computer-readable storage medium for improving quality of captured image | |
JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
JP6320571B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2013515442A (ja) | 静止画像及びプレビュー画像を用いた高ダイナミックレンジ画像の生成 | |
JP6366739B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP2009109564A (ja) | オートフォーカス制御回路、オートフォーカス制御方法及び撮像装置 | |
JP2014138290A (ja) | 撮像装置及び撮像方法 | |
JP6838894B2 (ja) | 焦点調節装置、その制御方法及びプログラム | |
KR101653272B1 (ko) | 디지털 촬영 장치, 그 제어 방법, 및 컴퓨터 판독가능 매체 | |
JP5653464B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2009088935A (ja) | 画像記録装置、画像補正装置及び撮像装置 | |
US10515442B2 (en) | Image processing apparatus that corrects for lateral chromatic aberration, image capturing apparatus, image processing method, and storage medium | |
JP6305290B2 (ja) | 画像処理装置、撮像装置、画像処理方法 | |
US20180084209A1 (en) | Image pickup apparatus, signal processing method, and signal processing program | |
JP6289275B2 (ja) | 撮像制御装置、撮像装置および撮像制御方法 | |
JP5645981B2 (ja) | 撮像装置、画像処理装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2012085205A (ja) | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム | |
JP2017028583A (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2009232348A (ja) | 撮像装置、距離情報取得方法、画像処理方法及び光学系の駆動制御方法 | |
JP2021093694A (ja) | 情報処理装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170110 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170904 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170912 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20171018 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180109 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180206 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6289275 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |