JP3668611B2 - 画像撮影装置及びその方法 - Google Patents
画像撮影装置及びその方法 Download PDFInfo
- Publication number
- JP3668611B2 JP3668611B2 JP17283998A JP17283998A JP3668611B2 JP 3668611 B2 JP3668611 B2 JP 3668611B2 JP 17283998 A JP17283998 A JP 17283998A JP 17283998 A JP17283998 A JP 17283998A JP 3668611 B2 JP3668611 B2 JP 3668611B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- image
- exposure
- normalized
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、屋外環境など明暗の差の大きな環境で用いる画像撮影装置及びその方法に関するものである。
【０００２】
【従来の技術】
現在、固体撮像素子で構成されたテレビカメラが一般に利用されているが、このテレビカメラを用いて屋外環境で画像を撮影する場合、撮像素子のダイナミックレンジが充分ではないために太陽光の当たっているところが白くなるサチレーション現象が起きたり、逆に影の部分が黒くなってしまうために、画像全体を適正な濃淡で撮影できないという問題があった。
【０００３】
これに対して、画像撮像装置のダイナミックレンジを拡大する手法が幾つか提案されている。
【０００４】
例えば、特開平７−７５０２６号で示された手法は、露光時間を変えた複数の画像を撮影し、重み係数をかけた画像を加算して合成することによりダイナミックレンジの拡大を行っている。
【０００５】
しかし、この手法では、複数の画像を用いるため、画像の枚数分だけ撮像時間がかかるという問題があった。
【０００６】
【発明が解決しようとする課題】
以上述べたように従来方式では、ダイナミックレンジを拡大した画像を撮影する場合には、通常の画像に比べて長い撮影時間が必要であるという問題があった。
【０００７】
本発明は、撮影時間を延ばすことなくダイナミックレンジを拡大することができる画像撮影装置及びその方法を提供する。
【０００８】
【課題を解決するための手段】
請求項１の発明は、任意蓄積時間に露光した光情報を光電変換を行って非破壊で電気信号に変換して出力する複数の撮像素子を用いた画像撮像装置であって、前記画像を複数のブロックに分け、このブロック内の複数の前記撮像素子毎に、前記撮像素子の露光時間を制御する露光制御手段と、前記複数の撮像素子の電気信号を前記ブロック毎に読み出し、この読み出す場合に前記露光制御手段で露光を終了したブロックから順に電気信号を読み出す読出し制御手段と、前記撮像素子からの電気信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定し、この正規化信号を所定の露光時間における電気信号として出力する信号推定手段と、を備え、前記信号推定手段は、前記撮像素子からの複数回の出力信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定し、この正規化信号を所定の露光時間における電気信号として出力することを特徴とする画像撮影装置である。
【０００９】
請求項２の発明は、任意蓄積時間に露光した光情報を光電変換を行って非破壊で電気信号に変換して出力する複数の撮像素子を用いた画像撮像装置であって、前記画像を複数のブロックに分け、このブロック内の複数の前記撮像素子毎に、前記撮像素子の露光時間を制御する露光制御手段と、前記撮像素子からの複数回の出力信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定するとともに、その推定誤差を演算し、この正規化信号を所定の露光時間における電気信号として出力し、また、前記推定誤差も出力する信号推定手段と、前記信号推定手段で得られた推定誤差の小さいブロックから順に、前記信号推定手段から前記電気信号を読み出す読出し制御手段と、を備えたことを特徴とする画像撮影装置である。
【００１０】
請求項３の発明は、任意蓄積時間に露光した光情報を電気信号に光電変換して出力する複数の撮像素子を用いて画像を撮像する画像撮像装置における画像撮像方法であって、前記画像を複数のブロックに分け、このブロック内の複数の前記撮像素子毎に、前記撮像素子の露光時間を制御する露光制御ステップと、前記複数の撮像素子の電気信号を前記ブロック毎に読み出し、この読み出す場合に前記露光制御ステップにおいて露光を終了したブロックから順に電気信号を読み出す読出し制御ステップと、前記撮像素子からの電気信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定し、この正規化信号を所定の露光時間における電気信号として出力する信号推定ステップと、を備え、前記信号推定ステップは、前記撮像素子からの複数回の出力信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定し、この正規化信号を所定の露光時間における電気信号として出力することを特徴とする画像撮影方法である。
【００１１】
請求項４の発明は、任意蓄積時間に露光した光情報を光電変換を行って非破壊で電気信号に変換して出力する複数の撮像素子を用いた画像撮像装置における画像撮像方法であって、前記画像を複数のブロックに分け、このブロック内の複数の前記撮像素子毎に、前記撮像素子の露光時間を制御する露光制御ステップと、前記撮像素子からの複数回の出力信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定するとともに、その推定誤差を演算し、この正規化信号を所定の露光時間における電気信号として出力し、また、前記推定誤差も出力する信号推定ステップと、前記信号推定ステップで得られた推定誤差の小さいブロックから順に、前記信号推定ステップから前記電気信号を読み出す読出し制御ステップと、を備えたことを特徴とする画像撮影方法である。
【００１６】
本発明では、露光状態によって出力する画像から出力する信号の順番を変更し、また、画像をブロックに分けるため、撮影時間を延ばすことなくダイナミックレンジを拡大することができる。
【００１７】
【発明の実施の形態】
第１の実施例
以下、本発明に関する第１の実施例を図１，２を用いて説明する。
【００１８】
図１は、本実施例による画像撮影装置１０のシステム構成を示す構成図である。撮像素子アレイ１２、露光制御部１４、Ａ／Ｄ変換部１６、読出し制御部１８及び信号推定部２０よりなる。
【００１９】
撮像素子アレイ１２は、画像撮影装置１０に入射する光を受光し、これを電荷などの電気信号に光電変換する撮像素子を格子状に配列したものである。この撮像素子アレイ１２を図２に示す。撮像素子アレイ１２の各撮像素子であるフォトダイオード１２１は格子状に配置され（例えば、縦横３８６×２５６）、並列に飽和感知部１２２が接続されている。そして、これらにより一画素が形成される。信号出力部１２３はフォトダイオード１２１からの信号を所定のタイミングで取り出すＣＭＯＳトランジスタ等である。そして、これら各画素をまとめて撮像素子アレイ１２が形成されているが、撮像素子アレイ１２は複数のブロック１〜ｎに分割されている。図２の場合には、ｎ＝４であり、点線で示したものがブロックである。
【００２０】
露光制御部１４は、各ブロックに属する撮像素子の露光時間を制御する。
【００２１】
Ａ／Ｄ変換部１６は、撮像素子アレイ１２から入力したアナログ電気信号をデジタル信号に変換して出力する。
【００２２】
読出し制御部１８は、Ａ／Ｄ変換部１６の出力を外部に出力する。
【００２３】
以下、画像撮影装置１０の動作を動作順序に沿って説明する。
【００２４】
まず、外部から露光制御部１４に露光制御信号が入力される。この露光制御信号は、露光開始時間と露光終了時間を指定するもので、例えば露光開始時間と露光終了時間にそれぞれ外部から露光制御部１４にパルス信号を入力することで表現される。パルス信号を入力する以外にも、信号線の状態を露光開始時間にＯＮにし、露光終了時間にＯＦＦしてもよい。
【００２５】
露光制御部１４は、露光開始時間が指示されると、撮像素子アレイ１２に露光開始信号を送り、撮像素子アレイ１２は露光を開始する。
【００２６】
また、飽和感知部１２２は、通常はＯＦＦであって、撮像素子からの光電変換によって蓄積した電荷が一定量になっているとＯＮになる。飽和感知部１２２の出力はブロック毎にまとめてＡ／Ｄ変換部１６へ出力される。
【００２７】
露光制御部１４では、ブロック内の一つか、あるいは予め定めた一定数の撮像素子の飽和感知部１２２がＯＮになった場合にそのブロックの露光を終了し、ブロックの番号と実際の露光時間を読出し制御部１８に通知する。
【００２８】
撮像素子に蓄積した電荷を非破壊で読み出すことができる場合は、露光時間中に撮像素子アレイ１２の受光素子を一定間隔で間引いてサンプルし、蓄積した電荷が一定量を超えている素子があれば、その画素の属するブロックの露光を終了してもよい。
【００２９】
なお、露光制御部１４では、露光終了時間が指示されると撮像素子アレイ１２のまだ露光を終了していないブロックに信号を送って露光を終了させる。そして、そのブロックの番号と露光時間を読出し制御手段に通知する。
【００３０】
読出し制御部１８は、露光制御部１４から露光の終了したブロック番号を入力すると、読出し制御部１８は、Ａ／Ｄ変換部１６に対し、該当するブロック内の撮像素子を一定順序でアクセスし撮像素子に蓄積された電荷を転送してデジタル信号に変換するように指示する。
【００３１】
次に、信号推定部２０で、デジタル化した信号と露光制御部１４から入力した露光時間から、露光時間を一定時間に正規化した場合の信号を計算する。入射光量をＩ、露光時間をｔとして、デジタル化した撮像素子の出力を信号Ｏとする。これから露光時間をｔｎに正規化した時の出力Ｏｎを求める。例えば、Ｏ（ｔ）＝αＩｔで撮像素子の出力Ｏが表される場合には、時間を正規化した場合の出力Ｏｎは
【数１】
で求められる。
【００３２】
読出し制御部１８では、信号推定部２０にデジタルかされた撮像素子出力を一定順序で入力し、信号推定部２０により露光時間を正規化した撮像素子の出力信号と、ブロックの座標を特定することのできる、ブロック番号または、ブロックの座標情報とを組み合わせて出力する。
【００３３】
第２の実施例
次に、本発明に関する第２の実施例を図３，４，７を用いて説明する。
【００３４】
図３は、本実施例による画像撮影装置１０のシステム構成を示す構成図である。撮像素子アレイ１２、露光制御部１４、Ａ／Ｄ変換部１６、読出し制御部１８、信号推定部２０及び推定情報メモリ２２よりなる。
【００３５】
撮像素子アレイ１２は、画像撮影装置１０に入射する光を受光し、これを電荷などの電気信号に光電変換する撮像素子を格子状に配列したものである。
【００３６】
露光制御部１４は、撮像素子の露光時間を制御する。
【００３７】
Ａ／Ｄ変換は、撮像素子アレイ１２から入力したアナログ電気信号をデジタル信号に変換して出力する。読出し制御部１８は、Ａ／Ｄ変換部１６の出力を外部に出力する。
【００３８】
以下、画像撮影装置１０の動作を動作順序に沿って説明する。
【００３９】
まず、外部から露光制御部１４に露光制御信号が入力される。この露光制御信号は、露光開始時間と露光終了時間を指定するもので、例えば露光開始時間と露光終了時間にそれぞれ外部から露光制御部１４にパルス信号を入力することで表現される。パルス信号を入力する以外にも、信号線の状態を露光開始時間にＯＮにし、露光終了時間にＯＦＦにしてもよい。
【００４０】
露光制御部１４は、露光開始時間が指示されると、撮像素子アレイ１２に露光開始信号を送り、撮像素子アレイ１２は露光を開始する。
【００４１】
読出し制御部１８は、撮像素子アレイ１２の各撮像素子を一定順序で繰り返しアクセスして撮像素子に蓄積した電荷を非破壊的に読出し、Ａ／Ｄ変換部１６を用いてデジタル信号に変換する。
【００４２】
また、信号推定部２０は、Ａ／Ｄ変換部１６によって得られたデジタル信号と露光時間から、露光時間を一定時間に正規化した場合の信号を推定する。
【００４３】
この信号推定部２０の構成を図７に示す。
【００４４】
信号推定部２０は、撮像素子アレイ(CMOS IMAGE SENSOR）１２に接続されており、ＰＥ（プロセッサエレメント）アレイ２００で表される複数の演算装置２０１とメモリ２０２で構成され、外部に設けた一つのコントローラからの命令系列を全ての演算装置２０１で同時並列に実行するＳＩＭＤ形式で動作する。
【００４５】
演算装置２０１と撮像素子の対応は１対１に決まっており、一つの演算装置２０１は撮像素子アレイ１２の特定の撮像素子の出力について信号推定を行う。
【００４６】
その特定の撮像素子へ入射した光の量をＩとして、その撮像素子の出力をｍ回デジタル化した信号をＯ１〜Ｏｍ、露光時間をｔ１〜ｔｍとする。これから露光時間をｔｎに正規化したときの出力Ｏｎを推定することができる。例えば、１／３０秒毎に１フレームを形成する場合には、１／３０秒毎に正規化した出力Ｏｎが必要である。そして、そのために１／３００秒毎に撮像素子の出力をデジタル化すると、ｍ＝１０において１フレームを形成することができる。その場合に、Ｏ10の出力をそのまま使用すると、入射光量Ｉが小さいときや逆に大きいときにこのＯ10は現実の出力とはかけ離れた値となる。したがって、Ｏ10のみならず、それ以前のＯ１〜Ｏ９の値も使用して、真の１／３０秒の出力Ｏ、すなわち、正規化したＯｎを推定する。
【００４７】
その正規化したＯｎを推定する方法を説明する。
【００４８】
一般的にある撮像素子の出力Ｏ（ｔ）が、露光時間ｔと入射光量Ｉに比例するならば、Ｏ（ｔ）＝αＩｔで表される（図４参照）。但し、αは定数であり、入射光量Ｉも一つの撮像素子に関し１／３０秒の間では一定であると仮定できるので、αＩも一つの撮像素子に関し１／３０秒の間では一定であると仮定できる。故に、Ｏ（ｔ）はαＩを傾きとしたｔの比例関数となる。
【００４９】
計算方法は、αＩの平均Ｅ（αＩ）を計算することにより、正規化したＯｎを推定する。
【００５０】
【数２】
この式は、平均を計算しているが言い換えれば、最小自乗推定である。そして、この最小自乗推定に必要な情報、すなわち、関数式は推定情報メモリ２２に記憶されている。
【００５１】
そして、求めるＯｎがＥ（αＩ）である。
【００５２】
ここでＥ（αＩ）を求める手段として２つある。
【００５３】
第１の手段は、１／３００秒毎のＯ１〜Ｏ10を順番に記憶しておき、１／３０秒の時点で上記式を用いて推定する。
【００５４】
第２の手段は、初期時間のＯ１と次の時間のＯ２からＥ（αＩ）を計算し、次に、このＥ（αＩ）と次の時間のＯ３を使用してＥ（αＩ）を計算する。このようにすると順番に計算して記憶していくと、推定情報メモリ２２にｍ−１番目までの信号から計算した
【数３】
を記憶しておくだけでＯｎを推定できる。
【００５５】
露光制御部１４から露光終了時間が指示されると、読出し制御部１８は、信号推定部２０の各ＰＥのメモリ２０２をラスタスキャン順の一定順序でアクセスしデジタル信号に変換し出力する。
【００５６】
第３の実施例
次に、本発明に関する第３の実施例を図５，６，７を用いて説明する。
【００５７】
図５は、本実施例による画像撮影装置のシステム構成を示す構成図である。撮像素子アレイ１２、露光制御部１４、Ａ／Ｄ変換部１６、読出し制御部１８及び信号推定部２０よりなる。
【００５８】
撮像素子アレイ１２は、画像撮影装置１０に入射する光を受光し、これを電荷などの電気信号に光電変換する撮像素子を格子状に配列したものである。
【００５９】
この撮像素子アレイ１２を図６に示す。撮像素子アレイ１２の各撮像素子は、近接した複数の素子をまとめた撮像素子ブロックに属している。図で点線で示したものがブロックであって、ブロックにはそれぞれ１〜ｎまでの番号が付けられている。
【００６０】
露光制御部１４は、各ブロックに属する撮像素子の露光時間を制御する。
【００６１】
Ａ／Ｄ変換部１６は、撮像素子アレイ１２から入力したアナログ電気信号をデジタル信号に変換して出力する。読出し制御部１８は、Ａ／Ｄ変換部１６の出力を外部に出力する。
【００６２】
以下、画像撮影装置１０の動作を動作順序に沿って説明する。
【００６３】
まず、外部から露光制御部１４に露光制御信号が入力される。この露光制御信号は、露光開始時間と露光終了時間を指定するもので、例えば露光開始時間と露光終了時間にそれぞれ外部から露光制御部１４にパルス信号を入力することで表現される。パルス信号を入力する以外にも、信号線の状態を露光開始時間にＯＮにし、露光終了時間にＯＦＦにしてもよい。
【００６４】
露光制御部１４は、露光開始時間が指示されると、撮像素子アレイ１２に信号を送り、撮像素子アレイ１２は露光を開始する。
【００６５】
信号推定部２０は、撮像素子アレイ１２のブロック内の撮像素子を一定順序で繰り返しアクセスして撮像素子に蓄積した電荷を非破壊的に読み出す。読出した電荷をＡ／Ｄ変換部１６を用いてデジタル信号に変換する。また、信号推定部２０は、露光時間を一定時間に正規化した場合の信号を推定する。
【００６６】
一つのブロック内の撮像素子へのアクセスが終了すると、信号推定部２０での推定誤差の最大値を求める。この最大値が予め定めた最低基準値より小さければ、該当するブロックの露光を終了し、読出し制御部１８にブロックの番号を通知して撮像情報の読出しを指示する。また、信号制定部２０での出力信号の値が一定基準血より大きくなった場合にも該当するブロックの露光を終了し、読出し制御部１８にブロック番号を通知して撮像情報の読出しを指示する。通常、撮像素子の出力には一定レベルの暗雑音が混入している。画像が明るい場合には、信号に比べて雑音が小さいので推定誤差も小さくなるので、露光は早く終了する。画像が暗い場合は雑音が大きくなり、推定誤差の最大値が最低規準値より大きい場合には、後述するＯ１からＯｍの全ての情報を利用してＯｎを推定する。これにより、画面が暗い場合でもＯｍの１回の情報を利用するより確実な推定ができ、この意味で撮像素子の下限に対する感度であるダイナミックレンジが広がることなる。
【００６７】
なお、露光制御部１４では、露光終了時間が指示されると撮像素子アレイ１２のまだ露光を終了していないブロックに信号を送って露光を終了させる。そして、ブロックの番号と露光時間を読出し制御部１８に通知し、撮像情報の読出しを指示する。
【００６８】
読出し制御部１８は、露光制御部１４から露光の終了したブロック番号を入力すると、該当するブロック内の撮像素子をラスタスキャン順の一定順序でアクセスし撮像素子に蓄積された電荷をＡ／Ｄ変換部１６に転送してデジタル信号に変換する。
【００６９】
信号推定部２０は、デジタル信号と露光時間から、露光時間を一定時間に正規化した場合の信号を推定する。
【００７０】
この信号推定部２０の構成を図７に示す。
【００７１】
信号推定部２０は、撮像素子アレイ(CMOS IMAGE SENSOR）１２に接続されており、ＰＥアレイ２００で表される複数の演算装置２０１とメモリ２０２で構成され、外部に設けた一つのコントローラからの命令系列を全ての演算装置２０１で同時並列に実行するＳＩＭＤ形式で動作する。
【００７２】
演算装置２０１と撮像素子の対応は１対１に決まっており、一つの演算装置２０１は撮像素子アレイ１２の特定の撮像素子の出力について信号推定を行う。
【００７３】
その特定の撮像素子へ入射した光の量をＩとして、その撮像素子の出力をｍ回デジタル化した信号をＯ１〜Ｏｍ、露光時間をｔ１〜ｔｍとする。これから露光時間をｔｎに正規化したときの出力Ｏｎを推定することができる。例えば、１／３０秒毎に１フレームを形成する場合には、１／３０秒毎に正規化した出力Ｏｎが必要である。そして、そのために１／３００秒毎に撮像素子の出力をデジタル化すると、ｍ＝１０において１フレームを形成することができる。その場合に、Ｏ10の出力をそのまま使用すると、入射光量Ｉが小さいときや逆に大きいときにこのＯ10は現実の出力とはかけ離れた値となる。したがって、Ｏ10のみならず、それ以前のＯ１〜Ｏ９の値も使用して、真の１／３０秒の出力Ｏ、すなわち、正規化したＯｎを推定する。
【００７４】
その正規化したＯｎを推定する方法を説明する。
【００７５】
一般的にある撮像素子の出力Ｏ（ｔ）が、露光時間ｔと入射光量Ｉに比例するならば、Ｏ（ｔ）＝αＩｔで表される（図４参照）。但し、αは定数であり、入射光量Ｉも一つの撮像素子に関し１／３０秒の間では一定であると仮定できるので、αＩも一つの撮像素子に関し１／３０秒の間では一定であると仮定できる。故に、Ｏ（ｔ）はαＩを傾きとしたｔの比例関数となる。
【００７６】
【数４】
この式は、平均を計算しているが言い換えれば、最小自乗推定である。そして、この最小自乗推定に必要な情報、すなわち、関数式は推定情報メモリ２２に記憶されている。
【００７７】
そして、求めるＯｎがＥ（αＩ）である。
【００７８】
ここでＥ（αＩ）を求める手段として２つある。
【００７９】
第１の手段は、１／３００秒毎のＯ１〜Ｏ10を順番に記憶しておき、１／３０秒の時点で上記式を用いて推定する。
【００８０】
第２の手段は、初期時間のＯ１と次の時間のＯ２からＥ（αＩ）を計算し、次に、このＥ（αＩ）と次の時間のＯ３を使用してＥ（αＩ）を計算する。このようにすると順番に計算して記憶していくと、推定情報メモリ２２にｍ−１番目までの信号から計算した
【数５】
を記憶するので、この値だけを用いてＯｎと誤差の推定を行うことができる。
【００８１】
ここで、通常は１回目からｍ回目までＥ（αＩ）を推定するが、ｓ回目（１≦ｓ＜ｍ）の出力Ｏｓが最大基準値を越えた場合には、ｍ回目のＯｍは撮像素子の許容光量Ｉmax を越えるために、このｓ回目までのＯ１〜Ｏｓまでの情報を利用して推定を行う。これにより、撮像素子の感度が飽和することがなく画面が真白にならない。この意味で撮像素子の上限に対する感度であるダイナミックレンジが広がることなる。
【００８２】
上記により、先に飽和するであろうと予測される画素を含む明るい領域を撮影したブロックと、推定誤差の小さいブロックを先にデジタル化し、それ以外の暗い領域を撮影したブロックや推定誤差の大きいブロックは後からデジタル化するため露光時間を長くすることができるので感度が向上する。このため、余分な撮影時間を取ることなく画像全体でのダイナミックレンジを拡大することができる。
【００８３】
【発明の効果】
本発明では、複数の撮像素子をブロック毎に露光を制御し、明るい画素を含むブロックや推定誤差の小さいブロックから先に露光を終了して画像を出力することができるので、画像全体の撮影時間を延ばすことなく暗い画素を含むブロックや推定誤差の大きいブロックの露光時間を長くできるので画像のダイナミックレンジを拡大することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例を示すシステム構成図である。
【図２】第１の実施例の撮像素子アレイ１２である。
【図３】第２の実施例を示すシステム構成図である。
【図４】撮像素子の出力と時間との関係を示すグラフである。
【図５】第３の実施例を示すシステム構成図である。
【図６】第３の実施例を示す撮像素子アレイ１２である。
【図７】信号推定部２０の構成図である。
【符号の説明】
１０ 画像撮影装置
１２ 撮像素子アレイ
１４ 露光制御部
１６ Ａ／Ｄ変換部
１８ 読出し制御部１８
２０ 信号推定部
【発明の属する技術分野】
本発明は、屋外環境など明暗の差の大きな環境で用いる画像撮影装置及びその方法に関するものである。
【０００２】
【従来の技術】
現在、固体撮像素子で構成されたテレビカメラが一般に利用されているが、このテレビカメラを用いて屋外環境で画像を撮影する場合、撮像素子のダイナミックレンジが充分ではないために太陽光の当たっているところが白くなるサチレーション現象が起きたり、逆に影の部分が黒くなってしまうために、画像全体を適正な濃淡で撮影できないという問題があった。
【０００３】
これに対して、画像撮像装置のダイナミックレンジを拡大する手法が幾つか提案されている。
【０００４】
例えば、特開平７−７５０２６号で示された手法は、露光時間を変えた複数の画像を撮影し、重み係数をかけた画像を加算して合成することによりダイナミックレンジの拡大を行っている。
【０００５】
しかし、この手法では、複数の画像を用いるため、画像の枚数分だけ撮像時間がかかるという問題があった。
【０００６】
【発明が解決しようとする課題】
以上述べたように従来方式では、ダイナミックレンジを拡大した画像を撮影する場合には、通常の画像に比べて長い撮影時間が必要であるという問題があった。
【０００７】
本発明は、撮影時間を延ばすことなくダイナミックレンジを拡大することができる画像撮影装置及びその方法を提供する。
【０００８】
【課題を解決するための手段】
請求項１の発明は、任意蓄積時間に露光した光情報を光電変換を行って非破壊で電気信号に変換して出力する複数の撮像素子を用いた画像撮像装置であって、前記画像を複数のブロックに分け、このブロック内の複数の前記撮像素子毎に、前記撮像素子の露光時間を制御する露光制御手段と、前記複数の撮像素子の電気信号を前記ブロック毎に読み出し、この読み出す場合に前記露光制御手段で露光を終了したブロックから順に電気信号を読み出す読出し制御手段と、前記撮像素子からの電気信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定し、この正規化信号を所定の露光時間における電気信号として出力する信号推定手段と、を備え、前記信号推定手段は、前記撮像素子からの複数回の出力信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定し、この正規化信号を所定の露光時間における電気信号として出力することを特徴とする画像撮影装置である。
【０００９】
請求項２の発明は、任意蓄積時間に露光した光情報を光電変換を行って非破壊で電気信号に変換して出力する複数の撮像素子を用いた画像撮像装置であって、前記画像を複数のブロックに分け、このブロック内の複数の前記撮像素子毎に、前記撮像素子の露光時間を制御する露光制御手段と、前記撮像素子からの複数回の出力信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定するとともに、その推定誤差を演算し、この正規化信号を所定の露光時間における電気信号として出力し、また、前記推定誤差も出力する信号推定手段と、前記信号推定手段で得られた推定誤差の小さいブロックから順に、前記信号推定手段から前記電気信号を読み出す読出し制御手段と、を備えたことを特徴とする画像撮影装置である。
【００１０】
請求項３の発明は、任意蓄積時間に露光した光情報を電気信号に光電変換して出力する複数の撮像素子を用いて画像を撮像する画像撮像装置における画像撮像方法であって、前記画像を複数のブロックに分け、このブロック内の複数の前記撮像素子毎に、前記撮像素子の露光時間を制御する露光制御ステップと、前記複数の撮像素子の電気信号を前記ブロック毎に読み出し、この読み出す場合に前記露光制御ステップにおいて露光を終了したブロックから順に電気信号を読み出す読出し制御ステップと、前記撮像素子からの電気信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定し、この正規化信号を所定の露光時間における電気信号として出力する信号推定ステップと、を備え、前記信号推定ステップは、前記撮像素子からの複数回の出力信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定し、この正規化信号を所定の露光時間における電気信号として出力することを特徴とする画像撮影方法である。
【００１１】
請求項４の発明は、任意蓄積時間に露光した光情報を光電変換を行って非破壊で電気信号に変換して出力する複数の撮像素子を用いた画像撮像装置における画像撮像方法であって、前記画像を複数のブロックに分け、このブロック内の複数の前記撮像素子毎に、前記撮像素子の露光時間を制御する露光制御ステップと、前記撮像素子からの複数回の出力信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定するとともに、その推定誤差を演算し、この正規化信号を所定の露光時間における電気信号として出力し、また、前記推定誤差も出力する信号推定ステップと、前記信号推定ステップで得られた推定誤差の小さいブロックから順に、前記信号推定ステップから前記電気信号を読み出す読出し制御ステップと、を備えたことを特徴とする画像撮影方法である。
【００１６】
本発明では、露光状態によって出力する画像から出力する信号の順番を変更し、また、画像をブロックに分けるため、撮影時間を延ばすことなくダイナミックレンジを拡大することができる。
【００１７】
【発明の実施の形態】
第１の実施例
以下、本発明に関する第１の実施例を図１，２を用いて説明する。
【００１８】
図１は、本実施例による画像撮影装置１０のシステム構成を示す構成図である。撮像素子アレイ１２、露光制御部１４、Ａ／Ｄ変換部１６、読出し制御部１８及び信号推定部２０よりなる。
【００１９】
撮像素子アレイ１２は、画像撮影装置１０に入射する光を受光し、これを電荷などの電気信号に光電変換する撮像素子を格子状に配列したものである。この撮像素子アレイ１２を図２に示す。撮像素子アレイ１２の各撮像素子であるフォトダイオード１２１は格子状に配置され（例えば、縦横３８６×２５６）、並列に飽和感知部１２２が接続されている。そして、これらにより一画素が形成される。信号出力部１２３はフォトダイオード１２１からの信号を所定のタイミングで取り出すＣＭＯＳトランジスタ等である。そして、これら各画素をまとめて撮像素子アレイ１２が形成されているが、撮像素子アレイ１２は複数のブロック１〜ｎに分割されている。図２の場合には、ｎ＝４であり、点線で示したものがブロックである。
【００２０】
露光制御部１４は、各ブロックに属する撮像素子の露光時間を制御する。
【００２１】
Ａ／Ｄ変換部１６は、撮像素子アレイ１２から入力したアナログ電気信号をデジタル信号に変換して出力する。
【００２２】
読出し制御部１８は、Ａ／Ｄ変換部１６の出力を外部に出力する。
【００２３】
以下、画像撮影装置１０の動作を動作順序に沿って説明する。
【００２４】
まず、外部から露光制御部１４に露光制御信号が入力される。この露光制御信号は、露光開始時間と露光終了時間を指定するもので、例えば露光開始時間と露光終了時間にそれぞれ外部から露光制御部１４にパルス信号を入力することで表現される。パルス信号を入力する以外にも、信号線の状態を露光開始時間にＯＮにし、露光終了時間にＯＦＦしてもよい。
【００２５】
露光制御部１４は、露光開始時間が指示されると、撮像素子アレイ１２に露光開始信号を送り、撮像素子アレイ１２は露光を開始する。
【００２６】
また、飽和感知部１２２は、通常はＯＦＦであって、撮像素子からの光電変換によって蓄積した電荷が一定量になっているとＯＮになる。飽和感知部１２２の出力はブロック毎にまとめてＡ／Ｄ変換部１６へ出力される。
【００２７】
露光制御部１４では、ブロック内の一つか、あるいは予め定めた一定数の撮像素子の飽和感知部１２２がＯＮになった場合にそのブロックの露光を終了し、ブロックの番号と実際の露光時間を読出し制御部１８に通知する。
【００２８】
撮像素子に蓄積した電荷を非破壊で読み出すことができる場合は、露光時間中に撮像素子アレイ１２の受光素子を一定間隔で間引いてサンプルし、蓄積した電荷が一定量を超えている素子があれば、その画素の属するブロックの露光を終了してもよい。
【００２９】
なお、露光制御部１４では、露光終了時間が指示されると撮像素子アレイ１２のまだ露光を終了していないブロックに信号を送って露光を終了させる。そして、そのブロックの番号と露光時間を読出し制御手段に通知する。
【００３０】
読出し制御部１８は、露光制御部１４から露光の終了したブロック番号を入力すると、読出し制御部１８は、Ａ／Ｄ変換部１６に対し、該当するブロック内の撮像素子を一定順序でアクセスし撮像素子に蓄積された電荷を転送してデジタル信号に変換するように指示する。
【００３１】
次に、信号推定部２０で、デジタル化した信号と露光制御部１４から入力した露光時間から、露光時間を一定時間に正規化した場合の信号を計算する。入射光量をＩ、露光時間をｔとして、デジタル化した撮像素子の出力を信号Ｏとする。これから露光時間をｔｎに正規化した時の出力Ｏｎを求める。例えば、Ｏ（ｔ）＝αＩｔで撮像素子の出力Ｏが表される場合には、時間を正規化した場合の出力Ｏｎは
【数１】
【００３２】
読出し制御部１８では、信号推定部２０にデジタルかされた撮像素子出力を一定順序で入力し、信号推定部２０により露光時間を正規化した撮像素子の出力信号と、ブロックの座標を特定することのできる、ブロック番号または、ブロックの座標情報とを組み合わせて出力する。
【００３３】
第２の実施例
次に、本発明に関する第２の実施例を図３，４，７を用いて説明する。
【００３４】
図３は、本実施例による画像撮影装置１０のシステム構成を示す構成図である。撮像素子アレイ１２、露光制御部１４、Ａ／Ｄ変換部１６、読出し制御部１８、信号推定部２０及び推定情報メモリ２２よりなる。
【００３５】
撮像素子アレイ１２は、画像撮影装置１０に入射する光を受光し、これを電荷などの電気信号に光電変換する撮像素子を格子状に配列したものである。
【００３６】
露光制御部１４は、撮像素子の露光時間を制御する。
【００３７】
Ａ／Ｄ変換は、撮像素子アレイ１２から入力したアナログ電気信号をデジタル信号に変換して出力する。読出し制御部１８は、Ａ／Ｄ変換部１６の出力を外部に出力する。
【００３８】
以下、画像撮影装置１０の動作を動作順序に沿って説明する。
【００３９】
まず、外部から露光制御部１４に露光制御信号が入力される。この露光制御信号は、露光開始時間と露光終了時間を指定するもので、例えば露光開始時間と露光終了時間にそれぞれ外部から露光制御部１４にパルス信号を入力することで表現される。パルス信号を入力する以外にも、信号線の状態を露光開始時間にＯＮにし、露光終了時間にＯＦＦにしてもよい。
【００４０】
露光制御部１４は、露光開始時間が指示されると、撮像素子アレイ１２に露光開始信号を送り、撮像素子アレイ１２は露光を開始する。
【００４１】
読出し制御部１８は、撮像素子アレイ１２の各撮像素子を一定順序で繰り返しアクセスして撮像素子に蓄積した電荷を非破壊的に読出し、Ａ／Ｄ変換部１６を用いてデジタル信号に変換する。
【００４２】
また、信号推定部２０は、Ａ／Ｄ変換部１６によって得られたデジタル信号と露光時間から、露光時間を一定時間に正規化した場合の信号を推定する。
【００４３】
この信号推定部２０の構成を図７に示す。
【００４４】
信号推定部２０は、撮像素子アレイ(CMOS IMAGE SENSOR）１２に接続されており、ＰＥ（プロセッサエレメント）アレイ２００で表される複数の演算装置２０１とメモリ２０２で構成され、外部に設けた一つのコントローラからの命令系列を全ての演算装置２０１で同時並列に実行するＳＩＭＤ形式で動作する。
【００４５】
演算装置２０１と撮像素子の対応は１対１に決まっており、一つの演算装置２０１は撮像素子アレイ１２の特定の撮像素子の出力について信号推定を行う。
【００４６】
その特定の撮像素子へ入射した光の量をＩとして、その撮像素子の出力をｍ回デジタル化した信号をＯ１〜Ｏｍ、露光時間をｔ１〜ｔｍとする。これから露光時間をｔｎに正規化したときの出力Ｏｎを推定することができる。例えば、１／３０秒毎に１フレームを形成する場合には、１／３０秒毎に正規化した出力Ｏｎが必要である。そして、そのために１／３００秒毎に撮像素子の出力をデジタル化すると、ｍ＝１０において１フレームを形成することができる。その場合に、Ｏ10の出力をそのまま使用すると、入射光量Ｉが小さいときや逆に大きいときにこのＯ10は現実の出力とはかけ離れた値となる。したがって、Ｏ10のみならず、それ以前のＯ１〜Ｏ９の値も使用して、真の１／３０秒の出力Ｏ、すなわち、正規化したＯｎを推定する。
【００４７】
その正規化したＯｎを推定する方法を説明する。
【００４８】
一般的にある撮像素子の出力Ｏ（ｔ）が、露光時間ｔと入射光量Ｉに比例するならば、Ｏ（ｔ）＝αＩｔで表される（図４参照）。但し、αは定数であり、入射光量Ｉも一つの撮像素子に関し１／３０秒の間では一定であると仮定できるので、αＩも一つの撮像素子に関し１／３０秒の間では一定であると仮定できる。故に、Ｏ（ｔ）はαＩを傾きとしたｔの比例関数となる。
【００４９】
計算方法は、αＩの平均Ｅ（αＩ）を計算することにより、正規化したＯｎを推定する。
【００５０】
【数２】
【００５１】
そして、求めるＯｎがＥ（αＩ）である。
【００５２】
ここでＥ（αＩ）を求める手段として２つある。
【００５３】
第１の手段は、１／３００秒毎のＯ１〜Ｏ10を順番に記憶しておき、１／３０秒の時点で上記式を用いて推定する。
【００５４】
第２の手段は、初期時間のＯ１と次の時間のＯ２からＥ（αＩ）を計算し、次に、このＥ（αＩ）と次の時間のＯ３を使用してＥ（αＩ）を計算する。このようにすると順番に計算して記憶していくと、推定情報メモリ２２にｍ−１番目までの信号から計算した
【数３】
【００５５】
露光制御部１４から露光終了時間が指示されると、読出し制御部１８は、信号推定部２０の各ＰＥのメモリ２０２をラスタスキャン順の一定順序でアクセスしデジタル信号に変換し出力する。
【００５６】
第３の実施例
次に、本発明に関する第３の実施例を図５，６，７を用いて説明する。
【００５７】
図５は、本実施例による画像撮影装置のシステム構成を示す構成図である。撮像素子アレイ１２、露光制御部１４、Ａ／Ｄ変換部１６、読出し制御部１８及び信号推定部２０よりなる。
【００５８】
撮像素子アレイ１２は、画像撮影装置１０に入射する光を受光し、これを電荷などの電気信号に光電変換する撮像素子を格子状に配列したものである。
【００５９】
この撮像素子アレイ１２を図６に示す。撮像素子アレイ１２の各撮像素子は、近接した複数の素子をまとめた撮像素子ブロックに属している。図で点線で示したものがブロックであって、ブロックにはそれぞれ１〜ｎまでの番号が付けられている。
【００６０】
露光制御部１４は、各ブロックに属する撮像素子の露光時間を制御する。
【００６１】
Ａ／Ｄ変換部１６は、撮像素子アレイ１２から入力したアナログ電気信号をデジタル信号に変換して出力する。読出し制御部１８は、Ａ／Ｄ変換部１６の出力を外部に出力する。
【００６２】
以下、画像撮影装置１０の動作を動作順序に沿って説明する。
【００６３】
まず、外部から露光制御部１４に露光制御信号が入力される。この露光制御信号は、露光開始時間と露光終了時間を指定するもので、例えば露光開始時間と露光終了時間にそれぞれ外部から露光制御部１４にパルス信号を入力することで表現される。パルス信号を入力する以外にも、信号線の状態を露光開始時間にＯＮにし、露光終了時間にＯＦＦにしてもよい。
【００６４】
露光制御部１４は、露光開始時間が指示されると、撮像素子アレイ１２に信号を送り、撮像素子アレイ１２は露光を開始する。
【００６５】
信号推定部２０は、撮像素子アレイ１２のブロック内の撮像素子を一定順序で繰り返しアクセスして撮像素子に蓄積した電荷を非破壊的に読み出す。読出した電荷をＡ／Ｄ変換部１６を用いてデジタル信号に変換する。また、信号推定部２０は、露光時間を一定時間に正規化した場合の信号を推定する。
【００６６】
一つのブロック内の撮像素子へのアクセスが終了すると、信号推定部２０での推定誤差の最大値を求める。この最大値が予め定めた最低基準値より小さければ、該当するブロックの露光を終了し、読出し制御部１８にブロックの番号を通知して撮像情報の読出しを指示する。また、信号制定部２０での出力信号の値が一定基準血より大きくなった場合にも該当するブロックの露光を終了し、読出し制御部１８にブロック番号を通知して撮像情報の読出しを指示する。通常、撮像素子の出力には一定レベルの暗雑音が混入している。画像が明るい場合には、信号に比べて雑音が小さいので推定誤差も小さくなるので、露光は早く終了する。画像が暗い場合は雑音が大きくなり、推定誤差の最大値が最低規準値より大きい場合には、後述するＯ１からＯｍの全ての情報を利用してＯｎを推定する。これにより、画面が暗い場合でもＯｍの１回の情報を利用するより確実な推定ができ、この意味で撮像素子の下限に対する感度であるダイナミックレンジが広がることなる。
【００６７】
なお、露光制御部１４では、露光終了時間が指示されると撮像素子アレイ１２のまだ露光を終了していないブロックに信号を送って露光を終了させる。そして、ブロックの番号と露光時間を読出し制御部１８に通知し、撮像情報の読出しを指示する。
【００６８】
読出し制御部１８は、露光制御部１４から露光の終了したブロック番号を入力すると、該当するブロック内の撮像素子をラスタスキャン順の一定順序でアクセスし撮像素子に蓄積された電荷をＡ／Ｄ変換部１６に転送してデジタル信号に変換する。
【００６９】
信号推定部２０は、デジタル信号と露光時間から、露光時間を一定時間に正規化した場合の信号を推定する。
【００７０】
この信号推定部２０の構成を図７に示す。
【００７１】
信号推定部２０は、撮像素子アレイ(CMOS IMAGE SENSOR）１２に接続されており、ＰＥアレイ２００で表される複数の演算装置２０１とメモリ２０２で構成され、外部に設けた一つのコントローラからの命令系列を全ての演算装置２０１で同時並列に実行するＳＩＭＤ形式で動作する。
【００７２】
演算装置２０１と撮像素子の対応は１対１に決まっており、一つの演算装置２０１は撮像素子アレイ１２の特定の撮像素子の出力について信号推定を行う。
【００７３】
その特定の撮像素子へ入射した光の量をＩとして、その撮像素子の出力をｍ回デジタル化した信号をＯ１〜Ｏｍ、露光時間をｔ１〜ｔｍとする。これから露光時間をｔｎに正規化したときの出力Ｏｎを推定することができる。例えば、１／３０秒毎に１フレームを形成する場合には、１／３０秒毎に正規化した出力Ｏｎが必要である。そして、そのために１／３００秒毎に撮像素子の出力をデジタル化すると、ｍ＝１０において１フレームを形成することができる。その場合に、Ｏ10の出力をそのまま使用すると、入射光量Ｉが小さいときや逆に大きいときにこのＯ10は現実の出力とはかけ離れた値となる。したがって、Ｏ10のみならず、それ以前のＯ１〜Ｏ９の値も使用して、真の１／３０秒の出力Ｏ、すなわち、正規化したＯｎを推定する。
【００７４】
その正規化したＯｎを推定する方法を説明する。
【００７５】
一般的にある撮像素子の出力Ｏ（ｔ）が、露光時間ｔと入射光量Ｉに比例するならば、Ｏ（ｔ）＝αＩｔで表される（図４参照）。但し、αは定数であり、入射光量Ｉも一つの撮像素子に関し１／３０秒の間では一定であると仮定できるので、αＩも一つの撮像素子に関し１／３０秒の間では一定であると仮定できる。故に、Ｏ（ｔ）はαＩを傾きとしたｔの比例関数となる。
【００７６】
【数４】
【００７７】
そして、求めるＯｎがＥ（αＩ）である。
【００７８】
ここでＥ（αＩ）を求める手段として２つある。
【００７９】
第１の手段は、１／３００秒毎のＯ１〜Ｏ10を順番に記憶しておき、１／３０秒の時点で上記式を用いて推定する。
【００８０】
第２の手段は、初期時間のＯ１と次の時間のＯ２からＥ（αＩ）を計算し、次に、このＥ（αＩ）と次の時間のＯ３を使用してＥ（αＩ）を計算する。このようにすると順番に計算して記憶していくと、推定情報メモリ２２にｍ−１番目までの信号から計算した
【数５】
【００８１】
ここで、通常は１回目からｍ回目までＥ（αＩ）を推定するが、ｓ回目（１≦ｓ＜ｍ）の出力Ｏｓが最大基準値を越えた場合には、ｍ回目のＯｍは撮像素子の許容光量Ｉmax を越えるために、このｓ回目までのＯ１〜Ｏｓまでの情報を利用して推定を行う。これにより、撮像素子の感度が飽和することがなく画面が真白にならない。この意味で撮像素子の上限に対する感度であるダイナミックレンジが広がることなる。
【００８２】
上記により、先に飽和するであろうと予測される画素を含む明るい領域を撮影したブロックと、推定誤差の小さいブロックを先にデジタル化し、それ以外の暗い領域を撮影したブロックや推定誤差の大きいブロックは後からデジタル化するため露光時間を長くすることができるので感度が向上する。このため、余分な撮影時間を取ることなく画像全体でのダイナミックレンジを拡大することができる。
【００８３】
【発明の効果】
本発明では、複数の撮像素子をブロック毎に露光を制御し、明るい画素を含むブロックや推定誤差の小さいブロックから先に露光を終了して画像を出力することができるので、画像全体の撮影時間を延ばすことなく暗い画素を含むブロックや推定誤差の大きいブロックの露光時間を長くできるので画像のダイナミックレンジを拡大することができる。
【図面の簡単な説明】
【図１】本発明の第１の実施例を示すシステム構成図である。
【図２】第１の実施例の撮像素子アレイ１２である。
【図３】第２の実施例を示すシステム構成図である。
【図４】撮像素子の出力と時間との関係を示すグラフである。
【図５】第３の実施例を示すシステム構成図である。
【図６】第３の実施例を示す撮像素子アレイ１２である。
【図７】信号推定部２０の構成図である。
【符号の説明】
１０ 画像撮影装置
１２ 撮像素子アレイ
１４ 露光制御部
１６ Ａ／Ｄ変換部
１８ 読出し制御部１８
２０ 信号推定部
Claims (4)
- 任意蓄積時間に露光した光情報を光電変換を行って非破壊で電気信号に変換して出力する複数の撮像素子を用いた画像撮像装置であって、
前記画像を複数のブロックに分け、このブロック内の複数の前記撮像素子毎に、前記撮像素子の露光時間を制御する露光制御手段と、
前記複数の撮像素子の電気信号を前記ブロック毎に読み出し、この読み出す場合に前記露光制御手段で露光を終了したブロックから順に電気信号を読み出す読出し制御手段と、
前記撮像素子からの電気信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定し、この正規化信号を所定の露光時間における電気信号として出力する信号推定手段と、
を備え、
前記信号推定手段は、前記撮像素子からの複数回の出力信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定し、この正規化信号を所定の露光時間における電気信号として出力する
ことを特徴とする画像撮影装置。 - 任意蓄積時間に露光した光情報を光電変換を行って非破壊で電気信号に変換して出力する複数の撮像素子を用いた画像撮像装置であって、
前記画像を複数のブロックに分け、このブロック内の複数の前記撮像素子毎に、前記撮像素子の露光時間を制御する露光制御手段と、
前記撮像素子からの複数回の出力信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定するとともに、その推定誤差を演算し、この正規化信号を所定の露光時間における電気信号として出力し、また、前記推定誤差も出力する信号推定手段と、
前記信号推定手段で得られた推定誤差の小さいブロックから順に、前記信号推定手段から前記電気信号を読み出す読出し制御手段と、を備えた
ことを特徴とする画像撮影装置。 - 任意蓄積時間に露光した光情報を電気信号に光電変換して出力する複数の撮像素子を用いて画像を撮像する画像撮像装置における画像撮像方法であって、
前記画像を複数のブロックに分け、このブロック内の複数の前記撮像素子毎に、前記撮像素子の露光時間を制御する露光制御ステップと、
前記複数の撮像素子の電気信号を前記ブロック毎に読み出し、この読み出す場合に前記露光制御ステップにおいて露光を終了したブロックから順に電気信号を読み出す読出し制御ステップと、
前記撮像素子からの電気信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定し、この正規化信号を所定の露光時間における電気信号として出力する信号推定ステップと、
を備え、
前記信号推定ステップは、前記撮像素子からの複数回の出力信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定し、この正規化信号を所定の露光時間における電気信号として出力する
ことを特徴とする画像撮影方法。 - 任意蓄積時間に露光した光情報を光電変換を行って非破壊で電気信号に変換して出力する複数の撮像素子を用いた画像撮像装置における画像撮像方法であって、
前記画像を複数のブロックに分け、このブロック内の複数の前記撮像素子毎に、前記撮像素子の露光時間を制御する露光制御ステップと、
前記撮像素子からの複数回の出力信号を用いて、予め定めた一定時間に正規化した場合の正規化信号を推定するとともに、その推定誤差を演算し、この正規化信号を所定の露光時間における電気信号として出力し、また、前記推定誤差も出力する信号推定ステップと、
前記信号推定ステップで得られた推定誤差の小さいブロックから順に、前記信号推定ステップから前記電気信号を読み出す読出し制御ステップと、を備えた
ことを特徴とする画像撮影方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17283998A JP3668611B2 (ja) | 1998-06-19 | 1998-06-19 | 画像撮影装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP17283998A JP3668611B2 (ja) | 1998-06-19 | 1998-06-19 | 画像撮影装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000013690A JP2000013690A (ja) | 2000-01-14 |
| JP3668611B2 true JP3668611B2 (ja) | 2005-07-06 |
Family
ID=15949298
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP17283998A Expired - Fee Related JP3668611B2 (ja) | 1998-06-19 | 1998-06-19 | 画像撮影装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3668611B2 (ja) |
Families Citing this family (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN100440926C (zh) * | 2001-02-27 | 2008-12-03 | 张汉臣 | 摄影实景宽容度技术和成像换算方法 |
| US7583305B2 (en) * | 2004-07-07 | 2009-09-01 | Eastman Kodak Company | Extended dynamic range imaging system |
| JP4277216B2 (ja) | 2005-01-13 | 2009-06-10 | ソニー株式会社 | 撮像装置及び撮像結果の処理方法 |
| JP2008283565A (ja) * | 2007-05-11 | 2008-11-20 | Canon Inc | 撮像素子及び撮像装置 |
| JP5029195B2 (ja) * | 2007-07-31 | 2012-09-19 | 株式会社ニコン | 露出制御装置および撮像装置 |
| US8063350B2 (en) * | 2007-08-03 | 2011-11-22 | Cognex Corporation | Circuits and methods allowing for pixel array exposure pattern control |
| JP5262247B2 (ja) * | 2008-03-31 | 2013-08-14 | カシオ計算機株式会社 | 撮像装置、撮像方法及びプログラム |
| CN111327804B (zh) | 2013-03-14 | 2023-04-18 | 株式会社尼康 | 摄像元件及摄像装置 |
| JP6343870B2 (ja) * | 2013-03-15 | 2018-06-20 | 株式会社ニコン | 撮像素子および撮像装置 |
| JP6380986B2 (ja) * | 2015-03-12 | 2018-08-29 | 富士フイルム株式会社 | 撮影装置および方法 |
| CN108141575B (zh) * | 2015-05-19 | 2020-10-30 | 奇跃公司 | 半全局快门成像器 |
| JP7109898B2 (ja) | 2017-10-13 | 2022-08-01 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理装置の制御方法、撮像装置の制御方法、およびプログラム |
| JP7322995B2 (ja) * | 2020-03-19 | 2023-08-08 | 株式会社ニコン | 撮像素子、および撮像装置 |
-
1998
- 1998-06-19 JP JP17283998A patent/JP3668611B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000013690A (ja) | 2000-01-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3668611B2 (ja) | 画像撮影装置及びその方法 | |
| JP4888081B2 (ja) | 撮像装置、撮像方法、撮像システム及び画像処理装置 | |
| US8482618B2 (en) | Reduction of motion-induced blur in images | |
| JP4019417B2 (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
| US8223235B2 (en) | Digital imager with dual rolling shutters | |
| US7444075B2 (en) | Imaging device, camera, and imaging method | |
| JP2008113141A (ja) | 撮像装置及び信号処理方法 | |
| JP4862312B2 (ja) | 撮像装置およびフォーカス制御装置 | |
| JP2007194687A (ja) | 撮像装置 | |
| JP2011109281A5 (ja) | ||
| TWI446085B (zh) | 攝像裝置、自動聚焦方法及記錄媒體 | |
| JP2003304544A (ja) | 撮像装置 | |
| JP4992462B2 (ja) | 撮像素子、撮像装置、撮像システム、撮像方法、モーションデータ生成システム、モーションデータ生成プログラム及びモーションデータ生成方法 | |
| JP2007174266A (ja) | 撮像装置 | |
| US20040012711A1 (en) | Image pickup apparatus and photometer | |
| US7193647B2 (en) | Filtering still image data from a multimode stream | |
| JP2016111568A (ja) | 像ぶれ補正制御装置、撮像装置およびそれらの制御方法、プログラム | |
| US7119318B2 (en) | Image processing apparatus and method | |
| JP2009077047A (ja) | 電子カメラ | |
| JP4571150B2 (ja) | カメラぶれ補正方法及び装置 | |
| KR20220156242A (ko) | 이미지 처리 장치 | |
| CN111131667B (zh) | 进行闪烁检测的摄像设备及其控制方法和存储介质 | |
| JP2005167497A (ja) | 撮像装置、良質画像獲得方法、及びプログラム | |
| JP2003283931A (ja) | 電子イメージングシステムおよび電子イメージングシステムにおいて画像の品質を向上させる方法 | |
| JP3853891B2 (ja) | 電子スチルカメラ |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041221 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050216 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050405 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050411 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080415 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090415 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |