JP6284047B2 - 撮像装置および撮像方法 - Google Patents

Description

本発明は、圧縮センシングを用いた撮像装置に関するものである。

近年、「圧縮センシング」を用いた画像処理技術が注目されている。この技術は、複数の画素値を加算して撮像することによって画像を圧縮し、画像処理により画像を復元するものである。通常、加算撮像を行うと、画像の情報量が失われてしまうため、復元画像の画質は大きく劣化する。しかし、圧縮センシングでは、画像のスパース性を利用した復元処理により、加算撮像でデータ量を減らしながらも、圧縮しないものと遜色ない画質の復元画像を得ることができる（例えば、非特許文献３）。

ここで、画像がスパースであるとは、画像をウエーブレット空間や離散コサイン（ＤＣＴ）空間などへ射影した際、多くの係数値がほぼ０になるという事象を意味する。画像のスパース性を利用した画像復元手法として、圧縮センシングでは、Ｌ０ノルム最小化やＬ１ノルム最小化手法を利用する。

圧縮センシングでは、撮像素子内のアナログデジタル変換器（適宜、ＡＤＣと略記する）以前に単純な加算処理によりデータ量を圧縮することが可能なため、ＡＤＣの駆動周波数を下げることが可能である。これにより、低消費電力化、高ＳＮ化、および、通信帯域の削減を実現できる。

特許文献１では、圧縮センシングの概念を利用した固体撮像素子が開示されている。この固体撮像素子では、複数の画素それぞれに異なる配線が接続されており、画素群の複数の画素を、位相をずらしたタイミングで順に駆動して信号を読み出す。この構成により、サンプルおよびホールド回路が不要であり、ノイズ増加による画質劣化、面積増加、速度低下を防止可能になっている。

また、非特許文献４では、Improved Iterative Curvelet Thresholding法を利用することによって、画像に対して圧縮センシングを適用する方法が開示されている。

特開２０１０−２４５９５５号公報 特開２００４−３２５１７号公報

田中利幸，"圧縮センシングの数理"，IEICE Fundamentals Review，vol.4，no.1，pp.39-47, 2010 D. Takhar, J. N. Laska, M. B. Wakin. M. F. Durate, D. Baron, S. Sarvotham, K. F. Kelly, and R. G. Baraniuk, "A New Compressive Imaging Camera Architecture using optical-domain compression", Proc. of Computational Imaging IV at SPIE Electronic Imaging, 2006 Y. Oike and A.E. Gamal, "A 256×256 CMOS Image Sensor with ΔΣ-Based Single-Shot Compressed Sensing", IEEE International Solid-State Circuits Conference (ISSCC) Dig. of Tech. Papers, pp.386-387, 2012 J. Ma,"Improved Iterative Curvelet Thresholding for Compressed Sensing and Measurement",IEEE Transactions on Instrumentation and Measurement, Vol.60, Iss.1,pp.126-136,2011 茨木俊秀、福島雅夫著「情報数学講座(全15巻)第14巻 最適化の手法」共立出版株式会社、1993年7月20日初版1刷発行(P159-P164) 中静真,"スパース信号表現とその画像処理応用",映像情報メディア学会誌, Vol.65, No.10, pp.1381-1386

しかしながら、圧縮センシングで前提としている画像のスパース性は、一般画像では必ずしも成立しない。例えば、小物が散らかっているようなランダム性の高い画像では、スパース性は乏しい。このため、このような画像においては、非特許文献１で開示されている手法を用いても、復元画像の画質が劣化するという問題があった。

本発明は、このような問題を解決するものであり、圧縮センシングを用いた撮像装置において、復元画像の画質を向上させることを目的とする。

本発明の一態様に係る撮像装置は、撮像したデジタル信号を復元して画像信号を得る撮像システムにおける撮像装置であって、複数の画素が、受光した光信号を電気信号に変換する光電変換部と、光電変換部によって得られた電気信号を蓄積し、復元する画像信号のすべての画素に対応する電荷信号を保持する第１の電荷保持部と、第１の電荷保持部とは異なるタイミングで、光電変換部によって得られた電気信号を蓄積し、すべての画素に対応する電荷信号を保持する第２の電荷保持部と、第１の電荷保持部が保持している電荷信号と、第２の電荷保持部が保持している電荷信号との差分値を、すべての画素毎に算出し、すべての画素に対応する時間差分信号を得る差分算出部と、差分算出部によって得られたすべての画素に対応する時間差分信号に対して、所定位置の画素の時間差分信号を選択して加算し、新たな信号を生成する処理である加算サンプリング処理を行う加算サンプリング部と、加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部とを備えている。

これによると、撮像装置において、差分算出部は、異なるタイミングで蓄積された、第１および第２の電荷保持部が保持している、復元する画像信号のすべての画素に対応する電荷信号の時間差分信号を算出する。加算サンプリング部は、この時間差分信号に対して加算サンプリング処理を行い、アナログデジタル変換部は加算サンプリング処理後の信号をデジタル信号に変換する。すなわち、一般画像信号と比較してスパース性の高い差分信号に対して、加算サンプリング処理が行われる。したがって、圧縮センシングを利用して、高画質の画像復元を実現することができる、

本発明によると、圧縮センシングを用いた撮像装置において、スパース性の高い差分信号を用いるため、高画質の復元画像を得ることができる。

実施の形態１に係る撮像装置の構成を示すブロック図 （ａ）〜（ｄ）は加算サンプリング処理の例を示す模式図 画素番号を示す模式図 （ａ）〜（ｄ）は加算サンプリング処理の例を示す模式図。 （ａ）〜（ｄ）は加算サンプリング処理の例を示す模式図。 実施の形態１に係る撮像装置における処理の例を示すフローチャート （ａ）〜（ｃ）は差分画像を利用した復元処理を説明するための模式図 （ａ）〜（ｆ）は画像の位置、方向、大きさに基づいた情報を抽出するCurvelet変換におけるatomを示した模式図 圧縮センシングを行った実際の画像例であり、（ａ）は通常撮像画像、（ｂ）は通常画像を加算サンプリング後、復元した画像、（ｃ）は差分画像を加算サンプリング後、復元した画像 実施の形態２に係る撮像装置の構成を示すブロック図

本発明の第１態様では、撮像したデジタル信号を復元して画像信号を得る撮像システムにおける撮像装置は、複数の画素が、受光した光信号を電気信号に変換する光電変換部と、前記光電変換部によって得られた電気信号を蓄積し、復元する画像信号のすべての画素に対応する電荷信号を保持する第１の電荷保持部と、前記第１の電荷保持部とは異なるタイミングで、前記光電変換部によって得られた電気信号を蓄積し、前記すべての画素に対応する電荷信号として保持する第２の電荷保持部と、前記第１の電荷保持部が保持している電荷信号と、前記第２の電荷保持部が保持している電荷信号との差分値を、前記すべての画素毎に算出し、前記すべての画素に対応する時間差分信号を得る差分算出部と、前記差分算出部によって得られた前記すべての画素に対応する時間差分信号に対して、所定位置の画素の時間差分信号を選択して加算し、新たな信号を生成する処理である加算サンプリング処理を行う加算サンプリング部と、前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部とを備えている。

本発明の第２態様では、第１態様の撮像装置は、前記アナログデジタル変換部の出力信号に対して、前記加算サンプリング部が実行する処理に基づく加算サンプリング情報を用いて復元処理を行い、画像信号を得る画像復元部と、前記画像復元部が復元した画像を出力する出力部とを備えている。

本発明の第３態様では、第２態様の撮像装置において、前記画像復元部は、射影空間として、画像の位置、方向、大きさに基づいた情報を抽出する空間を用いる。

本発明の第４態様では、第３態様の撮像装置において、前記射影空間は、Curvelet空間またはRidgelet空間である。

本発明の第５態様では、第１態様の撮像装置は、前記加算サンプリング部の入力を、前記時間差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号に切替え可能である処理切替部を備えている。

本発明の第６態様では、第５態様の撮像装置において、前記処理切替部は、撮像開始時において、前記時間差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号を、前記加算サンプリング部の入力とする。

本発明の第７態様では、第５態様の撮像装置において、前記処理切替部は、前記時間差分信号の信号値を用いて、切り替えの判断を行う。

本発明の第８態様では、第７態様の撮像装置において、前記処理切替部は、前記時間差分信号の信号値が所定値よりも大きいとき、前記時間差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号を、前記加算サンプリング部の入力とする。

本発明の第９態様では、撮像したデジタル信号を復元して画像信号を得る撮像システムにおける、撮像装置における撮像方法は、復元する画像信号に対応するすべての画素の電荷信号を、異なるタイミングで保持し、異なるタイミングで保持した電荷信号について、画素毎に差分値を算出し、前記すべての画素に対応する時間差分信号を得て、前記すべての画素に対応する時間差分信号に対して、所定位置の画素の時間差分信号を選択して加算し、新たな信号を生成する処理である加算サンプリング処理を行い、前記加算サンプリング処理後の信号を、デジタル信号に変換するものである。

以下、本発明の実施の形態について、図面を参照しながら説明する。

（実施の形態１）
図１は実施の形態１に係る撮像装置の構成を示すブロック図である。図１の撮像装置は、光電変換部１０１、第１の電荷保持部１０２、第２の電荷保持部１０３、差分算出部１０４、加算サンプリング部１０５、アナログデジタル変換部１０６、画像復元部１０７、および出力部１０８を備えている。

光電変換部１０１は複数の画素を有しており、各画素が、受光した光信号を電気信号に変換する。複数の画素は例えば、フォトダイオードなどの光電変換素子を２次元状に配列することによって実現される。第１および第２の電荷保持部１０２，１０３は、互いに異なるタイミングで、光電変換部１０１によって得られた電気信号を一定時間蓄積し、電荷信号として保持する。これは例えば、電荷の保持に利用するメモリを複数個設けておき、撮像タイミングごとに、利用するメモリを変更することによって実現できる。

差分算出部１０４は、第１の電荷保持部１０２が保持している電荷信号と、第２の電荷保持部１０３が保持している電荷信号との差分値を、各画素毎に算出し、これら差分値からなる差分信号を得る。これは、公知の差動回路により実現することができる。なお、撮像開始時には差分をとるための元画像がまだ得られていないが、この場合は例えば、前回撮像終了時の画像を利用したり、乱数の画像を与えたり、画面全体が黒やグレーの画像を与えればよい。

加算サンプリング部１０５は、差分算出部１０４によって得られた差分信号について加算サンプリング処理を行い、新たな出力信号を生成する。加算サンプリング部１０５が実行する処理を表した加算サンプリング情報は、画像復元部１０７に送信される。ここで、加算サンプリング処理とは、元の電荷信号（ここでは差分信号）から所定位置の画素の信号をサンプリングして加算し、新たな信号を生成する処理のことをいう。そして、加算サンプリング情報は、加算サンプリング処理後の新たな出力信号の各信号値について、元の電荷信号において加算に用いるためにサンプリングした画素の位置を示す情報を含むものである。なお、後述するように加算時にゲインを与えた場合には、与えたゲインの情報を含めてもよい。

加算サンプリング部１０５が加算サンプリング処理を行うことによって、画像情報の圧縮を行うことができ、画像復元部１０７に送信する信号量を減らすことができる。画像復元部１０７は、受信した加算サンプリング情報を用いることによって、圧縮された画像情報から、画像を復元することができる。

図２は加算サンプリング処理について説明するための模式図である。ここでは、説明の簡略化のため、４×４の１６画素での処理を例にとって説明する。図２（ａ）〜（ｄ）はそれぞれ、ｔ＝１〜４における読み出し画素、すなわち、加算サンプリング処理に用いた画素を表している。また、説明のために、図３に４×４の各画素に付した画素番号を示している。すなわち、４×４画素において、左上隅の画素から右方向に順に「１」「２」「３」「４」とし、同様に、次行の左端の画素から「５」「６」…とし、右下隅の画素を「１６」としている。

図２（ａ）では、画素番号１，６，１１，１６のデータを読み出し、この４画素のデータを加算処理することで、ｔ＝１の出力信号を生成している。同様に、図２（ｂ）では、画素番号３，８，９，１４のデータを読み出し、この４画素のデータを加算し、ｔ＝２の出力信号を生成している。図２（ｃ）では、画素番号２，５，１２，１５のデータを読み出し、この４画素のデータを加算し、ｔ＝３の出力信号を生成している。図２（ｄ）では、画素番号４，７，１０，１３のデータを読み出し、この４画素のデータを加算し、ｔ＝４の出力信号を生成している。

このようにして、４×４＝１６画素のデータをｔ＝１〜４の４個のデータに圧縮する。これにより、後述のアナログデジタル変換部１０５の動作速度を減少させることができるため、より低ノイズの画像を復元できる。

また、図２の加算サンプリング処理の場合、加算サンプリング情報は例えば次のようになる。ｔ＝１〜４において、加算のためにサンプリングされた画素を「１」、サンプリングされていない画素を「０」として、図３に示した画素番号順に符号化したデータを、加算サンプリング情報とする。すなわち、
ｔ＝１のとき“１０００ ０１００ ００１０ ０００１”
ｔ＝２のとき“００１０ ０００１ １０００ ０１００”
ｔ＝３のとき“０１００ １０００ ０００１ ００１０”
ｔ＝４のとき“０００１ ００１０ ０１００ １０００”
となるため、加算サンプリング情報は、これらを連結して、
“１０００ ０１００ ００１０ ０００１ ００１０ ０００１ １０００ ０１００ ０１００ １０００ ０００１ ００１０ ０００１ ００１０ ０１００ １０００”
とする。なお、加算サンプリング情報の形式はここで示したものに限られるものではなく、加算のためにサンプリングされた画素の位置が分かるものであればよい。

なお、図２の例では、加算サンプリング処理において各画素を一度ずつ読み出すものとしている。もちろん、加算サンプリング処理において、同じ画素を複数回読み出すようにしてもかまわない。

図４はこのような加算サンプリング処理の例を示す模式図である。図４（ａ）では、画素番号１，３，６，８，９，１１，１４，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝１の出力信号を生成している。同様に、図４（ｂ）では、画素番号２，３，５，８，９，１２，１４，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝２の出力信号を生成している。図４（ｃ）では、画素番号２，４，５，７，１０，１２，１３，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝３の出力信号を生成している。図４（ｄ）では、画素番号１，４，６，７，１０，１１，１３，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝４における出力信号を生成している。

このように、各画素を複数回読み出して加算処理を行うことによって、出力信号のダイナミックレンジを上げることができるため、ノイズを低減することが可能である。このような加算サンプリング処理については、例えば、非特許文献２や非特許文献３に記載されている。

また、加算サンプリング処理において、サンプリングする画素位置を、ランダムに、かつまたは、独立になるように選択してもかまわない。これにより、加算サンプリング処理による画像情報の劣化を防ぐことができ、復元画像の画質を向上できる。（例えば、非特許文献１のｐｐ.４３−４４参照）。

図５はサンプリングする画素位置がランダムになるように選択した加算サンプリング処理の例を示す模式図である。図５（ａ）では、画素番号１，４，７，８，９，１０，１４，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝１での出力信号を生成している。同様に、図５（ｂ）では、画素番号２，３，５，８，９，１１，１４，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝２での出力信号を生成している。図５（ｃ）では、画素番号２，３，５，６，１１，１２，１３，１６の画素のデータを取出し、この８画素のデータを加算し、ｔ＝３での出力信号を生成している。図５（ｄ）では、画素番号１，４，６，７，１０，１２，１３，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝４での出力信号を生成している。

また、加算サンプリング処理において、複数の画素データを単に加算する代わりに、ゲインを与えて重みづけ加算してもかまわない。複数の画素データを加算すると、加算後のデータのダイナミックレンジが増大し、アナログデジタル変換部１０６の負荷が増える。この問題を解決するためには、画素データを重み付け加算することが有効である。例えば図２のような加算サンプリング処理を行う場合において、加算後のデータのダイナミックレンジを元の画素データに合わせるために正規化処理を行うときは、重み１／４をゲインとして与えればよい。

アナログデジタル変換部１０６は、加算サンプリング部１０５で生成された信号をデジタル信号に変換する。この処理は、広く知られているパイプライン型やカラム型のアナログデジタル変換器を利用して実行すればよい。

画像復元部１０７は、アナログデジタル変換部１０６が生成したデジタル信号に対して、加算サンプリング部１０５から送信された加算サンプリング情報を用いて復元処理を行い、画像信号を得る。なお、復元した画像は差分画像であるため、例えば、前フレームの画像に復元した差分画像を加算することによって、最終的な復元画像が得られる。なお、ここでの復元処理は、圧縮センシングで広く使われている、Improved Iterative Curvelet Thresholding法（例えば非特許文献４を参照）やアフィンスケーリング法（例えば非特許文献５を参照）などの公知の手法を利用すればよい。

出力部１０８は、画像復元部１０７が復元した画像を、ディスプレイに表示したり、人検出などの画像処理に利用したりするために出力するインターフェイスである。

図６は本実施の形態に係る撮像装置における処理の例を示すフローチャートである。まず、ステップＳ１０１において、光電変換部１０１は光信号を電気信号に変換する。これにより、撮像画像が得られる。そして、前フレームにおいて第１の電荷保持部１０２を利用していない場合（ステップＳ１０２でＮｏ）は、第１の電荷保持部１０２が、光電変換部１０１で変換された電気信号を一定時間蓄積し、電荷信号として保持する（ステップＳ１０３）。一方、前フレームにおいて第１の電荷保持部１０２を利用している場合（ステップＳ１０２でＹｅｓ）は、第２の電荷保持部１０３が、光電変換部１０１で変換された電気信号を一定時間蓄積し、電荷信号として保持する（ステップＳ１０４）。

すなわち、第１の電荷保持部１０２を利用した次のフレームでは第２の電荷保持部１０３を利用し、第２の電荷保持部１０３を利用した次のフレームでは第１の電荷保持部１０２を利用する、というように、第１および第２の電荷保持部１０２，１０３が巡回的に利用される。

次にステップＳ１０５において、差分算出部１０４は、第１の電荷保持部１０２に蓄積されている電荷信号と、第２の電荷保持部１０３に蓄積されている電荷信号との差分信号を算出する。これにより、時間的に隣り合ったフレーム間で、画素ごとの差分情報が差分信号として算出される。

次にステップＳ１０６において、加算サンプリング部１０５は、差分算出部１０４によって算出された差分信号に対し、加算サンプリング処理を行い、新たな出力信号を生成する。そしてステップＳ１０７において、アナログデジタル変換部１０６は、加算サンプリング部１０５で生成された信号をデジタル信号に変換する。

次にステップＳ１０８において、画像復元部１０７は、アナログデジタル変換部１０６が生成したデジタル信号を、加算サンプリング部１０５から送信された加算サンプリング情報を利用して、画像を復元する。そしてステップＳ１０９において、出力部１０８は、復元画像を撮像装置外部に出力する。

ここで、圧縮センシングに差分画像を用いる場合の効果について説明する。

圧縮センシングでは、入力画像をある空間へ射影した際、その係数ベクトルのスパース性が高くなるほど、復元画質が向上することが知られている。すなわち、入力画像をスパースに表現できる空間を利用することが、復元画質の向上にとって重要である。そして本願発明者らの検討によって、電荷信号の差分信号からなる差分画像では、スパース性が高くなることが明らかになった。

図７は差分画像を利用した復元処理を説明するための模式図である。図７（ａ）は人物Ｐをｔ＝１のときに撮像した画像、図７（ｂ）は人物Ｐをｔ＝２のときに撮像した画像を示している。そして図７（ｃ）は、ｔ＝１の画像とｔ＝２の画像との差分画像であり、差分値が存在する領域Ａ１が白く示されている。

ここで、被写体が人物や動物の場合、差分画像は領域Ａ１のように、カーブの組み合わせによって表現される。例えば図７（ｃ）のブロックＡ２を見ると、差分領域として、ブロックの右下にブロックサイズの半分ほどの大きさで、中心を右下方に持つ円弧が存在している。ところでカーブは、位置、角度、大きさの３つの情報で表現される。このことから、差分画像は、位置情報、方向成分、大きさ情報で表現できる空間に射影することによって、スパース性が高くなると考えられる。そこで、差分画像を射影する空間として、画像の位置、方向、大きさに基づいた情報を抽出する空間を用いる。これにより、画像のスパース性を向上させることができる。

図８（ａ）〜（ｆ）は画像の位置、方向、大きさに基づいた情報を抽出する変換の一例であるCurvelet変換におけるatomのいくつかを示す模式図である。なお、圧縮センシングでは、着目信号を少数の基本ベクトルの線形和で表現するが、この基本ベクトルのことをatomとよぶ。なお、基本ベクトルが互いに直交するときは、この基本ベクトルを基底と呼ぶ。図７（ｃ）のブロックＡ２内の差分画像は図８（ｆ）に示すatomに似ており、このことから、Curvelet変換が有効であることがわかる。

図９は圧縮センシングを行った実際の画像例であり、（ａ）は加算サンプリングを行わなかった場合の通常撮像画像、（ｂ）は通常画像を加算サンプリング後、Curvelet変換を利用して復元した画像、（ｃ）は差分画像を加算サンプリング後、Curvelet変換を利用して復元した画像に前フレームの画像を加算した画像を示している。

図９のような一般画像では、大域的な成分が支配的であるため、Curvelet変換に用いられる局所的なatomではスパースに表現することができない。このため、図９（ｂ）に示すように、圧縮センシングに通常画像を用いた場合には復元画像に大きな誤差が生じている。一方、その差分画像は、局所的な位置情報と方向成分、大きさ情報で表現できる画像であるため、Curvelet変換によってスパースに表現することができる。したがって、図９（ｃ）に示すように高画質の画像復元が可能である。

なお、画像復元に利用する射影空間は、Curvelet空間に限られるものではない。その他にも例えば、局所的なatomを持ったRidgelet空間を用いてもかまわない。

もちろん、復元手法として、Matching Pursuits法、Matching Pursuits Denoising法などの公知の手法を利用するようにしてもかまわない（例えば、非特許文献６を参照）。

以上説明したように本実施の形態によると、光電変換部１０１によって得られた電気信号を蓄積する第１および第２の電荷保持部１０２，１０３を用いて、撮像画像の差分信号を得る。そして、この差分信号に対して加算サンプリング処理を行い、生成された信号をデジタル信号に変換する。このデジタル信号に対して、圧縮センシング技術に基づいた画像復元処理を行うことで、高画質の復元画像を得ることができる。さらに、圧縮センシングに利用する射影空間として、局所的なatomを有し、画像の位置、方向、大きさに基づいた情報を抽出する空間を利用することによって、さらに高画質の画像復元を実現できる。

なお、複数の電荷保持部を利用した撮像装置としては、ＣＣＤ(Charge Coupled Device)が広く知られている。ただし、本実施の形態に係る撮像装置は、複数の電荷保持部を利用することによって画像の差分信号を算出し、この差分信号に対して加算サンプリング処理を実行することによって、画像のスパース性を上げるものである。したがって、ＣＣＤとは全く異なる技術である。

また、複数のメモリを用いて撮像画像の差分情報を利用する技術は、広く知られている。例えば特許文献２では、高精度のフォーカス制御を可能とするために、複数の加算画像や平均画像、差分画像を利用する手法が開示されている。ただしこれは、アナログデジタル変換を行った後に、得られたデジタル信号に対して、複数のメモリを用いて差分処理等を行うものである。一方、本実施の形態に係る撮像装置は、アナログデジタル変換を行う前に差分処理を行うものであり、従来とはまったく異なっている。すなわち、本実施の形態の撮像装置は、圧縮センシング技術に差分画像を利用するものであり、差分画像に対して加算サンプリング処理を行った後にアナログデジタル変換を行い、得られたデジタル信号から、より高画質の画像を復元している。

（実施の形態２）
図１０は実施の形態２に係る撮像装置の構成を示すブロック図である。図１０において、図１と同じ構成要素については同じ符号を用い、詳細な説明を省略する。

図１０の撮像装置は、図１の撮像装置の構成要素に加えて、処理切替部１０９をさらに備えている。

処理切替部１０９は、加算サンプリング部１０５の入力を、差分算出部１０４から出力される差分信号に代えて、第１または第２の電荷保持部１０２，１０３が保持している電荷信号に切り替え可能である。すなわち、処理切替部１０９によって、第１の電荷保持部１０２と第２の電荷保持部１０３とにそれぞれ保持されている電荷信号の差分信号に対して加算サンプリング処理を行うか、または、第１の電荷保持部１０２または第２の電荷保持部１０３のいずれかに保持されている電荷信号に対して加算サンプリング処理を行うか、が切り替えられる。差分算出部１０４は、第１または第２の電荷保持部１０２，１０３が保持している電荷信号に対して加算サンプリング処理を行うときは、差分計算を停止してもよい。

処理切替部１０９は、撮像の状況に従って切り替えの判断を行う。例えば、撮像開始時において、第１または第２の電荷保持部１０２，１０３が保持している電荷信号を加算サンプリング部１０５の入力とする。撮像を開始したばかりのとき、画像復元部１０７は、画像復元に必要な前フレームの画像を持っていない。そこで、処理切替部１０９は、撮像開始時は、第１または第２の電荷保持部１０２，１０３の出力信号を加算サンプリング部１０５に与えて処理させる。これにより、撮像開始時から、画質は低いものの、復元画像を得ることができる。その後、差分画像に対する加算サンプリング処理を実行することによって、復元画像の画質を向上させることができる。

また、処理切替部１０９は、第１の電荷保持部１０２と第２の電荷保持部１０３とにそれぞれ保持されている電荷信号の差分信号の信号値を用いて、切り替えの判断を行ってもよい。この場合は、処理切替部１０９は、差分算出部１０４の出力を利用すればよい。

例えば、差分信号の信号値が所定値よりも大きいときは、差分信号ではなく、第１または第２の電荷保持部１０２，１０３の出力信号を、加算サンプリング部１０５の入力とする。差分値が大きい場合、シーンチェンジや光源変動のために被写体は大きく変わっていると想定される。この場合、差分信号が十分にスパースでなくなり、このため差分信号に対して加算サンプリング処理を行った場合には、かえって画質が劣化してしまう可能性が高い。そこで、差分信号を利用せず、第１または第２の電荷保持部１０２，１０３の出力信号を加算サンプリング部１０５によって処理することによって、復元画像の画質を維持する。

一方、差分値が小さいときは、差分算出部１０４が算出した差分信号を加算サンプリング部１０５の入力とする。差分値が小さいときは、実施の形態１で説明したとおり、差分信号を利用することによって画像をスパースに表現できるため、復元画像の画質を向上させることができる。さらに、差分値がゼロに十分近いときは、その画像について加算サンプリング処理を行わないものとしてもよい。この場合、復元処理は前フレームの画像をそのまま利用すればよいため、その画像の処理を行う必要はないからである。

なお、差分信号の信号値を用いた処理切り替えを行う場合において、切り替えを判断する領域単位は、例えば、加算サンプリング処理を行う領域とすればよい。例えば、加算サンプリング処理を行う領域毎に差分信号の信号値の総和を求め、求めた値を基にして当該領域における処理切り替えの判断を行えばよい。この場合は、画像の中に、差分信号に対して加算サンプリング処理を行う領域と、元の電荷信号に対して加算サンプリング処理を行う領域とが含まれる。なお、切り替えを判断する領域単位は加算サンプリング処理を行う領域に限られるものではなく、その他の所定範囲の領域を単位としてもかまわない。あるいは、画像全体において差分信号の信号値の総和を求め、画像全体について処理切り替えの判断を行うようにしてもかまわない。

以上説明したように本実施の形態によると、処理切替部１０９を設けたことによって、撮像の状況や入力画像の変化に応じて、適切な加算サンプリング処理を選択できるため、より高画質の画像復元を実現できる。

なお、上述の各実施の形態では、撮像装置は、画像復元部および出力部を備えた構成としたが、これに限られるものではない。例えば、画像復元部を備えない構成とし、アナログデジタル変換部によって得られたデジタル信号と、加算サンプリング情報とを、撮像装置の外部に出力するものとしてもよい。

また、画像復元部が用いる加算サンプリング情報は、加算サンプリング部が実行した処理そのものを表す情報である必要は必ずしもない。例えば、加算サンプリング部が実行した処理よりも解像度を低下させた加算サンプリング情報を、画像復元部が用いるようにしてもかまわない。これにより、解像度の低い復元画像が得られる。すなわち、画像復元部が用いる加算サンプリング情報は、加算サンプリング部が実行した処理に基づくものであればよい。

なお、本明細書における撮像装置は装置として実現されなくてもよい。例えば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した撮像装置の動作を行ってもよい。そのようなコンピュータプログラムは、たとえば図６のフローチャートによって実現される処理をコンピュータに実行させるための命令群を含んでいる。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。

本発明は、撮像装置において、低消費電力化、高ＳＮ化、および、通信帯域の削減を実現しつつ、高画質の画像を復元可能にするのに有用である。

１０１ 光電変換部
１０２ 第１の電荷保持部
１０３ 第２の電荷保持部
１０４ 差分算出部
１０５ 加算サンプリング部
１０６ アナログデジタル変換部
１０７ 画像復元部
１０８ 出力部
１０９ 処理切替部

Claims (9)

1. 撮像したデジタル信号を復元して画像信号を得る撮像システムにおける撮像装置であって、
   複数の画素が、受光した光信号を電気信号に変換する光電変換部と、
   前記光電変換部によって得られた電気信号を蓄積し、復元する画像信号のすべての画素に対応する電荷信号を保持する第１の電荷保持部と、
   前記第１の電荷保持部とは異なるタイミングで、前記光電変換部によって得られた電気信号を蓄積し、前記すべての画素に対応する電荷信号を保持する第２の電荷保持部と、
   前記第１の電荷保持部が保持している電荷信号と、前記第２の電荷保持部が保持している電荷信号との差分値を、前記すべての画素毎に算出し、前記すべての画素に対応する時間差分信号を得る差分算出部と、
   前記差分算出部によって得られた前記すべての画素に対応する時間差分信号に対して、所定位置の画素の時間差分信号を選択して加算し、新たな信号を生成する処理である加算サンプリング処理を行う加算サンプリング部と、
   前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部とを備えた
   ことを特徴とする撮像装置。
2. 請求項１記載の撮像装置において、
   前記アナログデジタル変換部の出力信号に対して、前記加算サンプリング部が実行する処理に基づく加算サンプリング情報を用いて復元処理を行い、画像信号を得る画像復元部と、
   前記画像復元部が復元した画像を出力する出力部とを備えた
   ことを特徴とする撮像装置。
3. 請求項２記載の撮像装置において、
   前記画像復元部は、射影空間として、画像の位置、方向、大きさに基づいた情報を抽出する空間を用いる
   ことを特徴とする撮像装置。
4. 請求項３記載の撮像装置において、
   前記射影空間は、Curvelet空間またはRidgelet空間である
   ことを特徴とする撮像装置。
5. 請求項１記載の撮像装置において、
   前記加算サンプリング部の入力を、前記時間差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号に切替え可能である処理切替部を備えた
   ことを特徴とする撮像装置。
6. 請求項５記載の撮像装置において、
   前記処理切替部は、撮像開始時において、前記時間差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号を、前記加算サンプリング部の入力とする
   ことを特徴とする撮像装置。
7. 請求項５記載の撮像装置において、
   前記処理切替部は、前記時間差分信号の信号値を用いて、切り替えの判断を行う
   ことを特徴とする撮像装置。
8. 請求項７記載の撮像装置において、
   前記処理切替部は、前記時間差分信号の信号値が所定値よりも大きいとき、前記時間差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号を、前記加算サンプリング部の入力とする
   ことを特徴とする撮像装置。
9. 撮像したデジタル信号を復元して画像信号を得る撮像システムにおける、撮像装置における撮像方法であって、
   復元する画像信号に対応するすべての画素の電荷信号を、異なるタイミングで保持し、
   異なるタイミングで保持した電荷信号について、画素毎に差分値を算出し、前記すべての画素に対応する時間差分信号を得て、
   前記すべての画素に対応する時間差分信号に対して、所定位置の画素の時間差分信号を選択して加算し、新たな信号を生成する処理である加算サンプリング処理を行い、
   前記加算サンプリング処理後の信号を、デジタル信号に変換する
   ことを特徴とする撮像方法。