JP6135865B2 - 撮像システム、撮像装置、および撮像方法 - Google Patents

Description

本開示は、圧縮センシング技術を用いた撮像システムに関する。

高解像度・高フレームレートの映像を処理する撮像システムでは、撮像素子や撮像モジュールから読み出されるデータの情報量や、それらから転送されるデータの情報量が膨大になる。その結果、転送帯域の拡大が必要となり、伝送周波数の高周波化や、データ転送の並列化といった対策が行われている。しかし、これらの対策は、特に小型化が要求される撮像素子や撮像モジュールにとって、ノイズの増加による画質の低下や、回路サイズ増加によるコストの増大という問題を生じさせる。そのため、データ転送量の削減が望まれている。

データ転送量の削減には、「圧縮センシング」と呼ばれる技術が有効であることが知られている。圧縮センシングとは、信号のセンシング時に加算処理（符号化）することによりデータ量を圧縮し、圧縮したデータに対して後で復元処理を行うことで信号を復号化する技術である。たとえば非特許文献１は、Ｉｍｐｒｏｖｅｄ Ｉｔｅｒａｔｉｖｅ Ｃｕｒｖｅｌｅｔ Ｔｈｒｅｓｈｏｌｄｉｎｇ法を利用することで、画像に対して、圧縮センシングを適用する方法を開示している。上述のセンシング方式をイメージセンサに利用した撮像は、加算サンプリング撮像と呼ばれる。なお圧縮センシングにおける信号の加算処理を「加算サンプリング処理」と呼ぶこともある。

従来、このような加算サンプリング撮像を行うと、画像の情報量が失われてしまうため、復元画像の画質は大きく劣化すると考えられてきた。しかし、圧縮センシングでは、画像のスパース性を利用した復元処理により、加算撮像でデータ量を減らしながらも、圧縮しない画像と遜色ない画質の復元画像を得ることができる。ここで、「画像のスパース性」とは、画像をウエーブレット空間や離散コサイン（ＤＣＴ）空間などへ射影した際、多くの係数値がほぼ０になるという知見である。画像のスパース性を利用した画像復元手法として、圧縮センシングでは、Ｌ０ノルム最小化やＬ１ノルム最小化手法を利用する。

さらに、圧縮センシングを用いた撮像装置では、撮像素子内のアナログデジタル変換器（以下、「ＡＤＣ」と記述する）でアナログデジタル変換処理を行う以前に、単純な加算処理でデータを圧縮するため、ＡＤＣの駆動周波数を下げることが可能である。これにより、低消費電力化、高ＳＮ化、通信帯域の削減を実現できる。

たとえば非特許文献２は、圧縮センシングの概念を導入した固体撮像素子を開示する。この固体撮像素子では、ブロック行選択回路及び行選択回路、列ブロック選択回路、マルチプレクサ、疑似ランダムパターン発生回路、カラム並列ΔΣＡＤＣを有する。この構成により、ノイズ増加による画質劣化、面積増加、速度低下を防止可能な固体撮像素子を実現している。

Ｊ． Ｍａ， "Ｉｍｐｒｏｖｅｄ Ｉｔｅｒａｔｉｖｅ Ｃｕｒｖｅｌｅｔ Ｔｈｒｅｓｈｏｌｄｉｎｇ ｆｏｒ Ｃｏｍｐｒｅｓｓｅｄ Ｓｅｎｓｉｎｇ and Measurement，" ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ ａｎｄ Ｍｅａｓｕｒｅｍｅｎｔ， ｖｏｌ．６０， ｎｏ．１， ｐｐ．１２６−１３６， ２０１１． Ｙ． Ｏｉｋｅ ａｎｄ Ａ．Ｅ． Ｇａｍａｌ， "Ａ ２５６×２５６ ＣＭＯＳ Ｉｍａｇｅ Ｓｅｎｓｏｒ ｗｉｔｈ ΔΣ−Ｂａｓｅｄ Ｓｉｎｇｌｅ−Ｓｈｏｔ Compressed Sensing"， ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｓｏｌｉｄ−Ｓｔａｔｅ Ｃｉｒｃｕｉｔｓ Ｃｏｎｆｅｒｅｎｃｅ （ＩＳＳＣＣ） Ｄｉｇ. ｏｆ Ｔｅｃｈ. Ｐａｐｅｒｓ, ｐｐ．３８６−３８７， ２０１２． 田中利幸，"圧縮センシングの数理"，ＩＥＩＣＥ Ｆｕｎｄａｍｅｎｔａｌｓ Ｒｅｖｉｅｗ，ｖｏｌ．４，ｎｏ．１，ｐｐ．３９−４７，２０１０． 茨木俊秀、福島雅夫著、「情報数学講座(全15巻)第14巻 最適化の手法」共立出版株式会社、1993年7月20日初版1刷発行(P159-P164)． Ｄ． Ｔａｋｈａｒ， Ｊ． Ｎ． Ｌａｓｋａ， Ｍ． Ｂ． Ｗａｋｉｎ． Ｍ． Ｆ． Ｄｕｒａｔｅ， Ｄ． Ｂａｒｏｎ， Ｓ． Ｓａｒｖｏｔｈａｍ， Ｋ． Ｆ． Ｋｅｌｌｙ ａｎｄ Ｒ． Ｇ． Ｂａｒａｎｉｕｋ， "Ａ Ｎｅｗ Ｃｏｍｐｒｅｓｓｉｖｅ Ｉｍａｇｉｎｇ Ｃａｍｅｒａ Ａｒｃｈｉｔｅｃｔｕｒｅ ｕｓｉｎｇ Ｏｐｔｉｃａｌ−Ｄｏｍａｉｎ Ｃｏｍｐｒｅｓｓｉｏｎ"， Ｐｒｏｃ． ｏｆ Ｃｏｍｐｕｔａｔｉｏｎａｌ Ｉｍａｇｉｎｇ ＩＶ ａｔ ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ， ２００６．

圧縮センシングで前提としている画像のスパース性は、一般画像では必ずしも成立しない。例えば、小物が散らかっているような、ランダム性の高い画像は、スパースになりにくい。そのため、このような画像においては、非特許文献１で開示されている手法を用いても、復元画像の画質が劣化する。よって、上述した従来の技術では、さらなる画像圧縮効率の向上が求められていた。

本願の、限定的ではない例示的なある実施形態は、復元画像の画質を向上させる圧縮センシング技術を提供する。

上記課題を解決するために、本発明の一態様は、撮像システムとして実現される。撮像システムは、アナログ信号であるライトフィールド情報を取得する取得装置と、前記ライトフィールド情報に加算サンプリング処理を行って画像情報を符号化する符号化装置と、符号化装置が符号化した画像情報を復号化する復号化装置とを備えている。符号化装置は、前記加算サンプリング処理の方法を示す加算サンプリング情報を設定する設定部と、設定部が設定した加算サンプリング情報に基づいて、取得装置が取得したライトフィールド情報にアナログ加算処理を行って、新たなアナログ信号を生成するアナログ加算部と、アナログ加算部で生成された新たなアナログ信号をデジタル信号に変換するアナログデジタル変換部と、事前に仮定した奥行きに、被写体が存在するかどうかを推定する推定部と、アナログデジタル変換部が変換した画像のデジタルデータおよび撮像時に利用した加算サンプリング情報を送信する送信部とを備えている。設定部は、推定部の推定結果に基づいて、加算サンプリング情報を変更する。

上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。

本開示の一態様にかかる撮像システムによれば、仮定奥行不一致度推定部が推定した簡易な奥行情報を利用して、加算サンプリング情報を変更しながら撮像を行う。これにより、被写体の奥行方向の情報を考慮して加算サンプリングを実現できるため、より高画質の画像復元が可能である。たとえば上述の処理は、ライトフィールドカメラを用いて多視点の映像を撮影する際、奥行方向に遮蔽物が存在するかどうかに応じて、多視点の映像信号を取得するか、より少ない数の視点の映像信号を取得するかを切り替えることが可能になる。これにより、常時全ての視点の映像信号を取得する場合よりも、画像圧縮効率を高めることができる。

本開示の一実施形態にかかる撮像システム１０のハードウェア構成を示す模式図である。 複眼カメラを利用した際の、本開示の一実施形態にかかる撮像システム１０のハードウェア構成を示す模式図である。 制御回路１３のハードウェアの構成を示す図である。 画像復元回路１５のハードウェア構成例を示す図である。 ４×４の１６画素の配置を示す模式図である。 （ａ）〜（ｈ）は加算サンプリング処理を説明するための模式図である。 ＣＰＵ１５１がコンピュータプログラム１５５を実行することによって実現される画像復元回路１５の機能の詳細を示すブロック図である。 （ａ）〜（ｄ）は、差分画像を利用した復元処理を説明するための模式図である。 本開示の一実施形態にかかる撮像システム１０の構成を示すブロック図である。 本開示の一実施形態にかかる撮像システム１０の構成を示すブロック図である。 本開示の一実施形態にかかるライトフィールド情報取得装置４０と符号化装置５０の主要な処理の手順を示すフローチャートである。 （ａ）および（ｂ）は、仮定奥行不一致度推定部１０６の処理を説明するための模式図である。 （ａ）および（ｂ）は、仮定奥行不一致度推定部１０６の処理を説明するための模式図である。 （ａ）および（ｂ）は、仮定奥行不一致度推定部１０６の処理を説明するための模式図である。 （ａ）および（ｂ）は、対応画素を利用して加算サンプリング情報を設定することで、対応ブロックの不一致度を計算する方法を説明するための模式図である。 （ａ）〜（ｄ）は、対応画素を利用して加算サンプリング情報を設定することで、対応ブロックの不一致度を計算する方法を説明するための模式図である。 本開示の一実施形態にかかる加算サンプリング情報設定部１０３の主要な処理の手順を示すフローチャートである。 圧縮率設定部１１１を設けた符号化装置５０の構成を示すブロック図である。 （ａ）および（ｂ）は、本開示の一実施形態にかかる加算サンプリング情報設定部１０３の加算サンプリング情報の設定方法を説明するための模式図である。 （ａ）および（ｂ）は、本開示の一実施形態にかかる加算サンプリング情報設定部１０３の加算サンプリング情報の設定方法を説明するための模式図である。 （ａ）〜（ｈ）は、本開示の一実施形態にかかる加算サンプリング情報設定部１０３の加算サンプリング情報の設定方法を説明するための模式図である。 （ａ）〜（ｈ）は、本開示の一実施形態にかかる加算サンプリング情報設定部１０３の加算サンプリング情報の設定方法を説明するための模式図である。 （ａ）〜（ｈ）は、本開示の一実施形態にかかる加算サンプリング情報設定部１０３の加算サンプリング情報の設定方法を説明するための模式図である。 本開示の一実施形態にかかる復号化装置３０の主要な処理の手順を示すフローチャートである。 符号化データの表現方法の一例としての、加算サンプリング情報テーブルの例を示した模式図である。 本開示の一実施形態にかかるライトフィールド情報取得装置４０で取得した２５視点の位置関係を示した模式図である。 （ａ）〜（ｄ）は、ハードウェア構成に制約がある場合の加算サンプリング情報設定部１０３の処理について説明するための模式図である。 （ａ）および（ｂ）は、ハードウェア構成に制約がある場合の加算サンプリング情報設定部１０３の処理について説明するための模式図である。 （ａ）〜（ｄ）は、ハードウェア構成に制約がある場合の加算サンプリング情報設定部１０３の処理について説明するための模式図である。 （ａ）〜（ｄ）は、ハードウェア構成に制約がある場合の加算サンプリング情報設定部１０３の処理について説明するための模式図である。 （ａ）〜（ｄ）は、ハードウェア構成に制約がある場合の加算サンプリング情報設定部１０３の処理について説明するための模式図である。 アナログ信号に基づく処理を行う仮定奥行不一致度推定部１０６を含む撮像システム１００の構成を示す。

従来の技術は、復元処理をも考慮した場合には、現時点では圧縮効率が悪かった。

たとえば非特許文献１に開示された圧縮方法では、圧縮センシングの復元処理が非常に膨大になってしまうため、復元処理の実装が困難という課題がある。

ＪＰＥＧやＭＰＥＧのような高効率圧縮手法においても、データ処理量が大きいため、大きな追加回路が必要となり、撮像素子上で実装するのは困難である。

上述した課題は、特に近年注目されている多視点カメラへの応用にあたってより大きな問題となる。

近年、多視点カメラである「ライトフィールドカメラ」と呼ばれる技術が着目されている。通常のカメラでは、撮像素子に入射する光の量を記録するのに対し、ライトフィールドカメラでは、入射する光の量に加え、入射する方向までも記録する。これにより、撮像後に合焦位置を変更し、視点位置を変更し、被写体までの奥行きを推定することができる。ライトフィールドカメラの詳細を後述の実施の形態１の冒頭において改めて説明する。

しかしながら、ライトフィールドカメラは、マイクロレンズや複数のカメラを利用して、複数の視点の画像を同時に撮像するため、高解像度の出力画像を取得するには、データ転送量が膨大になる。

ライトフィールドカメラを用いた撮像時に、上述の圧縮センシング技術を適用することができれば、データ転送量を圧縮することが可能となる。つまり、ライトフィールドカメラにおける膨大なデータ転送量を抑制するために、圧縮センシング技術適用は有力な解決策である。

しかしながら、ライトフィールドカメラに圧縮センシング技術を導入した場合、加算サンプリング処理をどのように行うかが問題であった。

本願発明者らは、ライトフィールドカメラに好適な加算サンプリングを行うためには、被写体までの距離情報が重要であることを見出した。たとえば、被写体がカメラから遠方に存在し、遮蔽物が存在しない場合、視点の異なる複数の撮像画像は互いにほぼ等しくなる。このような撮影条件の場合にはサンプリング数を減らしても、復元時に画質の劣化は生じない。一方、被写体がカメラの近傍に存在したり、遮蔽物が存在したりする場合、視点の異なる複数の撮像画像は互いに大きく異なる。そのため、このような撮影条件の場合には、十分な数の加算サンプリング処理を行うことが復元時の画質の維持には重要である。

なお、後述するように、圧縮センシングは画像単位ではなく、画像の一部の領域単位で行う。したがって、サンプリング数を低減するか否かの判定は、画像の領域単位で行うことが可能である。

ライトフィールドカメラでは、視点位置の異なる画像や、焦点の異なる画像を利用して、特定の被写体までの奥行きを推定することは可能である。しかしながらこれはその被写体を含む複数の画像が得られていることを前提としている。撮影しながら圧縮センシングを行う場合、画像復元はまだ行われていない。さらに必要な画像が得られていない場合もある。画像復元を実施する前の圧縮センシング処理時に距離情報を取得することは難しかった。さらに、圧縮センシングの画像復元処理は、リアルタイムで実施するには処理量が膨大であった。そのため、ライトフィールドカメラに好適な加算サンプリングを実現するためには、撮像時に簡単に距離情報を取得する必要があった。

本願の、限定的ではない例示的なある実施形態は、ライトフィールドカメラに圧縮センシング技術を利用した場合に、復元画像の画質を向上させる、ライトフィールドカメラに最適なサンプリング方法を提供する。

本発明の一態様の概要は以下のとおりである。

本発明の一態様である撮像システムは、アナログ信号であるライトフィールド情報を取得する取得装置と、前記ライトフィールド情報に加算サンプリング処理を行って画像情報を符号化する符号化装置と、前記符号化装置が符号化した画像情報を復号化する復号化装置とを備えた撮像システムであって、前記符号化装置は、前記加算サンプリング処理の方法を示す加算サンプリング情報を設定する設定部と、前記設定部が設定した加算サンプリング情報に基づいて、前記取得装置が取得したライトフィールド情報にアナログ加算処理を行って、新たなアナログ信号を生成するアナログ加算部と、前記アナログ加算部で生成された前記新たなアナログ信号をデジタル信号に変換するアナログデジタル変換部と、事前に仮定した奥行きに、被写体が存在するかどうかを推定する推定部と、前記アナログデジタル変換部が変換した画像のデジタルデータ、および撮像時に利用した加算サンプリング情報を送信する送信部とを備え、前記設定部は、前記推定部の推定結果に基づいて、前記加算サンプリング情報を変更する。

例示的なある実施の形態において、前記取得装置は、複数の視点で撮影された複数の画像を前記ライトフィールド情報として取得し、前記推定部は、同一の対象物を撮影したときに同じ位置に対応する、前記複数の画像中の対応する複数の画素の各画素値の相違に基づいて、前記複数の画像の少なくとも１つに、前記被写体が存在するかどうかを推定する。

例示的なある実施の形態において、前記設定部は、仮定奥行に存在する被写体に対しては加算サンプリング数が少なくなるように加算サンプリング情報を設定する。

例示的なある実施の形態において、前記設定部は、仮定奥行に存在しない被写体に対しては加算サンプリング数が多くなるように加算サンプリング情報を設定する。

例示的なある実施の形態において、前記設定部は、加算サンプリング情報のパターンを変更することで、加算サンプリング数を変更する。

例示的なある実施の形態において、前記設定部は、前記ライトフィールド情報取得部が取得した特定の視点の画像情報に対してのみ、加算サンプリング情報を変更する。

例示的なある実施の形態において、前記設定部は、加算サンプリング情報のパターンを削除することで、加算サンプリング数が少なくなるように加算サンプリング情報を設定する。

例示的なある実施の形態において、前記設定部は、事前に仮定した仮定奥行に被写体が存在する場合の、前記取得装置における各視点画像間の対応点を利用して、加算サンプリング情報を設定する。

例示的なある実施の形態において、前記設定部は、仮定奥行を無限遠に設定する。

例示的なある実施の形態において、前記設定部は、設置時の前記撮像装置の位置情報と向き情報を利用して仮定奥行を設定する。

例示的なある実施の形態において、前記推定部によって、被写体が前記仮定奥行に存在しないと推定された場合、前記設定部は前記仮定奥行を近傍に変更する。

例示的なある実施の形態において、前記推定部は、前記アナログ加算部によって生成された前記新たなアナログ信号に基づいて、前記被写体が存在するかどうかを推定する。

例示的なある実施の形態において、前記設定部は、加算サンプリング処理が行われたか否かを示す圧縮センシング情報をさらに生成し、前記送信部は、前記圧縮センシング情報をさらに送信する。

本発明の他の一態様の概要は以下のとおりである。

本発明の一態様である撮像装置は、アナログ信号であるライトフィールド情報を取得する取得装置と、前記ライトフィールド情報に加算サンプリング処理を行って画像情報を符号化する符号化装置とを備えた撮像装置であって、前記符号化装置は、前記サンプリング処理の方法を示す加算サンプリング情報を設定する設定部と、前記設定部が設定した加算サンプリング情報に基づいて、前記取得装置が取得したライトフィールド情報にアナログ加算処理を行って、新たなアナログ信号を生成するアナログ加算部と、前記アナログ加算部で生成された前記新たなアナログ信号をデジタル信号に変換するアナログデジタル変換部と、事前に仮定した奥行に、被写体が存在するかどうかを推定する推定部と、前記アナログデジタル変換部が変換した画像のデジタルデータと、撮像時に利用した加算サンプリング情報とを送信する送信部とを備え、前記設定部は、前記推定部の推定結果に基づいて、前記加算サンプリング情報を変更する。

本発明のさらに他の一態様の概要は以下のとおりである。

本発明の一態様である撮像方法は、アナログ信号であるライトフィールド情報に加算サンプリング処理を行って新たなアナログ信号を生成し、前記新たなアナログ信号をデジタル信号に変換し、事前に仮定した奥行きに、被写体が存在するかどうかを推定し、推定結果に基づいて、前記加算サンプリング処理の方法を示す加算サンプリング情報を設定し、変換された前記デジタル信号を画像のデジタルデータとして送信し、撮像時に利用した加算サンプリング情報を送信する。

以下、添付の図面を参照しながら、本開示による撮像システムの実施形態を説明する。

（実施の形態１）
まず本実施の形態にかかる撮像システムを説明する前に、ライトフィールドカメラを簡単に説明する。

通常のカメラで被写体を撮影すると、メインレンズの被写界深度内にフォーカスされた画像が生成される。焦点位置を変えた画像を得るためには、メインレンズの位置を変えて都度撮影する必要がある。

ライトフィールドカメラとは、たとえば１台で多視点画像を取得するカメラである。多視点画像を利用することにより、撮影後に視点の移動を行い、合焦位置を変更し、または被写体までの距離を測ることが可能となる。

多視点画像を取得するために、たとえばカメラの撮像素子の前に複数のマイクロレンズが配列される。各マイクロレンズは異なる焦点距離を持っている。また1つのマイクロレンズを透過した光は撮像素子の複数の画素に入射する。撮像素子の各画素に注目すると、１つの画素には複数の焦点位置を有する光が同時に入射することになる。撮像素子から出力された画像信号を再構築処理することで、メインレンズの焦点距離を変えることなく、様々な焦点画像を得ることができる。

以下の説明では、複数の焦点位置を有する画像情報（アナログ形式）を、ライトフィールド情報と呼ぶことがある。またライトフィールド情報によって表現される画像をライトフィールド画像と呼ぶことがある。

図１は、本開示の一実施形態にかかる撮像システム１０のハードウェア構成を示す模式図である。ここでは、マイクロレンズ（不図示）を利用し、ライトフィールド情報を一つの撮像素子でセンシングする。撮像システム１０は、ライトフィールド画像を撮像する撮像素子１１と、マルチプレクサ（ＭＵＸ）１２と、制御回路１３と、ＡＤＣ１４と、画像復元回路１５とを備えている。本明細書においてはライトフィールド情報はアナログ信号である。

撮像素子１１は、複数の画素から構成される画素アレイである。撮像素子１１は、受光した光信号を電気信号に変換する。より具体的には、撮像素子１１の各画素は、光を受け、入射した光の量に応じた電荷を蓄積し、出力する。

マルチプレクサ１２は、複数の画素の画素値（電荷信号）を加算する処理を行う。この処理は、アナログ加算処理、または加算サンプリング処理と呼ばれる。より具体的には、アナログ加算処理とは、ある位置の画素の電荷信号に、その位置から所定の関係にある位置の画素の電荷信号をサンプリングして加算し、新たな信号を生成する処理をいう。アナログ加算処理は、アナログの電荷信号に関して行われ、得られる信号もまたアナログの電荷信号である。本実施の形態による加算サンプリング処理の詳細は後述する。

制御回路１３は、マルチプレクサ１２におけるアナログ加算処理を制御するための制御信号を生成してマルチプレクサ１２に出力する。この制御信号は、後述の加算サンプリング情報である。

ＡＤＣ１４は、アナログ加算処理の結果得られたアナログの電荷信号をデジタルデータに変換することで、加算サンプリング処理を行う。より具体的には、加算サンプリング処理とは、ある位置の画素の電荷信号に、その位置から所定の関係にある位置の画素の電荷信号をアナログ加算し、さらに、デジタルデータに変換することで、新たな信号を生成する処理をいう。加算サンプリング処理は、アナログの電荷信号に関して行われ、得られる信号はデジタル信号である。本実施形態による加算サンプリング処理の詳細は後述する。ＡＤＣ１４は、たとえばΔΣ変調器およびデジタルフィルタ（いずれも不図示）を直列に接続して構成されるΔΣ型ＡＤＣである。ΔΣ変調器は、アナログ信号を受け取って、想定されるサンプリングレートよりも高速でサンプリングされた１ビットのパルス波形（デジタル波形）に変換する。デジタルフィルタは、そのパルス波に帯域制限とデシメーション（間引き）を行い、想定されるサンプリングレートの多ビットのデジタルデータを出力する。

画像復元回路１５は、ＡＤＣ１４によって変換されたデジタルデータから、圧縮センシング技術を用いて撮像素子１１によって当初生成されたであろう画像を生成する。この処理を、本明細書では「画像を復元する」と呼ぶ。

また、図２は、ライトフィールド画像を撮像する際に、複眼カメラを利用した際の、撮像システム１０のハードウェア構成を示す模式図である。この場合、複数のカメラごとに撮像素子１１と、マルチプレクサ１２と、制御回路１３と、ＡＤＣ１４を有する。

ここで、図３および図４を参照しながら、制御回路１３および画像復元回路１５のハードウェア構成例を説明する。

図３は、制御回路１３のハードウェアの構成を示す。本願明細書では、制御回路１３および画像復元回路１５は単一の回路ではなく、ＣＰＵやメモリ等が実装された回路であるとして説明する。

制御回路１３は、ＣＰＵ１３１と、メモリ１５２と、バス１３３と、インタフェース（Ｉ／Ｆ）１３４とを有している。

ＣＰＵ１３１は、メモリ１３２上のコンピュータプログラム１３５を実行して、圧縮センシングを行うか否かを判定し、その結果を示す圧縮センシング情報を生成する。圧縮センシングを行うと判定した場合、ＣＰＵ１３１は、併せて加算サンプリング情報を生成する。加算サンプリング情報は、複数の画素の各々から得られた画素信号を用いて行われる加算サンプリング処理のサンプリング方法を特定する情報である。本実施の形態においては、ＣＰＵ１３１は、被写体の奥行きに応じてサンプリング方法を変更させるための加算サンプリング情報を生成する。なお、圧縮センシングを行わない場合には、加算サンプリング情報を送信しなくてもよい。

加算サンプリング処理の一般的な説明は、後の画像復元処理とともに説明する。

ＣＰＵ１３１は、生成した圧縮センシング情報および加算サンプリング情報を、バス１３３およびＩ／Ｆ１３４を介して、制御信号としてマルチプレクサ１２に出力する。これにより、制御回路１３は、マルチプレクサ１２において行われる加算サンプリング処理のサンプリング方法を変更させることが可能となる。この処理の詳細は、後に詳述する。

図４は、画像復元回路１５のハードウェア構成例を示す。

画像復元回路１５は、ＣＰＵ１５１と、メモリ１５２と、バス１５３と、インタフェース（Ｉ／Ｆ）１５４とを有している。Ｉ／Ｆ１５４は、デジタル映像信号、圧縮センシング情報、および状況に応じて加算センシング情報を受け取る。デジタル映像信号は、圧縮サンプリングが行われた、あるいは行われていない画像に関するデジタル信号である。上述のように、圧縮サンプリングが行われたか否かは、圧縮センシング情報によって示される。圧縮サンプリングが行われた場合には加算サンプリング情報がそのサンプリング方法を示している。圧縮センシング情報を送信せずに、加算サンプリング情報の有無によって圧縮センシングが行われたかどうかを判断してもよい。

なお、圧縮センシングが実際には行われない場合にも、制御回路１３（図３）は加算サンプリング情報を生成してもよい。この場合、加算サンプリング情報は、圧縮センシングを実質的に行わない処理を特定する情報となる。そして制御回路１３は圧縮センシング情報も併せて生成する。画像復元回路１５は、その圧縮センシング情報を利用して圧縮サンプリングが行われたか否かを判断することができる。

Ｉ／Ｆ１５４は、受信した映像のデジタル信号を、バス１５３を介してメモリ１５２に送信する。メモリ１５２はそのデジタル信号に対応するデジタルデータを格納する。ＣＰＵ１５１はメモリ１５２上のコンピュータプログラム１５５を実行して所定の処理を行う。たとえばＣＰＵ１５１は、圧縮センシング情報が、圧縮センシングが行われたことを示しているか否かを判定する。圧縮センシングが行われたことを示している場合には、ＣＰＵ１５１はさらに加算サンプリング情報を参照して、加算サンプリング方法を特定する。そしてその加算サンプリング方法に従い、ＣＰＵ１５１はメモリ１５２に格納されたデジタルデータから、撮像素子１１によって当初生成されたであろう画像を復元する。

ここで、これまでに言及した加算サンプリング処理および画像復元処理を説明する。以下では説明の簡略化のため、４×４の１６画素に対し、８個の信号を出力する処理を例に挙げて説明する。

図５は、本明細書において例示する４×４の１６画素の配置を示す。図５には４×４の各画素に画素番号を付している。すなわち、４×４画素において、左上隅の画素から右方向に順に「１」「２」「３」「４」とし、同様に、次行の左端の画素から「５」「６」…とし、右下隅の画素を「１６」としている。例えば画素４０１は画素番号４の画素である。

図６は加算サンプリング処理を説明するための模式図である。加算サンプリング処理は、加算サンプリング情報に基づいてマルチプレクサ１２によって行われる。

図６（ａ）〜（ｈ）はそれぞれ、ｔ＝１における８個の出力信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。つまり、図６（ａ）〜（ｈ）の各々において番号が付された各画素は、加算サンプリング処理に用いられる画素を表している。本明細書では、図６（ａ）〜（ｈ）の各々に示されるような、加算サンプリング処理に用いられるひとまとまりの画素群を「読み出し画素群」と呼ぶ。図６（ａ）〜（ｈ）には、番号１−８がそれぞれ付された読み出し画素群２−９が示されている。なお記載の便宜上、参照符号は読み出し画素群の画素の一つのみを指し示している。以下でも同様である。

図６（ａ）では、画素番号１，２，５，６の電荷信号を読み出し、この４画素分の電荷信号を加算処理することで、ｔ＝１の第１の出力信号を生成している。同様に、図６（ｂ）では、画素番号３，４，７，８の電荷信号を読み出し、この４画素分の電荷信号を加算し、ｔ＝１の第２の出力信号を生成している。図６（ｃ）では、画素番号９，１０，１３，１４の電荷信号を読み出し、この４画素分の電荷信号を加算し、ｔ＝１の第３の出力信号を生成している。図６（ｄ）では、画素番号１１，１２，１５，１６の電荷信号を読み出し、この４画素分の電荷信号を加算し、ｔ＝１の第４の出力信号を生成している。図６（ｅ）〜（ｆ）においても同様に、画素番号１，６，１１，１６からｔ＝１の第５の出力信号を、画素番号３，８，９，１４からｔ＝１の第６の出力信号を、画素番号２，５，１２，１５からｔ＝１の第７の出力信号を、画素番号４，７，１０，１３からｔ＝１の第８の出力信号を生成している。

このようにして、４×４＝１６画素分の電荷信号を８個の出力信号に圧縮する。これにより、後述のアナログデジタル変換部２０５の動作速度を減少させることができるため、低消費電力化、高ＳＮ化、通信帯域の削減を実現しながら、画像を復元できる。

また、前述の加算サンプリング情報は、例えば、加算のためにサンプリングされた画素を「１」、サンプリングされていない画素を「０」として、図に示した画素番号順に符号化したデータとして表現する。具体的には以下のとおりである。
第１の出力信号：“１１００ １１００ ００００ ００００”
第２の出力信号：“００１１ ００１１ ００００ ００００”
第３の出力信号：“００００ ００００ １１００ １１００”
第４の出力信号：“００００ ００００ ００１１ ００１１”
第５の出力信号：“１０００ ０１００ ００１０ ０００１”
第６の出力信号：“００１０ ０００１ １０００ ０１００”
第７の出力信号：“０１００ １０００ ０００１ ００１０”
第８の出力信号：“０００１ ００１０ ０１００ １０００”

そこで、これらを連結すると、ｔ＝１での加算サンプリング情報は以下のとおりとなる。
“１１００ １１００ ００００ ００００ ００１１ ００１１ ００００ ００００ ００００ ００００ １１００ １１００００００ ００００ ００１１ ００１１ １０００ ０１００ ００１０ ０００１ ００１０ ０００１ １０００ ０１００ ０１００ １０００ ０００１ ００１０ ０００１ ００１０ ０１００ １０００”

ここで、撮像画像と加算サンプリング出力信号をベクトル表記する。図５の画素番号順に撮像画像の画素値を並べた撮像画像ベクトルをｘ、第１〜第８の加算サンプリング出力信号を並べた出力信号ベクトルをｙとすると、以下の関係式が成り立つ。

行列Ｓは、サンプリング行列である。たとえばｔ＝１に関して上述した加算サンプリング情報を行列表現したサンプリング行列Ｓは、以下のように表現される。

以上の加算サンプリング処理により、１６画素分の電荷信号を８個の出力信号に圧縮することができる。

次に、画像復元処理を説明する。

図７は、図４のＣＰＵ１５１がコンピュータプログラム１５５を実行することによって実現される画像復元回路１５の機能の詳細を示すブロック図である。なお、ＣＰＵ１５１によって実現する代わりに、それぞれに対応する信号処理回路を設けてもよい。

画像復元回路１５は、平均信号生成部１０５６と、平均信号保持部１０５７と、差分信号生成部１０５８と、差分画像復元部１０５９とを備えている。

差分信号生成部１０５８は、ＡＤＣ１４が出力するデジタル信号と、後述する平均信号保持部１０５７が保持している復元画像の時間的な平均画像信号との差分信号を計算する。

ＡＤＣ１４が出力するデジタル信号は、マルチプレクサ１２の出力信号に対応しているため、画像そのものを表す信号ではない。一方、平均信号保持部１０５７に保持されている時間平均信号は、復元された画像信号である。そのため、そのまま差分処理を行って差分信号を計算することができない。そこで、差分信号生成部１０５８は、時間平均画像信号を、加算サンプリング情報を利用して加算サンプリング処理を行った後に、差分処理を行う。

数１より、加算サンプリング部１０５４の出力信号に対応した時間平均信号ｙａは、平均信号保持部１０５７が保持している平均画像信号ｘａを利用して、次式で計算される。

数３を利用することで、図７に示す差分信号生成部１０５８は、加算サンプリング処理されている信号y（数１）と、時間平均画像信号ｙａ（数３）との差分信号(ｙ-ｙａ)を計算することができる。

なお、平均信号保持部１０５７には、数３により加算サンプリング処理した後の、デジタル化された時間平均信号を保持するようにしてもかまわない。その場合にはＡＤＣ１４が出力するデジタル信号と、当該時間平均信号との差分を容易に計算することが可能である。

差分画像復元部１０５９は、差分信号生成部１０５８が生成した差分信号と、加算サンプリング情報設定部１０５３が設定した加算サンプリング情報とを利用して、差分信号に対応する画像（差分画像）を復元する。さらに、復元されたその差分画像と平均信号保持部１０５７が保持している時間平均画像との加算処理を行うことで、復元画像を生成する。この復元処理は、圧縮センシングで広く使われている、Ｉｍｐｒｏｖｅｄ Ｉｔｅｒａｔｉｖｅ Ｃｕｒｖｅｌｅｔ Ｔｈｒｅｓｈｏｌｄｉｎｇ法（例えば非特許文献１を参照）やアフィンスケーリング法（例えば非特許文献４を参照）、Ａｌｔｅｒｎａｔｉｎｇ Ｄｉｒｅｃｔｉｏｎ Ｍｅｔｈｏｄ ｏｆ Ｍｕｌｔｉｐｌｉｅｒｓ法（例えば非特許文献５を参照）などの公知の手法を利用すればよい。

圧縮センシングでは、入力画像をある空間へ射影した際、その係数ベクトルのスパース性が高くなるほど、復元画質が向上することが知られている。すなわち、入力画像をスパースに表現できる空間を利用することが、復元画質の向上には重要である。以下、時間平均画像との差分信号である差分画像を入力画像とすることで、スパース性が高くなることを説明する。

図８（ａ）〜（ｄ）は、差分画像を利用した復元処理を説明するための模式図である。図８（ａ）は、時刻ｔ＝１において、背景１０６１の前を移動している人物（動領域）１０６２を撮像した画像１０６３を示す。図８（ｂ）は、図８（ａ）と同じシーンを時刻ｔ＝２に撮像した画像１０６４を示している。

図８（ｃ）は、このように撮影した複数枚の画像から計算した時間平均画像１０６５を示す。図８（ｃ）に示される時間平均画像１０６５は、図８（ａ）および（ｂ）に示す２枚の画像のみから得られた平均画像ではなく、人物（動領域）１０６２が移動を継続するさらに他の画像をも含めた平均画像を示していることに留意されたい。背景１０６１は時間に依存せず、画像の同じ位置で撮像されるため、時間平均画像においても同じ位置に存在する。一方、動領域１０６２は時間毎に位置が変わるため、時間平均画像では存在しない。そこで、時間平均画像を作成することで、動領域１０６２は存在せず、背景１０６１のみが存在する画像を作成することができる。

図８（ｄ）は、時刻ｔ＝２に撮像した画像１０６４と、時間平均画像１０６５との差分画像１０６６を示す。図中の白い領域１０６７は差分値が存在する領域である。なお図８（ｄ）では、参照符号１０６７の引出線も白く示されているが、これは記載の便宜のためである。

前述のように、圧縮センシングに基づいた復元画像の画質は、画像のスパース性に大きく依存する。そのため、小さな人形や模様のある絨毯のような細かいテクスチャを復元するには不向きである。一方、時間平均画像とその差分画像を利用した場合、このような画質を上げることが難しい細かいテクスチャは背景に含まれることが多いので、差分画像には含まれない。そのため、差分画像のスパース性は高くなる。また、フレーム間で相関のある信号成分がキャンセルされるという観点からも、差分画像のスパース性は高くなる。そこで、高画質の時間平均画像を取得できれば、差分画像のみを圧縮センシングに基づいて画像復元することで、高画質の復元画像を得ることができる。

図７の平均信号生成部１０５６は、差分画像復元部１０５９が復元した復元画像の時間平均画像を生成する。これは、例えば、以下のＩＩＲフィルタを利用することで実現する。

ただし、Ａ（ｋ）はフレームｋでの時間平均画像、Ｉ（ｋ）はフレームｋでの復元画像、Ｍは０≦Ｍ≦１を満たす正の定数である。

もちろん、平均信号生成部１０５６は、IIRフィルタではなく、複数のフレームメモリを利用して、次式のＦＩＲフィルタとして実現してもかまわない。

ただし、Ｎは時間平均処理に利用するフレーム数であり、正の定数である。

もちろん、平均信号生成部１０５６は、公知のノイズ抑制手法を利用することにより、画質を向上させるようにしてもかまわない。ノイズ抑制手法を利用することで、時間平均画像の画質を向上させることができる。

平均信号保持部１０５７は、平均信号生成部１０５６が生成した時間平均信号を保持し、差分信号生成部１０５８へ時間平均信号を送信する。これは、１フレーム分の画像フレームメモリにより実現される。

以上説明したとおり、圧縮サンプリング処理、および画像復元処理が行われる。なお、本実施の形態では、加算サンプリング処理における加算サンプリング方法を、被写体の奥行きを考慮して変更する。上述の処理とはさらに異なる処理であることに留意されたい。

図９は、本実施の形態にかかる撮像システム１０の構成を示すブロック図である。撮像システム１０は、撮像装置２０と、復号化装置３０とを備えている。撮像装置２０は、撮像の結果得られた画像信号を符号化して出力する。復号化装置３０は、撮像装置２０から送信された、符号化された画像信号を用いて画像を復号化および復元する。

撮像装置２０は、ライトフィールド情報取得装置４０と、符号化装置５０とを備えている。

ライトフィールド情報取得装置（以下「取得装置」と略記する。）４０は、光電変換部１０１と、電荷保持部１０２とを備えている。光電変換部１０１および電荷保持部１０２は、図１における撮像素子１１に対応する。

符号化装置５０は、図１のマルチプレクサ１２、制御回路１３、およびＡＤＣ１４に対応する。

復号化装置３０は、図１における画像復元回路１５に対応する。

本開示の一態様における撮像システム１０の撮像装置２０は、圧縮センシングの手法を用いて、アナログデジタル変換前の画像信号を圧縮する。撮像装置２０は、アナログ信号をデジタルデータへと変換して出力する。復号化装置３０はそのデジタルデータから画像を復元する。

圧縮処理および復元処理において、加算サンプリング処理は、最終的に出力される画質に大きく影響するため、如何にそれらの処理を行うかが問題である。

圧縮処理に関しては、画素に行われる加算サンプリング処理のサンプリング方法（加算サンプリング情報）を被写体の奥行きによって異なるように設定し、電荷保持部が保持している電荷信号を複数の画素において加算サンプリング情報にしたがってアナログ加算処理する。

復元処理に関しては、圧縮センシングの技術を利用して、画像を復元する。

本開示にかかる撮像システム１０によれば、仮定した奥行きに被写体が存在すると推定された領域のサンプリング数を少なく、仮定した奥行きに被写体が存在しないと推定された領域のサンプリング数を多くなるように加算サンプリング情報を変更しながら撮像を行う。これにより、復元処理を行わなくても、被写体の奥行情報からライトフィールドカメラに最適な加算サンプリング情報を設定できるため、より高画質の画像復元が可能である。さらに、加算サンプリング処理により、ＡＤＣの駆動周波数を下げられるため、低消費電力化、高ＳＮ化、通信帯域の削減を実現できる。

なお、図９においては撮像装置２０と復号化装置３０とは別体であるが、撮像装置２０が復号化装置３０を含んでもよい。ＡＤＣ前に画像を圧縮して上述の利点を少なくとも１つ得ることができれば、必ずしも撮像装置２０と復号化装置３０とを別個の装置内に設ける必要はない。

図１０は、本実施の形態による撮像システム１０の構成を示すブロック図である。また、図１１は、本実施の形態による取得装置４０と符号化装置５０の主要な処理の手順を示すフローチャートである。

取得装置４０は、光電変換部１０１と、電荷保持部１０２を備えている。

符号化装置５０は、加算サンプリング情報設定部１０３と、アナログ加算部１０４と、アナログデジタル変換部１０５と、仮定奥行不一致度推定部１０６と、送信部１０７を備えている。

復号化装置３０は、受信部１０８と、画像復元部１０９と、出力部１１０を備えている。

符号化装置５０の送信部１０７、および復号化装置３０の受信部１０８は通信を行って、アナログデジタル変換部の出力信号である画像のデジタルデータと撮像時に利用した加算サンプリング情報とを授受する。通信は、無線または有線の通信回線（ネットワーク）を介して行われる。

符号化装置５０の送信部１０７、および復号化装置３０の受信部１０８は通信を行って、画像のデジタルデータと撮像時に利用した加算サンプリング情報とを授受する。通信は、無線または有線の通信回線（ネットワーク）を介して行われる。

なお、符号化装置５０は、画像のデジタルデータおよび撮像時に利用した加算サンプリング情報を常にリアルタイムで復号化装置３０に送信する必要はない。例えば送信部１０７に代えて、記録媒体を設け、その記録媒体に画像のデジタルデータおよび加算サンプリング情報を書き込んでもよい。記録媒体は符号化装置５０に内蔵され、または符号化装置５０の外部に設けられ得る。記録にあたっては他の圧縮符号化技術を複合的に用いてもよい。そして記録媒体から読み出された画像のデジタルデータおよび加算サンプリング情報が復号化装置３０に送信されればよい。この構成例は以下の実施の形態においても同様に適用される。

取得装置４０および符号化装置５０の各構成要素の動作を、図１１を参照しながら説明する。

まず、取得装置４０の処理を詳述する。

光電変換部１０１は複数の画素を有しており、各画素は、受光した光をその光量に応じた電気信号に変換することで、ライトフィールド情報を取得する（ステップＳ１０１）。複数の画素は例えば、フォトダイオードなどの光電変換素子を２次元状に配列することによって実現される。また、ライトフィールド情報を取得するため、光電変換部を構成する画素は、単一のレンズから受光するのではなく、マイクロレンズや位置の異なる複数のレンズを通過した光を受光する。

電荷保持部１０２は、光電変換部１０１によって得られた電気信号を一定時間蓄積し、電荷信号として保持する（ステップＳ１０２）。これは、電荷の保持に利用するメモリを画素ごとに設置すればよい。

次に、符号化装置５０の処理を詳述する。

加算サンプリング情報設定部（以下「設定部」と略記する。）１０３は、以下の２つの方式に従って、アナログ加算部１０４およびアナログデジタル変換部１０５によって加算サンプリング処理が実行されるように、加算サンプリング情報を設定する（ステップＳ１０３）。

１．視点２の撮像画像に対する加算サンプリング情報は、仮定奥行に被写体が存在する場合の、別の視点１での撮像画像に対する加算サンプリング情報に等しい。

２．仮定奥行に存在する被写体に関しては加算サンプリング数を少なく、仮定奥行に存在しない被写体に関しては加算サンプリング数を多くする。

この加算サンプリング処理の詳細に関しては、後述する。

加算サンプリング情報は、アナログ加算部１０４およびアナログデジタル変換部１０５が実行する処理の内容を特定するための情報である。具体的には、加算サンプリング情報は、加算サンプリング処理後の新たな出力信号の各信号値について、元の電荷信号において加算に用いる画素の位置、どの程度のゲインを与えて加算するかという画素のゲイン情報、さらに、加算した出力信号をどの順番で送信するかという順序情報である。具体例は後述する。なお、加算サンプリング処理が行われない場合であっても、設定部１０３は加算サンプリング情報を生成してもよい。その場合、加算サンプリング情報は加算が実質的には行われないことを示すことになる。

また設定部１０３は、加算サンプリング処理が行われたか否かを示す圧縮センシング情報を生成してもよい。加算サンプリング情報を生成する設定部１０３は、加算サンプリング処理が実質的に行われたか否かを知っているからである。

アナログ加算部１０４は、電荷保持部１０２が保持している複数の画素の電荷信号に対して、設定部１０３が設定した加算サンプリング情報に基づいてアナログ加算処理し、新たな信号を生成し出力する（ステップＳ１０４）。

アナログデジタル変換部１０５は、アナログ加算部１０４で生成された信号をデジタル信号に変換する（ステップＳ１０５）。この処理は、上述のΔΣ型ＡＤＣを利用して行われてもよいし、広く知られているパイプライン型やカラム型のアナログデジタル変換器を利用して行われてもよい。

アナログ加算部１０４が加算サンプリング処理を行うことによって、画像情報を圧縮することができ、アナログデジタル変換部１０５に送信する信号量、つまりアナログデジタル変換部１０５が処理すべき信号量を減らすことができる。画像復元部１０９は、撮像に利用した加算サンプリング情報を用いることによって、圧縮された画像情報から、画像を復元することができる。

仮定奥行不一致度推定部（以下「推定部」と略記する。）１０６は、事前に仮定した奥行きに、被写体が存在するかどうかを推定する（ステップＳ１０６）。これは、事前に奥行きを仮定することでライトフィールドの各視点間の対応を求め、その対応に合わせた加算サンプリング処理を行うことで実現する。この処理について詳述する。

図１２〜図１４は、推定部１０６の処理を説明するための模式図である。図１２（ａ）および（ｂ）は、取得装置４０を利用して撮像したライトフィールド情報を、２つの異なる視点の画像として表示した模式図である。図１２（ａ）は、背景２０１の前を移動している人物２０２を、視点１で撮像した画像２０３を示している。図１２（ｂ）は、図１２（ａ）と同じシーンを、別の視点２で撮像した画像２０４を示している。ここで、カメラの焦点距離やレンズの歪みなどのカメラ内部パラメータと、カメラの位置と光軸方向であるカメラ外部パラメータは既知とする。カメラから被写体までの奥行きを仮定奥行として仮定した場合、その被写体が視点１と視点２で撮像される画素位置（対応画素と呼ぶ）を計算できる。図１３は、この対応画素を示した模式図である。ここでは、背景２０１までの距離を仮定奥行とした例を示している。視点２の画素２０６は、視点１の画素２０５の対応画素であり、視点２の画素２０８は、視点１の画素２０７の対応画素である。図１４は、取得装置４０で取得した、視点１と視点２の撮像画像に対し、背景２０１までの距離を仮定奥行とした対応画素を示した模式図である。画素２０５およびその対応画素２０６は、仮定した奥行きに存在する被写体２０１を撮像している。つまり、被写体である背景と撮像装置２０の間に遮蔽物がないため、画素２０５と対応画素２０６の画素値（輝度値）はほとんど等しいものとなる。次に、画素２０７およびその対応画素２０８を考える。視点１の画素２０７は、仮定した奥行きの背景と撮像装置２０の間に遮蔽物となる人物２０２が存在するため、画素２０７とその対応画素２０８の輝度差は大きく異なる。そのため、対応画素の輝度差の絶対値や輝度差の二乗値を計算することで、仮定奥行に被写体が存在するかどうかを推定することができる。具体的には、推定部１０６は、この対応画素を複数集めた対応ブロックを利用することで、仮定奥行に被写体が存在するかどうかを推定する。

図１５および図１６は、対応画素を利用して加算サンプリング情報を設定することで、対応ブロックの不一致度を計算する方法を説明するための模式図である。この図において、ブロック２０９および対応ブロック２１０はそれぞれ４×４画素からなり、ブロック内の各画素は、対応画素となっている。すなわち、ブロック２０９の左上の画素は、被写体が仮定奥行に存在する場合、対応ブロック２１０の左上の画素が対応点となっている。このとき、ブロック２０９と対応ブロック２１０の加算サンプリング情報の一部が等しくなるように加算サンプリング情報を設定する。図１６は、図１５におけるブロック２０９とその対応ブロック２１０の加算サンプリング情報の模式図である。図１６（ａ）および（ｂ）は、ブロック２０９における２個の出力信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。また、図１６（ｃ）および（ｄ）は、対応ブロック２１０における２個の出力信号の各々が、どの画素からの電荷信号を加算して得られるかを示した模式図である。つまり、図１６（ａ）〜（ｄ）の各々において番号が付された各画素は、アナログ加算処理し、加算サンプリングに用いられる画素を表している。本明細書では、図１６（ａ）〜（ｄ）の各々に示されるような、加算サンプリング処理に用いられるひとまとまりの画素群を「読み出し画素群」と呼ぶ。図１６（ａ）〜（ｄ）には、番号１，２がそれぞれ付された読み出し画素群３０１−３０４が示されている。なお記載の便宜上、参照符号は読み出し画素群の画素の一つのみを指し示している。以下でも同様である。この図のように、設定部１０３は、いくつかのデータに関しては、画像内の位置ではなく、対応画素の位置関係に基づいてサンプリング情報を設定する。このような加算サンプリング情報を設定すると、推定部１０６は、ブロック２０９と対応ブロック２１０の１番目の加算サンプリングデータどうしを比較するだけで、仮定奥行に被写体が存在するかどうかを推定することができる。これは、もし、ブロック２０９と対応ブロック２１０の画像が等しい場合、その加算値である加算サンプリングデータも等しくなるためである。

ここで、ブロック２０９のｎ番目の加算サンプリングデータをＭ１（ｎ），対応ブロック２１０のｎ番目の加算サンプリングデータをＭ２（ｎ）とすると、推定部１０６は、以下の式を満たす場合に仮定奥行に被写体が存在すると推定すればよい。
（数６）
｜Ｍ１（１）−Ｍ２（１）｜＜Ｔｈ１ かつ ｜Ｍ１（２）−Ｍ２（２）｜＜Ｔｈ２．
ただし、Ｔｈ１およびＴｈ２は閾値である。

設定部１０３は、推定部１０６の推定結果を用いて、加算サンプリング情報を設定する（ステップＳ１０７）。図１７は、設定部１０３の主要な処理の手順を示すフローチャートである。まず、設定部１０３は、被写体が仮定奥行に存在するかどうかを確認するため、（数６）を利用して、推定部１０６が推定した仮定奥行不一致度と閾値Ｔｈ１およびＴｈ２を比較する（ステップＳ１０９）。仮定奥行不一致度が閾値以下の場合（ステップＳ１０９でＹｅｓ）、被写体は仮定奥行上に存在し、複数の視点から遮蔽なく撮像されていると推定されるため、加算サンプリングのサンプリング数が少なくなるように加算サンプリング情報を設定する（ステップＳ１１０）。また、仮定奥行不一致度が閾値よりも大きい場合（ステップＳ１０９でＮｏ）、被写体は遮蔽などの影響で仮定奥行上に存在せず、複数の視点から撮像されていない可能性があると推定されるため、加算サンプリングのサンプリング数が多くなるように加算サンプリング情報を設定する（ステップＳ１１１）。ここで、設定部１０３は、事前に設定した圧縮率から、加算サンプリング情報を設定する。例えば、圧縮率を１／４〜１／２に設定する場合、ステップＳ１１０では圧縮率が１／４となるように、ステップＳ１１１では圧縮率が１／２となるように、サンプリング情報を設定すればよい。図１６に示したように、４×４画素のブロックを利用する場合、このような加算サンプリングを設定するためには、ステップＳ１１０では４回のサンプリングを、ステップＳ１１１では８回のサンプリングを行えばよい。これにより、被写体が仮定奥行上に存在する場合は圧縮率１／４、存在しない場合は圧縮率１／２となるため、全体の圧縮率を１／４〜１／２に設定できる。このように事前に設定した圧縮率から、加算サンプリング情報を設定することで、ライトフィールドカメラに最適な加算サンプリング情報を設定できることができるため、より高画質の画像復元が可能である。

また、符号化装置５０は、さらに圧縮率設定部１１１を有し、圧縮率を事前に設定するのではなく、撮像者が設定するようにしてもかまわない。図１８は、このような撮像システム１０の構成を示すブロック図である。圧縮率設定部１１１は、ユーザインターフェイスであり、例えば、ユーザが圧縮率を「低」「中」「高」から選択するようにすればよい。ユーザが圧縮率「低」を選択した場合は、ステップＳ１１０では圧縮率を１／２、ステップＳ１１１では圧縮率を１（圧縮せず）に、圧縮率「中」を選択した場合は、ステップＳ１１０では圧縮率を１／４、ステップＳ１１１では圧縮率を１／２に、圧縮率「高」を選択した場合は、ステップＳ１１０では圧縮率を１／８、ステップＳ１１１では圧縮率を１／４となるように、サンプリング情報を設定する。このようにすることで、ユーザの意図を反映した最適な加算サンプリング情報を設定できることができる。

加算サンプリング数を変更するには、加算サンプリング情報のパターンを変更すればよい。図１９〜図２３は、このような設定部１０３の加算サンプリング情報の設定方法を説明するための模式図である。これらの図において、図１２〜図１６と同じ構成要素には、同一の符号を付し、説明を省略する。図１９は、２つのブロック２０９、２１１およびその対応ブロック２１０、２１２を示した模式図である。また、図２０は、図１２と同一のシーンを、取得装置４０を利用して撮像した際の、２つのブロック２０９、２１１、およびその対応ブロック２１０、２１２を示した模式図である。ブロック２０９は仮定奥行に存在する背景２０１に対応するが、ブロック２１１は仮定奥行より近傍に存在する人物２０２に対応する。そのため、ブロック２０９とその対応ブロック２１０の仮定奥行不一致度は閾値以下となり、ブロック２１１とその対応ブロック２１２の仮定奥行不一致度は閾値より大きくなる。そこで、設定部１０３は、ブロック２０９とその対応ブロック２１０に関する加算サンプリング数を少なくするため、例えば、図１６で示した読み出し画素群に加え、さらに２回ずつだけ読み出し画素群を追加する。図２１は、ブロック２０９とその対応ブロック２１０におけるそれぞれ４個の出力信号の各々が、どの画素からの電荷信号を加算して得られるかを示した模式図である。図２１（ａ）（ｂ）は図１６（ａ）（ｂ）と同様であり、また、図２１（e）（ｆ）は図１６（ｃ）（ｄ）と同様である。また、図２１（ｃ）（ｄ）および図２１（ｇ）（ｈ）は、図２１（ａ）（ｂ）と図２１（e）（ｆ）の関係と異なり、読み出し画素群が対応画素の位置関係と一致していない。このように、加算サンプリング情報を視点ごとに変更することにより、取得できる情報を増やし、復元画質を向上させることが可能になる。一方、設定部１０３は、ブロック２１１とその対応ブロック２１２の加算サンプリング数を多くするため、例えば、図１６で示した読み出し画素群に加え、さらに６回ずつの読み出し画素群を追加する。図２２および図２３は、ブロック２１１とその対応ブロック２１２におけるそれぞれ８個の出力信号の各々が、どの画素からの電荷信号を加算して得られるかを示した模式図である。図２２（ａ）（ｂ）は図１６（ａ）（ｂ）と同様であり、また、図２３（ａ）（ｂ）は図１６（ｃ）（ｄ）と同様である。このように、被写体が遮蔽物などの影響で仮定奥行上に存在しない場合、視点間での見えが異なるため、加算サンプリング数を増やすことで取得できる情報を増やし、復元画質を向上させる。

また、推定部１０６は、仮定奥行に被写体が存在するかどうかを推定するのではなく、その存在確率を推定し、設定部１０３は、その存在確率にしたがって、加算サンプリング情報を設定してもかまわない。これは、以下のような閾値処理を利用すればよい。
・ブロック２０９およびその対応ブロック２１０が（数７）の条件を満たす場合、図１６で示した読み出し画素群に加え、さらに２回ずつだけ読み出し画素群を追加する。
・ブロック２０９およびその対応ブロック２１０が（数８）の条件を満たす場合、図１６で示した読み出し画素群に加え、さらに３回ずつ読み出し画素群を追加する。
・ブロック２０９およびその対応ブロック２１０が（数９）の条件を満たす場合、図１６で示した読み出し画素群に加え、さらに４回ずつ読み出し画素群を追加する。
（数７）
｜Ｍ１（１）−Ｍ２（１）｜＋｜Ｍ１（２）−Ｍ２（２）｜＜Ｔｈ３
（数８）
Ｔｈ３≦｜Ｍ１（１）−Ｍ２（１）｜＜Ｔｈ３＋｜Ｍ１（２）−Ｍ２（２）｜＜Ｔｈ４
（数９）
｜Ｍ１（１）−Ｍ２（１）｜＋｜Ｍ１（２）−Ｍ２（２）｜≧Ｔｈ４
ただし、
（数１０）
Ｔｈ３ ＜ Ｔｈ４

このようにすることで、ライトフィールドカメラに最適な加算サンプリング情報を設定できることができるため、より高画質の画像復元が可能である。

送信部１０７は、撮像装置２０が撮像した画像のデジタルデータと、撮像時に利用した加算サンプリング情報とを、復号化装置３０に送信する（ステップＳ１０８）。なお、設定部１０３によって圧縮センシング情報が生成された場合には、送信部１０７は、さらに当該圧縮センシング情報を送信してもよい。

次に、復号化装置３０の処理を詳述する。

復号化装置３０の処理の概要は、図７を参照しながら説明した通りである。以下では本実施の形態による処理の詳細を説明する。

図２４は、本実施の形態による復号化装置３０の主要な処理の手順を示すフローチャートである。

受信部１０８は、送信部１０７が送信した画像のデジタルデータと、撮像時に利用した加算サンプリング情報とを受信する（ステップＳ１１２）。送信部１０７が、圧縮センシング情報を送信した場合には、受信部１０８は、さらに圧縮センシング情報を受信する。

画像復元部１０９は、画像のデジタルデータと、撮像時に利用した加算サンプリング情報から、圧縮センシング技術を利用して、撮像画像を復元する（ステップＳ１１３）。圧縮センシング情報が受信されており、加算サンプリング処理が行われたことを圧縮センシング情報が示している場合には、画像復元部１０９は、上述した処理を行う。加算サンプリング処理が実質的に行われていないことを圧縮センシング情報が示している場合には、画像復元部１０９は、画像のデジタルデータをそのまま復元画像として利用する。

出力部１１０は、画像復元部１０９が復元した画像を液晶ディスプレイやプロジェクタに出力する。もちろん、出力部１１０は画像を表示するのではなく、無線または有線の通信回線（ネットワーク）を介して復元画像を外部へ送信するようにしてもかまわないし、ＳＤカードやハードディスクのような記録メディアに、復元画像を保持するようにしてもかまわない。

また、前述の加算サンプリング情報は、上述したように、アナログ加算処理される画素を「１」、アナログ加算されない画素を「０」として、画素番号順に符号化したデータとして表現すればよい。加算サンプリング情報は、図５に示した画素番号順に符号化したデータとして表現する。具体的には、例えば、図２１（ａ）〜（ｄ）におけるブロック２０９の加算サンプリング情報は以下のように表現される。
第１の出力信号：“１０１０ ０１０１ ０１１０ １００１”
第２の出力信号：“００１０ ０１１１ １０１０ １１００”
第３の出力信号：“０１１０ １１００ １００１ ００１１”
第４の出力信号：“００１１ ００１１ １１００ １１００”

そこで、これらを連結すると、図２１（ａ）〜（ｄ）におけるブロック２０９での加算サンプリング情報は以下のとおりとなる。
“１０１０ ０１０１ ０１１０ １００１ ００１０ ０１１１ １０１０ １１００ ０１１０ １１００ １００１ ００１１ ００１１ ００１１ １１００ １１００”

本明細書では、上述の数字列を「加算サンプリング情報符号化データ」または簡略化して「符号化デ―タ」と呼ぶ。なお、加算サンプリング情報の形式はここで示したものに限られない。加算のためにサンプリングされた画素の位置が分かる形式であればよい。例えば、符号化データをハフマン符号化などの公知の符号化手法を利用して符号化したデータを加算サンプリング情報としてもかまわない。

また、同様に、図２１（ｅ）〜（ｈ）におけるブロック２１０の加算サンプリング情報は以下のとおりとなる。
“１０１０ ０１０１ ０１１０ １００１ ００１０ ０１１１ １０１０ １１００ １００１ ００１１ ０１１０ １１００ １１１０ ０１００ １００１ ０１１０”

同様に、図２２におけるブロック２１１および図２３におけるブロック２１２の加算サンプリング情報は以下のとおりとなる。
“１０１０ ０１０１ ０１１０ １００１ ００１０ ０１１１ １０１０ １１００ ０１１０ １１００ １００１ ００１１ ００１１ ００１１ １１００ １１００ １０００ ０１００ ００１０ ０００１ ００１０ ０００１ １０００ ０１００ ０１００ １０００ ０００１ ００１０ ０００１ ００１０ ０１００ １０００”

図２５は、このような符号化データの表現方法の一例としての、加算サンプリング情報テーブルの例を示した模式図である。これらの図におけるテーブル番号１，２，３の各符号化データは、「ブロック２０９」「ブロック２１０」「ブロック２１１およびブロック２１２」の加算サンプリング処理にそれぞれ対応している。撮像装置２０と復号化装置３０は、このようなテーブルを事前に保持しておき、送信部１０７と受信部１０８の加算サンプリング情報の授受においては、このテーブル番号のみを利用するようにしてもかまわない。

アナログ加算部１０４とアナログデジタル変換部１０５は、一つの画素を複数回、読み出し、さらに複数回の加算処理を行うことで、出力信号のダイナミックレンジを上げることができるため、ノイズを低減することも可能である。このような加算サンプリング処理については、例えば、非特許文献５に記載されている。

また、推定部１０６は、取得装置４０で取得したすべての視点の撮像画像に対して仮定奥行不一致度を計算するのではなく、いくつかの視点の撮像画像のみを利用して計算するようにしてもかまわない。これは、例えば、最も離れた位置関係にある視点のみを利用すればよい。図２６は、この処理を説明するための模式図である。この図において、４０２は取得装置４０で取得した視点１〜２５の２５視点の位置関係を示したものであり、４０３は撮像している被写体を示している。また、視点１〜２５は、x-y平面上に存在する。このとき、視点１からみて、ｘ方向に最も離れている視点は視点５である。そこで、もし、視点１と視点５での仮定奥行不一致度が十分小さければ、被写体４０３は仮定奥行上に存在し、遮蔽物が存在しないと考えられる。この場合、視点１と視点５の間に存在する視点２および視点３および視点４においても、被写体４０３は仮定奥行上に存在し、遮蔽物が存在しないと考えられる。つまり、視点１と視点５の仮定奥行不一致度を計算すれば、視点２および視点３および視点４の計算は不要である。同様のことは、ｙ方向でも成り立つ。そのため、視点１、視点５、視点２１、視点２５の４視点のみの仮定奥行不一致度を計算することで、２５視点すべてでの仮定奥行不一致度の計算を簡略化することができる。

なお、４視点として固定的な視点１、視点５、視点２１、視点２５を挙げたが、これは一例である。３視点であってもよいし、動的に視点の位置を変更してもよい。たとえば、所定の間隔をおいた視点ＡとＢでの仮定奥行不一致度が閾値よりも大きい場合、視点ＡとＢの間にある視点ＡとＣとで仮定奥行不一致度を比較する。そして、視点ＡとＣ、および視点ＣとＢで仮定奥行不一致度をそれぞれ比較する。その結果、視点ＡとＣでの仮定奥行不一致度は十分小さいが、視点ＣとＢとでの仮定奥行不一致度が閾値よりも大きい場合には、視点ＢおよびＣの間に遮蔽物が存在すると判断できる。このように動的に視点Ｃを追加して遮蔽物の位置を特定することも可能である。

また、推定部１０６は、ユーザインターフェイスを有し、撮像者が被写体の遮蔽の有無を入力するようにしてもかまわない。この場合、被写体の遮蔽が存在している領域は、仮定奥行不一致度を大きくし、被写体の遮蔽が存在していない領域は、仮定奥行不一致度を小さくすればよい。

また、設定部１０３の仮定奥行の設定に関しては、事前に設定した距離を利用しても構わないし、フレーム毎に変更するようにしてもかまわない。フレーム毎に変更する場合、例えば、最初は遠方に設定しておき、仮定奥行不一致度が十分に小さくない場合には徐々に近傍に変更するようにすればよい。屋外で撮像を行う場合、画像内の広い範囲に存在すると考えられる空などの被写体は無限遠に存在する。そのため、カメラに電源が投入された際には仮定奥行を無限遠とし、徐々に近傍に変化させることで、素早く正しい奥行きを推定することができる。このとき、撮像装置２０の電源が切られた場合や撮像装置２０の方向が大きく変化した場合、仮定奥行は再度、無限遠などの遠方に設定しなおすようにしてもかまわない。撮像装置２０の方向の変化は、例えば、手振れ補正用に搭載されているセンサを利用することで、推定すればよい。

また、設定部１０３は、撮像装置２０を固定して利用する場合、設置時の撮像装置２０の位置情報と向き情報を利用して、仮定奥行を設定するようにしてもかまわない。例えば、車載カメラを下向きに設置した場合、最も遠方の被写体は路面となる。また、撮像装置２０と路面との距離は、既知のカメラキャリブレーション手法を利用することにより、計算できる。撮像装置２０と路面との距離を仮定奥行とすることで、画像上の多くの領域を占める路面に関しては加算サンプリング数が少なくなり、それ以外の被写体に関しては加算サンプリング数が多くなる。そのため、路面以外の被写体は、加算サンプリング処理により取得できる情報が増えるため、復元画質を向上させることができる。

また、設定部１０３は、撮像装置２０の状況によって仮定奥行を設定するようにしてもかまわない。これは、例えば、撮像装置２０が屋内に存在するか、屋外に存在するかで仮定奥行を変更すればよい。屋内であれば、室内を想定し、３ｍとし、また屋外であれば、空を想定して無限遠とすればよい。屋内・屋外の切り替えは、例えば、屋内撮像モードと屋外撮像モードとを撮像者が切り替えるようにすればよい。

また、設定部１０３は、ハードウェア構成によって、加算サンプリング情報を設定するようにしてもかまわない。例えば、非特許文献２に示した構成では、１６ｘ１６画素ごとに加算サンプリング処理するため、図２０に示したように、加算サンプリング画素を自由に選択することは難しい。この場合の処理について、図を用いて説明する。

まず、ハードウェア構成によって加算サンプリング処理が限定される領域を加算サンプリング処理領域と呼ぶことにする。これは、例えば非特許文献２では１６ｘ１６画素のブロックであり、同一領域内の画素は加算サンプリングを行うことができるが、異なる領域の画素はハードウェア構成の制約により、加算サンプリングを行うことができない。図２７、図２８は、このようなハードウェア構成に制約がある場合における、設定部１０３の処理について説明するための模式図である。この図において、図１５と同じ構成要素には、同一の符号を付し、説明を省略する。図２７（ａ）（ｂ）は、視点１および視点２で撮像した画像の一部における加算サンプリング処理領域４０４を示した模式図である。なお、説明の簡略化のため、一つの加算サンプリング処理領域４０４は４×４の１６画素からなる処理を例に挙げて説明する。また、記載の便宜上、参照符号は加算サンプリング処理領域の一つのみを示している。以下でも同様である。図２７（ｃ）（ｄ）は、図１５のブロック２０９および対応ブロック２１０と加算サンプリング処理領域４０４、４０５の位置関係を示した模式図である。視点１に関しては、ブロック２０９と加算サンプリング処理領域Ａ４０６が一致しているが、視点２では対応ブロック２１０と一致する加算サンプリング処理領域４０５が存在しない。この場合、設定部１０３は、対応ブロック２１０を最も広く含む加算サンプリング処理領域Ｂ４０７を利用して、加算サンプリング情報を設定する。つまり、加算サンプリング処理領域Ｂ４０７に含まれる対応ブロック２１０内の画素でのみ視点２のアナログ加算処理を行う。また、視点１での対応点を加算サンプリング処理領域Ａ４０６から選択し、視点１でのアナログ加算処理を行う。図２８（ａ）および（ｂ）は、このように設定した加算サンプリング情報の模式図である。図２８（ａ）は、ブロック２０９における出力信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。また、図２８（ｂ）は、対応ブロック２１０における出力信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。このように加算サンプリング情報を設定することで、ハードウェア構成に制約がある場合でも、仮定奥行不一致度を簡単に計算することができる。

仮定奥行から加算サンプリング情報を設定するには、事前に仮定奥行から計算した加算サンプリング情報をメモリに保持しておけばよい。図２９〜図３１は、仮定奥行から加算サンプリング情報を計算する方法を説明するための模式図である。これらの図において、図２７、図２８と同じ構成要素には、同一の符号を付し、説明を省略する。

図２９（ａ）は仮定奥行Ｄ１での対応ブロック２１０を示し、図２９（ｂ）は仮定奥行Ｄ２での対応ブロック２１３を示し、図２９（ｃ）は仮定奥行Ｄ３での対応ブロック２１４を示し、図２９（ｄ）は仮定奥行D４での対応ブロック２１５を示している。ここで、視点１、視点２は、カメラ内部パラメータが等しい光学系を利用して撮像したものとし、垂直方向の位置は等しく、水平方向のみの位置が変化したおり、光軸方向が平行になるようにキャリブレーションされている平行ステレオであるとする。前述のように、カメラ内部パラメータと外部パラメータが既知の場合、仮定奥行を設定することで、視点間の対応ブロックを求めることができる。さらに、平行ステレオを利用する場合、視点間において、対応点は水平方向のみ変化する。そのため、仮定奥行が変化した場合、視点２の対応ブロック２１０、２１３、２１４、２１５は、垂直方向は変化せず、水平方向のみ変化する。対応ブロックを求めた後、その対応ブロックに最も含まれる加算サンプリング処理領域を選択し、加算サンプリング情報を設定する。

図３０（ａ）は、仮定奥行Ｄ１での視点１と視点２の加算サンプリング情報を示し、図３０（ｂ）は仮定奥行Ｄ２での視点１と視点２の加算サンプリング情報を示し、図３０（ｃ）は仮定奥行Ｄ３での視点１と視点２の加算サンプリング情報を示し、図３０（ｄ）は仮定奥行D４での視点１と視点２の加算サンプリング情報を示している。このような加算サンプリング情報を、ブロックごとに、仮定奥行ごとに事前に計算し、メモリに保持することで、設定部１０３は、仮定奥行に合わせた加算サンプリング情報を設定する。図３１も同様に、仮定奥行と視点とに応じた加算サンプリング情報を示している。

また、設定部１０３は、推定部１０６の推定結果によって、図２１〜図２３に示したように、すべての視点の加算サンプリング情報を変更するのではなく、特定の視点の加算サンプリング情報のみ変更するようにしてもかまわない。例えば、図２６に示したように、撮像装置２０が２５視点のライトフィールド情報を取得する場合、真ん中の視点である１３のみの加算サンプリング画素を変更するようにしてもかまわない。このようにすることで、視点１〜１２および視点１４〜２５に関しては、推定部１０６の推定結果によらず、常に一定のサンプリングを行うことができるため、より簡易なハードウェア構成を実現することができる。もちろん、加算サンプリング数を変更するのは真ん中の視点に限ったものではなく、周囲４点（視点１、視点５、視点２１、視点２５）の視点を変更するようにしてもかまわない。このように周囲４視点の加算サンプリング数を変更することで、遮蔽が生じている場合でも、復元に必要な情報を取得することが可能である。

さらに、送信部１０７は、推定部１０６の推定結果によって、送信する情報を変更するようにしてもかまわない。例えば、図２０において、ブロック２０９とその対応ブロック２１０が仮定奥行上に存在する場合、図２１（ａ）の加算サンプリングで取得されるブロック２０９のデータと、図２１（ｅ）の加算サンプリング情報で取得される対応ブロック２１０のデータは等しくなる。そのため、これら２つの情報は冗長となるため、図２１（ｅ）の加算サンプリング情報で取得される対応ブロック２１０のデータの送信を行わないようにしてもかまわない。これにより、復元画像の画質を劣化させることなく、データ量を減らすことなく、送信部１０７が送信するデータ量を削減することが可能である。

上述した実施の形態、たとえば図１の撮像システム１０では、推定部１０６は、加算サンプリング部６０からデジタル信号を受け取るとして説明した。しかしながらこれは一例に過ぎない。推定部１０６は、仮定奥行不一致度が閾値以下か否かが判断できればよいので、仮定奥行不一致度はデジタル化されていることは必須ではない。推定部１０６は、デジタル信号ではなく、アナログ信号を受け取り、仮定奥行不一致度の判定を行ってもよい。

図３２は、撮像システム１０（図１）の変形例にかかる撮像システム１００の構成を示す。撮像システム１００と撮像システム１０（図１）との相違点は、加算サンプリング部６０に代えて加算サンプリング部６１を設け、加算サンプリング部６１がアナログ信号を推定部１０６に送信することである。

アナログ加算部１０４は、電荷保持部１０２が保持している複数の画素の電荷信号に対して、設定部１０３が設定した加算サンプリング情報に基づいてアナログ加算処理し、新たな信号を生成し出力する。推定部１０６は、当該新たな信号を受け取り、その信号に対応する物理量（たとえば電圧値）を仮定奥行不一致度として用いて所定の閾値と比較すればよい。

なお、本明細書における撮像装置は装置として実現されなくてもよい。例えば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した撮像装置の動作を行ってもよい。そのようなコンピュータプログラムは、例えば図１１のフローチャートによって実現される処理をコンピュータに実行させるための命令群を含んでいる。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。

本開示にかかる撮像システムは、低消費電力化、高ＳＮ化、通信帯域の削減を実現できる圧縮センシングを利用したライトフィールド情報を取得できる撮像装置において、画質を向上させるために有用である。

１０ 撮像システム
２０ 撮像装置
３０ 復号化装置
４０ ライトフィールド情報取得装置（取得装置）
５０ 符号化装置
６０ 加算サンプリング部
１０１ 光電変換部
１０２ 電荷保持部
１０３ 加算サンプリング情報設定部（設定部）
１０４ アナログ加算部
１０５ アナログデジタル変換部
１０６ 仮定奥行不一致度推定部（推定部）
１０７ 送信部
１０８ 受信部
１０９ 画像復元部
１１０ 出力部

Claims (15)

1. アナログ信号であるライトフィールド情報を取得する取得装置と、
   前記ライトフィールド情報に加算サンプリング処理を行って画像情報を符号化する符号化装置と、
   前記符号化装置が符号化した画像情報を復号化する復号化装置と
   を備えた撮像システムであって、
   前記符号化装置は、
   前記加算サンプリング処理の方法を示す加算サンプリング情報を設定する設定部と、
   前記設定部が設定した加算サンプリング情報に基づいて、前記取得装置が取得したライトフィールド情報にアナログ加算処理を行って、新たなアナログ信号を生成するアナログ加算部と、
   前記アナログ加算部で生成された前記新たなアナログ信号をデジタル信号に変換するアナログデジタル変換部と、
   事前に仮定した奥行きに、被写体が存在するかどうかを推定する推定部と、
   前記アナログデジタル変換部が変換した画像のデジタルデータ、および撮像時に利用した加算サンプリング情報を送信する送信部と
   を備え、前記設定部は、前記推定部の推定結果に基づいて、前記加算サンプリング情報を変更する、撮像システム。
2. 前記取得装置は、複数の視点で撮影された複数の画像を前記ライトフィールド情報として取得し、
   前記推定部は、同一の対象物を撮影したときに同じ位置に対応する、前記複数の画像中の対応する複数の画素の各画素値の相違に基づいて、前記複数の画像の少なくとも１つに、前記被写体が存在するかどうかを推定する、請求項１に記載の撮像システム。
3. 前記設定部は、仮定奥行に存在する被写体に対しては加算サンプリング数が少なくなるように加算サンプリング情報を設定する、請求項１に記載の撮像システム。
4. 前記設定部は、仮定奥行に存在しない被写体に対しては加算サンプリング数が多くなるように加算サンプリング情報を設定する、請求項１に記載の撮像システム。
5. 前記設定部は、加算サンプリング情報のパターンを変更することで、加算サンプリング数を変更する、請求項３または４に記載の撮像システム。
6. 前記設定部は、前記ライトフィールド情報取得部が取得した特定の視点の画像情報に対してのみ、加算サンプリング情報を変更する、請求項３または４に記載の撮像システム。
7. 前記設定部は、加算サンプリング情報のパターンを削除することで、加算サンプリング数が少なくなるように加算サンプリング情報を設定する、請求項４に記載の撮像システム。
8. 前記設定部は、事前に仮定した仮定奥行に被写体が存在する場合の、前記取得装置における各視点画像間の対応点を利用して、加算サンプリング情報を設定する、請求項１に記載の撮像システム。
9. 前記設定部は、仮定奥行を無限遠に設定する、請求項８に記載の撮像システム。
10. 前記設定部は、設置時の前記撮像装置の位置情報と向き情報を利用して仮定奥行を設定する、請求項８に記載の撮像システム。
11. 前記推定部によって、被写体が前記仮定奥行に存在しないと推定された場合、前記設定部は前記仮定奥行を近傍に変更する、請求項８に記載の撮像システム。
12. 前記推定部は、前記アナログ加算部によって生成された前記新たなアナログ信号に基づいて、前記被写体が存在するかどうかを推定する、請求項１に記載の撮像システム。
13. 前記設定部は、加算サンプリング処理が行われたか否かを示す圧縮センシング情報をさらに生成し、
    前記送信部は、前記圧縮センシング情報をさらに送信する、請求項１に記載の撮像システム。
14. アナログ信号であるライトフィールド情報を取得する取得装置と、
    前記ライトフィールド情報に加算サンプリング処理を行って画像情報を符号化する符号化装置と
    を備えた撮像装置であって、
    前記符号化装置は、
    前記サンプリング処理の方法を示す加算サンプリング情報を設定する設定部と、
    前記設定部が設定した加算サンプリング情報に基づいて、前記取得装置が取得したライトフィールド情報にアナログ加算処理を行って、新たなアナログ信号を生成するアナログ加算部と、
    前記アナログ加算部で生成された前記新たなアナログ信号をデジタル信号に変換するアナログデジタル変換部と、
    事前に仮定した奥行に、被写体が存在するかどうかを推定する推定部と、
    前記アナログデジタル変換部が変換した画像のデジタルデータと、撮像時に利用した加算サンプリング情報とを送信する送信部と
    を備え、前記設定部は、前記推定部の推定結果に基づいて、前記加算サンプリング情報を変更する、撮像装置。
15. アナログ信号であるライトフィールド情報に加算サンプリング処理を行って新たなアナログ信号を生成し、
    前記新たなアナログ信号をデジタル信号に変換し、
    事前に仮定した奥行きに、被写体が存在するかどうかを推定し、
    推定結果に基づいて、前記加算サンプリング処理の方法を示す加算サンプリング情報を設定し、
    変換された前記デジタル信号を画像のデジタルデータとして送信し、撮像時に利用した加算サンプリング情報を送信する、撮像方法。

Images