JP6531986B2

JP6531986B2 - 撮像装置、撮像システム、復元装置、撮像方法およびコンピュータプログラム

Info

Publication number: JP6531986B2
Application number: JP2015181584A
Authority: JP
Inventors: 佐藤　智; 智佐藤; 吾妻　健夫; 健夫吾妻; 登　一生; 一生登; 中田　幹也; 幹也中田
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2015-01-09
Filing date: 2015-09-15
Publication date: 2019-06-19
Anticipated expiration: 2035-09-15
Also published as: US9866779B2; US20160205336A1; CN105791672B; CN105791672A; JP2016131363A

Description

本開示は、圧縮センシングを用いた撮像システム、およびその撮像データの伝送方式に関する。

近年、「圧縮センシング」と呼ばれる技術が開発されている。圧縮センシングとは、撮像時に複数の画素の画素値（電荷信号）を加算することによって画像の情報量を圧縮し、画像のスパース性を利用した画像復元を行う技術である（例えば、非特許文献１を参照）。上述の方式による撮像は、「加算サンプリング撮像」と呼ばれる。

通常、このような加算サンプリング撮像を行うと、画像の情報量が失われてしまうため、復元画像の画質は大きく劣化する。しかし、圧縮センシングでは、画像のスパース性を利用した復元処理を行うため、加算撮像でデータ量を減らしながらも、圧縮しない場合の画像と遜色ない画質の復元画像を得ることができる。ここで、「画像のスパース性」とは、画像をウエーブレット空間または離散コサイン（ＤＣＴ）空間などへ射影した際、多くの係数値がほぼ０になるという知見である。画像のスパース性を利用した画像復元手法として、圧縮センシングでは、Ｌ０ノルム最小化またはＬ１ノルム最小化手法を利用する。

圧縮センシングでは、撮像素子内のアナログデジタル変換器（以下、「ＡＤＣ」と記述する。）で処理を行う以前に、単純な加算処理を行うことでデータ量を圧縮できるため、ＡＤＣの駆動周波数を下げることが可能である。これにより、低消費電力化、高ＳＮ化、通信帯域の削減を実現できる。

上掲の非特許文献１は、ＩｍｐｒｏｖｅｄＩｔｅｒａｔｉｖｅＣｕｒｖｅｌｅｔＴｈｒｅｓｈｏｌｄｉｎｇ法を利用することで、画像に対して、圧縮センシングを適用する方法を開示している。

また、例えば、非特許文献２は、圧縮センシングの概念を利用した固体撮像素子を開示する。この固体撮像素子では、複数の画素それぞれに複数の異なる配線が接続されている。固体撮像素子は、画素群の複数の画素を、位相をずらしたタイミングで順に駆動して信号を読みだす。この構成により、追加の回路を削減し、サンプルおよびホールド回路が不要で、ノイズ増加による画質劣化、面積増加、速度低下を防止可能な固体撮像素子を実現している。

Ｊ．Ｍａ， "ＩｍｐｒｏｖｅｄＩｔｅｒａｔｉｖｅＣｕｒｖｅｌｅｔＴｈｒｅｓｈｏｌｄｉｎｇｆｏｒＣｏｍｐｒｅｓｓｅｄＳｅｎｓｉｎｇａｎｄＭｅａｓｕｒｅｍｅｎｔ，" ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｓｔｒｕｍｅｎｔａｔｉｏｎａｎｄＭｅａｓｕｒｅｍｅｎｔ，ｖｏｌ．６０，ｎｏ．１，ｐｐ．１２６−１３６，２０１１．Ｙ．ＯｉｋｅａｎｄＡ．Ｅ．Ｇａｍａｌ， "Ａ２５６×２５６ＣＭＯＳＩｍａｇｅＳｅｎｓｏｒｗｉｔｈ ΔΣ−ＢａｓｅｄＳｉｎｇｌｅ−ＳｈｏｔＣｏｍｐｒｅｓｓｅｄＳｅｎｓｉｎｇ"，ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＳｏｌｉｄ−ＳｔａｔｅＣｉｒｃｕｉｔｓＣｏｎｆｅｒｅｎｃｅ（ＩＳＳＣＣ）Ｄｉｇ．ｏｆＴｅｃｈ．Ｐａｐｅｒｓ，ｐｐ．３８６−３８７，２０１２．Ｓ．Ｓａｔｏ，．ＮｏｂｏｒｉａｎｄＴ．Ａｚｕｍａ． "ＣｏｍｐｒｅｓｓｉｖｅＳｅｎｓｉｎｇＲｅｃｏｎｓｔｒｕｃｔｉｏｎＵｓｉｎｇＬｏｃａｌＳｐａｔｉａｌＳｉｍｉｌａｒｉｔｙａｍｏｎｇＣｏｌｏｒＣｈａｎｎｅｌｓ"，画像の認識・理解シンポジウム（ＭＩＲＵ），２０１４．田中利幸，"圧縮センシングの数理"，ＩＥＩＣＥＦｕｎｄａｍｅｎｔａｌｓＲｅｖｉｅｗ，ｖｏｌ．４，ｎｏ．１，ｐｐ．３９−４７，２０１０．Ｊ．Ｚｈａｎｇ，Ｄ．Ｚｈａｏ，Ｃ．Ｚｈａｏ，Ｒ．Ｘｉｏｎｇ，Ｓ．Ｍａ，ａｎｄＷ．Ｇａｏ， "ＣｏｍｐｒｅｓｓｅｄＳｅｎｓｉｎｇＲｅｃｏｖｅｒｙｖｉａＣｏｌｌａｂｏｒａｔｉｖｅＳｐａｒｓｉｔｙ，" Ｐｒｏｃ．ｏｆＤａｔａＣｏｍｐｒｅｓｓｉｏｎＣｏｎｆｅｒｅｎｃｅ，ｐｐ．２８７−２９６，２０１２．茨木俊秀、福島雅夫著、「情報数学講座（全１５巻）第１４巻最適化の手法」共立出版株式会社、１９９３年７月２０日初版１刷発行（Ｐ１５９−Ｐ１６４）ＭａｎｙａＶ．Ａｆｏｎｓｏ，Ｊｏｓe Ｍ．Ｂｉｏｕｃａｓ−Ｄｉａｓ，ａｎｄＭaｒｉｏＡ．Ｔ．Ｆｉｇｕｅｉｒｅｄｏ， "ＦａｓｔＩｍａｇｅＲｅｃｏｖｅｒｙＵｓｉｎｇＶａｒｉａｂｌｅＳｐｌｉｔｔｉｎｇａｎｄＣｏｎｓｔｒａｉｎｅｄＯｐｔｉｍｉｚａｔｉｏｎ"，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＩｍａｇｅＲｒｏｃｅｓｓｉｎｇ，Ｖｏｌ．１９，Ｎｏ．９，ｐｐ．２３４５−２３５６，２０１０．

画像データを伝送する際、撮像データを圧縮することでデータ量を削減することが広く行われている。従来の伝送圧縮では、近傍画素や近傍ブロックの相関性を利用することで、差分計算などを行う。しかし、前述のように、圧縮センシングではすべての画素値をデジタルデータとして取得するのではなく、加算サンプリング撮像によってデジタルデータを取得するため、従来の差分処理とは異なる圧縮方法が必要とされていた。

本開示の非限定的で例示的な一態様は、圧縮センシングを利用して撮像したデータを圧縮する。

本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。

本開示の一態様に係る撮像装置は、３以上の画素で受光された光信号を、前記３以上の画素毎に電荷信号に変換する光電変換部と、前記変換された３以上の画素毎の電荷信号を保持する電荷保持部と、前記３以上の画素のうち、所定の複数の画素位置に対応する電荷情報を加算する規則である、複数のアナログ加算パターンを用いて、前記複数の画素の電荷信号が加算された、複数の加算電荷信号を生成するアナログ選択加算部と、前記複数の加算電荷信号を、複数のデジタル信号に変換するアナログデジタル変換部と、前記複数のアナログ加算パターンにおける電荷情報を加算する画素数を用いて、前記デジタル信号を圧縮して、圧縮デジタル信号を生成する加算データ圧縮部とを備える。

なお、これらの包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能な記録媒体で実現されてもよく、装置、システム、方法、集積回路、コンピュータプログラムおよびコンピュータ読み取り可能な記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）などの不揮発性の記録媒体を含む。

本開示によれば、空間的かつまたは時間的に加算サンプリングパターンを変更しながら選択的な加算処理を行い、等しいサンプリングパターンで加算処理を行ったデータごとに圧縮処理することが可能になる。等しいサンプリングパターンで加算処理を行ったデータは、高い相関をもつため、より効率的に伝送データを圧縮することができる。

図１は、本開示の例示的な一実施形態にかかる撮像システム１０の構成を示す図である。図２は、圧縮装置２の加算データ圧縮部１０６、および復元装置３０の画像再構成部１０９のより具体的な構成を示す図である。図３は、本開示の例示的な一実施形態による撮像装置２０の一部の処理の手順を示すフローチャートである。図４は、本開示の例示的な一実施形態における４×４の１６画素の配置を示す模式図である。図５Ａは選択的な加算処理を説明するための模式図である。図５Ｂは選択的な加算処理を説明するための模式図である。図５Ｃは選択的な加算処理を説明するための模式図である。図５Ｄは選択的な加算処理を説明するための模式図である。図５Ｅは選択的な加算処理を説明するための模式図である。図５Ｆは選択的な加算処理を説明するための模式図である。図５Ｇは選択的な加算処理を説明するための模式図である。図５Ｈは選択的な加算処理を説明するための模式図である。図６Ａはサンプリングパターン２における第１の出力信号を生成するために、電荷信号が読み出される画素群４１０を示す図である。図６Ｂはサンプリングパターン２における第２の出力信号を生成するために、電荷信号が読み出される画素群４１１を示す図である。図６Ｃはサンプリングパターン２における第３の出力信号を生成するために、電荷信号が読み出される画素群４１２を示す図である。図６Ｄはサンプリングパターン２における第４の出力信号を生成するために、電荷信号が読み出される画素群４１３を示す図である。図６Ｅはサンプリングパターン２における第５の出力信号を生成するために、電荷信号が読み出される画素群４１４を示す図である。図６Ｆはサンプリングパターン２における第６の出力信号を生成するために、電荷信号が読み出される画素群４１５を示す図である。図６Ｇはサンプリングパターン２における第７の出力信号を生成するために、電荷信号が読み出される画素群４１６を示す図である。図６Ｈはサンプリングパターン２における第８の出力信号を生成するために、電荷信号が読み出される画素群４１７を示す図である。図６Ａはサンプリングパターン３における第１の出力信号を生成するために、電荷信号が読み出される画素群４１８を示す図である。図７Ｂはサンプリングパターン３における第２の出力信号を生成するために、電荷信号が読み出される画素群４１９を示す図である。図７Ｃはサンプリングパターン３における第３の出力信号を生成するために、電荷信号が読み出される画素群４２０を示す図である。図７Ｄはサンプリングパターン３における第４の出力信号を生成するために、電荷信号が読み出される画素群４２１を示す図である。図７Ｅはサンプリングパターン３における第５の出力信号を生成するために、電荷信号が読み出される画素群４２２を示す図である。図７Ｆはサンプリングパターン３における第６の出力信号を生成するために、電荷信号が読み出される画素群４２３を示す図である。図７Ｇはサンプリングパターン３における第７の出力信号を生成するために、電荷信号が読み出される画素群４２４を示す図である。図７Ｈはサンプリングパターン３における第８の出力信号を生成するために、電荷信号が読み出される画素群４２５を示す図である。図８は、符号化データの表現方法の一例としての、加算サンプリング情報テーブルの例を示した模式図である。図９は、符号化データの表現方法の一例としての、加算サンプリング情報テーブルの例を示した模式図である。図１０Ａは、時刻ｔ＝ｔ１におけるサンプリングパターンを模式的に示す図である。図１０Ｂは、時刻ｔ＝ｔ２におけるサンプリングパターンを模式的に示す図である。図１０Ｃは、時刻ｔ＝ｔ３におけるサンプリングパターンを模式的に示す図である。図１１Ａはサンプリングパターン１でのサンプリング処理で読み出される第１〜第４の読み出し画素群４０２〜４０５を示す図である。図１１Ｂはサンプリングパターン１でのサンプリング処理で読み出される第５〜第８の読み出し画素群４０６〜４０９を示す図である。図１２Ａはサンプリングパターン２でのサンプリング処理で読み出される第１〜第４の読み出し画素群４１０〜４１３を示す図である。図１２Ｂはサンプリングパターン２でのサンプリング処理で読み出される第５〜第８の読み出し画素群４１４〜４１７を示す図である。図１３Ａはサンプリングパターン３でのサンプリング処理で読み出される第１〜第４の読み出し画素群４１８〜４２１を示す図である。図１３Ｂはサンプリングパターン３でのサンプリング処理で読み出される第５〜第８の読み出し画素群４２２〜４２５を示す図である。図１４は、本開示の例示的な一実施形態における圧縮装置２（図２）の処理の手順を示すフローチャートである。図１５は、本開示の例示的な一実施形態における復元装置３０（図２）の処理の手順を示すフローチャートである。図１６は、加算サンプリング情報および出力信号ベクトル間の差分信号ｄを伝送するための伝送フォーマットの例を示す図である。図１７は、加算サンプリングパターングループ番号がヘッダ部５０１に記述されるときの伝送フォーマットの例を示す図である。図１８は、加算サンプリングパターングループ番号の一例を示した模式図である。図１９は、撮像システム１０（図１）の第１の変形例にかかる撮像システム１０ａの構成を示す図である。図２０は、撮像システム１０（図１）の第２の変形例にかかる撮像システム１０ｂの構成を示す図である。図２１は、本開示の例示的な一実施形態にかかる撮像システム１０のハードウェア構成例を示す図である。

本発明者らは、研究を重ねた結果、従来の差分処理とは異なる圧縮方法として新たな処理を見出すに至った。

本開示の一態様の概要は以下のとおりである。

本開示の一態様である撮像装置は、３以上の画素で受光された光信号を、前記３以上の画素毎に電荷信号に変換する光電変換部と、前記変換された３以上の画素毎の電荷信号を保持する電荷保持部と、前記３以上の画素のうち、所定の複数の画素位置に対応する電荷情報を加算する規則である、複数のアナログ加算パターンを用いて、前記複数の画素の電荷信号が加算された、複数の加算電荷信号を生成するアナログ選択加算部と、前記複数の加算電荷信号を、複数のデジタル信号に変換するアナログデジタル変換部と、前記複数のアナログ加算パターンにおける電荷情報を加算する画素数を用いて、前記デジタル信号を圧縮して、圧縮デジタル信号を生成する加算データ圧縮部とを備える。

前記加算データ圧縮部は、前記アナログデジタル変換部により変換された複数のデジタル信号の平均値又は中央値を計算し、計算された平均値又は中央値と前記複数のデジタル信号における各デジタル信号との差分信号を圧縮して、圧縮デジタル信号を生成する。

前記加算データ圧縮部は、さらに、エントロピー符号を利用して、前記デジタル信号を圧縮して、圧縮デジタル信号を生成する。

前記加算データ圧縮部は、さらに、ハフマン符号を利用して、前記デジタル信号を圧縮して、圧縮デジタル信号を生成する。

前記撮像装置は、さらに、前記圧縮デジタル信号と、前記複数のアナログ加算パターンとを送信する第一通信部とを備える。

前記第一通信部は、ヘッダ部に前記複数のアナログ加算パターンを含み、ボディ部に前記圧縮デジタル信号を含む第一のフォーマット、又は、ヘッダ部に前記圧縮デジタル信号を含み、ボディ部に前記複数のアナログ加算パターンを含む第二のフォーマットにより送信する。

前記第一通信部は、前記第一のフォーマットにおけるヘッダ部の前記複数のアナログ加算パターンは暗号化されており、前記第二のフォーマットにおけるボディ部の前記複数のアナログ加算パターンは暗号化されている。

本開示の他の一態様である撮像装置は、３以上の画素で受光された光信号を、前記３以上の画素毎に電荷信号に変換する光電変換部と、前記変換された３以上の画素毎の電荷信号を保持する電荷保持部と、前記３以上の画素のうち、所定の複数の画素位置に対応する電荷情報に重みを付与して加算する規則である、複数のアナログ加算パターンを用いて、前記複数の画素の電荷信号が加算された、複数の加算電荷信号を生成するアナログ選択加算部と、前記複数の加算電荷信号を、複数のデジタル信号に変換するアナログデジタル変換部と、前記複数のアナログ加算パターンにおける、重みを付与した電荷情報を加算する画素数を用いて、前記デジタル信号を圧縮して、圧縮デジタル信号を生成する加算データ圧縮部とを備える。

本開示のさらに他の一態様である撮像システムは、上述した撮像装置と、復元装置とを備える。前記復元装置は、前記圧縮デジタル信号と、前記加算サンプリングパターンとを受信する第二通信部と、前記加算サンプリングパターンを用いて、前記圧縮デジタル信号を復元して、前記撮像素子で撮像した画像情報を取得する画像復元部とを有する。

本開示のさらに他の一態様として、上述の撮像システムにおける復元装置が含まれる。

本開示のさらに他の一態様による撮像方法は、３以上の画素で受光された光信号を、前記３以上の画素毎に電荷信号に変換し、前記３以上の画素のうち、所定の複数の画素位置に対応する電荷情報を加算する規則である、複数のアナログ加算パターンを用いて、前記複数の画素の電荷信号が加算された、複数の加算電荷信号を生成し、前記複数の加算電荷信号を、複数のデジタル信号に変換し、前記複数のアナログ加算パターンにおける電荷情報を加算する画素数を用いて、前記デジタル信号を圧縮して、圧縮デジタル信号を生成する。

前記撮像方法は、さらに、前記圧縮デジタル信号と、前記複数のアナログ加算パターンとを送信する。

前記撮像方法において、ヘッダ部に前記複数のアナログ加算パターンを含み、ボディ部に前記圧縮デジタル信号を含む第一のフォーマット、又は、ヘッダ部に前記圧縮デジタル信号を含み、ボディ部に前記複数のアナログ加算パターンを含む第二のフォーマットにより、前記圧縮デジタル信号と、前記複数のアナログ加算パターンとを送信する。

前記撮像方法において、前記第一のフォーマットにおけるヘッダ部の前記複数のアナログ加算パターンは暗号化し、前記第二のフォーマットにおけるボディ部の前記複数のアナログ加算パターンは暗号化し、ヘッダ部に前記暗号化された複数のアナログ加算パターンを含み、ボディ部に前記圧縮デジタル信号を含む第一のフォーマット、又は、ヘッダ部に前記圧縮デジタル信号を含み、ボディ部に前記暗号化された複数のアナログ加算パターンを含む第二のフォーマットにより、前記圧縮デジタル信号と、前記複数のアナログ加算パターンとを送信する。

本開示のさらに他の一態様であるコンピュータプログラムは、コンピュータに対して、３以上の画素で受光された光信号を、前記３以上の画素毎に電荷信号に変換させ、前記３以上の画素のうち、所定の複数の画素位置に対応する電荷情報を加算する規則である、複数のアナログ加算パターンを用いて、前記複数の画素の電荷信号が加算された、複数の加算電荷信号を生成させ、前記複数の加算電荷信号を、複数のデジタル信号に変換させ、前記複数のアナログ加算パターンにおける電荷情報を加算する画素数を用いて、前記デジタル信号を圧縮して、圧縮デジタル信号を生成させる。

前記コンピュータプログラムは、前記コンピュータに、前記圧縮デジタル信号と、前記複数のアナログ加算パターンとを送信させる。

本開示のさらに他の一態様による撮像装置は、光を受光して、第１の複数の電荷信号を出力する第１の複数の画素を含む光電変換部と、前記第１の複数の電荷信号と前記第１の複数の画素は１対１対応し、前記第１の複数の画素の各々は前記第１の複数の画素信号に含まれる対応する画素信号を出力し、複数の加算電荷信号を出力するアナログ選択加算部と、前記複数の加算電荷信号と複数の指定情報は１対１対応し、前記複数の加算電荷信号の各々は対応する指定情報で指定された複数の画素から出力された複数の電荷信号を加算することで得られ、前記複数の指定情報はお互いに異なり、前記指定された複数の画素と前記複数の電荷信号は１対１対応し、前記指定された複数の画素は前記第１の複数の画素に含まれ、前記複数の電荷信号は前記第１の複数の電荷信号に含まれ、前記複数の加算電荷信号をそれぞれデジタル値に変換し、複数のデジタル値を出力するアナログデジタル変換部と、前記複数のデジタル値と前記指定された複数の画素の数を用いて第１の複数のデジタル値を生成する加算データ圧縮部を含み、前記第１の複数の電荷信号の数は、前記複数の加算電荷信号の数より大きく、前記複数の加算電荷信号の数は、複数の電荷信号の数より大きい。

前記加算データ圧縮部は、前記複数のデジタル信号の各々の値を前記複数の画素の数で割った値に基づいて前記第１の複数のデジタル値を得てもよい。

以下、添付の図面を参照しながら、本開示の例示的な実施の形態を説明する。

（実施の形態１）
本開示の撮像システムは、撮像装置と、復元装置とを有している。撮像装置は、圧縮センシングの技術を利用し、複数画素から得られた電荷信号（アナログ信号）を選択的に加算することで撮像し、伝送データ量を削減するために加算データを圧縮する。復元装置は、選択的な加算を制御するための情報（後述の加算サンプリング情報）と、撮像装置によって生成された、圧縮された加算データとを用いて、画像を生成する。この処理を、本明細書では「画像を復元する」または「画像を再構成する」と記述することがある。

以下の説明では「選択的に加算する」とは、ある位置の画素の電荷信号に、その位置から所定の関係にある位置の画素の電荷信号を選択的に加算し、新たな信号を生成することをいう。選択的な加算処理とは、選択的に加算する処理をいう。選択的な加算処理は、アナログの電荷信号に関して行われ、得られる信号もまたアナログの電荷信号である。本実施の形態による選択的な加算処理の詳細は後述する。

以下では、まず撮像システムを構成する機器およびその構成要素を説明する。その後、具体例に基づいて説明し、システムおよび各機器の処理の詳細を説明する。

図１は、本開示の一実施形態にかかる撮像システム１０の構成を示す。撮像システム１０は、撮像装置２０と復元装置３０とを備える。撮像装置２０は、撮影の結果得られた画像信号を圧縮符号化して出力する。復元装置３０は、撮像装置２０から送信された、圧縮符号化された画像信号を用いて画像を復号化および復元する。

撮像装置２０は、光電変換部１０１と、電荷保持部１０２と、符号化装置１と、圧縮装置２とを有している。

光電変換部１０１は、３以上の画素において受光された光信号を、画素毎に電荷信号に変換する。

たとえば光電変換部１０１は、受光素子群と光電変換素子とを有する。受光素子群は３以上の複数の画素を有し、その各々が受けた光の量に応じた電気信号（光信号）を出力する。光電変換素子は、その光信号を電気信号に変換する。

あるいは光電変換部１０１は、受光素子群を有していなくてもよい。光電変換部１０１は、外部の受光素子群などの他の装置から出力された光信号を受け取ってその光信号を電気信号に変換する光電変換素子を有していればよい。

電荷保持部１０２は、光電変換部１０１によって取得された電気信号を一定時間蓄積し、電荷信号として保持する。

受光素子群を有する光電変換部１０１、および電荷保持部１０２は、いわゆるイメージセンサとして具体化され得る。以下では、光電変換部１０１は複数の画素を有するとして説明する。

符号化装置１は、加算サンプリング情報設定部１０３と、アナログ選択加算部１０４と、アナログデジタル変換部１０５とを有している。

加算サンプリング情報設定部１０３は、複数のアナログ加算パターンを保持している。各アナログ加算パターンは、３以上の画素のうち、所定の複数の画素位置に対応する電荷情報を加算する規則である。各アナログ加算パターンは、電荷信号の選択的な加算を制御するための情報（加算サンプリング情報）である。加算サンプリング情報設定部１０３は、空間的かつまたは時間的に加算される画素のパターンを変更させながら、加算サンプリング情報を設定する。

アナログ選択加算部１０４は、加算サンプリング情報設定部１０３から複数のアナログ加算パターンの情報を受け取る。アナログ選択加算部１０４は、その情報を利用して、複数の画素の電荷信号（アナログ信号）に選択的な加算処理を行い、複数の加算電荷信号（アナログ信号）を生成する。

アナログデジタル変換部１０５は、複数の加算電荷信号（アナログ信号）をデジタル信号に変換して出力する。本明細書ではこの変換処理を「ＡＤ変換」と呼ぶこともある。

圧縮装置２は、符号化装置１が撮像し、選択的な加算処理が行われて得られたデジタルデータを圧縮して伝送する。圧縮装置２は、加算データ圧縮部１０６と、第一通信部１０７とを有する。

加算データ圧縮部１０６は、アナログデジタル変換部１０５が変換したデジタル信号を圧縮する。より具体的には、加算データ圧縮部１０６は、複数のアナログ加算パターンにおける電荷情報を加算する画素数の情報を用いて、デジタル信号を圧縮して、圧縮デジタル信号を生成する。または、加算データ圧縮部１０６は、重みを付与して加算する規則である複数のアナログ加算パターンにおける、重みを付与した電荷情報を加算する画素数を用いて、デジタル信号を圧縮して、圧縮デジタル信号を生成する。いずれの処理も後に詳細に説明する。

第一通信部１０７は、後述する予め定められた伝送フォーマットを利用して、２種類の情報を出力する。２種類の情報とは、加算サンプリング情報設定部１０３によって設定された加算サンプリング情報、および加算データ圧縮部１０６によって圧縮されたデジタルデータである。出力は、有線および無線のいずれで行われてもよい。

復元装置３０は、第二通信部１０８および画像再構成部１０９を有する。

第二通信部１０８は、予め定められた伝送フォーマットを利用して、外部から、加算サンプリング情報および圧縮されたデジタルデータを受信する。受信は、有線および無線のいずれで行われてもよい。本実施形態では、圧縮装置２の第一通信部１０７と、復元装置３０の第二通信部１０８との間で通信が行われるため、それらの間では共通の伝送フォーマットが用いられる。

画像再構成部１０９は、加算サンプリング情報を利用して、圧縮されたデジタルデータから撮影された画像を再構成する。

図２は、圧縮装置２の加算データ圧縮部１０６、および復元装置３０の画像再構成部１０９のより具体的な構成を示す。以下、主として、加算データ圧縮部１０６および画像再構成部１０９の詳細を説明する。

加算データ圧縮部１０６は、デジタルデータ取得部２０１と、加算サンプリング情報取得部２０２と、データ圧縮部２０３とを有している。

デジタルデータ取得部２０１は、デジタルデータを取得する。このデジタルデータは、アナログ選択加算部１０４が撮像し、アナログデジタル変換部１０５が変換したデータである。

加算サンプリング情報取得部２０２は、加算サンプリング情報設定部１０３が設定し、選択的な加算処理で利用された加算サンプリング情報を取得する。

データ圧縮部２０３は、圧縮を行う単位であるブロックごとにデジタルデータの圧縮方法を選択し、選択した圧縮方法を用いて各ブロックのデータ量を圧縮する。この圧縮処理は符号化処理とも呼ばれる。この処理の詳細は後に図１４等を参照しながら詳述する。

圧縮されたデータは、第一通信部１０７を介して復元装置３０の第二通信部へ送信され、画像再構成部１０９によって受信される。

画像再構成部１０９は、データ復号部２０４と、画像復元部２０５と、復号化信号出力部２０６を有している。

データ復号部２０４は、データ圧縮部２０３の逆の処理を行い、符号化された各ブロックのデータを復号化する。

画像復元部２０５は、復号した加算データと加算サンプリング情報を利用して画像を復元し、得られた復元画像を作成する。

復号化信号出力部２０６は、復元画像を出力する。

以下、上述のような構成を有する撮像システム１０を用いて行われる処理を説明する。

本開示の一態様における撮像システム１０の撮像装置２０は、圧縮センシングの手法を用いて、ＡＤ変換前の画像信号を圧縮して情報量を削減し、さらに加算サンプリング情報を利用することでＡＤ変換後のデジタルデータも圧縮する。より詳しくは、撮像装置２０は、空間的かつまたは時間的に加算サンプリング情報を変更しながら選択的な加算処理を行い、加算サンプリング情報を利用して圧縮処理する。加算サンプリング情報を利用することにより、より効率的に圧縮することができる。そして撮像システム１０の復元装置３０は、圧縮時に用いられた加算サンプリング情報を利用して、圧縮されたデジタルデータから画像を復元する。

以下、まず、符号化処理を説明する。

図３は、本実施の形態による撮像装置２０の一部の処理の手順を示すフローチャートである。なお、図３を含む本願図面のフローチャートには、各ステップを実行する構成要素の参照符号が破線で囲まれたブロックによって示されている。

光電変換部１０１は複数の画素を有しており、各画素は、受光した光をその光量に応じた電気信号に変換する（ステップＳ１０１）。複数の画素は例えば、フォトダイオードなどの光電変換素子を２次元状に配列することによって実現される。

電荷保持部１０２は、光電変換部１０１によって得られたすべての画素の電気信号を一定時間蓄積し、電荷信号として保持する（ステップＳ１０２）。これは、電荷の保持に利用するメモリを画素ごとに設置すればよい。

なお、ここで言う「すべての画素」とは、文字通りすべての画素であってもよいし、一部の画素を除外した残りの画素群であってもよい。後者についてより詳しく説明する。光電変換部１０１および電荷保持部１０２を構成するイメージセンサでは、左端および／または右端の画素の電荷は読み出されず、ブランク（０）として処理されることがよく行われる。そのような電荷が読み出されない画素群を除外し、残りの、電荷が読み出される画素群を「すべての画素」と呼んでもよい。

続いて、符号化装置１の処理に移行する。

加算サンプリング情報設定部１０３は、アナログ選択加算部１０４およびアナログデジタル変換部１０５によって選択的な加算処理が実行されるように、加算サンプリング情報を設定する（ステップＳ１０３）。

加算サンプリング情報は、アナログ選択加算部１０４およびアナログデジタル変換部１０５が実行する処理の内容を特定するための情報である。具体的には、加算サンプリング情報は、選択的な加算処理後の新たな出力信号の各信号値について、元の電荷信号において加算に用いる画素の位置、どの程度のゲインを与えて加算するかという画素のゲイン情報、さらに、加算した出力信号をどの順番で送信するかという順序情報である。具体例は後述する。

アナログ選択加算部１０４は、電荷保持部１０２が保持しているすべての画素の電荷信号に対して、加算サンプリング情報設定部１０３が設定した加算サンプリング情報に基づいてアナログ選択加算処理し、新たな信号を生成し出力する（ステップＳ１０４）。

アナログデジタル変換部１０５は、アナログ選択加算部１０４で生成された信号をデジタル信号に変換する（ステップＳ１０５）。この処理は、非特許文献２に記載されているΔΣ型ＡＤＣを利用して行われてもよいし、広く知られているパイプライン型またはカラム型のアナログデジタル変換器を利用して行われてもよい。

アナログ選択加算部１０４とアナログデジタル変換部１０５が選択的な加算処理を行うことによって、画像情報を圧縮することができ、アナログデジタル変換部１０５に送信する信号量、つまりアナログデジタル変換部１０５が処理すべき信号量を減らすことができる。選択的な加算処理、圧縮処理および復元処理は、最終的に出力される画質に大きく影響するため、如何にそれらの処理を行うかが問題である。

アナログ選択加算処理に関しては、すべての画素をいくつかのブロックに分割し、あるブロック内の画素に行われるアナログ選択加算処理のサンプリングパターン（加算サンプリング情報）を空間的かつまたは時間的に異なるように設定し、電荷保持部１０２が保持している電荷信号を複数の画素において加算サンプリング情報にしたがって加算処理する。サンプリングパターンが空間的に異なるとは、サンプリングパターンの繰り返しの周期が大きい、または画素の位置ごとに、異なる周期パターン（サンプリングパターン）を利用することである。また、サンプリングパターンが時間的に異なるとは、各画素のサンプリングパターンが受光した時間で異なることである。

本構成によって、撮像装置は、空間的かつまたは時間的に加算サンプリング情報を変更しながら撮像を行い、さらに加算サンプリング情報を利用しながら撮像データを圧縮して伝送することができるため、高画質の画像を復元しながら、伝送データを削減することができる。

ここで、これまでに言及した選択的な加算処理、データ圧縮処理および画像復元処理を説明する。以下では説明の簡略化のため、４×４の１６画素に対し、８個の出力信号をサンプリングする処理を例に挙げて説明する。

（具体例）
図４は、本明細書において例示する４×４の１６画素の配置を示す模式図である。図４には４×４の各画素に画素番号を付している。すなわち、４×４画素において、左上隅の画素から右方向に順に「１」「２」「３」「４」とし、同様に、次行の左端の画素から「５」「６」…とし、右下隅の画素を「１６」としている。例えば画素４０１は画素番号４の画素である。

図５Ａ〜図５Ｈは選択的な加算処理を説明するための模式図である。選択的な加算処理は、加算サンプリング情報に基づいてアナログ選択加算部１０４によって行われる。

図５Ａ〜図５Ｈはそれぞれ、後述するサンプリングパターン１における８個の出力信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。つまり、図５Ａ〜図５Ｈの各々において番号が付された各画素は、選択的な加算処理に用いられる画素を表している。本明細書では、図５Ａ〜図５Ｈの各々に示されるような、選択的な加算処理に用いられるひとまとまりの画素群を「読み出し画素群」と呼ぶ。図５Ａ〜図５Ｈには、番号１−８がそれぞれ付された読み出し画素群４０２−４０９が示されている。

同様に、図６Ａ〜図６Ｈはサンプリングパターン２における８個の出力信号における読み出し画素群４１０−４１７を示し、図７Ａ〜図７Ｈ）はサンプリングパターン３における８個の出力信号における読み出し画素群４１８−４２５を示している。

図５Ａでは、画素番号１，２，５，６の電荷信号を読み出し、この４画素分の電荷信号を加算処理することで、サンプリングパターン１の第１の出力信号を生成している。同様に、図５Ｂでは、画素番号３，４，７，８の電荷信号を読み出し、この４画素分の電荷信号を加算し、サンプリングパターン１の第２の出力信号を生成している。図５Ｃでは、画素番号９，１０，１３，１４の電荷信号を読み出し、この４画素分の電荷信号を加算し、サンプリングパターン１の第３の出力信号を生成している。図５Ｄでは、画素番号１１，１２，１５，１６の電荷信号を読み出し、この４画素分の電荷信号を加算し、サンプリングパターン１の第４の出力信号を生成している。図５Ｅ〜図５Ｈにおいても同様に、画素番号１，６，１１，１６からサンプリングパターン１の第５の出力信号を、画素番号３，８，９，１４からサンプリングパターン１の第６の出力信号を、画素番号２，５，１２，１５からサンプリングパターン１の第７の出力信号を、画素番号４，７，１０，１３からサンプリングパターン１の第８の出力信号を生成している。

このようにして、４×４＝１６画素分の電荷信号を８個の出力信号に圧縮する。これにより、前述のアナログデジタル変換部１０５の動作速度を減少させることができるため、低消費電力化、高ＳＮ化、通信帯域の削減を実現しながら、画像を復元できる。

また、前述の加算サンプリング情報は、例えば、加算のためにサンプリングされた画素を「１」、サンプリングされていない画素を「０」として、図に示した画素番号順に符号化したデータとして表現する。具体的には以下のとおりである。
第１の出力信号：“１１００１１００００００００００”
第２の出力信号：“００１１００１１００００００００”
第３の出力信号：“００００００００１１００１１００”
第４の出力信号：“００００００００００１１００１１”
第５の出力信号：“１００００１００００１００００１”
第６の出力信号：“００１００００１１００００１００”
第７の出力信号：“０１００１００００００１００１０”
第８の出力信号：“０００１００１００１００１０００”

そこで、これらを連結すると、サンプリングパターン１における加算サンプリング情報は以下のとおりとなる。
“１１００１１００００００００００００１１００１１００００００００００００００００１１００１１００００００００００００１１００１１１００００１００００１００００１００１００００１１００００１０００１００１００００００１００１００００１００１００１００１０００”

本明細書では、上述の数字列を「加算サンプリング情報符号化データ」または簡略化して「符号化デ―タ」と呼ぶ。なお、加算サンプリング情報の形式はここで示したものに限られない。加算のためにサンプリングされた画素の位置が分かる形式であればよい。

同様に、図６Ａ〜図６Ｈより、サンプリングパターン２における符号化データは、以下のとおりである。
“１１００１１００００００００００００１１００１１００００００００００００００００１１００１１００００００００００００１１００１１０１００００１０１０００００００００１０１００００００１
０１１００００１０１００００１０１０００１０００００１００１０００００１”

図７Ａ〜図７Ｈより、サンプリングパターン３における符号化データは、以下のとおりである。
“１１００１１００００００００００００１１００１１００００００００００００００００１１００１１００００００００００００１１００１１１００００１０１０１００００１０００１０００００１０００
０００１０１００１０１００００１１００００００１００００００１０００００”

図８および図９は、このような符号化データの表現方法の一例としての、加算サンプリング情報テーブルの例を示した模式図である。

図８におけるサンプリングパターン１に対応する加算サンプリング情報符号化データは図５Ａ〜図５Ｈに示す選択的な加算処理に対応するデータである。

図８におけるサンプリングパターン２に対応する加算サンプリング情報符号化データは図６Ａ〜図６Ｈに示す選択的な加算処理に対応するデータである。

図９におけるサンプリングパターン３に対応する加算サンプリング情報符号化データは図７Ａ〜図７Ｈに示す選択的な加算処理に対応するデータである。

このように、一つの画素を複数回、読み出し、さらに複数回の加算処理を行うことで、出力信号のダイナミックレンジを上げることができるため、ノイズを低減することも可能である。このような選択的な加算処理については、例えば、非特許文献２に記載されている。

また、本実施形態の撮像システム１０では、時間的かつ空間的に異なる選択的な加算処理を行う。そのため、加算データ圧縮部１０６は、撮像素子１１を複数のブロックに分割し、ブロックごとに得られた電荷信号に異なる選択的な加算処理を行う。ここで、ブロックごとに行う選択的な加算処理を特定するための加算サンプリング情報を加算サンプリングパターンと呼ぶ。

図１０Ａは時刻ｔ＝ｔ１におけるサンプリングパターンを模式的に示し、図１０Ｂは時刻ｔ＝ｔ２におけるサンプリングパターンを模式的に示し、図１０Ｃは時刻ｔ＝ｔ３におけるサンプリングパターンを模式的に示す。ｘ、ｙはブロック番号のインデックスを示している。つまり、左上のブロックは、（ｘ，ｙ）＝（１，１）を示している。各ブロックは４ｘ４画素のまとまりである。ここで、（ｘ，ｙ）＝（５，６）のブロック３０１を例示して説明する。ブロック３０１の中央に記載された番号「５」は、加算サンプリングパターンの番号を示している。例えば、ブロック３０１を構成する画素の電荷信号に関しては、時刻ｔ＝ｔ１ではサンプリングパターン５で選択的な加算処理が行われる。また、時刻ｔ＝ｔ２ではサンプリングパターン６で選択的な加算処理が行われる。そして、時刻ｔ＝ｔ３ではサンプリングパターン１で選択的な加算処理が行われる。サンプリングパターン４〜サンプリングパターン１６の各々に対応する加算サンプリング情報符号化データは明示しないが、サンプリングパターンｎ（ｎ＝１〜１６の自然数）に対応する加算サンプリング情報符号化データをＤｎすると、Ｄｉ≠Ｄｊ（ｉ≠ｊ、ｉ，ｊは１〜１６の自然数）である。また、
Ｄｎ＝（ｄｎ１ｄｎ２ｄｎ３ｄｎ４ｄｎ５ｄｎ６ｄｎ７ｄｎ８ｄｎ９
ｄｎ１０ｄｎ１１ｄｎ１２ｄｎ１３ｄｎ１４ｄｎ１５ｄｎ１６ｄｎ１７ｄｎ１８ｄｎ１９ｄｎ２０ｄｎ２１ｄｎ２２ｄｎ２３ｄｎ２４ｄｎ２５ｄｎ２６ｄｎ２７ｄｎ２８ｄｎ２９ｄｎ３０ｄｎ３１ｄｎ３２ｄｎ３３ｄｎ３４ｄｎ３５ｄｎ３６ｄｎ３７ｄｎ３８ｄｎ３９ｄｎ４０ｄｎ４１ｄｎ４２ｄｎ４３ｄｎ４４ｄｎ４５ｄｎ４６ｄｎ４７ｄｎ４８ｄｎ４９ｄｎ５０ｄｎ５１ｄｎ５２ｄｎ５３ｄｎ５４ｄｎ５５ｄｎ５６ｄｎ５７ｄｎ５８ｄｎ５９ｄｎ６０ｄｎ６１ｄｎ６２ｄｎ６３ｄｎ６４ｄｎ６５ｄｎ６６ｄｎ６７ｄｎ６８ｄｎ６９ｄｎ７０ｄｎ７１ｄｎ７２ｄｎ７３ｄｎ７４ｄｎ７５ｄｎ７６ｄｎ７７ｄｎ７８ｄｎ７９ｄｎ８０ｄｎ８１ｄｎ８２ｄｎ８３ｄｎ８４ｄｎ８５ｄｎ８６ｄｎ８７ｄｎ８８ｄｎ８９ｄｎ９０ｄｎ９１ｄｎ９２ｄｎ９３ｄｎ９４ｄｎ９５ｄｎ９６ｄｎ９７ｄｎ９８ｄｎ９９ｄｎ１００ｄｎ１０１ｄｎ１０２ｄｎ１０３ｄｎ１０４ｄｎ１０５ｄｎ１０６ｄｎ１０７ｄｎ１０８ｄｎ１０９ｄｎ１１０ｄｎ１１１ｄｎ１１２ｄｎ１１３ｄｎ１１４ｄｎ１１５ｄｎ１１６ｄｎ１１７ｄｎ１１８ｄｎ１１９ｄｎ１２０ｄｎ１２１ｄｎ１２２ｄｎ１２３ｄｎ１２４ｄｎ１２５ｄｎ１２６ｄｎ１２７ｄｎ１２８）とすると、
ｄｎ１＝ｄｎ２＝１、ｄｎ３＝ｄｎ４＝０、
ｄｎ５＝ｄｎ６＝１、ｄｎ７＝ｄｎ８＝０、
ｄｎ９＝ｄｎ１０＝ｄｎ１１＝ｄｎ１２＝０、
ｄｎ１３＝ｄｎ１４＝ｄｎ１５＝ｄｎ１６＝０、
ｄｎ１７＝ｄｎ１８＝０、ｄｎ１９＝ｄｎ２０＝１、
ｄｎ２１＝ｄｎ２２＝０、ｄｎ２３＝ｄｎ２４＝１
ｄｎ２５＝ｄｎ２６＝ｄｎ２７＝ｄｎ２８＝０、
ｄｎ２９＝ｄｎ３０＝ｄｎ３１＝ｄｎ３２＝０、
ｄｎ３３＝ｄｎ３４＝ｄｎ３５＝ｄｎ３６＝０、
ｄｎ３７＝ｄｎ３８＝ｄｎ３９＝ｄｎ４０＝０、
ｄｎ４１＝ｄｎ４２＝１、ｄｎ４３＝ｄｎ４４＝０
ｄｎ４５＝ｄｎ４６＝１、ｄｎ４７＝ｄｎ４８＝０、
ｄｎ４９＝ｄｎ５０＝ｄｎ５１＝ｄｎ５２＝０、
ｄｎ５３＝ｄｎ５４＝ｄｎ５５＝ｄｎ５６＝０
ｄｎ５７＝ｄｎ５８＝０、ｄｎ５９＝ｄｎ６０＝１、
ｄｎ６１＝ｄｎ６２＝０、ｄｎ６３＝ｄｎ６４＝１
であってもよい。

同様に、時刻ｔ＝ｔ１では、（１，１）ブロックではサンプリングパターン１で選択的な加算処理が行われる。そして、（２，１）ブロックではサンプリングパターン２で選択的な加算処理が行われ、（３，１）ブロックではサンプリングパターン３で選択的な加算処理が行われる。

ここでは、４ｘ４画素のサンプリングパターンを４ｘ４の１６パターン利用するため、各ブロックで使用されるサンプリングパターンの周期は１６×１６＝２５６周期となる。通常の単板撮像の場合、カラーフィルタアレイとしてベイヤー配列が広く利用されているが、これは２ｘ２画素ごとに赤／緑／青の配置は等しくなっているため、２ｘ２周期の配列となっている。つまり、本実施形態においてサンプリングを行う１６ｘ１６周期は、従来の撮像装置の２ｘ２周期と比べ非常に大きい。また、サンプリングパターンを時間的に変更するため、一つの画素であっても、加算方法はフレーム毎に異なる。そのため時間的かつまたは空間的に異なる選択的な加算処理を行うことができる。

本願発明者らは、本実施の形態の符号化装置１の選択的な加算処理に以下の条件を与えた。
（１）第１〜第４の出力信号に関連する選択的な加算処理は、サンプリングパターンに関係なく固定で行われる。その読み出し画素群が復元画像の低解像度画像となるように近傍の画素が同時にサンプリングされる。
（２）第５〜８の出力信号に関連する選択的な加算処理は、サンプリングパターンごとに異なるため、空間的かつまたは時間的に異なる。

図１１Ａ、図１１Ｂ、図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂは、選択的な加算処理の２つの条件を説明するための模式図である。これらの図において、図５Ａ〜図５Ｈ、図６Ａ〜図６Ｈ、図７Ａ〜図７Ｈと同じ構成要素には、同一の符号を付し、説明を省略する。

図１１Ａ、図１１Ｂ、図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂにおいて、図１１Ａ、図１２Ａ、図１３Ａはサンプリングパターン１〜３でのサンプリング処理で読み出される第１〜第４の読み出し画素群４０２〜４０５、４１０〜４１３、４１８〜４２１を示す。また、図１１Ｂ、図１２Ｂ、図１３Ｂはサンプリングパターン１〜３でのサンプリング処理で読み出される第５〜第８の読み出し画素群４０６〜４０９、４１４〜４１７、４２２〜４２５を示している。記載の便宜上、一部の画素に参照符号を付している。

第１〜第４の読み出し画素群４０２〜４０５、４１０〜４１３、４１８〜４２１に基づく各出力信号に関しては、サンプリング処理により、４ｘ４画素が２x２画素相当に低解像度化されている。しかも、サンプリングパターン１〜３でサンプリング画素は変化していない。そのため、本実施形態における撮像システムは、第１〜第４の出力信号に対して、画像復元処理を行うことなしに出力させることで、処理負荷をほとんどかけず、リアルタイムに低解像度画像を表示することが可能である。

一方、第５〜第８の読み出し画素群４０６〜４０９、４１４〜４１７、４２２〜４２５に基づく各出力信号に関しては、サンプリングパターン１〜３でサンプリング画素の位置は常に変化しているが、４ｘ４画素の全ての画素を必ず１回、サンプリングしており、サンプリング頻度は等しい。このように、サンプリング画素を時間的に変化させることにより、画像再構成部１０９が復元する画像の画質も向上させることができる（例えば、非特許文献３）。

もちろん、アナログ選択加算部１０４は、選択的に加算する画素の位置を、空間的、時間的にできる限りランダム、かつまたは、独立になるように選択してもかまわない。このようにすることで、選択的な加算処理による画像情報の劣化を防ぐことができ、復元画像の画質を向上できる。なお、たとえば非特許文献４のｐｐ.４３−４４では、ランダム行列と観測結果とからスパースな未知のベクトルを正しく推定できることが議論されている。このようなランダムな選択的な加算処理は、選択的な加算がランダムに行われて得られた加算データを図８〜図９のように事前に設定することで実現される。この場合、加算サンプリング情報設定部１０３は、フレーム毎に利用するサンプリングパターン番号を変更すればよい。実存する機器の動作として、時間的かつ空間的にサンプリングパターンを変更するためには、サンプリングパターンをソフトウェア的またはハードウェア的に変更するスイッチを設け、どの画素値を加算するかをスイッチによって切り替えるようにすればよい。ここで、スイッチのＯＮ−ＯＦＦを外部信号で与え、この外部信号を加算サンプリング情報とすればよい。

ここで、撮像画像と選択的な加算によって出力された信号をベクトル表記する。図４の画素番号順に撮像画像の画素値を並べた撮像画像ベクトルをｘ、第１〜第８の出力信号を並べた出力信号ベクトルをｙとすると、以下の関係式が成り立つ。

行列Ｓは、サンプリング行列である。たとえばサンプリングパターン１に関して上述した加算サンプリング情報を行列表現したサンプリング行列Ｓは、以下のように表現される。

以上の選択的な加算処理により、１６画素分の電荷信号を８個の出力信号に圧縮することができる。

同様に、サンプリングパターン２に関して上述した加算サンプリング情報を行列表現したサンプリング行列Ｓは、以下のように表現される。

次に、データ圧縮処理と復号化処理について説明する。

また、図１４は、本実施形態における圧縮装置２（図２）の処理の手順を示すフローチャートである。さらに、図１５は、本実施形態における復元装置３０（図２）の処理の手順を示すフローチャートである。

まず、データ圧縮処理について説明する。

デジタルデータ取得部２０１は、アナログ選択加算部１０４が撮像し、アナログデジタル変換部１０５が変換したデジタルデータを取得する（ステップＳ２０１）。

加算サンプリング情報取得部２０２は、加算サンプリング情報設定部１０３が設定し、選択的な加算処理で利用した加算サンプリング情報を取得する（ステップＳ２０２）。

データ圧縮部２０３は、伝送データの圧縮方法を選択するために、まず、近傍ブロックを選択する（ステップＳ２０３）。従来の画像処理におけるデータ圧縮では、近傍画素間や近傍ブロック間で高い相関を持つことを利用する。すなわち、近傍画素間または近傍ブロック間で差分を計算することで、データを圧縮することができる。一方、空間的かつ時間的に異なる選択的な加算処理を行う場合、数３に示したように、各出力信号は異なる数の画素の電荷を加算されているため、単純に差分を計算しても、圧縮率を上げることはできない。そこで、本実施形態のデータ圧縮部２０３は、加算サンプリング情報であるサンプリング行列Ｓの情報を利用することで、異なる数の画素の電荷を加算されているという問題を解決できるため、より効率的な圧縮を行う。

ここでは、ラスタスキャン順にブロックを圧縮する。すなわち、図１０Ａ〜図１０Ｃにおいて、まず（ｘ，ｙ）＝（１，１）のブロックを圧縮し、次に（２，１）、さらに（３，１）、…として、最後に（６，６）を圧縮する。この場合、近傍ブロックとして、着目ブロックの左隣のブロックを選択する。

近傍ブロックが存在しない場合（ステップＳ２０４でＮｏ）、つまり画像の左端（ｘ＝１）のブロックを圧縮する場合、加算データ自体を符号化することで信号を圧縮する（ステップＳ２０５）。これは、例えば、出力信号ベクトル要素の差分を計算し、求まった差分信号をエントロピー符号またはハフマン符号によって符号化すればよい。また、出力信号ベクトル間の差分信号ｄは、以下のように加算サンプリング情報から計算した補正係数乗算することで計算される。

ここで、ｙ_iはｉ番目の出力信号、Ｓｕｍ（Ｓ（ｉ））はサンプリング行列Ｓのｉ行目成分の総和を示している。

サンプリング行列Ｓのｍ行ｎ列の成分をｓ_mnとすると、Ｓｕｍ（Ｓ（ｉ））＝ｓ_i1＋ｓ_i2＋・・・＋Ｓ_i16となる。例えばＳｕｍ（Ｓ（１））＝１＋１＋０＋０＋１＋１＋０＋０＋０＋０＋０＋０＋０＋０＋０＋０＝４である。

また、図１６は、加算サンプリング情報および出力信号ベクトル間の差分信号ｄを伝送するための伝送フォーマットの例を示している。ヘッダ部５０１には加算サンプリング情報が記述され、データ部５０２には出力信号ベクトル間の差分信号ｄが記述されればよい。ここで、ヘッダ部５０１の加算サンプリング情報は、すべてのブロックの加算サンプリング情報を記載するのではなく、加算サンプリングパターングループ番号を記載してもかまわない。図１７は、加算サンプリングパターングループ番号がヘッダ部５０１に記述されるときの伝送フォーマットの例を示す。

図１８は、加算サンプリングパターングループ番号の一例を示した模式図である。ここで、加算サンプリングパターングループ番号１は、図１０Ａの時刻ｔ＝ｔ１、加算サンプリングパターングループ番号２は、図１０Ｂの時刻ｔ＝ｔ２、加算サンプリングパターングループ番号３は、図１０Ｃの時刻ｔ＝ｔ３を示している。このようにすることで、ヘッダ部５０１を小さくしながら、伝送データを削減することが可能である。

また、このときの伝送フォーマットを暗号化して伝送する際、データ全体を圧縮するのではなく、ヘッダ部５０１の加算サンプリング情報を暗号化してもかまわない。後述のように、本実施形態の復元処理は、加算サンプリング情報が必須である。また、加算データはランダム加算処理が行われているため、そのままでは高解像度の画像を取得することができない。そこでデータ全体を圧縮するのではなく、ヘッダ部５０１の加算サンプリング情報を暗号化することで、演算負荷を抑えながら、伝送データの暗号化を行うことができる。

一方、選択された近傍ブロックのデータがすでに送信されている場合（ステップＳ２０４でＹｅｓ）、選択された近傍ブロックの加算データとの差分信号も計算し（ステップＳ２０６）、出力信号ベクトル間の差分信号を符号化することで信号を圧縮する（ステップＳ２０７）。ステップＳ２０６において、ブロック間の加算データとの差分信号は、例えば、以下のように計算される。

ここで、ｌ_8,lは、選択された近傍ブロックの８番目の差分信号である。自然画像では、隣り合ったブロック間の相関は非常に近いことが知られている。そのため、近傍ブロックの情報を利用して圧縮処理を行うことで、圧縮率を上げることができる。つまり、上記した８番目は、例示であり、近接ブロックのいずれかであればよい。

また、ステップＳ２０７において、出力信号ベクトル間の差分信号ｄは、以下のように計算される。

以上のように、本実施形態のデータ圧縮部２０３は、加算サンプリング情報であるサンプリング行列Ｓの情報を利用することで、異なる数の画素の電荷が加算されているという問題を解決できるため、より効率的な圧縮を行うことができる。

第一通信部１０７は、前記データ圧縮部２０３が圧縮した符号化信号と、加算サンプリング情報を復元装置３０へ送信する（ステップＳ２０８）。

次に、画像復元処理を説明する。

第二通信部１０８は、前記第一通信部１０７が送信した符号化信号と、加算サンプリング情報を受信する（ステップＳ２０９）。通信は、無線または有線の通信回線（ネットワーク）を介して行われる。

データ復号部２０４は、まず、符号化信号が、ブロック間の差分信号を符号化したものか、加算データそのものを符号化したものかを確認する（ステップＳ２１０）。これは、ブロックが画像の左端（ｘ＝１）かどうかを確認すればよい。

ブロックが画像の左端、つまり、符号化信号が加算データであった場合（ステップＳ２１０でＮｏ）、データ復号部２０４は、符号化信号lから加算サンプリング情報を利用して、加算データyを復号する（ステップＳ２１１）。これは、次式で計算される。

一方、符号化信号がブロック間の差分信号を符号化したものであった場合（ステップＳ２１０でＹｅｓ）、データ復号部２０４は、符号化信号lから加算サンプリング情報と近傍ブロックの復号データを利用し、加算データを復号する（ステップＳ２１２）。これは、以下のように計算される。

また、ステップＳ２１３において、符号化信号lから加算サンプリング情報を利用して、加算データyを復号する（ステップＳ２１３）。これは、次式で計算される。

画像復元部２０５は、復号した加算データと加算サンプリング情報を利用し、画像復元により、復元画像を作成する（ステップＳ２１４）。

データ復号部２０４および画像復元部２０５は、ＣＰＵ（図示せず）がコンピュータプログラムを実行することによって実現される。なお、ＣＰＵがコンピュータプログラムを実行することによってデータ復号部２０４および画像復元部２０５を実現する代わりに、ハードウェアとして同じ機能を提供する信号処理回路を設けてもよい。

復号化信号出力部２０６は、画像復元部２０５が復元した復元画像をディスプレイに表示したり、メモリに保存したりする。

復元処理は、事前知識として画像の局所的類似性を仮定することで画像の繰り返し構造を抽出し、これを先見情報として利用する手法（例えば非特許文献５を参照）を利用する。もちろん、復元処理はこの手法に限ったものではなく、圧縮センシングで広く使われている、ＩｍｐｒｏｖｅｄＩｔｅｒａｔｉｖｅＣｕｒｖｅｌｅｔＴｈｒｅｓｈｏｌｄｉｎｇ法（例えば非特許文献１を参照）またはアフィンスケーリング法（例えば非特許文献６を参照）、ＡｌｔｅｒｎａｔｉｎｇＤｉｒｅｃｔｉｏｎＭｅｔｈｏｄｏｆＭｕｌｔｉｐｌｉｅｒｓ法（例えば非特許文献７を参照）などの公知の手法を利用すればよい。

本開示にかかる撮像システム１０によれば、空間的かつまたは時間的に加算サンプリングパターンを変更しながら選択的な加算処理を行い、等しいサンプリングパターンで選択的な加算処理を行ったデータごとに圧縮処理する。等しいサンプリングパターンで選択的な加算処理を行ったデータは、高い相関をもつため、より効率的に圧縮することができる。

なお、本明細書における撮像システムは装置として実現されなくてもよい。例えば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した撮像装置の動作を行ってもよい。そのようなコンピュータプログラムは、例えば図１４、図１５のフローチャートによって実現される処理をコンピュータに実行させるための命令群を含んでいる。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。

また、加算データ圧縮部１０６は、ブロック内の画素値の平均値を利用して圧縮処理をしてもかまわない。この処理に関して説明する。図１１Ａ、図１１Ｂ、図１２Ａ、図１２Ｂ、図１３Ａ、図１３Ｂ、で説明したように、本実施形態の撮像システムでは、低解像度画像を簡単な処理で取得することができる。この情報を利用して、ブロック内の平均値を取得する。すなわち、選択的な加算処理の第１の出力信号から第４の出力信号を加算することで、ブロック内１６画素の合計値を計算できる。これを画素数１６で除算することで、ブロック内の平均値を計算することができる。ここで、ブロック内の平均値をＡとすると、データ圧縮部２０３は、加算データを以下のように変更する。

こうして求めたｙ’は、０に近い値をとるため、数４〜９のyに代わり、yiを利用することで、圧縮率を上げることができる。この場合、ブロックごとの平均値Ａも第一通信部１０７と第二通信部１０８で送受信する。

以上の説明では、アナログ選択加算部１０４は、電荷保持部１０２が保持している電荷信号を複数の画素において加算サンプリング情報にしたがって加算処理するとしたが、もちろん、ゲインとして重みづけ加算処理するようにしてもかまわない。前述のように、圧縮センシングでは、サンプリングする画素位置を、空間的、時間的にできる限りランダムに選択することで、復元画像の画質を向上できる。そのため、ゲインを重みづけ加算することで、ランダム性を上げ、復元画像の画質を向上させることができる。また、複数の画素を加算すると、データのダイナミックレンジが増大し、アナログデジタル変換部１０５の負荷が増えることを解決することにも有効である。このような重みづけ加算処理は、数２のサンプリング行列Ｓの代わりに、以下の行列Ｓを利用すればよい。

また、加算後のデータのダイナミックレンジを合わせるために、正規化処理を行う場合、重み１／４をゲインとして与えればよい。このように選択的な加算処理にゲインを付加する場合、サンプリング行列Ｓを以下のように設定すればよい。

このように、アナログ選択加算部１０４が、加算サンプリング情報にしたがって重みづけ加算処理をする場合であっても、データ圧縮部２０３は数４〜数９で処理を行えばよい。次に、上述の撮像システムの変形例を説明する。以下の例では、同じ機能および構成を有する構成要素には同じ参照符号を付し、機能および／または構成が異なる構成要素には、例えば、「ａ」または「ｂ」の添え字を付している。なお、以下で説明する種々の変形例は、上述した重みづけ加算処理を行う例への適用も可能である。

図１９は、撮像システム１０（図１）の第１の変形例にかかる撮像システム１０ａの構成を示す。撮像システム１０（図１）と撮像システム１０ａとの相違点は、撮像システム１０ａでは、加算サンプリング情報設定部１０３が撮像装置２０の外部に設けられている点である。つまり、撮像システム１０ａの符号化装置１ａは加算サンプリング情報設定部１０３を有していない。

加算サンプリング情報設定部１０３は、たとえばネットワークにおいて接続されたスマートフォンなどの情報端末またはＰＣによって実現され得る。

加算サンプリング情報設定部１０３は、加算サンプリング情報を、アナログ選択加算部１０４、加算データ圧縮部１０６、および復元装置３０の画像再構成部１０９に送信する。加算サンプリング情報が加算サンプリング情報設定部１０３から復元装置３０に直接送信されるため、第一通信部１０７は、図１６に示されるヘッダ部５０１に加算サンプリング情報を格納して送信する必要はない。その他の構成および動作は、撮像システム１０（図１）と同じである。

なお、加算サンプリング情報が加算サンプリング情報設定部１０３から復元装置３０に直接送信されなくてもよい。その場合には、第一通信部１０７が、図１６に示されるように、ヘッダ部５０１に加算サンプリング情報を格納して送信すればよい。

図２０は、撮像システム１０（図１）の第２の変形例にかかる撮像システム１０ｂの構成を示す。撮像システム１０ｂには、上述の加算サンプリング情報設定部１０３が存在しない。その理由は、加算サンプリング情報が予め定められているからである。そのため、符号化装置１ｂのアナログ選択加算部１０４ｂ、加算データ圧縮部１０６ｂ、および復元装置３０ｂの画像再構成部１０９ｂはそれぞれ、予め定められた加算サンプリング情報を、半導体メモリ等の記憶装置（図示せず）に保持している。その他の構成および動作は、撮像システム１０（図１）と同じである。

なお、これまでの説明では、圧縮装置２は圧縮データを送信する第一通信部１０７を有しているとしたが、この構成は必須ではない。第一通信部１０７に代えて、圧縮データおよび加算サンプリング情報を記憶する記憶装置を設けてもよい。記憶装置とは、たとえばフラッシュメモリなどの半導体メモリ、ハードディスクドライブのような磁気記憶装置、光ディスクのような光学的記録媒体である。このような構成にあっては、復元装置３０は、撮像装置２０と空間的および／または時間的に同時に存在している必要はない。たとえばフラッシュメモリに格納された圧縮データおよび加算サンプリング情報を用いて、空間的に離れた位置に設置された復元装置３０が再生してもよい。記憶装置と第一通信部１０７とは併存し得る。

図２１は、本開示の一実施形態にかかる撮像システム１０のハードウェア構成例を示す。撮像システム１０は、撮像素子１１と、マルチプレクサ（ＭＵＸ）１２と、制御回路１３と、アナログデジタル変換器（ＡＤＣ）１４と、圧縮回路１５と、画像復元回路１６とを備えている。

撮像素子１１は、複数の画素から構成される画素アレイである。撮像素子１１は、受光した光信号を電気信号に変換する。より具体的には、撮像素子１１の各画素は、光を受け、入射した光の量に応じた電荷を蓄積し、出力する。撮像素子１１はいわゆるイメージセンサであり、受光素子群を有する光電変換部１０１、および電荷保持部１０２に対応する。ＭＵＸ１２は、複数の画素の画素値（電荷信号）を加算する処理、すなわち上述の選択的な加算処理を行う。ＭＵＸ１２は、符号化装置１のアナログ選択加算部１０４に対応する。

制御回路１３は、ＭＵＸ１２における選択的な加算処理を制御するための制御信号を生成してＭＵＸ１２に出力する。この制御信号は、加算サンプリング情報であり、制御回路１３は加算サンプリング情報設定部１０３に対応する。なお、制御回路１３は、選択的な加算処理を制御するために存在する必要はない。たとえば制御回路１３が、コンピュータプログラムに従って動作する信号処理プロセッサであれば、信号処理プロセッサは後述するアナログデジタル変換処理、加算データ圧縮処理、通信処理などの一部または全部を制御してもよい。

ＡＤＣ１４は、選択的な加算処理の結果得られたアナログの電荷信号をデジタルデータに変換する。ＡＤＣ１４は、例えばΔΣ変調器およびデジタルフィルタ（いずれも不図示）を直列に接続して構成されるΔΣ型ＡＤＣである。ΔΣ変調器は、アナログ信号を受け取って、想定されるサンプリングレートよりも高速でサンプリングされた１ビットのパルス波形（デジタル波形）に変換する。デジタルフィルタは、そのパルス波に帯域制限とデシメーション（間引き）を行い、想定されるサンプリングレートの多ビットのデジタルデータを出力する。ＡＤＣ１４は、アナログデジタル変換部１０５に対応する。

圧縮回路１５は、ＡＤＣによってデジタル化されたデータを圧縮することで、データ量を削減する。圧縮回路１５は、上述の数４〜数６に示す数値演算を行う必要があるため、数値演算コプロセッサなどとして実装され得る。圧縮回路１５は、加算データ圧縮部１０６に対応する。

画像復元回路１６は、圧縮回路１５によって圧縮されたデジタルデータから、加算データを復号し、さらに圧縮サンプリング技術を用いて撮像素子１１によって当初生成されたであろう画像を生成する。すなわち、画像の復元または再構成を行う。

本開示の例示的な実施形態にかかる撮像システムは、低消費電力化、高ＳＮ化、通信帯域の削減を実現できる圧縮センシングを利用した撮像システムにおいて、画質を向上させながら、伝送データを削減するために有用である。

１符号化装置
２圧縮装置
３０復元装置
１０１光電変換部
１０２電荷保持部
１０３加算サンプリング情報設定部
１０４アナログ選択加算部
１０５アナログデジタル変換部
１０６加算データ圧縮部
１０７第一通信部
１０８第二通信部
１０９画像再構成部

Claims

３以上の画素で受光された光信号を、前記３以上の画素毎に電荷信号に変換する光電変換部と、
前記変換された３以上の画素毎の電荷信号を保持する電荷保持部と、
前記３以上の画素のうち、所定の複数の画素位置に対応する電荷情報を加算する規則である、複数のアナログ加算パターンを用いて、前記複数の画素の電荷信号が加算された、複数の加算電荷信号を生成するアナログ選択加算部と、
前記複数の加算電荷信号を、複数のデジタル信号に変換するアナログデジタル変換部と、
前記複数のアナログ加算パターンにおける電荷情報を加算する画素数を用いて、前記デジタル信号を圧縮して、圧縮デジタル信号を生成する加算データ圧縮部と
を備える、撮像装置。
前記加算データ圧縮部は、前記アナログデジタル変換部により変換された複数のデジタル信号の平均値又は中央値を計算し、計算された平均値又は中央値と前記複数のデジタル信号における各デジタル信号との差分信号を圧縮して、圧縮デジタル信号を生成する、請求項１に記載の撮像装置。
前記加算データ圧縮部は、さらに、エントロピー符号を利用して、前記デジタル信号を圧縮して、圧縮デジタル信号を生成する、請求項１に記載の撮像装置。
前記加算データ圧縮部は、さらに、ハフマン符号を利用して、前記デジタル信号を圧縮して、圧縮デジタル信号を生成する、請求項１に記載の撮像装置。
さらに、前記圧縮デジタル信号と、前記複数のアナログ加算パターンとを送信する第一通信部とを備える、請求項１に記載の撮像装置。
前記第一通信部は、
ヘッダ部に前記複数のアナログ加算パターンを含み、ボディ部に前記圧縮デジタル信号を含む第一のフォーマット、又は、ヘッダ部に前記圧縮デジタル信号を含み、ボディ部に前記複数のアナログ加算パターンを含む第二のフォーマットにより送信する、請求項５に記載の撮像装置。
前記第一通信部は、
前記第一のフォーマットにおけるヘッダ部の前記複数のアナログ加算パターンは暗号化されており、
前記第二のフォーマットにおけるボディ部の前記複数のアナログ加算パターンは暗号化されている、請求項６に記載の撮像装置。
３以上の画素で受光された光信号を、前記３以上の画素毎に電荷信号に変換する光電変換部と、
前記変換された３以上の画素毎の電荷信号を保持する電荷保持部と、
前記３以上の画素のうち、所定の複数の画素位置に対応する電荷情報に重みを付与して加算する規則である、複数のアナログ加算パターンを用いて、前記複数の画素の電荷信号が加算された、複数の加算電荷信号を生成するアナログ選択加算部と、
前記複数の加算電荷信号を、複数のデジタル信号に変換するアナログデジタル変換部と、
前記複数のアナログ加算パターンにおける、重みを付与した電荷情報を加算する画素数を用いて、前記デジタル信号を圧縮して、圧縮デジタル信号を生成する加算データ圧縮部と
を備える、撮像装置。
請求項５に記載された撮像装置と、
復元装置と
を備える撮像システムであって、
前記復元装置は、
前記圧縮デジタル信号と、前記複数のアナログ加算パターンとを受信する第二通信部と、
前記複数のアナログ加算パターンを用いて、前記圧縮デジタル信号を復元して、撮像素子で撮像した画像情報を取得する画像復元部と
を有する、撮像システム。
請求項９に記載の撮像システムにおける復元装置。
３以上の画素で受光された光信号を、前記３以上の画素毎に電荷信号に変換し、
前記３以上の画素のうち、所定の複数の画素位置に対応する電荷情報を加算する規則である、複数のアナログ加算パターンを用いて、前記複数の画素の電荷信号が加算された、複数の加算電荷信号を生成し、
前記複数の加算電荷信号を、複数のデジタル信号に変換し、
前記複数のアナログ加算パターンにおける電荷情報を加算する画素数を用いて、前記デジタル信号を圧縮して、圧縮デジタル信号を生成する、
撮像方法。
さらに、前記圧縮デジタル信号と、前記複数のアナログ加算パターンとを送信する、
請求項１１に記載の撮像方法。
ヘッダ部に前記複数のアナログ加算パターンを含み、ボディ部に前記圧縮デジタル信号を含む第一のフォーマット、又は、ヘッダ部に前記圧縮デジタル信号を含み、ボディ部に前記複数のアナログ加算パターンを含む第二のフォーマットにより、前記圧縮デジタル信号と、前記複数のアナログ加算パターンとを送信する、
請求項１２に記載の撮像方法。
前記第一のフォーマットにおけるヘッダ部の前記複数のアナログ加算パターンは暗号化し、
前記第二のフォーマットにおけるボディ部の前記複数のアナログ加算パターンは暗号化し、
ヘッダ部に前記暗号化された複数のアナログ加算パターンを含み、ボディ部に前記圧縮デジタル信号を含む第一のフォーマット、又は、ヘッダ部に前記圧縮デジタル信号を含み、ボディ部に前記暗号化された複数のアナログ加算パターンを含む第二のフォーマットにより、前記圧縮デジタル信号と、前記複数のアナログ加算パターンとを送信する、
請求項１３に記載の撮像方法。
コンピュータに対して、
３以上の画素で受光された光信号を、前記３以上の画素毎に電荷信号に変換させ、
前記３以上の画素のうち、所定の複数の画素位置に対応する電荷情報を加算する規則である、複数のアナログ加算パターンを用いて、前記複数の画素の電荷信号が加算された、複数の加算電荷信号を生成させ、
前記複数の加算電荷信号を、複数のデジタル信号に変換させ、
前記複数のアナログ加算パターンにおける電荷情報を加算する画素数を用いて、前記デジタル信号を圧縮して、圧縮デジタル信号を生成させる、
コンピュータプログラム。
前記圧縮デジタル信号と、前記複数のアナログ加算パターンとを送信させる、
請求項１５に記載のコンピュータプログラム。
光を受光して、第１の複数の電荷信号を出力する第１の複数の画素を含む光電変換部と、
前記第１の複数の電荷信号と前記第１の複数の画素は１対１対応し、
前記第１の複数の画素の各々は前記第１の複数の画素信号に含まれる対応する画素信号を出力し、
複数の加算電荷信号を出力するアナログ選択加算部と、
前記複数の加算電荷信号と複数の指定情報は１対１対応し、
前記複数の加算電荷信号の各々は対応する指定情報で指定された複数の画素から出力された複数の電荷信号を加算することで得られ、
前記複数の指定情報はお互いに異なり、
前記指定された複数の画素と前記複数の電荷信号は１対１対応し、
前記指定された複数の画素は前記第１の複数の画素に含まれ、前記複数の電荷信号は前記第１の複数の電荷信号に含まれ、
前記複数の加算電荷信号をそれぞれデジタル値に変換し、複数のデジタル値を出力するアナログデジタル変換部と、
前記複数のデジタル値と前記指定された複数の画素の数を用いて第１の複数のデジタル値を生成する加算データ圧縮部を含み、
前記第１の複数の電荷信号の数は、前記複数の加算電荷信号の数より大きく、
前記複数の加算電荷信号の数は、複数の電荷信号の数より大きい
撮像装置。
前記加算データ圧縮部は、前記複数のデジタル値の各々の値を前記複数の画素の数で割った値に基づいて前記第１の複数のデジタル値を得る、
請求項１７記載の撮像装置。