JP7076246B2 - 撮像装置および撮像システム - Google Patents

Description

本発明は、撮像装置および撮像システムに関するものである。

いわゆるレンズレスの撮像装置として、ゾーンプレート（ＦＺＰ）により被写体からの光線をモアレ縞の空間周波数として検出し、モアレ縞のフーリエ変換像から被写体の像を再構築するものがある（例えば、特許文献１）。

国際公開第２０１７／１４９６８７号

上記のようなレンズを使用しないレンズレス撮像装置が、小型・低コストを実現できる撮像装置として期待されている。

上述した特許文献１では、レンズレス撮像装置で撮像されたセンサ画像からモアレ縞画像生成時にフォーカス調整（リフォーカス）、オートフォーカス、測距方法に関して述べられている。撮影後にフォーカス調整等を行うためにはセンサ画像を記録する必要があるが、上述した特許文献１のセンサ画像は被写体が明瞭ではない特殊な画像であり、1枚の画像容量も多いため、そのまま記憶してしまうと多くの記憶容量が必要となる。よって、レンズレスの撮像装置で撮像した画像の容量を削減することが望まれる。

そこで、本発明の目的は、レンズレスの撮像装置で撮像した画像の容量を低減して管理する撮像装置および撮像システムを提供することを目的とする。

本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。

本発明の代表的な実施の形態による画像を撮像する撮像装置であって、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する画像センサと、画像センサの受光面に設けられ、光の強度を変調する変調器と、画像センサから出力される画像信号を受信する信号処理部と、信号処理部により受信された画像信号の差分を算出し、当該差分に基づく第１の差分データを生成する差分処理部と、差分処理部による画像信号の差分の範囲および第１の差分データに基づいた第１の圧縮用画像データを生成するデータ変換部と、データ変換部により生成された第１の圧縮用画像データを圧縮する圧縮部と、圧縮部により圧縮されたデータを出力する出力部と、を備え、変調器は、複数の線で構成される第１の格子パターンと、第１の格子パターンと位相がずれた第２の格子パターンとを有し、信号処理部は、第１の格子パターンにより出力される第１の画像信号と、第２の格子パターンにより出力される第２の画像信号とを受信し、差分処理部は、第１の画像信号と、第２の画像信号との差分を算出し、圧縮部は、第１の圧縮用画像データに差分の範囲を示す情報を含めるものである。

本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。

すなわち、本発明の代表的な実施の形態によれば、レンズレスの撮像装置で撮像した画像の容量を低減して管理することができる。

基本的な実施例（実施形態）を示す図である。 変調器の一例を示す図である。 基本的な実施例の変調器を示す図である。 基本的な実施例により外界の物体を撮影する様子を示す図である。 基本的な実施例の画像処理部の処理フローを示す図である。 斜め入射平行光による格子基板表面から裏面への射影像が面内ずれを生じることを説明する図である。 格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。 表面格子と裏面格子の軸をずらして配置する場合の模式図である。 格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。 格子パターンの実施例を示す図である。 格子パターンの実施例を示す図である。 格子パターンの実施例を示す図である。 物体を構成する各点からの光がセンサに対してなす角を説明する図である。 物体が無限距離にある場合に表側格子パターンが投影されることを示す図である。 物体が無限距離にある場合に生成されるモアレ縞の例を示す図である。 物体が有限距離にある場合に表側格子パターンが拡大されることを示す図である。 物体が有限距離にある場合に生成されるモアレ縞の例を示す図である。 物体が有限距離にある場合に裏側格子パターンを補正したモアレ縞の例を示す図である。 裏側格子パターンを画像処理で実現する実施例を示す図である。 裏側格子パターンを画像処理で実現する実施例の変調器を示す図である。 裏側格子パターンを画像処理で実現する実施例の画像処理部の処理フローを示す図である。 リフォーカスを実現する実施例を示す図である。 リフォーカスを実現する実施例の画像処理部の処理フローを示す図である。 格子パターンの実施例を示す図である。 時分割フリンジスキャンを実現する実施例を示す図である。 時分割フリンジスキャンにおける格子パターンの実施例を示す図である。 時分割フリンジスキャンにおける変調器の実施例を示す図である。 時分割フリンジスキャンを実現する実施例の画像処理部の処理フローを示す図である。 空間分割フリンジスキャンを実現する実施例を示す図である。 空間分割フリンジスキャンにおける格子パターンの実施例を示す図である。 差分画像データを圧縮する実施例を示す図である。 差分画像データを圧縮する実施例におけるフレーム間差分処理の入力画素データ例を示す図である。 差分画像データを圧縮する実施例におけるフレーム間差分処理の出力画素データ例を示す図である。 差分画像データを圧縮する実施例における圧縮ファイルに追加する画像情報例を示す図である。 差分画像データを圧縮する実施例における圧縮ファイルのフォーマット例を示す図である。 差分画像データを圧縮する実施例における圧縮前処理部の処理フローを示す図である。 差分画像データ容量を圧縮する実施例における画像再生部の処理フローを示す図である。 差分圧縮画像データをネットワーク伝送する実施例を示す図である。 差分画像データをブロックに分割する例を示す図である。 差分画像データを圧縮する実施例におけるフレーム間差分処理の出力画素データ例を示す図である。 差分画像データをブロック分割する実施例における圧縮ファイルに追加する画像情報例を示す図である。 フリンジスキャン後の画像データをブロック分割する実施例における圧縮前処理部の処理フローを示す図である。 センサ信号処理後の画像データ量を圧縮する実施例を示す図である。 センサ信号処理後の画像データ量を圧縮する実施例における圧縮前処理部の処理フローを示す図である。

以下の実施の形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施の形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

また、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。

＜第１実施形態＞
＜無限遠物体の撮影原理＞
図１は、本実施の形態１による撮像装置１０１における基本構成の一例を示す説明図である。撮像装置１０１は、結像させるレンズを用いることなく、外界の物体の画像を取得（撮像）するものであり、図１に示すように、変調器１０２、画像センサ１０３、および画像処理部１０６を含む。

図２を用いて、変調器１０２を説明する。図２は、変調器の一例を示す図である。変調器１０２は、画像センサ１０３の受光面に密着して固定されており、格子基板１０２ａの表面側および裏面側に、表面側格子パターン１０４、裏面側格子パターン１０５がそれぞれ形成された構成からなる。このように、変調器１０２は、画像センサ１０３の受光面に設けられる。格子基板１０２ａは、例えばガラスやプラスティックなどの透明な材料からなる。

以降、格子基板１０２ａの画像センサ１０３側を裏面と呼び、対向する面すなわち撮影対象側を表面と呼ぶ。この表面側格子パターン１０４および裏面側格子パターン１０５は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。

表面側格子パターン１０４および裏面側格子パターン１０５は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。金属が蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。

なお、表面側格子パターン１０４および裏面側格子パターン１０５の形成は、これに限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけて形成してもよい。

さらに、ここでは可視光を例に説明したが、例えば遠赤外線の撮影を行う際には、格子基板１０２ａは、例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料とするなど、撮影対象となる波長に対して透明な材料、表面側格子パターン１０４および裏面側格子パターン１０５には金属等の遮断する材料を用いればよい。

なお、ここでは変調器１０２を実現するために、表面側格子パターン１０４および裏面側格子パターン１０５を格子基板１０２ａに形成する方法について述べたが、本発明はこれに限られない。

ここで、他の変調器の例について図３を用いて説明する。図３は、他の変調器の例である。すなわち、図３に示すように表面側格子パターン１０４、裏面側格子パターン１０５を薄膜に形成し、支持部材１０２ｂにより保持する構成などによっても実現できる。

表面側格子パターン１０４、裏面側格子パターン１０５を透過する光は、その格子パターンによって光の強度が変調され、透過した光は画像センサ１０３にて受光される。画像センサ１０３は、例えばＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサまたはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサなどからなる。このように、変調器１０２は、光の強度を変調する。

画像センサ１０３の表面には、受光素子である画素１０３ａが格子状（アレイ状）に規則的に配置されている。この画像センサ１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換する。このように、画像センサ１０３は、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する。図１に戻り、画像センサ１０３から出力された画像信号は、画像処理部である画像処理部１０６によって画像処理されて画像表示部１０７などに出力される。このように、画像処理部１０６は、画像センサ１０３から出力される画像信号を受信する。

図４は、図１の撮像装置１０１による撮影の一例を示す説明図である。この図４では、撮像装置１０１によって被写体４０１を撮影して画像表示部１０７に表示している例を示している。図示するように、被写体４０１を撮影する際には、被写体４０１に対して変調器１０２における表面、具体的には表面側格子パターン１０４が形成されている格子基板１０２ａの面が正対するようにして撮影が行われる。

続いて、画像処理部１０６による画像処理の概略について説明する。ここで、図５を用いて画像処理の手順を説明する。図５は、図１の撮像装置１０１が有する画像処理部１０６による画像処理の概略を示すフローチャートである。

まず、画像センサ１０３から出力される信号から、ステップＳ５００の処理でデモザイキング処理等によりＲＧＢ（Ｒｅｄ Ｇｒｅｅｎ Ｂｌｕｅ）成分ごとのモアレ縞画像を生成する。次に、モアレ縞画像に対して、ＲＧＢ成分ごとに高速フーリエ変換（ＦＦＴ：Ｆａｓｔ Ｆｏｕｒｉｅｒ Ｔｒａｎｓｆｏｒｍ）などの２次元フーリエ変換演算による現像処理で周波数スペクトルを求める（Ｓ５０１）。

続いて、ステップＳ５０１の処理による周波数スペクトルのうち必要な周波数領域のデータを切り出した後（Ｓ５０２）、該周波数スペクトルの強度計算を行うことによって画像を取得する（Ｓ５０３）。そして、得られた画像に対してノイズ除去処理を行い（Ｓ５０４）、続いてコントラスト強調処理（Ｓ５０５）などを行う。その後、画像のカラーバランスを調整して（Ｓ５０６）撮影画像として出力する（Ｓ５０７）。以上により、画像処理部１０６による画像処理が終了となる。

続いて、撮像装置１０１における撮影原理について説明する。まず、図２等で示した中心からの半径に対して反比例してピッチが細かくなる同心円状の表面側格子パターン１０４、裏面側格子パターン１０５は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をｒとし、そこでの球面波の位相をφ（ｒ）とするとき、これを波面の曲がりの大きさを決める係数βを用いて、

と表せる。

球面波にもかかわらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、

のような干渉縞の強度分布が得られる。これは、

を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをｐとすると、

が得られ、ピッチは、半径に対して反比例して狭くなっていくことがわかる。

このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。式２で定義される強度分布に比例した透過率分布をもった格子パターンを、図１に示した表面側格子パターン１０４、裏面側格子パターン１０５として用いる。

ここで、図６を用いて入射状態について説明する。図６は、入射状態を示す図である。このような格子パターンが両面に形成された厚さｔの変調器１０２に、図６に示すように角度θ０で平行光が入射したとする。変調器１０２中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、δ＝ｔ・ｔａｎθだけずれて裏面に入射し、仮に２つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、

のような強度分布が得られる。

この展開式の第４項が、２つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。

その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであるが、全面で一様に等間隔なモアレ縞が得られるのであればどのような格子パターンを使用してもよい。

ここで、式５から鋭いピークを持つ成分のみを

のように取り出すと、そのフーリエスペクトルは、

のようになる。ここで、Ｆはフーリエ変換の演算を表し、ｕ、ｖは、ｘ方向およびｙ方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。

その様子を図７に示す。図７は、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示す図である。図７において、左から右にかけては、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示している。図７（ａ）は、垂直入射、図７（ｂ）は、左側から角度θで光線が入射する場合、図７（ｃ）は、右側から角度θで光線が入射する場合をそれぞれ示している。

変調器１０２の表面側に形成された表面側格子パターン１０４と裏面側に形成された裏面側格子パターン１０５とは、軸がそろっている。図７（ａ）では、表面側格子パターン１０４と裏面側格子パターン１０５との影が一致するのでモアレ縞は生じない。

図７（ｂ）および図７（ｃ）では、表面側格子パターン１０４と裏面側格子パターン１０５とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図７（ｂ）の場合なのか、あるいは図７（ｃ）の場合なのかを判別することができなくなる。

これを避けるための方法について図８を用いて説明する。図８は、格子パターンの配置例を示す図である。図８に示すように、変調器１０２に垂直に入射する光線に対しても２つの格子パターンの影がずれて重なるようあらかじめ２つの表面側格子パターン１０４、裏面側格子パターン１０５を光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して２つの格子の影の相対的なずれをδ０とするとき、入射角θの平面波によって生じるずれδは、

のように表せる。

このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では

の位置となる。

画像センサの大きさをＳ、画像センサのｘ方向およびｙ方向の画素数を共にＮとすると、２次元フーリエ変換による離散画像の空間周波数スペクトルは、－Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られる。

このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は、原点（ＤＣ：直流成分）位置と、例えば＋側端の周波数位置との中央位置、すなわち、

の空間周波数位置とするのが妥当である。したがって、２つの格子の相対的な中心位置ずれは、

とするのが妥当である。

図９は、表面側格子パターン１０４と裏面側格子パターン１０５とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。図７と同様にして、左側は光線と変調器１０２の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図９（ａ）は、光線が垂直入射の場合であり、図９（ｂ）は、光線が左側から角度θで入射する場合であり、図９（ｃ）は、光線が右側から角度θで入射する場合である。

表面側格子パターン１０４と裏面側格子パターン１０５とは、あらかじめδ０だけずらして配置されている。そのため、図９（ａ）でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ０は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。

このとき図９（ｂ）では、ずれδがさらに大きくなる方向、図９（ｃ）では、小さくなる方向となっているため、図７と異なり、図９（ｂ）と図９（ｃ）との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図１の撮像装置１０１による撮影像にほかならない。

受光できる平行光の入射角の最大角度をθｍａｘとすると、

より、撮像装置１０１にて受光できる最大画角は、

で与えられる。

一般的なレンズを用いた結像との類推から、画角θｍａｘの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置１０１の実効的な焦点距離は、

に相当すると考えることができる。

ここで、式１３より画角は変調器１０２の厚さｔ、表面側格子パターン１０４、裏面側格子パターン１０５の係数βによって変更可能であることが判る。よって、例えば変調器１０２が図３の構成であり支持部材１０２ｂの長さを変更可能な機能を有していれば、撮影時に画角を変更して撮影することも可能となる。

なお、モアレ縞から空間周波数スペクトルを算出する方法として高速フーリエ変換を例に説明したが、これに限定されるものではなく、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などを使用しても実現可能であり、さらに演算量を削減することも可能である。

また、表面側格子パターン１０４、裏面側格子パターン１０５の透過率分布は、式２で示したように正弦波的な特性があることを想定して説明したが、格子パターンの基本周波数成分としてそのような成分があればよい。例えば、図１０に示すように格子パターンの透過率を２値化することも可能であり、さらに図１１のように透過率が高い格子領域と低い領域のｄｕｔｙを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。これにより、格子パターンからの回折を抑圧するなどの効果も得られ、撮影像の劣化を低減可能である。

また、表面側格子パターン１０４、裏面側格子パターン１０５は、透過率変調でなく、位相変調で実現してもよい。例えば、図１２に示すように格子基板１０２ａをシリンドリカルレンズ１２０１とすることにより、画像センサ１０３上に図に示すような強度変調パターンを生じさせることができるため、今までの議論と同様に撮像が可能となる。これにより表面側格子パターン１０４の遮蔽部による光量損失を低減でき、光利用効率を向上させることができる上、格子パターンからの回折を抑圧する効果も得られる。図１２ではレンズとして実現したが、同等の効果を持つ位相変調素子で実現することも可能である。

以上の説明では、いずれも入射光線は同時には１つの入射角度だけであったが、実際に撮像装置１０１がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらが相互にモアレ縞を生じると、信号成分である裏面側格子パターン１０５とのモアレ縞の検出を阻害するノイズとなることが懸念される。

しかし、実際は、表面側格子パターン１０４の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側格子パターン１０５との重なりだけになる。その理由について以下に説明する。

まず、複数の入射角の光線による表面側格子パターン１０４の影どうしの重なりは、積ではなく和であることが大きな違いである。１つの入射角の光による表面側格子パターン１０４の影と裏面側格子パターン１０５との重なりでは、表面側格子パターン１０４の影である光の強度分布に、裏面側格子パターン１０５の透過率を乗算することで、裏面側格子パターン１０５を透過したあとの光強度分布が得られる。

これに対して、表面側格子パターン１０４に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になるのである。和の場合は、

のように、もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。

そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側格子パターン１０４と裏面側格子パターン１０５との積のモアレだけであり、裏面側格子パターン１０５が単一である以上、検出されるスペクトルのピークは１つの入射角に対して１つだけとなるのである。

ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図１３を用いて模式的に説明する。図１３は、物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。

被写体４０１を構成する各点からの光は、厳密には点光源からの球面波として、図１の撮像装置１０１の変調器１０２および画像センサ１０３（以下、図１３では格子センサ一体基板１３０１という）に入射する。このとき、被写体４０１に対して格子センサ一体基板が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板を照明する光の入射角が同じとみなすことができる。

式９から求められる微小角度変位Δθに対するモアレの空間周波数変位Δｕが、画像センサの空間周波数の最小解像度である１／Ｓ以下となる関係から、Δθが平行光とみなせる条件は、

のように表せる。この条件下であれば、無限遠の物体に対して本発明の撮像装置で撮像が可能である。

＜有限距離物体の撮影原理＞
ここで、これまで述べた無限遠の場合における表面側格子パターン１０４の裏面への射影の様子を図１４に示す。図１４では、無限遠の物体を構成する点１４０１からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側格子パターン１０４を照射し、その投影像１４０２が下の面に投影される場合、投影像は表面側格子パターン１０４とほぼ同じ形状である。結果、投影像１４０２に対して、裏面側格子パターン（図２の裏面側格子パターン１０５に相当）の透過率分布を乗じることにより、図１５に示すように、等間隔な直線状のモアレ縞を得ることができる。

一方、有限距離の物体に対する撮像について説明する。図１６は、撮像する物体が有限距離にある場合に表面側格子パターン１０４の裏面への射影が表面側格子パターン１０４より拡大されることを示す説明図である。図１６に示すように、物体を構成する点１６０１からの球面波が表面側格子パターン１０４を照射し、その投影像１６０２が下の面に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、表面側格子パターン１０４から点１６０１までの距離ｆを用いて、

のように算出できる。

そのため、図１７に示すように、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された表面側格子パターン１０４の影に合わせて、裏面側格子パターン１０５を拡大するならば、図１８に示すように、拡大された投影像１６０２に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。このためには、裏面側格子パターン１０５の係数βをβ／α^２とすることで補正が可能である。

これにより、必ずしも無限遠でない距離の点１６０１からの光を選択的に現像することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。

＜簡略化構成＞
次に、変調器１０２の構成を簡略化する方法について説明する。変調器１０２では、格子基板１０２ａの表面および裏面にそれぞれ同一形状の表面側格子パターン１０４および裏面側格子パターン１０５を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を現像していた。この裏面側格子パターン１０５は、画像センサ１０３に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。そこで、図１９に示すように、裏面側格子パターン１０５を除去した変調器１９０１を使用し、裏面側格子パターン１０５に相当する処理を画像処理部１９０２内の強度変調部１９０３で実行してもよい。

この時の変調器１９０１の構成の詳細を図２０に示す。この構成によって、格子基板１０２ａに形成する格子パターンを１面減らすことができる。それにより、変調器の製造コストを低減することができ、さらに光利用効率を向上させることもできる。

図２１は、図１９の画像処理部１９０２による画像処理の概略を示すフローチャートである。この図２１におけるフローチャートが図５のフローチャートと異なるところは、ステップＳ２１０１の処理である。ステップＳ２１０１の処理では、前述した強度変調部１９０３により画像センサ１０３から出力される画像に対して、画像処理部１９０２が裏面側格子パターン１０５を透過したことに相当するモアレ縞画像を生成する。具体的には、式５に相当する演算が行われればよいので、画像処理部１９０２は、強度変調部１９０３において裏面側格子パターン１０５を生成し、画像センサ１０３の画像に対して乗算すればよい。さらに、裏面側格子パターン１０５が図１０、１１に示すような２値化したパターンであれば、黒に相当する領域の画像センサ１０３の値を０にするだけでも実現可能である。これにより、乗算回路の規模を抑圧することが可能である。以降、図２１のステップＳ５０１～５０７の処理は、図５の処理と同様であるので、ここでは説明を省略する。

なお、この場合、画像センサ１０３が有する画素１０３ａのピッチは、表面側格子パターン１０４のピッチを十分再現できる程度に細かいか、あるいは表面側格子パターン１０４のピッチが画素１０３ａのピッチにて再現できる程度に粗い必要がある。格子パターンを格子基板１０２ａの両面に形成する場合は、必ずしも格子パターンのピッチが画像センサ１０３の画素１０３ａにて解像できる必要はなく、そのモアレ像だけが解像できればよい。しかし、画像処理により格子パターンを再現する場合は、格子パターンと画像センサ１０３の解像度は同等である必要がある。

また、強度変調部１９０３により裏面側格子パターン１０５に相当する処理を実現したが、裏面側格子パターン１０５はセンサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に裏面側格子パターン１０５の透過率を加味して設定することによっても実現できる。

＜撮影後のフォーカス変更原理＞
以上で説明した、裏面側格子パターン１０５を画像処理部で行う構成によれば、撮影後に任意の距離にフォーカスを合わせることも可能となる。この場合の構成を図２２に示す。図１９と異なるのは、画像記憶部２２０１、画像処理部２２０２、フォーカス設定部２２０３である。画像記憶部２２０１は、撮影後のフォーカス調整を可能とするため、画像センサ１０３から出力される画像を一時的に格納するために設けられている。また、フォーカス設定部２２０３は、撮像装置１０１に備え付けられたつまみや、スマートフォンのＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）などによってフォーカス距離を設定可能であり、フォーカス距離情報（任意の距離フォーカスを合せるための公知の距離情報）を画像処理部２２０２に出力する。

図２３は、図２２の画像処理部２２０２による画像処理の概略を示すフローチャートである。この図２３におけるフローチャートが図２１のフローチャートと異なるところは、ステップＳ２３０１の処理である。ステップＳ２３０１の処理では、前述したフォーカス設定部２２０３出力であるフォーカス距離情報に基づいて、式１７から拡大率αを算出し、裏面側格子パターン１０５の係数βをβ／αとする計算を行う。その後Ｓ２１０１において、該係数に基づいて裏面側の格子パターンを透過したことに相当するモアレ縞画像を生成する。以降、図２３のステップＳ５０１～Ｓ５０６の処理は、図５の処理と同様であるので、ここでは説明を省略する。

以上の方法・構成に依れば、高速フーリエ変換（ＦＦＴ）などの簡単な演算によって外界の物体像を得ることができ、さらに撮影後に任意の距離にフォーカスを調整可能となる。従来のカメラにおいてフォーカスを変更するためには再撮影が必要であったが、本実施例では１度の撮影しか必要としない。

なお、モアレ縞から空間周波数スペクトルを算出する方法として高速フーリエ変換を例に説明したが、これに限定されるものではなく、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）などを使用しても実現可能であり、さらに演算量を削減することも可能である。

＜直線格子パターン＞
以上、変調器として同心円状の格子パターンを用いて説明したが、直線の格子パターンを用いても、以上説明した曲線の格子パターンと同様な考えで、撮影、画像を生成することができる。図２４に、直線格子パターン例を示す。曲線の場合と同様に、直線の幅と間隔は、中心から離れるに従い、反比例して狭くなっていることを示している。以下、説明する撮像装置についても曲線の場合で説明するが、直線の格子パターンを使用することも可能である。

＜ノイズキャンセル＞
これまでの説明では、式５から鋭いピークを持つ成分のみを取り出した式６に着目して話を進めたが、実際には式５の第４項以外の項がノイズとなる。そこで、フリンジスキャンに基づくノイズキャンセルが効果的である。

まず、式２の干渉縞強度分布において、表面側格子パターン１０４の初期位相をΦＦ、裏面側格子パターン１０５の初期位相をΦＢとすると、式５は

のように表せる。ここで、三角関数の直交性を利用し、

のように式１８をΦＦ、ΦＢに関して積分すると、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。前述の議論から、これをフーリエ変換すれば、空間周波数分布にノイズのない鋭いピークを生じることになる。

ここで式１９は積分の形で示しているが、実際にはΦＦ、ΦＢの組合せの総和を計算することによっても同様の効果が得られる。ΦＦ、ΦＢは０～２πの間の角度を等分するように設定すればよく、｛０、π／２、π、３π／２｝のように４等分、｛０、π／３、２π／３｝のように３等分してもよい。

さらに、式１９は簡略化できる。式１９では、ΦＦ、ΦＢを独立して変えられるように計算したが、ΦＦ＝ΦＢすなわち表面側格子パターン１０４と裏面側格子パターン１０５の初期位相に同じ位相を適用してもノイズ項をキャンセルできる。式１９においてΦＦ＝ΦＢ＝Φとすれば、

となり、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。また、Φは０～２πの間の角度を等分するように設定すればよく、｛０、π／２、π、３π／２｝のように４等分すればよい。

また、等分せずとも、｛０、π／２｝の直交した位相を使用してもノイズ項をキャンセルでき、さらに簡略化できる。まず、図１９の構成のように裏面側格子パターン１０５を画像処理部１９０２で実施すれば、裏面側格子パターン１０５に負値を扱えるため、式１８は

となる（ΦＦ＝ΦＢ＝Φ）。裏面側格子パターン１０５は既知であるため、この式２１から裏面側格子パターン１０５を減算し、Φ＝｛０、π／２｝の場合について加算すれば、

のようにノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。

また、前述のように表面側格子パターン１０４と裏面側格子パターン１０５とは、あらかじめδ０ずらすことで空間周波数空間に生じる２つの現像画像を分離していた。しかし、この方法では現像画像の画素数が半分になる問題点がある。そこで、δ０ずらさなくとも現像画像の重複を回避する方法について説明する。式１９のフリンジスキャンにおいて、ｃｏｓの代わりに

のようにｅｘｐを用い複素平面上で演算する。

これによりノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。式２３中のｅｘｐ（２ｉβδｘ）をフーリエ変換すれば、

となり、式７のように２つのピークを生じず、単一の現像画像を得られることが判る。このように、表面側格子パターン１０４、裏面側格子パターン１０５をずらす必要もなくなり、画素数を有効に使用可能となる。

以上のフリンジスキャンに基づくノイズキャンセル方法を行うための構成について図２５～２８を用いて説明する。フリンジスキャンでは、少なくとも表面側格子パターン１０４として初期位相の異なる複数のパターンを使用する必要がある。これを実現するには時分割でパターンを切り替える方法と、空間分割でパターンを切り替える方法がある。

図２５に時分割フリンジスキャンを実現する構成を示す。変調器２５０１は、例えば電気的に図２５に示す複数の初期位相を切り替えて表示する（位相シフトする）ことが可能な液晶表示素子などである。図２６（ａ）～（ｄ）のパターンは、初期位相ΦＦもしくはΦがそれぞれ｛０、π／２、π、３π／２｝とする。

図２６に示すように、図２６（ａ）～（ｄ）のパターンのそれぞれは、複数の線で構成される。図２６（ａ）のパターンが第１の格子パターンに対応し、図２６（ｃ）のパターンが、第１の格子パターンと位相がπずれる第２の格子パターンに対応する。また、図２６（ｂ）のパターンが、第１の格子パターンから位相がπ／２ずれた第３の格子パターンに対応し、図２６（ｄ）のパターンが第１の格子パターンから位相が３π／２ずれた第４の格子パターンに対応する。

図２６に示す格子パターンは、複数の同心円から構成され、複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなる。

なお、変調器２５０１の格子パターンは、図２４に示したように、複数の直線で構成され、当該複数の直線は、基準座標に対して直線間距離が反比例して狭くなるようにしてもよい。

図２６に示した格子パターンを実現する変調器２５０１の液晶表示素子における電極配置の例を図２７に示す。格子パターンの１周期を４分割するように同心円状電極が構成されており、内側から４本おきに電極が結線され、外周部から駆動端子として４本の電極が引き出されている。これら４つの電極に印加する電圧状態を“０”と“１”の２つの状態で時間的に切り替えることで、格子パターンの初期位相ΦＦもしくはΦを図２７（ａ）～（ｄ）のように｛０、π／２、π、３π／２｝と切り替えることが可能となる。

なお、図２７において、網掛けで示した“１”を印加した電極が光を遮蔽し、白で示した“０”を印加した電極が光を透過させることに対応している。

次に、図２８に画像処理部２５０３における画像処理の概略を示すフローチャートを示す。この図２８におけるフローチャートが図２１のフローチャートと異なるところは、ステップＳ２７０１～Ｓ２７０４の処理である。まず、画像処理部２５０３は、フリンジスキャン演算の初めに加算結果をリセットする（Ｓ２７０１）。次に、式２０に対応する場合には、画像処理部２５０３は、撮影に使用した表面側格子パターン１０４と同じ初期位相に設定し（Ｓ２７０２）、その初期位相を持つ裏面側格子パターン１０５を生成、画像センサ１０３の画像に対して乗算する（Ｓ２１０１）。

画像処理部２５０３は、この結果を各初期位相のパターン毎に加算する（Ｓ２７０３）。以上のステップＳ２７０２～Ｓ２７０３の処理を全ての初期位相のパターン数繰り返す（Ｓ２７０４）。以降の処理は、図２１の処理と同様であるので、ここでは説明を省略する。なお、上記フローは式２０を例に説明したが、式１９、２２、２３にも同様に適用することが可能である。

対して、図２９に空間分割フリンジスキャンを実現する構成を示す。変調器２９０１は、例えば図３０の初期位相ΦＦもしくはΦがそれぞれ｛０、π／２、π、３π／２｝のパターンのように、複数の初期位相のパターンを２次元的に並べた構成である。

画像分割部２８０２は、画像センサ１０３出力を変調器２９０１のパターン配置に応じた領域に分割し、画像処理部２５０３に順次伝送する。図３０の例では、画像センサ出力を２×２の領域に分割するということである。

式２０に基づくフリンジスキャンでは４位相必要であるため変調器２８０１は２×２であったが、式２２に基づくフリンジスキャンでは２位相で実現できるため変調器２９０１は１×２のパターン配置でも実現可能であり、それに応じて画像センサ出力も１×２の領域に分割する。以降の画像処理部２５０３の処理は時分割フリンジスキャンである図２８の処理と同等であるため説明を省略する。

この空間分割フリンジスキャンを用いれば、時分割フリンジスキャンの変調器２５０１のように電気的に切り替える必要がなく、安価に変調器を作製することができる。しかし、空間分割フリンジスキャンを用いると画像を分割するため解像度が実効的に低下する。よって、解像度を上げる必要がある場合には時分割フリンジスキャンが適している。

＜圧縮画像の保存＞
図３１に、撮影後にフォーカス調整が行える画像の情報量を削減し、かつ、図２５の画像処理部２５０３の処理を分割することで、撮像装置の処理負荷を低減した撮像装置３０００と再生装置３１００とを含む撮像システムの構成例を示す。図２５と同じものには同じ番号を付し、説明は省略する。この撮像システムは、撮像装置３０００と、再生装置３１００（復元装置）とを含む。なお、この撮像システムでは、時分割フリンジスキャンを適用する。

撮像装置３０００は、画像を撮像した結果を圧縮する装置である。また、再生装置３１００は、上記圧縮した結果を復元して、復元した結果を再生する装置である。

撮像装置３０００は、画像センサ１０３と、変調器２５０１と、制御部２５０２と、圧縮前処理部３００１と、圧縮処理部３００５（圧縮部）と、記憶部３００６と、画像出力部３００７とを含む。圧縮前処理部３００１は、センサ信号処理部３００２と、差分処理部３００３と、データ変換処理部３００４（データ変換部）とを含む。

再生装置３１００は、画像入力部３００９と、復号処理部３０１０と、現像処理部３０１１（画像復元処理部、変調処理部）と、記憶部３０１２と、フォーカス設定部２２０３と、画像表示部１０７とを含む。また、撮像システムでは、記憶装置３００８をさらに含む。

制御部２５０２は、画像センサ１０３、変調器２５０１、および圧縮前処理部３００１などを統括制御する。

上述のように、変調器２５０１は、例えば電気的に複数の初期位相を切り替えて表示することが可能な液晶表示素子である。

センサ信号処理部３００２は、例えば、画像センサ１０３から出力された各画素のデータ（画像信号）から補完データを生成し、各画素に対応したＲＧＢデータを生成するデモザイキング処理等を行い、センサ画像として出力する。センサ画像は必要に応じて記憶部３００６に画像データを格納したり、差分処理部３００３へ送出したりする。このように、センサ信号処理部３００２は、画像センサ１０３から出力された画像信号を受信する。

例えば、センサ信号処理部３００２は、変調器２５０１が第１の格子パターンの時の画像信号（第１の画像信号）を受信したり、第２の格子パターンの時の画像信号（第２の画像信号）を受信したりする。また、センサ信号処理部３００２は、第３の格子パターンの時の画像信号（第３の画像信号）を受信したり、第４の格子パターンの時の画像信号（第４の画像信号）を受信したりする。

差分処理部３００３は、変調器２５０１の位相を変えて撮影された２枚のセンサ画像（画像信号）間の差分を取り、差分画像（差分データ）を生成する。差分処理部３００３は、センサ信号処理部３００２から直接センサ画像を取得したり、記憶部３００６に記憶されているセンサ画像を取得したりする。差分処理部３００３は、差分画像を必要に応じて記憶部３００６に画像データを格納する。なお、センサ画像が、例えばカラー画像であり、１画素がＲデータ、Ｇデータ、Ｂデータで構成されている場合は、Ｒデータ、Ｇデータ、Ｂデータのデータ毎に差分をとってもよい。このように、差分処理部３００３は、センサ信号処理部３００２により受信された画像信号の差分を算出し、当該差分に基づく差分画像を生成する。

例えば、差分処理部３００３は、第１の画像信号と第２の画像信号との差分を算出し、当該差分に基づく差分画像（第１の差分データ）を生成する。また、差分処理部３００３は、第３の画像信号と、第４の画像信号との差分を算出し、当該差分に基づく差分画像（第２の差分データ）を生成する。

ここで、本撮像装置の場合の差分処理部３００３の入出力信号の特徴について説明する。図３２に、図３１のセンサ信号処理部３００２から出力されたセンサ画像の一部の明るさ変化の一例を示したグラフを示す。横軸は、あるラインの画面の水平位置を示し、縦軸は画素データの値を示す。ここで、画素データの値は大きければ大きいほど明るいことを示している。なお、図３２では、画素データを１２ｂｉｔで表現した場合を例にしているが、画素データ値はほかのビット数や、正規化したデータ値で表現してもいい。

図３２の（ａ）は、図３１の変調器２５０１に図２６の（ａ）のパターンを使用した場合、図３２の（ｂ）は、図３１の変調器２５０１に図２６の（ｃ）のパターンを使用した場合の画素データの変化の一例を示す。本撮像装置で撮影したセンサ画像は、レンズを用いたセンサ画像と異なり、光量の積算値であるため、イメージセンサが理想的に被写体を撮影した場合、急激なデータの変化はない。

しかしながら、例えば、筐体の影等やイメージセンサ内の特性により、データの直流成分は大きく変化する場合がある。これらの影響を排除するには、変調器２５０１の位相のπ異なるセンサ画像の差分をとることで、必要なセンサ画像のデータ部分のみの取り出しが可能になる。図３３に差分処理部３００３から出力された差分画像の一部の明るさ変化の一例を示したグラフを示す。

縦軸が差分値を示し、横軸が各画素の位置を示す。図３３に示すように、各位置の画素値の差分を示しており、差分が最も大きい位置の値が最大値３４０１となり、差分が最も小さい位置の値が最小値３４０２となる。図３３の例は、図３２の映像と同じ位置のデータを示す。影で暗くなっている影響が排除され、のちの再生装置３１００で映像にする必要な情報のみが残る。

図３１に戻り、データ変換処理部３００４は、差分処理部３００３で得られた差分画像全体から、画素データ差分値の最小値と最大値を求める。最小値をオフセット値として、各画素データ差分値から減算することにより、差分画像を表現するのに必要なビット数は最大値から最小値を減算したデータを表現するのに必要なビット数になり、元の画素値を表現するビット数から大幅に低減することが可能になる。

なお、データ変換処理部３００４では、後段の圧縮処理部３００５において、入力する画像の１画素当たりのビット数が予め決まっている場合や、圧縮効率を考慮して、オフセット減算した差分画像を、例えば、８ビットに割り当てる等の処理を行い、圧縮用画像データを生成する。また、後段の圧縮処理部３００５において、入力する画像として、赤、緑、青のデータで表現するのではなく、輝度と色による表現が求められる場合は、合わせて変換を行う。

このように、データ変換処理部３００４は、差分処理部３００３による画像信号の差分の範囲（最大値および最小値）および差分データに基づいた圧縮用画像データ（第１の圧縮用画像データ）を生成する。なお、データ変換処理部３００４は、最大値と最小値とを算出する場合について述べたが、差分の範囲を示す他の情報を算出するようにしてもよい。

データ変換処理部３００４は、生成した圧縮用画像データを圧縮処理部３００５へ送出する。また、差分処理部３００３が、第３の画像信号と、第４の画像信号との差分を算出し、当該差分に基づく差分画像（第２の差分データ）を生成した場合、データ変換処理部３００４は、当該差分に基づいた圧縮用画像（第２の圧縮用画像データ）を生成する。

圧縮処理部３００５は、静止画像や動画像、さらに図示はしていないが音声入力がある場合は音声のデータ量を削減する圧縮処理する。圧縮符号化方式は、例えば、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ２、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどである。圧縮処理部３００５は、データ変換処理部３００４から圧縮用画像を取得し、当該圧縮用画像を圧縮して、圧縮したデータを含む圧縮データを生成する。圧縮処理部３００５による圧縮データ構成は、例えば、ＪＰＥＧでは、ヘッダー、圧縮画像データ、フッターで構成される。

図３４に、１枚の圧縮画像の圧縮データ構成例を示す。図３４に示すように、圧縮データは、ヘッダー部３５０１と、圧縮画像データ３５０２と、フッター部３５０３とを有する。ヘッダー部３５０１は、開始マーカーや、ファイルサイズ、画像サイズや量子化テーブル等、画像の圧縮・復号に必要な情報が格納される。

図３１に戻り、圧縮画像データ３５０２は、圧縮用画像を圧縮したデータである。フッター部３５０３は、終了マーカー等が格納される部分である。なお、ヘッダー部３５０１は、当該ヘッダー内にアプリケーション毎に自由にデータを設定できる領域３５０４を含む。圧縮処理部３００５は、当該領域３５０４にメタデータを付加する。ここで、図３５に、圧縮処理部３００５が付加するメタデータ例を示す。

図３５に示すように、メタデータには、レコード３６０１およびレコード３６０２を含む。レコード３６０１は、データ変換処理部３００４で得られた、差分画像の画素データの最小値の変数および値を含む。レコード３６０２は、当該差分画像の画素データの最大値の変数および値を含む。

圧縮処理部３００５は、画像圧縮時に、圧縮画像、圧縮パラメータを生成するとともに、図３５に示した情報を、メタデータとして付加することにより、後段の画像再生装置３１００での画像復元を可能にする。このように、圧縮処理部３００５は、圧縮画像に、差分の範囲を示す情報（最小値の変数および値、最大値の変数および値）を含める。

なお、メタデータの付加は、撮像装置３０００から出力する時に付加されていればよいため、画像出力部３００７で、メタデータを付加したヘッダーに付け直しても構わない。

差分処理部３００３が、第３の画像信号と、第４の画像信号との差分を算出し、当該差分に基づく差分画像を生成した場合、圧縮処理部３００５は、第２の圧縮用画像データを圧縮した圧縮画像に、第３の画像信号と、第４の画像信号との差分の範囲を示す情報（最小値の変数および値、最大値の変数および値）を含める。

画像出力部３００７は、圧縮処理部３００５により生成された圧縮データを出力する部分である。画像出力部３００７は、記憶装置３００８へ圧縮データを記憶出力する。

記憶部３００６および記憶部３０１２は、圧縮前処理部３００１や圧縮処理部３００５、復号処理部３０１０、現像処理部３０１１で一時的にパラメータの保存や、画像データの保存に使用する。

画像出力部３００７は、圧縮処理部３００５が生成した圧縮ファイルを記憶装置３００８に記録する。

記憶装置３００８は、ハードディスク（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）、メモリーカードやそれらを用いたレコーダ等、デジタルデータを記録する装置である。

画像入力部３００９は、順次あるいは図示してはいないが、ユーザからの要求に応じて記憶装置３００８に格納されている圧縮データを取り出す。このように、画像入力部３００９は、画像出力部３００７により出力されたデータを入力する。画像入力部３００９は、入力したデータを復号処理部３０１０に送出する。

復号処理部３０１０は、圧縮処理部３００５の圧縮方式に使用された方式の復号処理をするもので、図３４のヘッダー部３５０１に格納された情報から、圧縮画像データ３５０２を復号することにより、復号画像（圧縮復元画像）を取得する。また、復号処理部３０１０は、付加されているメタデータも同時に取得し、現像処理部３０１１に送出する。

現像処理部３０１１は、復号画像とメタデータから、オフセットおよび元のビット深度の画像（差分データ）を復元することにより、復元差分画像を生成する。すなわち、現像処理部３０１１は、復号画像と、差分の範囲とから復元差分画像を生成する。

現像処理部３０１１は、さらに、フォーカス調整のため、図２３で説明した、裏面ピッチ決定（Ｓ２３０１）、裏面格子強度変調（Ｓ２１０１）を行い、図２８で説明した強度変調結果加算（Ｓ２７０３）を行う。さらに、図５で説明した、２次元ＦＦＴ演算（Ｓ５０１）、スペクトル切り出し（Ｓ５０２）、強度計算（Ｓ５０３）、ノイズ除去（Ｓ５０４）、コントラスト強調（Ｓ５０５）、カラーバランス調整（Ｓ５０６）、出力信号生成処理（Ｓ５０７）の各処理を順に行い、画像表示部１０７が、現像した画像を表示できるような表示信号を生成する。

すなわち、現像処理部３０１１は、復元差分画像を変調してモアレ縞画像を生成し、当該モアレ縞画像をフーリエ変換して周波数スペクトルを算出する。

撮像装置を上述のような構成とすることで、後からフォーカス調整等が可能な画像のデータ量を削減することが可能であり、また、記憶装置のコスト低減につながる。また、再生装置で現像処理を行うことにより、記憶装置の処理が軽減し、記憶装置の小型化、低コスト化が可能になる。なお、再生装置は、図示したような構成が実現できれば、パソコン等を用いてソフトウェア処理で実現してもよいし、ＧＰＵやＦＰＧＡ等のハードウェアで処理を行ってもよい。また、記憶装置は、再生装置に内蔵されているＨＤＤ等でもよい。

図３６に圧縮前処理部３００１における画像処理の概略を示すフローチャートを示す。最初に、圧縮前処理部３００１は、変調器２５０１の格子パターン（ゾーンプレート）の位相シフト数を設定する（Ｓ３１０１）。圧縮前処理部３００１は、例えば、４パターン時分割する場合、４を設定する。なお、圧縮前処理部３００１において予め設定されてもよい。

続いて、圧縮前処理部３００１は、画像データの差分をとるフレーム数を設定する（Ｓ３１０２）。また、圧縮前処理部３００１は、最大値および最小値をリセット、例えば、０に設定する（Ｓ３１０３）。

圧縮前処理部３００１は、センサ信号処理を実行し（Ｓ５００）、差分フレームが初期値であると判断した場合は（Ｓ３１０４：Ｙｅｓ）、記憶部３００６に画素データを記憶させる（Ｓ３１０５）。ステップＳ３１０８でフレーム終了と判断されるまで、センサ信号処理Ｓ５００の処理を繰り返す。

ステップＳ３１０４で初期フレームではないと判断した場合は、ステップＳ３１０６では、ステップＳ３１０５で格納した同じ座標の画素値を減算し、記憶部３００６に格納する。また、ステップＳ３１０７で最大値及び最小値と画素値とを比較し、最大値より大きい場合は画素値を最大値に設定し、最小値より小さい場合は画素値を最小値に設定する。次に、ステップＳ３０１８のフレーム終了判定を行い、フレーム終了ではない場合は、センサ信号処理を実行し（Ｓ５００）、フレーム終了の場合は、処理を終了する。

ステップＳ３１０９では差分を取得するフレーム数および位相シフトから１を減算し、ステップＳ３１１０においてフレーム差分終了と判定されない場合は、ステップＳ３１０３の最大値、最小値リセット処理に戻り、フレーム差分処理が終了した場合は、ステップＳ３１１１のデータシフト処理を行う。

ステップＳ３１１１では、ステップＳ３１０７で取得した最小値から、例えば、全差分画素値から最小値を減算する処理により差分画像値の最小値を０とするデータシフト処理を行う。ステップＳ３１１２は、ステップＳ３１０７から取得した最大値から、例えば、使用していない上位ビットを削減するビット削減処理を行う。

なお、ビット削減処理（Ｓ３１１２）は、画像圧縮に使用するアルゴリズムにより画像データのビット数が限定されている場合等において、ターゲットとするビット数に割当直す処理を行う。ステップＳ３１１３で、データシフト処理（Ｓ３１１１）やビット削減処理（Ｓ３１１２）で変換した差分画素値を、後で行う現像処理で復元できるように画像復元情報、例えば、最大値や最小値の情報をメタデータとして生成する。

次に、ステップＳ３１１４で位相シフトの終了を判断し、全ての位相処理が終了した場合は処理終了し、終了していない場合はステップＳ３１０２からの処理を繰り返す。

以上説明した圧縮前処理により、センサ画像の画素値のビット数を削減することができ、効率よく圧縮することができる。

続いて、図３７を用いて、図３１に示した再生装置３１００の処理手順を説明する。図５および図２１、図２３、図２８と同じ処理は同じ番号を付し、説明は省略する。処理を開始すると、ステップＳ３７０１で記憶部３０１２から圧縮ファイルを取得する。次に、ステップＳ３７０２で圧縮ファイルのヘッダー情報を用いて圧縮画像の復号処理を行う。次に、ステップＳ３７０３で、圧縮ファイルのヘッダーにあるメタデータから元の画像の画素データの最大値と最小値である画像情報を取得し、図３１のデータ変換処理部３００４で処理する前の差分画像の画素データを復元する画素データ復元処理を行う。

ここで、圧縮に使用したアルゴリズムが不可逆圧縮の場合、復元した画像は全く同じものにはならない場合もある。次に、ステップＳ３７０４で、変調器の位相を設定する。位相は、例えば、位相の最初の設定値は０で、次はπずらしたものとする。

以下、図２３で説明した裏面ピッチ決定（Ｓ２３０１）、裏面格子強度変調（Ｓ２１０１）を行い、図２８で説明した強度変調結果加算（Ｓ２７０３）を行う。ここで、ステップＳ２７０４で位相シフトの終了の判定をする。例えば、位相シフトπの処理が終了していない場合は、圧縮ファイル取得（Ｓ３７０１）に戻る。位相シフトが終了している場合は、図５で説明した、２次元ＦＦＴ演算（Ｓ５０１）、スペクトル切り出し（Ｓ５０２）、強度計算（Ｓ５０３）、ノイズ除去（Ｓ５０４）、コントラスト強調（Ｓ５０５）、カラーバランス調整（Ｓ５０６）、出力信号生成処理（Ｓ５０７）の各処理を順に行い、画像表示部１０７が、現像した画像を表示できるような表示信号を生成する。

以上説明した再生装置では、圧縮された画像を復号処理し、フォーカス調整可能な画像を復元することにより、再生装置で、ユーザが必要とするときに必要な被写体のフォーカス調整や距離計測が可能である。

＜第２実施形態＞
図３８に、フリンジスキャン方式を適用し、撮像した画像データを圧縮し、伝送する撮像システムの構成を示す。図３１と同じものには同じ番号を付し、説明は省略する。この撮像システムは、撮像装置３８０１と、現像処理装置３８１０とを含む。撮像装置３８０１と現像処理装置３８１０とがネットワーク３８０３により接続する。

撮像装置３８０１は、画像センサ１０３を含む変調器２５０１と、制御部２５０２と、圧縮前処理部３００１と、圧縮処理部３００５と、出力処理部３８０２（出力部）と、記憶部３００６とを含む。また、現像処理装置３８１０は、入力処理部３８０４と、画像記録部３８０５と、記憶装置３００８と、復号処理部３０１０と、現像処理部３０１１と、記憶部３０１２と、フォーカス設定部２２０３と、画像表示部１０７を有する。

出力処理部３８０２は、圧縮処理部３００５から出力される圧縮された画像データやメタデータをネットワークに伝送する形式に変換し、通信処理を行う。すなわち、出力処理部３８０２は、ネットワーク３８０３を介して圧縮処理部３００５により圧縮されたデータを送信出力する。

出力処理部３８０２の通信のインターフェースとしては、有線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）や、図示はしていないがＷｉ‐Ｆｉ（登録商標）などの無線ＬＡＮなどの方法を使用してもよいし、移動体通信方式であるＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、Ｗ－ＣＤＭＡ(Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ)方式やＣＤＭＡ２０００方式、ＵＭＴＳ（Ｕｎｉｖｅｒｓａｌ Ｍｏｂｉｌｅ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｓｙｓｔｅｍ）方式などの第３世代移動通信システム（以下「３Ｇ」と表記する）、またはＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）方式などの移動体通信網を利用して基地局を通して通信ネットワークに接続することもできる。

また、異なる複数の方式で通信可能なチップを実装し、撮像装置３８０１を使用する環境に合わせて使い分けてもよい。

現像処理装置３８１０の入力処理部３８０４は、撮像装置３８０１の出力処理部３８０２と同様な通信インターフェースを持つ。なお、入力処理部３８０４の通信インターフェースは、出力処理部３８０２と全て同じである必要はなく、少なくとも１つ以上あればよい。入力処理部３８０４は、ネットワーク３８０３を介して受信したデータを画像データや付随するメタデータとして画像記録部３８０５に出力する。この画像記録部３８０５は、取得した画像データおよび附随するメタデータを記憶装置３００８へ記憶する。以下の処理は図３１と同様なため、説明は省略する。

以上説明したように、現像処理前の映像をネットワーク伝送することにより、撮像装置３８０１の構成を簡単にでき、小型で軽量、低コストな撮像装置とすることが可能になる。また、フリンジスキャン後の画像を伝送することで、現像処理部でフォーカスの調整や距離の測定が可能であり、撮影後に映像を確認したいときに見たいところにフォーカスを当てたり、距離を測定したりすることが可能になる。

＜第３実施形態＞
次に、イメージセンサの光線入射角特性や強い光源により部分的に差分画像の最大値、最小値が大きくなる場合に、画質劣化を防止することが可能な、ブロック分割する方式について説明する。

本実施例では、データ変換処理部３００４が、差分処理部３００３により生成された差分画像をブロック毎に分割し、ブロック毎に、当該ブロックの差分値の最小値と最大値を求める。最小値をオフセット値として、ブロックの画素データ差分値から減算する。

図３９に圧縮前処理部３００１が画像をブロックに分割して行う場合の、画面分割例を示す。画像３９０１は１フレームの画像を示している。当該画像３９０１を水平および垂直方向に８分割して、ブロック３９０２、ブロック３９０３を生成する。画像３９０１の水平方向のラインを水平ライン３９０４とする。

図４０に、水平ライン３９０４の差分画像の画素データ例を示す。縦軸を画素値の差分として、横軸を位置とする。グラフ４０００は、水平ライン３９０４における画像データの変化を示す。圧縮前処理部３００１は、ブロック単位で画像間の差分値を算出する。この結果に基づいて、圧縮前処理部３００１は、ブロック３９０２の最大値４００１、ブロック３９０２の最小値４９０２を算出する。また、圧縮前処理部３００１は、ブロック３９０３の最大値４００３、ブロック３９０３の最小値４００４を算出する。

差分画像の画素データは、図４０に示すように、画像センサ１０３の特性等により、画素データの大きくなる領域と小さくなる領域ができる。ブロック３９０２では画素データの変化が最小値４００２から最大値４００１に対して、ブロック３９０３では最小値４００４から最大値４００３を変化する幅も、絶対値も大きく異なるため、画像データを同じオフセットやビット数に変換すると画質劣化が生じる。

これに対して、ブロック毎に処理することにより圧縮に適した画像に変換して送ることができる。図４１に、図３９のように画面分割した場合のメタデータ例を示す。メタデータとしては、水平ブロック数と、垂直ブロック数と、各ブロックのオフセットとして最小値と最大値があり、圧縮画像に付加されるメタデータとして、現像処理装置に圧縮画像と一緒に伝送される。圧縮前処理をブロックに分割して行う場合の処理フローを図４２に示し、動作を説明する。図３６と同じものには同じ番号を付し、説明は省略する。

撮像装置３８０１で、ステップＳ３１０４において、撮像装置３８０１が１枚目のフレームと判断した場合は、ステップＳ４１０１で記憶部３００６に画素データを格納し、ステップＳ３１０８でフレーム終了と判断されるまで、処理を繰り返す。ステップＳ３１０４で２フレーム目、すなわち１フレーム目と位相がπずれた画像の場合（Ｓ３１０４：Ｎｏ）、ステップＳ４１０２で記憶部３００６から画素データを減算して格納する。次に、ステップＳ４１０３で、画素データの位置からブロック番号を割り当て、割り当てられたブロック内の最大値と比較して最大値より大きい場合は最大値として保持し、最小値と比較して最小値より小さい場合は最小値として保持する（Ｓ４１０４）。

ステップＳ３１０８でフレーム内の差分取得処理とブロック内の最大値、最小値の取得が終了したと判断した場合（Ｓ３１０８：Ｙｅｓ）、ステップＳ４１０５でブロック毎のデータシフト処理および、ビット削減処理（Ｓ３１１２）を行う。さらに、ステップＳ３１１３で圧縮データのヘッダーに設定する最大値、最小値のデータをブロック毎に生成する画像復元情報生成処理を行う。

以上説明したように、差分画像の画素データが、画面位置により大きく異なる場合に、ブロック分割して処理することにより、圧縮処理に不可逆圧縮を使用した場合や、ビット数削減により画質劣化の低減が可能になる。

＜第４実施形態＞
図４３に、本発明の別の実施例の撮像装置の構成を示す。図３１および図３８と同じものには同じ番号を付し、説明は省略する。本実施例の撮像装置４３００は、画像センサ１０３と、変調器２５０１と、制御部２５０２と、圧縮前処理部３００１と、記憶部３００６と、圧縮処理部３００５と、出力処理部３８０２とを含む。

圧縮前処理部３００１は、センサ信号処理部３００２と、隣接画素間差分処理部４２０２と、データ変換処理部４２０３とを含む。隣接画素間差分処理部４２０２は、センサ信号処理部３００２から画像信号を受信し、当該画像信号による画像の隣接する画素間の差分を算出し、当該差分の範囲を特定する。隣接画素間差分処理部４２０２は、例えば先頭の画素値あるいは平均値をオフセットとして記憶し、画素値を前隣の画素値との差分画素値に置き換えていく。

データ変換処理部４２０３は、隣接画素間差分処理部４２０２による画像信号の差分および画素間の差分に基づいた圧縮用画像データを生成する。すなわち、データ変換処理部４２０３は、差分画素値を圧縮に適したデータに変換する部分である。

また、圧縮処理部３００５は、当該圧縮用画像データ生成された圧縮用画像データを圧縮する。出力処理部３８０２は、圧縮処理部３００５により圧縮されたデータを出力する。

圧縮前処理部３００１に入力されるセンサ画像信号は、センサ信号処理部３００２と隣接画素間差分処理部４２０２とデータ変換処理部４２０３とで処理される。

図４４に示すフローチャートを用いて、隣接画素間差分処理部４２０２およびデータ変換処理部４２０３による処理手順を説明する。図４４は、隣接画素間差分処理部４２０２およびデータ変換処理部４２０３による処理手順を示すフローチャートである。なお、図３６と同じものには同じ番号を付し、説明は省略する。

まず、前提として、隣接画素間差分処理部４２０２が、センサ信号処理部３００２による画像信号を受信しているものとする。隣接画素間差分処理部４２０２は、ステップＳ５００でセンサ信号処理をした後の画像信号のフレームの先頭画素か先頭画素以外かを判定する（Ｓ４３０１）。先頭画素である場合は（Ｓ４３０１：Ｙｅｓ）、ステップＳ４３０４で画素値をこのフレームのオフセット値に設定するとともに、ステップＳ４３０６で垂直用オフセット値として保持し、ステップＳ４３０７で水平オフセット値として保持する。

なお、カラー画像であり、１フレームがＲＧＢ等で構成されている場合はＲＧＢ毎にオフセットを設定するようにしてもよい。ステップＳ４３０１で先頭画素以外と判断した場合は（Ｓ４３０１：Ｎｏ）、ステップＳ４３０２でライン先頭画素かどうかを判断し（Ｓ４３０２）、ライン先頭画素の場合（Ｓ４３０２：Ｙｅｓ）、ステップＳ４３０５で画素値と保持されている垂直用オフセット値との差分を記憶部３００６に格納するとともに、ステップＳ４３０６で画素値を保持していた垂直オフセット値と入れ替えて保持する。

ステップＳ４３０２でライン先頭画素ではない場合（Ｓ４３０２：Ｎｏ）、ステップＳ４３０３で画素値と水平用オフセット値との差分を差分画素値として記憶部３００６に格納するとともに、ステップＳ４３０７で保持している水平オフセット値に変えて画素値を水平オフセット値として保持する。次にステップＳ４３０８で、差分画素値と最小値を比較し、差分画素値が小さい場合は最小値に差分画素値を設定する。また、差分画素値が最大値より大きい場合は、最大値に差分画素値を設定する。次に、ステップＳ３１０３でフレーム終了の判定を行い、フレーム終了ではない場合は（Ｓ３１０３：Ｎｏ）、ステップＳ５００に戻り次の画素の処理を同様に行う。

フレーム終了の場合は（Ｓ３１０３：Ｙｅｓ）、ステップＳ４３０９では、データ変換処理部４２０３は、ステップＳ４３０８から取得した最小値から、例えば、全差分画素値から最小値を減算する処理により差分画像値の最小値を０とするデータシフト処理を行う。ステップＳ４３１０は、ステップＳ４３０８から取得した最大値から、例えば、使用していない上位ビットを削減するビット減算処理を行う。

なお、ビット削減処理（Ｓ４３１０）として、データ変換処理部４２０３は、画像圧縮に使用するアルゴリズムにより画像データのビット数が限定されている場合等において、ターゲットとするビット数に割当なおす処理を行う。

以上説明した圧縮前処理により、センサ画像の画素値のビット数を削減することができ、効率よく圧縮することができる。

上述の実施例１～３では、時分割でパターンを切り替える場合について述べたが、空間分割でパターンを切替えるようにしてもよい。すなわち、図２９に示したように、第１の格子パターン、第２の格子パターン、第３の格子パターン、および第４の格子パターンが同一面上に形成されている変調器２９０１を用いて、画像圧縮するようにしてもよい。

図２９に示した画像分割部２８０２（分割処理部）が、画像センサ１０３出力を変調器２９０１のパターン配置に応じた領域に分割し、圧縮前処理部３００１に送出することにより実現できる。

なお、本発明は上記の実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、画像を表示する装置に利用可能である。

１０３…画像センサ、１０７…画像表示部、２２０３…フォーカス設定部、２５０２…制御部、３０００…撮像装置、３００１…圧縮前処理部、３００２…センサ信号処理部、３００３…差分処理部、３００４…データ変換処理部、３００５…圧縮処理部、３００６…記憶部、３００７…画像出力部、３００８…記憶装置、３００９…画像入力部、３０１０…復号処理部、３０１１…現像処理部、３０１２…記憶部、３１００…再生装置、３８０１…撮像装置、３８０２…出力処理部、３８０３…ネットワーク、３８０４…入力処理部、３８０５…画像記録部、４２０２…隣接画素間差分処理部、４２０３…データ変換処理部。

Claims (9)

1. 画像を撮像する撮像装置であって、
   撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する画像センサと、
   前記画像センサの受光面に設けられ、光の強度を変調する変調器と、
   前記画像センサから出力される画像信号を受信する信号処理部と、
   前記信号処理部により受信された画像信号の差分を算出し、当該差分に基づく第１の差分データを生成する差分処理部と、
   前記差分処理部による画像信号の差分の範囲および前記第１の差分データに基づいた第１の圧縮用画像データを生成するデータ変換部と、
   前記データ変換部により生成された第１の圧縮用画像データを圧縮する圧縮部と、
   前記圧縮部により圧縮されたデータを出力する出力部と、
   を備え、
   前記変調器は、複数の線で構成される第１の格子パターンと、前記第１の格子パターンと位相がずれた第２の格子パターンとを有し、
   前記信号処理部は、前記第１の格子パターンにより出力される第１の画像信号と、前記第２の格子パターンにより出力される第２の画像信号とを受信し、
   前記差分処理部は、前記第１の画像信号と、前記第２の画像信号との差分を算出し、
   前記圧縮部は、前記第１の圧縮用画像データに前記差分の範囲を示す情報を含める、
   撮像装置。
2. 請求項１に記載の撮像装置であって
   前記第２の格子パターンは、前記第１の格子パターンから位相がπずれた格子パターンであり、
   前記変調器は、前記第１の格子パターンから位相がπ／２ずれた第３の格子パターンと、前記第１の格子パターンから位相が３π／２ずれた第４の格子パターンをさらに有し、
   前記信号処理部は、前記第３の格子パターンにより出力される第３の画像信号と、前記第４の格子パターンにより出力される第４の画像信号とを受信し、
   前記差分処理部は、前記第３の画像信号と、前記第４の画像信号との差分を算出し、当該差分に基づく第２の差分データを生成し、
   前記データ変換部は、前記第３の画像信号と、前記第４の画像信号との差分の範囲および前記第２の差分データに基づいた第２の圧縮用画像データを生成し、
   前記圧縮部は、前記第２の圧縮用画像データに、前記第３の画像信号と、前記第４の画像信号との差分の範囲を示す情報を含めて、当該第２の圧縮用画像データを圧縮して出力する、撮像装置。
3. 請求項１に記載の撮像装置において、
   前記変調器の前記第１の格子パターンおよび前記第２の格子パターンは、同一面上に形成され、
   前記画像信号を前記第１の格子パターンで変調された領域の第１の画像信号と、前記第２の格子パターンで変調された領域の第２の画像信号とに分割する分割処理部をさらに備え、
   前記信号処理部は、前記分割処理部により分割された結果に基づいて、前記第１の画像信号と前記第２の画像信号とを受信する、撮像装置。
4. 請求項２に記載の撮像装置において、
   前記変調器の前記第１の格子パターン、前記第２の格子パターン、前記第３の格子パターン、および前記第４の格子パターンは、同一面上に形成され、
   前記画像信号を前記第１の格子パターンで変調された領域の第１の画像信号と、前記第２の格子パターンで変調された領域の第２の画像信号と、前記第３の格子パターンで変調された領域の第３の画像信号と、前記第４の格子パターンで変調された領域の第４の画像信号と、に分割する分割処理部をさらに備え、
   前記信号処理部は、前記分割処理部により分割された結果に基づいて、前記第１の画像信号と前記第２の画像信号と前記第３の画像信号と前記第４の画像信号とを受信する、撮像装置。
5. 請求項１から４の何れか一項に記載の撮像装置において、
   前記撮像装置は、ネットワークと接続し、
   前記出力部は、前記ネットワークを介して前記圧縮部により圧縮されたデータを送信出力する、撮像装置。
6. 請求項１から５の何れか一項に記載の撮像装置において、
   前記データ変換部は、前記画像信号による画像を複数のブロックに分けて、ブロック毎の差分の範囲を特定する、撮像装置。
7. 請求項１から６の何れか一項に記載の撮像装置において、
   前記変調器の格子パターンは、複数の同心円から構成され、
   前記複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなる、撮像装置。
8. 請求項１から６の何れか一項に記載の撮像装置において、
   前記変調器の格子パターンは、複数の直線で構成され、
   前記複数の直線は、基準座標に対して直線間距離が反比例して狭くなる、撮像装置。
9. 画像を撮像した結果を圧縮する撮像装置と、当該圧縮された結果を復元する復元装置とを含む撮像システムであって、
   前記撮像装置は、
   撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する画像センサと、
   前記画像センサの受光面に設けられ、光の強度を変調する変調器と、
   前記画像センサから出力される画像信号を受信する信号処理部と、
   前記信号処理部により受信された画像信号の差分を算出し、当該差分に基づく第１の差分データを生成する差分処理部と、
   前記差分処理部による画像信号の差分の範囲および前記第１の差分データに基づいた第１の圧縮用画像データを生成するデータ変換部と、
   前記データ変換部により生成された第１の圧縮用画像データを圧縮する圧縮部と、
   前記圧縮部により圧縮されたデータを出力する出力部と、
   を備え、
   前記復元装置は、
   前記出力部により出力されたデータを入力する入力部と、
   前記入力部により入力されたデータを復号して圧縮復元画像を生成する復号処理部と、
   前記圧縮復元画像と、当該差分の範囲から復元差分画像を生成する画像復元処理部と、
   前記復元差分画像を変調してモアレ縞画像を生成する変調処理部と、
   前記モアレ縞画像をフーリエ変換して周波数スペクトルを算出する信号処理部と、
   を備え、
   前記変調器は、複数の線で構成される第１の格子パターンと、前記第１の格子パターンと位相がずれた第２の格子パターンとを有し、
   前記信号処理部は、前記第１の格子パターンにより出力される第１の画像信号と、前記第２の格子パターンにより出力される第２の画像信号とを受信し、
   前記差分処理部は、前記第１の画像信号と、前記第２の画像信号との差分を算出し、
   前記圧縮部は、前記第１の圧縮用画像データに前記差分の範囲を示す情報を含める、
   撮像システム。

Images