JPWO2020031299A1 - 撮像装置、撮像システム、及び撮像方法 - Google Patents

Abstract

レンズレスの撮像装置で撮像した動画像の容量を低減することを目的とする。そのために、撮像装置は、画像センサの受光面に設けられ、複数の線で構成される第１の格子パターンと、第１の格子パターンと位相がずれた第２の格子パターンとを有し、光の強度を変調する変調器を有しており、第１の格子パターンにより出力される第１の画像信号と、第２の格子パターンにより出力される第２の画像信号とを受信し、第１の画像信号と第２の画像信号との差分データと差分の範囲を算出し、差分の範囲および差分データに基づいて連続して入力する差分データから一定間隔おきにデータ変換用パラメータを生成および設定し、差分データとデータ変換用パラメータとを用いて圧縮用画像データを生成し、生成された圧縮用画像データを圧縮し、圧縮したデータに差分の範囲を示す情報を含めるように構成する。

Description

本発明は、撮像装置、撮像システム、及び撮像方法に関する。

いわゆるレンズレスの撮像装置として、ゾーンプレート（ＦＺＰ）により被写体からの光線をモアレ縞の空間周波数として検出し、モアレ縞のフーリエ変換像から被写体の像を再構築するものがある。このようなレンズを使用しないレンズレス撮像装置が、小型・低コストを実現できる撮像装置として期待されている。

本技術分野における背景技術として、例えば、特許文献１がある。特許文献１では、レンズレス撮像装置で撮像されたセンサ画像からモアレ縞画像生成時にフォーカス調整（リフォーカス）、オートフォーカス、測距を行う方法に関して述べられている。

国際公開ＷＯ２０１７／１４９６８７号公報

特許文献１では、撮影後にフォーカス調整等を行うためにはセンサ画像を記録する必要があるが、特許文献１のセンサ画像は被写体が明瞭ではない特殊な画像であり、1枚の画像容量も多いため、そのまま記憶してしまうと多くの記憶容量が必要となる。よって、レンズレスの撮像装置で撮像した画像の容量を削減することが望まれる。

そこで、本発明は前記課題を解決するためになされたものであり、その目的とするところは、レンズレスの撮像装置で撮像した動画像の容量を低減して管理する撮像装置、撮像システム、及び撮像方法を提供することである。

本発明は、上記背景技術及び課題に鑑み、その一例を挙げるならば、画像を連続して撮像する撮像装置であって、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する画像センサと、画像センサの受光面に設けられ、光の強度を変調する変調器と、画像センサから出力される画像信号を受信する信号処理部と、信号処理部により受信された画像信号の差分を算出し、差分に基づく第１の差分データを生成する差分処理部と、差分処理部による画像信号の差分の範囲および第１の差分データに基づいてデータ変換用パラメータを設定するパラメータ設定部と、差分処理部による第１の差分データとパラメータ設定部によるデータ変換用パラメータとを用いて第１の圧縮用画像データを生成するデータ変換部と、データ変換部により生成された第１の圧縮用画像データを圧縮する圧縮部とを備え、変調器は、複数の線で構成される第１の格子パターンと、第１の格子パターンと位相がずれた第２の格子パターンとを有し、信号処理部は、第１の格子パターンにより出力される第１の画像信号と、第２の格子パターンにより出力される第２の画像信号とを受信し、差分処理部は、第１の画像信号と第２の画像信号との差分を算出し、パラメータ設定部は、連続して入力する第１の差分データから一定間隔おきにデータ変換用パラメータを生成および設定し、圧縮部は、圧縮したデータに差分の範囲を示す情報を含めるように構成する。

本発明によれば、レンズレスの撮像装置で撮像した画像の容量を低減して管理することができる撮像装置、撮像システム、及び撮像方法を提供できる。

レンズレスの撮像装置の基本構成図である。 変調器の一例を示す構成図である。 画像処理部による画像処理の概略を示すフローチャートである。 斜め入射平行光による格子基板表面から裏面への射影像が面内ずれを生じることを説明する図である。 格子基板両面の格子の軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。 表面格子と裏面格子の軸をずらして配置する場合の模式図である。 格子基板両面の格子をずらして配置する場合のモアレ縞の生成と周波数スペクトルを説明する模式図である。 物体を構成する各点からの光がセンサに対してなす角を説明する図である。 物体が無限距離にある場合に表側格子パターンが投影されることを示す図である。 物体が無限距離にある場合に生成されるモアレ縞の例を示す図である。 物体が有限距離にある場合に表側格子パターンが拡大されることを示す図である。 物体が有限距離にある場合に生成されるモアレ縞の例を示す図である。 物体が有限距離にある場合に裏側格子パターンを補正したモアレ縞の例を示す図である。 裏側格子パターンを画像処理で実現する実施例を示す図である。 裏側格子パターンを画像処理で実現する実施例の変調器を示す図である。 裏側格子パターンを画像処理で実現する実施例の画像処理部の処理フローを示す図である。 リフォーカスを実現する実施例を示す図である。 リフォーカスを実現する実施例の画像処理部の処理フローを示す図である。 時分割フリンジスキャンを実現する実施例を示す図である。 時分割フリンジスキャンにおける格子パターンの実施例を示す図である。 時分割フリンジスキャンにおける変調器の実施例を示す図である。 時分割フリンジスキャンを実現する実施例の画像処理部の処理フローを示す図である。 空間分割フリンジスキャンを実現する実施例を示す図である。 空間分割フリンジスキャンにおける格子パターンの実施例を示す図である。 空間分割フリンジスキャンにおける格子パターンの実施例を示す図である。 差分画像データを圧縮する実施例を示す図である。 差分画像データを圧縮する実施例におけるフレーム間差分処理の入力画素データ例を示す図である。 差分画像データを圧縮する実施例におけるフレーム間差分処理の出力画素データ例を示す図である。 差分画像データを圧縮する実施例における圧縮ファイルに追加する画像情報例を示す図である。 差分画像データを圧縮する実施例における圧縮ファイルのフォーマット例を示す図である。 差分画像データを圧縮する実施例における圧縮前処理部の処理フローを示す図である。 差分画像データ容量を圧縮する実施例における画像再生部の処理フローを示す図である。 実施例１における撮像システムの構成図である。 実施例１における画面分割例を示す図である。 実施例１におけるデータ変換処理部に入力する信号例を示す図である。 実施例１における圧縮処理部の構成例を示す図である。 実施例１における処理フローを示す図である。 実施例２における処理フローを示す図である。 実施例３における処理フローを示す図である。 実施例４における撮像システムの構成図である。 実施例４における画面分割例を示す図である。 実施例４における圧縮前処理部の構成例を示す図である。 実施例４における処理フローを示す図である。 実施例５における色差信号を含む映像の現像処理に対応した再生装置の構成図である。 実施例５における再生装置の処理フローを示す図である。 実施例６における撮像装置と再生装置を含む撮像再生システムの構成図である。 実施例７における撮像装置と再生装置を含む撮像再生システムの構成図である。 実施例８における撮像システムの構成図である。 実施例９における撮像再生装置の構成図である。 実施例９における撮像再生装置を含む撮像再生システムの構成図である。 実施例１０における映像表示システムの構成図である。 実施例１０における映像表示装置および演算処理装置の構成図である。

以下、図面を用いて本発明の実施例について説明する。

本発明の前提となる、結像させるレンズを用いることなく外界の物体の画像を取得するレンズレスの撮像装置の原理については、特許文献１を援用する。なお、その一部について以降説明するが、詳細は、特許文献１を参照されたい。

図１は、レンズレスの撮像装置の基本構成図である。図１に示すように、撮像装置１０１は、変調器１０２、画像センサ部１０３、および画像処理部１０６を含む。画像センサ部１０３から出力された画像信号は、画像処理部である画像処理部１０６によって画像処理されて画像表示部１０７などに出力される。

図２は、変調器１０２の一例を示す構成図である。図２において、変調器１０２は、画像センサ部１０３の受光面に固定されており、格子基板１０２ａの表面側および裏面側に、表面側格子パターン１０４、裏面側格子パターン１０５がそれぞれ形成されている。このように、変調器１０２は、画像センサ部１０３の受光面に設けられる。格子基板１０２ａは、例えばガラスやプラスティックなどの透明な材料からなる。

以降、格子基板１０２ａの画像センサ部１０３側を裏面と呼び、対向する面すなわち撮影対象側を表面と呼ぶ。この表面側格子パターン１０４および裏面側格子パターン１０５は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。

表面側格子パターン１０４、裏面側格子パターン１０５を透過する光は、その格子パターンによって光の強度が変調され、透過した光は画像センサ部１０３にて受光される。

画像センサ部１０３の表面には、受光素子である画素１０３ａが格子状（アレイ状）に規則的に配置されている。この画像センサ部１０３は、画素１０３ａが受光した光画像を電気信号である画像信号に変換する。このように、画像センサ部１０３は、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する。

続いて、図１の撮像装置１０１が有する画像処理部１０６による画像処理の概略について説明する。図３は、画像処理部１０６による画像処理の概略を示すフローチャートである。図３において、まず、画像センサ部１０３から出力される信号から、ステップＳ５００の処理でデモザイキング処理等によりＲＧＢ（Red Green Blue）成分ごとのモアレ縞画像を生成する。次に、モアレ縞画像に対して、ＲＧＢ成分ごとに高速フーリエ変換（FFT:Fast Fourier Transform）などの２次元フーリエ変換演算により周波数スペクトルを求める（Ｓ５０１）。

続いて、ステップＳ５０１の処理による周波数スペクトルのうち必要な周波数領域のデータを切り出した後（Ｓ５０２）、該周波数スペクトルの強度計算を行うことによって画像を取得する（Ｓ５０３）。なお、ここで、例えば、４枚のパターンの変調器を使用する場合は２枚の位相の異なる画像の強度の合成を行い１枚の画像として出力する。ここで、画像センサ部から得られる信号から、周波数スペクトル算出、強度計算等により画像を取得するまでの処理を現像処理と呼ぶ。

そして、得られた画像に対してノイズ除去処理を行い（Ｓ５０４）、続いてコントラスト強調処理（Ｓ５０５）などを行う。その後、画像のカラーバランスを調整して（Ｓ５０６）撮影画像として出力する（Ｓ５０７）。以上により、画像処理部１０６による画像処理が終了となる。

続いて、撮像装置１０１における撮影原理について説明する。まず、図２で示した中心からの半径に対して反比例してピッチが細かくなる同心円状の表面側格子パターン１０４、裏面側格子パターン１０５は、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をｒとし、そこでの球面波の位相をφ（ｒ）とするとき、これを波面の曲がりの大きさを決める係数βを用いて、式１

と表せる。

球面波にもかかわらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、式２のような干渉縞の強度分布が得られる。

これは、式３を満たす半径位置で明るい線を持つ同心円の縞となる。

縞のピッチをｐとすると、式４が得られ、

ピッチは、半径に対して反比例して狭くなっていくことがわかる。

このような縞を持つプレートは、フレネルゾーンプレートやガボールゾーンプレートと呼ばれる。式２で定義される強度分布に比例した透過率分布をもった格子パターンを、図１に示した表面側格子パターン１０４、裏面側格子パターン１０５として用いる。

ここで、図４を用いて入射状態について説明する。図４は、入射状態を示す図である。
このような格子パターンが両面に形成された厚さｔの変調器１０２に、図４に示すように角度θ０で平行光が入射したとする。変調器１０２中の屈折角をθとして幾何光学的には、表面の格子の透過率が乗じられた光が、δ＝ｔ・ｔａｎθだけずれて裏面に入射し、仮に２つの同心円格子の中心がそろえて形成されていたとすると、裏面の格子の透過率がδだけずれて掛け合わされることになる。このとき、式５

のような強度分布が得られる。

この展開式の第４項が、２つの格子のずれの方向にまっすぐな等間隔の縞模様を重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞はモアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。

その周波数の値からδの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであるが、全面で一様に等間隔なモアレ縞が得られるのであればどのような格子パターンを使用してもよい。

ここで、式５から鋭いピークを持つ成分のみを式６のように取り出すと、

そのフーリエスペクトルは、式７のようになる。

ここで、Ｆはフーリエ変換の演算を表し、ｕ、ｖは、ｘ方向およびｙ方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±δβ／πの位置に生じることがわかる。その様子を図５に示す。

図５は、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示す図である。図５において、左から右にかけては、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図をそれぞれ示している。図５（ａ）は、垂直入射、図５（ｂ）は、左側から角度θで光線が入射する場合、図５（ｃ）は、右側から角度θで光線が入射する場合をそれぞれ示している。

変調器１０２の表面側に形成された表面側格子パターン１０４と裏面側に形成された裏面側格子パターン１０５とは、軸がそろっている。図５（ａ）では、表面側格子パターン１０４と裏面側格子パターン１０５との影が一致するのでモアレ縞は生じない。

図５（ｂ）および図５（ｃ）では、表面側格子パターン１０４と裏面側格子パターン１０５とのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図５（ｂ）の場合なのか、あるいは図５（ｃ）の場合なのかを判別することができなくなる。これを避けるための方法について図６を用いて説明する。

図６は、格子パターンの配置例を示す図である。図６に示すように、変調器１０２に垂直に入射する光線に対しても２つの格子パターンの影がずれて重なるようあらかじめ２つの表面側格子パターン１０４、裏面側格子パターン１０５を光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して２つの格子の影の相対的なずれをδ０とするとき、入射角θの平面波によって生じるずれδは、式８のように表せる。

このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは周波数のプラス側では、式９

の位置となる。

画像センサの大きさをＳ、画像センサのｘ方向およびｙ方向の画素数を共にＮとすると、２次元フーリエ変換による離散画像の空間周波数スペクトルは、−Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られる。

このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は、原点（ＤＣ：直流成分）位置と、例えば＋側端の周波数位置との中央位置、すなわち、式１０の空間周波数位置とするのが妥当である。

したがって、２つの格子の相対的な中心位置ずれは、式１１

とするのが妥当である。

図７は、表面側格子パターン１０４と裏面側格子パターン１０５とをずらして配置した場合のモアレ縞の生成および周波数スペクトルを説明する模式図である。図５と同様にして、左側は光線と変調器１０２の配置図、中央列はモアレ縞、そして右側は空間周波数スペクトルを示す。また、図７（ａ）は、光線が垂直入射の場合であり、図７（ｂ）は、光線が左側から角度θで入射する場合であり、図７（ｃ）は、光線が右側から角度θで入射する場合である。

表面側格子パターン１０４と裏面側格子パターン１０５とは、あらかじめδ０だけずらして配置されている。そのため、図７（ａ）でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量δ０は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。

このとき図７（ｂ）では、ずれδがさらに大きくなる方向、図７（ｃ）では、小さくなる方向となっているため、図５と異なり、図７（ｂ）と図７（ｃ）との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図１の撮像装置１０１による撮影像にほかならない。

受光できる平行光の入射角の最大角度をθｍａｘとすると、式１２より、

撮像装置１０１にて受光できる最大画角は、式１３

で与えられる。

一般的なレンズを用いた結像との類推から、画角θｍａｘの平行光を画像センサの端で焦点を結んで受光すると考えると、レンズを用いない撮像装置１０１の実効的な焦点距離は、式１４

に相当すると考えることができる。

ここで、式１３より画角は変調器１０２の厚さｔ、表面側格子パターン１０４、裏面側格子パターン１０５の係数βによって変更可能であることが判る。よって、例えば変調器１０２が、表面側格子パターン１０４と裏面側格子パターン１０５を薄膜に形成し、それらを支持部材により保持する構成であり、支持部材の長さ、すなわち厚さｔを変更可能な構成としていれば、撮影時に画角を変更して撮影することも可能となる。

以上の説明では、いずれも入射光線は同時には１つの入射角度だけであったが、実際に撮像装置１０１がカメラとして作用するためには、複数の入射角度の光が同時に入射する場合を想定しなければならない。このような複数の入射角の光は、裏面側の格子パターンに入射する時点ですでに複数の表側格子の像を重なり合わせることになる。もし、これらが相互にモアレ縞を生じると、信号成分である裏面側格子パターン１０５とのモアレ縞の検出を阻害するノイズとなることが懸念される。

しかし、実際は、表面側格子パターン１０４の像どうしの重なりはモアレ像のピークを生じず、ピークを生じるのは裏面側格子パターン１０５との重なりだけになる。その理由について以下に説明する。

まず、複数の入射角の光線による表面側格子パターン１０４の影どうしの重なりは、積ではなく和であることが大きな違いである。１つの入射角の光による表面側格子パターン１０４の影と裏面側格子パターン１０５との重なりでは、表面側格子パターン１０４の影である光の強度分布に、裏面側格子パターン１０５の透過率を乗算することで、裏面側格子パターン１０５を透過したあとの光強度分布が得られる。

これに対して、表面側格子パターン１０４に複数入射する角度の異なる光による影どうしの重なりは、光の重なり合いなので、積ではなく、和になる。和の場合は、式１５のように、

もとのフレネルゾーンプレートの格子の分布に、モアレ縞の分布を乗算した分布となる。したがって、その周波数スペクトルは、それぞれの周波数スペクトルの重なり積分で表される。

そのため、たとえモアレのスペクトルが単独で鋭いピークをもったとしても、実際上、その位置にフレネルゾーンプレートの周波数スペクトルのゴーストが生じるだけである。つまり、スペクトルに鋭いピークは生じない。したがって、複数の入射角の光を入れても検出されるモアレ像のスペクトルは、常に表面側格子パターン１０４と裏面側格子パターン１０５との積のモアレだけであり、裏面側格子パターン１０５が単一である以上、検出されるスペクトルのピークは１つの入射角に対して１つだけとなる。

ここで、これまで検出することを説明してきた平行光と、実際の物体からの光との対応について図８を用いて模式的に説明する。図８は、物体を構成する各点からの光が画像センサに対してなす角を説明する説明図である。

被写体４０１を構成する各点からの光は、厳密には点光源からの球面波として、図１の撮像装置１０１の変調器１０２および画像センサ部１０３（以下、図８では格子センサ一体基板１３０１という）に入射する。このとき、被写体４０１に対して格子センサ一体基板が十分に小さい場合や、十分に遠い場合には、各点から、格子センサ一体基板を照明する光の入射角が同じとみなすことができる。

式９から求められる微小角度変位Δθに対するモアレの空間周波数変位Δｕが、画像センサの空間周波数の最小解像度である１／Ｓ以下となる関係から、Δθが平行光とみなせる条件は、式１６のように表せる。

この条件下であれば、無限遠の物体に対して本構成の撮像装置で撮像が可能である。

ここで、これまで述べた無限遠の場合における表面側格子パターン１０４の裏面への射影の様子を図９に示す。図９では、無限遠の物体を構成する点１４０１からの球面波は、十分に長い距離を伝搬する間に平面波となり表面側格子パターン１０４を照射し、その投影像１４０２が下の面に投影される場合、投影像は表面側格子パターン１０４とほぼ同じ形状である。結果、投影像１４０２に対して、裏面側格子パターン（図２の裏面側格子パターン１０５に相当）の透過率分布を乗じることにより、図１０に示すように、等間隔な直線状のモアレ縞を得ることができる。

一方、有限距離の物体に対する撮像について説明する。図１１は、撮像する物体が有限距離にある場合に表面側格子パターン１０４の裏面への射影が表面側格子パターン１０４より拡大されることを示す説明図である。図１１に示すように、物体を構成する点１６０１からの球面波が表面側格子パターン１０４を照射し、その投影像１６０２が下の面に投影される場合、投影像はほぼ一様に拡大される。なお、この拡大率αは、表面側格子パターン１０４から点１６０１までの距離ｆを用いて、式１７

のように算出できる。

そのため、図１２に示すように、平行光に対して設計された裏面側の格子パターンの透過率分布をそのまま乗じたのでは、等間隔な直線状のモアレ縞は生じなくなる。しかし、一様に拡大された表面側格子パターン１０４の影に合わせて、裏面側格子パターン１０５を拡大するならば、図１３に示すように、拡大された投影像１６０２に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。このためには、裏面側格子パターン１０５の係数βをβ／α２とすることで補正が可能である。

これにより、必ずしも無限遠でない距離の点１６０１からの光を選択的に現像することができる。これによって、任意の位置に焦点合わせて撮影を行うことができる。

次に、変調器１０２の構成を簡略化する方法について説明する。変調器１０２では、格子基板１０２ａの表面および裏面にそれぞれ同一形状の表面側格子パターン１０４および裏面側格子パターン１０５を互いにずらして形成することにより、入射する平行光の角度をモアレ縞の空間周波数スペクトルから検知して像を現像していた。この裏面側格子パターン１０５は、画像センサ部１０３に密着して入射する光の強度を変調する光学素子であり、入射光に依らず同じ格子パターンである。そこで、図１４に示すように、裏面側格子パターン１０５を除去した変調器１９０１を使用し、裏面側格子パターン１０５に相当する処理を画像処理部１９０２内の強度変調部１９０３で実行してもよい。例えば、画像センサ部１０３および画像処理部１９０２はバス１９０４で接続されている。

この時の変調器１９０１の構成の詳細を図１５に示す。この構成によって、格子基板１０２ａに形成する格子パターンを１面減らすことができる。それにより、変調器の製造コストを低減することができ、さらに光利用効率を向上させることもできる。

図１６は、図１４の画像処理部１９０２による画像処理の概略を示すフローチャートである。この図１６におけるフローチャートが図３のフローチャートと異なるところは、ステップＳ２１０１の処理である。ステップＳ２１０１の処理では、前述した強度変調部１９０３により画像センサ部１０３から出力される画像に対して、画像処理部１９０２が裏面側格子パターン１０５を透過したことに相当するモアレ縞画像を生成する。具体的には、式５に相当する演算が行われればよいので、画像処理部１９０２は、強度変調部１９０３において裏面側格子パターン１０５を生成し、画像センサ部１０３の画像に対して乗算すればよい。さらに、裏面側格子パターン１０５が２値化したパターンであれば、黒に相当する領域の画像センサ部１０３の値を０にするだけでも実現可能である。これにより、乗算回路の規模を抑圧することが可能である。以降、図１６のステップＳ５０１〜５０７の処理は、図３の処理と同様であるので、ここでは説明を省略する。

なお、強度変調部１９０３により裏面側格子パターン１０５に相当する処理を実現したが、裏面側格子パターン１０５はセンサに密着して入射する光の強度を変調する光学素子であるため、センサの感度を実効的に裏面側格子パターン１０５の透過率を加味して設定することによっても実現できる。

以上で説明した、裏面側格子パターン１０５を画像処理部で行う構成によれば、撮影後に任意の距離にフォーカスを合わせることも可能となる。この場合の構成を図１７に示す。図１７において、図１４と異なるのは、記憶部２２０１、画像処理部２２０２、フォーカス設定部２２０３である。記憶部２２０１は、例えば、撮影後のフォーカス調整を可能とするため、画像センサ部１０３から出力される画像を一時的に格納する。また、フォーカス設定部２２０３は、撮像装置１０１に備え付けられたつまみや、スマートフォンのＧＵＩ（Graphical User Interface）などによってフォーカス距離を設定可能であり、フォーカス距離情報（任意の距離フォーカスを合せるための公知の距離情報）を画像処理部２２０２に出力する。

図１８は、図１７の画像処理部２２０２による画像処理の概略を示すフローチャートである。図１８において図１６と異なる点は、ステップＳ２３０１の処理である。ステップＳ２３０１の処理では、フォーカス設定部２２０３出力であるフォーカス距離情報に基づいて、式１７から拡大率αを算出し、裏面側格子パターン１０５の係数βをβ／αとする計算を行う。その後Ｓ２１０１において、該係数に基づいて裏面側の格子パターンを透過したことに相当するモアレ縞画像を生成する。以降、図１８のステップＳ５０１〜Ｓ５０６の処理は、図３の処理と同様であるので、ここでは説明を省略する。

以上の方法、構成に依れば、高速フーリエ変換などの簡単な演算によって外界の物体像を得ることができ、さらに撮影後に任意の距離にフォーカスを調整可能となる。従来のカメラにおいてフォーカスを変更するためには再撮影が必要であったが、本構成では１度の撮影しか必要としない。

以上の説明では、式５から鋭いピークを持つ成分のみを取り出した式６に着目して話を進めたが、実際には式５の第４項以外の項がノイズとなる。そこで、フリンジスキャンに基づくノイズキャンセルが効果的である。

まず、式２の干渉縞強度分布において、表面側格子パターン１０４の初期位相をΦＦ、裏面側格子パターン１０５の初期位相をΦＢとすると、式５は式１８のように表せる。

ここで、三角関数の直交性を利用し、式１９のように、

式１８をΦＦ、ΦＢに関して積分すると、ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。前述の議論から、これをフーリエ変換すれば、空間周波数分布にノイズのない鋭いピークを生じることになる。

ここで式１９は積分の形で示しているが、実際にはΦＦ、ΦＢの組合せの総和を計算することによっても同様の効果が得られる。ΦＦ、ΦＢは０〜２πの間の角度を等分するように設定すればよく、｛０、π／２、π、３π／２｝のように４等分、｛０、π／３、２π／３｝のように３等分してもよい。

さらに、式１９は簡略化できる。式１９では、ΦＦ、ΦＢを独立して変えられるように計算したが、ΦＦ＝ΦＢすなわち表面側格子パターン１０４と裏面側格子パターン１０５の初期位相に同じ位相を適用してもノイズ項をキャンセルできる。式１９においてΦＦ＝ΦＢ＝Φとすれば、式２０となり、

ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。また、Φは０〜２πの間の角度を等分するように設定すればよく、｛０、π／２、π、３π／２｝のように４等分すればよい。

また、等分せずとも、｛０、π／２｝の直交した位相を使用してもノイズ項をキャンセルでき、さらに簡略化できる。まず、図１４の構成のように裏面側格子パターン１０５を画像処理部１９０２で実施すれば、裏面側格子パターン１０５に負値を扱えるため、式１８は式２１となる（ΦＦ＝ΦＢ＝Φ）。

裏面側格子パターン１０５は既知であるため、この式２１から裏面側格子パターン１０５を減算し、Φ＝｛０、π／２｝の場合について加算すれば、式２２のように、

ノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。

また、前述のように表面側格子パターン１０４と裏面側格子パターン１０５とは、あらかじめδ０ずらすことで空間周波数空間に生じる２つの現像画像を分離していた。しかし、この方法では現像画像の画素数が半分になる問題点がある。そこで、δ０ずらさなくとも現像画像の重複を回避する方法について説明する。式１９のフリンジスキャンにおいて、ｃｏｓの代わりに、式２３のようにｅｘｐを用い複素平面上で演算する。

これによりノイズ項がキャンセルされ単一周波数の定数倍の項が残ることになる。式２３中のｅｘｐ（２ｉβδｘ）をフーリエ変換すれば、式２４となり、

式７のように２つのピークを生じず、単一の現像画像を得られることが判る。このように、表面側格子パターン１０４、裏面側格子パターン１０５をずらす必要もなくなり、画素数を有効に使用可能となる。

以上のフリンジスキャンに基づくノイズキャンセル方法を行うための構成について図１９〜２８を用いて説明する。フリンジスキャンでは、少なくとも表面側格子パターン１０４として初期位相の異なる複数のパターンを使用する必要がある。これを実現するには時分割でパターンを切り替える方法と、空間分割でパターンを切り替える方法がある。

図１９に時分割フリンジスキャンを実現する構成を示す。図１９において、２５０１は変調器、２５０２は制御部、２５０３は画像処理部である。制御部２５０２は、画像センサ部１０３、変調器２５０１、および画像処理部２５０３などを統括制御する。

変調器２５０１は、例えば電気的に図２０に示す複数の初期位相を切り替えて表示する（位相シフトする）ことが可能な液晶表示素子などである。図２０（ａ）〜（ｄ）のパターンは、初期位相ΦＦもしくはΦがそれぞれ｛０、π／２、π、３π／２｝とする。

図２０に示すように、図２０（ａ）〜（ｄ）のパターンのそれぞれは、複数の線で構成される。図２０（ａ）のパターンが第１の格子パターンに対応し、図２０（ｃ）のパターンが、第１の格子パターンと位相がπずれる第２の格子パターンに対応する。また、図２０（ｂ）のパターンが、第１の格子パターンから位相がπ／２ずれた第３の格子パターンに対応し、図２０（ｄ）のパターンが第１の格子パターンから位相が３π／２ずれた第４の格子パターンに対応する。

図２０に示す格子パターンは、複数の同心円から構成され、複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなる。

なお、変調器２５０１の格子パターンは、図２４に示したように、複数の直線で構成され、当該複数の直線は、基準座標に対して直線間距離が反比例して狭くなるようにしてもよい。

図２０に示した格子パターンを実現する変調器２５０１の液晶表示素子における電極配置の例を図２１に示す。格子パターンの１周期を４分割するように同心円状電極が構成されており、内側から４本おきに電極が結線され、外周部から駆動端子として４本の電極が引き出されている。これら４つの電極に印加する電圧状態を“０”と“１”の２つの状態で時間的に切り替えることで、格子パターンの初期位相ΦＦもしくはΦを図２１（ａ）〜（ｄ）のように｛０、π／２、π、３π／２｝と切り替えることが可能となる。

なお、図２１において、網掛けで示した“１”を印加した電極が光を遮蔽し、白で示した“０”を印加した電極が光を透過させることに対応している。

次に、図２２に画像処理部２５０３における画像処理の概略を示すフローチャートを示す。この図２２におけるフローチャートが図１６のフローチャートと異なるところは、ステップＳ２７０１〜Ｓ２７０４の処理である。まず、画像処理部２５０３は、フリンジスキャン演算の初めに加算結果をリセットする（Ｓ２７０１）。次に、式２０に対応する場合には、画像処理部２５０３は、撮影に使用した表面側格子パターン１０４と同じ初期位相に設定し（Ｓ２７０２）、その初期位相を持つ裏面側格子パターン１０５を生成、画像センサ部１０３の画像に対して乗算する（Ｓ２１０１）。

画像処理部２５０３は、この結果を各初期位相のパターン毎に加算する（Ｓ２７０３）。以上のステップＳ２７０２〜Ｓ２７０３の処理を全ての初期位相のパターン数繰り返す（Ｓ２７０４）。以降の処理は、図１６の処理と同様であるので、ここでは説明を省略する。なお、上記フローは式２０を例に説明したが、式１９、２２、２３にも同様に適用することが可能である。

対して、図２３に空間分割フリンジスキャンを実現する構成を示す。変調器２９０１は、例えば図２４の初期位相ΦＦもしくはΦがそれぞれ｛０、π／２、π、３π／２｝のパターンのように、複数の初期位相のパターンを２次元的に並べた構成である。

画像分割部２９０２は、画像センサ部１０３出力を変調器２９０１のパターン配置に応じた領域に分割し、画像処理部２５０３に順次伝送する。図２４の例では、画像センサ出力を２×２の領域に分割するということである。

式２０に基づくフリンジスキャンでは４位相必要であるため変調器２８０１は２×２であったが、式２２に基づくフリンジスキャンでは２位相で実現できるため変調器２９０１は１×２のパターン配置でも実現可能である。例えば、図２５の初期位相ΦＦもしくはΦがそれぞれ｛０、π｝のパターンを２次元的に並べた構成である。位相数に応じて、画像センサ出力も１×２の領域に分割する。以降の画像処理部２５０３の処理は時分割フリンジスキャンである図２２の処理と同等であるため説明を省略する。

この空間分割フリンジスキャンを用いれば、時分割フリンジスキャンの変調器２５０１のように電気的に切り替える必要がなく、安価に変調器を作製することができる。さらに、空間分割フリンジスキャンでは、１画面のシャッタが同じタイミングの画像センサでは、４位相あるいは２位相の撮像タイミングが同じため、動体の撮像が可能である。２位相より４位相のほうが現像後に高画質な画像を望めるが、４位相に比べ２位相は処理量が軽くできる。また、２位相では水平ライン毎にシャッタタイミングが異なるＣＭＯＳ型の画像センサを動画撮影に使用することができる。しかし、空間分割フリンジスキャンを用いると画像を分割するため解像度が実効的に低下する。よって、解像度を上げる必要がある静止物の撮影には時分割フリンジスキャンが適している。

図２６に、撮影後にフォーカス調整が行える画像の情報量を削減し、かつ、図１９の画像処理部２５０３の処理を分割することで、撮像装置の処理負荷を低減した撮像装置３０００と再生装置３１００とを含む撮像システムの構成例を示す。図１９と同じものには同じ番号を付し、説明は省略する。この撮像システムは、撮像装置３０００と、再生装置３１００（復元装置）とを含む。なお、この撮像システムでは、時分割フリンジスキャンを適用する例を示している。

撮像装置３０００は、画像を撮像し結果を圧縮する装置である。また、再生装置３１００は、上記圧縮した結果を復元して、復元した結果を再生する装置である。撮像装置３０００は、撮像部３０２０と出力処理部３００７とを含み、それらは、バス１９０４で接続されている。

撮像部３０２０は、画像センサ部１０３と、変調器２５０１と、透明な格子基板１０２ａと、制御部２５０２と、圧縮前処理部３００１と、圧縮処理部３００５（圧縮部）と、記憶部２２０１とを含む。圧縮前処理部３００１は、センサ信号処理部３００２と、差分処理部３００３と、データ変換処理部３００４（データ変換部）とを含む。

再生装置３１００は、制御部３１０１と、入力処理部３００９と、復号処理部３０１０と、現像処理部３０１１（画像復元処理部、変調処理部）と、記憶部３０１２と、フォーカス設定部２２０３と、画像出力部３０１３とを含み、それらは、バス３１０４で接続されている。

また、撮像システムでは、画像表示部１０７と記憶装置３００８をさらに含む。

制御部２５０２は、画像センサ部１０３、変調器２５０１、および圧縮前処理部３００１などを統括制御する。

センサ信号処理部３００２は、例えば、画像センサ部１０３から出力された各画素のデータ（画像信号）から補完データを生成し、各画素に対応したＲＧＢデータを生成するデモザイキング処理等を行い、センサ画像として出力する。センサ画像は必要に応じて記憶部２２０１に画像データを格納したり、差分処理部３００３へ送出したりする。このように、センサ信号処理部３００２は、画像センサ部１０３から出力された画像信号を受信する。

例えば、センサ信号処理部３００２は、変調器２５０１が第１の格子パターンの時の画像信号（第１の画像信号）を受信したり、第２の格子パターンの時の画像信号（第２の画像信号）を受信したりする。また、センサ信号処理部３００２は、第３の格子パターンの時の画像信号（第３の画像信号）を受信したり、第４の格子パターンの時の画像信号（第４の画像信号）を受信したりする。

差分処理部３００３は、変調器２５０１の位相を変えて撮影された領域の２枚のセンサ画像（画像信号）間の差分を取り、差分画像（差分データ）を生成する。また、差分処理部３００３は、センサ信号処理部３００２から直接センサ画像を取得したり、記憶部２２０１に記憶されているセンサ画像を取得したりする。さらに、差分処理部３００３は、差分画像を必要に応じて記憶部２２０１に画像データを格納する。なお、センサ画像が、例えばカラー画像であり、１画素がＲデータ、Ｇデータ、Ｂデータで構成されている場合は、Ｒデータ、Ｇデータ、Ｂデータのデータ毎に差分をとってもよい。このように、差分処理部３００３は、センサ信号処理部３００２により受信された画像信号の差分を算出し、当該差分に基づく差分画像を生成する。

例えば、差分処理部３００３は、第１の画像信号と第２の画像信号との差分を算出し、当該差分に基づく差分画像（第１の差分データ）を生成する。また、差分処理部３００３は、第３の画像信号と、第４の画像信号との差分を算出し、当該差分に基づく差分画像（第２の差分データ）を生成する。

ここで、本撮像装置の場合の差分処理部３００３の入出力信号の特徴について説明する。図２７に、図２６のセンサ信号処理部３００２から出力されたセンサ画像の一部の明るさ変化の一例を示したグラフを示す。横軸は、あるラインの画面の水平位置を示し、縦軸は画素データの値を示す。ここで、画素データの値は大きければ大きいほど明るいことを示している。なお、図２７では、画素データを１２ｂｉｔで表現した場合を例にしているが、画素データ値はほかのビット数や、正規化したデータ値で表現してもいい。

図２７の（ａ）は、図２６の変調器２５０１に図２４の（ａ）のパターンを使用した場合、図２７の（ｂ）は、図２６の変調器２５０１に図２４の（ｃ）のパターンを使用した画面領域の画素データの変化の一例を示す。本撮像装置で撮影したセンサ画像は、レンズを用いたセンサ画像と異なり、光量の積算値であるため、イメージセンサが理想的に被写体を撮影した場合、急激なデータの変化はない。

しかしながら、例えば、筐体の影等やイメージセンサ内の特性により、データの直流成分は大きく変化する場合がある。これらの影響を排除するには、変調器２５０１の位相のπ異なるセンサ画像の差分をとることで、必要なセンサ画像のデータ部分のみの取り出しが可能になる。

図２８に差分処理部３００３から出力された差分画像の一部の明るさ変化の一例を示したグラフを示す。図２８において、縦軸が差分値を示し、横軸が各画素の位置を示す。図２８に示すように、各位置の画素値の差分を示しており、差分が最も大きい位置の値が最大値３４０１となり、差分が最も小さい位置の値が最小値３４０２となる。図２８の例は、図２７の映像と同じ位置のデータを示す。影で暗くなっている影響が排除され、のちの再生装置３１００で映像にする必要な情報のみが残る。

図２６に戻り、データ変換処理部３００４は、差分処理部３００３で得られた差分画像全体から、画素データ差分値の最小値と最大値を求める。最小値をオフセット値として、各画素データ差分値から減算することにより、差分画像を表現するのに必要なビット数は最大値から最小値を減算したデータを表現するのに必要なビット数になり、元の画素値を表現するビット数から大幅に低減することが可能になる。

なお、データ変換処理部３００４では、後段の圧縮処理部３００５において、入力する画像の１画素当たりのビット数が予め決まっている場合や、圧縮効率を考慮して、オフセット減算した差分画像を、例えば、８ビットに割り当てる等の処理を行い、圧縮用画像データを生成する。また、後段の圧縮処理部３００５において、入力する画像として、赤、緑、青のデータで表現するのではなく、輝度と色による表現が求められる場合は、合わせて変換を行う。

このように、データ変換処理部３００４は、差分処理部３００３による画像信号の差分の範囲（最大値および最小値）および差分データに基づいた圧縮用画像データ（第１の圧縮用画像データ）を生成する。なお、データ変換処理部３００４は、最大値と最小値とを算出する場合について述べたが、差分の範囲を示す他の情報を算出するようにしてもよい。

データ変換処理部３００４は、生成した圧縮用画像データを圧縮処理部３００５へ送出する。また、差分処理部３００３が、第３の画像信号と、第４の画像信号との差分を算出し、当該差分に基づく差分画像（第２の差分データ）を生成した場合、データ変換処理部３００４は、当該差分に基づいた圧縮用画像（第２の圧縮用画像データ）を生成する。

圧縮処理部３００５は、静止画像や動画像、さらに図示はしていないが音声入力がある場合は音声のデータ量を削減する圧縮処理する。圧縮符号化方式は、例えば、ＪＰＥＧ、ＪＰＥＧ２０００、ＭＰＥＧ２、Ｈ．２６４／ＡＶＣ、Ｈ．２６５／ＨＥＶＣなどである。圧縮処理部３００５は、データ変換処理部３００４から圧縮用画像を取得し、当該圧縮用画像を圧縮して、圧縮したデータを含む圧縮データを生成する。圧縮処理部３００５による圧縮データ構成は、例えば、ＪＰＥＧでは、ヘッダー、圧縮画像データ、フッターで構成される。

図２９に、１枚の圧縮画像の圧縮データ構成例を示す。図２９に示すように、圧縮データは、ヘッダー部３５０１と、圧縮画像データ３５０２と、フッター部３５０３とを有する。ヘッダー部３５０１は、開始マーカーや、ファイルサイズ、画像サイズや量子化テーブル等、画像の圧縮・復号に必要な情報が格納される。

圧縮画像データ３５０２は、圧縮用画像を圧縮したデータである。フッター部３５０３は、終了マーカー等が格納される部分である。なお、ヘッダー部３５０１は、当該ヘッダー内にアプリケーション毎に自由にデータを設定できる領域３５０４を含む。圧縮処理部３００５は、当該領域３５０４にメタデータを付加する。

ここで、図３０に、圧縮処理部３００５が付加するメタデータ例を示す。図３０に示すように、メタデータには、レコード３６０１およびレコード３６０２を含む。レコード３６０１は、データ変換処理部３００４で得られた、差分画像の画素データの最小値の変数および値を含む。レコード３６０２は、当該差分画像の画素データの最大値の変数および値を含む。

図２６に戻り、圧縮処理部３００５は、画像圧縮時に、圧縮画像、圧縮パラメータを生成するとともに、図３０に示した情報を、メタデータとして付加することにより、後段の再生装置３１００での画像復元を可能にする。このように、圧縮処理部３００５は、圧縮画像に、差分の範囲を示す情報（最小値の変数および値、最大値の変数および値）を含める。

なお、メタデータの付加は、撮像装置３０００から出力する時に付加されていればよいため、出力処理部３００７で、メタデータを付加したヘッダーに付け直しても構わない。
差分処理部３００３が、第３の画像信号と、第４の画像信号との差分を算出し、当該差分に基づく差分画像を生成した場合、圧縮処理部３００５は、第２の圧縮用画像データを圧縮した圧縮画像に、第３の画像信号と、第４の画像信号との差分の範囲を示す情報（最小値の変数および値、最大値の変数および値）を含める。

出力処理部３００７は、圧縮処理部３００５により生成された圧縮データを出力する部分である。出力処理部３００７は、記憶装置３００８へ圧縮データを記憶出力する。

記憶部２２０１および記憶部３０１２は、圧縮前処理部３００１や圧縮処理部３００５、復号処理部３０１０、現像処理部３０１１で一時的にパラメータの保存や、画像データの保存に使用する。

出力処理部３００７は、圧縮処理部３００５が生成した圧縮ファイルを記憶装置３００８に記録する。

記憶装置３００８は、ハードディスク（ＨＤＤ）やソリッドステートドライブ（ＳＳＤ）、メモリーカードやそれらを用いたレコーダ等、デジタルデータを記録する装置である。

制御部３１０１は、例えば、入力処理部３００９、復号処理部３０１０、現像処理部３０１１およびフォーカス設定部２２０３などを統括制御する。

入力処理部３００９は、順次あるいは図示してはいないが、ユーザーからの要求に応じて記憶装置３００８に格納されている圧縮データを取り出す。このように、入力処理部３００９は、出力処理部３００７により出力されたデータを入力する。入力処理部３００９は、入力したデータを復号処理部３０１０に送出する。

復号処理部３０１０は、圧縮処理部３００５の圧縮方式に使用された方式の復号処理をするもので、図２９のヘッダー部３５０１に格納された情報から、圧縮画像データ３５０２を復号することにより、復号画像（圧縮復元画像）を取得する。また、復号処理部３０１０は、付加されているメタデータも同時に取得し、現像処理部３０１１に送出する。

現像処理部３０１１は、復号画像とメタデータから、オフセットおよび元のビット深度の画像（差分データ）を復元することにより、復元差分画像を生成する。すなわち、現像処理部３０１１は、復号画像と、差分の範囲とから復元差分画像を生成する。

現像処理部３０１１は、さらに、フォーカス調整のため、図１８で説明した、裏面ピッチ決定（Ｓ２３０１）、裏面格子強度変調（Ｓ２１０１）を行い、図２２で説明した強度変調結果加算（Ｓ２７０３）を行う。さらに、図３で説明した、２次元ＦＦＴ演算（Ｓ５０１）、スペクトル切り出し（Ｓ５０２）、強度計算（Ｓ５０３）、ノイズ除去（Ｓ５０４）、コントラスト強調（Ｓ５０５）、カラーバランス調整（Ｓ５０６）、出力信号生成処理（Ｓ５０７）の各処理を順に行い、画像表示部１０７が、現像した画像を表示できるような表示信号を生成する。

すなわち、現像処理部３０１１は、復元差分画像を変調してモアレ縞画像を生成し、当該モアレ縞画像をフーリエ変換して周波数スペクトルを算出する。

撮像装置を上述のような構成とすることで、後からフォーカス調整等が可能な画像のデータ量を削減することが可能であり、また、記憶装置のコスト低減につながる。また、再生装置で現像処理を行うことにより、記憶装置の処理が軽減し、記憶装置の小型化、低コスト化が可能になる。なお、再生装置は、図示したような構成が実現できれば、パソコン等を用いてソフトウェア処理で実現してもよいし、ＧＰＵやＦＰＧＡ等のハードウェアで処理を行ってもよい。また、記憶装置は、再生装置に内蔵されているＨＤＤ等でもよい。
図３１に圧縮前処理部３００１における画像処理の概略を示すフローチャートを示す。最初に、圧縮前処理部３００１は、変調器２５０１の格子パターン（ゾーンプレート）の位相シフト数を設定する（Ｓ３１０１）。圧縮前処理部３００１は、例えば、４パターン時分割する場合、４を設定する。なお、圧縮前処理部３００１において予め設定されてもよい。

続いて、圧縮前処理部３００１は、画像データの差分をとるフレーム数を設定する（Ｓ３１０２）。また、圧縮前処理部３００１は、最大値および最小値をリセット、例えば、０に設定する（Ｓ３１０３）。

圧縮前処理部３００１は、センサ信号処理を実行し（Ｓ５００）、差分フレームが初期値であると判断した場合は（Ｓ３１０４：Ｙｅｓ）、記憶部２２０１に画素データを記憶させる（Ｓ３１０５）。ステップＳ３１０８でフレーム終了と判断されるまで、センサ信号処理Ｓ５００の処理を繰り返す。

ステップＳ３１０４で初期フレームではないと判断した場合は、ステップＳ３１０６では、ステップＳ３１０５で格納した同じ座標の画素値を減算し、記憶部２２０１に格納する。また、ステップＳ３１０７で最大値及び最小値と画素値とを比較し、最大値より大きい場合は画素値を最大値に設定し、最小値より小さい場合は画素値を最小値に設定する。次に、ステップＳ３０１８のフレーム終了判定を行い、フレーム終了ではない場合は、センサ信号処理を実行し（Ｓ５００）、フレーム終了の場合は、処理を終了する。

ステップＳ３１０９では差分を取得するフレーム数および位相シフトから１を減算し、ステップＳ３１１０においてフレーム差分終了と判定されない場合は、ステップＳ３１０３の最大値、最小値リセット処理に戻り、フレーム差分処理が終了した場合は、ステップＳ３１１１のデータシフト処理を行う。

ステップＳ３１１１では、ステップＳ３１０７で取得した最小値から、例えば、全差分画素値から最小値を減算する処理により差分画像値の最小値を０とするデータシフト処理を行う。ステップＳ３１１２は、ステップＳ３１０７から取得した最大値から、例えば、使用していない上位ビットを削減するビット削減処理を行う。

なお、ビット削減処理（Ｓ３１１２）は、画像圧縮に使用するアルゴリズムにより画像データのビット数が限定されている場合等において、ターゲットとするビット数に割当直す処理を行う。ステップＳ３１１３で、データシフト処理（Ｓ３１１１）やビット削減処理（Ｓ３１１２）で変換した差分画素値を、後で行う現像処理で復元できるように画像復元情報、例えば、最大値や最小値の情報をメタデータとして生成する。

次に、ステップＳ３１１４で位相シフトの終了を判断し、全ての位相処理が終了した場合は処理終了し、終了していない場合はステップＳ３１０２からの処理を繰り返す。

以上説明した圧縮前処理により、センサ画像の画素値のビット数を削減することができ、効率よく圧縮することができる。

続いて、図３２を用いて、図２６に示した再生装置３１００の処理手順を説明する。図３２において、図３および図１６、図１８、図２２と同じ処理は同じ番号を付し、説明は省略する。図３２において、処理を開始すると、ステップＳ３７０１で記憶部３０１２から圧縮ファイルを取得する。次に、ステップＳ３７０２で圧縮ファイルのヘッダー情報を用いて圧縮画像の復号処理を行う。次に、ステップＳ３７０３で、圧縮ファイルのヘッダーにあるメタデータから元の画像の画素データの最大値と最小値である画像情報を取得し、図２６のデータ変換処理部３００４で処理する前の差分画像の画素データを復元する画素データ復元処理を行う。

ここで、圧縮に使用したアルゴリズムが不可逆圧縮の場合、復元した画像は全く同じものにはならない場合もある。次に、ステップＳ３７０４で、変調器の位相を設定する。位相は、例えば、位相の最初の設定値は０で、次はπずらしたものとする。

以下、図１８で説明した裏面ピッチ決定（Ｓ２３０１）、裏面格子強度変調（Ｓ２１０１）を行い、図２２で説明した強度変調結果加算（Ｓ２７０３）を行う。ここで、ステップＳ２７０４で位相シフトの終了の判定をする。例えば、位相シフトπの処理が終了していない場合は、圧縮ファイル取得（Ｓ３７０１）に戻る。位相シフトが終了している場合は、図３で説明した、２次元ＦＦＴ演算（Ｓ５０１）、スペクトル切り出し（Ｓ５０２）、強度計算（Ｓ５０３）、ノイズ除去（Ｓ５０４）、コントラスト強調（Ｓ５０５）、カラーバランス調整（Ｓ５０６）、出力信号生成処理（Ｓ５０７）の各処理を順に行い、画像表示部１０７が、現像した画像を表示できるような表示信号を生成する。

以上説明した再生装置では、圧縮された画像を復号処理し、フォーカス調整可能な画像を復元することにより、再生装置で、ユーザーが必要とするときに必要な被写体のフォーカス調整や距離計測が可能である。

図３３に、本実施例における撮像システムの構成図を示す。図３３は、動画像において撮影後にフォーカス調整が行える画像の情報量を削減し、かつ、図２３の画像処理部２５０３の処理を複数フレーム毎の制御を行うことにより、連続した動画像の撮影に適したレンズレスの撮像装置３８００と再生装置３１００（復元装置）とを含む撮像システムの構成例である。図３３において、図２６および図２３と同じものには同じ番号を付し、説明は省略する。なお、この撮像システムでは、動画処理のため、１フレーム分の画像を同時に撮影できる空間分割フリンジスキャンを適用する例を示している。

図３３において、撮像装置３８００は、画像を撮像した結果を圧縮する装置である。また、再生装置３１００は、上記圧縮した結果を復元して、復元した結果を再生する装置である。

撮像装置３８００は、撮像部３８２０と出力処理部３００７とを含む。撮像部３８２０は、画像センサ部１０３と、透明な格子基板１０２ａ、透明な格子基板１０２ａ、変調器２９０１と、制御部３８０２と、圧縮前処理部３８０１と、圧縮処理部３８０５（圧縮部）と、記憶部２２０１とを含む。圧縮前処理部３８０１は、センサ信号処理部３００２と、差分処理部３００３と、データ変換処理部３８０４（データ変換部）と、演算パラメータ生成部３８０６を含む。

制御部３８０２は、画像センサ部１０３、圧縮前処理部３８０１および圧縮処理部３８０５などを統括制御する。

画像分割部２９０２は、例えば、画像センサ部１０３から出力された各画素のデータ（画像信号）を変調器２９０１の位相パターン毎に４個の領域に分割する。図３４に画像信号分割例を示す。３９００は画像信号全体、３９０１は第１の格子パターン領域の画像信号の領域（第１の領域）、３９０２は第２の格子パターン領域の画像信号の領域（第２の領域）、３９０３は第３の格子パターン領域の画像信号の領域（第３の領域）、３９０４は第４の格子パターン領域の画像信号の領域（第４の領域）である。画像分割部２９０２後は、第１の領域、第２の領域、第３の領域および第４の領域の画像信号は別々の画像として扱う。

図３３に戻って、センサ信号処理部３００２は、例えば、画像分割部２９０２で分割された領域毎に補完データを生成し、各画素に対応したＲＧＢデータを生成するデモザイキング処理等を行い、センサ画像として出力する。センサ画像は必要に応じて記憶部２２０１に画像データを格納したり、差分処理部３００３へ送出したりする。このように、センサ信号処理部３００２は、画像センサ部１０３から出力された画像信号を受信する。

例えば、センサ信号処理部３００２は、変調器２９０１の第１の格子パターン領域の画像信号を第１の画像信号を受信したり、第２の格子パターン領域の画像信号を第２の画像信号を受信したり、第３の格子パターン領域の時の画像信号を第３の画像信号を受信したり、第４の格子パターン領域の画像信号を第４の画像信号を受信したりする。

差分処理部３００３は、図２６で説明したように、第１の画像信号と第２の画像信号との差分を算出し、当該差分に基づく差分画像（第１の差分データ）を生成する。また、差分処理部３００３は、第３の画像信号と、第４の画像信号との差分を算出し、当該差分に基づく差分画像（第２の差分データ）を生成する。

演算パラメータ生成部３８０６は、後述する制御部３８０２の指示に基づき、差分処理部３００３で得られた差分画像の各画素データの最小値と最大値を求めて、求めた最大値、最小値を基にデータ変換処理部３８０４が差分画像から圧縮前画像に変換するための演算パラメータを生成して、記憶部に演算パラメータを格納する。例えば、圧縮前画像の各画素のとりうる値が８ビットとすると、演算パラメータは、最小値をビットシフト演算用のオフセット値、最大値と最小値の差分である最大振幅値を２５５で割った値をビット削減処理用の乗算係数とする。ここで、連続する動画像の場合、画像１枚毎に異なる演算パラメータを生成、適用すると、後段の圧縮処理部３８０５での圧縮効率が悪くなったり、最終的な映像のフリッカの原因となったりする。

図３５にデータ変換処理部３８０４に入力する信号例を示す。横軸は画像の位置、縦軸は画素値を示す。４００１はあるフレームの信号例の一部であり、４００２はフレームの信号例４００１とは異なるフレームの信号例の一部である。４００３はフレームの信号例４００１の最小値、４００４はフレームの信号例４００２の最小値、４００５はフレームの信号例４００１の最大値、４００６はフレームの信号例４００２の最大値である。図３５に示すように、最大値と最小値はフレームごとに変化する。そこで、例えば、キー画像であるキーフレームの最大値、最小値を取得して演算パラメータを生成し、ある一定期間は同じオフセットとする。キーフレームとは、例えば、前後等の他のフレームの画像データに関係なく圧縮されるフレームで、圧縮処理部３８０５により数フレームから数百フレームに１回生成される。ある期間とは、例えば、キーフレームから次のキーフレームの間までの期間である。なお、キーフレームの差分画像の最小値、最大値からはずれる差分画像では、画質劣化の可能性はあるが、その影響は大きいものではない。また、キーフレームの最大値、最小値に各フレームの変動を見越した値を加減算した値を用いた演算パラメータを生成、設定してもよい。

データ変換処理部３８０４では、後段の圧縮処理部３８０５において、入力する画像の１画素当たりのビット数が予め決まっている場合や、圧縮効率を考慮して、オフセット減算した差分画像を、例えば、８ビットに割り当てる等の処理を行い、圧縮用画像データを生成する。また、後段の圧縮処理部３８０５において、入力する画像として、赤、緑、青のデータで表現するのではなく。輝度と色による表現が求められる場合は、合わせて変換を行う。

圧縮処理部３８０５は、図２６の３００５と同様に静止画像や動画像、さらに図示はしていないが音声入力がある場合は音声のデータ量を削減する圧縮処理する。

圧縮処理部３８０５は、例えば、変調器２９０１が４位相であり、圧縮処理部３８０５が複数フレームの画像の相関性を用いて高い圧縮率を実現する圧縮方式で動画像を圧縮し、撮像装置３８００が、例えば、第１の差分データの差分画像と第２の差分データの差分画像を圧縮して出力する場合、各々の連続した差分画像を圧縮するため、第１の差分画像データの差分画像用と第２の差分画像データの差分画像用の２系統の入力と２系統の出力を持つ。

図３６に圧縮処理部３８０５の構成例を示す。図３３と同じものには同じ番号を付し、説明は省略する。４２０１は第１の圧縮器、４２０２は第２の圧縮器であり、圧縮処理部３８０５は圧縮器４２０１と圧縮器４２０２を含む。４２０３はデータ変換処理部３８０４が記憶部２２０１に格納する第１の差分画像データ、４２０４はデータ変換処理部３８０４が記憶部２２０１に格納する第２の差分画像データ、４２０５は圧縮器４２０１が記憶部２２０１に格納する第１の差分圧縮画像、４２０６は圧縮器４２０２が記憶部２２０１に格納する第２の差分画像データである。図３６に示すように、第１の差分画像データの差分画像用と第２の差分画像データとは個々に圧縮処理を行うことで,連続する画像を関連するものとし、圧縮率を高くすることができる。

なお、変調器２９０１が２位相の場合、差分画像は一枚となるので、圧縮処理部３８０５は１系統の入出力があればよい。

撮像装置３８００は、圧縮処理部３８０５で圧縮したデータを順次出力処理部３００７から出力する。

以上説明したように、キーフレームから連続するフレームで同じオフセット値を使うことにより、連続する画像の相関性が失われることがなく圧縮時に高い圧縮効果が得られ、画像の輝度のゆらぎによりフリッカを防げる。

図３７に圧縮前処理部３８０１における１フレーム分の画像処理の概略例を示すフローチャートを示す。図３１と同じ処理には同じ番号を付し説明は省略する。最初に、圧縮前処理部３８０１は、変調器２９０１の格子パターン（ゾーンプレート）数である領域数を設定する（Ｓ４３０１）。圧縮前処理部３８０１は、例えば、４パターンに空間分割する場合、４を設定する。なお、圧縮前処理部３８０１において予め設定されてもよい。続いて、圧縮前処理部３８０１は、センサ信号処理を実行する（Ｓ５００）。

続いて、圧縮前処理部３８０１は、領域判定処理を行う。センサ画像データが第１の領域あるいは第３の領域の画像データであると判断した場合は（Ｓ４３０２：Ｙｅｓ）、記憶部２２０１に画素データを記憶させる（Ｓ３１０５）。

ステップＳ４３０２で第１の領域の画像データあるいは第３の領域の画像データではないと判断した場合は、ステップＳ３１０６では、ステップＳ３１０５で格納した同じ座標の画素値を減算し、記憶部２２０１に格納する。また、ステップＳ３１０７で最大値及び最小値と画素値とを比較し、最大値より大きい場合は画素値を最大値に設定し、最小値より小さい場合は画素値を最小値に設定する。次に、ステップＳ３１０８のフレーム終了判定を行い、フレーム終了ではない場合は、センサ信号処理を実行し（Ｓ５００）する。
フレーム終了の場合は、演算パラメータの設定をするか否かの判定を、例えば、キーフレームであるか否かで行う。処理するフレームが、例えば、キーフレームである場合は（Ｓ４３０３：Ｙｅｓ）は、ステップＳ３１０７で最大値、最小値を取得し、フレーム処理判定３１０８をする。ステップＳ４３０３でキーフレームではないと判定した場合は、続いてステップＳ３１０８でフレーム終了判定をする。

ステップＳ３１０８では、フレーム終了と判断されるまで、領域判定処理を繰り返す。ステップＳ３１０８で、フレーム終了と判定し、処理フレームがキーフレームと判定した場合（Ｓ４３０４：Ｙｅｓ）、最小値、最大値の情報から圧縮する画像データ生成のためのパラメータの設定を行い（Ｓ４３０５）、最小値、最大値のリセット（Ｓ３１０３）を行う。キーフレームとは、例えば、前後等の他のフレームの画像データに関係なく圧縮されるフレームで、圧縮処理部３８０５により数フレームから数百フレームに１回生成される。なお、ここでは１フレーム分の処理フローであり、記述はしてはいないが、全体の処理開始時にも最大値、最小値のリセットを行う。以降、ステップＳ３１１１からＳ３１１３は、図３１と同じなので説明は省略する。

以上説明したように、キーフレームの最大値および最小値を用いて連続する複数のフレームの容量を低減する圧縮前処理により、効率よく圧縮することができる。

なお、本実施例では最大値および最小値を取得するフレームをキーフレームとした例で説明したが、他のフレームで取得した最大値および最小値を用いてもよい。

以上のように、本実施例によれば、変調器は、第１の格子パターンと、第１の格子パターンと位相がずれた第２の格子パターンとを有し、センサ信号処理部は、第１の格子パターンにより出力される第１の画像信号と、第２の格子パターンにより出力される第２の画像信号とを受信し、差分処理部は、第１の画像信号と、第２の画像信号との差分を算出し、圧縮処理部は、第１の圧縮用画像データに差分の範囲を示す情報を含める。これにより、後からフォーカス調整等が可能な画像のデータ量を削減することが可能であり、また、記憶装置のコスト低減につながる。すなわち、レンズレスの撮像装置で撮像した画像の容量を低減して管理することができる撮像装置、撮像システム、及び撮像方法を提供できる。

本実施例は、複数のフレームの最小値、最大値情報から圧縮する画像データ生成のためのパラメータ設定を行う処理について説明する。

図３８は本実施例における差分画像データを圧縮する処理フローであり、圧縮前処理部３８０１における１フレーム分の画像処理のフローチャートを示す。図３８において、図３７と同じ処理には同じ番号を付し、その説明は省略する。図３７と異なる点は、ステップＳ４３０３のキーフレーム判定がない点である。

すなわち、図３８において、ステップＳ３８０２で第１の領域の画像データあるいは第３の領域の画像データではないと判断した場合は、ステップＳ３１０６で、ステップＳ３１０５で格納した同じ座標の画素値を減算し、記憶部２２０１に格納する。そして、キーフレーム判定を行うことなく、ステップＳ３１０７で最大値及び最小値と画素値とを比較し、最大値より大きい場合は画素値を最大値に設定し、最小値より小さい場合は画素値を最小値に設定する。

これにより、本実施例によれば、実施例１と同様に、圧縮前処理により、センサ画像の画素値のビット数を削減することができ、効率よく圧縮することができると共に、さらに、複数フレームの最大値・最小値を取得することで、差分画像においてフレーム毎に明るさにばらつきがある場合に効果的となる。

本実施例は、画像センサ部から出力された画像データを領域分割した画像データの差分画像データで圧縮前画像データ生成のためのパラメータを別々に設定する例について説明する。

図３９は本実施例における差分画像データを圧縮する処理フローであり、圧縮前処理部３８０１における１フレーム分の画像処理のフローチャートを示す。図３９においては、例えば、図３４の第１の領域３９０１と第３の領域３９０３の差分画像データと、第２の領域３９０２と第４の領域３９０４の差分画像データとで圧縮前画像データ生成のためのパラメータを別々に設定する。

図３９において、図３７と同じ処理には同じ番号を付し、その説明は省略する。図３７と異なる点は、ステップＳ４５０１からS４５０３の処理、及び、Ｓ４４０４からS４４１２の処理を有する点である。

すなわち、図３９において、ステップＳ３１０６で、ステップＳ３１０５で格納した同じ座標の画素値を減算して記憶部２２０１に格納した後、処理する画素が第２の領域にある場合（Ｓ４５０１：Ｙｅｓ）は、保持されている第１の画素差分データの最大値および最小値と比較し、処理中の差分画像データの画素値が最小値より小さければ最小値として、最大値より大きければ最大値として保持し、ステップＳ３１０８のフレーム終了判定処理をする。また、処理する画素が第４の領域にある場合（Ｓ４５０１：Ｎｏ）は、保持されている第２の画素差分データの最大値および最小値と比較し、処理中の差分画像データの画素値が最小値より小さければ最小値として、最大値より大きければ最大値として保持し、ステップＳ３１０８のフレーム終了判定処理をする。

ステップＳ３１０８の終了判定処理で、フレーム終了と判定（Ｓ３１０８：Ｙｅｓ）し、キーフレームでない場合（Ｓ４３０４：Ｎｏ）、ステップＳ４４０６の領域の判定に進む。キーフレームである場合（Ｓ４３０４：Ｙｅｓ）、第１の差分画像データおよび第２の差分画像データを圧縮前画像に変換するための後段のデータシフト処理、ビット削減処理をする為の演算パラメータを各々設定する。続いて、第１の差分画像データおよび第２の差分画像データの最大値おおび最小値をリセットし、ステップＳ４４０６の領域の判定に進む。

ステップＳ４４０６は、第１の差分画像データの処理か否かを判定し、第１の差分画像データの場合（Ｓ４３０６：Ｙｅｓ）、第１の演算パラメータを用いてデータシフト処理（Ｓ４４０７）、ビット削減処理（Ｓ４４０８）をし、第１の演算パラメータを画像復元情報として設定（Ｓ４４０９）する。第１の差分画像データではない場合（Ｓ４３０６：Ｎｏ）、第２の演算パラメータを用いてデータシフト処理（Ｓ４４１０）、ビット削減処理（Ｓ４４１１）をし、第２の演算パラメータを用いた画像復元情報をメタデータとして生成（Ｓ４４１２）する。

以上説明した圧縮前処理により、センサ画像の画素値のビット数を削減することができ、さらに、位相差のある格子パターン毎に設定し、画像圧縮前処理をすることにより、より圧縮しても画質劣化を防ぐことができ、現像後の画質向上が見込める。

本実施例は、処理の高速化および構成部品の低減をする撮像装置と再生装置とを含む撮像システムについて説明する。

図４０は本実施例における撮像システムの構成図である。図４０は、図３３の撮像装置３８００の処理の高速化および構成部品の低減をする撮像装置４６００と再生装置４６１０とを含む撮像システムである。図４０において、図３３と同じ処理には同じ番号を付し、その説明は省略する。

図４０において、撮像装置４６００は撮像部４６２０と出力処理部３００７を含む。撮像部４６２０は、画像センサ部１０３と、透明な格子基板１０２ａ、変調器２９０１と、圧縮前処理部４６０２と、制御部４６０９と、圧縮処理部４６０６と、記憶部２２０１とを含む。

圧縮前処理部４６０２は、センサ信号処理４６０３、差分処理４６０４、データ変換処理４６０５、演算パラメータ生成部４６０７で構成される。

制御部４６０９は３８０２の機能に加えて、画像センサ部１０３から出力される信号の画面分割位置を指定する。画面分割位置は、例えば、図４１に、第１の領域と第３の領域を１枚の画像、第２の領域と第４の領域を１枚の画像として扱う場合の画像分割例を示す。４７０１はセンサ画像の第１の領域と第３の領域の合成画像領域、４７０２はセンサ画像の第２の領域と第４の領域の第１の合成画像領域を示す。

画像センサ部１０３は、画像信号の出力として第１の領域３９０１の１ライン目、第２の領域３９０１の１ライン目、第１の領域３９０１の２ライン目、第２の領域３９０１の２ライン目と順次出力し、第３の領域３９０１の最終ライン、第４の領域３９０１の最終ラインで１フレームの出力が終了する。

制御部４６０９は、圧縮前処理部４６０２では第１の領域３９０１、第２の領域３９０２、第３の領域３９０３、第４の領域３９０４の信号切り替えタイミングを伝え、圧縮処理部４６０６には合成画像領域４７０１と合成画像領域４７０２との差分画像を１枚の画像として制御する。

センサ信号処理４６０３は、例えば、ＲＧＢベイヤー配列の順番で出力された画像信号から、Ｒ信号、Ｇ信号、Ｂ信号を生成するデモザイキング処理を行う。デモザイキング処理では、処理対象の画素よりも後の信号を使用する為、必要な時間分記憶部２２０１に保存して遅延させることにより処理を行う。センサ信号処理４６０３は、制御部４６０９の領域切替え指示によりデモザイキング処理を行い、例えば領域の境目の画素は他の領域の信号の値を使用せず、例えば、画素拡張や折り返し処理等のエッジ処理を行う。

差分処理４６０４は、制御部４６０９の切り替えタイミングにより、水平ラインごとの処理を行う。例えば、まず、第１の領域の信号の１ライン目に送られてくる画素データを保持し、次に送られてくる第２の領域の信号の１ライン目の画素データの差分を取っていく。最後に第３の領域の信号の最終ライン画素データと第４の領域の信号の最終ライン画素データの差分をとり、フレームの処理は終了する。

演算パラメータ生成部４６０７は、図３３の演算パラメータ生成部３８０６と同様に演算パラメータを生成する。

データ変換処理４６０５は、例えば、フレームの前フレームまでの差分画像の最大値、最小値を使ってあらかじめ設定された演算パラメータを使用して、データシフト処理およびビット減算処理をして圧縮に適した画像データを順次出力する。

制御部４６０９は、圧縮前処理部４６０２の出力データを圧縮処理部４６０６に圧縮させる。図４２に圧縮前処理部４６０２の構成例を示す。図４２において、図３６、図４０と同じものには同じ番号を付して説明は省略する。４８０１は記憶部２２０１に格納された第１の差分画像データと連続する第２の差分データの合成画像データ、４８０２は記憶部２２０１に格納された連続する合成画像データから成る動画像を圧縮したデータである。

制御部４６０９は、第１の差分画像データと連続する第２の差分画像データを１枚の画像として圧縮するように制御することにより圧縮処理部４６０６の圧縮器４２０１は１個以上あればよい。出力処理部３００７は、動画像を圧縮したデータをデータ変換処理４６０５に用いた演算パラメータを含めて記憶装置に出力する。なお、撮像装置４６００が、変調器２９０１のような４分割タイプではなく、２分割タイプの処理を切り替えてする場合には演算パラメータに、再生装置４６１０での分割用の情報が含まれる。

図４０の再生装置４６１０の４６０１は画像分割部である。再生装置４６１０は、記憶装置３００８に格納された圧縮した動画像データを、入力処理部３００９から入力し、復号処理部３０１０で１枚ずつの圧縮されていない画像にする復号処理を行う。画像分割部４６０１は、第１の差分画像データと第２の差分画像データに分割し、現像処理部３０１１に出力する。

図４３に、図４０の圧縮前処理部４６０２の処理フロー例を示す。図３７と同じ処理には同じ番号を付し説明は省略する。図４３において、圧縮前処理部３８０１は、演算パラメータが設定されていない初期値状態であれば（Ｓ４９０１：Ｎｏ）、最初の差分画像データから最小値、最大値を取得し、最小値、最大値用いて演算パラメータを設定する（Ｓ４９０２）して、ステップＳ３１１３で設定されている演算パラメータから画像復元情報メタデータを生成する。演算パラメータが設定されていれば（Ｓ４９０１：Ｙｅｓ）、そのまま、ステップＳ３１１３に進む。
ステップＳ４３０１、Ｓ５００センサ信号処理を実行し、ステップＳ４３０２で領域判定処理を行う。ステップＳ４３０２で第１の領域の画像データあるいは第３の領域の画像データと判断した場合は（Ｙｅｓ）、ステップＳ３１０５で記憶部に画像データを格納する。ステップＳ４３０２で第１の領域の画像データあるいは第３の領域の画像データではないと判断した場合は（Ｎｏ）、記憶部の画素データとの差分処理により差分画像データを求め（Ｓ４９０２）、ステップＳ３１０７の最小値、最大値取得処理をしたのち、予め設定した演算パラメータを用いてデータシフト処理Ｓ３１１１，ビット削減処理Ｓ３１１２を行って圧縮処理前画素データを生成し、記憶部に圧縮前処理画素データを格納する（Ｓ４９０３）。以上の処理をフレーム終了まで行う。ステップＳ３１０８でフレーム終了と判定し（Ｙｅｓ）、ステップＳ４３０４でキーフレームと判定した場合は、記録されている最大値、最小値から演算パラメータを設定し（Ｓ４３０５）、最小値、最大値のリセットを行う（Ｓ３１０３）。

以上説明した圧縮前処理により、センサ画像の画素値のビット数を削減することができ、さらに、動画像の圧縮においても少ない圧縮器で実現することができ、かつ、少ない遅延時間で映像を出力することができる。

本実施例は、色差信号を含む映像の現像処理に対応した再生装置について説明する。

図４４は、本実施例における色差信号を含む映像の現像処理に対応した再生装置５１００の構成図である。図４４において、現像処理部５０１１は、後面変調処理部５１０２、ＦＦＴ演算部５１０３、強度計算処理部５１０５、フォーマット変換処理部５１０１で構成されている。フォーマット変換処理部５１０１は、例えば、輝度信号Ｙと、２つの色差信号使って表現されるＹＵＶフォーマットの画像を、赤、青、緑の信号で表現するＲＧＢフォーマットの画像に変換する。

現像処理部５０１１の後面変調処理部５１０２、ＦＦＴ演算部５１０３および強度計算処理部５１０５は、図２６で説明した現像処理部３０１１と同様の処理を行い、後面変調処理部５１０２は、裏面ピッチ決定と裏面格子強度変調とを行い、ＦＦＴ演算部５１０３は２次元ＦＦＴ演算とスペクトル切り出し処理を行い、強度計算処理部５１０５は強度計算と４枚の変調器のパターンを使用する場合は画像の合成処理を行う。

ここで、動画像を圧縮する場合は、人の目では色成分の分解能が低いため、色差成分の画素数を減らし、圧縮効率を上げたＹＵＶフォーマットを使用することが多い。復号処理部３０１０は、動画像の復号処理後、ＲＧＢフォーマットの画像に変換せずに、ＹＵＶフォーマットの画像まま出力することが可能である。しかしながら、ＲＧＢフォーマットの画像はすべて正のデータであるのに対して、ＹＵＶフォーマットの色差成分は正負両方のデータがあるため、強度計算処理部５１０５で正しい強度を算出できない。その為、復号処理部３０１０からＹＵＶフォーマットで出力された画像は、強度計算処理部５１０５の前にフォーマット変換処理部５１０１でＲＧＢフォーマットに変換される。

図４５に再生装置５１００の処理フローを示す。図３２と同じものには同じ番号を付し、説明は省略する。再生装置５１００では、ステップＳ３７０２の復号処理からステップＳ５０１まで、ＹＵＶフォーマットの画像を処理する。ステップＳ５０２でスペクトル切り出しした後、ステップＳ５１０１でフォーマット変換処理を行う。ここで、４つの変調器パターンを使った場合、ステップＳ５１０１までは位相の異なる画像が２枚連結された状態であり、ステップＳ５１０２で、２枚の画像に分割する。ステップＳ５０３では各画素の強度を計算するとともに２枚の画像の強度の合成を行う。以下、図３２と同様に処理を行う。

本実施例によれば、現像処理の一部を、ＲＧＢフォーマットより少ない画素数にすることが可能なＹＵＶフォーマットで処理することで現像処理の負荷が軽減でき、処理の高速化あるいは低コストな再生装置を可能とする。

本実施例は、フリンジスキャン方式を適用し、撮像した動画像データを圧縮し、伝送する撮像システムについて説明する。

図４６は、本実施例における、フリンジスキャン方式を適用し、撮像した動画像データを圧縮し、伝送する撮像システムの構成図である。図４６において、図２６と同じものには同じ番号を付し、説明は省略する。この撮像システムは、撮像装置４９０１と、再生装置４９１０とを含む。撮像装置４９０１と再生装置４９１０とが通信路４９０３により接続される。

撮像装置４９０１は、画像センサ部１０３を含む変調器２９０１と、透明な格子基板１０２ａと、制御部３８０２と、圧縮前処理部３８０１と、圧縮処理部３８０５と、送受信部４９０２と、記憶部２２０１と、画像分割部２９０２を含む。また、再生装置４９１０は、送受信部４９０４と、画像記録読出し部４９０５と、記憶装置３００８と、復号処理部３０１０と、現像処理部３０１１と、記憶部３０１２と、フォーカス設定部２２０３と、画像表示部１０７と、画像出力部３０１３と、制御部３１０１を有する。

送受信部４９０２は、圧縮処理部３８０５から出力される圧縮された画像データやメタデータを通信路に伝送する形式に変換し、通信処理を行う。すなわち、送受信部４９０２は、通信路４９０３を介して圧縮処理部３８０５により圧縮されたデータを送信出力する。

送受信部４９０２の通信のインターフェースとしては、有線ＬＡＮ（Local Area Network）や、図示はしていないがＷｉ‐Ｆｉ（登録商標）などの無線ＬＡＮなどの方法を使用してもよいし、移動体通信方式であるＧＳＭ（登録商標）（Global System for Mobile Communications）方式、Ｗ−ＣＤＭＡ(Wideband Code Division Multiple Access)方式やＣＤＭＡ２０００方式、ＵＭＴＳ（Universal Mobile Telecommunications System）方式などの第３世代移動通信システム（以下「３Ｇ」と表記する）、ＬＴＥ（Long Term Evolution）方式や第五世代（５G）と呼ばれる新しい次世代通信システムなどの移動体通信網を利用して基地局を通して通信ネットワークなどの移動体通信網を利用して基地局を通して通信ネットワークに接続することもできる。また、異なる複数の方式で通信可能なチップを実装し、撮像装置４９０１を使用する環境に合わせて使い分けてもよい。

再生装置４９１０の送受信部４９０４は、撮像装置４９０１の送受信部４９０２と同様な通信インターフェースを持つ。なお、送受信部４９０４の通信インターフェースは、送受信部４９０２と全て同じである必要はなく、少なくとも１つ以上あればよい。送受信部４９０４は、通信路４９０３を介して受信したデータを画像データや付随するメタデータとして画像記録読出し部４９０５に出力する。この画像記録読出し部４９０５は、取得した画像データおよび附随するメタデータを記憶装置３００８へ記憶する。以下の処理は図２６と同様なため、説明は省略する。

以上説明したように、本実施例によれば、現像処理前の映像をネットワーク伝送することにより、撮像装置４９０１の構成を簡単にでき、小型で軽量、低コストな撮像装置とし、かつ、動画像表示においてもフレーム毎に輝度変化することがない動画像を表示することが可能になる。また、フリンジスキャン後の画像を伝送することで、現像処理部でフォーカスの調整や距離の測定が可能であり、撮影後に映像を確認したいときに見たいところにフォーカスを当てたり、距離を測定したりすることが可能になる。

本実施例は、例えば、複数の監視カメラからの映像を、記録、再生するシステムについて説明する。

図４７は、本実施例における、撮像システムの構成図である。図４７において、図４６と同じものには同じ番号を付し説明は省略する。図４７において、４９０１ａ、４９０１ｂおよび４９０１ｃは撮像装置であり、図５２の撮像装置４９０１と同様のものである。例えば、撮像装置４９０１ａ、撮像装置４９０１ｂおよび撮像装置４９０１ｃは監視カメラであり、通信路４９０３に接続されている。

４９２０は記録再生装置であり、図４６の再生装置４９１０に操作入力部５１０４が追加されている。

送受信部４９０４は通信路４９０３を介して撮像装置４９０１ａ、撮像装置４９０１ｂおよび撮像装置４９０１ｃから送られてきた圧縮画像を取得する。画像記録読出し部４９０５は送受信部４９０４で取得した圧縮画像に撮像装置の情報、撮像時刻を関連付けて記憶装置３００８に保存する。

操作入力部５１０４は、例えば、接続されているデバイスであるキーボードやマウス、タッチパッド、タッチパネル、リモコン、人の部分的あるいは全体的な動きを検知するセンサ等の信号を入力する。記録再生装置４９２０に対して所望の制御をしようとする操作者は、例えば、操作入力部５１０４に接続されているデバイスを操作する。制御部３１０１は、例えば、操作入力部５１０４から入力された信号に基づき、画像記録読出し部４９０５に読み出す圧縮画像の指示をするとともに、復号処理部３０１０に読み出した圧縮画像の復号処理、現像処理部３０１１に復号処理した画像の現像処理を行うよう指示をして、現像処理した画像を画像表示部１０７に出力する。また、操作者がフォーカス変更を指示した場合はフォーカス設定部２２０３に設定している距離を変更してフォーカスを調整する。

以上説明した複数の監視カメラを接続する撮像システムにおいても、必要に応じて現像処理を行うため、消費電力の軽減、処理負荷低減が可能になる。
なお、本実施例では、撮像装置を３台接続した例としているが、接続数に制限はない。また、１台接続時においても、再生処理を必要なときのみとすることで消費電力の軽減、処理負荷低減が可能になる。

本実施例は、例えば、撮像装置、記録装置および再生装置が離れた場所にある撮像システムについて説明する。
図４８は、本実施例における、撮像システムの構成図である。図４８において、図４６、図４７と同じものには同じ番号を付し説明は省略する。

５２０１は記録装置であり、送受信部４９０４、画像記録読出し部４９０５、記憶部２２０１、制御部５２１０を含む。送受信部４９０４は、通信路４９０３を介して撮像装置４９０１ａ、撮像装置４９０１ｂおよび撮像装置４９０１ｃから送られてきた圧縮画像を取得する。画像記録読出し部４９０５は送受信部４９０４で取得した圧縮画像に撮像装置の情報、撮像時刻を関連付けて記憶部２２０１に保存する。

５２０２は再生装置であって、図４７の記録再生装置４９２０に記載の一部の構成と、送受信部５２０４を有する。

再生装置５２０２の制御部３１０１は、例えば、図示はしていないが操作者の指示に従い、送受信部５２０４及び通信路４９０３を介して、記録装置５２０１に記録されている画像情報を取得する。取得した画像情報から操作者が選択した画像を制御部３１０１は送受信部５２０４及び通信路４９０３を通じて記録装置５２０１に要求する。記録装置５２０１の画像記録読出し部４９０５は記憶部２２０１に記録されている画像から要求された画像を取り出し、送受信部４９０４および通信路４９０３を介して再生装置５２０２に送る。再生装置５２０２では送受信部５２０４で受け取った画像を制御部３１０１の指示に基づき、復号処理部３０１０で復号処理をし、現像処理部３０１１で現像処理した後、画像出力部３０１３に出力する。

以上説明した複数の監視カメラを接続する撮像システムにおいても、記録装置の設置位置を限定することがないため、大きな記録容量の記憶装置とすることができ、長い時間の記録が可能になる。なお、本実施例では、撮像装置を３台接続した例としているが、接続数に制限はない。

本実施例は、撮像部、記録部、再生部を一体とした撮像再生装置について説明する。
図４９は、本実施例における撮像再生装置の構成図である。図４９において、撮像再生装置５６００は、例えば、通信Ｉ／Ｆ５６１３、制御部５６１４、表示部５６１７、入力手段５６１５、ストレージ５６２５、移動体通信Ｉ／Ｆ５６３１、メモリ５６３２、加速度センサ部５６３３、地磁気センサ部５６３４、ＧＰＳ受信部５６３５、ジャイロセンサ部５６３６、撮像部５６４０、スイッチ入力部５６５０、音声入出力部５６６０、圧縮処理部５６７０、復号処理部５６７１から構成され、それぞれの処理部がバス５６０１を介して接続される。

また、撮像再生装置５６００は、アプリケーションプログラムをストレージ５６２５に格納しており、制御部５６１４がストレージ５６２５から上記プログラムをメモリ５６３２に展開し、制御部５６１４が上記プログラムを実行することで各種機能を実現することができる。以後の説明では説明を簡単にするため、制御部５６１４が各アプリケーションプログラムを実行して実現する各種機能を、各種プログラム機能部が主体となって実現することとして説明する。
なお、アプリケーションプログラムは、撮像再生装置５６００が出荷されるまでに予めストレージ５６２５に格納されていても良いし、ＣＤ（Compact Disk）、ＤＶＤ（Digital Versatile Disk）などの光学メディアや半導体メモリ等の媒体に格納されて図示しない媒体接続部を介して撮像再生装置５６００にインストールされても良い。また、通信Ｉ／Ｆ５６１３及び図示しない無線ルーターを介して図示しない外部ネットワークからダウンロードしてインストールしてもよい。若しくは移動体通信Ｉ／Ｆ５６３１を介して図示しない基地局を介して配信元からダウンロードしてインストールしてもよい。

さらに、ネットワークを介してアプリケーションプログラムを取得したパーソナルコンピュータ（ＰＣ）に図示しない外部機器接続Ｉ／Ｆを介して接続し、ＰＣから撮像再生装置５６００にムーブまたはコピーしてインストールすることも可能である。

また、アプリケーションプログラムは、同様の機能を持つ処理部として、ハードウェア
で実現することも可能である。ハードウェアとして実現する場合は、各処理部が主体となり、各機能を実現する。

通信Ｉ／Ｆ５６１３は、例えば、無線ＬＡＮなどにより、図示しない無線ルーターに接続される。また、通信Ｉ／Ｆ５６１３は、無線ルーターを介して外部ネットワークと接続され、外部ネットワーク上のサーバー等と情報の送受信を行う。無線ルーターとの通信機能に加えて、またはこれに替えて、Ｗｉ‐Ｆｉなどの無線ＬＡＮなどの方法で、無線ルーターを介さずにサーバーと直接通信することが可能である。通信Ｉ／Ｆ５６１３は、異なる通信方式を行うチップをそれぞれ実装しても良い。また、複数の通信方式を扱う１つのチップとして実装されていても良い。例えば、Bluetooth（登録商標）等の他の情報機器と直接通信する機能により、データの送受信を直接行う。移動体通信Ｉ／Ｆ５６３１は、ＧＳＭ方式、Ｗ−ＣＤＭＡ方式やＣＤＭＡ２０００方式、ＵＭＴＳ方式などの３Ｇ、またはＬＴＥ方式や５Gと呼ばれる新しい次世代通信システムなどの移動体通信網を利用して基地局を通して通信ネットワークに接続され、通信ネットワーク上のサーバーと情報の送受信を行うことができる。また、通信Ｉ／Ｆ５６１３による外部ネットワークとの接続を移動体通信Ｉ／Ｆ５６３１による通信ネットワーク接続より優先するようにすることもできる。

制御部５６１４は、ユーザーの操作要求を入力手段５６１５を経由して受け取り、表示部５６１７、通信Ｉ／Ｆ５６１３、各種プログラム機能部を制御する。

さらに、制御部５６１４は、通信Ｉ／Ｆ５６１３及び無線ルーター１０を経由して外部ネットワーク、または、移動体通信Ｉ／Ｆ５６３１及び基地局１８を経由して外部ネットワーク上のサーバーから各種情報を取得でき、各種プログラム機能部に渡す機能も有する。

ストレージ５６２５は、制御部５６１４の指示により制御され、アプリケーションプログラムを保存することができる。また、アプリケーションプログラムで作成した各種情報を保存する。また、通信Ｉ／Ｆ５６１３、または移動体通信Ｉ／Ｆ５６３１から受信した信号から映像音声ストリーム等のコンテンツを保存してもよい。また、ストレージ５６２５は撮像再生装置５６００に内蔵されたものでもよいし、撮像再生装置５６００に着脱可能な可搬型のメモリでもよい。

メモリ５６３２は、制御部５６１４の指示により制御される。制御部５６１４によってメモリ５６３２に、ストレージ５６２５に格納しているアプリケーションプログラムの機能部が展開される。ストレージ５６２５には、図示はしていないが、例えば、図３３の圧縮前処理部３８０１や現像処理部３０１１の処理機能が格納されており、必要に応じて、制御部によりメモリ５６３２に展開される。

表示部５６１７は、ストレージ５６２５に格納された画像や映像、放送・配信された映像、各種操作をするためのＵＩ等を表示する。表示する画像、映像は、アプリケーションプログラムで生成された画像でもよく、通信Ｉ／Ｆ５６１３を介して外部ネットワーク上のサーバーから受信した画像、映像でもよく、移動体通信Ｉ／Ｆ５６３１を介して通信ネットワーク上のサーバーから配信された画像、映像でもよい。また、表示部５６１７は、例えば下記のタッチパネル等と一体として構成されてもよい。

入力手段５６１５は、ユーザーからの撮像再生装置５６００に対する操作を受け付け、入力操作に関する制御情報を入力する入力手段であり、例えば、タッチパネルなどを用いることができる。以下、本実施例では、タッチパネルを使用した例について説明するが各種操作は物理的なボタンを用いる構成でもよい。

タッチパネルを使用することにより、タッチパネル上の任意のオブジェクト（アイコン）等を指でタッチした状態で移動する操作（ドラッグ操作）または画面上で指をはじくようにして動かす操作（フリック操作）を行うことによりオブジェクト等を自由に移動したりすることができる。また、オブジェクト等を指で１回叩く操作（タップ操作）または２回叩く操作（ダブルタップ操作）を行うと、オブジェクト（アイコン）等を活性化したり別の画面に切り替えたりすることができる。本実施例では、上述のタッチパネルの各操作をドラッグ操作、フリック操作、タップ操作と称して説明する。

加速度センサ部５６３３は、撮像再生装置５６００にかかる加速度を測定する。制御部５６１４は、例えば加速度センサ部５６３３により重力加速度を測定することによって、撮像再生装置５６００のどの部分が上方であるのかを知ることができ、表示部５６１７に表示させる画面の上方を加速度センサ部５６３３が測定した上方と合わせるように表示させることによって、ユーザーによる撮像再生装置５６００の持ち方に合わせた画面を表示させることができる。

地磁気センサ部５６３４は、複数の磁気センサを利用するなどして地磁気を測定する。

ＧＰＳ受信部５６３５は、ＧＰＳ（Global Positioning System)を利用して複数の衛星から送信される信号を受信する。制御部５６１４は、ＧＰＳ受信部５６３５が受信した信号を基に、撮像再生装置５６００の位置情報を計算することができる。

ジャイロセンサ部５６３６は、撮像再生装置５６００をユーザーが動かした場合などに発生する撮像再生装置５６００の角速度を測定する。

撮像部５６４０は、例えば、画像センサ部１０３と、透明な格子基板１０２ａと、変調器２５０１あるいは変調器２９０１などで構成される。画像センサ部１０３のシャッタタイミングや変調器２５０１のパターン切り替えタイミング等は制御部５６１４が制御する。

音声入出力部５６６０には、撮像再生装置５６００に装備されたマイクからの音声入力信号、及びスピーカ５６６２への音声出力信号を入出力するもので、制御部５６１４にてその音声入出力のボリュームの制御が行われる。

スイッチ入力部５６５０は物理的なボタン５６５１（1個でも複数でもよい）の操作に応じてスイッチ情報を取込み、バス５６０１を通じて制御部５６１４に取り込まれ、必要に応じて各種アプリケーションプログラムの制御に使用される。たとえば一例として、ボタン５６５１の２個のボタンに応じて音声出力の大きさ調整（ボリュームのアップダウン）の制御に使用される。

本撮像再生装置５６００においては、撮像部５６４０で撮影した映像を現像処理することなく、圧縮処理部５６７０で圧縮してストレージに保存する。ユーザーが現像画像を見たい時に入力手段５６１５から操作し、圧縮された映像を復号処理部５６７１で復号処理し、現像処理した後に表示部５６１７に表示する。

本実施例では、例えば、移動情報端末等の撮影、再生、保存が一体化している機器で記憶容量が大きく無い機器においても、撮影した画像を圧縮して保存するので、あとからフォーカス等を変更可能な、多くのが画像の保存が可能になる。

図５０は図４９の撮像再生装置５６００と図４８の記録装置５２０１を通信路４９０３で接続した撮像再生システムである。撮像再生装置５６００は外部の記録装置５２０１に接続することにより、大容量の記録が可能になる。ここで、撮像再生装置の５６００の圧縮処理部５６７０で後にフォーカス設定等が可能な画像の容量を下げることができ、伝送量低減が可能になる。

本実施例は、頭部装着型の映像表装置と演算処理装置で構成する映像表示システムについて説明する。

図５１は、本実施例における頭部装着型の映像表装置と演算処理装置で構成する映像表示システムの概略図である。図５１において、５５０１は映像表示装置であり、５５１０は演算処理装置である。映像表示装置５５０１は、表示部５５０２と、撮像部５５０３と、光源部５５０４、全体制御部（図示しない）とを含む。なお、頭部装着型の映像表示装置は、頭部に装着できる形状であれば眼鏡型で無くても良く、映像表示部は片眼でも良い。

撮像部５５０３は、例えば、図１９の画像センサ部１０３と変調器２５０１を含む構成、あるいは、図２３の画像センサ部１０３と変調器９５０１を含む構成等の、画像センサ部と変調器を含む。

表示部５５０２は、表示部５５０２の一部あるいは全部に、例えば、映像表示装置５５０１を装着したユーザーが見える位置に映像を表示する。あるいは、表示部５５０２で光を反射させて、ユーザーの目に像を結ばせる。

演算処理装置５５１０は、例えば、図５５示した撮像再生装置５６００や、撮像再生装置５６００の撮像部５６４０が画像センサ部とレンズ部で構成される携帯情報端末である。

映像表示装置５５０１と演算処理装置５５１０の機能構成を図５２に示す。図５１と同じものには同じ番号を付している。

映像表示装置５５０１は、バス５９０４と、バス５９０４で接続される撮像部５５０３、圧縮前処理部５９０１、圧縮処理部５９０２、制御部５９０３、表示部５５０２、復号処理部５９０５、送受信部５９０６、記憶部５９０７を含む。

演算処理装置５５１０は、バス５９１９と、バス５９１９で接続される送受信部５９１１、圧縮処理部５９１２、復号処理部５９１３、制御部５９１４、現像処理部５９１５、映像解析処理部５９１６、映像生成部５９１７および記憶部５９１８とを含む。

圧縮前処理部５９０１は、例えば、図２６の圧縮前処理部３００１、あるいは図３３の圧縮前処理部３８０１、図４０の圧縮前処理部４６０２等である。

圧縮処理部５９０２および圧縮処理部５９１２は、例えば、図２６の圧縮処理部３００５、あるいは図３３の圧縮処理部３８０５、図４０の圧縮処理部４６０６等である。

復号処理部５９０５および復号処理部５９１３は、例えば、図２６の復号処理部３０１０等である。

送受信部５９０６および送受信部５９１１は、例えば、図４６の送受信部４９０２および送受信部４９０４等あるいは、送受信部５９０６と送受信部５９１１とを直接接続してデータを送受信する。

制御部５９０３は、例えば、撮像部５５０３、圧縮前処理部５９０１、圧縮処理部５９０２、表示部５５０２、復号処理部５９０５、送受信部５９０６を統括的に制御する。

現像処理部５９１５は、例えば、図２６の現像処理部３０１１や図４４の現像処理部５０１１である。

制御部５９１４は、例えば、送受信部５９１１、圧縮処理部５９１２、復号処理部５９１３、現像処理部５９１５、映像解析処理部５９１６、映像生成部５９１７を統括的に制御する。

映像表示装置５５０１は撮像部５５０３で撮影した映像を、圧縮前処理部５９０１で処理した後、圧縮処理部５９０２で圧縮し、送受信部５９０６で演算処理装置５５１０に送信する。また、送受信部５９０６は、演算処理装置５５１０から受信した映像を、必要に応じて復号処理部５９０５で復号処理し、表示部５５０２に表示する。

演算処理装置５５１０は、映像表示装置５５０１から送受信部５９１１で受信し、受信した映像を復号処理部５９１３で復号処理し、現像処理部５９１５で被写体が分かる映像にする。映像解析処理部５９１６は現像処理部５９１５で現像した映像を解析する。解析する映像は、例えば、手の動き等で映像表示装置５５０１や演算処理装置５５１０を制御する場合は、手の動きを解析し、手の動きに割り当てられた処理を行う。手の動きが演算処理装置５５１０の指示である場合は、例えば、操作用のメニュー表示等の表示に関わるものである場合は、演算処理装置５５１０は映像生成部５９１７で映像を生成し送受信部５９１１から映像表示装置５５０１に送信する。

以上説明した映像表示装置５５０１では、レンズを使わない撮像部で小型軽量化が可能であるとともに、映像表示装置の処理を軽くし、かつ、圧縮処理により伝送量も少なくすることができ、頭部装着型に適した映像表示装置および映像表示システムが実現できる。

以上実施例について説明したが、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであって、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の一部について、他の構成の追加・削除・置換をすることが可能である。

１０２：変調器、１０３：画像センサ部、１０４：表面側格子パターン、１０５：裏面側格子パターン、１０６：画像処理部、１０７：画像表示部、２２０１、３０１２：記憶部、２２０３：フォーカス設定部、２９０２、４６０１：画像分割部、３００２：センサ信号処理部、３００３：差分処理部、３００４：データ変換処理部、３００７：出力処理部、３００８：記憶装置、３００９：入力処理部、３０１０：復号処理部、３０１１、５０１１：現像処理部、３０１３：画像出力部、３１００、４６１０、５１００、５２０２：再生装置、３１０１、３８０２：制御部、３８００、４６００、４９０１：撮像装置、３８０１：圧縮前処理部、３８０５：圧縮処理部、３８０６：演算パラメータ生成部、４９０２、４９０４：送受信部、４９０３：ネットワーク、４９０５画像記録読出し部、４９２０：記録再生装置、５２０１：記録装置、５５０１：映像表示装置、５５１０：演算処理装置、５６００：撮像再生装置

画像センサ部１０３は、画像信号の出力として第１の領域３９０１の１ライン目、第２の領域３９０２の１ライン目、第１の領域３９０１の２ライン目、第２の領域３９０２の２ライン目と順次出力し、第３の領域３９０３の最終ライン、第４の領域３９０４の最終ラインで１フレームの出力が終了する。

図４６は、本実施例における、フリンジスキャン方式を適用し、撮像した動画像データを圧縮し、伝送する撮像システムの構成図である。図４６において、図２６と同じものには同じ番号を付し、説明は省略する。この撮像システムは、撮像装置４９０１と、再生装置４９１０とを含む。撮像装置４９０１と再生装置４９１０とが通信路（ネットワーク）４９０３により接続される。

１０２：変調器、１０３：画像センサ部、１０４：表面側格子パターン、１０５：裏面側格子パターン、１０６：画像処理部、１０７：画像表示部、２２０１、３０１２：記憶部、２２０３：フォーカス設定部、２９０２、４６０１：画像分割部、３００２：センサ信号処理部、３００３：差分処理部、３００４：データ変換処理部、３００７：出力処理部、３００８：記憶装置、３００９：入力処理部、３０１０：復号処理部、３０１１、５０１１：現像処理部、３０１３：画像出力部、３１００、４６１０、５１００、５２０２：再生装置、３１０１、３８０２：制御部、３８００、４６００、４９０１：撮像装置、３８０１：圧縮前処理部、３８０５：圧縮処理部、３８０６：演算パラメータ生成部、４９０２、４９０４：送受信部、４９０３：通信路（ネットワーク）、４９０５画像記録読出し部、４９２０：記録再生装置、５２０１：記録装置、５５０１：映像表示装置、５５１０：演算処理装置、５６００：撮像再生装置

Claims (12)

1. 画像を連続して撮像する撮像装置であって、
   撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する画像センサと、
   前記画像センサの受光面に設けられ、光の強度を変調する変調器と、
   前記画像センサから出力される画像信号を受信する信号処理部と、
   前記信号処理部により受信された画像信号の差分を算出し、当該差分に基づく第１の差分データを生成する差分処理部と、
   前記差分処理部による画像信号の差分の範囲および前記第１の差分データに基づいてデータ変換用パラメータを設定するパラメータ設定部と、
   前記差分処理部による前記第１の差分データと前記パラメータ設定部による前記データ変換用パラメータとを用いて第１の圧縮用画像データを生成するデータ変換部と、
   前記データ変換部により生成された第１の圧縮用画像データを圧縮する圧縮部と、
   を備え、
   前記変調器は、複数の線で構成される第１の格子パターンと、前記第１の格子パターンと位相がずれた第２の格子パターンとを有し、
   前記信号処理部は、前記第１の格子パターンにより出力される第１の画像信号と、前記第２の格子パターンにより出力される第２の画像信号とを受信し、
   前記差分処理部は、前記第１の画像信号と前記第２の画像信号との差分を算出し、
   前記パラメータ設定部は、連続して入力する前記第１の差分データから一定間隔おきにデータ変換用パラメータを生成および設定し、
   前記圧縮部は前記圧縮したデータに前記差分の範囲を示す情報を含める、
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記圧縮部は一定期間毎に連続する入力画像をグループ画像として前記入力画像間の相関関係を用いて圧縮し、
   前記パラメータ設定部がデータ変換用パラメータを設定する間隔は前記圧縮部がグループ画像を生成する期間に等しいことを特徴とする撮像装置。
3. 請求項２に記載の撮像装置であって、
   前記圧縮部は前記グループ画像の中で他の画像に関係なく圧縮するキー画像を生成し、
   前記パラメータ設定部は前記圧縮部がキー画像に対応する前記差分処理部による画像信号の差分の範囲および前記第１の差分データを用いてデータ変換用パラメータを生成することを特徴とする撮像装置。
4. 請求項２に記載の撮像装置であって、
   前記パラメータ設定部は、前記圧縮部のグループ画像に対応する前記差分処理部による画像信号の差分の範囲および前記第１の差分データを用いてデータ変換用パラメータを生成することを特徴とする撮像装置。
5. 請求項１から４の何れか１項に記載の撮像装置であって、
   前記第２の格子パターンは、前記第１の格子パターンから位相がπずれた格子パターンであり、
   前記変調器は、前記第１の格子パターンから位相がπ／２ずれた第３の格子パターンと、前記第１の格子パターンから位相が３π／２ずれた第４の格子パターンをさらに有し、
   前記信号処理部は、前記第３の格子パターンにより出力される第３の画像信号と、前記第４の格子パターンにより出力される第４の画像信号とを受信し、
   前記差分処理部は、前記第３の画像信号と前記第４の画像信号との差分を算出し、当該差分に基づく第２の差分データを生成し、
   前記データ変換部は、前記第３の画像信号と前記第４の画像信号との差分の範囲および前記第２の差分データに基づいた第２の圧縮用画像データを生成し、
   前記圧縮部は、前記第２の圧縮用画像データに、前記第３の画像信号と前記第４の画像信号との差分の範囲を示す情報を含めて、当該第２の圧縮用画像データを圧縮することを特徴とする撮像装置。
6. 請求項１から５の何れか１項に記載の撮像装置であって、
   前記変調器の前記第１の格子パターンおよび前記第２の格子パターンは、同一面上に形成され、
   前記画像信号を前記第１の格子パターンで変調された領域の第１の画像信号と、前記第２の格子パターンで変調された領域の第２の画像信号とに分割する分割処理部をさらに備え、
   前記信号処理部は、前記分割処理部により分割された結果に基づいて、前記第１の画像信号と前記第２の画像信号とを受信することを特徴とする撮像装置。
7. 請求項５に記載の撮像装置であって、
   前記変調器の前記第１の格子パターン、前記第２の格子パターン、前記第３の格子パターン、および前記第４の格子パターンは、同一面上に形成され、
   前記画像信号を前記第１の格子パターンで変調された領域の第１の画像信号と、前記第２の格子パターンで変調された領域の第２の画像信号と、前記第３の格子パターンで変調された領域の第３の画像信号と、前記第４の格子パターンで変調された領域の第４の画像信号と、に分割する分割処理部をさらに備え、
   前記信号処理部は、前記分割処理部により分割された結果に基づいて、前記第１の画像信号と前記第２の画像信号と前記第３の画像信号と前記第４の画像信号とを受信することを特徴とする撮像装置。
8. 請求項１から７の何れか一項に記載の撮像装置であって、
   前記撮像装置は、ネットワークと接続し、
   前記ネットワークを介して前記圧縮部により圧縮されたデータを送信出力することを特徴とする撮像装置。
9. 請求項１から８の何れか一項に記載の撮像装置であって、
   前記変調器の格子パターンは、複数の同心円から構成され、該複数の同心円は、同心円の中心となる基準座標に対して同心円のピッチが反比例して細かくなることを特徴とする撮像装置。
10. 請求項１から８の何れか一項に記載の撮像装置であって、
    前記変調器の格子パターンは、複数の直線で構成され、該複数の直線は、基準座標に対して直線間距離が反比例して狭くなることを特徴とする撮像装置。
11. 画像を撮像した結果を圧縮する撮像装置と、当該圧縮された結果を復元する復元装置とを含む撮像システムであって、
    前記撮像装置は、
    撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する画像センサと、
    前記画像センサの受光面に設けられ、光の強度を変調する変調器と、
    前記画像センサから出力される画像信号を受信する信号処理部と、
    前記信号処理部により受信された画像信号の差分を算出し、当該差分に基づく第１の差分データを生成する差分処理部と、
    前記差分処理部による画像信号の差分の範囲および前記第１の差分データに基づいてデータ変換用パラメータを設定するパラメータ設定部と、
    前記差分処理部による前記第１の差分データと前記パラメータ設定部による前記データ変換用パラメータとを用いて第１の圧縮用画像データを生成するデータ変換部と、
    前記データ変換部により生成された第１の圧縮用画像データを圧縮する圧縮部と、
    前記圧縮部により圧縮したデータを出力する出力部を備え、
    前記復元装置は、
    前記出力部により出力されたデータを入力する入力部と、
    前記入力部により入力されたデータを復号して圧縮復元画像を生成する復号処理部と、
    前記圧縮復元画像と、当該差分の範囲から復元差分画像を生成する画像復元処理部と、
    前記復元差分画像を変調してモアレ縞画像を生成する変調処理部と、
    前記モアレ縞画像をフーリエ変換して周波数スペクトルを算出する信号処理部と、
    を備え、
    前記変調器は、複数の線で構成される第１の格子パターンと、前記第１の格子パターンと位相がずれた第２の格子パターンとを有し、
    前記信号処理部は、前記第１の格子パターンにより出力される第１の画像信号と、前記第２の格子パターンにより出力される第２の画像信号とを受信し、
    前記差分処理部は、前記第１の画像信号と、前記第２の画像信号との差分を算出し、
    前記圧縮部は、前記第１の圧縮用画像データに前記差分の範囲を示す情報を含める、
    ことを特徴とする撮像システム。
12. 画像を連続して撮像する撮像装置の撮像方法であって、
    該撮像装置は、撮像面にアレイ状に配置された複数の受光素子に取り込まれた光学像を画像信号に変換して出力する画像センサと、
    前記画像センサの受光面に設けられ、複数の線で構成される第１の格子パターンと、前記第１の格子パターンと位相がずれた第２の格子パターンとを有し、光の強度を変調する変調器を有しており、
    前記第１の格子パターンにより出力される第１の画像信号と、前記第２の格子パターンにより出力される第２の画像信号とを受信し、
    前記第１の画像信号と前記第２の画像信号との差分データと差分の範囲を算出し、
    該差分の範囲および差分データに基づいて連続して入力する該差分データから一定間隔おきにデータ変換用パラメータを生成および設定し、
    前記差分データと前記データ変換用パラメータとを用いて圧縮用画像データを生成し、
    該生成された圧縮用画像データを圧縮し、該圧縮したデータに前記差分の範囲を示す情報を含める、
    ことを特徴とする撮像方法。

Images