JP6807281B2 - 撮像装置、撮像システム、及び撮像方法 - Google Patents

Description

本発明は、撮像装置、撮像システム、及び撮像方法に関する。

スマートフォンなどの端末に搭載するカメラや、３６０°センシングが必要となりつつある車載カメラは、薄型化が必要とされている。これに関して、特許文献１は、レンズを用いることなく同心円状の格子パターンを画像センサの直前に配置し、被写体からの光による格子パターンの射影像にもう一つの格子像を重ねることでモアレ縞を得て、このモアレ像から画像処理により被写体の撮影画像を得る、という撮像装置について開示している。

また、特許文献１は、撮像面にアレイ状に配列された複数の画素に取り込まれた光学像を画像信号に変換して出力する画像センサと、画像センサの受光面に設けられ、光の強度を変調する変調器と、画像センサから出力される画像信号の画像処理を行う画像処理部とを備える撮像装置について開示している。また、特許文献１の実施の形態４には、変調器が第１の格子パターンを有し、画像処理部が画像センサの出力画像に対してモアレを生成するための第２の格子パターンに相当する強度変調回路を備えることが記載されている。

国際公開第２０１６／２０３５７３号

しかしながら、上記の特許文献１は、撮像画像を撮像装置内で現像することを前提とした技術であり、撮像装置外の他の装置が撮像画像を現像することができない。

本発明の目的は、格子パターンを用いて撮像する撮像装置外の他の装置でも撮像画像を現像することを可能にする技術を提供することにある。

本願は、上記課題の少なくとも一部を解決する手段を複数含んでいるが、その例を挙げるならば、以下のとおりである。

本発明の一態様は、撮像装置は、受光面に配置された複数の画素で受光された光学像を画像データとして出力する画像センサと、前記画像センサの前記受光面に設けられ、第１の格子パターンを有し、前記第１の格子パターンによってそこを透過する光の強度を変調する変調器と、前記画像センサから出力される前記画像データに対してメタデータを設定するメタデータ設定部と、を備え、前記メタデータ設定部は、前記画像データと第２の格子パターンを用いて画像を現像する現像処理において前記第２の格子パターンの生成に使用される前記第１の格子パターンに関する情報を前記メタデータとして設定する。

本発明によれば、格子パターンを用いて撮像する撮像装置外の他の装置でも撮像画像を現像することができる。

上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

第１実施形態に係る撮像システムの構成の一例を示す図である。 第１実施形態に係る変調器の構成の一例を示す図である。 第１実施形態に係る変調器の構成の他の例を示す図である。 格子パターンの一例を示す図である。 格子パターンの他の例を示す図である。 斜め入射平行光による格子基板表面から画像センサへの射影像が面内ずれを生じることを説明する図である。 撮影用格子パターンと現像用格子パターンの軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する図である。 撮影用格子パターンと現像用格子パターンの軸をずらして形成した格子基板の一例を示す図である。 撮影用格子パターンと現像用格子パターンの軸をずらした場合のモアレ縞の生成と周波数スペクトルを説明する図である。 透過率を変更した場合の格子パターンの例を示す図である。 第１実施形態に係る画像データの構成の一例を示す図である。 第１実施形態に係る画像データ送信処理の一例を示すフローチャートである。 第１実施形態に係る現像処理の一例を示すフローチャートである。 物体が有限距離にある場合に撮影用格子パターンが拡大されることを説明する図である。 物体が有限距離にある場合に生成されるモアレ縞の一例を示す図である。 物体が有限距離にある場合に現像用格子パターンを補正したモアレ縞の一例を示す図である。 第２実施形態に係る撮像システムの構成の一例を示す図である。 第２実施形態に係るフォーカス位置を調整した現像処理の一例を示すフローチャートである。 第２実施形態に係る画像データの構成の一例を示す図である。 第３実施形態に係る撮像システムの構成の一例を示す図である。 第３実施形態に係る距離計測処理の一例を示すフローチャートである。 第３実施形態に係る画像データの構成の一例を示す図である。 第４実施形態に係る時分割フリンジスキャンを用いる場合の撮像システムの構成の一例を示す図である。 時分割フリンジスキャンに係る格子パターンの例を示す図である。 第４実施形態に係る時分割フリンジスキャンを用いた現像処理の一例を示すフローチャートである。 第４実施形態に係る時分割フリンジスキャンを用いる場合の画像データの構成の一例を示す図である。 第４実施形態に係る空間分割フリンジスキャンを用いる場合の撮像システムの構成の一例を示す図である。 空間分割フリンジスキャンに係る格子パターンの例を示す図である。 第４実施形態に係る空間分割フリンジスキャンを用いた現像処理の一例を示すフローチャートである。 第４実施形態に係る空間分割フリンジスキャンを用いる場合の画像データの構成の一例を示す図である。 第５実施形態に係る撮像システムの構成の一例を示す図である。 第５実施形態に係るキャリブレーション情報による補正処理を組み込んだ現像処理の一例を示すフローチャートである。 第５実施形態に係る画像データの構成の一例を示す図である。 第６実施形態に係る撮像システムの構成の一例を示す図である。 第６実施形態に係るキャリブレーション情報による補正処理を組み込んだ現像処理の一例を示すフローチャートである。 第６実施形態に係る画像データの構成の一例を示す図である。 第７実施形態に係る撮像システムの構成の一例を示す図である。 第７実施形態に係るフォーカス位置を調整した現像処理の一例を示すフローチャートである。 第７実施形態に係る距離計測処理の一例を示すフローチャートである。 第７実施形態に係る画像データの構成の一例を示す図である。 第８実施形態に係る画像データの構成の一例を示す図である。 第９実施形態に係る撮像システムの構成の一例を示す図である。 第９実施形態に係るメタデータ情報管理テーブルの構成の一例を示す図である。 第９実施形態に係る格子パターン情報管理テーブルの構成の一例を示す図である。 第９実施形態に係るキャリブレーション情報管理テーブルの構成の一例を示す図である。 第９実施形態に係るフリンジスキャン情報管理テーブルの構成の一例を示す図である。 第９実施形態に係る画像データの構成の一例を示す図である。 第１０実施形態に係る撮像システムの構成の一例を示す図である。 第１１実施形態に係る現像処理の一例を示すフローチャートである。 第１２実施形態に係る撮像システムの構成の一例を示す図である。

以下の実施形態においては便宜上その必要があるときは、複数のセクションまたは実施の形態に分割して説明するが、特に明示した場合を除き、それらはお互いに無関係なものではなく、一方は他方の一部または全部の変形例、詳細、補足説明等の関係にある。

また、以下の実施形態において、要素の数等（個数、数値、量、範囲等を含む）に言及する場合、特に明示した場合および原理的に明らかに特定の数に限定される場合等を除き、その特定の数に限定されるものではなく、特定の数以上でも以下でもよい。

さらに、以下の実施形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。

同様に、以下の実施形態において、構成要素等の形状、位置関係等に言及するときは特に明示した場合および原理的に明らかにそうではないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。このことは、上記数値および範囲についても同様である。

また、実施形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。以下、本発明の各実施形態について図面を用いて説明する。

［第１実施形態］
図１は、第１実施形態に係る撮像システムの構成の一例を示す図である。撮像システムは、撮像装置１０１と、現像装置１０７とを備える。撮像装置１０１と現像装置１０７は、互いに通信可能に接続されている。

撮像装置１０１は、通常のカメラが備えるような結像させるための撮像レンズを用いることなく、外界の物体の画像を取得するものであり、変調器１０２、画像センサ１０３、メタデータ設定部１０５、及びデータ送信部１０６から構成されている。

現像装置１０７は、データ受信部１０８、メタデータ抽出部１０９、及び画像処理部１１０から構成されている。また、現像装置１０７は、画像表示部１１１と接続されている。画像表示部１１１は、現像装置１０７に含まれるように構成することもできる。

図２は、第１実施形態に係る変調器１０２の構成の一例を示す図である。変調器１０２は、画像センサ１０３の受光面に密着して固定されており、格子基板１０２ａと、格子基板１０２ａに形成された撮影用格子パターン１０４（本発明の「第１の格子パターン」に相当する）とから構成される。可視光での撮影に用いる場合は、格子基板１０２ａは、例えばガラスやプラスティックなどの可視光に対して透明な材料からなる。撮影用格子パターン１０４は、外側に向かうほど中心からの半径に反比例して格子パターンの間隔、すなわちピッチが狭くなる同心円状の格子パターンからなる。撮影用格子パターン１０４は、例えば半導体プロセスに用いられるスパッタリング法などによってアルミニウム、クロムなどの金属を蒸着することによって形成される。アルミニウムが蒸着されたパターンと蒸着されていないパターンによって濃淡がつけられる。

なお、撮影用格子パターン１０４の形成は、蒸着に限定されるものでなく、例えばインクジェットプリンタなどによる印刷などによって濃淡をつけるなど、透過率の変調を実現できる手段であればどのように形成してもよい。例えば、格子基板１０２ａに液晶素子を用いれば、撮影用格子パターン１０４を可変にすることができる。さらに、ここでは可視光を例に説明したが、例えば遠赤外線での撮影の場合は、格子基板１０２ａには、例えばゲルマニウム、シリコン、カルコゲナイドなどの遠赤外線に対して透明な材料からなる。すなわち、格子基板１０２ａには、撮影対象となる波長に対して透明な材料を用いることができ、撮影用格子パターン１０４には、撮影対象となる波長を遮断する材料を用いることができる。

また、ここでは変調器１０２を実現するために、撮影用格子パターン１０４を格子基板１０２ａに形成する方法について述べたが、これに限定されない。

図３は、第１実施形態に係る変調器の構成の他の例を示す図である。撮影用格子パターン１０４を薄膜に形成し、これを格子基板１０２ａの替わりに設けた支持部材１０２ｂにより保持する構成によっても、変調器１０２を実現することができる。

図２又は図３に示すように、画像センサ１０３は、例えばＣＣＤ（Charge Coupled Device）イメージセンサまたはＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる。画像センサ１０３の撮像面（受光面）には、受光素子である画素１０３ａがアレイ状に配置されている。撮影用格子パターン１０４を透過する光は、その格子パターンによって光の強度が変調され、画像センサ１０３にて受光される。画像センサ１０３は、画素１０３ａが受光した光学像を電気信号である画像信号に変換する。なお、画像信号（アナログの画像データ）は、例えばアナログ・デジタル変換回路を介してデジタル信号に変換され、デジタルの画像データとして出力される。本明細書では、画像センサ１０３が画像データを出力するものとして説明する。

図１の説明に戻る。メタデータ設定部１０５は、画像センサ１０３から出力される画像データに対して、現像処理で必要となる情報をメタデータとして設定する。現像処理で必要となる情報とは、変調器１０２の撮影用格子パターン１０４に関する情報や画像センサ１０３に関する情報であり、詳細は後述する。

データ送信部１０６は、画像センサ１０３から出力された画像データと、メタデータ設定部１０５によって当該画像データに設定されたメタデータとを、外部の現像装置１０７に送信する。なお、以下では、データ送信部１０６から送信される、メタデータが付加された画像データを、送信画像データと呼ぶことがある。

データ受信部１０８は、撮像装置１０１のデータ送信部１０６から送信画像データを受信する。

メタデータ抽出部１０９は、データ受信部１０８が受信した送信画像データからメタデータを抽出し、抽出したメタデータから現像用格子パターン（本発明の「第２の格子パターン」に相当する）を生成するためのパラメータを取得する。

画像処理部１１０は、メタデータ抽出部１０９により取得されたパラメータを用いて現像用格子パターンを生成し、送信画像データに含まれる画像データと、生成した現像用格子パターンとを用いて画像の現像処理を行う。

なお、撮像装置１０１のメタデータ設定部１０５及びデータ送信部１０６は、例えば、プロセッサ、メモリ、通信装置、処理回路等を備えるコントローラによって実現することができる。コントローラは、入力装置や出力装置が接続される入出力インターフェイスを備えてもよい。現像装置１０７は、例えば、サーバ、ＰＣ（Personal Computer）、スマートフォン、タブレットなどのコンピュータによって実現することができる。このコンピュータは、例えば、プロセッサ、メモリ、ＨＤＤ（Hard Disk Drive）等の外部記録装置、通信装置、入力装置や出力装置が接続される入出力インターフェイスなどを備える。現像装置１０７のデータ受信部１０８、メタデータ抽出部１０９、及び画像処理部１１０は、例えば、コンピュータの備えるプロセッサが所定のアプリケーションプログラムを実行することで実現することができる。撮像装置１０１と現像装置１０７は、例えば、有線もしくは無線でダイレクトに、又は、ＬＡＮ（Local Area Network）、専用回線、インターネット等のネットワークを介して、接続される。画像表示部１１１は、例えばディスプレイにより実現される。

続いて、撮像システムにおける撮像及び現像の原理の概要について説明する。

まず、中心からの半径に対して反比例してピッチが細かくなる同心円状の格子パターンは、以下のように定義する。レーザ干渉計などにおいて、平面波に近い球面波と参照光として用いる平面波とを干渉させる場合を想定する。同心円の中心である基準座標からの半径をｒとし、そこでの球面波の位相をφ（ｒ）とするとき、球面波は、波面の曲がりの大きさを決める係数βを用いて、

と表せる。

球面波にもかかわらず、半径ｒの２乗で表されているのは、平面波に近い球面波のため、展開の最低次のみで近似できるからである。この位相分布を持った光に平面波を干渉させると、

のような干渉縞の強度分布が得られる。これは、

を満たす半径位置で明るい線を持つ同心円の縞となる。縞のピッチをｐとすると、

が得られ、ピッチは、半径に対して反比例して狭くなっていくことがわかる。このような縞を持つプレートは、ガボールゾーンプレートやフレネルゾーンプレートと呼ばれる。

図４は、格子パターンの一例を示す図である。図４には、式（２）のガボールゾーンプレートが示されている。図５は、格子パターンの他の例を示す図である。図５には、式（２）を閾値１で２値化したフレネルゾーンプレートの例が示されている。

本実施形態では、ガボールゾーンプレートやフレネルゾーンプレートを、撮影用格子パターン１０４ならびに現像用格子パターンとして用いる。ただし、現像用格子パターンは、画像処理部１１０の信号処理内で仮想的に生成されて使用される。

図６は、斜め入射平行光による格子基板表面から画像センサへの射影像が面内ずれを生じることを説明する図である。撮影用格子パターン１０４が形成された厚さｄの変調器１０２に、図６に示すようにｘ軸方向に角度θ_０で平行光が入射したとする。変調器１０２中の屈折角をθとして、幾何光学的には、表面の格子の透過率が乗じられた光が、ｋ＝ｄ・ｔａｎθだけずれて画像センサ１０３に入射する。このとき、

のような強度分布を持つ投影像が画像センサ１０３上で検出される。このとき、画像センサ１０３上で検出された撮影用格子パターン１０４の投影像に対して、撮影用格子パターン１０４と同じ格子パターンであり同心円の中心を画像センサ１０３の中心とした現像用格子パターンを、信号処理内で仮想的に形成して、掛け合わせると、

のような強度分布を得られる。この展開式の第４項が、２つの格子のずれの方向にまっすぐな等間隔の縞模様を、２つの格子の重なり合った領域一面に作ることがわかる。このような縞と縞の重ね合わせによって相対的に低い空間周波数で生じる縞は、モアレ縞と呼ばれる。このようにまっすぐな等間隔の縞は、検出画像の２次元フーリエ変換によって得られる空間周波数分布に鋭いピークを生じる。その周波数の値からｋの値、すなわち光線の入射角θを求めることが可能となる。このような全面で一様に等間隔で得られるモアレ縞は、同心円状の格子配置の対称性から、ずれの方向によらず同じピッチで生じることは明らかである。このような縞が得られるのは、格子パターンをフレネルゾーンプレートまたはガボールゾーンプレートで形成したことによるものであり、これ以外の格子パターンで、全面で一様な縞を得るのは困難と考えられる。ただし、全面で一様に等間隔なモアレ縞が得ることが目的であり、格子パターンをフレネルゾーンプレートやガボールゾーンプレートに限定するものではない。

上述の展開式の第２項でも、フレネルゾーンプレートの強度がモアレ縞で変調された縞が生じることがわかるが、２つの縞の積の周波数スペクトルは、それぞれのフーリエスペクトルのコンボリューションとなるため、鋭いピークは得られない。式（６）から鋭いピークを持つ成分のみを、

のように取り出すと、そのフーリエスペクトルは、

のようになる。ここで、Ｆはフーリエ変換の演算を表し、ｕおよびｖは、ｘ方向およびｙ方向の空間周波数座標、括弧を伴うδはデルタ関数である。この結果から、検出画像の空間周波数スペクトルにおいて、モアレ縞の空間周波数のピークがｕ＝±ｋβ／πの位置に生じることがわかる。その様子を図７に示す。

図７は、撮影用格子パターンと現像用格子パターンの軸がそろった場合のモアレ縞の生成と周波数スペクトルを説明する図である。図７において、左から右にかけて、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図を、それぞれ示している。図７の（ａ）は、光線が垂直入射する場合、図７の（ｂ）は、左側から角度θで光線が入射する場合、図７の（ｃ）は、右側から角度θで光線が入射する場合を、それぞれ示している。

変調器１０２に形成された撮影用格子パターン１０４と信号処理上で仮想的に形成された現像用格子パターンとは、軸がそろっている。図７の（ａ）の場合、撮影用格子パターン１０４と現像用格子パターンとの影が一致するのでモアレ縞は生じない。

図７の（ｂ）および図７の（ｃ）の場合、撮影用格子パターン１０４と現像用格子パターンとのずれが等しいために同じモアレが生じ、空間周波数スペクトルのピーク位置も一致して、空間周波数スペクトルからは、光線の入射角が図７の（ｂ）の場合なのか図７の（ｃ）の場合なのかを判別することができなくなる。これを避ける方法の例を、図８に示す。

図８は、撮影用格子パターンと現像用格子パターンの軸をずらして形成した格子基板の一例を示す図である。図８に示すように、変調器１０２に垂直入射する光線に対しても２つの格子パターンの影がずれて重なるよう予め２つの格子パターンを光軸に対して相対的にずらしておくことが必要である。軸上の垂直入射平面波に対して２つの格子の影の相対的なずれをｋ_０とするとき、入射角θの平面波によって生じるずれｋは、

のように表せる。このとき、入射角θの光線のモアレ縞の空間周波数スペクトルのピークは、周波数のプラス側では

の位置となる。画像センサの大きさをＳ、画像センサのｘ方向およびｙ方向の画素数を共にＮとすると、高速フーリエ変換（ＦＦＴ：Fast Fourier Transform）による離散画像の空間周波数スペクトルは、−Ｎ／（２Ｓ）から＋Ｎ／（２Ｓ）の範囲で得られる。このことから、プラス側の入射角とマイナス側の入射角を均等に受光することを考えれば、垂直入射平面波（θ＝０）によるモアレ縞のスペクトルピーク位置は、原点（ＤＣ：直流成分）位置と、例えば＋側端の周波数位置との中央位置、すなわち、

の空間周波数位置とするのが妥当である。したがって、２つの格子の相対的な中心位置ずれは、

とするのが妥当である。

図９は、撮影用格子パターン１０４と現像用格子パターンの軸をずらした場合のモアレ縞の生成と周波数スペクトルを説明する図である。図７と同様にして、左から右にかけて、光線と変調器１０２の配置図、モアレ縞、および空間周波数スペクトルの模式図を、それぞれ示している。図９の（ａ）は、光線が垂直入射する場合、図９の（ｂ）は、左側から角度θで光線が入射する場合、図９の（ｃ）は、右側から角度θで光線が入射する場合を、それぞれ示している。

図９では、撮影用格子パターン１０４と現像用格子パターンが、予めｋ_０だけずらして掛け合わされるように、撮影用格子パターン１０４と画像センサ１０３がずらして配置されている。現像用格子パターンは信号処理内で形成されるので、撮影用格子パターン１０４と画像センサ１０３をずらさずに、現像用格子パターンの中心を画像センサ１０３の中心からｋ_０だけずらして形成してもよい。２つの格子パターンをずらすことで、図９の（ａ）でもモアレ縞が生じ、空間周波数スペクトルにピークが現れる。そのずらし量ｋ_０は、上記したとおり、ピーク位置が原点から片側のスペクトル範囲の中央に現れるように設定されている。このとき図９の（ｂ）では、ずれｋがさらに大きくなる方向、図９の（ｃ）では、ずれｋが小さくなる方向となっているため、図７と異なり、図９の（ｂ）と図９の（ｃ）との違いがスペクトルのピーク位置から判別できる。このピークのスペクトル像がすなわち無限遠の光束を示す輝点であり、図１の撮像装置１０１による撮影像にほかならない。

なお、式（２）で示したように、格子パターンの透過率分布は、基本的に正弦波的な特性があることを想定しているが、格子パターンの基本周波数成分としてそのような成分があればよい。格子パターンの他の例を、図１０に示す。

図１０は、透過率を変更した場合の格子パターンの例を示す図である。図１０の（ａ）に示すように、格子パターンの透過率は３値化することも可能であり、図１０の（ｂ）に示すように、透過率が高い格子領域と低い領域のｄｕｔｙを変えて、透過率の高い領域の幅を広げて透過率を高めることも考えられる。これにより、格子パターンからの回折を抑圧するなどの効果も得られ、撮影像の劣化を低減可能である。

また、上記では画像センサ１０３上で検出された撮影用格子パターン１０４の投影像に対して、現像用格子パターンを信号処理内で仮想的に形成して掛け合わせた際のモアレ縞を用いて、現像処理を行うが、画像センサ１０３上で検出された撮影用格子パターン１０４の投影像と、現像用格子パターンの相互相関関数を演算することにより、現像することも可能である。

いずれの手法を用いる場合でも、現像用格子パターンを信号処理上で形成する必要があり、そのパターンは撮影用格子パターン１０４に依存する。そこで、本実施形態では、現像用格子パターンを生成するためのパラメータ値をメタデータとしてメタデータ設定部１０５により設定し、現像処理における現像用格子パターンの生成に使用する。

図１１は、第１実施形態に係る画像データの構成の一例を示す図である。送信画像データは、メタデータとしてのパラメータ値１１０１〜１１０８と、画像のバイナリデータなどの画像データ本体１１０９とを含む。パラメータ値１１０１は、格子パターンの種別であり、フレネルゾーンプレート及びガボールゾーンプレートなどの格子パターンの種類を示す識別子である。パラメータ値１１０２は、格子パターンのピッチを決める係数であり、式（２）のβに相当する。パラメータ値１１０３は、格子パターンの透過率分布を表す係数である。パラメータ値１１０４は、格子パターンの透過率が高い領域と低い領域のｄｕｔｙ比を表す。パラメータ値１１０５，１１０６は、画像センサ１０３のサイズであり、式（１１）のＳに相当する。パラメータ値１１０７，１１０８は、画像センサ１０３の画素数であり、式（１１）のＮに相当する。また、図１１には記載していないが、送信画像データは、パラメータ値として、式（１２）のｋ_０に相当する撮影用格子パターンと現像用格子パターンの中心位置ずれ情報を含んでもよい。

メタデータ設定部１０５は、例えば、撮像装置１０１の記憶装置に予め工場出荷時に設定された各パラメータ値を取得して、送信画像データのメタデータとして設定することができる。当該記憶装置上の各パラメータ値は、撮像装置１０１の入力装置や通信装置を通じて、任意のタイミングでユーザにより設定変更されてもよい。また、メタデータ設定部１０５は、少なくとも一部のパラメータ値を画像センサ１０３や変調器１０２から取得してもよい。例えば、変調器１０２に液晶等を用いることで撮影用格子パターン１０４を可変にする場合、変調器１０２の制御による格子パターンの変更に応じてパラメータ値１１０１〜１１０４を連動させる必要がある。

図１２は、第１実施形態に係る画像データ送信処理の一例を示すフローチャートである。データ送信部１０６は、画像センサ１０３から出力される画像データ（撮影用格子パターン１０４の投影像）を取得する（ステップＳ１２０１）。メタデータ設定部１０５は、取得された画像データに対してメタデータを付与する（ステップＳ１２０２）。データ送信部１０６は、メタデータが付与された送信画像データを現像装置１０７に送信する（ステップＳ１２０３）。

図１３は、第１実施形態に係る現像処理の一例を示すフローチャートである。データ受信部１０８は、撮像装置１０１のデータ送信部１０６から送信画像データを受信する（ステップＳ１３０１）。メタデータ抽出部１０９は、受信された送信画像データからメタデータを抽出し、現像用格子パターンを生成するためのパラメータ値を取得する（ステップＳ１３０２）。画像処理部１１０は、取得されたパラメータ値を用いて現像用格子パターンを生成する（ステップＳ１３０３）。また、画像処理部１１０は、送信画像データから画像データ本体（撮影用格子パターン１０４の投影像）を抽出し、当該画像データと現像用格子パターンとを掛け合わせてモアレ縞像を算出し（ステップＳ１３０４）、このモアレ縞像に対して２次元ＦＦＴ演算を行い（ステップＳ１３０５）、撮影対象の像を現像する。そして、画像処理部１１０は、得られた画像に対してノイズ除去処理を行い（ステップＳ１３０６）、続いてコントラスト強調処理（ステップＳ１３０７）などを行う。その後、画像処理部１１０は、画像のカラーバランスを調整して（ステップＳ１３０８）、画像を画像表示部１１１に出力する。以上のようにして、現像装置１０７による現像処理が終了となる。

第１実施形態では、撮像装置１０１は、撮影用格子パターン１０４の投影像である画像データに加え、現像用格子パターンを生成するためのパラメータ値を含むメタデータを、現像装置１０７に送信する。そして、現像装置１０７は、撮像装置１０１から送信されたメタデータを用いて現像用格子パターンを信号処理で生成し、モアレ像縞の演算に用いる。これにより、撮像装置１０１外の現像装置１０７でも撮像画像を現像することができる。

また、撮像装置１０１は、撮影用格子パターン１０４が変更された場合でも、その変化に応じたパラメータ値を送信することができる。これにより、現像装置１０７は、正しく現像用格子パターンを生成して、正しく撮像画像を現像することができる。

また、現像用格子パターンの生成を含む画像処理は、現像装置１０７側で実行される。これは、撮像装置１０１の小型化及び薄型化に寄与する。

［第２実施形態］
第２実施形態は、フォーカス調整をできる点で第１実施形態と異なる。以下、第１実施形態と異なる点を中心に説明する。

まず、本実施形態におけるフォーカス調整の原理について説明する。

図１４は、撮像する物体が有限距離にある場合に、画像センサ１０３に投影される撮影用格子パターン１０４の射影が、撮影用格子パターン１０４より拡大されることを説明する図である。物体を構成する点１４０１からの球面波が撮影用格子パターン１０４を照射し、その投影像１４０２が画像センサ１０３に投影される場合、投影像１４０２はほぼ一様に拡大される。なお、この拡大率αは、撮影用格子パターン１０４から点１４０１までの距離ｆを用いて、

のように算出できる。

そのため、平行光に対して設計された現像用格子パターンの透過率分布をそのまま乗じたのでは、図１５に示すように、等間隔な直線状のモアレ縞は生じなくなる。図１５は、物体が有限距離にある場合に生成されるモアレ縞の一例を示す図である。しかし、一様に拡大された撮影用格子パターン１０４の影に合わせて、現像用格子パターンを拡大するならば、図１６に示すように、拡大された投影像１４０２に対して再び、等間隔な直線状のモアレ縞を生じさせることができる。図１６は、物体が有限距離にある場合に現像用格子パターンを補正したモアレ縞の一例を示す図である。このためには、現像用格子パターンの係数βをβ／αとすることで補正が可能である。αは、拡大率である。これによって、任意の位置にフォーカスを合わせて撮影を行うことができる。

図１７は、第２実施形態に係る撮像システムの構成の一例を示す図である。現像装置１０７は、第１実施形態の図１と異なり、フォーカス位置設定部１７０１を有する。フォーカス位置設定部１７０１は、現像処理において、焦点を合わせる位置を設定する。焦点を合わせる位置は、例えば、撮像装置１０１の記憶装置に予め設定されていてもよいし、ユーザにより入力されてもよい。

図１８は、第２実施形態に係るフォーカス位置を調整した現像処理の一例を示すフローチャートである。図１８のフローチャートは、第１実施形態の図１３と異なり、ステップＳ１３０２の直後にステップＳ１８０１が挿入されている。フォーカス位置設定部１７０１は、記憶装置に設定されているフォーカス位置あるいは入力されたフォーカス位置を取得して設定する（ステップＳ１８０１）。ステップＳ１３０３では、画像処理部１１０は、メタデータに含まれる後述する距離ｄを用いて、ステップＳ１８０１で設定されたフォーカス位置に焦点が合うように拡大率αを計算し、当該拡大率αに基づいて現像用格子パターンを生成する。

図１９は、第２実施形態に係る画像データの構成の一例を示す図である。本実施形態の送信画像データは、第１実施形態の図１１と異なり、撮影用格子パターン１０４と画像センサ１０３の距離情報（距離ｄ）であるパラメータ値１９０１を、メタデータとして含む。メタデータ設定部１０５は、パラメータ値１９０１を、記憶装置から、ユーザから、あるいは画像センサ１０３や変調器１０２から取得する。

［第３実施形態］
第３実施形態は、被写体の距離情報を取得できる点で第１実施形態と異なる。以下、第１実施形態と異なる点を中心に説明する。

まず、本実施形態における距離情報の取得の原理について説明する。

本実施形態では、ＤＦＤ（Depth From Defocus）手法を用いた距離情報の取得について説明する。ＤＦＤは、２次元画像のボケ量の解析から距離情報を求める方法である。距離ｗにある点光源に対して、距離ｒの位置に焦点を合わせたときのＰＳＦ（Point Spread Function）をｈ（ｗ、ｒ）とすると、距離ｒに対して焦点を合わせた画像ｇ（ｒ）は、

と表すことができる。なお、＊は畳込み演算を表している。ｇ（ｗ）は、距離ｗに焦点が合っている画像である。このとき、異なる距離ｒ_ｎ、ｒ_ｍに対して焦点を合わせた画像ｇ（ｒ_ｎ）、ｇ（ｒ_ｍ）を用意した場合、

という式が成り立つ。この式を満たすＰＳＦのパラメータｗが被写体までの距離となる。実際には、両辺の差が極小となる値を被写体までの距離とすることが多い。レンズを用いたカメラでは、ＰＳＦはレンズの開口等に依存するが、本実施形態では、撮影用格子パターンに依存する。また、ＰＳＦの代わりに任意の距離の点光源に対して焦点位置を変更して撮影した画像データ等を用いてもよい。

図２０は、第３実施形態に係る撮像システムの構成の一例を示す図である。現像装置１０７は、第１実施形態の図１と異なり、距離計測部２００１を有する。また、現像装置１０７には、距離情報表示部２００２が接続される。距離情報表示部２００２は、例えばディスプレイにより実現される。距離情報表示部２００２は、画像表示部１１１と一体となっていてもよい。距離計測部２００１は、画像データにおける距離情報を算出し、距離情報表示部２００２に表示する。

図２１は、第３実施形態に係る距離計測処理の一例を示すフローチャートである。ステップＳ１３０１及びＳ１３０２の処理は、図１３と同様である。ステップＳ１３０２の後、距離計測部２００１は、初期位置にフォーカスを設定する（ステップＳ２１０１）。その後、画像処理部１１０は、設定されたフォーカス位置について、図１３と同様にステップＳ１３０３〜Ｓ１３０５の処理を実行し、画像が現像される。その後、距離計測部２００１は、ＤＦＤに必要な所定枚数（少なくとも２枚）の画像が作成されたか否かを判定する（ステップＳ２１０２）。所定枚数の画像が作成されていない場合（ステップＳ２１０２：ＮＯ）、距離計測部２００１は、再びステップＳ２１０１の処理を実行し、前回と異なる位置にフォーカスを設定する。所定枚数の画像が作成された場合（ステップＳ２１０２：ＹＥＳ）、距離計測部２００１は、作成された複数の画像を用いて、ＤＦＤによる距離情報の算出を行い（ステップＳ２１０３）、距離情報を距離情報表示部２００２に出力する。

図２２は、第３実施形態に係る画像データの構成の一例を示す図である。本実施形態の送信画像データは、第１実施形態の図１１と異なり、ＤＦＤに用いるＰＳＦの種類を示すパラメータ値２２０１を、メタデータとして含む。メタデータ設定部１０５は、パラメータ値２２０１を、記憶装置から、ユーザから、あるいは画像センサ１０３や変調器１０２から取得する。また、本実施形態におけるＰＳＦは、撮影用格子パターンに依存するため、メタデータとして含まれなくてもよい。その場合の画像データの構成の一例は、実施形態１の図１１と同様である。

本実施形態では、ＤＦＤを用いて距離情報を取得したが、別の方法を用いてもよい。例えば、距離計測部２００１は、複数の位置に焦点を合わせた画像を作成し、各画像から最もコントラストの高い画像を選択し、その焦点位置から距離情報を取得してもよい。

［第４実施形態］
第１実施形態の原理の説明で、式（６）において信号の鋭いピークが得られるのは、第４項のモアレ縞の周波数のみであることを説明した。しかし、光学系や被写体の条件によっては、第２、第３項がノイズとなって現像画像の画質に影響を与える場合があり得る。そこで、第４実施形態は、それらのノイズを除去する構成を備える。以下、第１実施形態と異なる点を中心に説明する。

ノイズの除去のために、本実施形態では、格子パターンの位相を変えて取得した複数の画像を合成する。これは干渉計測で縞解析に用いられるフリンジスキャンという技術に基づいている。撮影用格子パターンの初期位相をΦ_Ｆ、現像用格子パターンの初期位相をΦ_Ｂとすると、入射角が異なるｋ個の平行光束が入射すると仮定すると、その強度分布は、

と表すことができる。式（１６）のうち、第２項は撮影用格子パターンの影、第３項は現像用格子パターンの強度変調、第４項と第５項はそれぞれ撮影用格子パターンの影と現像用格子パターンの和周波成分、差周波成分を示している。モアレ縞を表す成分は第５項であるため、この成分だけを抜き出すことができればよい。そこで、Φ_ＦとΦ_Ｂに注目して、式（１６）を積分すると、

となり、第５項のみを抜き出すことが可能となる。ここで、現像用格子パターンは信号処理内で仮想的に生成するため、複素振幅の情報を扱えることに着目すると、０を基準に正負の値を持つ現像用格子パターンを用いた場合には、撮影用格子パターンと現像用格子パターンの位相を一致させても同様の効果を得られる。その場合、式（１６）は、

となり、式（１７）は、

となる。つまり、撮影用格子パターンと現像用格子パターンの位相を一致して計算させることで、２重積分を１重積分のみの計算で実現可能とし、大幅に演算量を低減できる。式（１８）及び式（２０）では、積分の形で演算を示したが、撮影用格子パターン及び現像用格子パターンの位相は０から２πの間を３以上の分割数で離散的に切り替えればよい。

本実施形態のフリンジスキャンに基づくノイズキャンセル方法を行うための構成について、図２３〜３０を用いて説明する。フリンジスキャンでは、撮影用格子パターン１０４として初期位相の異なる複数のパターンを使用する必要がある。これを実現するには、時分割でパターンを切り替える方法（図２３〜２６）と、空間分割でパターンを切り替える方法（図２７〜３０）がある。

図２３は、第４実施形態に係る時分割フリンジスキャンを用いる場合の撮像システムの構成の一例を示す図である。第４実施形態の撮像装置１０１は、第１実施形態の変調器１０２に替えて、変調器２３０１を有する。また、第４実施形態の撮像装置１０１は、変調器制御部２３０２を有する。

図２４は、時分割フリンジスキャンに係る格子パターンの例を示す図である。変調器２３０１は、例えば図２４に示す複数の初期位相を電気的に切り替えて表示することが可能（すなわち、撮影用格子パターンを変更可能）な液晶表示素子などで構成される。図２４の（ａ）〜（ｄ）のパターンは、初期位相ΦＦもしくは位相差Φがそれぞれ｛０、π／２、π、３π／２｝である。

変調器制御部２３０２は、上記の変調器２３０１の格子パターンの切り替えタイミングと画像センサ１０３のシャッタタイミングを同期して複数回の撮像を制御し、撮像された各画像に使用された格子パターンの初期位相情報を含んだ情報をメタデータ設定部１０５に出力する。

メタデータ設定部１０５は、撮像された各画像データに対して、変調器制御部２３０２から取得した初期位相情報を含む格子パターンの情報を、メタデータとして付加する。

データ送信部１０６は、画像センサ１０３から出力される初期位相の異なる複数の画像データを取得する。また、データ送信部１０６は、メタデータが付与された送信画像データを現像装置１０７に送信する。

メタデータ抽出部１０９は、フリンジスキャンによるノイズ低減処理と現像処理に必要な情報を、受信された送信画像データから取得する。

画像処理部１１０は、メタデータ抽出部１０９から必要な情報を取得し、ノイズ低減処理および現像処理を行い、画像表示部１１１に現像画像を表示する。

図２５は、第４実施形態に係る時分割フリンジスキャンを用いた現像処理の一例を示すフローチャートである。ステップＳ１３０１及びＳ１３０２の処理は、図１３と同様である。ステップＳ１３０２の後、画像処理部１１０は、取得されたパラメータ値に基づいてフリンジスキャンの実行の要否を判定する（ステップＳ２５０１）。フリンジスキャンの実行の要否の判定は、例えば、フリンジスキャンを実行の有無を示すフラグをメタデータに格納してこれを基に判定してもよいし、フリンジスキャンに関する情報がメタデータに格納されているか否かで判定してもよい。フリンジスキャンを実行しないと判定した場合（ステップＳ２５０１：ＮＯ）、画像処理部１１０は、第１実施形態の図１３のステップＳ１３０３〜ＳＳ１３０８と同様の現像処理を行う（Ｓ２５０２）。

フリンジスキャンを実行すると判定した場合（ステップＳ２５０１：ＹＥＳ）、画像処理部１１０は、ステップＳ１３０２で取得されたパラメータ値に含まれる第１の画像の初期位相を取得するとともに、送信画像データから第１の画像の画像データ本体（第１の初期位相の撮影用格子パターンの投影像）を抽出する（Ｓ２５０３）。その後、ステップＳ１３０３では、画像処理部１１０は、ステップＳ２５０３で取得した初期位相の現像用格子パターンを生成し、ステップＳ１３０４では、画像処理部１１０は、同位相の画像データ（撮影用格子パターンの投影像）と現像用格子パターンとを掛け合わせてモアレ縞像を算出する。それから、画像処理部１１０は、前回ステップＳ１３０４で算出したモアレ縞像に、今回ステップＳ１３０４で算出したモアレ縞像を加算する（ステップＳ２５０４）。

その後、画像処理部１１０は、フリンジスキャンに用いる全ての画像データの処理が完了したか否か判定する（ステップＳ２５０５）。フリンジスキャンに用いる画像データの枚数は、後述するようにメタデータに設定されている。全ての画像データの処理が完了していない場合（ステップＳ２５０５：ＮＯ）、画像処理部１１０は、再びステップＳ２５０３の処理を実行し、ステップＳ１３０２で取得されたパラメータ値に含まれる第２の画像の初期位相を取得するとともに、送信画像データから第２の画像の画像データ本体（第２の初期位相の撮影用格子パターンの投影像）を抽出する。全ての画像データの処理が完了した場合（ステップＳ２５０５：ＹＥＳ）、画像処理部１１０は、ステップＳ２５０４で加算した結果に対して２次元ＦＦＴ演算を行う（Ｓ１３０５）。以降のステップＳ１３０５〜Ｓ１３０８の処理は、第１実施形態の図１３と同様である。

図２６は、第４実施形態に係る時分割フリンジスキャンを用いる場合の画像データの構成の一例を示す図である。本実施形態の送信画像データは、第１実施形態の図１１と異なり、メタデータとしてのパラメータ値２６０１，２６０２を含み、さらに、初期位相の異なる撮影用格子パターンで撮像された画像ごとに、メタデータとしてのパラメータ値（符号２６０３，２６０５）と、画像データ本体（符号２６０４，２６０６）とを含む。パラメータ値２６０１は、フリンジスキャンの種別（時分割又は空間分割、本図では、時分割に設定される）を示す識別子である。パラメータ値２６０２は、フリンジスキャンに使用する画像データの枚数である。パラメータ値２６０３は、１枚目の画像データ（第１の画像）における撮影用格子パターンの初期位相である。第１の画像の画像データ本体２６０４は、例えばバイナリデータである。パラメータ値２６０５は、２枚目の画像データ（第２の画像）における撮影用格子パターンの初期位相である。第２の画像の画像データ本体２６０６は、例えばバイナリデータである。図示していないが、送信画像データには、パラメータ値２６０２に設定された枚数分だけ、初期位相と画像データ本体のセットが繰り返し設定される。

なお、図２６では、フリンジスキャンに用いる全ての画像データを１つの送信画像データに連結したが、これに限定されない。例えば、初期位相が異なる画像データ毎に個別に送信画像データを生成してもよい。この場合、各送信画像データは、各種パラメータ値と、初期位相と画像データ本体を１セット含む。

図２７は、第４実施形態に係る空間分割フリンジスキャンを用いる場合の撮像システムの構成の一例を示す図である。第４実施形態の撮像装置１０１は、第１実施形態の変調器１０２に替えて、変調器２７０１を有する。また、第４実施形態の撮像装置１０１は、画像領域設定部２７０２を有する。

図２８は、空間分割フリンジスキャンに係る格子パターンの例を示す図である。変調器２７０１は、複数の格子パターンを備える撮影用格子パターンを備える。撮影用格子パターンは、例えば図２８に示すように、複数の初期位相の格子パターンを２次元的にそれぞれの領域に配列して構成される。配列された各格子パターンは、初期位相ΦＦもしくは位相差Φがそれぞれ｛０、π／２、π、３π／２｝である。

画像領域設定部２７０２は、フリンジスキャンに用いる各画像領域を示す領域データとその領域の格子パターンの初期位相を設定し、メタデータ設定部１０５に出力する。

メタデータ設定部１０５は、撮像された画像データに対して、画像領域設定部２７０２から取得した各画像領域を示す領域データとその初期位相を、メタデータとして付加する。

データ送信部１０６は、画像センサ１０３から出力される初期位相の異なる複数の画像領域から構成される画像データを取得する。また、データ送信部１０６は、メタデータが付与された送信画像データを現像装置１０７に送信する。

メタデータ抽出部１０９は、フリンジスキャンによるノイズ低減処理と現像処理に必要な情報を、受信された画像データから取得する。

画像処理部１１０は、メタデータ抽出部１０９から必要な情報を取得し、ノイズ低減処理および現像処理を行い、画像表示部１１１に現像画像を表示する。

図２９は、第４実施形態に係る空間分割フリンジスキャンを用いた現像処理の一例を示すフローチャートである。ステップＳ１３０１及びＳ１３０２の処理は、図１３と同様である。ステップＳ１３０２の後、画像処理部１１０は、取得されたパラメータ値に基づいてフリンジスキャンの実行の要否を判定する（ステップＳ２９０１）。フリンジスキャンの実行の要否の判定は、例えば、フリンジスキャンを実行の有無を示すフラグをメタデータに格納してこれを基に判定してもよいし、フリンジスキャンに関する情報がメタデータに格納されているか否かで判定してもよい。フリンジスキャンを実行しないと判定した場合（ステップＳ２９０１：ＮＯ）、画像処理部１１０は、第１実施形態の図１３のステップＳ１３０３〜ＳＳ１３０８と同様の現像処理を行う（Ｓ２９０２）。

フリンジスキャンを実行すると判定した場合（ステップＳ２９０１：ＹＥＳ）、画像処理部１１０は、ステップＳ１３０２で取得されたパラメータ値から第１の領域の領域データとその初期位相を取得する（ステップＳ２９０３）。また、画像処理部１１０は、送信画像データから画像データ本体（複数の格子パターンの投影像）を取得し、ステップＳ２９０３で取得した第１の領域の領域データに基づいて、画像データから第１の領域に対応する画像データを抽出する（Ｓ２９０４）。その後、ステップＳ１３０３では、画像処理部１１０は、ステップＳ２９０４で抽出した領域の画像データに対して、ステップ２９０３で抽出した同じ初期位相の現像用格子パターンを生成し、ステップＳ１３０４では、画像処理部１１０は、これらの同位相の領域の画像データと現像用格子パターンとを掛け合わせて、当該領域のモアレ縞像を算出する。それから、画像処理部１１０は、前回ステップＳ１３０４で算出したモアレ縞像に、今回ステップＳ１３０４で算出したモアレ縞像を加算する（ステップＳ２９０５）。

その後、画像処理部１１０は、フリンジスキャンに用いる全ての領域の画像データの処理が完了したか否か判定する（ステップＳ２９０６）。フリンジスキャンに用いる領域の数は、後述するようにメタデータに設定されている。全ての領域の画像データの処理が完了していない場合（ステップＳ２９０６：ＮＯ）、画像処理部１１０は、再びステップＳ２９０３の処理を実行し、ステップＳ１３０２で取得されたパラメータ値から第２の領域の領域データとその初期位相を取得するとともに、再びステップＳ２９０４の処理を実行し、ステップＳ２９０３で取得した第２の領域の領域データに基づいて、画像データから第２の領域に対応する画像データを抽出する。全ての領域の画像データの処理が完了した場合（ステップＳ２９０６：ＹＥＳ）、画像処理部１１０は、ステップＳ２９０５で加算した結果に対して２次元ＦＦＴ演算を行う（Ｓ１３０５）。以降のステップＳ１３０５〜Ｓ１３０８の処理は、第１実施形態の図１３と同様である。

図３０は、第４実施形態に係る空間分割フリンジスキャンを用いる場合の画像データの構成の一例を示す図である。本実施形態の送信画像データは、第１実施形態の図１１と異なり、メタデータとしてのパラメータ値３００１，３００２を含み、さらに、初期位相の異なる領域ごとに、メタデータとしてのパラメータ値（符号３００３〜３００７）を含む。パラメータ値３００１は、フリンジスキャンの種別（時分割又は空間分割、本図では、空間分割に設定される）を示す識別子である。パラメータ値３００２は、画像データの領域分割数であり、例えば図２８の格子パターンを用いた場合は、４が設定される。パラメータ値３００３〜３００６は、第１の領域を示すパラメータ値であり、それぞれ第１の領域のｘ座標、ｙ座標、幅、高さを示している。パラメータ値３００７は、第１の領域における撮影用格子パターンの初期位相である。図示していないが、送信画像データには、パラメータ値３００２に設定された数分だけ、各領域に関するパラメータ値のセットが繰り返し設定される。

第４実施形態によれば、時分割フリンジスキャンあるいは空間分割フリンジスキャンに基づく演算よって、ノイズの影響なく撮影対象を現像することができる。

［第５実施形態］
第５実施形態は、キャリブレーション情報を用いて現像処理における補正を行う点で第１実施形態と異なる。以下、第１実施形態と異なる点を中心に説明する。

図３１は、第５実施形態に係る撮像システムの構成の一例を示す図である。撮像装置１０１は、第１実施形態の図１と異なり、キャリブレーション情報設定部３１０１を有する。キャリブレーション情報設定部３１０１は、変調器１０２と画像センサ１０３を撮像装置１０１に取り付けた際に生じた、変調器１０２と画像センサ１０３の相対的な位置ずれに関するキャリブレーション情報（例えば、位置ずれの量と方向などの相対位置情報）を設定し、メタデータ設定部１０５に出力する。キャリブレーション情報は、撮像装置１０１の記憶装置に予め工場出荷時に設定されていてもよいし、任意のタイミングでユーザにより設定変更されてもよい。位置ずれの測定方法としては、例えば、工場出荷時の検査時に、規定位置の点光源からの光を用いて撮影用格子パターンを画像センサに投影することにより測定することができる。

なお、キャリブレーション情報は、上述した位置ずれに限定されない。キャリブレーション情報には、例えば、画像センサ１０３の欠陥画素の情報（座標や番号などの位置情報）、変調器１０２と画像センサ１０３の相対的な傾き（チルト）、変調器１０２の歪み、等を設定してもよい。

ここで、変調器１０２と画像センサ１０３の中心がずれていた場合、式（１２）で設定するｋ_０の値が想定していたものと異なり、画像の現像位置がずれてしまう可能性がある。そこで、画像処理部１１０は、キャリブレーション情報（位置ずれ）を用いて、現像用格子パターンの中心位置をずらすことで、現像画像に対する位置の補正を行うことができる。また、画像処理部１１０は、現像用格子パターンに対して補正を行うのではなく、現像後の画像に対して補正を行ってもよい。

また、画像センサ１０３に欠陥画素があった場合、該画素のデータを使用すると、ノイズとなってしまうことがある。そこで、画像処理部１１０は、キャリブレーション情報（欠陥画素の情報）を用いて、欠陥画素を現像処理の計算から除外する、又は周囲の画素情報から補間することで、ノイズを低減することができる。また、第４実施形態の空間分割フリンジスキャンを本実施形態に適用する場合、位相が異なる画像の状態は全て共通とする方がよく、一部の画像データのみが欠陥画素を含んでいると、ノイズが増大する可能性がある。そこで、画像処理部１１０は、それぞれの画像領域で欠陥画素に対応する画素を使用しないことで、ノイズを低減することができる。

また、空間分割フリンジスキャンを行う場合、各位相の格子パターン適用される領域を適切に分割しなければ、正しくノイズをキャンセルすることができない。そこで、画像処理部１１０は、キャリブレーション情報（傾きや歪み）を用いて、各領域の補正をすることが重要となる。

図３２は第５実施形態に係るキャリブレーション情報による補正処理を組み込んだ現像処理の一例を示すフローチャートである。図３２のフローチャートは、第１実施形態の図１３と異なり、ステップＳ１３０３の直後にステップＳ３２０１が挿入されている。画像処理部１１０は、メタデータから取得されたキャリブレーション情報を用いて、ステップＳ１３０３で生成した現像用格子パターンを補正する（ステップＳ３２０１）。なお、ステップＳ３２０１を省略し、ステップＳ１３０５の処理よりも後ろで、画像処理部１１０は、Ｓ１３０５で現像した画像に対して補正を行ってもよい。

図３３は、第５実施形態に係る画像データの構成の一例を示す図である。図３３は、キャリブレーション情報として位置ずれに関する情報を設定する場合を示している。送信画像データは、メタデータとしてのパラメータ値３３０１，３３０２を含む。パラメータ値３３０１は、画像センサ１０３と変調器１０２のｘ座標における位置ずれ量及び方向である。パラメータ値３３０２は、画像センサ１０３と変調器１０２のｙ座標における位置ずれ量及び方向である。もちろん、メタデータのキャリブレーション情報には、位置ずれに替えてあるいは加えて、欠陥画素などの他の情報を設定してもよい。

［第６実施形態］
第６実施形態は、撮像装置１０１に取り付けられたセンサから取得した情報をキャリブレーション情報として用いる点で第１実施形態と異なる。以下、第１実施形態と異なる点を中心に説明する。

図３４は、第６実施形態に係る撮像システムの構成の一例を示す図である。撮像装置１０１は、第１実施形態の図１と異なり、撮像装置１０１の環境を測定するセンサ３４０１を備える。センサ３４０１は、例えば、温度センサ及び湿度センサである。メタデータ設定部１０５は、センサ３４０１から出力されるセンサデータ（温度情報及び湿度情報）を取得し、画像データにメタデータとして付加する。

図３５は、第６実施形態に係るキャリブレーション情報による補正処理を組み込んだ現像処理の一例を示すフローチャートである。図３５のフローチャートは、第１実施形態の図１３と異なり、ステップＳ１３０２の直後にステップＳ３５０１が挿入されている。画像処理部１１０は、メタデータから取得されたキャリブレーション情報（温度情報及び湿度情報）を解析する（ステップＳ３５０１）。具体的には、画像処理部１１０は、例えば、温度及び湿度と変調器１０２の膨張との関係を定義した数式あるいはデータを用いて、キャリブレーション情報が示す温度及び湿度のときの変調器１０２の膨張率αを算出する。ステップＳ１３０３では、画像処理部１１０は、現像用格子パターンをα倍に拡大する補正を行う。

図３６は、第６実施形態に係る画像データの構成の一例を示す図である。本実施形態の送信画像データは、パラメータ値３６０１，３６０２を含む。パラメータ値３６０１は、温度情報である。パラメータ値３６０２は、湿度情報である。

なお、本実施形態では、温度センサと湿度センサの両方を用いているが、一方のみを用いてもよい。

［第７実施形態］
第７実施形態は、撮像装置１０１が画像を現像する点で第１実施形態と異なる。以下、第１実施形態と異なる点を中心に説明する。

図３７は、第７実施形態に係る撮像システムの構成の一例を示す図である。撮像装置１０１は、第１実施形態の図１と異なり、画像処理部３７０１を有する。画像処理部３７０１は、画像センサ１０３から出力される画像データを取得し、この画像データに対して、現像用格子パターンを生成して掛け合わせ、２次元ＦＦＴ演算を行う（図１３のステップＳ１３０３〜Ｓ１３０５と同様の処理を実行する）。メタデータ設定部１０５は、画像処理部３７０１で用いた現像用格子パターンの情報をメタデータとして設定する。データ送信部１０６は、画像処理部３７０１から出力される画像データと、当該画像データに付与されたメタデータを取得し、送信画像データとして現像装置１０７に送信する。

本実施形態には、さらに、第２実施形態及び第３実施形態の少なくとも一方を変形して組み合わせる。すなわち、本実施形態では、撮像装置１０１において２次元ＦＦＴ演算が実行された後の画像データに対して、現像装置１０７においてフォーカス調整あるいは距離情報の取得を実行する。２次元ＦＦＴ演算を実行した後の画像データに対するフォーカス調整と距離測定の原理について説明する。

第３実施形態で説明した式（１５）に関して、ｗ＝ｒｍだった場合を考えると、式（１５）は、

となる。ｈ（ｒ_ｍ、ｒ_ｍ）は、焦点が合っている場合のＰＳＦなので、点光源と同じである。そのため、式（２０）は、

と表すことができる。つまり、現像後の画像であっても、適切なＰＳＦを掛け合わせることで、任意の位置に焦点を合わせた画像を作成することが可能である。また、任意の位置に焦点を合わせた画像を作成することができるならば、ＤＦＤを用いた距離情報の算出が可能となる。

なお、式（２１）からも分かるように、現像後の画像から任意の位置に焦点を合わせた画像を作成するＰＳＦを求めるためには、現像に用いた格子パターンの情報が必要である。そのため、本実施形態では、現像に用いた格子パターンの情報がメタデータとして画像データに付加される。

図３８は、第７実施形態に係るフォーカス位置を調整した現像処理の一例を示すフローチャートである。図３８のフローチャートは、第２実施形態の図１８と異なり、ステップＳ１３０３〜Ｓ１３０５の処理に替えて、ステップＳ３８０１〜Ｓ３８０２の処理が挿入されている。画像処理部１１０は、ステップＳ１８０１でフォーカス位置設定部１７０１により設定されたフォーカス位置の画像を現像するためのＰＳＦを生成する（ステップＳ３８０１）。また、画像処理部１１０は、送信画像データに含まれる画像データにＰＳＦを掛け合わせる（ステップＳ３８０２）。

図３９は、第７実施形態に係る距離計測処理の一例を示すフローチャートである。図３９のフローチャートは、第３実施形態の図２１と異なり、ステップＳ１３０３〜Ｓ１３０５の処理に替えて、ステップＳ３９０１〜Ｓ３９０２の処理が挿入されている。画像処理部１１０は、Ｓ２１０１で距離計測部２００１により設定されたフォーカス位置の画像を現像するためのＰＳＦを生成する（ステップＳ３９０１）。また、画像処理部１１０は、送信画像データに含まれる画像データにＰＳＦを掛け合わせる（ステップＳ３９０２）。

図４０は、第７実施形態に係る画像データの構成の一例を示す図である。本実施形態の送信画像データは、第１実施形態の図１１と異なり、画像処理部３７０１で用いた現像用格子パターンに関するパラメータ値４００１〜４００４を、メタデータとして含む。メタデータ設定部１０５は、パラメータ値４００１〜４００４を、記憶装置から、ユーザから、あるいは画像センサ１０３や変調器１０２から取得する。また、実施形態３と同様にＰＳＦに関する情報をメタデータとして付加してもよい。

なお、本実施形態には、第４実施形態を変形して組み合わせてもよい。すなわち、撮像装置１０１は、図２３あるいは図２７に示す構成に加えて、上述した画像処理部３７０１を有する。画像処理部３７０１は、２次元ＦＦＴ演算の前に、時分割フリンジスキャンあるいは空間分割フリンジスキャンによるノイズ低減処理を実行する。

また、画像処理部３７０１で２次元ＦＦＴ演算をしたデータは、複素振幅の情報を持っており、画像データとして記録する際は、直交形式や極形式で記録される。また、実部と虚部の両方のデータを記録しても良いし、どちらか一方のデータのみを記録してもよい。また、絶対値と位相を取るなど、何らかの処理を実行した後のデータを記録してもよい。

また、本実施形態では、画像処理部３７０１が、その信号処理内で現像用格子パターンを生成し画像データを作成しているが、これに限られない。例えば、格子基板１０２ａの撮影用格子パターン１０４とは逆側に現像用格子パターンを印刷した変調器１０２を使用してもよい。この場合、画像処理部３７０１は、画像センサ１０３から出力された画像データ（モアレ縞画像）に対して、２次元ＦＦＴ演算を実行する。

［第８実施形態］
第８実施形態は、送信画像データの構成が第１実施形態と異なる。以下、第１実施形態と異なる点を中心に説明する。

本実施形態のメタデータ設定部１０５は、撮影用格子パターン１０４に関する情報や画像センサ１０３に関する情報の替わりに、現像用格子パターンの画像データをメタデータとして設定する。データ送信部１０６は、画像センサ１０３から出力された画像データと、メタデータ設定部１０５によって当該画像データに設定されたメタデータ（現像用格子パターンの画像データ）とを、現像装置１０７に送信する。画像処理部１１０は、現像処理において、メタデータ抽出部１０９により抽出された現像用格子パターンの画像データを取得し、現像用格子パターンとして使用する。

図４１は、第８実施形態に係る画像データの構成の一例を示す図である。本実施形態の送信画像データは、メタデータとしての現像用格子パターンの画像データ４１０１と、撮影用格子パターンで撮像された画像データ本体１１０９とを含む。画像データ４１０１は、例えば、撮影用格子パターンで撮像された画像データと同じデータが設定される。現像用格子パターンの画像データは、例えば、撮像装置１０１の記憶装置に予め設定されていてもよいし、ユーザにより設定変更されてもよい。

なお、画像データ４１０１には、現像用格子パターンの画像データそのものではなく、現像処理で使用される現像用格子パターンと理論的に生成した基準格子パターンとの差分を示す特徴量を記録してもよい。この場合、画像処理部１１０は、現像処理において、メタデータ抽出部１０９により抽出された特徴量を取得し、予め設定された基準格子パターンと取得した特徴量とに基づいて現像用格子パターンの生成を行う。

［第９実施形態］
第９実施形態は、現像装置１０７においてメタデータを管理する点で第１実施形態と異なる。なお、本実施形態には、キャリブレーションを行う第５実施形態及び第６実施形態、フリンジスキャンを行う第４実施形態の１つ以上を組み合わせることができる。以下、第１実施形態と異なる点を中心に説明する。

図４２は、第９実施形態に係る撮像システムの構成の一例を示す図である。現像装置１０７は、第１実施形態の図１と異なり、メタデータ管理部４２０１を有する。メタデータ管理部４２０１は、各種パラメータ値を含むメタデータを記録した後述する各種テーブルを管理する。各種テーブルは、例えば、記憶装置に予め格納される。

メタデータ設定部１０５は、メタデータ管理部４２０１からメタデータを取得するために使用される識別子（メタデータＩＤ）を、メタデータとして設定する。メタデータ抽出部１０９は、送信画像データから抽出したメタデータＩＤを用いて、現像用格子パターンの生成に必要な情報、キャリブレーション情報、及びフリンジスキャンに必要な情報を、メタデータ管理部４２０１から取得する。画像処理部１１０は、メタデータ抽出部１０９により取得された情報を用いて、現像用格子パターンの生成、キャリブレーション情報を用いた補正処理、及びフリンジスキャンによるノイズ低減処理を含む現像処理を実行する。

図４３は、第９実施形態に係るメタデータ情報管理テーブルの構成の一例を示す図である。メタデータ情報管理テーブルは、メタデータＩＤと、格子パターンＩＤと、キャリブレーションＩＤと、フリンジスキャンＩＤとを関連付けたレコードを格納する。格子パターンＩＤ、キャリブレーションＩＤ、及びフリンジスキャンＩＤは、それぞれ図４４〜４６に示すテーブルを参照するキーとして使用される。

図４４は、第９実施形態に係る格子パターン情報管理テーブルの構成の一例を示す図である。格子パターン情報管理テーブルは、格子パターンＩＤと、パターン種別と、ピッチ係数と、透過率分布係数と、Ｄｕｔｙ比と、画像センササイズとを関連付けたレコードを格納する。

図４５は、第９実施形態に係るキャリブレーション情報管理テーブルの構成の一例を示す図である。キャリブレーション情報管理テーブルは、キャリブレーションＩＤと、位置ずれに関する情報と、欠陥画素の情報とを関連付けたレコードを格納する。各レコードには、温度情報や湿度情報が関連付けられてもよい。

図４６は、第９実施形態に係るフリンジスキャン情報管理テーブルの構成の一例を示す図である。フリンジスキャン情報管理テーブルは、フリンジスキャンＩＤと、フリンジスキャンの方式（時分割又は空間分割）と、フリンジスキャンに使用される画像の枚数と、各画像の初期位相及び画像データあるいは領域データとを関連付けたレコードを格納する。

図４７は、第９実施形態に係る画像データの構成の一例を示す図である。本実施形態の送信画像データは、メタデータＩＤ４７０１と、撮影用格子パターンで撮像された画像データ本体１１０９とを含む。

メタデータ管理部４２０１は、メタデータ情報管理テーブルを参照し、メタデータ抽出部１０９から入力されたメタデータＩＤに関連付けられた格子パターンＩＤ、キャリブレーションＩＤ、及びフリンジスキャンＩＤを特定する。また、メタデータ管理部４２０１は、少なくとも、格子パターン情報管理テーブルを参照し、特定した格子パターンＩＤに対応するレコードの情報を、メタデータ抽出部１０９に出力する。メタデータ管理部４２０１は、キャリブレーション情報管理テーブルを参照し、特定したキャリブレーションＩＤに対応するレコードの情報を、メタデータ抽出部１０９に出力してもよい。メタデータ管理部４２０１は、フリンジスキャン情報管理テーブルを参照し、特定したフリンジスキャンＩＤに対応するレコードの情報を、メタデータ抽出部１０９に出力してもよい。メタデータ抽出部１０９は、このようにして各種のパラメータ値を取得することができる。

なお、メタデータ設定部１０５は、メタデータＩＤに加えて、格子パターンＩＤ、キャリブレーションＩＤ、及びフリンジスキャンＩＤの少なくとも１つを、メタデータとして設定してもよい。この場合、メタデータ管理部４２０１は、メタデータ抽出部１０９から入力された格子パターンＩＤ、キャリブレーションＩＤ、あるいはフリンジスキャンＩＤを用いて、格子パターン情報管理テーブル、キャリブレーション情報管理テーブル、あるいはフリンジスキャン情報管理テーブルから、情報を取得する。

なお、上述した各種テーブルの構成は一例であり、図示した例に限定されない。例えば、上述の４つのテーブルは、一つのテーブルにまとめて構成されてもよい。

本実施形態によれば、現像用格子パターンを生成するためのメタデータが現像装置１０７で管理されるため、現像装置１０７でメタデータが管理されている画像データ以外の画像データの現像を制限することができる。また、送信画像データのデータサイズを小さくすることができる。

［第１０実施形態］
第１０実施形態は、撮像装置１０１が画像データを保持することのできる記憶装置を備える点で第１実施形態と異なる。以下、第１実施形態と異なる点を中心に説明する。

図４８は、第１０実施形態に係る撮像システムの構成の一例を示す図である。撮像装置１０１は、画像記憶部４８０１を有する。画像記憶部４８０１は、フラッシュＲＯＭやＨＤＤなどの記録装置で実現することができる。画像記憶部４８０１には、画像センサ１０３から出力された１枚以上の画像データが保存される。また、画像記憶部４８０１の各画像データは、メタデータ設定部１０５によりメタデータが付加され、所定のファイルフォーマットで保存される。例えば、メタデータは、独自の画像ファイルフォーマットのヘッダ情報として記録されてもよいし、既存のファイルフォーマットのヘッダ情報として記録されてもよい。既存のファイルフォーマットのヘッダ情報としては、例えば、Ｅｘｉｆ（Exchangeable Image File Format）のメーカーノート、ｍｐｅｇ４の拡張メタデータ、ファイルシステムの拡張メタデータ、などを利用できる。

データ送信部１０６は、所定のタイミング、例えば、撮像装置１０１が現像装置１０７に接続されたタイミング、接続されている状態でユーザの指示を受け付けたタイミングなどで、画像記憶部４８０１から送信画像データを１枚ずつ取得して現像装置１０７に送信する。これにより、現像装置１０７は、第１〜第９実施形態のように撮像されたタイミングではなく、任意のタイミングで画像を現像することができる。

なお、現像装置１０７に画像記憶部を設けてもよい。この場合、現像装置１０７は、例えばユーザから現像の指示を受け付けるまで、画像記憶部に送信画像データを保存しておくことができる。

［第１１実施形態］
第１実施形態では、撮像装置１０１がメタデータを含む送信画像データを現像装置１０７に送信する場合を説明している。しかし、メタデータを含まない送信画像データを現像装置１０７に送信する撮像装置も想定することができる。第１１実施形態の現像装置１０７は、メタデータを送信しない撮像装置と接続された場合にも対処可能な構成を備える。以下、第１実施形態と異なる点を中心に説明する。

図４９は、第１１実施形態に係る現像処理の一例を示すフローチャートである。図４９のフローチャートは、第１実施形態の図１３と異なり、ステップＳ１３０１の後に、ステップＳ４９０１〜Ｓ４９０３の処理が挿入されている。メタデータ抽出部１０９は、受信された送信画像データにメタデータが含まれるか否かを判定する（ステップＳ４９０１）。メタデータが含まれると判定した場合（ステップＳ４９０１：ＹＥＳ）、メタデータ抽出部１０９は、処理をステップＳ１３０２に進める。メタデータが含まれないと判定した場合（ステップＳ４９０１：ＮＯ）、メタデータ抽出部１０９は、ユーザにメタデータを要求する（ステップＳ４９０２）。例えば、メタデータ抽出部１０９は、現像装置１０７の備えるディスプレイあるいは通信装置を介してＧＵＩ（Graphical User Interface）画面を表示することで、ユーザにメタデータが必要であることを通知する。それから、メタデータ抽出部１０９は、ユーザからメタデータを取得する（ステップＳ４９０３）。例えば、メタデータ抽出部１０９は、入力装置あるいは通信装置を介してユーザからメタデータの入力を受け付ける。メタデータ抽出部１０９は、予め設定されているメタデータを記憶装置から取得してもよい。それから、メタデータ抽出部１０９は、処理をステップＳ１３０２に進める。ステップＳ１３０２では、メタデータ抽出部１０９は、送信画像データからメタデータを抽出するか、ステップＳ４９０３で取得したメタデータを使用する。

［第１２実施形態］
第１〜第１１実施形態では、撮像装置１０１と現像装置１０７とが接続される構成を説明している。第１２実施形態では、現像装置１０７を省略し、撮像装置１０１が現像処理を行う構成を説明する。メタデータの設定及び抽出の両方が撮像装置１０１内で実行される。以下、第１実施形態と異なる点を中心に説明する。

図５０は、第１２実施形態に係る撮像システムの構成の一例を示す図である。撮像システムは、撮像装置１０１のみを備える。撮像装置１０１は、画像表示部１１１と接続されている。撮像装置１０１は、データ送信部１０６が省略され、メタデータ設定部１０５と、画像記憶部４８０１と、メタデータ抽出部１０９と、画像処理部１１０とを有する。

メタデータ設定部１０５及び画像記憶部４８０１は、第１０実施形態の図４８と同様である。メタデータ抽出部１０９及び画像処理部１１０は、第１実施形態の図１では現像装置１０７が備える機能と基本的に同様であるが、異なる点は次のとおりである。画像処理部１１０は、所定のタイミング、例えば、撮像が実行されたタイミング、ユーザの指示を受け付けたタイミングなどで、画像記憶部４８０１から送信画像データを取得して、現像処理を行う。メタデータ抽出部１０９は、現像処理対象の送信画像データからメタデータを抽出する。また、画像処理部１１０は、現像した画像を画像表示部１１１に出力する。

以上、本発明について複数の実施形態を用いて説明した。もちろん、本発明は上記の実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。

また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ（Digital Versatile Disk）等の記録媒体に置くことができる。

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。

本発明は、撮像装置、現像装置、及び撮像システムに限られず、撮像方法、現像方法、コンピュータ読み取り可能なプログラム、などの様々な態様で提供できる。

１０１…撮像装置、１０２…変調器、１０２ａ…格子基板、１０２ｂ…支持部材、１０３…画像センサ、１０３ａ…画素、１０４…撮影用格子パターン、１０５…メタデータ設定部、１０６…データ送信部、１０７…現像装置、１０８…データ受信部、１０９…メタデータ抽出部、１１０…画像処理部、１１１…画像表示部、１１０１〜１１０８…パラメータ値、１１０９…画像データ本体、１４０１…点、１４０２…投影像、１７０１…フォーカス位置設定部、１９０１…パラメータ値、２００１…距離計測部、２００２…距離情報表示部、２２０１…パラメータ値、２３０１…変調器、２３０２…変調器制御部、２６０１…パラメータ値、２６０２…パラメータ値、２６０３…パラメータ値、２６０４…画像データ本体、２６０５…パラメータ値、２６０６…画像データ本体、２７０１…変調器、２７０２…画像領域設定部、３００１〜３００７…パラメータ値、３１０１…キャリブレーション情報設定部、３３０１…パラメータ値、３３０２…パラメータ値、３４０１…センサ、３６０１…パラメータ値、３６０２…パラメータ値、３７０１…画像処理部、４００１〜４００４…パラメータ値、４１０１…現像用格子パターンの画像データ、４２０１…メタデータ管理部、４７０１…メタデータＩＤ、４８０１…画像記憶部

Claims (31)

1. 受光面に配置された複数の画素で受光された光学像を画像データとして出力する画像センサと、
   前記画像センサの前記受光面に設けられ、第１の格子パターンを有し、前記第１の格子パターンによってそこを透過する光の強度を変調する変調器と、
   前記画像センサから出力される前記画像データに対してメタデータを設定するメタデータ設定部と、を備え、
   前記メタデータ設定部は、前記画像データと第２の格子パターンを用いて画像を現像する現像処理において前記第２の格子パターンの生成に使用される前記第１の格子パターンに関する情報を前記メタデータとして設定し、
   前記第１の格子パターンに関する情報は、前記第１の格子パターン又は前記第２の格子パターンの画像データである
   ことを特徴とする撮像装置。
2. 請求項１に記載の撮像装置であって、
   前記画像データ及び前記メタデータを、前記現像処理を実行する現像装置に送信するデータ送信部
   を備えることを特徴とする撮像装置。
3. 請求項１に記載の撮像装置であって、
   前記第１の格子パターンは、基準座標からの距離に対してピッチが反比例して細かくなる同心円状のパターンである
   ことを特徴とする撮像装置。
4. 請求項１に記載の撮像装置であって、
   前記メタデータ設定部は、前記画像センサ及び前記変調器の少なくとも一方のキャリブレーション情報を、前記メタデータとして設定する
   ことを特徴とする撮像装置。
5. 請求項４に記載の撮像装置であって、
   前記キャリブレーション情報は、前記画像センサと前記変調器の相対位置情報である
   ことを特徴とする撮像装置。
6. 請求項４に記載の撮像装置であって、
   前記キャリブレーション情報は、前記画像センサの欠陥画素の位置情報である
   ことを特徴とする撮像装置。
7. 請求項１に記載の撮像装置であって、
   温度センサ及び湿度センサの少なくとも一方を備え、
   前記メタデータ設定部は、前記温度センサから取得した温度情報及び前記湿度センサから取得した湿度情報の少なくとも一方を、前記メタデータとして設定する
   ことを特徴とする撮像装置。
8. 受光面に配置された複数の画素で受光された光学像を画像データとして出力する画像センサと、
   前記画像センサの前記受光面に設けられ、第１の格子パターンを有し、前記第１の格子パターンによってそこを透過する光の強度を変調する変調器と、
   前記画像センサから出力される前記画像データに対してメタデータを設定するメタデータ設定部と、を備え、
   前記変調器は、前記第１の格子パターンを変更可能に構成されており、１枚の画像の現像にあたって、前記第１の格子パターンを複数回変更し、
   前記メタデータ設定部は、前記画像データと第２の格子パターンを用いて画像を現像する現像処理において前記第２の格子パターンの生成に使用される、前記複数回の前記第１の格子パターンに関する情報を前記メタデータとして設定する
   ことを特徴とする撮像装置。
9. 請求項８に記載の撮像装置であって、
   複数回の前記第１の格子パターンで撮像された複数の前記画像データと、前記複数回の第１の格子パターンに関する情報とを、１つの送信データとして前記現像処理を実行する現像装置に送信するデータ送信部
   を備えることを特徴とする撮像装置。
10. 請求項８に記載の撮像装置であって、
    複数回の前記第１の格子パターンで撮像された複数の前記画像データと、前記複数回の第１の格子パターンに関する情報とを、回ごとに個別の送信データとして前記現像処理を実行する現像装置に送信するデータ送信部
    を備えることを特徴とする撮像装置。
11. 受光面に配置された複数の画素で受光された光学像を画像データとして出力する画像センサと、
    前記画像センサの前記受光面に設けられ、第１の格子パターンを有し、前記第１の格子パターンによってそこを透過する光の強度を変調する変調器と、
    前記画像センサから出力される前記画像データに対してメタデータを設定するメタデータ設定部と、を備え、
    前記第１の格子パターンは、複数の領域に分割され、前記領域ごとに異なる格子パターンが配置されており、
    前記メタデータ設定部は、前記画像データと第２の格子パターンを用いて画像を現像する現像処理において前記第２の格子パターンの生成に使用される前記各領域の格子パターンに関する情報を前記メタデータとして設定する
    ことを特徴とする撮像装置。
12. 請求項１１に記載の撮像装置であって、
    前記画像データと、前記各領域の格子パターンに関する情報とを、前記現像処理を実行する現像装置に送信するデータ送信部
    を備えることを特徴とする撮像装置。
13. 請求項１，８または１１のいずれか一項に記載の撮像装置であって、
    前記画像データ及び前記メタデータを記憶する画像記憶部と、
    前記画像データ及び前記メタデータを前記画像記憶部から取得して、前記現像処理を実行する現像装置に送信するデータ送信部と
    を備えることを特徴とする撮像装置。
14. 請求項１３に記載の撮像装置であって、
    前記画像データ及び前記メタデータは、所定のファイルフォーマットで前記画像記憶部に保存され、
    前記メタデータ設定部は、前記メタデータを前記所定のファイルフォーマットのヘッダ情報として記録する
    ことを特徴とする撮像装置。
15. 請求項１４に記載の撮像装置であって、
    前記メタデータ設定部は、前記メタデータをＥｘｉｆのメーカーノートに記録する
    ことを特徴とする撮像装置。
16. 請求項１４に記載の撮像装置であって、
    前記メタデータ設定部は、前記メタデータをｍｐｅｇ４の拡張メタデータに記録する
    ことを特徴とする撮像装置。
17. 請求項１４に記載の撮像装置であって、
    前記メタデータ設定部は、前記メタデータをファイルシステムの拡張メタデータに記録する
    ことを特徴とする撮像装置。
18. 受光面に配置された複数の画素で受光された光学像を画像データとして出力する画像センサと、
    前記画像センサの前記受光面に設けられ、第１の格子パターンを有し、前記第１の格子パターンによってそこを透過する光の強度を変調する変調器と、
    前記画像データと第２の格子パターンを用いて画像を現像する現像処理を実行する画像処理部と、
    前記現像処理で現像された画像データに対して、前記現像処理で生成された前記第２の格子パターンに関する情報をメタデータとして設定するメタデータ設定部と、
    前記現像処理で現像された画像データ及び前記メタデータを、所定の画像処理を行う現像装置に送信するデータ送信部と
    を備えることを特徴とする撮像装置。
19. 請求項１８に記載の撮像装置であって、
    前記現像処理で現像された画像データは、複素振幅の情報を有する
    ことを特徴とする撮像装置。
20. 撮像装置と現像装置とを備える撮像システムであって、
    前記撮像装置は、
    受光面に配置された複数の画素で受光された光学像を画像データとして出力する画像センサと、
    前記画像センサの前記受光面に設けられ、第１の格子パターンを有し、前記第１の格子パターンによってそこを透過する光の強度を変調する変調器と、
    前記画像センサから出力される前記画像データに対して、前記第１の格子パターンに関する情報をメタデータとして設定するメタデータ設定部と、
    前記画像データ及び前記メタデータを前記現像装置に送信するデータ送信部と、を備え、
    前記現像装置は、
    前記画像データ及び前記メタデータを受信するデータ受信部と、
    前記メタデータを用いて第２の格子パターンを生成し、前記画像データと前記第２の格子パターンとを用いて画像を現像する現像処理を実行する画像処理部と、を備え、
    前記第１の格子パターンに関する情報は、前記第１の格子パターン又は前記第２の格子パターンの画像データである
    ことを特徴とする撮像システム。
21. 請求項２０に記載の撮像システムであって、
    前記メタデータ設定部は、前記第１の格子パターンと前記画像センサの距離情報を、前記メタデータとして設定し、
    前記画像処理部は、前記距離情報を用いて所定のフォーカス位置に応じた前記第２の格子パターンの拡大率を算出する
    ことを特徴とする撮像システム。
22. 請求項２０に記載の撮像システムであって、
    前記現像装置は、前記画像データにおける距離情報を算出する距離計測部を備え、
    前記画像処理部は、前記現像処理において所定の複数のフォーカス位置について画像を現像し、
    前記距離計測部は、前記現像された複数の画像データを用いて前記距離情報を算出する
    ことを特徴とする撮像システム。
23. 請求項２２に記載の撮像システムであって、
    前記距離計測部は、ＰＳＦ（Point Spread Function）を算出し、そのパラメータを前記距離情報として算出する
    ことを特徴とする撮像システム。
24. 請求項２０に記載の撮像システムであって、
    前記変調器は、前記第１の格子パターンを変更可能に構成されており、１枚の画像の現像にあたって、前記第１の格子パターンを複数回変更し、
    前記メタデータ設定部は、前記複数回の第１の格子パターンに関する情報を前記メタデータとして設定し、
    前記データ送信部は、複数回の前記第１の格子パターンで撮像された複数の前記画像データと、前記複数回の第１の格子パターンに関する情報とを送信し、
    前記画像処理部は、前記複数の第１の格子パターンを用いて複数の前記第２の格子パターンを生成し、前記複数の画像データと前記複数の第２の格子パターンを用いて、前記現像処理を実行する
    ことを特徴とする撮像システム。
25. 請求項２０に記載の撮像システムであって、
    前記第１の格子パターンは、複数の領域に分割され、前記領域ごとに異なる格子パターンが配置されており、
    前記メタデータ設定部は、前記各領域の格子パターンに関する情報を、前記メタデータとして設定し、
    前記データ送信部は、前記画像データと、前記各領域の格子パターンに関する情報とを送信し、
    前記画像処理部は、前記複数の領域の格子パターンを用いて複数の前記第２の格子パターンを生成し、前記画像データ中の前記複数の領域の画像データと前記複数の第２の格子パターンを用いて、前記現像処理を実行する
    ことを特徴とする撮像システム。
26. 請求項２０に記載の撮像システムであって、
    前記メタデータ設定部は、前記画像センサに関するキャリブレーション情報を前記メタデータとして設定し、
    前記画像処理部は、前記キャリブレーション情報を用いて前記第２の格子パターンを補正する
    ことを特徴とする撮像システム。
27. 請求項２０に記載の撮像システムであって、
    前記メタデータ設定部は、前記画像センサの欠陥画素の位置情報を前記メタデータとして設定し、
    前記画像処理部は、前記位置情報が示す欠陥画素を除外して又は補間して前記現像処理を実行する
    ことを特徴とする撮像システム。
28. 請求項２０に記載の撮像システムであって、
    前記現像装置は、前記メタデータを格納するメタデータ管理部を備え、
    前記第１の格子パターンに関する情報は、メタデータの識別子であり、
    前記画像処理部は、前記メタデータの識別子を用いて前記メタデータ管理部から取得されたメタデータを用いて前記第２の格子パターンを生成する
    ことを特徴とする撮像システム。
29. 請求項２０に記載の撮像システムであって、
    前記画像処理部は、前記画像データとともに前記メタデータが受信されていない場合、前記メタデータをユーザに要求する
    ことを特徴とする撮像システム。
30. 撮像装置における撮像方法であって、
    前記撮像装置は、
    受光面に配置された複数の画素で受光された光学像を画像データとして出力する画像センサと、
    前記画像センサの前記受光面に設けられ、第１の格子パターンを有し、前記第１の格子パターンによってそこを透過する光の強度を変調する変調器と、を備え、
    前記撮像方法は、
    前記画像センサから前記画像データを取得する取得ステップと、
    前記取得された画像データに対してメタデータを設定する設定ステップと、を含み、
    前記設定ステップでは、前記画像データと第２の格子パターンを用いて画像を現像する現像処理において前記第２の格子パターンの生成に使用される前記第１の格子パターンに関する情報を前記メタデータとして設定し、
    前記第１の格子パターンに関する情報は、前記第１の格子パターン又は前記第２の格子パターンの画像データである
    ことを特徴とする撮像方法。
31. 撮像装置と現像装置とを備える撮像システムの撮像方法であって、
    前記撮像装置は、
    受光面に配置された複数の画素で受光された光学像を画像データとして出力する画像センサと、
    前記画像センサの前記受光面に設けられ、第１の格子パターンを有し、前記第１の格子パターンによってそこを透過する光の強度を変調する変調器と、を備え、
    前記撮像方法は、
    前記画像センサから出力される前記画像データに対して、前記第１の格子パターンに関する情報をメタデータとして設定する設定ステップと、
    前記画像データ及び前記メタデータを前記現像装置に送信する送信ステップと、
    前記画像データ及び前記メタデータを受信する受信ステップと、
    前記メタデータを用いて第２の格子パターンを生成し、前記画像データと前記第２の格子パターンとを用いて画像を現像する現像処理を実行する画像処理ステップと、を含み、
    前記第１の格子パターンに関する情報は、前記第１の格子パターン又は前記第２の格子パターンの画像データである
    ことを特徴とする撮像方法。

Images