JP4922234B2 - 立体情報生成装置および立体情報生成プログラム - Google Patents

Description

本発明は、インテグラルフォトグラフィ方式により撮像した被写体の立体情報を生成する立体情報生成装置および立体情報生成プログラムに関する。

一般に、任意の視点から自由に立体画像を視認することが可能な立体画像表示方式の一つとして、平面状に配列された凸レンズ群あるいはピンホール群を利用したインテグラルフォトグラフィ（Integral Photography：以下ＩＰ）方式が知られている（例えば、特許文献１等）。

ここで、図１１を参照して、ＩＰ方式の概念について説明する。図１１は、従来のＩＰ方式の概念を説明するための説明図であって、（ａ）は撮像時、（ｂ）は表示時の状態を示している。図１１（ａ）に示すように、従来のＩＰ方式による立体画像撮像装置（立体情報生成装置）１００は、同一平面状に配列された複数の微小凸レンズ１０１_１，…，１０１_ｎからなるレンズ群１０１と、ＣＣＤ（電化結合素子：Charge Coupled Device）等の撮像板１０２とを平行に配置している。ここで、観察者Ｏ側から、立体画像撮像装置１００により、被写体Ｈを撮像すると、被写体Ｈは、レンズ群１０１を介して、レンズ群１０１を構成する微小凸レンズ１０１_１，…，１０１_ｎの数だけ、撮像板１０２に像（以下、「要素画像」という）１０３_１，…，１０３_ｎが撮像される。

そして、立体画像撮像装置１００は、画像切り出し手段１０４によって、撮像板１０２で撮像された像から、各要素画像を切り出す。また、各要素画像をそのまま表示すると、奥行きが逆転してしまうため、立体画像撮像装置１００は、反転処理手段１０５によって、要素画像を点対称に変換することで、被写体Ｈの立体情報（複数の要素画像）を生成している。

一方、図１１（ｂ）に示すように、従来のＩＰ方式による立体画像表示装置２００は、同一平面状に配列された複数の微小凸レンズ２０１_１，…，２０１_ｎからなるレンズ群２０１と、図１１（ａ）の撮像板１０２で撮像された要素画像１０３_１，…，１０３_ｎを点対称に変換した要素画像２０３_１，…，２０３_ｎを表示する表示板（表示素子）２０２とを平行に配置している。この表示板２０２には、通常、高精細画像が表示可能なＬＣＤ（液晶ディスプレイ：Liquid Crystal Display）等が用いられる。

なお、図１１（ａ）では、被写体Ｈから発せられた光線が撮像板１０２で止まっている状態を図示しているが、図１１（ａ）中、撮像板１０２の右側に進行していく光線に相当する光線が、図１１（ｂ）中、レンズ群２０１を通して、表示板２０２から進行する光線として再現されることになる。すなわち、観察者Ｏが、レンズ群２０１を通して、表示板２０２を観察すると、立体再生像Ｍの位置に被写体Ｈが存在し、そこから光線が発せられている状態と等価な状態が再現され、立体像を視認することが可能になる。
特開２００２−２２８９７４号公報（段落００２３〜００２８、図１）

前記した従来の手法では、立体画像撮像装置が、要素画像として被写体から発せられた光線の方向を取得し、立体画像表示装置が、要素画像によって被写体からの光線の方向を再現することで、立体像を生成していた。従って、立体画像撮像装置においては、被写体の各点から発せられる光線の方向を正しく取得しなければならない。これは、レンズ群を構成する各々のレンズ（微小凸レンズ）により生成される被写体の像（要素画像）が、高い解像度で撮像板に取得されなければいけないことを意味している。

しかし、撮像板の画素数は有限であるため、個々のレンズで撮像した被写体に割り当てられる画素数は非常に少ないものとなってしまう。例えば、撮像素子の画素数が１０００（水平）×１０００（垂直）画素であり、レンズ群を構成するレンズの数が５０（水平）×５０（垂直）個であったとすると、各々のレンズが生成する像を構成する画素数は２０（水平）×２０（垂直）画素と非常に少ない。

このため、従来の手法では、撮像対象の被写体が、レンズ群から離れた位置に存在する場合、個々の要素画像において被写体を認識するための十分な解像度を得ることができず、被写体の立体像を再生するために必要な立体情報（要素画像）を生成することができないという問題がある。

本発明は、以上のような課題を解決するためになされたものであり、少ない画素数の撮像板（撮像素子）であっても、解像度の高い立体情報（要素画像）を生成することが可能な立体情報生成装置および立体情報生成プログラムを提供することを目的とする。

本発明は、前記目的を達成するために創案されたものであり、まず、請求項１に記載の立体情報生成装置は、複数の要素レンズを介して被写体を撮像した要素画像を、インテグラルフォトグラフィにおける被写体の立体情報として生成する立体情報生成装置において、撮像面に複数の要素レンズを二次元状に配列するとともに、当該要素レンズに対向する位置に、被写体の光学像を撮像する第一撮像素子を設けた第一画像撮像部と、この第一画像撮像部の撮像面側に設けたハーフミラーを介して、当該ハーフミラーの反射光を集光する結像レンズを第一画像撮像部の撮像範囲外に設け、当該結像レンズに対向し撮像範囲が第一画像撮像部の要素レンズ全体の撮像範囲と同じになる位置に、第一画像撮像部より解像度の高い光学像を撮像する第二撮像素子を設けた第二画像撮像部と、を有する撮像部と、撮像部で撮像された光学像から、立体情報を生成する画像処理部と、を備える構成とし、さらに、画像処理部が、第一要素画像抽出手段と、第二要素画像抽出手段と、要素画像生成手段と、を備える構成とした。

かかる構成によれば、立体情報生成装置は、第一撮像素子によって、複数の要素レンズ（例えば、凸レンズ等）を介して、被写体の光学像を撮像する。この第一撮像素子で撮像された光学像は、インテグラルフォトグラフィにおける要素画像が複数撮像される像となる。また、立体情報生成装置は、撮像部の第一撮像素子によって、結像レンズ（例えば、凸レンズ等）を介して、被写体の光学像を撮像する。このとき、立体情報生成装置は、第一画像撮像部の撮像面側にハーフミラーを設けることで、被写体からの光を分割し、第一画像撮像部と第二画像撮像部とをそれぞれ離間させ、一方の画像撮像部を他方の画像撮像部の撮像範囲に入らないようにするとともに、それぞれの画像撮像部で、同一の被写体を同一の方向から撮像することができる。

また、第二撮像素子で撮像された光学像を、第一撮像素子で撮像された光学像よりも高い解像度としておくことで、第二撮像素子で撮像された光学像は、第一画像撮像部の中心の要素レンズで撮像した光学像よりも解像度が高くなり、解像度の高い要素画像として利用することができる。

そして、立体情報生成装置は、第一要素画像抽出手段によって、第一画像撮像部で撮像された要素レンズごとの光学像を被写体の第一要素画像として抽出する。そして、立体情報生成装置は、第二要素画像抽出手段によって、第二画像撮像部で撮像された光学像を第二要素画像として抽出する。

そして、立体情報生成装置は、要素画像生成手段によって、第一要素画像を第二要素画像の画像サイズに拡張し、第一要素画像に隣接する隣接要素画像との視差に相当する分だけ第二要素画像を順次シフトした画像により、拡張された第一要素画像を補完する。これによって、第二撮像素子の解像度で要素画像が順次生成され、第一撮像素子で撮像された要素画像に比べ、解像度の高い要素画像を立体情報として生成することができる。

また、請求項２に記載の立体情報生成装置は、請求項１に記載の立体情報生成装置において、要素画像生成手段が、視差検出手段と、視差拡張手段と、シフト処理手段と、補完処理手段と、を備える構成とした。

かかる構成によれば、立体情報生成装置は、視差検出手段によって、第一要素画像抽出手段で抽出された第一要素画像ごとに視差を検出する。そして、立体情報生成装置は、視差拡張手段によって、視差検出手段で検出された視差を、第二要素画像抽出手段で抽出された第二要素画像の画像サイズに拡張する。このように拡張された視差は、第二要素画像に対する視差として用いることができる。

そして、立体情報生成装置は、シフト処理手段によって、第二要素画像を中心要素画像とし、当該中心要素画像を、視差拡張手段で拡張された視差に基づいて順次シフトすることで、中心要素画像以外の拡張された要素画像であるシフト画像を生成する。

そして、立体情報生成装置は、画像拡張手段によって、第一要素画像を、第二要素画像の画像サイズに拡張することで拡張画像を生成する。そして、立体情報生成装置は、補完処理手段によって、画像拡張手段で生成された拡張画像を、シフト手段で生成されたシフト画像で補完することで、要素レンズを介して撮像された要素画像を拡張した立体情報を生成する。

さらに、請求項３に記載の立体情報生成装置は、請求項１または請求項２に記載の立体情報生成装置において、第一画像撮像部および第二画像撮像部が、被写体から第一画像撮像部の中央の要素レンズまでの光軸と、被写体から第二画像撮像部の結像レンズまでの光軸とを一致した状態で配置されている構成とした。

かかる構成によれば、立体情報生成装置は、第二画像撮像部によって、第一画像撮像部の中央の要素レンズを介して撮像された画像に対して、同一方向から撮像したさらに解像度を高めた画像を撮像することができる。これによって、立体情報生成装置は、立体情報となる複数の要素画像のうちで、中心の要素画像を高解像度化することができる。

また、請求項４に記載の立体情報生成プログラムは、撮像面に複数の要素レンズを二次元状に配列するとともに、当該要素レンズに対向する位置に、被写体の光学像を撮像する第一撮像素子を設けた第一画像撮像部と、この第一画像撮像部の撮像面側に設けたハーフミラーを介して、当該ハーフミラーの反射光を集光する結像レンズを第一画像撮像部の撮像範囲外に設け、当該結像レンズに対向し撮像範囲が前記第一画像撮像部の要素レンズ全体の撮像範囲と同じになる位置に、第一画像撮像部より解像度の高い光学像を撮像する第二撮像素子を設けた第二画像撮像部と、を備えた撮像部により撮像された被写体の光学像から、インテグラルフォトグラフィにおける被写体の立体情報を生成するために、コンピュータを、第一要素画像抽出手段、第二要素画像抽出手段、視差検出手段、視差拡張手段、シフト処理手段、補完処理手段、として機能させる構成とした。

かかる構成によれば、立体情報生成プログラムは、第一要素画像抽出手段によって、第一画像撮像部で撮像された要素レンズごとの光学像を被写体の第一要素画像として抽出する。そして、立体情報生成プログラムは、第二要素画像抽出手段によって、第二画像撮像部で撮像された光学像を第二要素画像として抽出する。

そして、立体情報生成プログラムは、視差検出手段によって、第一要素画像抽出手段で抽出された第一要素画像ごとに視差を検出する。そして、立体情報生成プログラムは、視差拡張手段によって、視差検出手段で検出された視差を、第二要素画像抽出手段で抽出された第二要素画像の画像サイズに拡張する。

そして、立体情報生成プログラムは、シフト処理手段によって、第二要素画像を中心要素画像とし、当該中心要素画像を、視差拡張手段で拡張された視差に基づいて順次シフトすることで、中心要素画像以外の拡張された要素画像であるシフト画像を生成する。

そして、立体情報生成プログラムは、画像拡張手段によって、第一要素画像抽出手段で抽出された第一要素画像を、第二要素画像の画像サイズに拡張することで拡張画像を生成する。そして、立体情報生成プログラムは、補完処理手段によって、画像拡張手段で生成された拡張画像を、シフト手段で生成されたシフト画像で補完することで、要素レンズを介して撮像された要素画像を拡張した立体情報を生成する。

本発明は、以下に示す優れた効果を奏するものである。
請求項１，２，４に記載の発明によれば、結像レンズを介して撮像された解像度の高い要素画像を基準として順次周辺の立体情報（要素画像）を生成するため、第一撮像素子の画素数が少ない場合であっても、インテグラルフォトグラフィにおける解像度の高い立体情報を生成することができる。このため、本発明によれば、撮像対象の被写体がレンズ群から離れた位置に存在する場合であっても、個々の要素画像の解像度を高くすることができ、高解像度の立体像を再生する立体情報を生成することができる。
また、本発明によれば、要素レンズを介して撮像された要素画像を拡張する際に、結像レンズを介して撮像された解像度の高い要素画像により補完するため、拡張された要素画像をより正確に再現することができる。

請求項３に記載の発明によれば、被写体から中央の要素レンズまでの光軸と、結像レンズまでの光軸とが一致しているため、中央の要素レンズを介して撮像された要素画像と、結像レンズを介して撮像された高解像度の要素画像とを、同一の被写体を同一の方向から撮像した画像とすることができる。これによって、本発明によれば、要素レンズを介して撮像された中央の要素画像を、結像レンズを介して撮像された解像度の高い要素画像で代替することができ、当該高解像度の要素画像を基準に順次周辺の要素画像を高解像度化することで、同一の被写体を同一方向から撮像した解像度の高い立体情報を生成することができる。

以下、本発明の実施の形態について図面を参照して説明する。
［立体情報生成装置の構成］
まず、図１を参照して、本発明に係る立体情報生成装置の構成について説明する。図１は、本発明の実施形態に係る立体情報生成装置の構成を示すブロック図である。

立体情報生成装置１は、複数の要素レンズを介して被写体を撮像した要素画像を、インテグラルフォトグラフィにおける被写体の立体情報として生成するものである。ここでは、立体情報生成装置１は、撮像部１０と、画像処理部２０とを備えている。

撮像部１０は、複数のレンズによって被写体Ｈを撮像するものであって、第一画像撮像部１１と、第二画像撮像部１２とを備えている。

第一画像撮像部１１は、複眼レンズ（同一平面状に配列された複数の凸レンズ〔要素レンズ１３〕）により、被写体Ｈの光学像を撮像するものである。例えば、第一画像撮像部１１は、図２に示すように、要素レンズ１３を縦横方向に交互に配置したデルタ配列で、第一画像撮像部１１の第一撮像素子１４の撮像面に配列する。この要素レンズ１３の数は、例えば、数千から数万個以上とする。なお、図２に示した要素レンズ１３の配列は、このデルタ配列に限定されるものではなく、例えば、正方格子状に配列することとしてもよい。この第一画像撮像部１１で撮像された画像は、画像処理部２０に出力される。

第二画像撮像部１２は、結像レンズ（例えば、凸レンズ）１７により、被写体Ｈの光学像を撮像するものである。なお、第二画像撮像部１２は、第一画像撮像部１１の撮像面の前面に設置したハーフミラー１５を介して、第一画像撮像部１１で撮像される撮像範囲と同一の撮像範囲を１つの結像レンズ１７を介して撮像する。この第二画像撮像部１２で撮像された画像は、画像処理部２０に出力される。

ここで、図３を参照して、撮像部１０の構成について詳細に説明する。図３は、本発明の実施形態に係る立体情報生成装置の撮像部の構成を示す概略上面図である。

第一画像撮像部１１は、撮像面に複眼レンズとして複数の要素レンズ１３を二次元状に配列するとともに、複数の要素レンズ１３に対向する位置に、被写体Ｈの光学像を撮像する第一撮像素子１４を設けている。この第一画像撮像部１１で撮像された画像には、第一撮像素子１４が撮像した要素画像が複数含まれることになる。なお、第一撮像素子１４は、素子全体を１つの撮像素子として構成したものであってもよいし、個々の要素レンズ１３に対応する位置に要素レンズ１３を介して光学像を撮像する微小な撮像素子（要素撮像素子：図示せず）を複数配列して構成してもよい。

第二画像撮像部１２は、ハーフミラー１５と、全反射ミラー１６と、結像レンズ１７と、第二撮像素子１８とを備えて構成している。

ハーフミラー１５は、被写体Ｈからの光を透過および反射することで分割するものである。このハーフミラー１５で透過した光は、第一撮像素子１４で撮像される。また、ハーフミラー１５で反射した光は第二撮像素子１８で撮像される。
全反射ミラー１６は、ハーフミラー１５から入射された光を結像レンズ１７に対して全反射するものである。

結像レンズ１７は、全反射ミラー１６で全反射された光を集光するものであって、例えば、凸レンズである。
第二撮像素子１８は、結像レンズ１７によって集光された光を光学像として撮像するものである。この第二画像撮像部１２で撮像された画像には、要素画像が１つ含まれることになる。

なお、第二画像撮像部１２は、被写体Ｈから第一画像撮像部１１の中央の要素レンズ１３ｃまでの光軸と、結像レンズ１７までの光軸とが一致した状態で配置されている。また、第二画像撮像部１２は、光がハーフミラー１５を透過して要素レンズ１３に至るまでの距離と、ハーフミラー１５で反射して結像レンズ１７に至るまでの距離とは、等しい状態で配置される。また、第二撮像素子１８は、第一撮像素子１４よりも解像度が高いものとする。さらに、第二画像撮像部１２は、撮像範囲が第一画像撮像部１１の撮像範囲と同じになる位置に、第二撮像素子１８を配置している。

ここで、さらに、図４を参照（適宜図３参照）して、第一画像撮像部１１と第二画像撮像部１２とを、撮像範囲が同じになるように配置するための位置関係について説明する。図４は、第一画像撮像部と第二画像撮像部との位置関係を説明するための説明図である。なお、図４では、要素レンズ１３のレンズ群上に結像レンズ１７を仮想的に重畳した状態を示している。

図４に示すように、第一画像撮像部１１と第二画像撮像部１２との撮像範囲を同一にするには、第一画像撮像部１１の両端の要素レンズ１３Ｌ，１３Ｒが撮像する範囲と、第二画像撮像部１２の結像レンズ１７が撮像する範囲とが同一であればよい。

ここで、１つの要素レンズ１３によって第一撮像素子１４で撮像される画像の範囲をＷ_１、要素レンズ１３から第一撮像素子１４までの距離をｇ_１とすると、要素レンズ１３の画角θ_１は、以下の（１）式で表わすことができる。
θ_１＝２ＡｒｃＴａｎ（（Ｗ_１／２）ｇ_１） …（１）式

従って、要素レンズ１３のピッチをｐ、要素レンズ１３の数（ここでは、水平方向の数）をｋとしたとき、要素レンズ１３から距離Ｌに存在する被写体空間における第一画像撮像部１１の撮像範囲Ｗ_ａｌｌは、以下の（２）式で表わすことができる。
Ｗ_ａｌｌ＝（ｋ−１）ｐ＋Ｌθ_１ …（２）式

一方、結像レンズ１７によって第二撮像素子１８で撮像される画像の範囲をＷ_２、結像レンズ１７から第二撮像素子１８までの距離をｇ_２とすると、結像レンズ１７の画角θ_２は、以下の（３）式で表わすことができる。
θ_２＝２ＡｒｃＴａｎ（（Ｗ_２／２）ｇ_２） …（３）式

従って、結像レンズ１７から距離Ｌに存在する被写体空間における第二画像撮像部１２の撮像範囲Ｗ_ｏｂｊは、以下の（４）式で表わすことができる。
Ｗ_ｏｂｊ＝Ｌθ_２ …（４）式

よって、第一画像撮像部１１の撮像範囲Ｗ_ａｌｌと、第二画像撮像部１２の撮像範囲Ｗ_ｏｂｊとを同一にするには、前記（１）〜（４）式より、結像レンズ１７から第二撮像素子１８までの距離ｇ_２を以下の（５）式に示した距離にすればよい。

このように、第二画像撮像部１２は、結像レンズ１７から距離Ｌの位置にフォーカスさせた状態で被写体を撮像する。なお、ここでは、結像レンズ１７として凸レンズを例として図示しているが、距離Ｌが変化した場合であっても、距離ｇ_２が前記（５）式を満足するためには、結像レンズ１７としてズームレンズを用いればよい。また、結像レンズ１７には、図示を省略した開口絞り機構を備えることとしてもよい。

また、ここでは、撮像部１０を、ハーフミラー１５で反射された光を全反射ミラー１６によって反射させることで、結像レンズ１７を介して第二撮像素子１８で光学像を撮像する構成としたが、第二画像撮像部１２を、ハーフミラー１５で反射された光の光路に対して垂直に配置することで、全反射ミラー１６を省略して構成してもよい。

これによって、第二画像撮像部１２は、第一画像撮像部１１の撮像範囲の画像を高解像度で撮像することができる。図１に戻って、立体情報生成装置の構成について説明を続ける。なお、撮像部１０の構成については、適宜図３を参照することとする。

画像処理部２０は、撮像部１０で撮像された光学像から、インテグラルフォトグラフィにおける被写体Ｈの立体情報（要素画像）を生成するものである。ここでは、画像処理部２０は、第一要素画像抽出手段２１と、第二要素画像抽出手段２２と、要素画像生成手段２３とを備えている。

第一要素画像抽出手段２１は、第一画像撮像部１１の第一撮像素子１４で撮像された光学像から、所定領域ごとに被写体Ｈの要素画像（第一要素画像）を抽出する（切り出す）ものである。この所定領域とは、要素レンズ１３ごとに対応する画像領域であって、その画素数は、第一撮像素子１４の解像度によって予め定めておく。なお、第一要素画像抽出手段２１は、抽出する要素画像を、円形領域として抽出してもよいし、矩形、六角形等の形状の領域として抽出してもよい。また、第一要素画像抽出手段２１は、第一撮像素子１４が要素レンズ１３ごとに対応した要素撮像素子（図示せず）で構成されている場合は、個々の要素撮像素子が撮像した画像を要素画像として抽出することとしてもよい。

また、ここでは、第一要素画像抽出手段２１は、抽出した要素画像を、各々の画像中心に対して点対称となるように反転処理を行うこととする。これによって、要素画像を表示する際の奥行きの逆転表示を防止することができる。この第一要素画像抽出手段２１で抽出された要素画像は、図示を省略したメモリ等の記憶手段に記憶され、要素画像生成手段２３によって参照される。

第二要素画像抽出手段２２は、第二画像撮像部１２の第二撮像素子１８で撮像された光学像から、所定領域を被写体Ｈの要素画像（第二要素画像）として抽出する（切り出す）ものである。なお、この第二要素画像は、撮像部１０の中心に配置されている要素レンズ１３ｃ（図３参照）を介して撮像された要素画像を、高解像度化した画像に相当する。具体的には、図４で説明した要素レンズ１３から第一撮像素子１４までの距離をｇ_１、結像レンズ１７から第二撮像素子１８までの距離をｇ_２とした際に、第二要素画像抽出手段２２は、図５に示すように、第一要素画像抽出手段２１で抽出した要素画像の大きさ（例えば、水平画素数）Ｗ_Ｓに対し、以下の（６）式で表される大きさＷ_Ｌの領域を第二撮像素子１８で撮像された光学像から切り出す。
Ｗ_Ｌ＝Ｗ_Ｓ（ｇ_２／ｇ_１） …（６）式

なお、図５では、第二要素画像抽出手段２２が、要素画像を円形領域で抽出する例を示しているが、矩形、六角形等の形状の領域として抽出してもよく、第一要素画像抽出手段２１で抽出される要素画像と同一（相似形）の領域を抽出することとする。

また、ここでは、第二要素画像抽出手段２２は、抽出した要素画像を、各々の画像中心に対して点対称となるように反転処理を行うこととする。これによって、要素画像を表示する際の奥行きの逆転表示を防止することができる。

この第二要素画像抽出手段２２で抽出された要素画像は、図示を省略したメモリ等の記憶手段に記憶され、高解像度化された中心要素画像（中心高解像度要素画像）として、要素画像生成手段２３によって参照される。

要素画像生成手段２３は、第一要素画像抽出手段２１で抽出された要素画像と、第二要素画像抽出手段２２で抽出された要素画像（中心高解像度要素画像）とに基づいて、すべての要素画像を、中心高解像度要素画像と同じ解像度の要素画像（高解像度要素画像）に変換するものである。ここでは、要素画像生成手段２３は、視差情報生成手段２３１と、拡張要素画像生成手段２３２とを備えている。

視差情報生成手段２３１は、撮像部１０における第一画像撮像部１１の要素レンズ間の視差を、第二要素画像抽出手段２２で抽出した中心高解像度要素画像の画像サイズに対応した視差として生成するものである。ここでは、視差情報生成手段２３１は、視差検出手段２３１ａと、視差拡張手段２３１ｂとを備えている。

視差検出手段２３１ａは、第一要素画像抽出手段２１で抽出された要素画像の隣接する要素画像ごとに、そのずれを示す視差を画素単位で検出するものである。この視差は、ブロックマッチング等により求めることができる。

この視差検出手段２３１ａは、複数の要素レンズ１３のうちで、左右方向で中心となる要素レンズを基準に左方向、右方向に順次隣接する要素レンズをずらして視差を検出する。なお、視差検出手段２３１ａは、左右方向の中心の要素レンズのうちで上下方向に隣接する要素レンズについては、上下左右で中心となる要素レンズに対して、上下方向に隣接する要素レンズとの視差を、順次要素レンズを上下方向にずらして検出しておくこととする。

視差拡張手段２３１ｂは、視差検出手段２３１ａで検出された画素ごとの視差を、第二要素画像抽出手段２２で抽出された中心高解像度要素画像の画像サイズに対する視差に拡張するものである。すなわち、視差拡張手段２３１ｂは、中心高解像度要素画像の画像サイズ分の画像データ内に前記（６）式に応じた割合で画素ごとの視差を割り当てることで拡張した視差（拡張視差）を生成する。この視差拡張手段２３１ｂで生成された拡張視差は、図示を省略したメモリ等の記憶手段に記憶され、拡張要素画像生成手段２３２によって参照される。

ここで、図６を参照（適宜図１参照）して、視差情報生成手段２３１の視差情報を生成する手法について説明する。図６は、視差情報生成手段が視差情報を生成する手法を模式的に示した説明図である。図６に示すように、視差検出手段２３１ａは、隣接する要素画像（ａ），（ｂ）のずれを、（ｃ）に示す視差画像として生成し、そのずれ方向とともに視差情報とする。なお、このずれ方向は画素ごとに対応付けておくこととする。

そして、視差拡張手段２３１ｂは、（ｃ）に示した視差画像を、中心高解像度要素画像の画像サイズの視差画像に拡張する。例えば、中心高解像度要素画像が、第一要素画像抽出手段２１で抽出された要素画像の４倍の画素で構成されている場合、図６に示すように、視差拡張手段２３１ｂは、画素ごとの視差を４倍の画素位置に割り当てる。

そして、視差拡張手段２３１ｂは、それぞれの画素位置に割り当てた視差を、画像サイズに応じて変更する。例えば、中心高解像度要素画像が第一要素画像抽出手段２１で抽出された要素画像の縦横ともに２倍の画素数を有している場合、図６に示すように、視差拡張手段２３１ｂは、画素ごとの視差を縦横ともに２倍することで、（ｄ）に示した拡張視差画像（拡張視差情報）を生成する。これによって、視差検出手段２３１ａで検出された視差が、中心高解像度要素画像の画像サイズに対する視差画像に拡張されたことになる。図１に戻って、立体情報生成装置の構成について説明を続ける。

拡張要素画像生成手段２３２は、第一要素画像抽出手段２１で抽出された要素画像から高解像度化した画像（高解像度要素画像）を生成するものである。なお、この拡張要素画像生成手段２３２は、第二要素画像抽出手段２２で抽出された要素画像（中心高解像度要素画像）を基準に、順次、周辺に隣接する拡張された要素画像を生成する。ここでは、拡張要素画像生成手段２３２は、シフト処理手段２３２ａと、画像拡張手段２３２ｂと、補完処理手段２３２ｃと、内挿処理手段２３２ｄとを備えている。

シフト処理手段２３２ａは、高解像度化された要素画像の各画素を、視差拡張手段２３１ｂで拡張された視差情報に基づいて視差分だけシフトすることで、隣接する拡張された要素画像（シフト画像）を生成するものである。なお、このシフト処理手段２３２ａは、第二要素画像抽出手段２２で抽出された中心要素画像（中心高解像度要素画像）を基準に、順次、シフト処理を行う。

画像拡張手段２３２ｂは、第一要素画像抽出手段２１で抽出された要素画像を、第二要素画像抽出手段２２で抽出された中心高解像度要素画像の画像サイズに拡張することで拡張画像を生成するものである。すなわち、画像拡張手段２３２ｂは、第一要素画像抽出手段２１で抽出された要素画像を、中心高解像度要素画像の画像サイズ分の画像データ内に前記（６）式に応じた割合で割り当てることで拡張画像を生成する。なお、この段階では、拡張画像は割り当てられなかった画素は、欠落した状態となっている。

補完処理手段２３２ｃは、画像拡張手段２３２ｂで生成された拡張された要素画像において、欠落している画素を、シフト処理手段２３２ａによって生成されたシフト画像で補完するものである。

内挿処理手段２３２ｄは、補完処理手段２３２ｃによっても、まだ補完されない画素について、欠落した画素を、内挿によって埋めるものである。この内挿処理手段２３２ｄは、欠落した画素の画素値を、例えば、周辺の画素値を線形内挿処理することによって求める。なお、補完処理手段２３２ｃによっても補完されない画素とは、例えば、補完すべき画素に対応するシフト処理手段２３２ａによって生成された高解像度要素画像の画素が、シフト処理によって存在していない画素となっている場合である。

ここで、図７を参照（適宜図１参照）して、拡張要素画像生成手段２３２が行う処理について具体的に説明する。図７は、拡張要素画像生成手段が、ある高解像度化された要素画像に隣接する要素画像を生成する仕組みを説明するための説明図である。なお、図７の（ａ）〜（ｄ）には、図６で説明した視差情報生成手段２３１の拡張視差情報を生成する処理を併せて記載している。

図７に示すように、拡張要素画像生成手段２３２は、まず、シフト処理手段２３２ａによって、（ｄ）の拡張視差情報の差分領域において「左方向に２画素」の視差を有していることを意味している場合、（ｅ）に示したすでに高解像度化された要素画像の各画素において、（ｄ）の拡張視差情報の差分領域に対応する領域を左方向に２画素分シフトすることで、（ｆ）に示す隣接する拡張された要素画像を生成する。

なお、シフト処理手段２３２ａは、例えば、拡張視差情報において、図８に示すように、拡張視差画像の右端において「左方向に２画素」のような視差を有している場合、第二画像撮像部１２で撮像した画像のうちで、中心高解像度要素画像の外側から画像をシフトすることとする。

そして、拡張要素画像生成手段２３２は、画像拡張手段２３２ｂによって、（ｂ）に示した第一要素画像抽出手段２１で抽出された要素画像の各画素を、中心高解像度要素画像の画像サイズ分の画像データ内に前記（６）式に応じた割合で割り当てることで（ｇ）に示した拡張画像を生成する。なお、例えば、中心高解像度要素画像が、第一要素画像抽出手段２１で抽出された要素画像の４倍の画素で構成されている場合、（ｇ）に示すように、拡張画像は全画素の４分の１だけが割り当てられ、４分の３の画素が欠落した状態となっている。

そして、補完処理手段２３２ｃは、欠落している４分の３の画素について、シフト処理手段２３２ａで生成された（ｆ）に示した高解像度要素画像のうちの対応する画素を割り当て、（ｇ）の拡張画像に対して補完を行うことで、（ｈ）に示す高解像度要素画像を生成する。このように、補完処理手段２３２ｃは、シフト処理手段２３２ａで生成された（ｆ）に示す要素画像よりも、画像拡張手段２３２ｂで生成された（ｇ）に示す拡張画像を優先して画素を割り当てることで、より精度の高い要素画像を生成することができる。なお、この補完処理によっても、欠落した画素が存在する場合は、内挿処理手段２３２ｄによって画像が補完される。

これによって、拡張要素画像生成手段２３２は、第一要素画像抽出手段２１で抽出された要素画像を、第二要素画像抽出手段２２で抽出された中心高解像度要素画像の解像度に合わせて高解像度化し、高解像度要素画像〔立体情報〕を生成することができる。

以上説明したように、立体情報生成装置１は、第二画像撮像部１２に設けた結像レンズによって、要素レンズで撮像した要素画像よりも解像度の高い要素画像を基準として、すべての要素画像を高解像度化することができる。これによって、立体情報生成装置１は、要素レンズで撮像された要素画像の解像度が低い場合であっても、被写体の立体像を再生するために必要な立体情報すべての要素画像を高解像度化することができる。

なお、立体情報生成装置１の画像処理部２０は、図示を省略したＣＰＵやメモリを搭載した一般的なコンピュータで実現することができる。このとき、立体情報生成装置１の画像処理部２０は、コンピュータを前記した各手段として機能させる立体情報生成プログラムによって動作する。

［立体情報生成装置の動作］
次に、図９，１０を参照（構成については、適宜図１，３参照）して、本発明に係る立体情報生成装置の動作について説明する。図９は、本発明の実施形態に係る立体情報生成装置の全体動作を示すフローチャートである。図１０は、本発明の実施形態に係る立体情報生成装置の要素画像生成手段の動作を示すフローチャートである。

〔全体動作〕
まず、立体情報生成装置１は、撮像部１０によって、被写体Ｈを撮像する（ステップＳ１）。具体的には、このステップＳ１において、立体情報生成装置１の撮像部１０は、第一画像撮像部１１の複数の微小な凸レンズ〔要素レンズ１３〕を介して、第一撮像素子１４によって、被写体Ｈの光学像を撮像する。また、立体情報生成装置１の撮像部１０は、第二画像撮像部１２の結像レンズ１７を介して、第二撮像素子１８によって、被写体Ｈの光学像を撮像する。

その後、立体情報生成装置１は、画像処理部２０において、撮像部１０で撮像された光学像から、被写体の立体情報を生成する。
まず、立体情報生成装置１は、第一要素画像抽出手段２１によって、ステップＳ１で第一撮像素子１４により撮像された光学像から、要素レンズ１３ごとに対応する画像を切り出し、その切り出した画像を、中心に対して点対称となるように反転処理を行うことで、要素画像として抽出する（ステップＳ２）。このステップＳ２で抽出された要素画像は、要素レンズ１３の数だけ複数抽出されることになる。

また、立体情報生成装置１は、第二要素画像抽出手段２２によって、ステップＳ１で第二撮像素子１８により撮像された光学像から、要素レンズ１３から第一撮像素子１４までの距離と、結像レンズ１７から第二撮像素子１８までの距離との比に応じて、前記（６）式に示した大きさの画像を切り出し、その切り出した画像を、中心に対して点対称となるように反転処理を行うことで、要素画像（高解像度要素画像）として抽出する（ステップＳ３）。

このステップＳ３で抽出された高解像度要素画像は、ステップＳ２で抽出された要素画像よりも解像度が高いものとなる。また、ステップＳ３で抽出された高解像度要素画像は、撮像部１０の中央の要素レンズで撮像された要素画像を高解像度化した画像（中心高解像度要素画像）に相当する。なお、ステップＳ２およびステップＳ３は、この順番で動作する必要はなく、順序を変えて動作させてもよいし、並列して動作させてもよい。

そして、立体情報生成装置１は、要素画像生成手段２３によって、ステップＳ２で抽出された複数の要素画像と、ステップＳ３で抽出された中心高解像度要素画像とに基づいて、すべての要素画像を、中心高解像度要素画像と同じ解像度の要素画像（高解像度要素画像）に変換する（高解像度化処理：ステップＳ４）。このステップＳ４の高解像度化処理については、図１０を参照して詳細に説明する。

〔高解像度化処理〕
まず、立体情報生成装置１は、視差情報生成手段２３１の視差検出手段２３１ａによって、ステップＳ２（図９）で抽出された各要素画像に隣接する要素画像ごとに、そのずれを示す視差（視差情報）を画素単位で検出する（ステップＳ１１）。

そして、立体情報生成装置１は、視差拡張手段２３１ｂによって、ステップＳ１１で検出された視差情報を、ステップＳ３（図９）で抽出された高解像度要素画像の画像サイズに対する視差に拡張することで、拡張視差を生成する（ステップＳ１２）。

その後、立体情報生成装置１は、拡張要素画像生成手段２３２のシフト処理手段２３２ａによって、拡張対象に隣接するすでに拡張されている高解像度要素画像の各画素を、ステップＳ１２で拡張された視差（拡張視差）に基づいて視差分だけシフトすることで、隣接したシフト画像を生成する（ステップＳ１３）。

そして、立体情報生成装置１は、画像拡張手段２３２ｂによって、ステップＳ２（図９）で抽出された要素画像のうちで、すでに高解像度化された要素画像に隣接する要素画像を拡張対象として、中心高解像度要素画像の画像サイズに拡張することで、拡張画像を生成する（ステップＳ１４）。

そして、立体情報生成装置１は、補完処理手段２３２ｃによって、ステップＳ１４で生成された拡張画像において、欠落している画素を、ステップＳ１３で生成されたシフト画像で補完する（ステップＳ１５）。なお、このとき、立体情報生成装置１は、ステップＳ１５において、補完されなかった画素については、内挿処理手段２３２ｄによって、内挿によって画素を補完する。

ここで、立体情報生成装置１は、拡張要素画像生成手段２３２によって、ステップＳ２（図９）で抽出された要素画像をすべて高解像度化したか否かを判定する（ステップＳ１６）。そして、立体情報生成装置１は、高解像度要素画像をすべて生成した場合（ステップＳ１６でＹｅｓ）には、動作を終了する。

一方、ステップＳ２（図９）で抽出された要素画像をすべて高解像度要素画像としていない場合（ステップＳ１６でＮｏ）には、立体情報生成装置１は、ステップＳ１２に戻って、すでに生成した高解像度要素画像に隣接する要素画像を生成対象として、すべての要素画像について順次高解像度化する。

以上の動作によって、立体情報生成装置１は、要素レンズ１３を介して撮像された要素画像を、結像レンズ１７を介して撮像された高解像度の要素画像に基づいて高解像度化することができる。これによって、立体情報生成装置１は、第一画像撮像部１１の第一撮像素子１４における個々の要素画像の解像度が低い場合であっても、要素画像を高解像度化することができ、インテグラルフォトグラフィ方式における高精細な立体像を再生することが可能な立体情報（要素画像）を生成することができる。

本発明の実施形態に係る立体情報生成装置の構成を示すブロック図である。 要素レンズの配置を説明するため第一画像撮像部の正面図である。 本発明の実施形態に係る立体情報生成装置の撮像部の構成を示す概略上面図である。 第一画像撮像部と第二画像撮像部との位置関係を説明するための説明図である。 第一要素画像抽出手段で抽出された要素画像と、第二要素画像抽出手段で抽出された要素画像の関係を説明するための説明図である。 視差情報生成手段が視差情報を生成する手法を模式的に示した説明図である。 拡張要素画像生成手段が、ある高解像度化された要素画像に隣接する要素画像を生成する仕組みを説明するための説明図である。 視差情報の他の例を示す図である。 本発明の実施形態に係る立体情報生成装置の全体動作を示すフローチャートである。 本発明の実施形態に係る立体情報生成装置の要素画像生成手段の動作を示すフローチャートである。 従来のＩＰ方式の概念を説明するための説明図であって、（ａ）は撮像時、（ｂ）は表示時の状態を示している。

符号の説明

１ 立体情報生成装置
１０ 撮像部
１１ 第一画像撮像部
１２ 第二画像撮像部
１３ 要素レンズ
１４ 第一撮像素子
１５ ハーフミラー
１６ 全反射ミラー
１７ 結像レンズ
１８ 第二撮像素子
２０ 画像処理部
２１ 第一要素画像抽出手段
２２ 第二要素画像抽出手段
２３ 要素画像生成手段
２３１ 視差情報生成手段
２３１ａ 視差検出手段
２３１ｂ 視差拡張手段
２３２ 拡張要素画像生成手段
２３２ａ シフト処理手段
２３２ｂ 画像拡張手段
２３２ｃ 補完処理手段
２３２ｄ 内挿処理手段

Claims (4)

1. 複数の要素レンズを介して被写体を撮像した要素画像を、インテグラルフォトグラフィにおける前記被写体の立体情報として生成する立体情報生成装置において、
   撮像面に前記複数の要素レンズを二次元状に配列するとともに、当該要素レンズに対向する位置に、前記被写体の光学像を撮像する第一撮像素子を設けた第一画像撮像部と、
   この第一画像撮像部の撮像面側に設けたハーフミラーを介して、当該ハーフミラーの反射光を集光する結像レンズを前記第一画像撮像部の撮像範囲外に設け、当該結像レンズに対向し撮像範囲が前記第一画像撮像部の要素レンズ全体の撮像範囲と同じになる位置に、前記第一画像撮像部より解像度の高い光学像を撮像する第二撮像素子を設けた第二画像撮像部と、を有する撮像部と、
   前記撮像部で撮像された光学像から、前記立体情報を生成する画像処理部と、を備え、
   前記画像処理部は、
   前記第一画像撮像部で撮像された前記要素レンズごとの光学像を前記被写体の第一要素画像として抽出する第一要素画像抽出手段と、
   前記第二画像撮像部で撮像された光学像を第二要素画像として抽出する第二要素画像抽出手段と、
   前記第一要素画像を前記第二要素画像の画像サイズに拡張し、前記第一要素画像に隣接する隣接要素画像との視差に相当する分だけ前記第二要素画像を順次シフトした画像により前記拡張された第一要素画像を補完することで、前記立体情報を生成する要素画像生成手段と、
   を備えることを特徴とする立体情報生成装置。
2. 前記要素画像生成手段は、
   前記第一要素画像抽出手段で抽出された第一要素画像ごとに視差を検出する視差検出手段と、
   この視差検出手段で検出された視差を、前記第二要素画像抽出手段で抽出された第二要素画像の画像サイズに拡張する視差拡張手段と、
   前記第二要素画像を中心要素画像とし、当該中心要素画像を、前記視差拡張手段で拡張された視差に基づいて順次シフトすることで、周辺方向の拡張された要素画像であるシフト画像を生成するシフト処理手段と、
   前記第一要素画像を、前記第二要素画像の画像サイズに拡張することで拡張画像を生成する画像拡張手段と、
   この画像拡張手段で生成された拡張画像を、前記シフト手段で生成されたシフト画像で補完することで、前記要素レンズを介して撮像された要素画像を拡張した前記立体情報を生成する補完処理手段と、
   を備えることを特徴とする請求項１に記載の立体情報生成装置。
3. 前記第一画像撮像部および前記第二画像撮像部は、
   前記被写体から前記第一画像撮像部の中央の要素レンズまでの光軸と、前記被写体から前記第二画像撮像部の結像レンズまでの光軸とを一致した状態で配置されていることを特徴とする請求項１または請求項２に記載の立体情報生成装置。
4. 撮像面に複数の要素レンズを二次元状に配列するとともに、当該要素レンズに対向する位置に、被写体の光学像を撮像する第一撮像素子を設けた第一画像撮像部と、この第一画像撮像部の撮像面側に設けたハーフミラーを介して、当該ハーフミラーの反射光を集光する結像レンズを前記第一画像撮像部の撮像範囲外に設け、当該結像レンズに対向し撮像範囲が前記第一画像撮像部の要素レンズ全体の撮像範囲と同じになる位置に、前記第一画像撮像部より解像度の高い光学像を撮像する第二撮像素子を設けた第二画像撮像部と、を備えた撮像部により撮像された被写体の光学像から、インテグラルフォトグラフィにおける前記被写体の立体情報を生成するために、コンピュータを、
   前記第一画像撮像部で撮像された前記要素レンズごとの光学像を前記被写体の第一要素画像として抽出する第一要素画像抽出手段、
   前記第二画像撮像部で撮像された光学像を第二要素画像として抽出する第二要素画像抽出手段、
   前記第一要素画像抽出手段で抽出された第一要素画像ごとに視差を検出する視差検出手段、
   この視差検出手段で検出された視差を、前記第二要素画像抽出手段で抽出された第二要素画像の画像サイズに拡張する視差拡張手段、
   前記第二要素画像を中心要素画像とし、当該中心要素画像を、前記視差拡張手段で拡張された視差に基づいて順次シフトすることで、周辺方向の拡張された要素画像であるシフト画像を生成するシフト処理手段、
   前記第一第一要素画像を、前記第二要素画像の画像サイズに拡張することで拡張画像を生成する画像拡張手段、
   この画像拡張手段で生成された拡張画像を、前記シフト手段で生成されたシフト画像で補完することで、前記要素レンズを介して撮像された要素画像を拡張した前記立体情報を生成する補完処理手段、
   として機能させることを特徴とする立体情報生成プログラム。

Images