JP4377557B2 - 立体画像撮影装置 - Google Patents
立体画像撮影装置 Download PDFInfo
- Publication number
- JP4377557B2 JP4377557B2 JP2001194155A JP2001194155A JP4377557B2 JP 4377557 B2 JP4377557 B2 JP 4377557B2 JP 2001194155 A JP2001194155 A JP 2001194155A JP 2001194155 A JP2001194155 A JP 2001194155A JP 4377557 B2 JP4377557 B2 JP 4377557B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- lens
- images
- element image
- missing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、立体画像装置に関し、特に、インテグラルフォトグラフィ（integral photography（ＩＰ））方式を応用した立体画像撮影装置に関する。
【０００２】
【従来の技術】
任意の視点から観察することができる立体テレビジョン方式の一つとして、平面状あるいは球面状に配列されたレンズ群を用いたいわゆるインテグラルフォトグラフィ方式が知られている。この方式を用いた高解像度の動画を撮影する手法について説明する。
図１１は、インテグラルフォトグラフィ（以下、ＩＰという）方式の立体画像の原理を示す模式図である。図１１を参照して、ＩＰ方式の原理について説明する。図１１に示すように、同一平面上に配置された複数の凸レンズ３１1，３１2，３１3，…３１nからなるレンズ群３１の後部に写真フィルム３２を配置し、レンズ群３１の前に置いた被写体３０を撮影すると、写真フィルム３２には各凸レンズ３１1，３１2，３１3，…３１nにより被写体３０の要素画像３２1，３２2，３２3，…３２nが結像し、撮影される。
次に、撮影後に現像することにより得られた要素画像を、レンズ群３１に対して撮影時と同じ位置に配置し、この状態でレンズ群３１の前方から前記要素画像を見ると、立体再生画像を観察できる。
【０００３】
次に、ＩＰ方式を応用した立体画像の撮影装置を、図１２および図１３を参照して説明する。図１２は、ＩＰ方式において要素撮影素子とレンズの関係を示す模式図であり、図１３は、図１２のＡ−Ａ断面図である。
図１２に示すように、一つのウェハ３５上に、写真フィルム３２の代わりに要素撮像素子３４を設けると、撮像面積が大きく画素数も極めて多い撮像手段が得られる。そして、この要素撮像素子３４群の前面にレンズ群が配設される。したがって、図１２に示すように、個々の要素レンズ３３は要素撮像素子３４に対向して設けられている。
なお、図１２は、要素撮像素子３４及び要素レンズ３３が縦に４個、横に５個配列され、各要素撮像素子３４に要素画像Ｄ１１〜Ｄ４５が形成される例を示しているが、実際の要素撮像素子３４及び要素レンズ３３は、例えば、千個から二千個程設置される。
図１２、図１３において、要素レンズ３３は、光ファイバを用いて作製されており、図１１のレンズ群３１に相当する。また、ウェハ３５上の要素撮像素子３４は、図１１の写真フィルム３２に相当する。
【０００４】
以上のような構成において、要素撮像素子３４が充分高精細な画素数で構成されていれば、解像度の高い立体画像の動画を撮影することができる。そして、撮影により得られた画像を、要素レンズ３３からなるレンズ群に対して撮影時と同じ位置に配置し、その状態においてレンズ群の前方からその画像を見ると、立体画像の再生像を観察することができる。
【０００５】
図１４は、前記したレンズ群を用いて実現されるインテグラルフォトグラフィを応用した立体画像の撮影から表示までを示す全体概念図である。図１４に示すように、撮影装置４２は、凸レンズ４３と複眼レンズ４４とテレビカメラ４５により構成し、表示装置４６は液晶パネル４７と複眼レンズ４８から構成されている。被写体４１の像は、凸レンズ４３を用いて撮影し、光ファイバを束ねた複眼レンズ４４の端面４４ａに結像されるので、テレビカメラ４５はこの像をもう一方の端面４４ｂを通して撮影する。テレビカメラ４５に撮影された像は、光ファイバの一つ一つに写し出された像が要素画像となり、液晶パネル４７に表示される。液晶パネル４７にも撮影レンズと同じ位置関係で複眼レンズ４８が貼付されており、この複眼レンズ４８を通して画像を観察することにより、特殊なメガネをかけることなく、回り込んで見られる立体画像４１´を観察することができる。この複眼レンズ４８上の画像の一例を図１５に示す。
図１５は、その画像の一部を拡大した拡大図である。図１５に示すように、複眼レンズ４８の個々のレンズに写った画像が要素画像であり、個々の要素画像は被写体を少しずつ違う角度から撮影したように、要素画像の違いが判る。
【０００６】
このように、インテグラルフォトグラフィ（ＩＰ）では、観察者が回り込んで見ると、回りこんだ方向の画像を観察することができるが、その範囲は図１４から判るように、カメラ４５を覗き込んだ複眼レンズ４４の範囲内に限られる。つまり、要素画像の数とその分布により決まる。したがって、回り込める範囲を大きくしようとすると、束ねるレンズ群の総数を多くして複眼レンズ４４を大きくする必要がある。しかし、設計上、強度上、構造上に限界があり、ある範囲（要素レンズの設置数は、約二千個）以上は大きくすることができないため、レンズ群をブロックに分けてレンズブロックとし、レンズブロックを束ねることでレンズ群の総数を多くして等価的に大きなレンズにする方法が用いられている。
【０００７】
【発明が解決しようとする課題】
しかしながら、レンズ群をブロックに分け、レンズブロックを結束して接合する方法では、レンズブロックを接合した継ぎ目部分の位置にはレンズが装着できないため、接合部の継ぎ目部分に要素画像の欠けが生じることになり、良好な画像を得ることができないという問題があった。また、継ぎ目部分の要素画像に欠けのない立体画像の撮影ができたとしても、要素レンズブロックのずれ量が、各要素レンズ間の距離の整数倍にすることを前提として生成しているため、接合面の研磨精度や接着剤の収縮により、整数倍にできない場合には、本来の位置からずれた位置に要素画像が表示されることになり、再生される立体像に歪みが生じるという問題があった。
【０００８】
そこで、本発明は、レンズブロックを結束した接合部の継ぎ目部分に要素画像の欠けのない画像を得ることができる立体画像撮影装置を提供することを課題とする。また、接合面の研磨精度や接着剤の収縮により、要素レンズブロック間のずれに伴う歪みを除去するために要素画像の位置を補正し、歪みによるずれのない要素画像が表示できる立体画像撮影装置を提供することを課題とする。
【０００９】
【課題を解決するための手段】
請求項１記載の本発明は、前記課題の問題点を解決するために創案された立体画像撮影装置であって、インテグラルフォトグラフィ方式を用いて立体画像を撮影する立体画像撮影装置において、被写体を撮像する凸レンズと、複数のレンズからなる要素レンズブロックを複数接合して構成される撮影用複眼レンズ部と、前記撮影用複眼レンズ部の端面に結像された画像を撮像する撮像部と、前記撮像部によって撮影された要素画像の中で、要素レンズブロックの接合部により欠けた要素画像を補間する画像補間処理部とからなり、前記画像補間処理部の画像を補間する手段として、前記接合部において欠けた要素画像中の画素値を算出して画素を生成して補間する第１の補間手段、及び／又は、接合部により欠けた要素画像の回転角を算出して画素を生成して補間する第２の補間手段により補間することを特徴とする。
【００１０】
請求項１記載の発明によれば、レンズ群からなる要素レンズブロックを結束して接合したことにより生じる継ぎ目部分の接合部は、格子状を形成し、この接合部にはレンズが装着できないことから生じる格子状の要素画像の欠けは、画像補間処理部が画像を補間する手段、つまり、接合部において欠けた要素画像中の画素値を算出して画素を生成して補間する第１の補間手段、及び／又は、接合部により欠けた要素画像の回転角を算出して画素を生成して補間する第２の補間手段を実行して、すべての要素画像中の画素値を求めることによって、要素画像の欠け部の画素を生成して補間することができるので、接合部の継ぎ目部分に要素画像の欠けのない良好な立体画像を得ることができる。
【００１１】
請求項２に記載された発明は、請求項１に記載の立体画像撮影装置であって、前記第１の補間手段は、等間隔に配列された要素画像の中、欠落している要素画像の要素値を算出する手段は、連続する要素画像ａ，ｂ，ｃのうち、欠けている要素画像ｂを補間する場合には、式（１）を用い、連続する要素画像ｄ，ｅ，ｆ，ｇのうち、欠けている要素画像ｅ、ｆを要素画像ｄ、ｇで補間する場合には、式（２）、（３）を用いることを特徴とする。
ｂij＝（aij＋cij）／２ …（１）
ｅij＝（２×ｄij＋ｇij）／３ …（２）
ｆij＝（ｄij＋２×ｇij）／３ …（３）
【００１２】
請求項２に記載された発明では、接合部の欠けた要素画像は、前記（１）、（２）、（３）の式を用いて数値演算をすることにより、要素画像中の画素値を算出することで、接合部の要素画像を補間することができるとするものである。画素値の算出は、加算と乗除の組み合わせであり、比較的簡単な式で求めることができる。
以下に、欠けの要素画像ｂ，ｅ，ｆの画素値を求める前記式（１）、（２）、（３）について説明する。格子状に欠けた要素画像を写し出す要素レンズは、上から下に向かって、１個、２個、１個、２個…の繰り返しで欠けていることが判る。そこで、１個の欠けた要素画像を補間するのが、式（１）である。
前記式（１）では、欠けた要素画像をｂとした場合、ｂの両端に位置するａとｃを使って求めるものである。つまり、左から順に配置された要素画像ａ，ｂ，ｃ中、中央の画素値ｂijは、両隣の画素値ａijと画像値cijを合計して２で除算することで求められる。ｂij＝（aij＋cij）／２…（１）
【００１３】
次に、式（２）は、欠けた要素レンズの要素画像がｅ，ｆの２個とした場合、ｅ，ｆの両端に位置するｄとｇの画素値を使ってｅの画素値を求める。つまり、左から要素画像ｄ，ｅ，ｆ，ｇの配列において、各々の配置は略等間隔であり、ｇからｄの距離に対するｄからｅの距離の比はちょうど１／３であることから、画素値ｅijは、画素値ｄijに、画素値ｇijと画素値ｄijの差の１／３を加算すればよい。つまり、画素値ｅij＝ｄij＋（ｇij−ｄij）／３となり、３を分母にして整理すると、ｅij＝（２×ｄij＋ｇij）／３…（２）となる。
同様に、式（３）は、欠けた要素レンズの要素画像がｅ，ｆの２個とした場合、ｅ，ｆの両端に位置するｄとｇの画素値を使ってｆの画素値を求める。つまり、要素画像ｄ，ｅ，ｆ，ｇにおいて、画素値ｆijは、画素値ｄijに、画素値ｇijと画素値ｄijの差の２／３を加算すればよい。そこで、ｆij＝ｄij＋２（ｇij−ｄij）／３となり、３を分母にして整理すると、
ｆij＝（ｄij＋２×ｇij）／３…（３）となる。
このように、要素レンズブロックの集合体である複眼レンズが大きくなった場合でも、同様の手段で欠けた要素レンズの要素画像を補正することが可能である。
【００１４】
請求項３に記載された発明は、請求項１に記載の立体画像撮影装置であって、順番に要素画像ａ，ｂ，ｃのうち、要素画像ｂを補間する手段であり、
前記回転角を補正する第２の補間手段は、
要素画像ａのオブジェクトを抽出するステップと、
要素画像ａのオブジェクトの回転角を算出するステップと、
要素画像ｃのオブジェクトの回転角を算出するステップと、
要素画像ａの回転角と要素画像ｃの回転角から、要素画像ｂのオブジェクトの回転角を算出するステップと、
要素画像ｂのオブジェクトを生成するステップとを有することを特徴とする。
【００１５】
請求項３に記載された画像補間処理部の第２の補間手段では、各要素画像に写し出されるオブジェクトは、要素レンズと被写体に対する角度がすべて異なり、要素レンズの配置に応じて一定の角度差で増減することに着眼した補間手段であって、１つの欠けた要素画像（例えば、要素画像ｂ）に対しては、要素２つの隣接する要素画像（例えば、要素画像ａと要素画像ｃ）を抽出して、各々の回転角の計算をおこない、これらの回転角から欠けた要素画像ｂの回転角を求めることにより画像を生成し、より精密な、実際の要素画像に近いオブジェクトを補間することが可能である。
これにより、より実際に近い要素画像に補間することができることから、継ぎ目部分に欠けのある要素画像部分に、正確な要素画像を補間可能となり、良好な立体画像の撮影を行うことが可能である。
【００１６】
請求項４に記載された発明は、請求項１から請求項３のいずれか１項に記載の立体画像撮影装置であって、前記要素レンズブロックの接合部において要素画像の欠けた画像を補正するために、前記撮像部により撮影された要素画像を出力手段による出力タイミングを調整することで位置補正する位置補正部を、さらに設けたことを特徴とする。
【００１７】
請求項４に記載された立体画像撮影装置では、要素画像の位置補正部を設けることにより、接合面の研磨精度や接着剤の収縮により、要素レンズブロック間のずれ量が各要素レンズ間の距離の整数倍にできなかった場合に、要素画像の位置を補正することが可能であり、より高精度な要素画像を生成することにより、高品位な立体映像が可能になる。
【００１８】
【発明の実施の形態】
以下、本発明の一実施の形態を、図面を参照しながら説明する。
（第１実施の形態）
本発明の第１実施の形態を、図１、図２を参照して説明する。図１は、第１実施の形態を示す本発明のインテグラルフォトグラフィを用いた立体画像撮影装置を示す全体概念図であり、図２（ａ）は、第１実施の形態を示すブロック図である。
図１に示すように、本発明の立体画像撮影装置１は、被写体２を撮影するために、凸レンズ３と複眼レンズ４とテレビカメラ５と、表示装置である液晶パネル８と複眼レンズ９の他、画像補間処理部７により構成されている。したがって、被写体２は、凸レンズ３を通して撮影され、光ファイバを束ねた複眼レンズ４の端面４ａに結像される。テレビカメラ５は、複眼レンズ４の端面４ａに結像した要素画像をもう一つの端面４ｂを通して撮影され、撮影された要素画像信号は画像補間処理部７に入り、接合部の欠けた要素画像中の画素値を算出して補間した後、液晶パネル８に表示される。液晶パネル８にも撮影レンズと同じ位置関係で複眼レンズ９が貼付されており、この複眼レンズ９を通して画像を観察することにより、特殊なメガネをかけることなく、回り込んで見られる立体画像２´を観察することができる。
【００１９】
図２（ａ）は、第１の補間手段である画像補間処理部７を示すブロック図である。図２（ａ）において、複眼レンズ４は、図４に示すように、要素レンズブロック１０を接合したものである。図４は、４個の要素レンズブロック１０の接合例を示す模式図であるが、実際には、数十から数百個の要素レンズブロック１０が接合されている。ここでの要素レンズ１２は、例えば、微小なレンズである光ファイバの屈折率分布レンズであり、この光ファイバを図４に示すように四角に結束して要素レンズブロック１０を作ると、要素レンズブロック１０の強度を保つために要素レンズブロック１０に枠を設ける必要がある。要素レンズ１２は、ブロック間の枠（接合部）に係わらず連続して一面に配置されるべきであるが、図４に示すように、要素レンズブロック１０の接合部１１の近傍には要素レンズ１２が装着できないことから、格子状に要素画像が欠けたような見え方になる。
【００２０】
図２（ａ）に示す本発明の画像補間処理部７は、このような問題点を解消するために考案されたもので、枠の部分によって欠落した要素レンズ（図４に示す破線で書かれたレンズ）に要素画像を次のような手段によって補間することができる。
図４に示す要素レンズ１２中の要素画像、例えば、ａ，ｂ，ｃ…の符号は、要素レンズ１２の位置を示し、図８は、これを拡大した模式図である。要素画像中の●印は画素を示し、添え字は画素番号を付した模式図である。破線の〇で示す欠落した要素画像ｂ，ｅ，ｆの画素値は、数値演算による補間では、式（１）、（２）、（３）で算出することができる。式（１）、（２）、（３）の説明は、前記したので、ここでは省略する。
ｂij＝（aij＋cij）／２ …（１）
ｅij＝（２×ｄij＋ｇij）／３ …（２）
ｆij＝（ｄij＋２×ｇij）／３ …（３）
【００２１】
図４に示すように、縦の接合部１１に注目すると、接合部１１を形成するために欠落している要素レンズ１２は、上から下に向かって１個と２個、１個と２個、…と規則通りに欠けていることが判る。
式（１）は、要素画像が１個欠けている場合の演算式であり、式（２）は、要素画像が２個欠けている場合の左側の画素値ｅijを算出する式である。また、式（３）は、要素画像が２個欠けている場合の右側の画素値ｆijを算出する式である。
本発明の第１の補間手段は、これらの式により数値演算させることによって欠落した要素レンズ１２ｂ、１２ｅ、…に写し出される画像の画素値を算出して画素を生成し補間するものである。
【００２２】
一方、横の接合部１１´に沿って欠落している要素レンズ１２の画素値に対しても、同様に求めることができる。図４に示すように、欠落している要素レンズ１２は横一列であり、且つ、半ピッチ分右にずれた構成になっていることが判る。これらの横一列に連続した欠けの補間方法としては、次のようにすればよい。例えば、図４に示した欠けの要素レンズ１２ｙの要素画像を例にとると、１２ｙに対応する要素レンズは、一つ飛ばして１２ｘ、１２ｚとすると都合がよい。この横軸１１´の座標系を９０°反転して縦軸に変換し、同様に式（１）を用いて求めることができる。つまり、１２ｙ＝（１２ｘ＋１２ｚ）／２…（１´）として算出すればよい。これにより、横の接合部１１´に沿って欠落している要素レンズ１２の要素画像の画素値が算出される。
【００２３】
このようにして、図４に示すような欠けた要素レンズ（破線で示す〇印）の画素値のすべてを求めることができることから、多くの要素レンズブロックからなる複眼レンズ４（図１参照）中の欠けに対しても、同様に求めることができる。そして、求めた画素値を使用して画像処理することにより画素を生成し、画像を補間することができる。
【００２４】
（第２実施の形態）
次に、接合部により欠けた要素画像の回転角を算出して画素を補間する第２の補間手段について、説明する。
本発明の第２の補間手段は、第１の補間手段の際使用した式（１）、（２）、（３）から導いた、角度を求める式（４）、（５）、（６）を使用して、欠落したオブジェクトの角度を求めて補間する。
要素画像の欠落が１個の場合は、
φｂ＝（φａ＋φｃ）／２ …（４）
また、要素画像の欠落が２個の場合は、
φｅ＝（２×φｄ＋φｇ）／３ …（５）
φｆ＝（φｄ＋２×φｇ）／３ …（６）
図９は、要素レンズ内の各要素画像の、第２の補間手段を示す説明図であり、図１０は、第２の補間手段のステップを示すフローチャートである。
図９に示すように、式（４）は、要素画像ａ，ｂ，ｃのうち、真中の要素画像ｂが欠けている場合、要素画像ｂの回転角φｂを算出する式である。
同様に、式（５）、（６）は、要素画像ｄ，ｅ，ｆ，ｇのうち、要素画像ｅ，ｆの２個欠けている場合であり、式（５）は、左側の要素画像ｅの回転角φｅ（図示せず）を算出する式である。また、式（６）は、右側の要素画像ｆの回転角φｆ（図示せず）を算出する式である。
【００２５】
本発明の第２の補間手段は、これらの式により数値演算させることによって欠落した要素レンズ１２ｂ、１２ｅ、１２ｆ…に写し出されるであろう要素画像の角度を算出して実際に即した傾きのある要素画像を生成し補間するものである。
そこで、第２の補間手段の特徴である角度補間のステップとしては、図１０に示すように、最初、要素画像ａのオブジェクト（画像）を抽出する（ステップＳ１）。オブジェクトの抽出は、隣接する要素画像との比較をおこなうことで抽出することで可能である。
【００２６】
次に、要素画像ａのオブジェクトの回転角φａを算出する（ステップＳ２）。オブジェクトの回転角φａを算出する方法としては、オブジェクトの重心位置を求めると都合がよい。オブジェクトの重心位置を求める方としては、検出したオブジェクトの座標、（ｘ、ｙ）値の加算平均によって求めることができる。さらに、図９に示すように、例えば、オブジェクトの重心位置を中心として要素画像ａにおいて、オブジェクトの最も長い辺を抽出し、細線化して基準点（観察者相当位置）との方向よりφａを求めるとよい。
次に、要素画像ｃのオブジェクトの回転角φｃを同様に求める（ステップＳ３）。さらに、回転角φａと回転角φｃより、式（４）から回転角φｂを算出する（ステップＳ４）。
これにより、要素画像ｂの回転角φｂを求めることができるため、欠けた要素画像の見合った回転角で補間でき、オブジェクトを生成することができる（ステップ５）。
以上のようにＳ１〜Ｓ５のステップにより、実際と同様にカメラと被写体の角度を反映させた継ぎ目部分の要素画像に欠けのない立体画像の撮影を行うことができる。これにより、より実際に近い要素画像に補間することができることから、継ぎ目部分に欠けのある要素画像部分に、正確な要素画像を補間可能となり、臨場感のある良好な立体画像の撮影を行うことが可能である。
【００２７】
（第３実施の形態）
図２（ｂ）は、請求項３に係る立体画像撮影装置の一実施の形態を示すブロック図であり、図３は、第３実施の形態を示す本発明のインテグラルフォトグラフィを用いた立体画像撮影装置を示す全体概念図である。
前記第１と第２の実施の形態では、画像補間処理部7により、要素レンズブロック１０の枠の接合部１１によって欠落した要素レンズ１２ｂ、１２ｅ…（図４で破線の〇印で示す）を第１と第２の補間手段にて補間して、欠けのない立体画像の撮影を行うことができることを説明した。
しかしながら、要素レンズブロック１０の接合には、細心の注意を払っても、側面の研磨精度や接着剤の収縮等により、接触部の距離を各要素レンズ間の距離の整数倍にすることができない場合にずれが生じることがある。
【００２８】
図５は、要素レンズブロック１０の一つが複眼レンズ９のところで大きくずれた状態を示す摸式図である。図５に示すように、矢印で示した方向に要素レンズブロック１０がずれてしまった場合、そのずれが各要素レンズの距離の整数倍とはならないときは、従来方式での補間手段では解決できないことがある。
【００２９】
図６は、要素画像のずれについて水平方向の１ラインを示した説明図である。垂直方向のずれに対しても同様であるが、ここでは、水平方向のずれに対する補正について説明する。
図６に示すように、図中の一点鎖線は１ラインに相当しており間隔、実線の「〇」印は正しい間隔の要素画像を示している。また、破線の「〇」印は正しい間隔で補正された要素画像である。図中ｐは正規の要素画像の間隔であり、「□」印は、ずれた要素画像を示している。したがって、図６では、寸法ｄだけ正しい位置からずれていることになる。
インテグラルフォトグラフィを用いた立体画像テレビでは、表示の際にも、撮影時の要素画像のレンズ間隔に比例したレンズ間隔のマイクロレンズアレーが用いられる。従って、要素画像の位置がｄだけずれていると、表示される画像の位置も、撮影時の被写体の位置よりｄだけずれることになり、歪んだ立体画像が表示されることになる。
【００３０】
そこで、図２（ｂ）のブロック図に示すように、本実施形態における要素画像位置補正部６を追加し、ずれｄを補正して、歪んだ立体画像を直すことができる。つまり、要素画像位置補正部６は、ずれｄを正しい位置に要素画像を並べ直すように補正するものである。図３に示す立体画像撮影装置１には、要素画像位置補正部６が追加されて構成されている。
図７は、前記要素画像位置補正部６の制御について説明するブロック図である。図７に示すように、最初、要素画像信号２１をフレームメモリー２３に順次記録させ、続いて、フレームメモリー２３を制御するシステムクロック２２をフレームメモリー２３とＣＰＵ（Central Processing Unit）２６に入力させる。
システムクロック２２の周波数は、精度の高い補正を行うことから、要素画像の繰り返し周期よりも充分に高いことが望ましい。また、通常は、要素画像内の個々の画素に対応するクロックを用いるとよい。ＣＰＵ２６は、予め各要素画像のアドレスを記録したＲＯＭ（Read Only Memory）２５と接続されており、要素画像の位置を補正すべき要素レンズブロック１０（図４参照）を読み出すときには、前記したずれｄだけ読み出しタイミングをずらすようになっている。読み出しタイミングをずらす手段については後述する。そして、このままでは、位置が補正されても、要素画像に記録された画像は、ずれた方向から撮影されたものである。したがって、さらに、ずれｄの相当分を、要素画像位置補正部６にて要素画像の位置補正２７を行う。この位置補正の手段は、前記した第１の補間例や、第２の補間例を使用することができる。
【００３１】
出力手段である出力タイミングの調整方法について、以下に説明する。図６に示すように、Ｄを要素画像ブロックのずれとすると、
ｎ=（Ｄ mod ｐ）：要素画像ブロック間の継ぎ目に補間する要素画像の数（mod：除算して整数値部分を与える）、
ｄ＝ｐ−（Ｄ−ｎ×ｐ）：正しい間隔からずれた要素画像間隔、
ｆ＝ｄ/ｔ ：ｔはシステムクロックの周波数、ｆはｔに対する波数に換算したずれを表す、
ＣＰＵ２６は、クロック数ｆだけずらした位置に要素画像が来るように読み出す。ここでは、時間軸上を遅らせる例として紹介したが、
ｄ´＝ｐ−（Ｄ−（ｎ−１）×ｐ）
ｆ´＝ｄ´/ｔ
として、ｆ´だけ進めた位置に要素画像が来るように読み出してもよい。
このようにすることにより、要素画像ブロックの接続位置が、一つ一つの要素画像間の、距離の整数倍からずれたときでも、撮影画像に歪みのない立体画像撮影装置を実現することができる。
【００３２】
つまり、要素レンズブロック間がＤだけずれて、Ｄが正しい間隔ｐの整数倍でないとき、式（１）から（３）に従って補間すると端数ｄができる。隣にある要素レンズブロックの最初の画素の位置をｄだけ場所を移動させないと、ｐ間隔で均等に配置されなくなる。電気的には、ｆ＝ｄ／ｔだけ遅延させることにより、最初の画素の位置をｄだけずらすことができる。以後、要素画像ブロックの各画素の位置はｄだけずれることになる。
次のｄ´は、逆にｄ´だけ時間的に進める（このとき、式（１）から（３）で計算される補間画素数は、先の例より1個減る）ことにより、次の要素レンズブロックの画素をｐ間隔で均等に配置する。
なお、クロック数とは、ＣＰＵの動作を制御するための基準信号の周波数をいい、システムクロックとは、各要素画像を構成する画素のサンプリング周波数をいう。
【００３３】
【発明の効果】
請求項１に記載の発明によれば、レンズ群を結束し接合した継ぎ目部分の位置にレンズが装着できないことから生じる要素画像の欠け、つまり、格子状に欠けた要素画像を生成するために画像補間処理部を設け、簡単な数値演算によりすべての要素画像中の画素値を求めることによって、要素画像の欠け部の画像を生成することができる。これにより、継ぎ目部分に要素画像の欠けのない良好な立体画像の撮影を行うことが可能であり、品位の高い立体映像の提供が可能である。
【００３４】
請求項２に記載の発明によれば、簡単な演算式を用いて数値演算をすることにより、要素画像中の画素値を算出することができるので、接合部の要素画像を補間することができる。
また、要素レンズブロックの集合体が大きくなった場合でも、同様の手段で補間する要素画像の数を増やすことで対応が可能である。
【００３５】
請求項３に記載の発明によれば、各要素画像に写し出されるオブジェクトは、カメラと被写体のオブジェクトに対する角度がすべて異なり、一定の角度差があることに着眼した補間手段であり、２つの要素画像のオブジェクトを抽出して、２つの回転角を計算することにより、補間が必要な要素画像の回転角を求めることでき、より精密な、実際の要素画像に近いオブジェクトの生成することが可能である。
これにより、より正確に補間することができることから、継ぎ目部分の要素画像に欠けのない良好な立体画像の撮影を行うことが可能であり、品位の高い立体映像の提供が可能である。
【００３６】
請求項４に記載された立体画像撮影装置は、要素レンズブロックの接合部において要素画像の欠けた画像を補正するために、前記撮像部により撮影された要素画像の出力タイミングを調整することで位置補正する位置補正部を設けたことにより、要素レンズブロック間のずれが、接合面の研磨精度や接着剤の収縮により、各要素レンズ間の距離の整数倍にできなかった場合であっても、位置補正が可能であり、高精度な要素画像を生成することにより、より臨場感のある、高品位な立体映像が可能である。
【図面の簡単な説明】
【図１】第１、第２実施の形態を示す本発明のインテグラルフォトグラフィを用いた立体画像撮影装置を示す全体概念図である。
【図２】（ａ）第１、第２実施の形態を示す本発明の立体画像撮影装置のブロック図である。（ｂ）第３実施の形態を示す本発明の立体画像撮影装置のブロック図である。
【図３】第３実施の形態を示す本発明のインテグラルフォトグラフィを用いた立体画像撮影装置を示す全体概念図である。
【図４】要素レンズブロックの接合例を示す摸式図である。
【図５】要素レンズブロックの接合が不良な例の摸式図である。
【図６】一方向１ラインの要素画像のずれについて示した説明図である。
【図７】要素画像位置補正部の構成について説明するブロック図である。
【図８】第１の補間手段を示す要素画像の画素番号を付した模式図である。
【図９】要素レンズ内の各要素画像の、第２の補間例を示す説明図である。
【図１０】第２の補間例の手順を示すフローチャートである。
【図１１】インテグラルフォトグラフィ方式の立体画像の原理を示す模式図である。
【図１２】ＩＰ方式において撮影素子とレンズの関係を示す模式図である。
【図１３】図１２のＡ−Ａ断面図である。
【図１４】レンズ群を用いて実現されるインテグラルフォトグラフィを用いた立体画像の撮影から表示までを示す全体概念図である。
【図１５】図１４に示す複眼レンズ上の画像の拡大図である。
【符号の説明】
１ 立体画像撮影装置
２ 被写体
２´立体画像
３ 凸レンズ
４ 複眼レンズ
４ａ，４ｂ 複眼レンズの端面
４ｃ 複眼レンズ部
５（５ａ） テレビカメラ（撮影部）
６ 要素画像位置補正部
７ 画像補間処理部
８ 液晶パネル
９ 複眼レンズ
２１ 要素画像信号
２２ システムクロック
２３ フレームメモリー
２４ 画像補正
２５ ＲＯＭ
２６ ＣＰＵ
２７ 位置補正された要素画像
Ｄ 要素画像ブロックのずれ
ｐ 正しい要素画像間隔
ｄ 正しい間隔からずれた要素画像間隔
【発明の属する技術分野】
本発明は、立体画像装置に関し、特に、インテグラルフォトグラフィ（integral photography（ＩＰ））方式を応用した立体画像撮影装置に関する。
【０００２】
【従来の技術】
任意の視点から観察することができる立体テレビジョン方式の一つとして、平面状あるいは球面状に配列されたレンズ群を用いたいわゆるインテグラルフォトグラフィ方式が知られている。この方式を用いた高解像度の動画を撮影する手法について説明する。
図１１は、インテグラルフォトグラフィ（以下、ＩＰという）方式の立体画像の原理を示す模式図である。図１１を参照して、ＩＰ方式の原理について説明する。図１１に示すように、同一平面上に配置された複数の凸レンズ３１1，３１2，３１3，…３１nからなるレンズ群３１の後部に写真フィルム３２を配置し、レンズ群３１の前に置いた被写体３０を撮影すると、写真フィルム３２には各凸レンズ３１1，３１2，３１3，…３１nにより被写体３０の要素画像３２1，３２2，３２3，…３２nが結像し、撮影される。
次に、撮影後に現像することにより得られた要素画像を、レンズ群３１に対して撮影時と同じ位置に配置し、この状態でレンズ群３１の前方から前記要素画像を見ると、立体再生画像を観察できる。
【０００３】
次に、ＩＰ方式を応用した立体画像の撮影装置を、図１２および図１３を参照して説明する。図１２は、ＩＰ方式において要素撮影素子とレンズの関係を示す模式図であり、図１３は、図１２のＡ−Ａ断面図である。
図１２に示すように、一つのウェハ３５上に、写真フィルム３２の代わりに要素撮像素子３４を設けると、撮像面積が大きく画素数も極めて多い撮像手段が得られる。そして、この要素撮像素子３４群の前面にレンズ群が配設される。したがって、図１２に示すように、個々の要素レンズ３３は要素撮像素子３４に対向して設けられている。
なお、図１２は、要素撮像素子３４及び要素レンズ３３が縦に４個、横に５個配列され、各要素撮像素子３４に要素画像Ｄ１１〜Ｄ４５が形成される例を示しているが、実際の要素撮像素子３４及び要素レンズ３３は、例えば、千個から二千個程設置される。
図１２、図１３において、要素レンズ３３は、光ファイバを用いて作製されており、図１１のレンズ群３１に相当する。また、ウェハ３５上の要素撮像素子３４は、図１１の写真フィルム３２に相当する。
【０００４】
以上のような構成において、要素撮像素子３４が充分高精細な画素数で構成されていれば、解像度の高い立体画像の動画を撮影することができる。そして、撮影により得られた画像を、要素レンズ３３からなるレンズ群に対して撮影時と同じ位置に配置し、その状態においてレンズ群の前方からその画像を見ると、立体画像の再生像を観察することができる。
【０００５】
図１４は、前記したレンズ群を用いて実現されるインテグラルフォトグラフィを応用した立体画像の撮影から表示までを示す全体概念図である。図１４に示すように、撮影装置４２は、凸レンズ４３と複眼レンズ４４とテレビカメラ４５により構成し、表示装置４６は液晶パネル４７と複眼レンズ４８から構成されている。被写体４１の像は、凸レンズ４３を用いて撮影し、光ファイバを束ねた複眼レンズ４４の端面４４ａに結像されるので、テレビカメラ４５はこの像をもう一方の端面４４ｂを通して撮影する。テレビカメラ４５に撮影された像は、光ファイバの一つ一つに写し出された像が要素画像となり、液晶パネル４７に表示される。液晶パネル４７にも撮影レンズと同じ位置関係で複眼レンズ４８が貼付されており、この複眼レンズ４８を通して画像を観察することにより、特殊なメガネをかけることなく、回り込んで見られる立体画像４１´を観察することができる。この複眼レンズ４８上の画像の一例を図１５に示す。
図１５は、その画像の一部を拡大した拡大図である。図１５に示すように、複眼レンズ４８の個々のレンズに写った画像が要素画像であり、個々の要素画像は被写体を少しずつ違う角度から撮影したように、要素画像の違いが判る。
【０００６】
このように、インテグラルフォトグラフィ（ＩＰ）では、観察者が回り込んで見ると、回りこんだ方向の画像を観察することができるが、その範囲は図１４から判るように、カメラ４５を覗き込んだ複眼レンズ４４の範囲内に限られる。つまり、要素画像の数とその分布により決まる。したがって、回り込める範囲を大きくしようとすると、束ねるレンズ群の総数を多くして複眼レンズ４４を大きくする必要がある。しかし、設計上、強度上、構造上に限界があり、ある範囲（要素レンズの設置数は、約二千個）以上は大きくすることができないため、レンズ群をブロックに分けてレンズブロックとし、レンズブロックを束ねることでレンズ群の総数を多くして等価的に大きなレンズにする方法が用いられている。
【０００７】
【発明が解決しようとする課題】
しかしながら、レンズ群をブロックに分け、レンズブロックを結束して接合する方法では、レンズブロックを接合した継ぎ目部分の位置にはレンズが装着できないため、接合部の継ぎ目部分に要素画像の欠けが生じることになり、良好な画像を得ることができないという問題があった。また、継ぎ目部分の要素画像に欠けのない立体画像の撮影ができたとしても、要素レンズブロックのずれ量が、各要素レンズ間の距離の整数倍にすることを前提として生成しているため、接合面の研磨精度や接着剤の収縮により、整数倍にできない場合には、本来の位置からずれた位置に要素画像が表示されることになり、再生される立体像に歪みが生じるという問題があった。
【０００８】
そこで、本発明は、レンズブロックを結束した接合部の継ぎ目部分に要素画像の欠けのない画像を得ることができる立体画像撮影装置を提供することを課題とする。また、接合面の研磨精度や接着剤の収縮により、要素レンズブロック間のずれに伴う歪みを除去するために要素画像の位置を補正し、歪みによるずれのない要素画像が表示できる立体画像撮影装置を提供することを課題とする。
【０００９】
【課題を解決するための手段】
請求項１記載の本発明は、前記課題の問題点を解決するために創案された立体画像撮影装置であって、インテグラルフォトグラフィ方式を用いて立体画像を撮影する立体画像撮影装置において、被写体を撮像する凸レンズと、複数のレンズからなる要素レンズブロックを複数接合して構成される撮影用複眼レンズ部と、前記撮影用複眼レンズ部の端面に結像された画像を撮像する撮像部と、前記撮像部によって撮影された要素画像の中で、要素レンズブロックの接合部により欠けた要素画像を補間する画像補間処理部とからなり、前記画像補間処理部の画像を補間する手段として、前記接合部において欠けた要素画像中の画素値を算出して画素を生成して補間する第１の補間手段、及び／又は、接合部により欠けた要素画像の回転角を算出して画素を生成して補間する第２の補間手段により補間することを特徴とする。
【００１０】
請求項１記載の発明によれば、レンズ群からなる要素レンズブロックを結束して接合したことにより生じる継ぎ目部分の接合部は、格子状を形成し、この接合部にはレンズが装着できないことから生じる格子状の要素画像の欠けは、画像補間処理部が画像を補間する手段、つまり、接合部において欠けた要素画像中の画素値を算出して画素を生成して補間する第１の補間手段、及び／又は、接合部により欠けた要素画像の回転角を算出して画素を生成して補間する第２の補間手段を実行して、すべての要素画像中の画素値を求めることによって、要素画像の欠け部の画素を生成して補間することができるので、接合部の継ぎ目部分に要素画像の欠けのない良好な立体画像を得ることができる。
【００１１】
請求項２に記載された発明は、請求項１に記載の立体画像撮影装置であって、前記第１の補間手段は、等間隔に配列された要素画像の中、欠落している要素画像の要素値を算出する手段は、連続する要素画像ａ，ｂ，ｃのうち、欠けている要素画像ｂを補間する場合には、式（１）を用い、連続する要素画像ｄ，ｅ，ｆ，ｇのうち、欠けている要素画像ｅ、ｆを要素画像ｄ、ｇで補間する場合には、式（２）、（３）を用いることを特徴とする。
ｂij＝（aij＋cij）／２ …（１）
ｅij＝（２×ｄij＋ｇij）／３ …（２）
ｆij＝（ｄij＋２×ｇij）／３ …（３）
【００１２】
請求項２に記載された発明では、接合部の欠けた要素画像は、前記（１）、（２）、（３）の式を用いて数値演算をすることにより、要素画像中の画素値を算出することで、接合部の要素画像を補間することができるとするものである。画素値の算出は、加算と乗除の組み合わせであり、比較的簡単な式で求めることができる。
以下に、欠けの要素画像ｂ，ｅ，ｆの画素値を求める前記式（１）、（２）、（３）について説明する。格子状に欠けた要素画像を写し出す要素レンズは、上から下に向かって、１個、２個、１個、２個…の繰り返しで欠けていることが判る。そこで、１個の欠けた要素画像を補間するのが、式（１）である。
前記式（１）では、欠けた要素画像をｂとした場合、ｂの両端に位置するａとｃを使って求めるものである。つまり、左から順に配置された要素画像ａ，ｂ，ｃ中、中央の画素値ｂijは、両隣の画素値ａijと画像値cijを合計して２で除算することで求められる。ｂij＝（aij＋cij）／２…（１）
【００１３】
次に、式（２）は、欠けた要素レンズの要素画像がｅ，ｆの２個とした場合、ｅ，ｆの両端に位置するｄとｇの画素値を使ってｅの画素値を求める。つまり、左から要素画像ｄ，ｅ，ｆ，ｇの配列において、各々の配置は略等間隔であり、ｇからｄの距離に対するｄからｅの距離の比はちょうど１／３であることから、画素値ｅijは、画素値ｄijに、画素値ｇijと画素値ｄijの差の１／３を加算すればよい。つまり、画素値ｅij＝ｄij＋（ｇij−ｄij）／３となり、３を分母にして整理すると、ｅij＝（２×ｄij＋ｇij）／３…（２）となる。
同様に、式（３）は、欠けた要素レンズの要素画像がｅ，ｆの２個とした場合、ｅ，ｆの両端に位置するｄとｇの画素値を使ってｆの画素値を求める。つまり、要素画像ｄ，ｅ，ｆ，ｇにおいて、画素値ｆijは、画素値ｄijに、画素値ｇijと画素値ｄijの差の２／３を加算すればよい。そこで、ｆij＝ｄij＋２（ｇij−ｄij）／３となり、３を分母にして整理すると、
ｆij＝（ｄij＋２×ｇij）／３…（３）となる。
このように、要素レンズブロックの集合体である複眼レンズが大きくなった場合でも、同様の手段で欠けた要素レンズの要素画像を補正することが可能である。
【００１４】
請求項３に記載された発明は、請求項１に記載の立体画像撮影装置であって、順番に要素画像ａ，ｂ，ｃのうち、要素画像ｂを補間する手段であり、
前記回転角を補正する第２の補間手段は、
要素画像ａのオブジェクトを抽出するステップと、
要素画像ａのオブジェクトの回転角を算出するステップと、
要素画像ｃのオブジェクトの回転角を算出するステップと、
要素画像ａの回転角と要素画像ｃの回転角から、要素画像ｂのオブジェクトの回転角を算出するステップと、
要素画像ｂのオブジェクトを生成するステップとを有することを特徴とする。
【００１５】
請求項３に記載された画像補間処理部の第２の補間手段では、各要素画像に写し出されるオブジェクトは、要素レンズと被写体に対する角度がすべて異なり、要素レンズの配置に応じて一定の角度差で増減することに着眼した補間手段であって、１つの欠けた要素画像（例えば、要素画像ｂ）に対しては、要素２つの隣接する要素画像（例えば、要素画像ａと要素画像ｃ）を抽出して、各々の回転角の計算をおこない、これらの回転角から欠けた要素画像ｂの回転角を求めることにより画像を生成し、より精密な、実際の要素画像に近いオブジェクトを補間することが可能である。
これにより、より実際に近い要素画像に補間することができることから、継ぎ目部分に欠けのある要素画像部分に、正確な要素画像を補間可能となり、良好な立体画像の撮影を行うことが可能である。
【００１６】
請求項４に記載された発明は、請求項１から請求項３のいずれか１項に記載の立体画像撮影装置であって、前記要素レンズブロックの接合部において要素画像の欠けた画像を補正するために、前記撮像部により撮影された要素画像を出力手段による出力タイミングを調整することで位置補正する位置補正部を、さらに設けたことを特徴とする。
【００１７】
請求項４に記載された立体画像撮影装置では、要素画像の位置補正部を設けることにより、接合面の研磨精度や接着剤の収縮により、要素レンズブロック間のずれ量が各要素レンズ間の距離の整数倍にできなかった場合に、要素画像の位置を補正することが可能であり、より高精度な要素画像を生成することにより、高品位な立体映像が可能になる。
【００１８】
【発明の実施の形態】
以下、本発明の一実施の形態を、図面を参照しながら説明する。
（第１実施の形態）
本発明の第１実施の形態を、図１、図２を参照して説明する。図１は、第１実施の形態を示す本発明のインテグラルフォトグラフィを用いた立体画像撮影装置を示す全体概念図であり、図２（ａ）は、第１実施の形態を示すブロック図である。
図１に示すように、本発明の立体画像撮影装置１は、被写体２を撮影するために、凸レンズ３と複眼レンズ４とテレビカメラ５と、表示装置である液晶パネル８と複眼レンズ９の他、画像補間処理部７により構成されている。したがって、被写体２は、凸レンズ３を通して撮影され、光ファイバを束ねた複眼レンズ４の端面４ａに結像される。テレビカメラ５は、複眼レンズ４の端面４ａに結像した要素画像をもう一つの端面４ｂを通して撮影され、撮影された要素画像信号は画像補間処理部７に入り、接合部の欠けた要素画像中の画素値を算出して補間した後、液晶パネル８に表示される。液晶パネル８にも撮影レンズと同じ位置関係で複眼レンズ９が貼付されており、この複眼レンズ９を通して画像を観察することにより、特殊なメガネをかけることなく、回り込んで見られる立体画像２´を観察することができる。
【００１９】
図２（ａ）は、第１の補間手段である画像補間処理部７を示すブロック図である。図２（ａ）において、複眼レンズ４は、図４に示すように、要素レンズブロック１０を接合したものである。図４は、４個の要素レンズブロック１０の接合例を示す模式図であるが、実際には、数十から数百個の要素レンズブロック１０が接合されている。ここでの要素レンズ１２は、例えば、微小なレンズである光ファイバの屈折率分布レンズであり、この光ファイバを図４に示すように四角に結束して要素レンズブロック１０を作ると、要素レンズブロック１０の強度を保つために要素レンズブロック１０に枠を設ける必要がある。要素レンズ１２は、ブロック間の枠（接合部）に係わらず連続して一面に配置されるべきであるが、図４に示すように、要素レンズブロック１０の接合部１１の近傍には要素レンズ１２が装着できないことから、格子状に要素画像が欠けたような見え方になる。
【００２０】
図２（ａ）に示す本発明の画像補間処理部７は、このような問題点を解消するために考案されたもので、枠の部分によって欠落した要素レンズ（図４に示す破線で書かれたレンズ）に要素画像を次のような手段によって補間することができる。
図４に示す要素レンズ１２中の要素画像、例えば、ａ，ｂ，ｃ…の符号は、要素レンズ１２の位置を示し、図８は、これを拡大した模式図である。要素画像中の●印は画素を示し、添え字は画素番号を付した模式図である。破線の〇で示す欠落した要素画像ｂ，ｅ，ｆの画素値は、数値演算による補間では、式（１）、（２）、（３）で算出することができる。式（１）、（２）、（３）の説明は、前記したので、ここでは省略する。
ｂij＝（aij＋cij）／２ …（１）
ｅij＝（２×ｄij＋ｇij）／３ …（２）
ｆij＝（ｄij＋２×ｇij）／３ …（３）
【００２１】
図４に示すように、縦の接合部１１に注目すると、接合部１１を形成するために欠落している要素レンズ１２は、上から下に向かって１個と２個、１個と２個、…と規則通りに欠けていることが判る。
式（１）は、要素画像が１個欠けている場合の演算式であり、式（２）は、要素画像が２個欠けている場合の左側の画素値ｅijを算出する式である。また、式（３）は、要素画像が２個欠けている場合の右側の画素値ｆijを算出する式である。
本発明の第１の補間手段は、これらの式により数値演算させることによって欠落した要素レンズ１２ｂ、１２ｅ、…に写し出される画像の画素値を算出して画素を生成し補間するものである。
【００２２】
一方、横の接合部１１´に沿って欠落している要素レンズ１２の画素値に対しても、同様に求めることができる。図４に示すように、欠落している要素レンズ１２は横一列であり、且つ、半ピッチ分右にずれた構成になっていることが判る。これらの横一列に連続した欠けの補間方法としては、次のようにすればよい。例えば、図４に示した欠けの要素レンズ１２ｙの要素画像を例にとると、１２ｙに対応する要素レンズは、一つ飛ばして１２ｘ、１２ｚとすると都合がよい。この横軸１１´の座標系を９０°反転して縦軸に変換し、同様に式（１）を用いて求めることができる。つまり、１２ｙ＝（１２ｘ＋１２ｚ）／２…（１´）として算出すればよい。これにより、横の接合部１１´に沿って欠落している要素レンズ１２の要素画像の画素値が算出される。
【００２３】
このようにして、図４に示すような欠けた要素レンズ（破線で示す〇印）の画素値のすべてを求めることができることから、多くの要素レンズブロックからなる複眼レンズ４（図１参照）中の欠けに対しても、同様に求めることができる。そして、求めた画素値を使用して画像処理することにより画素を生成し、画像を補間することができる。
【００２４】
（第２実施の形態）
次に、接合部により欠けた要素画像の回転角を算出して画素を補間する第２の補間手段について、説明する。
本発明の第２の補間手段は、第１の補間手段の際使用した式（１）、（２）、（３）から導いた、角度を求める式（４）、（５）、（６）を使用して、欠落したオブジェクトの角度を求めて補間する。
要素画像の欠落が１個の場合は、
φｂ＝（φａ＋φｃ）／２ …（４）
また、要素画像の欠落が２個の場合は、
φｅ＝（２×φｄ＋φｇ）／３ …（５）
φｆ＝（φｄ＋２×φｇ）／３ …（６）
図９は、要素レンズ内の各要素画像の、第２の補間手段を示す説明図であり、図１０は、第２の補間手段のステップを示すフローチャートである。
図９に示すように、式（４）は、要素画像ａ，ｂ，ｃのうち、真中の要素画像ｂが欠けている場合、要素画像ｂの回転角φｂを算出する式である。
同様に、式（５）、（６）は、要素画像ｄ，ｅ，ｆ，ｇのうち、要素画像ｅ，ｆの２個欠けている場合であり、式（５）は、左側の要素画像ｅの回転角φｅ（図示せず）を算出する式である。また、式（６）は、右側の要素画像ｆの回転角φｆ（図示せず）を算出する式である。
【００２５】
本発明の第２の補間手段は、これらの式により数値演算させることによって欠落した要素レンズ１２ｂ、１２ｅ、１２ｆ…に写し出されるであろう要素画像の角度を算出して実際に即した傾きのある要素画像を生成し補間するものである。
そこで、第２の補間手段の特徴である角度補間のステップとしては、図１０に示すように、最初、要素画像ａのオブジェクト（画像）を抽出する（ステップＳ１）。オブジェクトの抽出は、隣接する要素画像との比較をおこなうことで抽出することで可能である。
【００２６】
次に、要素画像ａのオブジェクトの回転角φａを算出する（ステップＳ２）。オブジェクトの回転角φａを算出する方法としては、オブジェクトの重心位置を求めると都合がよい。オブジェクトの重心位置を求める方としては、検出したオブジェクトの座標、（ｘ、ｙ）値の加算平均によって求めることができる。さらに、図９に示すように、例えば、オブジェクトの重心位置を中心として要素画像ａにおいて、オブジェクトの最も長い辺を抽出し、細線化して基準点（観察者相当位置）との方向よりφａを求めるとよい。
次に、要素画像ｃのオブジェクトの回転角φｃを同様に求める（ステップＳ３）。さらに、回転角φａと回転角φｃより、式（４）から回転角φｂを算出する（ステップＳ４）。
これにより、要素画像ｂの回転角φｂを求めることができるため、欠けた要素画像の見合った回転角で補間でき、オブジェクトを生成することができる（ステップ５）。
以上のようにＳ１〜Ｓ５のステップにより、実際と同様にカメラと被写体の角度を反映させた継ぎ目部分の要素画像に欠けのない立体画像の撮影を行うことができる。これにより、より実際に近い要素画像に補間することができることから、継ぎ目部分に欠けのある要素画像部分に、正確な要素画像を補間可能となり、臨場感のある良好な立体画像の撮影を行うことが可能である。
【００２７】
（第３実施の形態）
図２（ｂ）は、請求項３に係る立体画像撮影装置の一実施の形態を示すブロック図であり、図３は、第３実施の形態を示す本発明のインテグラルフォトグラフィを用いた立体画像撮影装置を示す全体概念図である。
前記第１と第２の実施の形態では、画像補間処理部7により、要素レンズブロック１０の枠の接合部１１によって欠落した要素レンズ１２ｂ、１２ｅ…（図４で破線の〇印で示す）を第１と第２の補間手段にて補間して、欠けのない立体画像の撮影を行うことができることを説明した。
しかしながら、要素レンズブロック１０の接合には、細心の注意を払っても、側面の研磨精度や接着剤の収縮等により、接触部の距離を各要素レンズ間の距離の整数倍にすることができない場合にずれが生じることがある。
【００２８】
図５は、要素レンズブロック１０の一つが複眼レンズ９のところで大きくずれた状態を示す摸式図である。図５に示すように、矢印で示した方向に要素レンズブロック１０がずれてしまった場合、そのずれが各要素レンズの距離の整数倍とはならないときは、従来方式での補間手段では解決できないことがある。
【００２９】
図６は、要素画像のずれについて水平方向の１ラインを示した説明図である。垂直方向のずれに対しても同様であるが、ここでは、水平方向のずれに対する補正について説明する。
図６に示すように、図中の一点鎖線は１ラインに相当しており間隔、実線の「〇」印は正しい間隔の要素画像を示している。また、破線の「〇」印は正しい間隔で補正された要素画像である。図中ｐは正規の要素画像の間隔であり、「□」印は、ずれた要素画像を示している。したがって、図６では、寸法ｄだけ正しい位置からずれていることになる。
インテグラルフォトグラフィを用いた立体画像テレビでは、表示の際にも、撮影時の要素画像のレンズ間隔に比例したレンズ間隔のマイクロレンズアレーが用いられる。従って、要素画像の位置がｄだけずれていると、表示される画像の位置も、撮影時の被写体の位置よりｄだけずれることになり、歪んだ立体画像が表示されることになる。
【００３０】
そこで、図２（ｂ）のブロック図に示すように、本実施形態における要素画像位置補正部６を追加し、ずれｄを補正して、歪んだ立体画像を直すことができる。つまり、要素画像位置補正部６は、ずれｄを正しい位置に要素画像を並べ直すように補正するものである。図３に示す立体画像撮影装置１には、要素画像位置補正部６が追加されて構成されている。
図７は、前記要素画像位置補正部６の制御について説明するブロック図である。図７に示すように、最初、要素画像信号２１をフレームメモリー２３に順次記録させ、続いて、フレームメモリー２３を制御するシステムクロック２２をフレームメモリー２３とＣＰＵ（Central Processing Unit）２６に入力させる。
システムクロック２２の周波数は、精度の高い補正を行うことから、要素画像の繰り返し周期よりも充分に高いことが望ましい。また、通常は、要素画像内の個々の画素に対応するクロックを用いるとよい。ＣＰＵ２６は、予め各要素画像のアドレスを記録したＲＯＭ（Read Only Memory）２５と接続されており、要素画像の位置を補正すべき要素レンズブロック１０（図４参照）を読み出すときには、前記したずれｄだけ読み出しタイミングをずらすようになっている。読み出しタイミングをずらす手段については後述する。そして、このままでは、位置が補正されても、要素画像に記録された画像は、ずれた方向から撮影されたものである。したがって、さらに、ずれｄの相当分を、要素画像位置補正部６にて要素画像の位置補正２７を行う。この位置補正の手段は、前記した第１の補間例や、第２の補間例を使用することができる。
【００３１】
出力手段である出力タイミングの調整方法について、以下に説明する。図６に示すように、Ｄを要素画像ブロックのずれとすると、
ｎ=（Ｄ mod ｐ）：要素画像ブロック間の継ぎ目に補間する要素画像の数（mod：除算して整数値部分を与える）、
ｄ＝ｐ−（Ｄ−ｎ×ｐ）：正しい間隔からずれた要素画像間隔、
ｆ＝ｄ/ｔ ：ｔはシステムクロックの周波数、ｆはｔに対する波数に換算したずれを表す、
ＣＰＵ２６は、クロック数ｆだけずらした位置に要素画像が来るように読み出す。ここでは、時間軸上を遅らせる例として紹介したが、
ｄ´＝ｐ−（Ｄ−（ｎ−１）×ｐ）
ｆ´＝ｄ´/ｔ
として、ｆ´だけ進めた位置に要素画像が来るように読み出してもよい。
このようにすることにより、要素画像ブロックの接続位置が、一つ一つの要素画像間の、距離の整数倍からずれたときでも、撮影画像に歪みのない立体画像撮影装置を実現することができる。
【００３２】
つまり、要素レンズブロック間がＤだけずれて、Ｄが正しい間隔ｐの整数倍でないとき、式（１）から（３）に従って補間すると端数ｄができる。隣にある要素レンズブロックの最初の画素の位置をｄだけ場所を移動させないと、ｐ間隔で均等に配置されなくなる。電気的には、ｆ＝ｄ／ｔだけ遅延させることにより、最初の画素の位置をｄだけずらすことができる。以後、要素画像ブロックの各画素の位置はｄだけずれることになる。
次のｄ´は、逆にｄ´だけ時間的に進める（このとき、式（１）から（３）で計算される補間画素数は、先の例より1個減る）ことにより、次の要素レンズブロックの画素をｐ間隔で均等に配置する。
なお、クロック数とは、ＣＰＵの動作を制御するための基準信号の周波数をいい、システムクロックとは、各要素画像を構成する画素のサンプリング周波数をいう。
【００３３】
【発明の効果】
請求項１に記載の発明によれば、レンズ群を結束し接合した継ぎ目部分の位置にレンズが装着できないことから生じる要素画像の欠け、つまり、格子状に欠けた要素画像を生成するために画像補間処理部を設け、簡単な数値演算によりすべての要素画像中の画素値を求めることによって、要素画像の欠け部の画像を生成することができる。これにより、継ぎ目部分に要素画像の欠けのない良好な立体画像の撮影を行うことが可能であり、品位の高い立体映像の提供が可能である。
【００３４】
請求項２に記載の発明によれば、簡単な演算式を用いて数値演算をすることにより、要素画像中の画素値を算出することができるので、接合部の要素画像を補間することができる。
また、要素レンズブロックの集合体が大きくなった場合でも、同様の手段で補間する要素画像の数を増やすことで対応が可能である。
【００３５】
請求項３に記載の発明によれば、各要素画像に写し出されるオブジェクトは、カメラと被写体のオブジェクトに対する角度がすべて異なり、一定の角度差があることに着眼した補間手段であり、２つの要素画像のオブジェクトを抽出して、２つの回転角を計算することにより、補間が必要な要素画像の回転角を求めることでき、より精密な、実際の要素画像に近いオブジェクトの生成することが可能である。
これにより、より正確に補間することができることから、継ぎ目部分の要素画像に欠けのない良好な立体画像の撮影を行うことが可能であり、品位の高い立体映像の提供が可能である。
【００３６】
請求項４に記載された立体画像撮影装置は、要素レンズブロックの接合部において要素画像の欠けた画像を補正するために、前記撮像部により撮影された要素画像の出力タイミングを調整することで位置補正する位置補正部を設けたことにより、要素レンズブロック間のずれが、接合面の研磨精度や接着剤の収縮により、各要素レンズ間の距離の整数倍にできなかった場合であっても、位置補正が可能であり、高精度な要素画像を生成することにより、より臨場感のある、高品位な立体映像が可能である。
【図面の簡単な説明】
【図１】第１、第２実施の形態を示す本発明のインテグラルフォトグラフィを用いた立体画像撮影装置を示す全体概念図である。
【図２】（ａ）第１、第２実施の形態を示す本発明の立体画像撮影装置のブロック図である。（ｂ）第３実施の形態を示す本発明の立体画像撮影装置のブロック図である。
【図３】第３実施の形態を示す本発明のインテグラルフォトグラフィを用いた立体画像撮影装置を示す全体概念図である。
【図４】要素レンズブロックの接合例を示す摸式図である。
【図５】要素レンズブロックの接合が不良な例の摸式図である。
【図６】一方向１ラインの要素画像のずれについて示した説明図である。
【図７】要素画像位置補正部の構成について説明するブロック図である。
【図８】第１の補間手段を示す要素画像の画素番号を付した模式図である。
【図９】要素レンズ内の各要素画像の、第２の補間例を示す説明図である。
【図１０】第２の補間例の手順を示すフローチャートである。
【図１１】インテグラルフォトグラフィ方式の立体画像の原理を示す模式図である。
【図１２】ＩＰ方式において撮影素子とレンズの関係を示す模式図である。
【図１３】図１２のＡ−Ａ断面図である。
【図１４】レンズ群を用いて実現されるインテグラルフォトグラフィを用いた立体画像の撮影から表示までを示す全体概念図である。
【図１５】図１４に示す複眼レンズ上の画像の拡大図である。
【符号の説明】
１ 立体画像撮影装置
２ 被写体
２´立体画像
３ 凸レンズ
４ 複眼レンズ
４ａ，４ｂ 複眼レンズの端面
４ｃ 複眼レンズ部
５（５ａ） テレビカメラ（撮影部）
６ 要素画像位置補正部
７ 画像補間処理部
８ 液晶パネル
９ 複眼レンズ
２１ 要素画像信号
２２ システムクロック
２３ フレームメモリー
２４ 画像補正
２５ ＲＯＭ
２６ ＣＰＵ
２７ 位置補正された要素画像
Ｄ 要素画像ブロックのずれ
ｐ 正しい要素画像間隔
ｄ 正しい間隔からずれた要素画像間隔
Claims (4)
- インテグラルフォトグラフィ方式を用いて立体画像を撮影する立体画像撮影装置において、
被写体を撮像する凸レンズと、
複数のレンズからなる要素レンズブロックを複数接合して構成される撮影用複眼レンズ部と、
前記撮影用複眼レンズ部の端面に結像された画像を撮像する撮像部と、
前記撮像部によって撮影された要素画像の中で、要素レンズブロックの接合部により欠けた要素画像を補間する画像補間処理部とからなり、
前記画像補間処理部の画像を補間する手段として、前記接合部において欠けた要素画像中の画素値を算出して画素を生成して補間する第１の補間手段、及び／又は、接合部により欠けた要素画像の回転角を算出して画素を生成して補間する第２の補間手段により補間することを特徴とする立体画像撮影装置。 - 前記第１の補間手段は、等間隔に配列された要素画像のうち、欠けている要素画像の要素値を算出する手段であって、連続する要素画像ａ，ｂ，ｃのうち、欠けている要素画像ｂを補間する場合には、式（１）を用い、連続する要素画像ｄ，ｅ，ｆ，ｇのうち、欠けている要素画像ｅ、ｆを要素画像ｄ、ｇで補間する場合には、式（２）、（３）を用いることを特徴とする請求項１に記載の立体画像撮影装置。
ｂij＝（aij＋cij）／２ …（１）
ｅij＝（２×ｄij＋ｇij）／３ …（２）
ｆij＝（ｄij＋２×ｇij）／３ …（３）
ただし式中、添え字のｉ，ｊは、要素画像を構成する画素のうち、ｉ，ｊ番目の画素を示し、ｉ，ｊは整数である。 - 前記第２の補間手段は、順番に要素画像ａ，ｂ，ｃのうち、要素画像ｂを補間する手段であり、要素画像ａのオブジェクトを抽出するステップと、要素画像ａのオブジェクトの回転角を算出するステップと、要素画像ｃのオブジェクトの回転角を算出するステップと、要素画像ａの回転角と要素画像ｃの回転角から、要素画像ｂのオブジェクトの回転角を算出するステップと、要素画像ｂのオブジェクトを生成するステップとを有することを特徴とする請求項１に記載の立体画像撮影装置。
- 前記要素レンズブロックの接合部において要素画像の欠けた画像を補正する立体画像撮影装置であって、前記撮像部により撮影された要素画像を出力手段による出力タイミングを調整することで位置補正する位置補正部を、さらに設けたことを特徴とする請求項１から請求項３のいずれか１項に記載の立体画像撮影装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001194155A JP4377557B2 (ja) | 2001-06-27 | 2001-06-27 | 立体画像撮影装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001194155A JP4377557B2 (ja) | 2001-06-27 | 2001-06-27 | 立体画像撮影装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003005315A JP2003005315A (ja) | 2003-01-08 |
| JP4377557B2 true JP4377557B2 (ja) | 2009-12-02 |
Family
ID=19032333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001194155A Expired - Fee Related JP4377557B2 (ja) | 2001-06-27 | 2001-06-27 | 立体画像撮影装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4377557B2 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP2634618A1 (en) * | 2005-10-27 | 2013-09-04 | Real Inc. | Temperature compensation for the differential expansion of an autostereoscopic lenticular array and display screen |
| JP4729011B2 (ja) * | 2007-07-10 | 2011-07-20 | 日本放送協会 | 要素画像群変換装置、立体像表示装置及び要素画像群変換プログラム |
| JP5747679B2 (ja) * | 2011-06-17 | 2015-07-15 | 国立研究開発法人情報通信研究機構 | ３次元画像の提示方法 |
| JP5852465B2 (ja) * | 2012-02-15 | 2016-02-03 | 日本放送協会 | 空間情報補間装置およびそのプログラム |
| JP5845123B2 (ja) * | 2012-03-22 | 2016-01-20 | 日本放送協会 | ３次元モデル−インテグラル画像変換装置およびそのプログラム |
| JP2014081519A (ja) * | 2012-10-17 | 2014-05-08 | Nippon Hoso Kyokai <Nhk> | 撮影装置および表示装置 |
| JP6341598B2 (ja) * | 2014-02-26 | 2018-06-13 | 日本放送協会 | 画像符号化装置、画像復号装置、画像符号化プログラム及び画像復号プログラム |
-
2001
- 2001-06-27 JP JP2001194155A patent/JP4377557B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003005315A (ja) | 2003-01-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105872525B (zh) | 图像处理装置和图像处理方法 | |
| JP5238429B2 (ja) | 立体映像撮影装置および立体映像撮影システム | |
| EP1887790B1 (en) | Panoramic imaging device | |
| JP5954964B2 (ja) | 撮像装置およびその制御方法 | |
| JP5421364B2 (ja) | ３次元撮像装置 | |
| KR101629479B1 (ko) | 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법 | |
| CN103260045A (zh) | 摄像装置及图像传感器阵列 | |
| US20040001138A1 (en) | Stereoscopic panoramic video generation system | |
| US20060132916A1 (en) | Autostereoscopic display | |
| CN101911671A (zh) | 摄像装置和光轴控制方法 | |
| JP2009300268A (ja) | ３次元情報検出装置 | |
| WO2011142062A1 (ja) | ３次元撮像装置 | |
| JP2014182299A (ja) | マイクロレンズアレイユニットおよび固体撮像装置 | |
| JP4377557B2 (ja) | 立体画像撮影装置 | |
| JP3676916B2 (ja) | 立体撮像装置および立体表示装置 | |
| JP4729011B2 (ja) | 要素画像群変換装置、立体像表示装置及び要素画像群変換プログラム | |
| KR20190025643A (ko) | 더 풍부한 컬러 샘플링을 위한 플렌옵틱 서브 애퍼처 뷰 셔플링 | |
| JPH1097642A (ja) | 画像処理方法及び装置及び記憶媒体 | |
| JP2019521599A5 (ja) | ||
| JP5088973B2 (ja) | 立体撮像装置およびその撮像方法 | |
| RU2518365C1 (ru) | Оптико-электронный фотоприемник (варианты) | |
| CN105554484A (zh) | 一种应用于高感光微偏阵列成像的去马赛克方法 | |
| JP2825707B2 (ja) | ３次元撮像装置 | |
| JP2014066539A (ja) | 光学パラメータ測定装置、光学パラメータ測定方法、指向性表示装置 | |
| RU2379726C1 (ru) | Способ получения и восстановления объемного изображения |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090317 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090515 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090911 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4377557 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140918 Year of fee payment: 5 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |