JP3753201B2

JP3753201B2 - 視差画像入力装置

Info

Publication number: JP3753201B2
Application number: JP19185396A
Authority: JP
Inventors: 修司小野
Original assignee: Fuji Photo Film Co Ltd
Current assignee: Fujifilm Holdings Corp
Priority date: 1996-07-22
Filing date: 1996-07-22
Publication date: 2006-03-08
Anticipated expiration: 2016-07-22
Also published as: EP0821532B1; JPH1042314A; DE69717733T2; US6233003B1; DE69717733D1; EP0821532A1

Description

【０００１】
【発明の属する技術分野】
本発明は、視差画像入力装置、詳しくは、視差のある複数の画像を入力する新規な装置に関するものである。
【０００２】
【従来の技術】
視差画像を用いて、物体の奥行き方向の情報を抽出・復元する手法は、画像処理研究の世界においては「コンピュータビジョン」あるいは「画像理解」と呼ばれる分野に属し、人工視覚機能実現のための重要な技術の１つとして位置づけられている。
【０００３】
視差画像入力のための装置として、人間の両眼視を模倣してカメラを２台並べるものが数多く提案されている（出口光一郎「コンピュータビジョン」丸善 p.83-88，尾上守夫「画像処理ハンドブック」昭晃堂 p.395-397）。またそのほかに３つ以上のカメラを配置するものもいくつか提案されている（大森・森下「多眼視ステレオ画像を用いた物体検出」SICE論文集,Vol.18,7,pp.716-722(昭57-07)，谷内田正彦「多重画像を用いて３次元物体を認識」日経メカニカル,Vol.157,pp.82-91(昭59-01)，伊藤・石井「３眼画像による立体視対応点処理」情報処理学会第29回全国大会,2M-3(昭59-09)，大田・池田「３眼ステレオについて」,ibid,2M-4）。これらの方式は複眼ステレオ法と呼ばれる。
【０００４】
しかし複数のカメラを使用するために、これらの方式には、大きさ・コストなどが多大になること、各カメラそれぞれの向きやピントその他の調整も非常に複雑になることなどの実用上の欠点があった。
【０００５】
また別の視差画像入力のための装置として、１台のカメラを順次移動しながら視差画像を獲得する方式も提案されている（山本「連続ステレオ画像からの３次元情報の抽出」電子情報学会論文誌,Vol.J69-D,No11,1631，R. Navatia:"Depth measurement from motion stereo",Comput. Graphics Image Process.,Vil.9,pp.203-214(1976)，T. D. Williams:"Depth from camera motion in a real world scene", IEEE Trans. Pattern Anal. Mach. Intell., PAMI-2,pp.511-516(1980) ）。この方式では、視差画像は時系列の連続画像として得られる。この方式はモーションステレオ法と呼ばれる。モーションステレオ法では、上記複眼方式よりもはるかに多くの視点からの視差画像が得られる。これら多くの視差画像が互いにわずかずつの視差しか持たないような高い密度でサンプリングされたものを連続視差画像と呼ぶ。この方式ではカメラは１台で済むので、上記複眼方式のような各カメラ間の調整・位置合わせなどの問題は回避できる。
【０００６】
【発明が解決しようとする課題】
しかし、カメラをあらかじめ設定された位置に順次移動しなくてはならないので、その移動機構が非常に大がかりなものになる。一般には、レールのような軌道を敷設したり、精密な移動ステージを設け、さらにカメラを移動するための駆動装置が使われる。これもまた、非常に複雑な機構を必要とするので実用的とは言えないものであった。
【０００７】
本発明は、上記事情に鑑みてなされたものであって、物体の奥行き方向の情報を抽出・復元し、奥行き情報を持つ立体画像データを再構成するための、多くの視点からの視差画像を得るための非常に簡便な視差画像入力装置を提供することを目的とするものである。
【０００８】
【課題を解決するための手段】
本発明の視差画像入力装置は、異なる視点からの複数の画像を獲得するための視差画像入力装置であって、
外界の映像を結像する画像結像手段と、
前記画像結像手段における異なる位置を通過した画像情報を選択的に撮像し画像データ列に変換する視差画像撮像手段と、
前記撮像手段によって変換された前記画像データ列を記録する画像記録手段とから構成されることを特徴とするものである。
【０００９】
前記画像結像手段が、光学像を結像する光学レンズであってもよい。
【００１０】
さらに、前記視差画像撮像手段が、前記光学レンズの瞳面における光透過範囲を定める光量制御手段と、前記光量制御手段の光透過範囲を前記光学レンズの瞳面に平行な方向へ移動させ、前記画像結合手段の特定の位置を通過する画像情報だけを選択的に伝達する光量制御手段の光透過範囲制御手段と、前記光量制御手段によって伝達された前記画像情報を撮像し画像データ列に変換する撮像手段とからなるものであってもよい。光量制御手段とは、例えば光シャッターであり、その場合の光量透過範囲制御手段とは、光シャッターの駆動回路である。
【００１１】
また、前記視差画像撮像手段が、前記画像結像手段によって第一の像面上に結像された像の各部をさらに各別に第二の像面上に結像する複数の結像素子からなる結像素子群と、前記第二の像面上に前記複数の結像素子に対応して配された複数の微小領域を有する撮像手段とからなり、該撮像手段の前記微小領域はそれぞれ１つまたは複数の画素域を有し、結像された画像情報を画像データ列に変換するものであることを特徴とするものであってもよい。なおこのとき、前記撮像手段が、複数の撮像素子からなり、該各撮像素子がそれぞれ前記微小領域に対応する撮像面を有するものとすることができる。
【００１２】
また、前記結像素子群を、二次元方向に屈折力を有するレンズアレイあるいは一次元方向にのみ屈折率を有するシリンドリカルレンズアレイとしてもよい。
【００１３】
前記撮像手段は、前記画像結像手段における異なる位置を通過した複数の画像情報を同時に撮像するものであっても、順次に撮像するものであってもよい。
【００１４】
なお、前記撮像手段は、ＣＣＤ等の光電変換撮像手段あるいは銀塩感光フイルム等の光化学反応撮像手段であってもよい。
【００１５】
【発明の原理および作用】
本発明の視差画像入力装置の作用を説明する。
【００１６】
まず、連続視差画像獲得の原理について説明する。図１は単一の結像レンズ光学系によって、映像を撮像体に結像させている様子を示している。図１では、結合レンズ14の開口すなわち光学的にいうところの「瞳」は広く開かれている。このとき、撮像体16の上には３つの物体１，２，３の像1a, 2a, 3aがそれぞれ結像される。しかし、撮像体16の上で焦点があうのは、撮像体合焦面Ｄにある物体２の像2aだけである。
【００１７】
物体１のレンズ14からの距離は撮像体合焦面Ｄよりも遠いので、物体１の合焦像1dは撮像体16よりもレンズ14に近いところに形成される。その結果、撮像体16上の物体１の像1aは拡散しつつある状態にあり、ぼけた像となる。
【００１８】
一方、物体３のレンズ14からの距離は撮像体合焦面Ｄよりも近いので、物体３の合焦像3dは撮像体16よりもレンズ14から遠いところに形成される。その結果、撮像体16上の物体３の像3aは収斂しつつある状態にあり、これもまた、ぼけた像となる。
【００１９】
図２も図１と同様に、レンズ光学系によって映像を撮像体16に結像させている様子を示している。図２の図１との違いは、レンズ14の瞳がレンズ瞳開口位置制御手段（光シャッター）15によってレンズ14上方の一部のみに制限されており、図１の瞳よりもずっと小さいことである。このとき、合焦面Ｄ上にある物体２の像2aは、図１と同様に焦点の合ったものである。
【００２０】
一方、焦点の合っていない物体１、物体３の合焦像1d, 3dと撮像体16との位置ずれ量は図１のそれぞれと変わらない。しかしこれらの像の、撮像体16の上での像のぼけ量と位置は図１のそれらとは異なったものとなる。物体１の像1bは撮像体16上で拡散しつつある状態にあり、ぼけた像となるが、そのぼけ量は瞳が全開の場合に比べはるかに少ない。さらに重要なことは、撮像体16上の像1bが、瞳が全開の場合のぼけた像1aの下部に位置していることである。これは、瞳位置がレンズ14の上方にあり、かつ撮像体16位置よりも物体１の像1bの焦点位置がレンズ14の近くにあるために必然的に生じる現象である。また、物体３については逆の現象が生じる。物体３の像3bは撮像体16上で収斂しつつある状態にあり、ぼけた像3bとなるが、やはりそのぼけ量は瞳が全開の場合に比べはるかに少ない。さらに、撮像体16上の像3bは、瞳が全開の場合のぼけた像3aの上部に位置している。これは、瞳位置がレンズ14の上方にあり、かつ撮像体16位置よりも物体３の像の焦点位置がレンズ14から遠くにあるために生じる現象である。
【００２１】
さらに、次に示す図３においては、レンズの瞳の大きさは同様に制限したままで、瞳の位置だけを図２のレンズの上方にある状態から、レンズの下方に下げている。このとき、撮像体16の上の３つの物体の像1c, 2c, 3cのぼける量は図２のそれぞれと変わらない。しかし、物体１、物体３の撮像体16上の像1c, 3cの位置は、図２の場合とは逆になる。すなわち、物体１の像1cは瞳が全開の場合のぼけた像1aの上部に位置し、物体３の像3cは瞳が全開の場合のぼけた像3aの下部に位置する。この現象も、合焦点の位置と光路との関係から必然的に生じるものである。
【００２２】
これらの現象をまとめると、レンズ14の瞳の開口の大きさを制限したままで、瞳の開口位置だけをレンズ14の上方から下方に下げていくと、焦点位置と撮像体位置が一致する物体２については、その像はなんら変化することがないが、物体１、物体３の撮像体上の像の位置はそれぞれ変化するということになる。しかも、その位置変化の量と方向は、各物体１, ２, ３と焦点面との位置関係によって決まってくるのである。
【００２３】
ここで、撮像体16上に得られる画像という観点からこの現象を考えてみる。すなわち、上記、図１、図２ならびに図３の状態で撮像体16が受光する光のパターン（＝受光像）について考える。
【００２４】
まず、図１の瞳が広く開かれている状態では、受光像は図４（ａ）のようになる。この時、物体１と物体３の像1a, 3aが強くぼけている。
【００２５】
次に図２の状態、すなわち瞳が結像レンズ14の上方で開いているときの受光像は図４（ｂ）のようになる。この時、物体１と物体３の像1b, 3bが少しぼけ、その位置は瞳が広く開かれている時のぼけの範囲の一方に偏っている。
【００２６】
次に図３の状態、すなわち瞳が結像レンズ14の下方で開いているときの受光像は図４（ｃ）のようになる。この時、物体１と物体３の像1c, 3cが少しぼけ、その位置は瞳が広く開かれている時のぼけの範囲の一方に偏っている。しかも、偏りの方向は瞳が結像レンズ14の上方で開いているときとは逆の方向になる。
【００２７】
ここで、これらの受光像がどのようにして得られているかを定性的に考えてみる。
【００２８】
図４（ｂ）の状態、すなわち瞳が結像レンズの上方に開いているときの受光像は、レンズの上方の瞳を通過してくる光だけから作られている。すなわち、この受光像はレンズ上方の瞳の位置から３つの物体を眺めたときに得られる像にほぼ等しい。
【００２９】
一方、図４（ｃ）の状態、すなわち瞳が結像レンズの下方に開いているときの受光像は、レンズの下方の瞳を通過してくる光だけから作られている。すなわち、この受光像はレンズ下方の瞳の位置から３つの物体を眺めたときに得られる像にほぼ等しい。この考え方を概念的に示したのが図５である。
【００３０】
また、図４（ａ）の状態、すなわち瞳が結像レンズ全体にわたって開いているときの受光像は、レンズのあらゆる部分を通過してくる光から作られている。すなわち、この受光像はレンズのあらゆる位置から３つの物体を眺めたときに得られる像を総て重ね合わせたものと考えることができる。
【００３１】
以上のように、レンズの瞳の大きさを制限し、その瞳を移動させながら撮影すれば、撮像体上の像はそのときどきの瞳の位置から３つの物体を眺めたときに得られる像にほぼ等しい。したがって、これらの画像ははわずかずつ異なる視差を持つことになる。すなわち、これらの受光像群は物体の奥行き方向の情報を抽出・復元するのにきわめて有用な情報を持つ多数の視差画像（＝連続視差画像）にほかならない。これが本発明の視差画像入力装置の動作原理である。
【００３２】
この原理によって得られた連続視差画像では、焦点面にある物体２の像の位置が変化しないという特徴がある。この特徴があると、少ないサンプル画像数であっても連続視差画像間で物体像の移動に飛びが生じないので、簡便な奥行き計算アルゴリズムを利用することができる。これと同様の効果を前述のモーションステレオ法で得ようとすると、非常に高精度で複雑なカメラ光軸制御が必要になるが、本発明の視差画像入力装置では、原理的に焦点面にある目標物体の像位置の変化がほとんどないために、非常に簡単かつ自然にこの特徴を得ることができる。
【００３３】
以下、本発明の簡便さを明確にするために、モーションステレオ法でこの特徴を得るために必要な構成について説明する。
【００３４】
モーションステレオ法では、撮影カメラを移動させながら視差画像の撮影を行う。その際のカメラの光軸の制御方法には、図６、図７に示すように大きく分けて２種類の方法がある。１つはカメラ12の光軸を平行移動させる方式（図６（ａ））、もう１つはカメラ12の光軸が常にある地点を向くように制御する方式（図７（ａ））である。（なお、前者の制御法も、カメラの光軸が「常に無限遠点を向くように制御している」と解釈することもできる。）
カメラの光軸を平行移動させる方式の利点は、制御の簡便さである。しかし、この系で得られる像を示す図６（ｂ）から明らかであるように、平行移動方式（図６（ａ））ではカメラ12のある移動量に対して、近くにある物体ほど大きな視差が生じてしまう。ところが、連続視差画像のメリットは、視差画像間において視差による物体像の移動に飛びが生じないということであり、これが奥行き情報復元のアルゴリズムを簡便なものにするために重要な条件である。したがって、この条件を維持する、すなわち近い物体に対しても視差画像間の連続性を確保するためには、十分に高密度のサンプリングをしなくてはならない。その一方で、遠くの物体に対しては十分な視差が得られるだけの移動量を稼がねばならないため、結局、高密度かつ大きな移動量が必要になり、非常に多くの画像サンプリングを行わなくてはならない。これでは、画像データも計算量も膨大なものになってしまう。このようにカメラ12の光軸を平行移動させるタイプのモーションステレオ法には、膨大なサンプリング密度（画像枚数）が必要という欠点がある。
【００３５】
これに対し、対象とする物体の周辺で必要最低限の連続視差画像を得るだけで済む手段が、前述のモーションステレオ法の後者の光軸回転方式（図７（ａ））である。この方式は、カメラ12の光軸が常にある所定の地点を向くようにカメラ12の向きを制御しながらカメラ12を移動するので、カメラ12の移動制御機構が大がかりになるという欠点がある。しかし、この系で得られる像を示す図７（ｂ）からもわかるように、得られる視差画像では、カメラの光軸回転の中心点にある物体２の像2aはほとんど動かず、その前後に存在する物体１,３の像1a，3aにのみ変化が現れる。この特徴によって、カメラを移動していった際に、対象とする物体周辺像の視差による移動に連続性を保つことが容易になる。
【００３６】
さらに光軸回転方式では、カメラの光軸回転の中心点の前にある物体と後ろにある物体とでは視差発生の方向が逆になる。具体的には、画像上での移動は、手前にある物体ではカメラ移動方向と逆相に、遠方にある物体ではカメラ移動方向と同相になる。したがって画像上での移動が同相か逆相かを検出するだけで、ある物体が光軸回転の中心点の手前にいるか奥側にいるかを直ちに知ることができる。
【００３７】
以上のように、カメラの光軸が常にある地点を向くようにカメラの向きを制御しながらカメラを移動するタイプのモーションステレオ法には、光軸固定式に対して、後段の画像処理に適した連続視差画像を得やすいという利点がある。しかし、上述したようにカメラの光軸の向きを制御しながらカメラを移動する機構が大がかりになるという欠点があり、実用的ではない。
【００３８】
また、連続視差画像入力のための装置として、より一般的な複眼ステレオ法で多数のカメラを用いる方法もあり得ないことではないが、図８のように、何台ものカメラ12’をその光軸が常にある地点（ここでは物体２の位置）を向くようにして設置することは非常に困難で実用的ではない。さらに、注目する地点を任意に設定・変更し、必要に応じて方向制御することなどはほとんど不可能に近い。
【００３９】
２つの眼球を持つ人間においては、両眼のそれぞれが同じ対象を視野の中心にとらえるように制御する機構（輻輳と呼ばれる（鶴田「光の鉛筆」新技術コミュニケーションズ pp.31-33，大頭仁「２眼式立体視技術と視覚機能」精密工学会誌,Vol.54,5-11,1988））が存在する。すなわち人間は、注目しようとする物体に意識を向けるだけで、自然に物体に焦点を合わせ、また両目の光軸を注目物体に向けることが出来る。その結果、視差画像上で注目物体が静止し、しかもその像にピントが合っている、という立体視にとって理想的な入力視差画像を獲得している。これは脳内で奥行き情報を抽出処理する際に、大きな助けになっていると推察される。
【００４０】
人間は、この制御を特別な訓練をすることなく身につけ、いともたやすく実現しているが、それは生物の進化や遺伝、そして学習などの高度なメカニズムの働きに依存するところが大きい。これと同等の制御を実現することは、非常に難易度の高いものであり、実用的な理論やメカニズムは未だに開発されていない。
【００４１】
【発明の効果】
本発明の視差画像入力装置で得られる連続視差画像は、画像結像手段における異なる位置に通過した画像情報を選択的に撮像し画像データに変換する視差画像撮像手段を備えるので、カメラの光軸が常にある地点を向くようにカメラの向きを制御しながらカメラを移動する上述の方式のモーションステレオ法で得られる画像と同じ特徴を持っている。それは、(1) 対象とする物体の周辺にある物はほとんど動かず、その前後に存在する物体にのみ変化が現れること、(2) 視差発生の方向は、カメラの光軸回転の中心点の前にある物体と後ろにある物体とでは逆になること、の２点である。この結果、光軸回転方式のモーションステレオ法と同様に十分な視差画像間の連続性を確保しながらも、実用的なサンプリング密度（画像枚数）の連続視差画像を得ることができる。
【００４２】
さらに、本発明の視差画像入力装置が光軸回転方式のモーションステレオ法よりも優れている点として、画像結像手段として結像レンズを用いた場合、結像レンズの焦点面にある物体が撮像面上で自動的に静止するという特徴があげられる。この特徴のおかげで、モーションステレオ法のように大がかりな方向制御機構はいっさい必要ない。しかも、結像レンズの焦点面にある物体を中心にした連続視差画像を得るので、光学的結像原理からも、もっとも良好な合焦画像を得ることができる。
【００４３】
本発明の視差画像入力装置は、２つの眼球の運動を巧妙に制御する人間の光軸制御方式とは全く異なる原理ではある。しかし、注目しようとする物体に焦点を合わせるだけで、自然にその物体が視差画像上で静止するという点で、達成されている効果は人間の優れた視覚機能によって得られるものと同等である。この効果は、立体視のための入力視差画像としては理想的なものであり、その後段で行われる奥行き情報の抽出処理にとって、大きな助けになることは疑いようがない。
【００４４】
さらに、本発明の視差画像装置では、単一の画像結像手段および単一の撮像手段を用いて連続視差画像を得ることができるため、従来のように複数の撮影カメラを用いたり、撮影カメラを移動させるという必要がなく、従来の視差画像撮影の手法に比べはるかに簡便な構成で実用的なものである。
【００４５】
【発明の実施の形態】
まず、本発明の視差画像入力装置の構成について述べる。
【００４６】
図９は、本発明の視差画像入力装置の基本構成を機能の面からまとめたものである。本発明の視差画像入力装置10は、外界の映像を結像する画像結像手段４と、該画像結像手段４における画像の入力位置を制御して、この画像結合手段４によって結合された画像を撮像し画像データ列に変換する視差画像撮像手段５と、該視差画像撮像手段５によって変換された画像データ列を記録する画像記録手段７と、視差画像撮像手段５と画像記録手段７それぞれの動作を全体として制御する全体制御手段８とから構成される。
【００４７】
以下、本発明の視差画像入力装置の具体的な実施の形態を説明する。
【００４８】
＜第一の実施の形態＞
図１０に第一の実施の形態に係る視差画像入力装置10を示す。本視差画像入力装置10は、外界の映像を結像する結像レンズ14、該結像レンズ14の瞳面の近傍に置かれ開口位置の制御ができる光シャッター15、結像レンズ14および光シャッター15によって獲得された画像情報を撮像し画像データ列に変換する撮像体（CCDなど）16、該撮像体16によって変換された画像データ列を記録する画像記録装置17およびそれらを連携させて制御する全体制御装置18から構成される。
【００４９】
図９に示した本発明の視差画像入力装置の基本構成と、図１０に示した第１の実施の形態の構成要素との対応はそれぞれ、「画像結像手段４」は「結像レンズ14」、「視差画像撮像手段５」は「光シャッター15」および「撮像体（CCD など）16」、「画像記録手段７」は「画像記録装置17」、「全体制御手段８」は「全体制御装置18」である。
【００５０】
結像レンズ14の焦点は対象とする物体１, ２, ３のうち、もっとも中心的なもの（ここでは物体２）に合致するように調整される(Ａは焦点面である）。連続視差画像の獲得動作は、光シャッター15の開口位置をわずかずつ変化（走査）させながら、撮像体16によって像を獲得し、そのデータを順次画像記録装置17に記録することで達成される。開口位置を15a から15b へと矢印方向へ変化させるとき、撮像体16に結像される物体１，３の像はそれぞれ1aから1b、3aから3bへと変化する（物体２の像2aは移動しない）。開口の走査は、１次元方向のみに走査しても良いし、２次元方向に走査しても良い。さらに、記録された画像とそのときの開口位置の関係が明らかになるようなシステム構成とすれば、走査パターンは任意でよい。
【００５１】
＜第二の実施の形態＞
本発明による視差画像入力装置の第２の実施の形態を図１１に示す。
【００５２】
第２の実施の形態による視差画像入力装置10’は、外界の映像を結像する結像レンズ14、該結像レンズ14における画像の入力位置を制御するマイクロレンズアレイ25、結像レンズ14ならびにマイクロレンズアレイ25によって獲得された画像情報を撮像し画像データ列に変換する撮像体（CCD など）26、撮像体26によって変換された画像データ列を記録する画像記録装置27および撮像体26と画像記録装置17とのそれぞれの動作を全体として制御する全体制御装置18から構成される。
【００５３】
図９に示した本発明の視差画像入力装置の基本構成と、第二の実施の形態の構成要素との対応はそれぞれ、「画像結像手段４」は「結像レンズ14」、「視差画像撮像手段５」は、「マイクロレンズアレイ25」および「撮像体（CCD など）26」、「画像記録手段７」は「画像記録装置17」、「全体制御手段８」は「全体制御装置18」である。
【００５４】
結像レンズの焦点は対象とする物体のうち、もっとも中心的なものの合焦像がマイクロレンズアレイの上にくるように調整される。すなわち、図１１に示すように物体２をもっとも中心的な物体と見なしている場合、物体２は結像レンズ14左方の結像レンズ焦点面Ａ上に存在し、物体２の合焦像2dは結像レンズ14右方の結像レンズ焦点面Ａ’上に得られるとき、マイクロレンズアレイ25は結像レンズ焦点面Ａ’上に設置される。さらに、マイクロレンズアレイ25の焦点位置との関係においては、結像レンズ14の瞳位置がマイクロレンズ25左方のマイクロレンズ焦点面Ｂに一致し、一方、マイクロレンズ25右方のマイクロレンズ焦点面Ｂ’上に撮像体26がくるように設定される。
【００５５】
なお、撮像体26はマイクロレンズアレイ25の個々のレンズと１対１に対応するような微小領域のアレイとして扱う。
【００５６】
このとき得られる視差画像の画素数は、マイクロレンズアレイ25の素子数ならびに撮像体26の微小領域の数に一致する。
【００５７】
次に、第２の実施の形態の作用を説明する。本視差画像入力装置10’の連続視差画像の獲得動作は、マイクロレンズアレイ25による結像レンズ14瞳像の空間分離機能によって達成される。結像レンズ14とマイクロレンズアレイ25が上述の位置の関係２ある場合、マイクロレンズアレイ25中のある１つのマイクロレンズ25a （図中、下から４番目のレンズ）に到達する光は、図１２に網掛け領域として示す結像レンズ14の瞳面と結像レンズ焦点面Ａ上のマイクロレンズ25の実像との間に張られる円錐台形の空間内に存在する光点（点光源）からのものだけである。
【００５８】
まず、結像レンズ焦点面Ａ上のマイクロレンズの実像25a'位置に点光源31がある場合を考える。ここでは図中下から４番目のマイクロレンズ25a を例とする。この場合図１３のように、点光源31からの光は広がりながら結像レンズ14の瞳面に入射し、該レンズ14の作用によって光路が曲げられ、マイクロレンズ25a に向かって集まる。結像レンズ焦点面Ａと結像レンズ焦点面Ａ’は合焦関係にあるので、ちょうど下から４番目のマイクロレンズ25a の位置で点光源像は結像する。すなわち、レンズ14のあらゆる場所を通過した光が下から４番目のマイクロレンズ25a に到達する。従って、もし下から４番目のマイクロレンズ25a の位置から結像レンズ14を覗いたとすると、図１４（ａ）に示すように点光源31が結像レンズ14の瞳面一杯に広がっている様子を見ることができる。一方、その他のマイクロレンズにはこの点光源31からの光は一切入射しない。従って、その他のマイクロレンズの位置から結像レンズ14を覗いた場合には、図１４（ｂ）に示すように瞳面内に光は見えずそれらに対応する各撮像体上には真っ暗な像しか得られない。
【００５９】
次に、点光源31が結像レンズ焦点面Ａ上のマイクロレンズの実像位置に無い場合を考える（図１５，１６）。この場合、マイクロレンズ25の各レンズに入射することができるのは、点光源31から出た光のうち、その光路が結像レンズ焦点面Ａ上のマイクロレンズの各レンズの実像の範囲を通過する成分だけである。例えば、図１５はマイクロレンズ25b へ到達することができる点光源31からの放射光成分を太い斜線の領域で示している。このとき、結像レンズ焦点面Ａ’上のマイクロレンズ25b の位置から瞳面を観察すると、図１７（ｂ）のように瞳面の上部にのみ「ぼけた」点光源像31b が見える。
【００６０】
また、マイクロレンズ25a からは、図１７（ａ）のようにより中央よりに「ぼけた」点光源像31a を見ることができる。しかし、マイクロレンズ25c の場合は図１６のように、点光源31が、マイクロレンズ25c にその光が到達可能な円錐台形領域の外にあるため、点光源31から出た光のうち、その光路がマイクロレンズアレイ25c の像を通過する成分（太い斜線で示す領域）は結像レンズ14の瞳の外に向かってしまう。そのために、レンズ14を透過することはできず、マイクロレンズ25c の位置から結像レンズ14を覗いたとしても、図１７（ｃ）のように瞳面内に光は見えずマイクロレンズ25c に対応する撮像体上には真っ暗な像しか得られない。
【００６１】
さてここで、レンズアレイ25の個々のマイクロレンズによって撮像体26上に形成される像がどんな情報を持っているのかを考えてみる（図１８）。撮像体26上に形成される像は、結像レンズ14の瞳面の像である。従って、その像の各画素位置に到達可能な光の光路は、幾何光学の原理にのっとり、自然と決まる。例えば、図１８に示すように結像レンズ14にとって光の入射側すなわち結像レンズ14左方の空間に存在する光の出射点のうち、ある撮像微小領域の下方のある画素へ到達することが可能なのは、図中結像レンズ14左方の網掛け領域に存在するものに限定される。しかもさらに重要なことは、その出射光成分のうち、実際にその画素に到達しうるのは、網掛け領域を伝播してくる成分のみだということである。
【００６２】
したがって、例えば、レンズアレイの個々のレンズによって撮像体上に形成される像の中央部の画素は結像レンズの中央部を透過してきた光の成分から構成される画素であり、また、撮像体上の像の周辺部の画素は結像レンズの周辺部を透過してきた成分から構成される画素である。このように、レンズアレイにより形成される個々の画像とは、各マイクロレンズへと集まってくる光信号を、結像レンズ瞳面の透過位置に応じて空間的に分離したものにほかならない。
【００６３】
すなわち、マイクロレンズによって撮像体上に形成される瞳面の像群から、特定位置のデータだけをサンプリングし像として再構成すれば、レンズ瞳面の透過位置ごとの信号だけからなる像を得ることが可能である。
【００６４】
例えば、各マイクロレンズによる像群の各中央部のデータだけを拾い集めて１枚の画像を構成すれば、それは結像レンズの瞳面の中央を透過した光だけから造られる像である。また、各マイクロレンズによる像群の下部のデータだけを拾い集めて１枚の画像を構成すれば、それは結像レンズの瞳面の上部を透過した光だけから造られる像である。このように、マイクロレンズとその微小像の特定位置データのみをサンプリングし、像として再構成することができる。
【００６５】
例えば、図１９は各マイクロレンズ25による像群14’の下端部のデータを構成する光源点の存在領域を示している。各マイクロレンズ25による像群14' の下端部のデータは、結像レンズ14の瞳面の上端部を透過した光だけによるものである。さらにその先の光路をたどれば、結像レンズ14上端部に視点を置き、結像レンズ14による各マイクロレンズ25の各像25’を透過してくる外界各方向からの光信号成分を受け取っていることが理解できよう。したがって、それらを順番に並べて得られるデータの分布は、結像レンズ上端部に視点を置いた時に得られる外界の光強度分布すなわち「画像」に等価であるといえる。
【００６６】
さて、ここまでの議論で、撮像体上の各像内の同じ位置のデータをサンプリングし再構成された画像のおのおのは、サンプリング位置に対応する結像レンズ上の各位置に視点を置いた時に得られる外界の「画像」に等価であることがわかった。すなわち、異なるサンプリング位置成分から構成された各画像は、互いに視差を持つということになる。撮像体上の各像について十分な密度でサンプリングを施し、それらを用いて像を再構成すれば、各画像間の視差はわずかずつ変化したものになる。すなわち、「連続的な視差画像」を得ることができる。
【００６７】
しかも、本視差画像入力装置においては、上述してきたように、各視点位置画像を構成するのに必要なデータは空間的に独立であるので、各画像のためのサンプリング手段として、図２０のように複数の信号経路を持つ信号分配手段40を用いることができ、その場合、複数枚の画像を同時に獲得することができる。
【００６８】
複数の視差画像を並列すなわち同時に撮影できる能力の特長は、画像獲得に要する時間を短縮することができるだけでなく、各視差画像間のサンプリング時刻のずれが生じないので高速に移動する対象物に対してもぶれが生じない、また走査機構がいらないので構成が簡単になる、などのメリットを生み出している。ただし本第二の実施の形態では、結像レンズ像面を再度マイクロレンズアレイによって分割するので空間分解能の面では、第一の実施の形態のような全像情報を１枚の視差画像に取り込む方式に比較して劣る。
【００６９】
なお、撮像体上の各像のサンプリング方法としては、上述した複数枚の画像を同時に獲得する方法のほかに、受光素子26の移動（図２１）や光シャッター15’の移動（図２２）等によって、ある瞳位置を透過した成分だけをサンプリングしながら順次視差画像を得る方法も可能である。
【００７０】
また、マイクロレンズアレイやピンホールアレイは、１次元方向に並んで分布する１次元アレイ状のものであってもよいし、２次元方向に並んで分布する２次元アレイ状のものであってもよい。なお、「画像情報入力位置制御手段」が１次元アレイ状のものである場合には、シリンドリカルレンズアレイのように１次元方向のみにレンズパワーを持つものであってもよいし、球面レンズアレイのように２次元方向にレンズパワーを持つものであってもよい。
【００７１】
さらに、第一および第二の実施の形態における撮像手段はＣＣＤのような光電変換撮像手段のほかにも、銀塩感光フイルムのような光化学反応撮像手段であってもよい。
【図面の簡単な説明】
【図１】瞳を全開にした場合における単一の結像レンズ光学系での結像状態を示す図
【図２】瞳を小さくした場合（上部の一部のみを通過）における単一の結像レンズ光学系での結像状態を示す図
【図３】瞳位置を変化させた場合（下部の一部のみを通過）の光路図と図２の状態からの変化を示す図
【図４】瞳が広く開かれている状態（ａ）、瞳が結像レンズの上方で開いている状態（ｂ）、瞳が結像レンズの下方で開いている状態（ｃ）における受光像を示す図
【図５】レンズの瞳の大きさを制限し、その開口位置を移動させて撮像する効果の概念図
【図６】モーションステレオ撮影法（平行移動）（ａ），（ａ）の系で得られる像（ｂ）を示す図
【図７】モーションステレオ撮影法（光軸回転）（ａ），（ａ）の系で得られる像（ｂ）を示す図
【図８】複眼ステレオ法〜光軸が常にある地点を向くようにカメラを設置した状態図
【図９】視差画像入力装置の機能構成図
【図１０】本発明の第１実施の形態に係る視差画像入力装置の概略構成図
【図１１】本発明の第２実施の形態に係る視差画像入力装置の概略構成図
【図１２】結像レンズの瞳面とマイクロレンズの像の間に張られる円錐台形の空間を示す図
【図１３】焦点面上の実像位置ぴったりに点光源がある場合、点光源からの光は下から４番目のマイクロレンズの位置で結像する様子を示す図
【図１４】図１３に示す下から４番目のマイクロレンズ25a の位置から結像レンズを覗いた場合の点光源が結像レンズの瞳面一杯に広がっている様子（ａ）、およびその他のマイクロレンズから結像レンズを覗いた場合の瞳面内に光が見えない様子（ｂ）を示す図
【図１５】マイクロレンズＢへ到達できる点光源の放射光成分を示す図
【図１６】光路がマイクロレンズアレイＣの像を通過する点光源からの成分は結像レンズの瞳の外に向かう
【図１７】マイクロレンズＡ、Ｂ、Ｃそれぞれから点光源を見たときの図
【図１８】撮像微小領域のある画素へ到達可能な光の出射点の存在範囲を示す図
【図１９】各マイクロレンズによる像群の下端部のデータを構成する光源点の存在領域を示す図
【図２０】第二の実施の形態におけるサンプリング方法の一形態である信号分配手段を用いたサンプリングを説明する図
【図２１】第二の実施の形態におけるサンプリング方法の一形態である受光素子の移動によるサンプリングを説明する図
【図２２】第二の実施の形態におけるサンプリング方法の一形態である光シャッターによるサンプリングを説明する図
【符号の説明】
１，２，３物体
４画像結像手段
５視差画像撮像手段
７画像記録手段
８全体制御手段
10，10’ 視差画像入力装置
12 撮影カメラ
14 結像レンズ
15 光シャッター
16 撮像体
17 画像記録装置
18 全体制御装置
25 レンズアレイ
26 微小領域を有する撮像体
31 点光源

Claims

異なる視点からの複数の画像を獲得するための視差画像入力装置であって、
外界の映像を結像する画像結像手段と、
前記画像結像手段における異なる位置を通過した画像情報を選択的に撮像し画像データ列に変換する視差画像撮像手段と、
前記撮像手段によって変換された前記画像データ列を記録する画像記録手段とから構成され、
前記視差画像撮像手段が、前記画像結像手段によって第一の像面上に結像された像の各部をさらに各別に第二の像面上に結像する複数の結像素子からなる結像素子群と、前記第二の像面上に前記複数の結像素子に対応して配された複数の微小領域を有する撮像手段とからなり、
該撮像手段の前記微小領域はそれぞれ１つまたは複数の画素域を有し、結像された画像情報を画像データ列に変換するものであることを特徴とする視差画像入力装置。
前記画像結像手段が、光学像を結像する光学レンズであることを特徴とする請求項１記載の視差画像入力装置。
前記撮像手段が、複数の撮像素子からなり、該各撮像素子がそれぞれ前記微小領域に対応する撮像面を有することを特徴とする請求項１または２記載の視差画像入力装置。
前記結像素子群が、二次元方向に屈折力を有するレンズアレイであることを特徴とする請求項１から３いずれか記載の視差画像入力装置。
前記結像素子群が、一次元方向にのみ屈折力を有するシリンドリカルレンズアレイであることを特徴とする請求項１から３いずれか記載の視差画像入力装置。
前記撮像手段が、前記画像結像手段における異なる位置を通過した複数の画像情報を同時に撮像することを特徴とする請求項１から５いずれか記載の視差画像入力装置。
前記撮像手段が、前記画像結像手段における異なる位置を通過した複数の画像情報を順次に撮像することを特徴とする請求項１から５いずれか記載の視差画像入力装置。
前記撮像手段が、光電変換撮像手段であることを特徴とする請求項１から７いずれか記載の視差画像入力装置。
前記撮像手段が、光化学反応撮像手段であることを特徴とする請求項１から７いずれか記載の視差画像入力装置。