JP4211319B2

JP4211319B2 - 撮像装置

Info

Publication number: JP4211319B2
Application number: JP2002237559A
Authority: JP
Inventors: 功一吉川; 茂田島
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-08-17
Filing date: 2002-08-16
Publication date: 2009-01-21
Anticipated expiration: 2022-08-16
Also published as: JP2003162018A

Description

【０００１】
【発明の属する技術分野】
本発明は、全天（全方位）等の広い範囲を撮像することができる撮像装置に係わる。
【０００２】
【従来の技術】
周知のように、多数のビデオカメラを１つの筐体に収納して、全方位或いは全周を同時に撮影するカメラが種々開発されている。
【０００３】
即ち、例えば空間のある一点を視点として水平面上でその周囲を撮像してパノラマ画像等の広範囲の画像を得るには、図８及び図９に示すように、点Ｉを中心としてその周囲に４個のビデオカメラ１，２，３，４を等間隔に配置する共に、それぞれのビデオカメラ１，２，３，４のレンズ５，６，７，８の光軸を放射方向に向けて固定している。
【０００４】
これら４つのカメラ１，２，３，４により、撮影領域９の一部１０をオーバーラップさせて、オーバーラップした個所をつなぎ合わせることにより、全周３６０度の画像を撮影することを可能にする。
【０００５】
【発明が解決しようとする課題】
しかしながら、上述の従来の撮像装置にあっては、ビデオカメラ１，２，３，４の水平画角は９０°以上必要であり、図９に示す２つのビデオカメラ３，４の撮像領域９がオーバーラップした領域１０で、いわゆるパララックス（視差）を発生する。
【０００６】
カメラから被写体までの距離により、このパララックスの値が異なるので、カメラ３とカメラ４でそれぞれ撮像した画像を張り合わせる際には、オーバーラップした領域１０内の画像のどの位置を基準とするかによって、張り合わせて得られる画像が変わってくる。
即ちパララックスのある画像において、実用的な張り合わせを実施するには、画像のどの部分が重要であるかを編集者が眼で見て判断して、その位置を基準とする必要がある。このため、動画の張り合わせを自動化することは困難であり、撮像した画像の処理の自動化の大きな障害となっている。
【０００７】
上述した問題の解決のために、本発明においては、パララックスの発生を抑制することにより、複数のカメラから広い範囲の画像を得ることができる撮像装置を提供するものである。
【０００８】
【課題を解決するための手段】
本発明の撮像装置は、広範囲の被写体を分割した複数の各分割被写部をそれぞれ個別に複数の撮像手段によって撮影し、各撮像手段からの映像情報を入力した処理手段によって１つの映像に張り合わせ処理するものであって、撮像手段が、レンズ及びこのレンズを通過した光線を検知する撮像素子を備え、撮像手段のレンズの開口絞りの中心を通る主光線中、ガウス領域に位置する主光線を選択し、この選択された主光線の物空間における直線成分を延長して光軸と交わる点をＮＰ点と定義したときに、各撮像手段においてＮＰ点が撮像素子より後方に設定され、かつ複数の撮像手段の各ＮＰ点を略一致させたものである。
【０００９】
上述の本発明の撮像装置の構成によれば、各撮像手段においてＮＰ点が撮像素子より後方に設定されていることにより、各撮像手段の光学系が他の撮像手段の光路をさえぎらない。また、複数の撮像手段の各ＮＰ点を略一致させたことにより、各撮像手段の間のパララックスをなくすことが可能になる。
【００１０】
【発明の実施の形態】
本発明は、広範囲の被写体を分割した複数の各分割被写部をそれぞれ個別に複数の撮像手段によって撮影し、各撮像手段からの映像情報を入力した処理手段によって１つの映像に張り合わせ処理する撮像装置であって、撮像手段が、レンズ及びこのレンズを通過した光線を検知する撮像素子を備え、撮像手段のレンズの開口絞りの中心を通る主光線中、ガウス領域に位置する主光線を選択し、この選択された主光線の物空間における直線成分を延長して光軸と交わる点をＮＰ点と定義したときに、各撮像手段においてＮＰ点が撮像素子より後方に設定され、かつ複数の撮像手段の各ＮＰ点を略一致させた撮像装置である。
【００１２】
また本発明は、上記撮像装置において、さらに、各撮像手段において、レンズ及び撮像素子とを有する光学系が、ＮＰ点とレンズの各方向の外周部とを通る直線からなる空間に内包されるように配置された構成とする。
【００１３】
まず、本発明の具体的な実施の形態に先立ち、本発明の概要を説明する。
【００１４】
ビデオカメラ等に用いられているレンズは、複数のレンズを組み合わせて色収差や像面湾曲、フレアなどの収差をできるだけ少なくするように設計されている。このようなレンズは、原理的には図１に示すような薄い１枚の凸レンズ２０１で構成されており、この凸レンズ２０１の焦点位置に、ＣＣＤやＭＯＳ等の固体撮像素子によるビデオ用撮像デバイス、あるいは銀塩カメラの場合であればフィルムである撮像素子２０２が配置されている。
そして、このような基本構造の撮像装置において、画角αは、凸レンズ２０１による屈折分を無視すると、ほぼ撮像素子２０２の直径ｄ１と、凸レンズ２０１と撮像素子２０２との間の距離ｄ４（焦点距離）により決定され、ｔａｎ（α／２）＝（ｄ１／２）／（ｄ４）の式で表すことができる。
【００１５】
従って、このようなカメラを用いて被写体を撮影するときに、仮に凸レンズ２０１の内部中心に位置する後述のＮＰ点（ノンパララックス点）２０３を中心として回転させながら撮像すれば、それにより得られた複数の画像間にパララックスは発生しない。
【００１６】
ここでＮＰ点とは、本願の発明者らが光学系の基本的な考えに基づいて、複数の画像をつなぎ合わせた場合に生じるパララックスを如何に減少させることができるかを多くの実験を積み重ねた結果として検出されたもので、図２に示すように、物体で反射した光が等価凸レンズ３００を介して撮像部３０１に像を結ぶ状態の場合で説明する。
【００１７】
即ち等価凸レンズ３００は、複数のレンズ３０２〜３０８によって構成され、開口絞り３０９がレンズ３０４とレンズ３０５の間に設けられている。
尚、図２中３２１は鏡胴を示し、３２２はカメラを示す。
【００１８】
そして、開口絞り３０９の中心を通る無数の主光線のうち、光軸３１０に最も近い領域、つまり収差が最も小さいガウス領域を通る主光線３１１を選択する。
この主光線３１１のうちの物空間３１２における直線部分を延長して光軸３１０と交わる点をＮＰ点（ノンパララックス点）３１３として設定したものである。
【００１９】
そして、このＮＰ点３１３の存在を検証した上で、さらに複数のカメラを用いた場合即ち１つのカメラを回転させる代わりに、同時に複数のカメラを用いて撮像する場合に応用した。
図１に示した１つの凸レンズ２０１ではＮＰ点２０３の位置は制約されたポイントのみとなるため、複数のカメラをそれぞれのＮＰ点２０３を共通するように配置することは物理的に不可能である。
これに対して、図２に示す等価凸レンズ３００のように複数のレンズを組み合わせることによって、ＮＰ点３１３をほぼ光軸３１０の延長線上の任意の位置に設定することが可能になることを見出した。
【００２０】
同時に複数のカメラを用いて撮像する場合に、それぞれのＮＰ点を一致させる構成としては、例えば図２に示した複数のレンズ間（３０２−３０３）の空中にＮＰ点３１３を位置させる構成、あるいは図示しないがレンズの前段にミラーを設置してミラーで反射させた光をカメラで撮像すると共に各カメラのＮＰ点の虚像の位置を一致させる構成が考えられる。
【００２１】
しかしながら、いずれの構成でもカメラの撮像素子と信号処理回路部が物理的障害となり、全方位を撮影することが不可能となっていた。
即ちＮＰ点が図２に示したようにレンズの中にある場合に、図３に示すように各カメラのＮＰ点１２を一点に一致させたとする。図３は、４つのカメラのそれぞれの便宜的な画角１４，１５，１６，１７とその境界線１０，１１を示している。
【００２２】
この場合、図３に示す１つのカメラ１３（画角１４）の撮像素子や信号処理回路部が入った部分が他のカメラの撮像範囲（画角１６）と物理的に干渉してしまう。このため、干渉する部分の画像が得られず、全方位の画像を得ることができなくなってしまう。
【００２３】
尚、カメラの光軸をずらして、カメラを縦方向に重ねることは可能であるが、これでは画像が垂直方向にずれたものとなってしまう。
【００２４】
そこで、本発明は、各カメラにおいてそのＮＰ点を撮像素子より後方に配置すると共に、所定の半径領域（球形領域）内に全てのカメラのＮＰ点を位置させるようにしたものである。これによって、カメラ画像間にパララックスは発生しない。
【００２５】
そして、上述のようにＮＰ点を撮像素子より後方にするには、複数のレンズを組み合わせて、テレフォト型（望遠型）の光学系を構成すればよい。
テレフォト型の光学系を構成して、ＮＰ点を撮像素子より後方にするには、例えば物空間側（被写体側）に凸レンズ作用（収束作用）を有するレンズを配置すると共に、像空間側（撮像素子側）に凹レンズ作用（発散作用）を有するレンズを配置すればよい。
【００２６】
続いて本発明の具体的な実施の形態を説明する。
本発明の撮像装置の一実施の形態として、撮像装置を構成する単位の撮像部の概略構成図を図４に示す。
この撮像部は、複数のレンズから成る撮像レンズ群２１と、開口絞り２２と、撮像素子２３と、信号処理部２４とを有してなり、撮像レンズ群２１及び開口絞り２２が鏡筒（鏡胴）２５内に収納されて構成されている。
【００２７】
そして、撮像レンズ群２１のうち、物空間側（被写体側）にある前玉のレンズ群２８が凸レンズ作用（収束作用）を有し、前述したテレフォト型（望遠型）の光学系を構成している。
これにより、ＮＰ点２６を撮像素子２３より後方に位置させることができる。
【００２８】
さらに、前玉のレンズ２８ａの外周部とＮＰ点２６とを直線２７Ａ，２７Ｂで結んだ空間内に鏡筒（鏡胴）２５及び信号処理部２４が収まるように設計することにより、この空間内にビデオカメラを配置することが可能となる。
【００２９】
従って、図４に示した撮像部を、それぞれのＮＰ点２６を略一致させるように複数配置させることにより、撮像素子２３及び信号処理部分２４が他のカメラの光路を遮ることがなくなり、上下左右全方位３６０度の映像をパララックスなしで撮影することが可能になる。
【００３０】
各撮像部のＮＰ点を略一致させることは、具体的には所定の半径領域（球体）内に各撮像部のＮＰ点を設定することに相当する。
パララックスをなくして各撮像部が撮像した画像を張り合わせるためには、少なくとも各撮像部のＮＰ点が半径約５０ｍｍの領域（球体）内に配置されるように構成し、より好ましくは各撮像部のＮＰ点が半径約２０ｍｍの領域（球体）内に配置されるように構成する。
【００３１】
図４に示した撮像部を、それぞれのＮＰ点２６を略一致させるように複数配置させた構成の撮像装置の一形態を図５に示す。
図５に示す撮像装置は、前玉のレンズ２８の外周が五角形となっているテレフォト型の光学系を組み立てて、正１２面体とした場合を示す。
この撮像装置は、正１２面体の１２面のうち、底面は支柱４３の取り付けや各カメラの信号線（図示せず）の引き出しに用い、残りの１１面の各面に１個ずつ合計１１個の光学系（図４参照）を配置して構成されている。
【００３２】
この構成から明らかなように、多面体上に光学系を配置することにより、ほとんど全天球を撮像するカメラシステムが構成できる。
【００３３】
尚、多面体としては図５に示した正１２面体に限らず、正６面体（立方体）や正２０面体でもよい。
また、多面体は正多面体が設計しやすいが、光学系の設計により、必ずしも正多面体でなくともよい。
【００３４】
上述の本実施の形態の構成によれば、複数の撮像部のＮＰ点２６を略一致させることにより、各撮像部の画像のパララックスをなくすことができる。
また、複数の撮像部により、広い範囲、図５の構成によればほぼ全方位を撮像することが可能になる。
従って、パララックスをなくし、かつ全方位を撮影することができる。
【００３５】
また、複数の撮像部により撮像領域を分担して撮像するため、各カメラにおいて高い解像度で撮像することにより、広い範囲を高い解像度で撮像することが可能になる。
【００３６】
本発明の撮像装置の他の実施の形態として、撮像装置を構成する単位の撮像部の概略構成図を図６に示す。
この撮像部は、凹面鏡５０と、凹レンズ５１と、開口絞り５５と、撮像素子５２と、信号処理部５３とを有して構成されている。
そして、外部からの光を凹面鏡５０で反射させて凹レンズ５１に入射させるようにしている。
【００３７】
この撮像部の構成によれば、凹面鏡５０により外部からの光が反射されると共に収束されるので、この凹面鏡５０は凸レンズ作用（収束作用）を有している。従って、凹面鏡５０と凹レンズ５１他の屈折光学系とによって、テレフォト型の光学系を構成することができ、ＮＰ点５６を凹面鏡５０より後ろに位置させることが可能になる。
この構成により、１つの撮像装置が占有する空間は、凹面鏡５０の外周部と、ＮＰ点５６を結んだ空間内、つまり直線５４ａ，５４ｂの内側の空間になる。
【００３８】
そして、この図６に示す撮像部がＮＰ点５６を略一致するように複数配置されることにより、撮像素子５２及び信号処理部分５３が他のカメラの光路を遮ることなく、上下左右全方位３６０度の映像をパララックスなしで撮影することができる。
【００３９】
図６に示した撮像部を、それぞれのＮＰ点５６を略一致させるように複数配置させた構成の撮像装置の一形態を図７に示す。
図７に示す撮像装置は、正五角形の凹面鏡５８と屈折光学系６０（レンズ）を有するテレフォト型の光学系を組み立てて、正１２面体とした場合を示す。
この撮像装置は、正１２面体の１２面のうち、底面は支柱５７の取り付けや各カメラの信号線（図示せず）の引き出しに用い、残りの１１面の各面に１個ずつ合計１１個の光学系（図６参照）を配置して構成されている。図中５９は屈折光学系６０を支えるステー、６１はビデオカメラ６２を支えるステーである。
【００４０】
この構成から明らかなように、多面体上に光学系を配置することにより、ほとんど全天球を撮像するカメラシステムが構成できる。
【００４１】
尚、多面体としては図７に示した正１２面体に限らず、正６面体（立方体）や正２０面体でもよい。
また、多面体は正多面体が設計しやすいが、光学系の設計により、必ずしも正多面体でなくともよい。
【００４２】
上述の本実施の形態によれば、先の実施の形態と同様に、複数の撮像部のＮＰ点５６を略一致させることにより、各撮像部の画像のパララックスをなくすことができ、かつ広い範囲、図７の構成によればほぼ全方位を撮像することが可能になる。
従って、パララックスをなくし、かつ全方位を撮影することができる。
【００４３】
また、複数の撮像部により撮像領域を分担して撮像するため、各カメラにおいて高い解像度で撮像することにより、広い範囲を高い解像度で撮像することが可能になる。
【００４４】
また、本実施の形態では、撮像素子５２及び信号処理部５３を多面体の内部に設けず多面体の外部に配置しているため、多面体の大きさの制約が緩和され、多面体の小型化を図ることができる。
【００４５】
上述の各実施の形態では、ＮＰ点を略一致させた各撮像部により、多面体を構成して、ほぼ全天の撮像を行う構成を示したが、その他の構成にも本発明を適用することができる。
【００４６】
例えば全天のうち一部例えば前方の半球領域をＮＰ点を略一致させた複数の撮像部により撮像する構成としてもよい。また、さらに他の方向はＮＰ点の位置が異なる撮像部により撮像するように組み合わせてもよい。
【００４７】
また、例えば、各撮像部を水平面に配置して、水平方向の帯状の領域を３６０度撮像するように構成してもよい。
【００４８】
本発明は、上述の実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲でその他様々な構成が取り得る。
【００４９】
【発明の効果】
上述の本発明によれば、各撮像部間においてパララックスをなくし、かつ他の撮像部の光路をさえぎらないようにすることができる。
これにより、広い範囲例えば全方位を撮影することができる。
【００５０】
また、複数のレンズ及びカメラを使用して撮像領域を分担して撮像するため、各カメラで高い解像度で撮像することにより、広い範囲を高い解像度で撮像することが可能になる。
【図面の簡単な説明】
【図１】本発明の撮像装置の原理を説明するための図である。
【図２】本発明の撮像装置の原理を説明するための図である。
【図３】ＮＰ点がレンズの中にある場合を示した平面図である。
【図４】本発明の一実施の形態の撮像装置を構成する撮像部の概略構成図である。
【図５】図４の撮像部を複数配置させた構成の撮像装置の一形態を示す図である。
【図６】本発明の他の実施の形態の撮像装置を構成する撮像部の概略構成図である。
【図７】図６の撮像部を複数配置させた構成の撮像装置の一形態を示す図である。
【図８】従来の撮像装置の概略構成図である。
【図９】図８の撮像装置の平面図である。
【符号の説明】
２２，５５開口絞り、２３，５２撮像素子、２４，５３信号処理部、２６，５６ＮＰ点、２８（前玉の）レンズ、５０，５８凹面鏡、６２ビデオカメラ

Claims

広範囲の被写体を分割した複数の各分割被写部をそれぞれ個別に複数の撮像手段によって撮影し、該各撮像手段からの映像情報を入力した処理手段によって１つの映像に張り合わせ処理する撮像装置であって、
上記撮像手段が、レンズ及び該レンズを通過した光線を検知する撮像素子を備え、
上記撮像手段の上記レンズの開口絞りの中心を通る主光線中、ガウス領域に位置する主光線を選択し、該選択された主光線の物空間における直線成分を延長して光軸と交わる点をＮＰ点と定義したときに、
各上記撮像手段において、上記ＮＰ点が上記撮像素子より後方に設定され、
かつ上記複数の撮像手段の各ＮＰ点を略一致させた
ことを特徴とする撮像装置。
上記各撮像手段において、上記レンズ及び上記撮像素子とを有する光学系が、上記ＮＰ点と上記レンズの各方向の外周部とを通る直線からなる空間に内包されるように配置されていることを特徴とする請求項１に記載の撮像装置。