WO2003017646A1 - Dispositif d'imagerie - Google Patents

Dispositif d'imagerie Download PDF

Info

Publication number
WO2003017646A1
WO2003017646A1 PCT/JP2002/008303 JP0208303W WO03017646A1 WO 2003017646 A1 WO2003017646 A1 WO 2003017646A1 JP 0208303 W JP0208303 W JP 0208303W WO 03017646 A1 WO03017646 A1 WO 03017646A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
point
lens
image
imaging device
Prior art date
Application number
PCT/JP2002/008303
Other languages
English (en)
French (fr)
Inventor
Koichi Yoshikawa
Shigeru Tajima
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to US10/399,274 priority Critical patent/US6870680B2/en
Priority to EP02762783A priority patent/EP1427191A4/en
Publication of WO2003017646A1 publication Critical patent/WO2003017646A1/ja
Priority to US11/078,869 priority patent/US7119961B2/en
Priority to US11/078,892 priority patent/US7548373B2/en
Priority to US11/078,887 priority patent/US7126756B2/en

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G03B37/04—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe with cameras or projectors providing touching or overlapping fields of view
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors

Definitions

  • the present invention relates to an imaging apparatus capable of imaging a wide range such as the whole sky (all directions).
  • the point I is the center.
  • the four video cameras 1, 2, 3, and 4 are arranged at equal intervals around the camera, and the optical axes of the lenses 5, 6, 7, and 8 of each video camera 1, 2, 3, and 4 Is fixed in the radial direction.
  • the horizontal angle of view of video cameras 1, 2, 3, and 4 needs to be 90 ° or more, and the two video force cameras 3 and 4 shown in FIG. A so-called paralux (parallax) is generated in an area 10 where the imaging area 9 overlaps.
  • This paralux differs depending on the distance from the camera to the subject. Throat Depending on the position, the image obtained by laminating changes.
  • the present invention provides an imaging device capable of obtaining a wide range of images from a plurality of cameras by suppressing the occurrence of parallax. Disclosure of the invention
  • the imaging apparatus of the present invention a plurality of divided subject parts obtained by dividing a wide range of subjects are individually photographed by a plurality of imaging units, and the image information from each imaging unit is input into a single image by a processing unit.
  • the imaging means includes a lens and an imaging element for detecting a light beam passing through the lens, and is located in a Gaussian region in a chief ray passing through the center of the aperture stop of the lens of the imaging means. Is selected, and the point where the selected principal ray intersects the optical axis by extending the linear component in the object space is defined as the NP point.
  • the NP point is set behind the imaging element in each imaging unit, so that the optical system of each imaging unit does not block the optical path of another imaging unit.
  • the NP point is set behind the imaging element in each imaging unit, so that the optical system of each imaging unit does not block the optical path of another imaging unit.
  • FIG. 1 is a diagram for explaining the principle of the imaging device of the present invention
  • FIG. 2 is a diagram for explaining the principle of the imaging device of the present invention.
  • FIG. 3 is a plan view showing a case where the NP point is in the lens
  • FIG. 4 is a schematic configuration diagram of an imaging unit configuring the imaging device according to an embodiment of the present invention
  • FIG. FIG. 6 is a diagram illustrating an embodiment of an imaging device having a configuration in which a plurality of imaging units in FIG. 4 are arranged
  • FIG. 6 is a schematic configuration diagram of an imaging unit included in an imaging device according to another embodiment of the present invention.
  • FIG. 7 is a diagram showing an embodiment of an imaging device having a configuration in which a plurality of imaging units of FIG. 6 are arranged
  • FIG. 8 is a schematic configuration diagram of a conventional imaging device
  • FIG. It is a top view of an imaging device of.
  • a plurality of divided subject parts obtained by dividing a wide range of subjects are individually photographed by a plurality of imaging means, and one image is processed by a processing means to which video information from each imaging means is input.
  • An imaging device comprising: a lens and an imaging element for detecting a light beam passing through the lens; wherein a chief ray passing through the center of an aperture stop of the lens of the imaging means is in a Gaussian region.
  • the present invention is configured such that the predetermined radius region is set to about 20 mm around one NP point in the above-described imaging apparatus. Further, the present invention provides the image pickup apparatus, wherein in each of the image pickup means, an optical system having a lens and an image pickup element is included in a space formed by a straight line passing through an NP point and an outer peripheral portion in each direction of the lens. The configuration is arranged.
  • the lenses used in video cameras are designed to minimize aberrations such as chromatic aberration, curvature of field, and flare by combining multiple lenses.
  • Such a lens is composed of one thin convex lens 201 as shown in Fig. 1 in principle.
  • a video imaging device using a solid-state imaging device such as a CCD or M0S, or an imaging device 202 that is a film in the case of a silver halide camera is arranged. ing.
  • the NP point refers to a number of ways that the inventors of the present application can reduce the parallelism that occurs when connecting multiple images based on the basic idea of an optical system.
  • the equivalent convex lens 300 is constituted by a plurality of lenses 302 to 308, and is provided between the lens 304 and the lens 305 with an aperture stop 309.
  • 3 21 indicates a lens barrel
  • 3 2 2 indicates a camera
  • the area closest to the optical axis 310 that is, the chief ray 311 passing through the Gaussian area with the smallest aberration is selected.
  • the point at which the straight line portion of the principal ray 311 in the object space 312 extends and intersects with the optical axis 310 is set as the NP point (nonparallelx point) 313. It is.
  • the NP point 313 can be set almost anywhere on the extension of the optical axis 310. I found that
  • the configuration to match each NP point may be, for example, the NP point in the air between the multiple lenses (302-303) shown in Fig. 2. 3 1 3 configuration, or mirror (not shown) is installed in front of the lens to capture the light reflected by the mirror with the camera and match the position of the virtual image of the NP point of each camera Configurations are possible.
  • the part containing the imaging element and signal processing circuit of one camera 13 (angle of view 14) shown in Fig. 3 physically interferes with the imaging range of another camera (angle of view 16). Resulting in. For this reason, an image of the interfering part cannot be obtained, and an omnidirectional image cannot be obtained.o
  • the NP point of each camera is arranged behind the image sensor, and the NP points of all the cameras are located within a predetermined radius area (spherical area). As a result, no parallax occurs between the camera images.
  • a plurality of lenses may be combined to form a telephoto (telephoto) optical system.
  • a lens having a convex lens function (convergence function) is arranged on the object space side (subject side) and the image space is set.
  • a lens having a concave lens action (diverging action) should be placed on the side (imaging element side) o
  • FIG. 4 shows a schematic configuration diagram of the unit imaging unit.
  • the imaging unit includes an imaging lens group 21 including a plurality of lenses, an aperture stop 22, an imaging element 23, and a signal processing unit 24, and includes an imaging lens group 21 and an aperture stop. 22 is housed in a lens barrel (barrel) 25.
  • the front lens group 28 located on the object space side has a convex lens action (convergence action), and has the above-described telephoto (telephoto) type. It constitutes an optical system.
  • the NP point 26 can be located behind the image sensor 23.
  • a lens barrel (barrel) 25 and a signal processing unit 24 are provided in a space connecting the outer peripheral portion of the front lens 28 a and the NP point 26 with straight lines 27 A and 27 B. By designing so that it fits, it is possible to place video force cameras in this space.
  • the image pickup device 23 and the signal processing unit 24 allow the optical path of another force camera to pass. There is no obstruction, and it is possible to shoot 360 ° video in all directions, up, down, left, right, without any parallax.
  • Substantially matching the NP points of each imaging unit is equivalent to setting the NP points of each imaging unit within a predetermined radius region (sphere).
  • the NP point of each imaging unit In order to combine images captured by each imaging unit without parallelism, at least the NP point of each imaging unit must be arranged within an area (sphere) with a radius of about 50 mm. More preferably, the NP point of each imaging unit is arranged in an area (sphere) having a radius of about 2 Omm.
  • FIG. 5 shows an embodiment of an imaging apparatus having a plurality of such arrangements.
  • the imaging device shown in FIG. 5 shows a case where a telephoto-type optical system in which the outer periphery of a front lens 28 is a pentagon is assembled into a regular dodecahedron.
  • This imaging device is used for mounting and pulling out the signal lines (not shown) of each camera on the bottom of the 12 faces of the regular dodecahedron. It consists of 11 optical systems (see Fig. 4) arranged one by one.
  • the polyhedron is not limited to the regular dihedron shown in Fig. 5. Instead, it may be a regular hexahedron (cube) or a regular 20-hedron.
  • a regular polyhedron can be easily designed for the polyhedron, but it is not necessarily required to be a regular polyhedron depending on the design of the optical system.
  • the parallax of the image of each imaging unit can be eliminated by making the NP points 26 of the plurality of imaging units substantially coincide.
  • a plurality of imaging units can capture images in a wide range, and in almost all directions according to the configuration of FIG.
  • each camera since the imaging region is shared by a plurality of imaging units and imaging is performed, each camera performs imaging at a high resolution, so that a wide range can be captured at a high resolution.
  • FIG. 6 shows a schematic configuration diagram of an imaging unit of a unit constituting the imaging device.
  • This imaging unit includes a concave mirror 50, a concave lens 51, an aperture stop 55 , An image sensor 52, and a signal processor 53. Light from the outside is reflected by the concave mirror 50 and is incident on the concave lens 51.
  • the concave mirror 50 since the external light is reflected and converged by the concave mirror 50, the concave mirror 50 has a convex lens function (convergence function). Therefore, the concave mirror 50 and the concave lens 51 and other refractive optical systems can constitute a telephoto type optical system, and the NP point 56 can be located behind the concave mirror 50.
  • the space occupied by one imaging device is within the space connecting the outer periphery of concave mirror 50 and NP point 56, that is, the space inside straight lines 54a and 54b.
  • the imaging device 52 and the signal processing unit 53 do not block the optical path of another camera. 360-degree images can be shot vertically and horizontally without any parallax.
  • FIG. 7 shows an embodiment of an imaging apparatus having a configuration in which a plurality of the imaging units shown in FIG. 6 are arranged so that the respective NP points 56 substantially coincide with each other.
  • the imaging device shown in FIG. 7 has a regular pentagonal concave mirror 58 and a refractive optical system 6.
  • This figure shows the case where a telephoto type optical system having 0 (lens) is assembled into a regular 12 dihedron.
  • each optical system is composed of 11 optical systems (see Fig. 6).
  • reference numeral 59 denotes a stay supporting the refractive optical system 60
  • reference numeral 61 denotes a stay supporting the video camera 62.
  • the optical system can be placed on a polyhedron.
  • a force camera system for imaging almost the whole celestial sphere can be configured.
  • the polyhedron is not limited to the regular 12-hedron shown in FIG. 7, but may be a regular hexahedron (cube) or a regular 20-hedron.
  • a regular polyhedron can be easily designed for the polyhedron, but it is not necessarily required to be a regular polyhedron depending on the design of the optical system.
  • the NP points 56 of the plurality of imaging units are substantially matched, thereby eliminating the parallax of the image of each imaging unit.
  • the configuration shown in FIG. 7 in a wide range, it is possible to capture images in almost all directions.
  • the image pickup device 52 and the signal processing unit 53 are not provided inside the polyhedron but are arranged outside the polyhedron, restrictions on the size of the polyhedron are relaxed, and the size of the polyhedron can be reduced.
  • the configuration in which a polyhedron is formed by each imaging unit whose NP points are substantially matched to perform almost the entire sky is described. The present invention can be applied.
  • a configuration may be adopted in which a part of the whole sky, for example, a hemispherical region in front is imaged by a plurality of image pickup units whose NP points are substantially matched. Further, combinations in other directions may be performed so that imaging is performed by imaging units having different positions of the NP point.
  • the respective imaging units may be arranged on a horizontal plane, and a horizontal band-shaped region may be imaged 360 °.
  • the present invention is not limited to the above-described embodiment, and can take various other configurations without departing from the gist of the present invention. According to the above-described present invention, it is possible to eliminate parallelism between the imaging units and not to block the optical path of another imaging unit.
  • imaging is performed by sharing an imaging area using a plurality of lenses and cameras, imaging with a high resolution by each camera makes it possible to image a wide range with a high resolution.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Studio Devices (AREA)
  • Stereoscopic And Panoramic Photography (AREA)
  • Cameras In General (AREA)

Description

明
技術分野
本発明は、 全天 （全方位） 等の広い範囲を撮像することができ る撮像装置に係わる。 背景技術
周知のように、 多数のビデオカメ ラを 1つの筐体に収納して、 全方位或いは全周を同時に撮影す田るカメ ラが種々開発されている o
即ち、 例えば空間のある一点を視点と して水平面上でその周囲 を撮像してパノ ラマ画像等の広範囲の画像を得るには、 図 8及び 図 9 に示すように、 点 I を中心と してその周囲に 4個のビデオ力 メ ラ 1 , 2， 3， 4を等間隔に配置する共に、 それぞれのビデオ カメ ラ 1， 2 , 3， 4のレンズ 5， 6， 7 , 8の光軸を放射方向 に向けて固定している。
これら 4つのカメ ラ 1 , 2， 3 , 4 により、 撮影領域 9 の一部
1 0 をオーバ一ラ ップさせて、 オーバ一ラ ップした個所をつなぎ 合わせる ことにより、 全周 3 6 0度の画像を撮影するこ とを可能 に" 5 る o
しかしながら、 上述の従来の撮像装置にあっては、 ビデオカメ ラ 1， 2， 3 , 4 の水平画角は 9 0 ° 以上必要であり、 図 9 に示 す 2 つのビデオ力メ ラ 3， 4 の撮像領域 9がオーバ一ラ ップした 領域 1 0 で、 いわゆるパララ ッ クス （視差） を発生する。
カメ ラから被写体までの距離により、 このパララ ッ クスの値が 異なるので、 カメ ラ 3 とカメ ラ 4でそれぞれ撮像した画像を張り 合わせる際には、 オーバ一ラ ップした領域 1 0 内の画像のどの位 置を基準とするかによつて、 張り合わせて得られる画像が変わつ てく る。
即ちパララ ッ クスのある画像において、 実用的な張り合わせを 実施するには、 画像のどの部分が重要であるかを編集者が眼で見 て判断して、 その位置を基準とする必要がある。 このため、 動画 の張り合わせを自動化することは困難であり、 撮像した画像の処 理の自動化の大きな障害となっている。
上述した問題の解決のために、 本発明においては、 パララック スの発生を抑制することにより、 複数のカメラから広い範囲の画 像を得るこ とができる撮像装置を提供するものである。 発明の開示
本発明の撮像装置は、 広範囲の被写体を分割した複数の各分割 被写部をそれぞれ個別に複数の撮像手段によって撮影し、 各撮像 手段からの映像情報を入力した処理手段によって 1つの映像に張 り合わせ処理するものであって、 撮像手段が、 レンズ及びこのレ ンズを通過した光線を検知する撮像素子を備え、 撮像手段のレン ズの開口絞りの中心を通る主光線中、 ガウス領域に位置する主光 線を選択し、 この選択された主光線の物空間における直線成分を 延長して光軸と交わる点を N P点と定義したときに、 各撮像手段 において N P点が撮像素子より後方に設定され、 かつ複数の撮像 手段の各 N P点を 1つの N P点を中心とした所定の半径領域内に 集合させたものである。
上述の本発明の撮像装置の構成によれば、 各撮像手段において N P点が撮像素子より後方に設定されていることにより、 各撮像 手段の光学系が他の撮像手段の光路をさえぎらない。 また、 複数 の撮像手段の各 N P点を 1つの N P点を中心と した所定の半径領 域内に集合させたことにより、 各撮像手段の間のパララックスを なくすことが可能になる。 図面の簡単な説明
図 1 は、 本発明の撮像装置の原理を説明するための図であり、 図 2 は、 本発明の撮像装置の原理を説明するための図であり、 図
3 は、 N P点がレンズの中にある場合を示した平面図であり、 図 4 は、 本発明の一実施の形態の撮像装置を構成する撮像部の概略 構成図であり、 図 5は、 図 4の撮像部を複数配置させた構成の撮 像装置の一形態を示す図であり、 図 6 は、 本発明の他の実施の形 態の撮像装置を構成する撮像部の概略構成図であり、 図 7は、 図 6 の撮像部を複数配置させた構成の撮像装置の一形態を示す図で あり、 図 8は、 従来の撮像装置の概略構成図であり、 図 9 は、 図 8の撮像装置の平面図である。 発明を実施するための最良の形態
本発明は、 広範囲の被写体を分割した複数の各分割被写部をそ れぞれ個別に複数の撮像手段によつて撮影し、 各撮像手段からの 映像情報を入力した処理手段によって 1つの映像に張り合わせ処 理する撮像装置であって、 撮像手段が、 レンズ及びこのレンズを 通過した光線を検知する撮像素子を備え、 撮像手段のレンズの開 口絞りの中心を通る主光線中、 ガウス領域に位置する主光線を選 択し、 この選択された主光線の物空間における直線成分を延長し て光軸と交わる点を N P点と定義したときに、 各撮像手段におい て N P点が撮像素子より後方に設定され、 かつ複数の撮像手段の 各 N P点を 1つの N P点を中心とした所定の半径領域内に集合さ せた撮像装置である。
また本発明は、 上記撮像装置において、 所定の半径領域を、 1 つの N P点を中心とした約 2 0 m mに設定した構成とする。 また本発明は、 上記撮像装置において、 各撮像手段において、 レンズ及び撮像素子とを有する光学系が、 N P点と レンズの各方 向の外周部とを通る直線からなる空間に内包されるように配置さ れた構成とする。
まず、 本発明の具体的な実施の形態に先立ち、 本発明の概要を 説明する。
ビデオ力メ ラ等に用いられている レンズは、 複数のレンズを組 み合わせて色収差や像面湾曲、 フ レアなどの収差をできるだけ少 な く するように設計されている。 このようなレンズは、 原理的に は図 1 に示すような薄い 1枚の凸レンズ 2 0 1で構成されており
、 この凸レンズ 2 0 1 の焦点位置に、 C C Dや M 0 S等の固体撮 像素子による ビデオ用撮像デバイス、 あるいは銀塩カメ ラの場合 であればフィ ルムである撮像素子 2 0 2が配置されている。
そ して、 このような基本構造の撮像装置において、 画角 αは、 凸レンズ 2 0 1 による屈折分を無視すると、 ほぼ撮像素子 2 0 2 の直径 d 1 と、 凸レンズ 2 0 1 と撮像素子 2 0 2 との間の距離 d 4 (焦点距離） により決定され、 t a n ( a / 2 ) = ( d 1 / 2 ) Z ( d 4 ) の式で表すことができる。
従って、 このようなカメ ラを用いて被写体を撮影するときに、 仮に凸レンズ 2 0 1 の内部中心に位置する後述の N P点 （ノ ンパ ララ ッ クス点） 2 0 3 を中心と して回転させながら撮像すれば、 それにより得られた複数の画像間にパララ ックスは発生しない。
ここで N P点とは、 本願の発明者らが光学系の基本的な考えに 基づいて、 複数の画像をつなぎ合わせた場合に生じるパララ ッ ク スを如何に減少させる ことができるかを多く の実験を積み重ねた 結果と して検出されたもので、 図 2 に示すように、 物体で反射し た光が等価凸レンズ 3 0 0 を介して撮像部 3 0 1 に像を結ぶ状態 の場合で説明する。 即ち等価凸レンズ 3 0 0 は、 複数のレンズ 3 0 2〜 3 0 8 によ つて構成され、 開口絞り 3 0 9力くレ ンズ 3 0 4 と レ ンズ 3 0 5 の 間に設けられている。
尚、 図 2 中 3 2 1 は鏡胴を示し、 3 2 2 はカメ ラを示す。
そして、 開口絞り 3 0 9 の中心を通る無数の主光線のうち、 光 軸 3 1 0 に最も近い領域、 つま り収差が最も小さいガウス領域を 通る主光線 3 1 1 を選択する。
この主光線 3 1 1 のうちの物空間 3 1 2 における直線部分を延 長して光軸 3 1 0 と交わる点を N P点 （ノ ンパララ ッ ク ス点） 3 1 3 と して設定したものである。
そして、 この N P点 3 1 3 の存在を検証した上で、 さ らに複数 のカメ ラを用いた場合即ち 1 つのカメ ラを回転させる代わりに、 同時に複数のカメ ラを用いて撮像する場合に応用した。
図 1 に示した 1 つの凸レンズ 2 0 1 では N P点 2 0 3 の位置は 制約されたポイ ン トのみとなるため、 複数のカメ ラをそれぞれの
N P点 2 0 3 を共通するように配置することは物理的に不可能で ある
これに対して、 図 2 に示す等価凸レンズ 3 0 0 のように複数の レンズを組み合わせる ことによって、 N P点 3 1 3 をほぼ光軸 3 1 0 の延長線上の任意の位置に設定することが可能になることを 見出した。
同時に複数のカメ ラを用いて撮像する場合に、 それぞれの N P 点を一致させる構成と しては、 例えば図 2 に示した複数のレンズ 間 （ 3 0 2 — 3 0 3 ) の空中に N P点 3 1 3を位置させる構成、 あるいは図示しないがレンズの前段に ミ ラ一を設置してミ ラーで 反射させた光をカメ ラで撮像すると共に各カメ ラの N P点の虚像 の位置を一致させる構成が考えられる。
しかしながら、 いずれの構成でもカメ ラの撮像素子と信号処理 回路部が物理的障害となり、 全方位を撮影することが不可能とな つていた。
即ち N P点が図 2 に示したようにレンズの中にある場合に、 図 3 に示すように各カメラの N P点 1 2を一点に一致させたとする 。 図 3は、 4つのカメ ラのそれぞれの便宜的な画角 1 4， 1 5，
1 6， 1 7 とその境界線 1 0， 1 1を示している。
この場合、 図 3に示す 1つのカメラ 1 3 (画角 1 4 ) の撮像素 子や信号処理回路部が入った部分が他のカメ ラの撮像範囲 （画角 1 6 ) と物理的に干渉してしま う。 このため、 干渉する部分の画 像が得られず、 全方位の画像を得ることができなく なってしまう o
尚、 カメ ラの光軸をずらして、 カメラを縦方向に重ねることは 可能であるが、 これでは画像が垂直方向にずれたものとなってし ま う。
そこで、 本発明は、 各カメ ラにおいてその N P点を撮像素子よ り後方に配置すると共に、 所定の半径領域 （球形領域） 内に全て のカメラの N P点を位置させるようにしたものである。 これによ つて、 カメ ラ画像間にパララ ックスは発生しない。
そして、 上述のように N P点を撮像素子より後方にするには、 複数のレンズを組み合わせて、 テレフ ォ 卜型 （望遠型） の光学系 を構成すればよい。
テレフ ォ ト型の光学系を構成して、 N P点を撮像素子より後方 にするには、 例えば物空間側 （被写体側） に凸レンズ作用 （収 束作用） を有する レンズを配置すると共に、 像空間側 （撮像素子 側） に凹レンズ作用 （発散作用） を有する レンズを配置すればよ い o
続いて本発明の具体的な実施の形態を説明する。
本発明の撮像装置の一実施の形態と して、 撮像装置を構成する 単位の撮像部の概略構成図を図 4 に示す。
この撮像部は、 複数のレンズから成る撮像レンズ群 2 1 と、 開 口絞り 2 2 と、 撮像素子 2 3 と、 信号処理部 2 4 とを有してなり 、 撮像レンズ群 2 1及び開口絞り 2 2が鏡筒 （鏡胴） 2 5内に収 納されて構成されている。
そ して、 撮像レンズ群 2 1 のうち、 物空間側 （被写体側） にあ る前玉のレンズ群 2 8が凸レンズ作用 （収束作用） を有し、 前述 したテレフォ ト型 （望遠型） の光学系を構成している。
これにより、 N P点 2 6 を撮像素子 2 3 より後方に位置させる こ とができる。
さ らに、 前玉のレンズ 2 8 aの外周部と N P点 2 6 とを直線 2 7 A , 2 7 Bで結んだ空間内に鏡筒 （鏡胴） 2 5及び信号処理部 2 4が収まるように設計する こ とにより、 この空間内にビデオ力 メ ラを配置する こ とが可能となる。
従って、 図 4 に示した撮像部を、 それぞれの N P点 2 6 を略一 致させるように複数配置させることにより、 撮像素子 2 3及び信 号処理部分 2 4が他の力メ ラの光路を遮ることがな く なり、 上下 左右全方位 3 6 0度の映像をパララ ッ クスなしで撮影することが 可能になる。
各撮像部の N P点を略一致させることは、 具体的には所定の半 径領域 （球体） 内に各撮像部の N P点を設定するこ とに相当する o
パララ ッ クスをなく して各撮像部が撮像した画像を張り合わせ るためには、 少なく と も各撮像部の N P点が半径約 5 0 m mの領 域 （球体） 内に配置されるよ うに構成し、 より好ま しく は各撮像 部の N P点が半径約 2 O m mの領域 （球体） 内に配置されるよう に構成する。
図 4 に示した撮像部を、 それぞれの N P点 2 6 を略一致させる ように複数配置させた構成の撮像装置の一形態を図 5に示す。 図 5に示す撮像装置は、 前玉のレンズ 2 8の外周が五角形とな つているテレフォ 卜型の光学系を組み立てて、 正 1 2面体とした 場合を示す。
この撮像装置は、 正 1 2面体の 1 2面のうち、 底面は支柱 4 3 の.取り付けや各カメ ラの信号線 （図示せず） の引き出しに用い、 残りの 1 1面の各面に 1個ずつ合計 1 1個の光学系 （図 4参照） を配置して構成されている。
この構成から明らかなように、 多面体上に光学系を配置するこ とにより、 ほとんど全天球を撮像するカメラシステムが構成でき 尚、 多面体と しては図 5に示した正 1 2面体に限らず、 正 6面 体 （立方体） や正 2 0面体でもよい。
また、 多面体は正多面体が設計しやすいが、 光学系の設計によ り、 必ずしも正多面体でなく ともよい。
上述の本実施の形態の構成によれば、 複数の撮像部の N P点 2 6 を略一致させることにより、 各撮像部の画像のパララックスを なくすことができる。
また、 複数の撮像部により、 広い範囲、 図 5の構成によればほ ぼ全方位を撮像することが可能になる。
従って、 パララ ックスをなく し、 かつ全方位を撮影することが できる。
また、 複数の撮像部により撮像領域を分担して撮像するため、 各カメラにおいて高い解像度で撮像することにより、 広い範囲を 高い解像度で撮像することが可能になる。
本発明の撮像装置の他の実施の形態と して、 撮像装置を構成す る単位の撮像部の概略構成図を図 6に示す。
この撮像部は、 凹面鏡 5 0 と、 凹レンズ 5 1 と、 開口絞り 5 5 と、 撮像素子 5 2 と、 信号処理部 5 3 とを有して構成されている そして、 外部からの光を凹面鏡 5 0で反射させて凹レンズ 5 1 に入射させるようにしている。
この撮像部の構成によれば、 凹面鏡 5 0により外部からの光が 反射されると共に収束されるので、 この凹面鏡 5 0は凸レンズ作 用 （収束作用） を有している。 従って、 凹面鏡 5 0 と凹レンズ 5 1他の屈折光学系とによって、 テレフォ 卜型の光学系を構成する ことができ、 N P点 5 6 を凹面鏡 5 0 より後ろに位置させること が可能になる。
この構成により、 1 つの撮像装置が占有する空間は、 凹面鏡 5 0 の外周部と、 N P点 5 6を結んだ空間内、 つまり直線 5 4 a , 5 4 bの内側の空間になる。
そして、 この図 6 に示す撮像部が N P点 5 6を略一致するよう に複数配置されるこ とにより、 撮像素子 5 2及び信号処理部分 5 3が他のカメ ラの光路を遮ることなく、 上下左右全方位 3 6 0度 の映像をパララ ッ クスなしで撮影することができる。
図 6に示した撮像部を、 それぞれの N P点 5 6 を略一致させる ように複数配置させた構成の撮像装置の一形態を図 7に示す。 図 7に示す撮像装置は、 正五角形の凹面鏡 5 8 と屈折光学系 6
0 (レンズ） を有するテレフォ 卜型の光学系を組み立てて、 正 1 2面体と した場合を示す。
この撮像装置は、 正 1 2面体の 1 2面のうち、 底面は支柱 5 7 の取り付けや各カメ ラの信号線 （図示せず） の引き出しに用い、 残りの 1 1面の各面に 1個ずつ合計 1 1個の光学系 （図 6参照） を配置して構成されている。 図中 5 9 は屈折光学系 6 0を支える ステ一、 6 1 はビデオカメラ 6 2を支えるステ一である。
この構成から明らかなように、 多面体上に光学系を配置するこ とにより、 ほとんど全天球を撮像する力メラシステムが構成でき る。
尚、 多面体と しては図 7に示した正 1 2面体に限らず、 正 6面 体 （立方体） や正 2 0面体でもよい。
また、 多面体は正多面体が設計しやすいが、 光学系の設計によ り、 必ずしも正多面体でなく ともよい。
上述の本実施の形態によれば、 先の実施の形態と同様に、 複数 の撮像部の N P点 5 6を略一致させることにより、 各撮像部の画 像のパララ ックスをなくすことができ、 かつ広い範囲、 図 7の構 成によればほぼ全方位を撮像することが可能になる。
従って、 パララ ックスをなく し、 かつ全方位を撮影することが できる。
また、 複数の撮像部により撮像領域を分担して撮像するため、 各カメ ラにおいて高い解像度で撮像することにより、 広い範囲を 高い解像度で撮像することが可能になる。
また、 本実施の形態では、 撮像素子 5 2及び信号処理部 5 3を 多面体の内部に設けず多面体の外部に配置しているため、 多面体 の大きさの制約が緩和され、 多面体の小型化を図ることができる 上述の各実施の形態では、 N P点を略一致させた各撮像部によ り、 多面体を構成して、 ほぼ全天の撮像を行う構成を示したが、 その他の構成にも本発明を適用することができる。
例えば全天のうち一部例えば前方の半球領域を N P点を略一致 させた複数の撮像部により撮像する構成としてもよい。 また、 さ らに他の方向は N P点の位置が異なる撮像部により撮像するよう に組み合わせてもよい。
また、 例えば、 各撮像部を水平面に配置して、 水平方向の帯状 の領域を 3 6 0度撮像するように構成してもよい。 本発明は、 上述の実施の形態に限定される ものではなく 、 本発 明の要旨を逸脱しない範囲でその他様々な構成が取り得る。 上述の本発明によれば、 各撮像部間においてパララ ッ クスをな く し、 かつ他の撮像部の光路をさえぎらないようにすることがで きる。
これにより、 広い範囲例えば全方位を撮影することができる。 また、 複数のレンズ及びカメ ラを使用して撮像領域を分担して 撮像するため、 各カメ ラで高い解像度で撮像することにより、 広 い範囲を高い解像度で撮像することが可能になる。

Claims

求 の 範 囲
1 . 広範囲の被写体を分割した複数の各分割被写部をそれぞれ個 別に複数の撮像手段によって撮影し、 該各撮像手段からの映像情 報を入力した処理手段によって 1つの映像に張り合わせ処理する 撮像装置であって、
上記撮像手段が、 レンズ及び該レンズを通過した光線を検知す る撮像素子を備え、
賓
上記撮像手段の上記レンズの開口絞りの中心を通る主光線中、 ガウス領域に位置する主光線を選択し、 該選択された主光線の物 空間における直線成分を延長して光軸と交わる点を N P点と定義 したときに、
各上記撮像手段において、 上記 N P点が上記撮像素子より後方 nX XE. れ、
かつ上記複数の撮像手段の各 N P点を 1つの N P点を中心とし た所定の半径領域内に集合させた
ことを特徵とする撮像装置。
2 . 上記所定の半径領域を、 1つの N P点を中心とした約 2 0 m mに設定したことを特徵とする請求項 1に記載の撮像装置。
3 . 上記各撮像手段において、 上記レンズ及び上記撮像素子とを 有する光学系が、 上記 N P点と上記レンズの各方向の外周部とを 通る直線からなる空間に内包されるように配置されていることを 特徴とする請求項 1に記載の撮像装置。
PCT/JP2002/008303 2001-08-17 2002-08-15 Dispositif d'imagerie WO2003017646A1 (fr)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US10/399,274 US6870680B2 (en) 2001-08-17 2002-08-15 Imaging device
EP02762783A EP1427191A4 (en) 2001-08-17 2002-08-15 PICTURE SETUP
US11/078,869 US7119961B2 (en) 2001-08-17 2005-03-11 Image pickup device
US11/078,892 US7548373B2 (en) 2001-08-17 2005-03-11 Image pickup device
US11/078,887 US7126756B2 (en) 2001-08-17 2005-03-11 Image pickup device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001-248100 2001-08-17
JP2001248100 2001-08-17

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US10399274 A-371-Of-International 2002-08-15
US11/078,887 Continuation US7126756B2 (en) 2001-08-17 2005-03-11 Image pickup device
US11/078,892 Continuation US7548373B2 (en) 2001-08-17 2005-03-11 Image pickup device
US11/078,869 Continuation US7119961B2 (en) 2001-08-17 2005-03-11 Image pickup device

Publications (1)

Publication Number Publication Date
WO2003017646A1 true WO2003017646A1 (fr) 2003-02-27

Family

ID=19077320

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/008303 WO2003017646A1 (fr) 2001-08-17 2002-08-15 Dispositif d'imagerie

Country Status (3)

Country Link
US (4) US6870680B2 (ja)
EP (1) EP1427191A4 (ja)
WO (1) WO2003017646A1 (ja)

Families Citing this family (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1231780A3 (en) * 2001-02-07 2004-01-14 Sony Corporation Image pickup apparatus
EP1427191A4 (en) * 2001-08-17 2006-08-16 Sony Corp PICTURE SETUP
JP2003066303A (ja) * 2001-08-28 2003-03-05 Sony Corp 撮像装置
JP2004072349A (ja) * 2002-08-05 2004-03-04 Canon Inc 撮像装置、及びその制御方法
US7079173B2 (en) * 2004-02-04 2006-07-18 Hewlett-Packard Development Company, L.P. Displaying a wide field of view video image
EP1843513A1 (en) * 2005-01-24 2007-10-10 Matsushita Electric Industrial Co., Ltd. Signature generation device and signature verification device
JP4345829B2 (ja) * 2007-03-09 2009-10-14 ソニー株式会社 画像表示システム、画像表示装置、画像表示方法およびプログラム
EP2562578B1 (en) * 2007-03-16 2017-06-14 Kollmorgen Corporation System for panoramic image processing
JP4488023B2 (ja) * 2007-04-02 2010-06-23 ソニー株式会社 撮像装置
JP2008294819A (ja) * 2007-05-25 2008-12-04 Sony Corp 撮像装置
JP5047220B2 (ja) * 2009-04-30 2012-10-10 パナソニック株式会社 カメラ装置およびカメラ装置の製造方法
FR2964757B1 (fr) * 2010-09-09 2013-04-05 Giroptic Dispositif optique pour la capture d'images selon un champ de 360°
US9036001B2 (en) 2010-12-16 2015-05-19 Massachusetts Institute Of Technology Imaging system for immersive surveillance
US9007432B2 (en) 2010-12-16 2015-04-14 The Massachusetts Institute Of Technology Imaging systems and methods for immersive surveillance
US9398264B2 (en) 2012-10-19 2016-07-19 Qualcomm Incorporated Multi-camera system using folded optics
US10178373B2 (en) 2013-08-16 2019-01-08 Qualcomm Incorporated Stereo yaw correction using autofocus feedback
US9374516B2 (en) 2014-04-04 2016-06-21 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
US9383550B2 (en) 2014-04-04 2016-07-05 Qualcomm Incorporated Auto-focus in low-profile folded optics multi-camera system
JP2017519250A (ja) 2014-05-06 2017-07-13 ザカリヤ ニアジＺａｋａｒｉｙａ Ｎｉａｚｉ 撮像システム、方法及び用途
US10013764B2 (en) 2014-06-19 2018-07-03 Qualcomm Incorporated Local adaptive histogram equalization
US9541740B2 (en) 2014-06-20 2017-01-10 Qualcomm Incorporated Folded optic array camera using refractive prisms
US20150373269A1 (en) * 2014-06-20 2015-12-24 Qualcomm Incorporated Parallax free thin multi-camera system capable of capturing full wide field of view images
US9819863B2 (en) 2014-06-20 2017-11-14 Qualcomm Incorporated Wide field of view array camera for hemispheric and spherical imaging
US9386222B2 (en) 2014-06-20 2016-07-05 Qualcomm Incorporated Multi-camera system using folded optics free from parallax artifacts
US9294672B2 (en) 2014-06-20 2016-03-22 Qualcomm Incorporated Multi-camera system using folded optics free from parallax and tilt artifacts
US9832381B2 (en) 2014-10-31 2017-11-28 Qualcomm Incorporated Optical image stabilization for thin cameras
USD1005368S1 (en) 2019-11-12 2023-11-21 Circle Optics, Inc. Panoramic imaging system

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767020A (ja) * 1993-08-24 1995-03-10 Olympus Optical Co Ltd 複眼式光学系
JP2001204015A (ja) * 2000-01-18 2001-07-27 Sony Corp 周囲カメラ・システム、周囲カメラの撮像画像に基づいて周囲画像を生成する方法、隣接カメラによる撮像画像の接続処理装置及び方法、並びに、隣接カメラを用いた距離測定装置及び方法
JP2001285692A (ja) * 2000-03-31 2001-10-12 Kazuhiko Yamamoto 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP2002229137A (ja) * 2001-02-06 2002-08-14 Sony Corp 撮像装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6141034A (en) * 1995-12-15 2000-10-31 Immersive Media Co. Immersive imaging method and apparatus
JP3645096B2 (ja) * 1998-07-21 2005-05-11 オリンパス株式会社 結像レンズ
EP1427191A4 (en) * 2001-08-17 2006-08-16 Sony Corp PICTURE SETUP

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0767020A (ja) * 1993-08-24 1995-03-10 Olympus Optical Co Ltd 複眼式光学系
JP2001204015A (ja) * 2000-01-18 2001-07-27 Sony Corp 周囲カメラ・システム、周囲カメラの撮像画像に基づいて周囲画像を生成する方法、隣接カメラによる撮像画像の接続処理装置及び方法、並びに、隣接カメラを用いた距離測定装置及び方法
JP2001285692A (ja) * 2000-03-31 2001-10-12 Kazuhiko Yamamoto 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
JP2002229137A (ja) * 2001-02-06 2002-08-14 Sony Corp 撮像装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP1427191A4 *

Also Published As

Publication number Publication date
US20050162754A1 (en) 2005-07-28
US20050162755A1 (en) 2005-07-28
EP1427191A1 (en) 2004-06-09
US6870680B2 (en) 2005-03-22
US7119961B2 (en) 2006-10-10
US20040051805A1 (en) 2004-03-18
US20050174426A1 (en) 2005-08-11
US7126756B2 (en) 2006-10-24
US7548373B2 (en) 2009-06-16
EP1427191A4 (en) 2006-08-16

Similar Documents

Publication Publication Date Title
WO2003017646A1 (fr) Dispositif d'imagerie
US7006123B2 (en) Wide range image pickup apparatus and arrangement for suppressing the appearance of parallax
Nayar Catadioptric omnidirectional camera
EP3608717B1 (en) Wide-field of view (fov) imaging devices with active foveation capability
US7649690B2 (en) Integrated panoramic and forward optical device, system and method for omnidirectional signal processing
Nayar Omnidirectional video camera
EP3140689B1 (en) Method for forming a panoramic image
JP5074747B2 (ja) 光学装置、撮像装置、制御方法、及びプログラム
JP4386021B2 (ja) 撮像装置
JP4051945B2 (ja) 撮像装置
JP2002320124A (ja) 撮像装置
JP2008309860A (ja) 光学系及びそれを用いた内視鏡
JP4211319B2 (ja) 撮像装置
WO2006009088A1 (ja) 撮像装置
JP2001005054A (ja) 撮像装置
JP2009080410A (ja) 光学系及びそれを用いた内視鏡
JP2002171429A (ja) 複眼撮像系、撮像装置および電子機器
JP2000322564A (ja) 全方位視覚センサ
JP2002229138A (ja) 撮像装置
WO2022068896A1 (zh) 成像装置和电子设备
JP2004080088A (ja) 撮像装置
JP2001258050A (ja) 立体映像撮像装置
JP2004070002A (ja) 撮像装置
JP2020134938A (ja) 撮像装置
JP2020137114A (ja) 撮像装置及び撮像光学系

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): US

Kind code of ref document: A1

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FR GB GR IE IT LU MC NL PT SE SK TR

Kind code of ref document: A1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR IE IT LU MC NL PT SE SK TR

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2002762783

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10399274

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 2002762783

Country of ref document: EP