WO2002097730A1 - Dispositif de generation d'image grand-angle - Google Patents

Dispositif de generation d'image grand-angle Download PDF

Info

Publication number
WO2002097730A1
WO2002097730A1 PCT/JP2002/004870 JP0204870W WO02097730A1 WO 2002097730 A1 WO2002097730 A1 WO 2002097730A1 JP 0204870 W JP0204870 W JP 0204870W WO 02097730 A1 WO02097730 A1 WO 02097730A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
angle
wide
rotation center
center axis
Prior art date
Application number
PCT/JP2002/004870
Other languages
English (en)
French (fr)
Inventor
Kenichi Hayashi
Yasushi Sogabe
Shigeki Murata
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US10/477,685 priority Critical patent/US7312810B2/en
Priority to EP20020774063 priority patent/EP1413982A1/en
Priority to CNB028149238A priority patent/CN1315098C/zh
Publication of WO2002097730A1 publication Critical patent/WO2002097730A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628—Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58—Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors

Definitions

  • the present invention relates to a wide-angle image generation device that captures light reflected by a reflection surface and generates a wide-angle image.
  • an image in a direction of 360 degrees around the rotation axis can be formed on the imaging plane at one time by a reflecting surface having a rotationally symmetric shape around the optical axis of the camera. Further, a so-called panoramic image is obtained by performing image conversion processing on an omnidirectional image obtained by imaging.
  • the omnidirectional camera is effective when the monitoring area is 360 degrees around. However, if the monitoring area needs to be approximately 180 degrees, the omnidirectional camera images an unnecessary area of approximately 180 degrees, which is an inefficient use of the image sensor.
  • a wide-angle image An image obtained by such a wide-angle imaging device (hereinafter, referred to as a wide-angle image) is subjected to arithmetic processing similarly to the case of the omnidirectional camera disclosed in Japanese Patent No. 2939087. As a result, it is possible to obtain a developed image which is an image obtained by joining images taken by a camera having a normal angle of view.
  • the expansion processing will be described below.
  • FIG. 33 schematically shows the wide-angle imaging device 8 for explaining the expansion processing.
  • the coordinate axes are the X-axis in the front direction from the paper, the Y-axis in the horizontal direction on the paper, and the Z-axis in the vertical direction on the paper. Also, the Z axis is vertical.
  • the wide-angle imaging device 8 includes a hyperboloid reflecting mirror 1 having a rotationally symmetric shape, an imaging lens 2, and an imaging device 3.
  • the imaging device includes an imaging lens 2 and an imaging device 3.
  • the hyperboloid reflecting mirror 1 has a reflecting surface of ⁇ 90 degrees around the center axis of rotation of the hyperboloid.
  • the direction at 0 degree is defined as the reference optical axis direction, and here, it is assumed that the direction coincides with the Y axis direction.
  • Reference numeral 4 denotes the inner focal point of the hyperboloid reflector 1.
  • Reference numeral 6 denotes a rotation center axis of the hyperboloid reflecting mirror 1, which coincides with the Z axis.
  • Light rays emitted from an arbitrary point P (X, Y, ⁇ ) in the space and incident toward the internal focal point 4 are reflected by the reflecting surface of the hyperboloid reflector 1, and the external focal point on the rotation center axis 6 ( (Not shown).
  • the position of this external focus and the position of the principal point 7 of the imaging lens 2 are arranged so as to substantially coincide with each other, and the light beam forms an image on the imaging surface 5 of the imaging device 3 via the imaging lens 2.
  • '21 is a virtual cylindrical surface which is a virtual projection surface when considering mapping from a wide-angle image to a developed image.
  • the rotation center axis of the virtual cylindrical surface 21 coincides with the rotation center axis 6 of the hyperboloid reflecting mirror 1.
  • Equation 2 (a 2 + b 2 ) ° 5 (Equation 2) It is. Equations 3 to 5 hold.
  • - Z (X 2 + Y 2) ° - 5 - tan 3 + c ( Equation 3) tn ⁇ : ⁇ (b H c 2) ⁇ sin one 2 bc ⁇ (b 2 - c cos ⁇
  • a point on the imaging plane 5 corresponding to P (X, ⁇ , Z) (that is, a point on the wide-angle image) p (x, y) can be uniquely determined.
  • the projection plane (virtual cylindrical surface 21) of the developed image is determined and projected from the wide-angle image as in the case of the omnidirectional camera.
  • the corresponding point in the wide-angle image of each pixel of the developed image is determined by considering the mapping on the plane, and the developed image can be generated by determining the brightness values of all the pixels of the developed image accordingly.
  • the field of view of such a wide-angle imaging device in the direction of the rotation axis is generally Ii-Ia when the elevation angle and the depression angle are defined as a (see FIG. 33). Therefore, the position where the elevation angle is 0 in the developed image (hereinafter referred to as the line-of-sight center) is shifted to one of the short sides of the developed image. At this time, there is a problem that the part far from the line of sight in the developed image is viewed more obliquely than the other parts, and thus appears distorted compared to other parts.
  • the omnidirectional camera will be described with reference to FIG.
  • FIG. 34 (a) shows the basic configuration of an omnidirectional camera.
  • the omnidirectional camera 100 is composed of a hyperboloid reflecting mirror 101 as a reflecting surface having a rotationally symmetric shape, an imaging lens 102, and an image sensor 103 such as a CCD. I have.
  • Reference numeral 104 denotes an internal focus of the hyperboloid reflecting mirror 101.
  • Reference numeral 105 denotes an imaging surface of the imaging element 103.
  • Reference numeral 106 denotes a rotation center axis of the hyperboloid reflecting mirror 101, which is assumed to coincide with the Z axis here.
  • An arbitrary direction perpendicular to the rotation center axis of the hyperboloid reflecting mirror 101 is defined as a Y-axis direction.
  • Reference numeral 107 denotes a principal point of the imaging lens 102. The point that bisects the straight line connecting the internal focal point 104 and the principal point 107 is defined as the origin O of the coordinate system.
  • 108 a and 108 b are rays incident on the hyperboloid reflecting mirror 101, and 109 a and 109 b are hyperboloids of the rays 108 a and 108 b. This is the point of incidence for the mirror 101.
  • 110 a and 110 b are the imaging points on the imaging surface 105 of the light rays 108 a and 108 b reflected at the incident points 109 a and 109 b.
  • Emitting from a point in the YZ plane and entering towards the internal focus 104 The rays 1108a, 108b that radiate and reach the incident points 109a, 109b on the hyperboloid reflector 101 are reflected by the hyperboloid reflector 101, respectively.
  • the light is reflected and focused to an external focal point (not shown) on the rotation axis 106.
  • the position of this external focus and the position of the principal point 107 of the imaging lens 102 are arranged so as to substantially coincide with each other, and the rays 108 a and 108 b pass through the imaging lens 102.
  • FIG. 34 shows a state of image formation on the imaging surface 105.
  • the upward direction on the paper is the Y-axis direction.
  • the direction perpendicular to the paper is the Z-axis direction.
  • Light beam entering the hyperboloid reflector 101 from 360 degrees around the rotation center axis 106 of the omnidirectional camera 100 to the internal focal point 104, including the rays 108a and 108b (Not shown) passes through the external focal point (not shown) of the hyperboloid reflecting mirror 101 like the rays 108 a and 108 b, and is imaged through the imaging lens 102.
  • a circular image 111 is formed on the surface 105.
  • both ends in the Y direction of the circular image 111 are imaging points 110a and 110b of the light beams 108a and 108b.
  • FIG. 35 schematically shows the omnidirectional camera 100 for explaining the expansion processing.
  • the hyperboloid reflecting mirror 101, imaging lens 102, imaging device 103, internal focal point 104, imaging surface 105, rotation center axis 106, principal point 107 are explained in Fig. 34. It is the same as what you did.
  • Reference numeral 112 denotes a virtual cylindrical surface which is a virtual projection surface when mapping a circular omnidirectional image to a developed image.
  • the rotation center axis of the virtual cylindrical surface 112 coincides with the rotation center axis 106 of the hyperboloid reflecting mirror 101.
  • the coordinate axes are the X axis in the forward direction from the paper, the Y axis in the horizontal direction on the paper, and the Z axis in the vertical direction on the paper.
  • Z axis coincides with rotation center axis 106 Shall be.
  • F is the focal length of the imaging device comprised of the imaging lens 1 0 2 and the imaging element 1 0 3.
  • the angle ⁇ ' is the angle between the line connecting the internal focal point 104 and the arbitrary point ⁇ and the ⁇ plane.
  • (Angle) 3 is an angle formed by a straight line connecting the principal point 107 (substantially coincident with the external focus of the hyperboloid reflecting mirror 101) and the point ⁇ on the imaging surface 105 with the ⁇ ⁇ plane.
  • the light beam heading to the inner focal point 104 is reflected by the hyperboloid reflector 101.
  • the direction of point P and point p in the XY plane and the xy plane coincide because of the property of the hyperboloid that radiates to the external focus. Therefore
  • the omnidirectional camera is effective when the monitoring area is 360 degrees around. However, if the monitoring area needs to be approximately 180 degrees, the omnidirectional camera images an unnecessary area of approximately 180 degrees, which is an inefficient use of the image sensor.
  • the output as the wide-angle image generation device is such that the horizontal direction in the image is a TV monitor. It is an object of the present invention to provide a wide-angle image generating apparatus which becomes an image which matches the horizontal direction of the image and does not give a viewer a sense of discomfort.
  • the present invention provides a wide-angle image generation method that captures only approximately 90 degrees of the earth from a reflection image created by the reflection surface with an arbitrary direction perpendicular to the rotation center axis of the reflection surface as a reference direction.
  • a wide-angle image generation device is a wide-angle image generation device including a wide-angle imaging device and an arithmetic processing device, wherein the wide-angle imaging device has an arbitrary shape perpendicular to the rotation center axis of the rotationally symmetric body.
  • the reference optical axis is taken in the direction of, and the direction of the reference optical axis is set to 0 degree, and at least the range of angle 0 (0 1 ⁇ ⁇ ⁇ 2, 1 90 ° ⁇ 0 1 ⁇ 9 0 °, 1 90 ° ⁇ 0 2 ⁇ 90 °, ⁇ 1 ⁇ 2)
  • a reflecting mirror having a reflecting surface with a convex shape, and a principal point on the rotation center axis of the reflecting mirror, forming a reflection image of the reflecting mirror
  • a developed image generating unit for generating a developed image, and an output for inclining the developed image in accordance with the tilt direction in the plane of the rotating center axis, converting the data format of the developed image into a format for output, and generating an output image.
  • an image generating unit for generating a developed image, and an output for inclining the developed image in accordance with the tilt direction in the plane of the rotating center axis, converting the data format of the developed image into a format for output, and generating an output image.
  • a wide-angle image generation device is a wide-angle image generation device including a wide-angle imaging device and an arithmetic processing device, wherein the wide-angle imaging device has an arbitrary shape perpendicular to the rotation center axis of the rotationally symmetric body. And the direction of the reference optical axis is 0 degree, and at least the range of angle ⁇ ( ⁇ 1 ⁇ ⁇ ⁇ ⁇ 2, 1 90 ° ⁇ ⁇ 1 ⁇ 90 °, 1 90 ° ⁇ 290 °, a reflecting mirror having a reflecting surface having a convex shape of ⁇ 1 ⁇ 2), and a reflecting image of the reflecting mirror having a principal point on the ⁇ axis during rotation of the reflecting mirror.
  • the anti An image pickup device for picking up an image of an object having an angle of at least 0 around the rotation center axis of the mirror; and setting the rotation center axis of the reflection mirror to an arbitrary rotation center in a plane perpendicular to the reference optical axis.
  • the arithmetic processing device performs an arithmetic process on an image obtained by the wide-angle imaging device, and generates a developed image that is inclined in accordance with the rotational center axis in-plane inclination direction.
  • the wide-angle image generation device according to claim 3 of the present invention, according to claim 1 or claim 2, wherein the reflecting mirror has a hyperboloid shape having an internal focus on a rotation center axis, and The position of the focal point and the position of the principal point of the imaging device are matched or substantially matched.
  • a wide-angle image generating apparatus is characterized in that, in any one of claims 1 to 3, the inclination direction in the plane of the rotation center axis coincides with or substantially coincides with the horizontal direction. .
  • the wide-angle image generation device is characterized in that:
  • the wide-angle imaging device or the arithmetic processing device further includes a rotation center axis in-plane tilt direction detection unit that detects the rotation center axis-plane tilt direction, and the rotation center axis in-plane tilt direction.
  • An output image is generated by tilting the developed image in the arithmetic processing device according to an output result of the detection unit.
  • the wide-angle image generating device is the device according to claim 5, wherein the in-plane tilt direction detecting unit provided in the arithmetic processing unit is configured to perform image processing and to perform the in-plane tilt direction rotation direction. Is configured to be detected.
  • the wide-angle image generating device is characterized in that: In any one of 4, the wide-angle imaging device or the arithmetic processing device has a rotation center axis in-plane inclination direction input unit that inputs the rotation center axis in-plane inclination direction, and the rotation center axis in-plane inclination direction. An output image is generated by tilting the developed image in the arithmetic processing device in accordance with an input result of an input unit.
  • a wide-angle image generation device is a wide-angle image generation device including a wide-angle imaging device and an arithmetic processing device, wherein the wide-angle imaging device is an arbitrary one perpendicular to the rotation center axis of the hyperboloid.
  • the direction of the reference optical axis is taken as 0 degree, and the direction of the reference optical axis is set to 0 degree, and at least the range of angle 0 ( ⁇ 1 ⁇ ⁇ ⁇ ⁇ 2, 1 90 ° ⁇ 0 1 ⁇ 90 °, 1 90 ° ⁇ 0
  • the hyperboloid reflecting mirror is installed with the rotation center axis inclined at an arbitrary forward tilt direction of the rotation center axis.
  • the arithmetic processing device performs an arithmetic process on an image obtained from the wide-angle imaging device using a virtual cylinder having an arbitrary axis passing through the internal focal point of the hyperboloid reflecting mirror as a virtual cylinder rotation center axis as a projection plane, and generates a developed image. It is characterized by comprising a developed image generating unit for generating, and an output image generating unit for converting the data format of the developed image into an output format and generating an output image.
  • the wide-angle image generation device is the device according to claim 8, wherein a plane including the reference optical axis and the rotation center axis of the hyperboloid reflector is irrespective of the rotation center axis forward tilt direction.
  • the set reference axis and the virtual cylinder rotation center axis are parallel or coincide with each other.
  • a wide-angle image generating apparatus is characterized in that The rotation center axis forward tilt direction is such that the center of view of the wide-angle imaging apparatus is perpendicular to the reference axis in a plane including the reference optical axis and the rotation center axis of the hyperboloid reflecting mirror. It is characterized by such a direction.
  • the wide-angle image generation device is the device according to claim 9 or 10, wherein the wide-angle imaging device or the arithmetic processing device further includes: 13. The wide-angle device according to claim 12, further comprising an inclination direction detection unit, wherein an output image is generated by the arithmetic processing unit in accordance with an output result of the rotation center axis forward inclination direction detection unit.
  • the image generation device according to claim 9 or 10, wherein the wide-angle imaging device or the arithmetic processing device further includes: a rotation center axis forward tilt direction input unit that inputs the rotation center axis forward tilt direction; The output image generation unit generates an output image in accordance with an input result of the rotation center axis forward tilt direction input unit.
  • the wide-angle image generating apparatus is characterized in that a reference optical axis is set in an arbitrary direction perpendicular to a rotation center axis of a rotationally symmetric body, and the direction of the reference optical axis is set to 0 degree and at least an angle is set.
  • a reflecting mirror having a surface, a principal point on the rotation center axis of the reflection mirror, and an optical axis extending in the direction of the reference optical axis by an angle of ⁇ or less with respect to the rotation center axis when the angle of view is 2.
  • An imaging device that is inclined and forms a reflection image of the reflecting mirror to image a target object at least in a range of 0 around a rotation center axis of the reflecting mirror; and a wide angle obtained from the imaging device.
  • the wide-angle image generating device is arranged such that a reference optical axis is set in an arbitrary direction perpendicular to a rotation center axis of the rotationally symmetric body, and the direction of the reference optical axis is set to 0 degree and at least an angle is set.
  • a reflecting mirror having a reflecting surface; and a principal point on the center axis of rotation of the reflecting mirror, with the angle of view being 2 ⁇ with respect to the center axis of rotation;
  • An imaging device that is inclined in the optical axis direction, forms an image of the reflection of the reflecting mirror, and captures an object within a range of at least an angle ⁇ ⁇ around a rotation center axis of the reflecting mirror;
  • a developed image generating unit that generates a developed image viewed from the rotation center axis from the obtained wide-angle image, and a process before the developed image generating unit develops the wide-angle image.
  • a processing unit for generating a development table for generating a development table including information on a pixel correspondence relationship between the wide-angle image and the development image, and the expansion table generated by the processing apparatus for generating the expansion table is stored and stored.
  • a development table storage unit connected to the development image generation unit.
  • a wide-angle image generating apparatus comprises: a reflecting mirror having a convex reflecting surface; and a principal point on a rotation center axis of the reflecting mirror, and forming a reflection image of the reflecting mirror.
  • An imaging device that images and captures an object within a range of 360 degrees around the rotation center axis of the reflector; and a development that generates a developed image viewed from the rotation center axis from a wide-angle image obtained from the imaging device.
  • An image generation unit; and a development table generation unit that generates a development table including information on the pixel correspondence between the wide-angle image and the development image when the development image generation unit develops the wide-angle image. It is characterized by the following.
  • the wide-angle image generating device is characterized in that: A reflecting mirror having a surface, a principal point on the rotation center axis of the reflection mirror, and forming a reflection image of the reflection mirror to form an object within a range of 360 degrees around the rotation center axis of the reflection mirror.
  • An imaging device that captures an object; a developed image generating unit that generates a developed image viewed from the rotation center axis from a wide-angle image obtained from the imaging device; and a developed image generating unit that expands the wide-angle image.
  • a processing table for generating a development table that includes information on the pixel correspondence between the wide-angle image and the developed image, and an expansion table generated by the processing table for generating the development table.
  • a development table storage unit connected to the development image generation unit is provided.
  • the wide-angle image generating apparatus according to claim 17 of the present invention is the wide-angle image generating apparatus according to any one of claims 13 to 16, wherein the reflecting mirror has a hyperboloid shape having an internal focal point on a rotation center axis.
  • the position of the external focal point of the hyperboloid shape and the position of the principal point of the imaging device substantially coincide with each other.
  • a wide-angle image generating apparatus is the wide-angle image generating apparatus according to claim 17, wherein the expansion table generation unit or the expansion table generation processing unit is a wide-angle image according to an inclination amount of an optical axis of the imaging device. It is characterized in that it is configured to generate a development table including information on the pixel correspondence relation between the development image and the developed image.
  • a wide-angle image generating apparatus is characterized in that, in claim 17, the expansion table generation unit or the arithmetic processing device for generating the expansion table is configured to generate an expansion table according to the following equation. It is characterized by.
  • the incident direction of the incident light when the axial direction is 90 degrees
  • ⁇ is the inclination of the imaging surface depending on the incident direction ⁇
  • ⁇ is the incident direction of the incident light on the imaging surface.
  • the wide-angle image generation device according to claim 20 of the present invention is the image processing device according to any one of claims 13 to 17, wherein the expansion table generation unit or the expansion table generation processing unit is an imaging device.
  • a wide-angle image generating device is the wide-angle image generating device according to any one of claims 13 to 17, wherein the expansion table generation unit or the expansion table generation arithmetic processing device is a wide-angle image.
  • the expansion table generation unit or the expansion table generation arithmetic processing device is a wide-angle image.
  • a wide-angle image generating apparatus is the wide-angle image generating apparatus according to any one of claims 13 to 17, further comprising: Arbitrarily changing the pixel correspondence between the wide-angle image and the developed image in an arbitrary mask area provided in It is characterized in that a development table for masking a development image in a mask area is generated.
  • the wide-angle image generation device is the wide-angle image generation device according to any one of claims 13 to 17, wherein after the expanded image generation unit, It is characterized by the addition of an image quality correction processing unit that performs high-frequency component enhancement processing in which the degree of enhancement is changed according to the upper position.
  • a wide-angle image generating apparatus is the image mask according to claim 17 or claim 23, wherein the specific area of the image expanded by the expanded image generating unit is changed from an original image.
  • An image mask processing unit for performing processing is provided.
  • FIG. 1 is a configuration diagram of a wide-angle image generation apparatus according to (first embodiment) of the present invention.
  • FIG. 2 is an explanatory diagram of objects a, b, and c of the first embodiment.
  • FIG. 3 is a schematic diagram of an image formed on an imaging surface in the wide-angle image generation device according to the embodiment.
  • FIG. 4 is a schematic diagram showing a result obtained by performing an expansion process on an image captured by the wide-angle image generation device according to the embodiment.
  • Fig. 5 is a schematic diagram of an output image output to the TV monitor of the embodiment.
  • Fig. 6 is a schematic diagram of the rotation of the wide-angle imaging device and the output image at that time.
  • FIG. 7 is a configuration diagram of the wide-angle image generation device according to the second embodiment of the present invention.
  • FIG. 8 is a diagram illustrating the wide-angle image generation device according to the third embodiment of the present invention in the X-axis direction.
  • FIG. 9 shows the wide-angle image generating apparatus according to the fourth embodiment of the present invention in the X-axis direction.
  • FIG. 10 is a configuration diagram of a wide-angle image generating apparatus according to (Embodiment 5) of the present invention.
  • FIG. 11 is an explanatory diagram of a wide-angle imaging device according to the embodiment.
  • FIG. 12 is a schematic diagram of an image formed on an imaging surface of the wide-angle imaging device according to the embodiment.
  • FIG. 13 is an explanatory diagram of objects a, b, and c in the embodiment.
  • FIG. 14 is an explanatory diagram of a wide-angle image obtained in the embodiment.
  • Fig. 15 is a flow chart of creating an expansion table according to the embodiment.
  • Fig. 16 is a configuration diagram of a wide-angle imaging device according to the embodiment.
  • Fig. 17 is an enlarged view near the imaging surface in the same embodiment.
  • Fig. 18 shows the arrangement of the hyperboloid reflector and the imaging surface when viewed from the Z-axis direction in the same embodiment.
  • Figure 19 is an illustration of the relationship between the angle 0 on the Xa and Ya planes and the angle on the xy plane.
  • Figure 20 is an illustration of the effect of optical distortion on the imaging device
  • Figure 21 shows the test pattern image
  • Figure 22 is an illustration of the difference between the left and right resolution of the developed image
  • Figure 23 shows the relationship between the position on the developed image and the sharpening coefficient.
  • FIG. 24 is a configuration diagram of a wide-angle image generating apparatus according to (Embodiment 6) of the present invention.
  • FIG. 25 is an explanatory diagram of objects a, b, and c in the embodiment.
  • FIG. 27 is a flow chart for creating a development table in the embodiment.
  • FIG. 28 is an explanatory diagram showing the relationship between the virtual projection plane and the operator.
  • Figure 29 is an illustration of how to change the virtual projection plane shape
  • 121 30 is a schematic diagram when the ATM operation panel is masked
  • FIG. 31 is a configuration diagram of a wide-angle image generation device according to the embodiment.
  • FIG. 32 is a configuration diagram of a wide-angle image generation device according to (Embodiment 7) of the present invention.
  • Figure 34 is an illustration of an omnidirectional camera.
  • Figure 35 is an illustration of the unfolding process in an omnidirectional camera
  • the wide-angle imaging apparatus is moved vertically in a plane whose rotation center axis is perpendicular to the reference optical axis direction.
  • the output of the wide-angle image generation device will be an image in which the horizontal direction in the image matches the horizontal direction of the TV monitor even when the image is tilted with respect to, and a wide-angle image generation device that does not give a viewer a sense of discomfort will be described.
  • FIG. 1 shows a wide-angle image generating apparatus according to (Embodiment 1), in which the coordinate axes are the X-axis in the vertical direction on the paper, the Y-axis in the forward direction from the paper, and the Z-axis in the horizontal direction on the paper.
  • the X axis is vertical.
  • the wide-angle imaging device 8 includes a hyperboloid reflecting mirror 1, an imaging lens 2, and an imaging device 3.
  • the imaging device includes an imaging lens 2 and an imaging device 3.
  • the hyperboloid reflecting mirror 1 has a reflecting surface for ⁇ 90 degrees around the rotation center axis of the hyperboloid.
  • the 0 degree direction that is, the reference optical axis direction is the Y axis direction.
  • the reference optical axis passes through the internal focal point 4 of the hyperboloid reflecting mirror 1.
  • the center axis 6 of rotation of the hyperboloid reflecting mirror 1 is tilted 90 degrees from the vertical direction with the Y axis as the rotation axis, and thus coincides with the Z axis (horizontal direction).
  • Light rays a, b, and c incident toward the internal focal point 4 are reflected by the reflecting surface of the hyperboloid reflecting mirror 1 and are condensed to an external focal point (not shown) on the rotation center axis 6.
  • the position of this external focus and the position of the principal point 7 of the imaging lens 2 are arranged so as to coincide or substantially coincide with each other.
  • the light beams a, b, and c form an image on the imaging surface 5 of the imaging device 3.
  • FIG. 1 illustrates the imaging lens 2 as a single lens
  • the imaging lens 2 may include a plurality of lenses.
  • the reflector 1 is limited to a hyperboloid here, it may be a rotationally symmetric body such as a hemisphere or a cone. However, in that case, since there is no external focal point, the principal point 7 of the imaging lens 2 is at an arbitrary position on the rotation center axis 6.
  • the gyro-type Y-axis angle sensor 12 as a tilt detecting unit in the plane of the rotation center axis provided in the wide-angle imaging device 8 rotates in a plane perpendicular to the reference optical axis direction (in the XZ plane). Outputs how many times the central axis 6 has tilted with respect to the reference axis (here, the vertical axis).
  • the arithmetic processing device 11 includes a developed image generation unit 9 and an output image generation unit 10.
  • the developed image generation unit 9 converts the shape of the hyperboloid reflecting mirror 1 and the optical characteristics of the imaging lens 2 and the imaging element 3 into a 180-degree wide-angle image obtained from the imaging element 3 of the wide-angle imaging device 8. According to the algorithm determined according to, a process of converting a wide-angle image to a developed image is performed.
  • the output image generation unit 10 performs a tilt correction process (described later) on the developed image obtained from the developed image generation unit 9 based on the output of the angle sensor 12 around the Y-axis, and converts the image into the NTSC format.
  • Reference numeral 13 denotes a TV monitor for displaying an output image from the arithmetic processing unit 11.
  • FIG. 1 The configuration of FIG. 1 will be described in further detail based on the operation.
  • rays a, b, and c indicate arbitrary rays from the object. Therefore, the objects of each light beam are called objects a, b, and c.
  • the objects a, b, and c are the characters a J ⁇ b J "c" drawn on the screen 14 as shown in Fig. 2 (a), and this screen 14 is shown in Fig. 2 (b).
  • the surface on which the objects a, b, and c are drawn is a hyperboloid so that the distance from the Z axis to the screen surface is constant around the Z axis.
  • a range of ⁇ 90 degrees with respect to the reference optical axis direction forms an image on the imaging plane 5.
  • the image obtained by the image sensor 3 is shown in FIG. It can be seen that all the objects a, b, and c are included.
  • a developed image generation unit 9 performs a conversion process on a wide-angle image output from the wide-angle imaging device 8 as shown in FIG.
  • the expansion processing determines the projection plane (virtual cylindrical surface 21) of the expansion image and considers the mapping from the wide-angle image to the projection plane, so that each pixel of the expansion image corresponds to the wide-angle image.
  • a developed image is generated by determining points and determining the luminance values of all pixels of the developed image accordingly. For example, if the expansion processing is performed on a wide-angle image as shown in FIG. 3, an expanded image as shown in FIG. 4 is obtained.
  • the output image generation unit 10 performs a conversion process to the output image on the expanded image created by the process in the expanded image generation unit 9 as described above. ⁇ The output image generation unit 10 performs two processes.
  • the inclination is corrected by performing image rotation processing on the horizontally elongated developed image.
  • the gyro-type Y-axis angle sensor 12 incorporated in the wide-angle imaging device 8 is used to Measure the tilt angle of the rotation center axis 6 with respect to the vertical direction of 8 assuming that the clockwise direction when looking at the + direction of the Y axis is positive.
  • the developed image is rotated by the image processing calculation by setting the clockwise direction to be positive by the obtained tilt angle.
  • the processing for expanding the wide-angle image and the processing for correcting the tilt are performed in a state where the image is digitized. Therefore, processing is performed to convert the digitized image into a format suitable for displaying, for example, the NTSC format.
  • a margin area is added at the stage of digital decoding so that the image size matches the size of N TSC.
  • This blank area may be a zero-luminance area, or may contain some information (for example, a background image or a caption indicating the shooting time).
  • the digital data having the NTSC size is converted into NTSC. Even in the developed image as shown in FIG. 4, the output image is displayed on the TV monitor 13 in a state where the horizontal direction in the image matches or substantially matches the actual horizontal direction as shown in FIG.
  • the output format is not limited to NTSC, but may be another format such as PAL.
  • the tilt angle is not limited to 90 degrees. However, if the angle of inclination is 90 degrees, a 180-degree view in the vertical direction, which is difficult to achieve with a normal wide-angle optical system, can be obtained. Since the image can be obtained as a single image, there is an advantage that it can be applied to surveillance applications such as ATMs (automatic teller machines) and vending machines.
  • the present invention provides a wide-angle imaging device in which the rotation center axis 6 is tilted to an arbitrary angle. It is not limited to fixing 8.
  • the wide-angle imaging device 8 is rotated at a constant speed around the reference optical axis as a rotation axis, and the output image is output to the TV monitor 13.
  • the output image also goes around the TV monitor at a constant speed, but the content of the image is that the horizontal direction matches the horizontal direction of the TV monitor. It can be used as a special display used for events and the like.
  • the skew correction processing is controlled so that the horizontal direction in the developed image coincides with the horizontal direction in the output image.
  • the present invention is not limited to this.
  • control to keep the horizontal deviation between the horizontal direction in the developed image and the output image constant, or change the horizontal deviation between the horizontal direction in the developed image and the horizontal direction in the output image according to a certain rule Control may be used.
  • the hyperboloid reflecting mirror 1 has a reflecting surface for ⁇ 90 degrees, but the present invention is not limited to this. It is sufficient that the angle is at least ⁇ 90 degrees or less.
  • the gyroscopic angle sensor 12 around the Y-axis 12 is attached to the wide-angle imaging device 8 to obtain tilt information.
  • the inclination information may be obtained by using the image processing in the arithmetic processing unit 11.
  • shooting is performed, and shooting conditions are determined so that an object to be a reference for angle measurement is included in the obtained developed image. Then, the tilt angle in the developed image of the target object is obtained by image processing, and the tilt angle at the time of the output imaging process is determined so that the angle becomes constant.
  • This method has an advantage that an angle sensor becomes unnecessary.
  • the developed image generating unit 9 performs a process of generating a developed image from a wide-angle image, and the output image generating unit 10 performs a tilt correction process of the developed image and an output image forming process to NTSC or the like. Went,
  • the configuration may be such that the developed image generation unit 9 performs the inclination correction of the developed image simultaneously with the generation of the developed image, and the output image generation unit 10 performs only the output image forming process.
  • the corresponding point of each pixel of the developed image in the wide-angle image is determined by the method described as the conventional technique, and the luminance value of each pixel of the developed image is determined accordingly.
  • the luminance value of each pixel obtained in this way is sequentially stored in a memory (not shown) in the developed image generation unit 9 at a position in consideration of the inclination of the developed image, thereby generating a developed image with corrected inclination.
  • the tilt amount of the developed image at this time is obtained from the angle sensor 12 around the Y axis.
  • the output image generation unit 10 receives the developed image after the inclination correction, and performs an output imaging process.
  • FIG. 7 shows a wide-angle image generating apparatus according to the second embodiment of the present invention.
  • the difference from FIG. 1 (Embodiment 1) is that the angle sensor 12 around the Y-axis as the tilt direction detecting unit in the rotation center axis plane is eliminated, and the rotation direction in the axis plane is manually operated during rotation. This is the point that the inclination direction in-plane input unit 15 to be input and set is provided in the arithmetic processing unit 11.
  • the tilt direction input unit 15 in the plane of the rotation center axis is an input setting device such as a variable resistor.
  • an input setting device such as a variable resistor.
  • Other operations are the same as those in the first embodiment.
  • the tilt direction input unit 15 in the plane of the rotation center axis is an input setting device such as a variable resistor.
  • the present invention is not limited to this mode.
  • the constant data stored in the output image generation unit 10 is rewritten using a personal computer from the outside of the output image generation unit 10, and the tilt direction input unit 15 in the rotation center axis plane is used. May be a connection unit between the output image generation unit 10 and the personal computer.
  • the rotation center axis in-plane tilt direction input unit 15 is provided in the arithmetic processing device 11. However, since the rotation center axis in-plane tilt direction is input to the output image generation unit 10.
  • the connection section between the input setting device such as the variable resistor or the output image generation section 10 and the personal computer may be provided on the wide-angle imaging device 8 side.
  • the hyperboloid reflecting mirror 1 has a reflecting surface for ⁇ 90 degrees, but the present invention is not limited to this. It is sufficient that the angle is at least ⁇ 90 degrees or less.
  • FIG. 8 shows a wide-angle image generating apparatus according to the third embodiment.
  • Fig. 8 1 'indicates the position of the hyperboloid reflector in the reference state.
  • ing. 6 indicates the position of the rotation center axis in the reference state. It is assumed that the rotation center axis 6 'in the reference state coincides or substantially coincides with the horizontal direction, and this is the state before tilting.
  • Hyperboloid reflector 1 imaging lens 2, imaging device 3, internal focus 4 of hyperboloid reflection mirror 1, imaging surface 5 of imaging device 3, rotation center axis 6 of hyperboloid reflection mirror 1, main component of imaging lens 2.
  • Point 7 is the same as that of (Embodiment 1).
  • the difference is that the rotation center axis 6 is set at a tilt angle 0 around the internal focal point 4 with respect to the rotation center axis 6 in the reference state in a plane including the reference optical axis and the rotation center axis 6. And that the measurement direction of the angle sensor 16 around the X-axis has a tilt angle of 0.
  • 1 8 1 and 1 9 ′ are the visual field limits of the wide-angle imaging device 8 in the reference state
  • 20 ′ are the visual field range of the wide-angle imaging device 8 in the reference state
  • 18 and 1 9 are the rotation center axes 6 from the reference state.
  • 20 is the wide-angle imaging device 8 when the rotation center axis 6 is tilted from the reference state by the tilt angle 0 (at the time of tilting).
  • Reference numeral 21 denotes a virtual cylindrical surface serving as a virtual projection surface when considering mapping from a wide-angle image to a developed image.
  • the developed image generation unit 9 converts the wide-angle image into a developed image according to an algorithm described later using the output of the X-axis angle sensor 16 with respect to the wide-angle image having a 180-degree angle of view obtained from the wide-angle imaging device 8. And perform the conversion process.
  • the output image generation unit 10 converts the developed image obtained from the developed image generation unit 9 into the NTSC system.
  • Reference numeral 13 denotes a TV monitor which is the same as that of the first embodiment and displays an output image from the arithmetic processing unit 11.
  • the rotation center axis 6 ′ and the rotation center axis 6 in the reference state are assumed to coincide with the horizontal direction, but the invention is not limited to this.
  • the operation of the wide-angle imaging device 8 for obtaining a wide-angle image with a 180-degree field of view is the same as that of the first embodiment. The difference is that the visual field has changed from the visual field range 20 in the reference state shown in FIG. 8 to the visual field range 20 when tilted by the tilt angle ⁇ .
  • the wide-angle image output from the wide-angle imaging device 8 is converted into a developed image by the developed image generation unit 9.
  • the concept of the correspondence between the arbitrary point P in the space and the point p on the imaging surface 5 (that is, the point on the wide-angle image) is the same as that in the first embodiment.
  • the difference is in the way of taking the projection plane when considering the developed image, that is, the point P in the space.
  • a virtual cylindrical surface 21 as shown in FIG. Normally, it is assumed that the virtual cylinder surface 21 has a center axis coincident with the rotation center axis 6.
  • the reference obtained from the angle sensor 16 around the X axis is used.
  • the center axis of the virtual cylindrical surface 21 with respect to the rotation center axis 6 after tilting is defined as the reference optical axis and the rotation center axis.
  • the center axis of the virtual cylindrical surface 21 is made to coincide with the rotation center axis 6 'in the reference state.
  • the luminance of a point on the developed image corresponding to an arbitrary spatial point P on the virtual cylindrical surface 21 determined in this way is obtained using the luminance value of the point p on the wide-angle image corresponding to the spatial point P, and the developed image is obtained.
  • the center of rotation when the wide-angle imaging device 8 is tilted from the reference state is set as the internal focus 4, but is not limited to this. However, if the center of rotation coincides with or substantially coincides with the internal focus 4, there is an advantage that the tilt angle can be adjusted while the viewpoint of the wide-angle imaging device 8 is kept substantially constant.
  • the output image generation unit 10 performs a conversion process into an output image.
  • (Embodiment 3) does not include the “inclination correction processing” included in (Embodiment 1), but only output imaging processing.
  • the output imaging process performs the same process as that of (Embodiment 1).
  • the wide-angle imaging device 8 is tilted in a plane including the reference optical axis and the rotation center axis 6 to provide a field of view in the direction of the rotation center axis 6 as a wide-angle image generation device.
  • the c can be changed range, to measure the inclination angle with respect to the reference state of the wide-angle imaging apparatus 8, the imaginary cylindrical surface 2 1 a projection plane of the expanded image by using the value central axis of the reference state always
  • the position of the line of sight in the developed image (the position at which the elevation angle in the developed image becomes 0.
  • ⁇ is the absolute value of the angle from the reference optical axis to the field limit 18 'of the reference state
  • the absolute value of the angle from the reference beam axis to the field limit 19' of the reference state is ⁇ .
  • the present invention is not limited to the wide-angle image generation device in which the wide-angle imaging device 8 is fixed at an arbitrary angle.
  • the hyperboloid reflecting mirror 1 is assumed to have a reflecting surface for ⁇ 90 degrees. It is not limited. It should be at least 90 degrees or less.
  • (Embodiment 3) shows a case where virtual cylinder surface 21 is tilted by one angle so as to cancel out the tilt angle ⁇ of wide-angle imaging device 8 with respect to the reference state.
  • the present invention is not limited to this.
  • control may be performed such that the inclination of the center axis of the virtual cylindrical surface 21 with respect to the rotation center axis 6 ′ in the reference state is set to a constant value other than 0, or may be changed according to a fixed rule.
  • FIG. 9 shows a wide-angle image generating apparatus according to (Embodiment 4) of the present invention.
  • Embodiment 3 The difference from Embodiment 3 is that the angle sensor 16 around the X-axis is eliminated, and the rotation center axis forward tilt direction input unit 17 is provided in the arithmetic processing unit 11.
  • the rotation center axis forward tilt direction input unit 17 is an input setting device such as a variable resistor.
  • the rotation center axis 6 of the reference state in the plane including the reference optical axis (Y axis) and the rotation center axis 6 of the wide-angle imaging device 8 secured as constant data in the developed image generation unit 9 by this input setting device. Set and change the value of the tilt angle of the rotation center axis 6 for '. Other operations are the same as in (Embodiment 3).
  • the angle sensor 16 around the X axis is omitted. Therefore, the entire apparatus can be configured at a lower cost.
  • the rotation center axis forward tilt direction input unit 17 is provided in the arithmetic processing unit 11 here, the wide angle imaging device 8 may be provided with the rotation center axis forward tilt direction input unit 17.
  • the rotation center axis forward tilt direction input unit 17 is described as an input setting device such as a variable resistor, but is not limited to this mode.
  • the rewriting of the constant data secured in the developed image generation unit 9 is performed from outside the developed image generation unit 9 using a personal computer, and the rotation center axis forward tilt direction input unit 17 is Alternatively, it may be a connection between the developed image generation unit 9 and a personal computer. This connection part is provided in the wide-angle imaging device 8 or the arithmetic processing device 11.
  • the hyperboloid reflecting mirror 1 has a reflecting surface for ⁇ 90 degrees, but the present invention is not limited to this. It is sufficient that the angle is at least ⁇ 90 degrees or less.
  • the virtual cylindrical surface 21 is tilted by 10 so as to cancel the tilt angle ⁇ ⁇ ⁇ ⁇ of the wide-angle imaging device 8 with respect to the reference state.
  • the present invention is not limited to this.
  • the tilt angle ⁇ ⁇ ⁇ ⁇ of the wide-angle imaging device 8 with respect to the reference state is 0, only the virtual cylindrical surface 21 may be tilted. Then, it becomes possible to change the line of sight while keeping the wide-angle imaging device 8 fixed.
  • the output as the wide-angle image generation device is within the image.
  • the horizontal direction of the image coincides with the horizontal direction of the ⁇ monitor, and it is possible to prevent the viewer from feeling uncomfortable.
  • the tilt angle is measured, and the value is used to project a developed image.
  • FIGS. 10 to 23 and FIG. 30 show (Embodiment 5) of the present invention.
  • FIG. 10 shows a wide-angle image generating apparatus according to (Embodiment 5) of the present invention.
  • This wide-angle image generation device includes a wide-angle imaging device 8 for capturing a reflection image formed by a reflection mirror and an image processing device 22.
  • the wide-angle imaging device 8 will be described.
  • the wide-angle imaging device 8 includes a hyperboloid reflecting mirror 1, an imaging lens 2, and an imaging device 3 such as a CCD.
  • the imaging device includes an imaging lens 2 and an imaging element 3.
  • the hyperboloid reflecting mirror 1 has a reflecting surface of approximately ⁇ 90 degrees around the center axis of rotation of the hyperboloid.
  • the direction at 0 degrees is referred to as a reference optical axis direction, and here, it is assumed that the direction coincides with the Y-axis direction.
  • Reference numeral 4 denotes the inner focal point of the hyperboloid reflector 1.
  • Reference numeral 5 denotes an imaging surface of the imaging device 3.
  • Reference numeral 6 denotes a rotation center axis of the hyperboloid reflecting mirror 1.
  • the rotation center axis 6 coincides with the Z axis (vertical direction).
  • Light rays a, b, and c incident toward the internal focal point 4 are reflected by the reflecting surface of the hyperboloid reflecting mirror 1 and condensed to an external focal point (not shown) on the rotation center axis 6.
  • the position of this external focal point and the position of the principal point 7 of the imaging lens 2 are arranged so as to substantially coincide with each other, and the light beams a, b, and c pass through the imaging lens 2 so that the imaging surface 5 of the imaging element 3 Image on top.
  • an optical axis (not shown) shared by the imaging lens 2 and the imaging device 3 is installed to be inclined in the reference optical axis direction with respect to the rotation center axis 6 of the hyperboloid reflecting mirror 1. This inclined configuration will be described later with reference to FIG.
  • the imaging lens 2 is depicted as having a single lens configuration, but may be configured with a plurality of lenses.
  • the image processing device 22 includes a development table generation unit 23, a development image generation unit 24, an image quality correction processing unit 25, and an image mask processing unit 26.
  • the expansion table generator 23 generates the shape of the hyperboloid The processing is performed by calculating an expansion table that is calculated by an algorithm determined according to the optical characteristics and arrangement of the zoom lens 2 and the imaging element 3 and that is used when converting the wide-angle image obtained by the wide-angle imaging device 8 into the expanded image. . This algorithm will be described later.
  • the developed image generation unit 24 performs a process of converting a wide-angle image into a developed image with reference to the development table obtained from the development table generation unit 23.
  • the image quality correction processing unit 25 performs an image quality correction process described later on the developed image generated by the developed image generation unit 24.
  • the image mask processing unit 26 performs an image mask process described later on the developed image after the image quality correction generated by the image quality correction processing unit 25.
  • Reference numeral 27 denotes a monitor for displaying an output image from the image processing device 22.
  • FIG. (A) of FIG. 11 is a cross-sectional view of the wide-angle imaging device 8 in the YZ plane, showing a basic configuration.
  • the difference from the omnidirectional force lens 100 is that the hyperboloid reflecting mirror 1 has a reflecting surface of ⁇ 90 degrees around the center axis of rotation of the hyperboloid, and the principal point of the imaging lens 2.
  • the optical axis 28 shared by the imaging lens 2 and the image sensor 3 is set to the reference optical axis direction by an angle a with respect to the rotation center axis 6 while making the external focal points of 7 and the hyperboloid reflecting mirror 1 substantially coincide with each other. (Y-axis direction).
  • 2 »and 3 « indicated by dashed lines indicate an imaging lens and an image sensor when arranged in the same manner as the omnidirectional camera 100 shown in FIG. 34 (a).
  • Rays 29a and 29b in the YZ plane incident on the internal focal point 4 are reflected at the incident points 30a and 30b of the hyperboloid reflector 1, and the external focal point on the rotation center axis 6 ( (Not shown).
  • the position of this external focus and the position of the principal point 7 of the imaging lens 2 are arranged so as to substantially coincide with each other, and light rays 29 a and 29 b are imaged by the imaging element 3 via the imaging lens 2.
  • An image is formed at image points 3 la and 3 lb on the surface 5.
  • the imaging points of the rays 29a and 29b when using are 31a ⁇ and 31b. Becomes The resulting image is therefore the imaging lens 2. And imaging device3.
  • 32 shown by the broken line in Fig. 11 (b). It becomes a semicircular image like. This is a half-fold of the circular image 1 1 1 in Fig. 34 (b) obtained from the omnidirectional camera 100.
  • the imaging lens 2 used in the omnidirectional camera 100 Also, a wide-angle image with an angle of view of 180 degrees can be obtained using the image sensor 3 () . However, in this state, the image sensor 3. The efficiency of using is very poor.
  • the obtained image is a semi-circular image shown by hatching in Fig. 11 (b).
  • 3 2 That is, by inclining the optical axis 28, the position of the semicircular image 32 in the vertical direction (corresponding to the Y-axis direction) on the imaging surface 5 can be shifted.
  • the magnification is adjusted, and the imaging position is adjusted by adjusting the tilt angle of the optical axis 28, so that the semicircular image 3 on the imaging surface 5 is obtained.
  • the imaging using the pixels of the imaging surface 5 as effectively as possible becomes possible.
  • the semicircular image 32 is formed on the imaging surface 5 at a position where the arc portion is close to the edge of the imaging surface 5, but is not limited to this. Not something.
  • the chord portion of the semicircular image 32 may be formed at a position close to the edge of the imaging surface 5.
  • the hyperboloid reflecting mirror 1 has a reflecting surface for ⁇ 90 degrees, but the present invention is not limited to this.
  • the range may be within 180 degrees or less.
  • a hyperboloid reflecting mirror 3 having a reflecting surface of ⁇ (90 + 0) degrees is used, an image of ⁇ (90 + ⁇ ) degrees can be obtained as shown in FIG.
  • the operation of the wide-angle image generating device thus configured will be described in more detail.
  • rays a, b, and c indicate arbitrary rays from the object. Therefore, the objects of each ray are called objects a, b, and c.
  • the objects a, b, and c are the characters "a", "b", and "c” drawn on the screen 33 as shown in Fig. 13 (a), and this screen 33 is As shown in b), the surface on which the objects a, b, and c are drawn is arranged so that the distance from the Z axis to the screen surface is constant around the Z axis so that it can be seen from the hyperboloid reflector 1.
  • the expansion table generation unit 23 calculates an expansion table used for the expansion processing.
  • the development table is a table of coordinate values on the wide-angle image corresponding to each pixel of the development image.
  • FIG. 15 shows the flow of processing performed by the expansion table generation unit 23.
  • step S1 of FIG. 15 information such as the shape parameters of the reflecting surface of the hyperboloid reflecting mirror 1 and the focal length of the imaging device necessary for calculating the expansion table are read. These pieces of information are stored in, for example, the expansion table generation unit 2. It is sufficient to write the data in the ROM in 3 and read it. Of course, a configuration may be adopted in which an external input is performed by some method.
  • step S2 each element of the expansion table is calculated.
  • the development table is generated by deciding the projection plane of the development image and determining the corresponding point of each pixel of the development image in the wide-angle image by considering the mapping from the wide-angle image to the projection plane. The details of the corresponding point determination method will be described later.
  • step S3 the influence of the optical distortion of the imaging device including the imaging lens 2 and the imaging device 3 is corrected for the expansion table calculated in step S2.
  • the details of this correction method will also be described later.
  • the expansion table calculated according to the above flow is stored in the RAM in the expansion table generation unit 23.
  • step S2 a method of determining a corresponding point between the wide-angle image and the projection plane in step S2 will be described in detail with reference to FIGS.
  • FIG. 16 schematically shows a cross section on a plane (YZ plane) including the rotation center axis 6 and the reference optical axis direction of the wide-angle imaging device 8.
  • the hyperboloid reflector 1, the imaging lens 2, the image sensor 3, the internal focus 4, the image plane 5, the rotation center axis 6, and the principal point 7 are the same as those described in FIG.
  • Reference numeral 34 denotes a virtual projection plane when mapping from a wide-angle image is considered.
  • the virtual projection plane 34 is considered to be a cylindrical surface whose rotation center axis coincides with the rotation center axis 6 of the hyperboloid reflecting mirror 1.
  • the virtual projection plane 34 is not limited to a cylindrical plane. For example, it may be a spherical surface.
  • Numeral 35 denotes a light ray emitted toward the arbitrary focal point P (X P, Y P, Z r force, etc.) on the virtual projection plane 34.
  • the Z axis coincides with the rotation center axis 6, and a point that bisects a straight line connecting the internal focal point 4 and the principal point 7 is the origin 0.
  • the X-axis is the direction in front of and the Y-axis is the left-right direction on the paper.
  • the coordinate system on the wide-angle image (on the imaging plane 5) is such that the origin o is the intersection point of the rotation center axis 6 and the imaging plane 5, the X axis is the front side of the paper, and the paper is as shown in Fig. 16.
  • the y-axis is in the left-right direction of.
  • Equation 8 (Equation 9) and (Equation 10) also hold in the same way as in the case of the omnidirectional camera 100.
  • tana ⁇ (b 2 + c 2 ) ⁇ sin ⁇ -2 bc ⁇ / ⁇ (b 2 -c 2 ) ⁇ cos 3 ⁇ (Equation 9) 10)
  • the angle a is the angle between the straight line connecting the internal focus 4 and the arbitrary point P and the XY plane.
  • the angle 3 is an angle formed by a straight line connecting the principal point 7 (substantially coincident with the external focal point of the hyperboloid reflecting mirror 1) and the point p on the imaging surface 5 with the XY plane.
  • FIG. 17 is an enlarged view of the vicinity of the imaging surface 5 of the wide-angle imaging device 8 of FIG.
  • q be the intersection of a straight line passing through the origin o on the imaging surface 5 and lying in the YZ plane, being parallel to the Y axis, and passing from the arbitrary point P.
  • the length I o Q I of the line segment O Q is expressed by (Equation 14).
  • F F ⁇ cos ⁇ / cos r / sin (j3 + ⁇ ) (Equation 13)
  • F is the focal length of the imaging device including the imaging lens 2 and the imaging device 3.
  • FIG. 18 shows the hyperboloid reflecting mirror 1 and the imaging surface 5 when viewed from the ⁇ -axis direction.
  • FIG. 4 shows light rays emitted from the light source and reflected by the hyperboloid reflecting mirror 1 and reaching the point on the imaging surface 5] ?.
  • the relationship between 0 and the tilt angle (() of the imaging surface 5 is as shown in (Equation 15).
  • Equation 13a From the above discussion, the distance from the origin o to the point p on each plane including the Z axis was obtained. Next, consider the relationship between the direction ⁇ from the origin ⁇ on the XY plane to the point P and the direction ⁇ from the origin o on the imaging surface 5 to the point p on the XY plane.
  • ⁇ is an angle parameter for defining the direction of a point on the imaging surface 5 where the + direction of the X axis is 0 degree as shown in FIG.
  • the Xa and Ya planes in FIG. 19 are obtained by rotating the XY plane by 180 degrees about the Z axis and translating the Xa axis so that it coincides with the X axis.
  • 0 is 0 degree in one direction of the Xa axis and + direction is clockwise on the Xa and Ya planes, which is a parameter equivalent to 0 on the XY plane.
  • the parameter name is not changed here and is used as it is.
  • one direction of the X axis is 0 degree, and clockwise on the xy plane is + direction. With this setting, the relationship between 0 and ⁇ is derived.
  • the arc CAD is half of the unit circle.
  • the line of intersection with the Xa, Ya plane is a semicircular CAD, and is the line of intersection of the semicylinder, which is perpendicular to the Xa, Ya plane, and the xy plane.
  • vector vectors oA and oB are as shown in (Equation 17) and (Equation 18).
  • o A (-cos 0, sin S, 0) '(Equation 17)
  • o B (one cos ⁇ ⁇ sin ⁇ , tan r (90 ° nosin ⁇ )
  • XP, YP, and ZP are as follows, where M is the radius of the virtual projection plane 34, ISX is the number of pixels in the horizontal (longitudinal) direction of the developed image, and ISY is the number of pixels in the vertical (short) direction. Can be expressed as
  • FIG. 20 schematically shows the effect of optical distortion. Assuming that an ideal image can be obtained without optical distortion, when the angle of view is 180 degrees, a semicircular image as shown in (a) of FIG. 20 is obtained. However, in practice, optical distortion is included in the optical system, and for example, a semicircular image is obtained with distortion as shown in FIG. For this reason, if the expansion processing is performed without considering this optical distortion, the expanded image obtained will not be correct.
  • Equation 20 ⁇ and Ay are the amounts of distortion in the x and y directions, respectively.
  • k is the parameter for adjusting the amount of distortion.
  • Equation 20 is a very simple equation showing the amount of distortion, and the parameter to be set is k only. When applied to an actual optical system, (Equation 20) is not sufficient to describe the amount of optical distortion. It may be enough. In such a case, it is appropriate to use one that takes into account higher-order terms.
  • test pattern 36 as a reference (that is, a pattern whose distance is known in order to measure the amount of distortion) is captured by an imaging device including the imaging lens 2 and the imaging element 3.
  • the test pattern 36 for example, a pattern in which a two-dimensional lattice is drawn as shown in (a) of FIG. 21 may be used.
  • the exact value of the grating pitch may be known.
  • the test pattern image 37 obtained as a result has a different pattern from the original test pattern 36 due to the influence of optical distortion as shown in (b) of FIG.
  • Equation 21 By the above processing, (Equation 20) indicating the distortion amount of the imaging device is determined. Next, this is used to correct the ideal expansion table obtained in step S2.
  • Each pixel (each element) in the X direction and the y direction of the expansion table contains the pixel value of the wide-angle image corresponding to each pixel when optical distortion is not considered. Let this be (xu (X, Y), y »(X, Y)).
  • (X, Y) is the coordinate value of the pixel (element) in the current expansion table.
  • Substituting this value into (Equation 20) gives the corrected Calculate the values (x, (X, Y), y, (X, Y)). Specifically, (Equation 22) is performed for each pixel (element).
  • the expanded image generation unit 24 converts the wide-angle image obtained from the wide-angle imaging device 8 into an expanded image with reference to the expansion table generated by the expansion table generation unit 23.
  • the coordinates of the pixel position of the wide-angle image corresponding to each pixel of the developed image whose coordinate value is an integer value generally do not become an integer value.
  • wide-angle images have only integer coordinate position data.
  • coordinate values in the expansion table are rounded to an integer by means such as rounding off. By doing so, the luminance value of a pixel near the originally required pixel may be substituted.
  • the luminance data of the originally required pixels may be created by interpolation from the luminance data of the four pixels near the originally required pixels.
  • the image quality correction processing section 25 performs image quality correction processing on the developed image created by the developed image generation section 24. Hereinafter, the image quality correction processing will be described.
  • the developed image generated by the developed image generation unit 24 has a problem that the resolution differs between the upper part and the lower part in the image. That is, as shown in FIG. 22, in the correspondence between the wide-angle image 38 and the expanded image 39 obtained by performing the expansion processing, the relationship between the upper end and the lower end of the expanded image 39 is the wide-angle image 3 Since there is a relationship between the outer circumference and inner circumference of FIG. For this reason, in the developed image 39, the portion corresponding to the inner peripheral portion looks more out of focus than the portion corresponding to the outer peripheral portion.
  • the imaging device composed of the imaging lens 2 and the imaging device 3 has a depth of field, and, although slight, unevenness of focus in the radial direction of the semicircular wide-angle image 38 (for example, the inner peripheral portion of the wide-angle image 38 may be well focused, but the outer peripheral portion may be unevenly focused.
  • the image finally obtained as the developed image 39 includes a blur resulting from the superposition of the above two factors.
  • the image quality correction processing section 25 for such a developed image 39 has a relative position along the vertical direction of the developed image 39 (that is, corresponding to the radial direction of the wide-angle image 38 as the original image).
  • the sharpening coefficient is determined, and the sharpening process is performed by using the coefficient to emphasize the high frequency components of the image.
  • a method called unsharp masking is used as the sharpening process. This is expressed as (Equation 23).
  • B (i, j) is the luminance value of the pixel at the coordinates (i, j).
  • B— (i, j) is a local average luminance value in the vicinity of the pixel at the coordinates (i, j) (for example, an average luminance value in a range of 3 ⁇ 3 in the vicinity), and is a luminance value composed of low-frequency components. Therefore, (B (i, j) —B— (i, j)) is an operation of extracting high-frequency components by subtracting low-frequency components from the original image.
  • C is the sharpening coefficient. By adding the high-frequency component C times to the original image, a sharpened image with the high-frequency component emphasized can be obtained.
  • the sharpening coefficient C is changed according to the vertical position of the developed image 39 to perform a sharpening process.
  • the image on the hyperboloid reflecting mirror 1 can be ideally captured without blurring by the imaging device.
  • the developed image 39 obtained at this time has a lower end portion due to a difference in information amount between an inner peripheral portion and an outer peripheral portion of the original wide-angle image.
  • the blurred region 40 is not uniformly blurred, but is blurred from the vicinity of the center of the developed image 39 to the lower end.
  • a correction process scaling process
  • the present invention is not limited to this.
  • the gist of the present invention is to increase the value of the sharpening coefficient C in accordance with the degree of blurring that gets worse as approaching the lower end. It may be the upper end of 9. Also, how to increase the sharpening coefficient C
  • the sharpening coefficient C can be adjusted according to the degree of blurring or the object to be photographed. For example, the sharpening coefficient C may be increased in proportion to the cube of the distance from a place where the sharpening coefficient C is set to a value larger than 0.
  • the blurred region of the obtained expanded image 39 is adjusted. Since the sharpening process emphasizes the high-frequency components of the image, if the target image is blurred to a certain extent or more, even if the process is performed, a significant effect cannot be exerted. Therefore, adjust the focus so as to improve as much as possible the part with the worst blur (severe blur). Specifically, if the focus is adjusted so that the blurred portion of the optical focus comes to the inner periphery of the wide-angle image 38, the conditions for deteriorating the blurred condition overlap at the inner periphery, and the correction cannot be completed.
  • the focus was adjusted so that the focus peak was located slightly inward from the center in the radial direction of the wide-angle image 38, and finally the blurred areas 40 at the upper and lower ends of the expanded image 39 were as shown in FIG. Adjust the focus so that the balance is almost as shown in 3 (b). Also at this time, the blurred area 40 is not uniformly blurred, but is blurred from the vicinity of the center of the developed image 39 to the upper and lower ends. At this time, the sharpening coefficient C is changed from 0 from near the center of the developed image 39 to the upper and lower ends in accordance with the degree of blurring, as indicated by the draf in FIG. 23 (b). Performs correction processing (sharpening processing) according to the degree of blur.
  • the image mask processing unit 26 that performs an image mask process on the developed image after the image quality correction generated by the image quality correction processing unit 25 is configured as follows.
  • FIG. 30 (a) shows a developed image when mask processing is not performed
  • FIG. 30 (b) shows a developed image when mask processing is performed.
  • 41 is an ATM terminal
  • 42 is an operator
  • 47 is an operation panel of the ATM terminal 41.
  • the image mask processing unit 26 performs processing such as to fill the mask area 48 stored in the ROM with, for example, a luminance value of 0, thereby performing the operation of the operator 42 as shown in FIG. 30 (b). And input results are not visible.
  • the brightness value is set to 0, but the present invention is not limited to this. It is only necessary that the image in the mask area 48 can be filled with an image different from the original image, and a luminance value other than 0 or a random pattern image may be drawn.
  • the expanded image generated by performing the above processing is converted into a video signal such as NTSC by an image format conversion unit (not shown), and output from the image processing device 22.
  • the monitor 27 receives the signal and displays the developed image.
  • the optical system of the wide-angle imaging device 8 has a configuration in which the optical axis 28 of the imaging device including the imaging lens 2 and the imaging element 3 is inclined with respect to the rotation center axis 6.
  • the image mask processing unit 26 masks part of the developed image. By performing the processing and outputting it after making it invisible, the operation contents and input contents of the operator will not be captured, and it will be possible to prevent leakage of privacy information.
  • the S quasi-optical axis is set in any direction perpendicular to the rotation center axis of the rotationally symmetric body, and the direction of the reference optical axis is set to 0 degree, approximately ⁇ 90 degrees.
  • the reflecting mirror is a hyperboloid having an internal focus on a rotation center axis, and the position of the external focal point of the hyperboloid and the position of the imaging device. Although the positions of the principal points almost coincided with each other, the shape of this reflecting mirror is established even if it is not a hyperboloid.
  • the wide-angle imaging device 8 captures an image of approximately 90 degrees around the center axis of rotation, but the wide-angle imaging device 8 is shown in FIG. ).
  • An omnidirectional camera 100 that captures a range of approximately 360 degrees around the rotation center axis is used, and the image processing device 22 performs expansion processing corresponding to the omnidirectional camera 100.
  • the effect correction of optical distortion, image quality correction processing, and image mask processing described above have the same effects as in the case of (Embodiment 5).
  • FIG. 24 shows a wide-angle image generating apparatus according to (Embodiment 6) of the present invention.
  • the coordinate axes are the X-axis in the vertical direction of the paper, the Y-axis in the front of the paper, and the Z-axis in the horizontal direction of the paper.
  • the Z axis is horizontal.
  • the configurational difference between (Embodiment 6) and (Embodiment 5) is that the wide-angle imaging device 8 is installed so that the Z-axis coincides with the horizontal direction.
  • the difference in processing is that the development table generation unit 23 of the image processing device 22
  • rays a, b, and c indicate arbitrary rays from the object. Therefore, the objects of each ray are called objects a, b, and c.
  • the objects a, b, and c are the characters "a", "b", and "c" drawn on the screen 33 as shown in Fig. 25 (a).
  • the surface on which the objects a, b, and c are drawn is arranged so that the distance from the Z axis to the screen surface is constant around the Z axis so that it can be seen from the hyperboloid reflector 1.
  • FIG. 26 shows a wide-angle image obtained by the image sensor 3 at this time. It can be seen that all of the objects a, b, and c are included.
  • the wide-angle imaging device 8 As an example of application where the wide-angle imaging device 8 is installed so that the rotation center axis 6 coincides with the horizontal direction, there is monitoring of an ATM terminal, a vending machine, and the like. Since it is possible to obtain a field of view of about 180 degrees in the vertical direction, which is difficult to achieve with a normal wide-angle optical system, it is possible to obtain a single image from the face of a person standing by this device to the hand, It can be applied to monitoring applications such as terminals and vending machines.
  • the expansion table used in the expansion processing is calculated by the expansion table generation unit 23 in the initial stage before the expansion processing is started.
  • the flow of processing performed by the expansion table generation unit 23 will be described with reference to FIG.
  • the processing performed in the flow shown in Fig. 27 Among them, one of the two points different from the case of (Embodiment 5) is a virtual projection plane assumed in step S2 for determining an ideal corresponding point between the wide-angle image and the projection plane. The point is that the shape of 3 and 4 is changed. This point will be described in detail with reference to FIG.
  • FIG. 28 shows the relationship between the operator 42 operating the ATM terminal 41, the wide-angle imaging device 8, and the virtual projection plane 34.
  • Reference numeral 34 denotes a cylindrical virtual projection surface whose rotation center axis passes through the internal focal point 4 of the hyperboloid reflection ⁇ 1 of the wide-angle imaging device 8 and is perpendicular to the paper surface.
  • the operator 42 of the ATM terminal 41 normally takes a tilt angle 43 forward by about 15 to 30 degrees.
  • the distance from the internal focal point 4, which is the viewpoint of the wide-angle imaging device 8 is farther in the face than in the chest, so the area near the chest is larger in the obtained developed image, and smaller as it goes closer to the face. It causes a sense of incongruity.
  • a new virtual projection plane 4 whose center axis 45 is set in a direction opposite to the reference optical axis direction 46 which is the center direction of the obtained visual field.
  • Set 4 Considering the projection onto the new virtual projection plane 44, the internal focal point 4 that is the viewpoint of the wide-angle imaging device 8 is virtually shifted to the position of the center axis 45 in the direction opposite to the reference optical axis direction 46. It is equivalent to moving. Therefore, when the operator 42 uses the ATM terminal 41, the difference in the distance between the position of the face and the position of the chest with respect to the viewpoint of the wide-angle imaging device 8 is reduced.
  • FIG. 29 shows a conventional virtual projection surface 34 viewed from the Z-axis direction and a virtual projection surface 44 whose shape has been changed as in FIG. 28.
  • ⁇ is a light beam from the point P on the virtual projection surface 4 4 to the internal focus 4 (not shown) of the wide-angle imaging device 8.
  • the azimuth on the XY plane is set with the X-axis direction as 0 degree.
  • a is the ray of light from the point P on the virtual projection plane 44 to the virtual internal focus (not shown) on the central axis 45 of the virtual projection plane 44 (ie, the intersection of the reference optical axis passing through the internal focus 4 and the central axis 45).
  • the azimuth on the XY plane is set as 0 degree in the X-axis direction. Also the position of the ⁇ ,, central axis 4 5 internal focus 4 on FIG 9, ⁇ 2.
  • step S4 performed after step S3 to be performed will be described with reference to FIG.
  • FIG. 30 (a) shows a developed image when mask processing is not performed
  • FIG. 30 (b) shows a developed image when mask processing is performed
  • 41 is an ATM terminal
  • 42 is an operator
  • 47 is an operation panel of the ATM terminal 41.
  • Fig. 30 (a) before mask processing the entire field of view is visible, and the operations and input results of the operator 42 are shown.
  • the coordinate value data of the expansion table corresponding to the mask area 48 is converted to a data different from the original one, for example, all the expansion table elements corresponding to the mask area 48 are converted into a hyperboloid in the wide-angle image.
  • the mask processing is realized by replacing the image so as to designate the upper left corner where the image from the reflector 1 is not formed.
  • the developed image generation unit 24 performs the above-described processing to generate a developed image using the development table generated by the development table generation unit 23.
  • the difference from (Embodiment 5) is that, as shown in FIG. 30, the image is developed so that the vertical direction has an angle of view of 180 degrees so that the vertical direction of the developed image is correct. Processing.
  • the image quality correction processing unit 25 performs the same processing as in (Embodiment 5), converts it to a video signal such as NTSC by an image format conversion unit (not shown), and displays the developed image on the monitor 27. I do.
  • the viewpoint of the wide-angle imaging device 8 can be virtually changed by changing the shape of the virtual projection surface 44, and thus the internal focus 4 of the wide-angle imaging device 8 can be changed. Due to difference in distance from This makes it possible to reduce the discomfort of the developed image. Also, by masking a part of the developed image and outputting it after making it invisible, the operation details and input contents of the operator will not be captured, making it possible to prevent leakage of privacy information. Become.
  • an image mask processing unit 49 may be provided immediately after the image quality correction processing unit 25, and processing may be performed to fill the inside of the mask area 48 with a brightness value of 0. .
  • the hyperboloid reflecting mirror 1 has a reflecting surface for ⁇ 90 degrees, but the present invention is not limited to this. The range may be within ⁇ 180 degrees.
  • the wide-angle imaging device 8 captures an image of approximately 90 degrees around the rotation center axis.
  • the wide-angle imaging device 8 is shown in FIG. )
  • An omnidirectional camera 100 that captures a range of approximately 360 degrees around the rotation center axis is used, and the image processing device 22 performs expansion processing corresponding to the omnidirectional camera 100.
  • the change of the virtual projection plane shape and the mask processing described so far have the same effects as in the case of (Embodiment 6).
  • the movement of the viewpoint can be expressed using a single wide-angle image.
  • a walk-through software that can move the viewpoint smoothly.
  • FIG. 32 shows (Embodiment 7) of the present invention.
  • the difference from (Embodiment 6) is that the expansion table generation unit 23, which is one of the processing units in the image processing device 22, is separated and independent, and a new expansion table generation processing unit is provided. 51 and a point that an expansion table storage unit 50 is provided in the image processing device 22 instead of the expansion table generation unit 23.
  • FIG. 32 The operation of FIG. 32 will be described focusing on differences from (Embodiment 6).
  • the wide-angle imaging device 8 is the same as that used in (Embodiment 6).
  • the development table generation processing device 51 is, specifically, a calculation device such as a microcomputer / personal computer (PC).
  • the development table generation unit 23 of (Embodiment 6) Generate the expansion table that had been used.
  • the generated expansion table is sent to the image processing device 22 and stored in the expansion table storage unit 50.
  • a memory card 52 such as an SD card (registered trademark of Secure Digital Card) is used.
  • An SD card slot (not shown) is provided in both the processing unit 51 for generating the development table and the image processing unit 22.
  • the processing table for expansion table generation 51 records the generated expansion table on the SD card.
  • the SD card is inserted into the SD card slot of the image processing device 22, the expansion table recorded in the SD card is read, and stored in the expansion table storage unit 50.
  • the developed image generating unit 24 reads the developed table stored in the developed table storage unit 50 and performs a developing process.
  • the subsequent processing is the same as in (Embodiment 6).
  • the development table generation unit 23 which was one of the processing units in 2, was separated and independent, and a new processing unit 51 for generation of the development table was provided.
  • the development table generation unit 2 was installed in the image processing unit 22.
  • the case where an expansion table storage unit 50 is provided instead of 3 is shown. Even when the same change is made in the case of (Embodiment 5), the same effect as in the case of (Embodiment 7) can be obtained.
  • the omnidirectional camera 100 is used as the wide-angle imaging device 8 to image a range of about 360 degrees around the rotation center axis as shown in FIG.
  • the same effect as in the seventh embodiment can be obtained even if a change is made in the device 22 and the processing device 51 for generating an expansion table so as to perform processing corresponding to the omnidirectional camera 100.
  • the optical system of the wide-angle imaging device is configured such that the optical axis of the imaging device including the imaging lens and the imaging element is inclined with respect to the rotation center axis, each pixel of the developed image
  • the ideal correspondence point on the wide-angle image for the image can be determined, and the development table is corrected in consideration of the influence of the optical distortion of the imaging device, so that the proper development processing can be performed. .
  • the image quality correction processing it is possible to reduce the difference in resolution depending on the location of the developed image.
  • the viewpoint of the wide-angle imaging device can be virtually changed by changing the shape of the virtual projection plane, it is possible to reduce the discomfort of the developed image due to the difference in the distance from the internal focus of the wide-angle imaging device. Becomes possible.
  • mask processing is performed on a part of the developed image so that it is not visible, and the output is output. And privacy information can be prevented from leaking.
  • a configuration is adopted in which an arithmetic processing device for generating a development table is used separately from the image processing device, there is no need for the processing for generating a development table in the image processing device. Startup time can be eliminated.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Lenses (AREA)

Description

明 細 書
広角画像生成装置
技術分野
本発明は反射面による反射光を撮像し、 広角画像を生成する広角 画像生成装置に関するものである。
背景技術
反射面を用いた広角撮像装置の従来例として特許 2 9 3 9 0 8 7 号に記載のいわゆる全方位カメラがある。 これはカメラの光軸周り の軸回転対称の形状を有した反射面により、 回転軸周りの 3 6 0度 の方向の画像を 1度に撮像面に結像することができるものである。 また、 撮像により得られる全方位画像に対して画像変換処理を行う ことにより、 いわゆるパノラマ画像を得るものである。
全方位カメラは、監視領域が周囲 3 6 0度の場合には有効である。 しかし監視領域が略 1 8 0度でよい場合には、 全方位カメラは略 1 8 0度分の不要な領域を撮像することになり、 撮像素子の使い方と して非効率である。
そこで反射面のつくる反射像のうち、 その反射面の回転中心軸に 垂直な任意の方向を基準方向としてその略土 9 0度分のみを撮像す るような広角撮像装置を考える。
このような広角撮像装置で得られた画像 （以下、 広角画像と呼ぶ） に対しても、 特許 2 9 3 9 0 8 7号で示された全方位カメラの場合 と同様に、 演算処理を施すことによって、 通常の画角のカメラで撮 つた画像をつなぎ合わせた様な画像である展開画像を得ることがで さる。 以下に展開処理について説明する。
図 3 3は展開処理の説明のために広角撮像装置 8を模式的に示し たものである。 座標軸を、 紙面から手前方向に X軸、 紙面の左右方 向に Y軸、 紙面の上下方向に Z軸とする。 また Z軸は鉛直方向に一 広角撮像装置 8は、 軸回転対称の形状を有した双曲面反射鏡 1と 結像レンズ 2と撮像素子 3とで構成されている。 撮像装置は結像レ ンズ 2と撮像素子 3とで構成されている。
双曲面反射鏡 1は双曲面の回転中心軸周りの ±9 0度分の反射面 を有している。 その 0度の方向を基準光軸方向とし、 ここでは Y軸 方向と一致するものとする。 4は双曲面反射鏡 1の内部焦点である。 6は双曲面反射鏡 1の回転中心軸であり、 Z軸と一致している。 空間内の任意点 P (X， Y， Ζ)から発せられ、 内部焦点 4に向か つて入射した光線は、 双曲面反射鏡 1の反射面で反射し、 回転中心 軸 6上の外部焦点 （図示せず） へと集光される。 この外部焦点の位 置と結像レンズ 2の主点 7の位置は略々一致するように配置されて おり、 結像レンズ 2を介して光線が撮像素子 3の撮像面 5上に結像 する。
' また、 2 1は広角画像から展開画像への写像を考える際の仮想の 投影面である仮想円筒面である。 仮想円筒面 2 1はその回転中心軸 が双曲面反射鏡 1の回転中心軸 6と一致している。
空間内の任意点 Ρ (X, Υ, Ζ)に対応する撮像面 5上の点（即ち、 広角画像上の点） ρ (X, y)を考える。 双曲面反射鏡 1の双曲面形状 は下記 （式 1) で表される。
(X2 + Y2) /a2- Z Vb2 = - 1 (式 1) ここで a， bは双曲面の形状を決定する定数である。 また'
c = (a 2+b 2) °· 5 (式 2) である。 また式 3〜式 5が成立する。 - Z = (X2 + Y2) °-5- tan 3 + c (式 3 ) t n^ : { (b H c 2) · sin 一 2 b c } (b 2— c cos }
(式 4) tano! = ¥/ (x 2+y 2) 0.5 (式 5 ) ここで Fは結像レンズ 2と撮像素子 3からなる撮像装置の焦点距 離である。 角度 αおよび 3については図 3 3を参照のこと。
(式 3 ) 〜 （式 5 ) より X， Υ, Ζ及び b， c， Fが決まれば（x Hy 2) ο·5、 即ち、 撮像面 5上の回転中心軸 6との交点から点 ρまで の距離が決まる。
また、 内部焦点 4に向かう光線は、 双曲面反射鏡 1で反射して外 部焦点へ向かうという双曲面の性質から、 ΧΥ平面および X y平面 における点 P、 点 pの方向は一致する。 従って、
Y/X = y /x (式 6 ) (式 6 ) より X, Yが求まれば、 点 pの方向も決まり、 よって、
P (X, Υ, Z)に対応する撮像面 5上の点 （即ち広角画像上の点） p (x、 y)を一意,に決定することができる。 即ち、 略 ± 9 0度分の視 野を撮像するような広角撮像装置においても、 全方位カメラの場合 と同様に、 展開画像の投影面 （仮想円筒面 2 1 ) を決め、 広角画像 から投影面への写像を考えることによって展開画像の各画素の広角 画像における対応点を決定し、 それに従って展開画像の全画素の輝 度値を決定することにより展開画像を生成することができる。
しかし、 ここで反射面の回転中心軸が、 基準方向に垂直な面内に おいて鉛直方向から傾いた場合、 この傾きを無視して、 その広角撮 像装置から得られた画像に対して演算処理を行い、 略 ± 9 0度分の 広角画像を展開画像へと変換すると、 展開画像の外枠は反射面の回 転中心軸の傾きが無い時と変わらない。 一方、 展開画像の内容は、 反射面の回転中心軸の傾斜分だけ傾いたものとなり、 見る者に違和 感を与えるという問題点が発生する。
また、このような広角撮像装置の回転軸方向の視野は、仰角を 、 俯角をァとする場合に （図 3 3参照） 、 一般に I iく Iァ Iとな る。 そのため、 展開画像中の仰角が 0となる位置 （以下、 視線中心 と呼ぶ） は、 展開画像の短手方向のどちらかに片寄ってしまう。 こ の時、 展開画像中の視線中心から遠い部分は、 他の部分よりも斜め に見ることになるために、 他の部分に比べて歪んで見えてしまうと いう問題がある。 また、 図 34を用いて全方位カメラについて説明する。
図 34の (a) は全方位カメラの基本構成を示している。 全方位 カメラ 1 0 0は、 軸回転対称形状を有した反射面としての双曲面反 射鏡 1 0 1と、 結像レンズ 1 0 2と、 CCDなどの撮像素子 1 0 3 とで構成されている。
1 04は双曲面反射鏡 1 0 1の内部焦点である。 1 0 5は撮像素 子 1 0 3の撮像面である。 1 0 6は双曲面反射鏡 1 0 1の回転中心 軸であり、 ここでは Z軸と一致しているとする。 またこの双曲面反 射鏡 1 0 1の回転中心軸に垂直な任意の方向を Y軸方向とする。 1 0 7は結像レンズ 1 0 2の主点である。 内部焦点 1 04と主点 1 0 7を結ぶ直線を 2等分する点を座標系の原点 Oとする。
また、 1 0 8 a， 1 0 8 bは双曲面反射鏡 1 0 1に入射する光線 であり、 1 0 9 a, 1 0 9 bは光線 1 0 8 a， 1 0 8 bの双曲面反 射鏡 1 0 1に対する入射点である。 1 1 0 a， 1 1 0 bは入射点 1 0 9 a, 1 0 9 bで反射した光線 1 0 8 a， 1 0 8 bの撮像面 1 0 5における結像点である。
YZ平面内のある点から発せられ、 内部焦点 1 04に向かって入 射し、 双曲面反射鏡 1 0 1上の入射点 1 0 9 a， 1 0 9 bに到達し た光線 1 0 8 a, 1 0 8 bは、 双曲面反射鏡 1 0 1の反射面で反射 し、 回転中心軸 1 0 6上の外部焦点 （図示せず） へと集光される。 この外部焦点の位置と結像レンズ 1 0 2の主点 1 0 7の位置は略々 一致するように配置されており、 結像レンズ 1 0 2を介して光線 1 0 8 a, 1 08 bは撮像素子 1 0 3の撮像面 1 0 5上の結像点 1 1 0 a , 1 1 0 bに結像する。
図 34の （b) は撮像面 1 0 5上における結像の様子を示す。 図 示しているように紙面上向きが Y軸方向とする。 また紙面垂直方向 が Z軸方向とする。 光線 1 0 8 a， 1 0 8 bを含む、 全方位カメラ 1 0 0の回転中心軸 1 0 6の周囲 3 60度から内部焦点 1 04に向 かって双曲面反射鏡 1 0 1に入射する光束 （図示せず） が、 光線 1 0 8 a, 1 0 8 bと同じように、双曲面反射鏡 1 0 1の外部焦点（図 示せず） を通り、 結像レンズ 1 0 2を介して撮像面 1 0 5上に円状 の像 1 1 1を形成する。 また、 円状の像 1 1 1で Y方向の両端が光 線 1 0 8 a， 1 0 8 bの結像点 1 1 0 a， 1 1 0 bとなる。
以上のようにして得られた円状の全方位画像をパノラマ画像に変 換する展開処理について以下に説明する。
図 3 5は展開処理の説明のために全方位カメラ 1 0 0を模式的に 示したものである。 双曲面反射鏡 1 0 1、 結像レンズ 1 0 2、 撮像 素子 1 0 3、 内部焦点 1 04、 撮像面 1 0 5、 回転中心軸 1 0 6、 主点 1 0 7は、 図 34で説明したものと同じである。
1 1 2は、 円状の全方位画像から展開画像への写像を考える際の 仮想の投影面である仮想円筒面である。 仮想円筒面 1 1 2はその回 転中心軸が双曲面反射鏡 1 0 1の回転中心軸 1 0 6と一致している。 座標軸は、 紙面から手前方向に X軸、 紙面の左右方向に Y軸、 紙面 の上下方向に Z軸とする。 また Z軸は回転中心軸 1 0 6と一致する ものとする。
既に説明したように、 空間内の任意点 Ρ (ΧΡ， Υ , Ζ Ρ)から発せ られ、 内部焦点 1 0 4に向かって入射した光線は、 双曲面反射鏡 1 0 1の反射面で反射し、 回転中心軸 1 0 6上の外部焦点（図示せず） へと集光される。 この外部焦点の位置と結像レンズ 1 0 2の主点 1 0 7の位置は略々一致するように配置されており、 結像レンズ 1 0 2を介して光線が撮像素子 1 0 3の撮像面 1 0 5上に結像する。 空間内の任意点 Ρ (ΧΡ, ΥΡ, Ζ Γ) に対応する撮像面 1 0 5上の 点、 すなわち、 円状の全方位画像上の点である p ( x p, y ρ) を考 える。 双曲面反射鏡 1 0 1の双曲面形状は （式 7 ) で表される。
(X2+Y2)Za 2— Z 2/b 2=— 1 (式 7 ) ここで a， bは双曲面の形状を決定する定数である。 また c = (a Hb 2) ο·5 (式 8 ) である。 また (式 9) 〜 (式 1 1 ) が成立する。
Z = (XHY2) 0.5. tan ic (式 9 ) tan = { (b 2+c 2) · sin β一 2 b c } / { (b 2— cつ · cos 3 }
(式 1 0 ) tan ]3 = Y / (xHy2) °-5 (式 1 1 ) ここで Fは結像レンズ 1 0 2と撮像素子 1 0 3からなる撮像装置 の焦点距離である。 角度 α'は、 内部焦点 1 04と任意点 Ρを結ぶ直 線と ΧΥ平面のなす角度である。 角度) 3は、 主点 1 0 7 (双曲面反 射鏡 1 0 1の外部焦点と略々一致） と撮像面 1 0 5上の点 ρを結ぶ 直線と Χ Υ平面のなす角度である。 （式 9 ) 〜 （式 1 1 )より XP, Υν, Ζ , 'および b、 c , Fが決まれば（x P 2+ y ） o.5、 すなわち、 撮像面 1 0 5上の回転中心軸 1 0 6との交点から点: までの距離が 決まる。
また、 内部焦点 1 0 4に向かう光線は、 双曲面反射鏡 1 0 1で反 射して外部焦点へ向かうという双曲面の性質から、 X Y平面および x y平面における点 P、 点 pの方向は一致する。 従って
Y/X = y /x (式 1 2)
(式 1 2 ) より ΧΡ, ΥΡが求まれば、 点 ρの方向も決まる。
以上より、 Ρ (ΧΡ, ΥΡ, Ζ ) に対応する撮像面 5上の点 （すな わち、 円状の全方位画像上の点） p (x ρ, y Ρ) を一意に決定する ことができる。 従って、 展開画像の投影面 （仮想円筒面 1 1 2 ) を 決め、円状の全方位画像から投影面への写像を考えることによって、 展開画像の各画素に対する円状の全方位画像における対応点を決定 し、 それに従つて展開画像の全画素の輝度値を決定することにより 展開画像を生成することができる。
全方位カメラは、監視領域が周囲 3 6 0度の場合には有効である。 しかし監視領域が略 1 8 0度でよい場合には、 全方位カメラは略 1 8 0度分の不要な領域を撮像することになり、 撮像素子の使い方と して非効率である。
発明の開示
本発明は、 広角撮像装置をその回転中心軸が基準光軸方向に垂直 な面内で鉛直方向に対して傾けた状態としても、 広角画像生成装置 としての出力は画像内の水平方向が TVモニタの水平方向と一致し た画像となり、 見る人に違和感を与えない広角画像生成装置を提供 することを目的とする。 また、 本発明は、 反射面のつくる反射像のうち、 その反射面の回 転中心軸に垂直な任意の方向を基準方向としてその略土 9 0度分の みを撮像するような広角画像生成装置を考えた場合に、 広角画像に 対して全方位カメラの場合と同様の処理を適用し展開画像を得よう とすると、 撮像装置の光軸の傾きや光学収差に起因する像の変形の ために得られる展開画像は正しいものにならないという課題がある 力 これを解決できる広角画像生成装置を提供することを目的とす る。 本発明の請求項 1記載の広角画像生成装置は、 広角撮像装置と演 算処理装置からなる広角画像生成装置であって、 広角撮像装置は、 回転対称体の回転中心軸に対して垂直な任意の方向に基準光軸をと り前記基準光軸の方向を 0度として少なく とも角度 0の範囲 （0 1 ≤ θ≤ Θ 2、 一 9 0 ° ^ 0 1≤ 9 0° 、 一 9 0 ° ≤ 0 2 ^ 9 0 ° 、 θ 1< θ 2) の凸面形状の反射面を有する反射鏡と、 前記反射鏡の 回転中心軸上に主点を有し、 前記反射鏡の反射像を結像して前記反 射鏡の回転中心軸周りの少なくとも角度 0の範囲の対象物を撮像す る撮像装置からなり、 前記基準光軸に対して垂直な平面内で、 前記 反射鏡の回転中心軸を任意の回転中心軸面内傾斜方向に傾けて設置 し、 演算処理装置は、 前記広角撮像装置より得られる画像に対して 演算処理を行い展開画像を生成する展開画像生成部と、 前記回転中 心軸面内傾斜方向に応じて前記展開画像を傾斜させ前記展開画像の データ形式を出力用の形式に変換し出力画像として生成する出力画 像生成部とからなることを特徴とする。
本発明の請求項 2記載の広角画像生成装置は、 広角撮像装置と演 算処理装置からなる広角画像生成装置であって、 広角撮像装置は、 回転対称体の回転中心軸に対して垂直な任意の方向に基準光軸をと り前記基準光軸の方向を 0度として少なく とも角度 Θの範囲 (Θ 1 ≤ θ≤ Θ 2 , 一 9 0 ° ≤ Θ 1≤ 9 0° 、 一 9 0 ° ^ 2 9 0 ° 、 θ 1 <θ 2) の凸面形状の反射面を有する反射鏡と、 前記反射鏡の 回転中 ' ύ軸上に主点を有し、 前記反射鏡の反射像を結像して前記反 射鏡の回転中心軸周りの少なくとも角度 0の範囲の対象物を撮像す る撮像装置からなり、 前記基準光軸に対して垂直な平面内で、 前記 反射鏡の回転中心軸を任意の回転中心軸面内傾斜方向に傾けて設置 し、 演算処理装置は、 前記広角撮像装置により得られる画像に対し て演算処理を行い前記回転中心軸面内傾斜方向に応じて傾斜させた 展開画像を生成する展開画像生成部と、 前記展開画像のデータ形式 を出力用の形式に変換し出力画像として生成する出力画像生成部と からなることを特徴とする。
本発明の請求項 3記載の広角画像生成装置は、 請求項 1または請 求項 2において、 前記反射鏡が、 回転中心軸上に内部焦点を持つ双 曲面形状であり、 前記双曲面形状の外部焦点の位置と前記撮像装置 の主点の位置を一致または略々一致させたことを特徴とする。
本発明の請求項 4記載の広角画像生成装置は、 請求項 1〜請求項 3の何れかにおいて、 前記回転中心軸面内傾斜方向を水平方向と一 致または略一致させたことを特徴とする。
本発明の請求項 5記載の広角画像生成装置は、 請求項 1〜請求項
4の何れかにおいて、 前記広角撮像装置もしくは前記演算処理装置 に、 前記回転中心軸面内傾斜方向を検出する回転中心軸面内傾斜方 向検出部を有し、 前記回転中心軸面内傾斜方向検出部の出力結果に 応じて前記演算処理装置にて前記展開画像を傾斜させ出力画像を生 成することを特徴とする。
本発明の請求項 6記載の広角画像生成装置は、請求項 5において、 前記演算処理装置内に設けた回転中心軸面内傾斜方向検出部は、 画 像処理して回転中心軸面内傾斜方向を検出するよう構成したことを 特徴とする。
本発明の請求項 7記載の広角画像生成装置は、 請求項 1〜請求項 4の何れかにおいて、 前記広角撮像装置もしくは前記演算処理装置 に、 前記回転中心軸面内傾斜方向を入力する回転中心軸面内傾斜方 向入力部を有し、 前記回転中心軸面内傾斜方向入力部の入力結果に 応じて前記演算処理装置にて前記展開画像を傾斜させ出力画像を生 成することを特徴とする。
本発明の請求項 8記載の広角画像生成装置は、 広角撮像装置と演 算処理装置からなる広角画像生成装置であって、 広角撮像装置は、 双曲面の回転中心軸に対して垂直な任意の方向に基準光軸をとり前 記基準光軸の方向を 0度として少なくとも角度 0の範囲 （θ 1≤ θ ≤ Θ 2、 一 9 0 ° ≤ 0 1≤ 9 0 ° 、 一 9 0 ° ≤ 0 2≤ 9 0 ° 、 0 1 < θ 2 ) の双曲面形状の反射面を有する双曲面反射鏡と、 前記双曲 面反射鏡の外部焦点の位置と主点の位置が略々一致し、 前記双曲面 反射鏡の反射像を結像して前記双曲面反射鏡の回転中心軸周りの少 なくとも角度 0の範囲の対象物を撮像する撮像装置からなり、 前記 基準光軸と前記双曲面反射鏡の回転中心軸を含む平面内で、 前記双 曲面反射鏡の回転中心軸を任意の回転中心軸前方傾斜方向に傾けて 設置され、 演算処理装置は、 前記広角撮像装置より得られる画像に 対して前記双曲面反射鏡の内部焦点を通る任意の軸を仮想円筒回転 中心軸とした仮想円筒を投影面として演算処理を行い展開画像を生 成する展開画像生成部と、 前記展開画像のデータ形式を出力用の形 式に変換し出力画像として生成する出力画像生成部とからなること を特徴とする。
本発明の請求項 9記載の広角画像生成装置は、請求項 8において、 前記回転中心軸前方傾斜方向に関わらず、 前記基準光軸と前記双曲 面反射鏡の回転中心軸を含む平面内に設定した基準軸と前記仮想円 筒回転中心軸が平行もしくは一致したことを特徴とする。
本発明の請求項 1 0記載の広角画像生成装置は、 請求項 9におい て、 前記回転中心軸前方傾斜方向が、 前記基準光軸と前記双曲面反 射鏡の回転中心軸を含む平面内における前記広角撮像装置の画角中 心が前記基準軸に対して垂直となるような方向であることを特徴と する。
本発明の請求項 1 1記載の広角画像生成装置は、 請求項 9または 請求項 1 0において、 前記広角撮像装置もしくは前記演算処理装置 に、 前記回転中心軸前方傾斜方向を検出する回転中心軸前方傾斜方 向検出部を有し、 前記回転中心軸前方傾斜方向検出部の出力結果に 応じて前記演算処理装置にて出力画像を生成することを特徴とする 本発明の請求項 1 2記載の広角画像生成装置は、 請求項 9または 請求項 1 0において、 前記広角撮像装置もしくは前記演算処理装置 内に、 前記回転中心軸前方傾斜方向を入力する回転中心軸前方傾斜 方向入力部を有し、 前記回転中心軸前方傾斜方向入力部の入力結果 に応じて前記出力画像生成部にて出力画像を生成することを特徴と する。
本発明の請求項 1 3記載の広角画像生成装置は、 回転対称体の回 転中心軸に対して垂直な任意の方向に基準光軸をとり、 前記基準光 軸の方向を 0度として少なくとも角度 0の範囲 （0 1 ≤ 6>≤ 6> 2、 一 1 8 0 ° ≤ Θ 1 ^ 1 8 0 ° 、 _ 1 8 0 m ^ l 8 0 ° 、 0 1 < θ 2 ) の凸面形状の反射面を有する反射鏡と、 前記反射鏡の回転 中心軸上に主点を有し、 画角を 2 とした時に前記回転中心軸上に 対して α以下の角度だけ光軸が基準光軸方向に傾斜しており、 前記 反射鏡の反射像を結像して、 前記反射鏡の回転中心軸周りの少なく とも角度 0の範囲の対象物を撮像する撮像装置と、 前記撮像装置か ら得られる広角画像から前記回転中心軸上から見た展開画像を生成 する展開画像生成部と、 前記展開画像生成部が前記広角画像を展開 する際の前記広角画像と前記展開画像の画素対応関係の情報を含む 展開テーブルを生成する展開テーブル生成部とを設けたことを特徴 とする。
本発明の請求項 1 4記載の広角画像生成装置は、 回転対称体の回 転中心軸に対して垂直な任意の方向に基準光軸をとり、 前記基準光 軸の方向を 0度として少なくとも角度 0の範囲 ( θ 1≤ θ≤ θ 2、 — 1 8 0 ° ≤ 0 1≤ 1 8 0 ° 、 一 1 8 0 ° ≤ 0 2 ^ 1 8 0 ° 、 θ 1 < θ 2 ) の凸面形状の反射面を有する反射鏡と、 前記反射鏡の回転 中心軸上に主点を有し、 画角を 2 αとした時に前記回転中心軸上に 対して.0；以下の角度だけ光軸が基準光軸方向に傾斜しており、 前記 反射鏡の反射像を結像して、 前記反射鏡の回転中心軸周りの少なく とも角度 Θの範囲の対象物を撮像する撮像装置と、 前記撮像装置か ら得られる広角画像から前記回転中心軸上から見た展開画像を生成 する展開画像生成部と、 前記展開画像生成部が前記広角画像を展開 する際の前記広角画像と前記展開画像の画素対応関係の情報を含む 展開テ一ブルを生成する展開テーブル生成用演算処理装置と、 前記 展開テーブル生成用演算処理装置で生成された前記展開テーブルを 保持するとともに前記展開画像生成部に接続された展開テーブル記 憶部とを設けたことを特徴とする。
本発明の請求項 1 5記載の広角画像生成装置は、 凸面形状の反射 面を有する反射鏡と、 前記反射鏡の回転中心軸上に主点を有し、 前 記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り 3 6 0度 の範囲の対象物を撮像する撮像装置と、 前記撮像装置から得られる 広角画像から前記回転中心軸上から見た展開画像を生成する展開画 像生成部と、 前記展開画像生成部が前記広角画像を展開する際の前 記広角画像と前記展開画像の画素対応関係の情報を含む展開テープ ルを生成する展開テーブル生成部とを設けたことを特徴とする。
本発明の請求項 1 6記載の広角画像生成装置は、 凸面形状の反射 面を有する反射鏡と、 前記反射鏡の回転中心軸上に主点を有し、 前 記反射鏡の反射像を結像して前記反射鏡の回転中心軸周り 3 6 0度 の範囲の対象物を撮像する撮像装置と、 前記撮像装置から得られる 広角画像から前記回転中心軸上から見た展開画像を生成する展開画 像生成部と、 前記展開画像生成部が前記広角画像を展開する際の前 記広角画像と前記展開画像の画素対応関係の情報を含む展開テープ ルを生成する展開テーブル生成用演算処理装置と、 前記展開テープ ル生成用演算処理装置で生成された前記展開テーブルを保持すると ともに前記展開画像生成部に接続された展開テーブル記憶部とを設 けたことを特徴とする。
本発明の請求項 1 7記載の広角画像生成装置は、 請求項 1 3〜請 求項 1 6の何れかにおいて、 前記反射鏡が、 回転中心軸上に内部焦 点を持つ双曲面形状であり、 前記双曲面形状の外部焦点の位置と前 記撮像装置の主点の位置が略々一致することを特徴とする。
本発明の請求項 1 8記載の広角画像生成装置は、 請求項 1 7にお いて、 展開テーブル生成部または展開テーブル生成用演算処理装置 を、 撮像装置の光軸の傾斜量に応じた広角画像と展開画像の画素対 応関係の情報を含む展開テーブルを生成するよう構成したことを特 徴とする。
本発明の請求項 1 9記載の広角画像生成装置は、 請求項 1 7にお いて、 展開テーブル生成部または展開テーブル生成用演算処理装置 を、 下記の数式に従って展開テーブルを生成するよう構成したこと を特徴とする。
tan a = { (b H e 2) ' sin /3 - 2 b c } / { (b c 2) · cos /3 } c = (a Hb 2) 5
(x 2+y -) o.5= F · cos |3 /cos ' (0 ) /sin + r (Θ ) ) cos = cos 0 / ( 1 + tan 2ァ （90。 ） · sii 0 ) 0.5
tan r ( Θ ) = tan r (90 ° ) · sin Θ
但し、 a , bは反射鏡の双曲面形状を決定する定数であり、 双曲 面形状は、 ¥ 2空間にぉぃて（)<：2 + ¥ 2) / & 2— 2 2 // 13 2 =— 1と 表せる双曲面のうちの Z〉 0のものであり、 α;は前記反射鏡の内部 焦点と空間上の任意点を結ぶ直線と X Y平面のなす角度、 βは前記 任意点からの入射光が撮像装置の撮像面上に入射する点と前記撮像 装置の主点とを結ぶ直線が Χ Υ平面となす角度、 Fは前記撮像装置 の焦点距離、 0は Χ Υ平面において基準光軸方向を 9 0度とした時 の前記入射光の入射方向、 τは前記入射方向 Θに依存した前記撮像 面の傾き、 Φは前記入射光の前記撮像面上における入射方向である。 本発明の請求項 2 0記載の広角画像生成装置は、 請求項 1 3〜請 求項 1 7の何れかにおいて、 展開テ一ブル生成部または展開テープ ル生成用演算処理装置を、 撮像装置の光学収差による歪みを含んだ 広角画像と歪補正後の広角画像の対応関係と、 前記歪補正後の広角 画像と展開画像の対応関係を合成した画素対応関係の情報を含む展 開テ一ブルを生成するよう構成したことを特徴とする。
本発明の請求項 2 1記載の広角画像生成装置は、 請求項 1 3〜請 求項 1 7の何れかにおいて、 展開テ一ブル生成部または展開テープ ル生成用演算処理装置を、 広角画像と展開画像の画素対応関係を考 える際の仮想投影面の形状を変更することにより、 前記広角画像と 前記展開画像の画素対応関係を変更した展開テーブルを生成するよ う構成したことを特徴とする。
本発明の請求項 2 2記載の広角画像生成装置は、 請求項 1 3〜請 求項 1 7の何れかにおいて、 展開テーブル生成部または展開テ一ブ ル生成用演算処理装置を、 展開画像上に設けた任意のマスク領域内 における広角画像と展開画像の画素対応関係を任意に変更し、 前記 マスク領域内の展開画像をマスクするような展開テーブルを生成す るよう構成したことを特徴とする。
本発明の請求項 2 3記載の広角画像生成装置は、 請求項 1 3〜請 求項 1 7の何れかにおいて、 展開画像生成部の後段に、 展開画像生 成部の後処理として、 展開画像上の位置に応じて強調度を変えた高 周波成分強調処理を行う画質補正処理部を追加したことを特徴とす る。
本発明の請求項 2 4記載の広角画像生成装置は、 請求項 1 7また は請求項 2 3において、 展開画像生成部によって展開された画像の 特定エリァを本来のものと異なる画像にする画像マスク処理を行う 画像マスク処理部を設けたことを特徴とする。 図面の簡単な説明
図 1は本発明の （実施の形態 1 ) の広角画像生成装置の構成図 図 2は同実施の形態の対象物 a， b , cの説明図
図 3は同実施の形態の広角画像生成装置において撮像面上に結ば れる像の模式図
図 4は同実施の形態の広角画像生成装置により撮像された画像に 対して展開処理を施した結果の模式図
図 5は同実施の形態の T Vモニタに出力される出力画像の模式図 図 6は広角撮像装置の回転とその時の出力画像の模式図
図 7は本発明の （実施の形態 2 ) の広角画像生成装置の構成図 図 8は本発明の （実施の形態 3 ) の広角画像生成装置を X軸方向
(鉛直上方） から見た構成図
図 9は本発明の （実施の形態 4 ) の広角画像生成装置を X軸方向
(鉛直上方） から見た構成図
図 1 0は本発明の （実施の形態 5 ) の広角画像生成装置の構成図 図 1 1は同実施の形態における広角撮像装置の説明図
図 1 2は同実施の形態における広角撮像装置の撮像面上に結ばれ る像の模式図
図 1 3は同実施の形態における対象物 a , b， cの説明図 図 1 4は同実施の形態にて得られる広角画像説明図
図 1 5は同実施の形態における展開テーブル作成フロー図 図 1 6は同実施の形態の広角撮像装置の構成図
図 1 7は同実施の形態における撮像面付近拡大図
図 1 8は同実施の形態において Z軸方向から見た場合の双曲面反 射鏡と撮像面の配置図
図 1 9は X a， Y a面上の角度 0と x y面上の角度 の関係の説 明図
図 2 0は撮像装置の光学的な歪の影響の説明図
図 2 1はテストパターン画像の説明図
図 2 2は展開画像の左右の解像度差の説明図
図 2 3は展開画像上の位置と鮮鋭化係数の関係の説明図
図 2 4は本発明の （実施の形態 6 ) の広角画像生成装置の構成図 図 2 5は同実施の形態における対象物 a， b， cの説明図 図 2 6は同実施の形態における撮像面上に結ばれる像の模式図 図 2 7は同実施の形態における展開テ一ブル作成フロー図 図 2 8は仮想投影面と操作者との関係を示す説明図
図 2 9は仮想投影面形状の変更法についての説明図
121 3 0は A T M操作パネルをマスクした場合の模式図
図 3 1は同実施の形態における広角画像生成装置の構成図 図 3 2は本発明の （実施の形態 7 ) の広角画像生成装置の構成図 図 3 3は展開処理の説明図
図 3 4は全方位カメラの説明図 図 3 5は全方位カメラにおける展開処理の説明図
発明を実施するための最良の形態
図 1〜図 9に示す (実施の形態 1 ) 〜 (実施の形態 4 ) の各実施 の形態に基づいて、 広角撮像装置をその回転中心軸が基準光軸方向 に垂直な面内で鉛直方向に対して傾けた状態としても、 広角画像生 成装置としての出力は画像内の水平方向が T Vモニタの水平方向と 一致した画像となり、 見る人に違和感を与えない広角画像生成装置 を説明する。
(実施の形態 1 )
図 1〜図 5は本発明の (実施の形態 1 ) を示す。
図 1は （実施の形態 1 ) の広角画像生成装置を示し、 座標軸を紙 面の上下方向に X軸、 紙面から手前方向に Y軸、 紙面の左右方向に Z軸とする。 また X軸は鉛直方向とする。
広角撮像装置 8は、 双曲面反射鏡 1と結像レンズ 2と撮像素子 3 とで構成されている。 撮像装置は結像レンズ 2と撮像素子 3とで構 成されている。 双曲面反射鏡 1は、 双曲面の回転中心軸周りの ± 9 0度分の反射面を有している。その 0度の方向、すなわち、 基準光軸 方向は Y軸方向とする。 また基準光軸は双曲面反射鏡 1の内部焦点 4を通るものとする。 双曲面反射鏡 1の回転中心軸 6は、 Y軸を回 転軸として鉛直方向から 9 0度傾けることにより、 Z軸（水平方向） と一致している。
内部焦点 4に向かって入射した光線 a , b , cは、 双曲面反射鏡 1の反射面で反射し、 回転中心軸 6上の外部焦点 （図示せず） へと 集光される。 この外部焦点の位置と結像レンズ 2の主点 7の位置は 一致または略々一致するように配置されており、 結像レンズ 2を介 して光線 a， b , cが撮像素子 3の撮像面 5上に結像する。
なお、図 1では、結像レンズ 2を 1枚構成のように描いているが、 複数枚のレンズで構成されていても構わない。 また、 ここでは反射 鏡 1を双曲面形状に限定しているが、 半球や円錐などの回転対称体 としてもよい。 但し、 その場合は外部焦点が存在しないので結像レ ンズ 2の主点 7は回転中心軸 6上の任意の位置となる。
広角撮像装置 8に設けられた回転中心軸面内傾斜方向検出部とし てのジャイロ方式の Y軸周り角度センサ 1 2は、 基準光軸方向に垂 直な面内 （X Z平面内） での回転中心軸 6が基準となる軸 （ここで は鉛直軸とする） に対して何度傾いたかを出力する。
演算処理装置 1 1は、 展開画像生成部 9と出力画像生成部 1 0と で構成されている。 展開画像生成部 9では、 広角撮像装置 8の撮像 素子 3より得られる 1 8 0度画角の広角画像に対して、 双曲面反射 鏡 1の形状や結像レンズ 2および撮像素子 3の光学特性に応じて決 まるアルゴリズムに従い、 広角画像を展開画像へと変換する処理を 行う。
出力画像生成部 1 0では、 展開画像生成部 9より得られる展開画 像に対して、 Y軸周り角度センサ 1 2の出力に基づき、 後述する傾 き補正処理を行い、 NTSC方式への変換を行う。 1 3は演算処理装 置 1 1からの出力画像を表示する T Vモニタである。
動作に基づいて図 1の構成をさらに詳しく説明する。
図 1において光線 a , b , cは対象物からの任意の光線を示して いる。そこで各光線の対象物を対象物 a， b , cと呼ぶことにする。 対象物 a , b , cは、 図 2 ( a ) に示すようなスクリーン 1 4上に 描かれた a J Γ b J 「c」 の文字とし、 このスクリーン 1 4を、 図 2 ( b ) に示すように Z軸周りに Z軸からスクリーン表面までの 距離が一定となるように、 対象物 a , b , cが描かれた面を双曲面 反射鏡 1から見えるように配設した場合を考える。
既に説明したように、 内部焦点 4に向かって双曲面反射鏡 1の反 射面に入射した光線は、 全て外部焦点 （図示せず） へと反射され、 外部焦点と主点の位置が一致または略々一致するように設置された 結像レンズ 2を介して撮像素子 3の撮像面 5上に結像する。
従って、 基準光軸方向 （Y軸方向） に対して ± 9 0度の範囲が撮 像面 5上に結像することになる。 この時、 撮像素子 3で得られる画 像を図 3に示す。 対象物 a , b , cが全て含まれることが分かる。
演算処理装置 1 1では、 広角撮像装置 8から出力される図 3に示 すような広角画像に対して、 展開画像生成部 9で展開画像への変換 処理を行う。
展開処理は、 既に説明したように、 展開画像の投影面 （仮想円筒 面 2 1 ) を決め、 広角画像から投影面への写像を考えることによつ て展開画像の各画素の広角画像における対応点を決定し、 それに従 つて展開画像の全画素の輝度値を決定することにより展開画像を生 成する。 例えば図 3で示したような広角画像に対して展開処理を行 うと図 4のような展開画像が得られる。
以上のような展開画像生成部 9での処理で作成された展開画像に 対して、 出力画像生成部 1 0で出力画像への変換処理を行う。 · 出力画像生成部 1 0では 2つの処理を行う。
始めに、 展開画像の傾き補正処理について説明する。
回転中心軸 6を基準光軸方向に垂直な面内で鉛直方向に対して 9 0度傾けると、 図 4に示すように展開画像はその画像内の鉛直方向 が本来あるべき方向に対して 9 0度傾いた画像となってしまう。
そこで、 この横長の展開画像に対して画像の回転処理を施すこと により傾きの補正を行う。 具体的には、 広角撮像装置 8に組み込ん だジャイロ方式の Y軸周り角度センサ 1 2を用いて、 広角撮像装置 8の回転中心軸 6の鉛直方向に対する傾き角を Y軸の +方向を見た 時の時計回り方向を正として計測する'。
こうして得られた傾き角分だけ、展開画像を時計回りを正として、 画像処理演算により回転させる。
次に、 出力画像化処理について説明する。
広角画像の展開処理、 傾き補正処理は、 画像をデジタル化した状 態で行われる。 そこで、 デジタル化されている画像を表示するのに 適した形式、 例えば N T S C方式に変換する処理を行う。 具体的に は、 まずデジタルデ一夕の段階で画像サイズを N T S Cのサイズに 適合するように、 余白領域を追加する。 この余白領域は輝度 0の領 域としても構わないし、 何らかの情報 （例えば背景画像や撮影時間 を示すキャプションなど） を入れても構わない。 次に、 既存の N T S Cエンコードチップなどを用いて回路を構成することにより、 N T S Cサイズとなったデジタルデータを N T S Cに変換する。 図 4 に示すような展開画像でも、 出力画像は図 5に示すように、 画像内 の水平方向が実際の水平方向と一致または略々一致した状態で T V モニタ 1 3に表示される。
なお、 出力形式としては N T S Cに限定されるものではなく、 P A Lなど他の形式でも構わない。
また、 ここでは回転中心軸 6を 9 0度傾ける構成としたが、 傾き 角は 9 0度に限定されるものではない。 但し、 傾き角を 9 0度とす れば、 通常の広角光学系では実現困難な鉛直方向 1 8 0度の視野が 得られることから、 本装置のそばに立つた人の顔から手元、 足元ま でを一枚の画像として得ることが出来るため、 例えば A T M (自動 現金支払機） や自動販売機などの監視用途への適用が可能になると いう利点がある。
また、 本発明は回転中心軸 6を任意の角度に傾け、 広角撮像装置 8を固定する場合に限定されるものではない。 例えば、 図 6に模式 的に示すように広角撮像装置 8を一定速度で基準光軸を回転軸とし て回転させ、 その出力画像を T Vモニタ 1 3に出力する。 この時、 出力画像も一定の速度で T Vモニタ内を回るが、 その画像の内容は 水平方向が T Vモニタの水平方向と一致しているというものとなり. ィベントなどに用いる特殊ディスプレイとして使用できる。
また、 (実施の形態 1 )では、 傾き補正処理を、 展開画像内の水平 方向と出力画像の水平方向が一致するような制御としていたが、 こ れに限定されるものではない。 例えば、 展開画像内の水平方向と出 力画像の水平方向のずれを一定とするような制御や、 展開画像内の 水平方向と出力画像の水平方向のずれを一定の決まりに従い変化さ せるような制御としてもよい。
また、 （実施の形態 1 ) では、 双曲面反射鏡 1を ± 9 0度分の反 射面を有するものとしたが、 これに限定されるものではない。 少な くとも ± 9 0度以下の範囲であればよい。
また、 （実施の形態 1 )では、 ジャイロ方式の Y軸周り角度センサ 1 2を広角撮像装置 8に取り付けて傾き情報を得ていた。 その他の 方法として演算処理装置 1 1で画像処理を用いて傾き情報を得ても よい。
具体的には、 撮影を行い、 得られる展開画像中に角度計測の基準 となる対象物が入るように撮影条件を決める。 そしてこの対象物の 展開画像内における傾き角を画像処理で求め、 その角度が一定とな るように、 出力画像化処理時の傾け角を決定する。 この方法であれ ば角度センサが不要になるという利点がある。
また、 （実施の形態 1 ) では、 展開画像生成部 9で広角画像から 展開画像を生成する処理を行い、 出力画像生成部 1 0で展開画像の 傾き補正処理および N T S Cなどへの出力画像化処理を行ったが、 展開画像生成部 9で展開画像の生成と同時に展開画像の傾き補正を 行い、 出力画像生成部 1 0では出力画像化処理のみを行う構成とし てもよい。
具体的には、 従来の技術として説明したような方法で展開画像の 各画素の広角画像における対応点を決定し、 それに従って展開画像 の各画素の輝度値を決定する。 こうして得られた各画素の輝度値を 展開画像生成部 9内の図示しないメモリ上の展開画像の傾きを考慮 した位置に順次記憶していくことにより傾き補正済み展開画像を生 成する。 この時の展開画像の傾き量は Y軸周り角度センサ 1 2より 取得する。 出力画像生成部 1 0では傾き補正済み展開画像を受け取 り、 出力画像化処理を行う。
このような構成とすれば、 展開画像の生成と傾き補正が同時に行 えるため、 処理速度の向上が期待できるという利点がある。
このように （実施の形態 1 ) によれば、 広角撮像装置 8を、 その 回転中心軸 6が基準光軸方向に垂直な面内で鉛直方向に対して傾け た状態としても、 広角画像生成装置としての出力は画像内の水平方 向が T Vモニタ 1 3の水平方向と一致した画像となり、 見る人に違 和感を与えないものとできる。
(実施の形態 2 )
図 7は本発明の （実施の形態 2 ) の広角画像生成装置を示す。 図 1に示した （実施の形態 1 ) との相違部分は、 回転中心軸面内 傾斜方向検出部としての Y軸周り角度センサ 1 2を無くし、 回転中 ' 軸面内傾斜方向を手動操作で入力設定される回転中心軸面内傾斜 方向入力部 1 5を演算処理装置 1 1に設けた点である。
このように構成された広角画像生成装置を、その動作について（実 施の形態 1 ) との相違部分を中心に説明する。
回転中心軸面内傾斜方向入力部 1 5は、 可変抵抗器などの入力設 定器である。 この入力設定器を介して、 出力画像生成部 1 0内に定 数データとして確保されている広角撮像装置 8の回転中心軸 6の基 準光軸方向に垂直な面内における鉛直方向に対する傾き角の値を設 定する。 この他の動作については （実施の形態 1 ) と同じである。
このように （実施の形態 2 ) によれば、 Y軸周り角度センサ 1 2 を省いて構成することが可能となるため、 より安価に装置全体を構 成することが可能となる。 なお、 ここでは回転中心軸面内傾斜方向 入力部 1 5を可変抵抗器などの入力設定器であるとしたが、 この形 態に限定されるものではない。 例えば、 出力画像生成部 1 0内に確 保されている定数データの書き換えは、 出力画像生成部 1 0の外部 からパーソナルコンピュータを用いて行うものとし、 回転中心軸面 内傾斜方向入力部 1 5は、 出力画像生成部 1 0と前記パーソナルコ ンピュー夕との接続部としてもよい。
上記の実施の形態では、 回転中心軸面内傾斜方向入力部 1 5を演 算処理装置 1 1に設けたが、 出力画像生成部 1 0に対して回転中心 軸面内傾斜方向を入力するための可変抵抗器などの入力設定器また は出力画像生成部 1 0とパーソナルコンピュータとの前記接続部を、 広角撮像装置 8の側に設けてもよい。
また、 （実施の形態 2 ) では、 双曲面反射鏡 1を ± 9 0度分の反 射面を有するものとしたが、 これに限定されるものではない。 少な くとも ± 9 0度以下の範囲であればよい。
(実施の形態 3 )
図 8は （実施の形態 3 ) の広角画像生成装置を示す。
この図 8において、 1 'は基準状態の双曲面反射鏡の位置を示し ている。 6 'は基準状態の回転中心軸の位置を示している。基準状態 の回転中心軸 6 'は水平方向と一致または略々一致しているものと し、 これが傾ける前の状態である。双曲面反射鏡 1、結像レンズ 2、 撮像素子 3、双曲面反射鏡 1の内部焦点 4、撮像素子 3の撮像面 5、 双曲面反射鏡 1の回転中心軸 6、 結像レンズ 2の主点 7は （実施の 形態 1 ) のものと同じである。
相違点は、 回転中心軸 6が基準光軸と回転中心軸 6とを含む面内 で基準状態の回転中心軸 6 一に対して内部焦点 4を中心に傾き角 0 だけ傾けて設置しているという点と、 X軸周り角度センサ 1 6の測 定方向が傾き角 0であるという点である。
1 8 一と 1 9 'は基準状態における広角撮像装置 8の視野限界を， 2 0 'は基準状態における広角撮像装置 8の視野範囲を、 1 8と 1 9は回転中心軸 6を基準状態から傾き角 0だけ傾けた時 （傾斜時） の広角撮像装置 8の視野限界を、 2 0は回転中心軸 6を基準状態か ら傾き角 0だけ傾けた時 （傾斜時） の広角撮像装置 8の視野範囲を 示している。 2 1は広角画像から展開画像への写像を考える際の仮 想の投影面となる仮想円筒面を示している。
次に、 展開画像生成部 9では広角撮像装置 8より得られる 1 8 0 度画角の広角画像に対して、 X軸周り角度センサ 1 6の出力を用い 後述するアルゴリズムに従って広角画像を展開画像へと変換する処 理を行う。 出力画像生成部 1 0では展開画像生成部 9より得られる 展開画像に対して、 N T S C方式への変換を行う。
1 3は （実施の形態 1 ) のものと同じで、 演算処理装置 1 1から の出力画像を表示する T Vモニタである。
なお、 ここでは基準状態の回転中心軸 6 'や回転中心軸 6が水平 方向と一致しているとしたが、 これに限定されるものではない。
次に図 8を用いて、 その動作について （実施の形態 1 ) との相違 部分を中心に説明する。
広角撮像装置 8の 1 8 0度視野の広角画像を得る動作は （実施の 形態 1 ) と同様である。 相違点は、 視野が傾き角 Θ分だけ図 8に示 す基準状態の視野範囲 2 0 一から傾斜時の視野範囲 2 0へと変化し た点である。
演算処理装置 1 1では、 広角撮像装置 8から出力される広角画像 に対して、展開画像生成部 9において展開画像への変換処理を行う。 この処理において、 空間内の任意点 Pと撮像面 5上の点 （即ち広角 画像上の点） pとの対応関係の考え方は （実施の形態 1 ) と同じで ある。 相違点は、 展開画像を考える際の投影面、 すなわち、 空間内 の点 Pの取り方である。 具体的には、 図 8に示すような仮想円筒面 2 1を考える。 通常は仮想円筒面 2 1をその中心軸が回転中心軸 6 と一致するようなものを想定するのであるが、 （実施の形態 3 ) で は、 X軸周りの角度センサ 1 6より得られる基準状態 回転中心軸 6 'に対する傾斜後の回転中心軸 6の傾き角を 0とした時に、 傾斜 後の回転中心軸 6に対して仮想円筒面 2 1の中心軸を、 基準光軸と 回転中心軸 6を含む平面内で、 内部焦点 4を中心として— Θだけ傾 ける。 即ち、 仮想円筒面 2 1の中心軸を基準状態の回転中心軸 6 ' と一致させる。 こうして決定した仮想円筒面 2 1上の任意の空間点 Pに対応する展開画像上の点の輝度を、 空間点 Pに対応する広角画 像上の点 pの輝度値を用いて求め、 展開画像を作成する。
なお、 ここでは広角撮像装置 8を基準状態から傾ける際の回転中 心を内部焦点 4としたが、 これに限定されるものではない。 但し、 回転中心を内部焦点 4と一致または略々一致させれば、 広角撮像装 置 8の視点がほぼ一定のままで傾き角を調整することができるとい う利点がある。
以上のような展開画像生成部 9での処理で作成された展開画像 tこ 対して、 出力画像生成部 1 0で出力画像への変換処理を行う。 （実 施の形態 3 ) では、 （実施の形態 1 ) には含まれていた 「傾き補正 処理」 がなく、 出力画像化処理のみである。 出力画像化処理は （実 施の形態 1 ) のそれと同様の処理を行う。
このように （実施の形態 3 ) によれば、 広角撮像装置 8を、 基準 光軸と回転中心軸 6を含む平面内で傾けることにより、 広角画像生 成装置として回転中心軸 6の方向の視野範囲を変えることができる c また、 広角撮像装置 8の基準状態に対する傾き角を計測し、 その 値を利用して展開画像の投影面となる仮想円筒面 2 1の中心軸を常 に基準状態の回転中心軸 6 ' と一致させることにより、 展開画像に おける視線中心の位置 （展開画像中の仰角が 0 となる位置。 結像レ ンズ 2の主点 7と等価となる内部焦点 4に向かう光線が、 投影面で ある仮想円筒面 2 1に対して垂直に交わる位置。 ） を変えることな く視野範囲を変更することが可能となる。 特に、 基準光軸から基準 状態の視野限界 1 8 ' までの角度の絶対値を φ、 基準光軸から基準 状態の視野限界 1 9 'までの角度の絶対値をゆとし、 Θは図 8にお いて時計周りを正とすると、 双曲面反射鏡 1が Φ ぐ φ とな るように作られていたとしても、 Θを ( Φ - Φ ) 2とすれば、 視 野範囲全体を使つて視線中心が展開画像の短手方向の中央にあるよ うな展開画像を得ることができる。 ' このため、 展開画像中の視線中心からの距離を最小とすることが でき、 展開画像中の視線中心から遠い部分は、 他の部分よりも斜め に見ることになるために、 他の部分に比べて歪んで見えてしまうと いう問題を軽減することができる。
なお、 本発明は広角撮像装置 8を任意の角度に傾けて固定した広 角画像生成装置に限定されるものではない。
具体的には、 X軸周り角度センサ 1 6の出力に応じて動的に仮想 円筒面 2 1の中心軸の傾きを制御し、 基準状態の回転中心軸 6 'と の一致を保つことにより、 広角撮像装置 8の基準光軸 （Y軸） と回 転中心軸 6とを含む面内での動的な傾きにも対応することができる, また、 （実施の形態 3 ) では、 双曲面反射鏡 1を ± 9 0度分の反 射面を有するものとしたが、 これに限定されるものではない。 少な くとも土 9 0度以下の.範囲であればよい。
また （実施の形態 3 ) では、 広角撮像装置 8の基準状態に対する 傾き角 Θを相殺するように仮想円筒面 2 1を一 Θ傾ける場合を示し たが、 これに限定されるものではない。
例えば、 基準状態の回転中心軸 6 'に対する仮想円筒面 2 1の中 心軸の傾きを 0以外の一定値とするような制御や、 一定の決まりに 従い変化させるような制御としてもよい。
(実施の形態 4 )
図 9は本発明の （実施の形態 4 ) の広角画像生成装置を示す。
(実施の形態.3 ) との相違部分は、 X軸周り角度センサ 1 6を無 くし、 回転中心軸前方傾斜方向入力部 1 7を演算処理装置 1 1に設 けた点である。
この広角画像生成装置について、 その動作に基づいて （実施の形 態 3 ) との相違部分を中心に説明する。
回転中心軸前方傾斜方向入力部 1 7は可変抵抗器などの入力設定 器である。 この入力設定器で展開画像生成部 9内に定数データとし て確保されている広角撮像装置 8の基準光軸 （Y軸） と回転中心軸 6とを含む面内における基準状態の回転中心軸 6 'に対する回転中 心軸 6の傾き角の値を設定 ·変更する。 この他の動作については（実 施の形態 3 ) と同じである。
この (実施の形態 4 ) によれば、 X軸周り角度センサ 1 6を省い て構成することが可能となるため、 より安価に装置全体を構成する ことが可能となる。 ここでは回転中心軸前方傾斜方向入力部 1 7を 演算処理装置 1 1に設けたが、 広角撮像装置 8に回転中心軸前方傾 斜方向入力部 1 7を設けて構成することもできる。
なお、 ここでは回転中心軸前方傾斜方向入力部 1 7を可変抵抗器 などの入力設定器であるとしたが、 この形態に限定されるものでは ない。 例えば、 展開画像生成部 9内に確保されている定数データの 書き換えは、 展開画像生成部 9内の外部からパーソナルコンビュ一 夕を用いて行うものとし、 回転中心軸前方傾斜方向入力部 1 7は、 展開画像生成部 9内とパーソナルコンピュー夕の接続部としてもよ い。 この接続部は、 広角撮像装置 8または演算処理装置 1 1に設け る。
また、 （実施の形態 4 ) では、 双曲面反射鏡 1を ± 9 0度分の反 射面を有するものとしたが、 これに限定されるものではない。 少な くとも ± 9 0度以下の範囲であればよい。
また、 （実施の形態 4 ) でも広角撮像装置 8の基準状態に対する 傾き角 Θを相殺するように仮想円筒面 2 1を一 0傾ける場合を示し たが、 これに限定されるものではない。 例えば広角撮像装置 8の基 準状態に対する傾き角 Θが 0の時に、 仮想円筒面 2 1のみを傾けて もよい。 そうすれば広角撮像装置 8を固定したままで視線中心を変 更することが可能となる。 以上のように本発明によれば、 広角撮像装置をその回転中心軸が 基準光軸方向に垂直な面内で鉛直方向に対して傾けた状態としても- 広角画像生成装置としての出力は画像内の水平方向が Τ λ モニタの 水平方向と一致した画像となり、 見る人に違和感を与えないものと することが可能となる。 また、広角撮像装置を、その回転中心軸と基準光軸を含む面内で、 ある基準状態に対して傾けた状態としても、 その傾き角を計測し、 その値を利用して展開画像の投影面となる仮想円筒面の中心軸を常 に基準状態の回転中心軸と一致させることにより、 展開画像におけ る視線中心の位置を変えることなく視野範囲を変更することが可能 となる。 さらに、 視野範囲全体を使って、 視線中心が展開画像の短 手方向の中央にあるような展開画像を得ることができる。 この為、 展開画像中の任意の点の視線中心からの最大距離を最小とすること ができ、 展開画像中の視線中心から遠い部分は、 他の部分よりも斜 めに見ることになるために、 他の部分に比べて歪んで見えてしまう という問題を軽減できる。 図 1 0〜図 3 2に示す (実施の形態 5 ) 〜 （実施の形態 7 ) の各 実施の形態に基づいて、 反射面のつくる反射像のうち、 その反射面 の回転中心軸に垂直な任意の方向を基準方向としてその略 ± 9 0度 分のみを撮像するような広角画像生成装置を考えた場合に、 広角画 像に対して全方位カメラの場合と同様の処理を適用し展開画像を得 ようとすると、 撮像装置の光軸の傾きや光学収差に起因する像の変 形のために得られる展開画像は正しいものにならないという課題が あるが、 これを解決できる広角画像生成装置を説明する。
(実施の形態 5 )
図 1 0〜図 2 3、 図 3 0は本発明の (実施の形態 5 ) を示す。 図 1 0は本発明の （実施の形態 5 ) における広角画像生成装置を 示す。
座標軸を、 紙面の上下方向に Z軸、 紙面から手前方向に Y軸、 紙 面の左右方向に X軸とする。 また Z軸は鉛直方向とする。 この広角画像生成装置は、 反射鏡によって作られる反射像を撮像 する広角撮像装置 8と画像処理装置 2 2からなる。
まず広角撮像装置 8について説明する。
広角撮像装置 8は、 双曲面反射鏡 1と結像レンズ 2と C C Dなど の撮像素子 3とで構成されている。 また撮像装置は結像レンズ 2と 撮像素子 3とで構成されている。
双曲面反射鏡 1は、 双曲面の回転中心軸周りの略 ± 9 0度分の反 射面を有している。その 0度の方向を基準光軸方向と呼ぶこととし、 ここでは Y軸方向に一致するものとする。
4は双曲面反射鏡 1の内部焦点である。 5は撮像素子 3の撮像面 である。 6は双曲面反射鏡 1の回転中心軸である。 ここでは回転中 心軸 6が Z軸 （鉛直方向） と一致するものとする。 内部焦点 4に向 かって入射した光線 a , b , cは、 双曲面反射鏡 1の反射面で反射 し、 回転中心軸 6上の外部焦点 （図示せず） へと集光される。 この 外部焦点の位置と結像レンズ 2の主点 7の位置は略々一致するよう に配置されており、 結像レンズ 2を介して光線 a , b， cが撮像素 子 3の撮像面 5上に結像する。 ここで結像レンズ 2と撮像素子 3の 共有している光軸 （図示せず） は、 双曲面反射鏡 1の回転中心軸 6 に対して基準光軸方向に傾斜して設置されている。 この傾斜させた 構成については、 図 1 1を用いて後述する。
なお、図 1 0では結像レンズ 2を 1枚構成のように描いているが、 複数枚のレンズで構成されていても構わない。
次に画像処理装置 2 2について説明する。
画像処理装置 2 2は、 展開テーブル生成部 2 3と展開画像生成部 2 4と画質補正処理部 2 5と画像マスク処理部 2 6で構成されてい
7- 展開テーブル生成部 2 3では、 双曲面反射鏡 1の形状や結像レノ ズ 2および撮像素子 3の光学特性や配置に応じて決まるアルゴリズ ムによって算出され、 広角撮像装置 8より得られる広角画像を展開 画像へと変換する際に用いられる展開テーブルを算出する処理を行 う。 このアルゴリズムについては後述する。
展開画像生成部 2 4では、 展開テーブル生成部 2 3より得られる 展開テーブルを参照して、 広角画像を展開画像へと変換する処理を 行う。
画質補正処理部 2 5では、 展開画像生成部 2 4で生成された展開 画像に対して後述する画質補正処理を行う。
画像マスク処理部 2 6では、 画質補正処理部 2 5で生成された画 質補正後の展開画像に対して後述する画像マスク処理を行う。 2 7 は画像処理装置 2 2からの出力画像を表示するモニタである。
次に図 1 1を用いて広角撮像装置 8の構成を詳細に説明する。 図 1 1の （a ) は広角撮像装置 8の Y Z平面における断面図であ り、 基本構成を示している。 全方位力メラ 1 0 0との相違部分は、 双曲面反射鏡 1が双曲面の回転中心軸周りの ± 9 0度分の反射面を 有している点と、 結像レンズ 2の主点 7と双曲面反射鏡 1の外部焦 点を略々一致させながら、 結像レンズ 2および撮像素子 3が共有し ている光軸 2 8が回転中心軸 6に対して角度ァだけ基準光軸方向 (Y軸方向） に傾けて設置している点である。 また、 破線で示した 2 » , 3 «は、 図 3 4 ( a ) で示した全方位カメラ 1 0 0と同じよう に配置した場合の結像レンズ、 撮像素子を示している。
内部焦点 4に向かって入射した Y Z平面内の光線 2 9 a , 2 9 b は、 双曲面反射鏡 1の入射点 3 0 a , 3 O bで反射し、 回転中心軸 6上の外部焦点 （図示せず） へと集光される。 この外部焦点の位置 と結像レンズ 2の主点 7の位置は略々一致するように配置されてお り、 結像レンズ 2を介して光線 2 9 a , 2 9 bが撮像素子 3の撮像 面 5上の結像点 3 l a , 3 l bに結像する。
また、 結像レンズ 2。と撮像素子 3。を用いた場合の光線 2 9 a , 2 9 bの結像点は 3 1 a «、 3 1 b。となる。 従って得られる像は、 結像レンズ 2。と撮像素子 3。を用いた場合、 図 1 1 (b) で破線で 示した 3 2。のような半円状の像となる。これはちようど全方位カメ ラ 1 0 0で得られる図 3 4 (b) の円状の像 1 1 1 を半分にじたも のである。 このように全方位カメラ 1 0 0で用いたような結像レン ズ 2。と撮像素子 3 ()を用いても 1 8 0度画角の広角画像を得ること はできる。 しかしこのままでは、 撮像素子 3。の利用効率が非常に悪 い。
一方、 図 1 1 ( a) において実線で示した結像レンズ 2、 撮像素 子 3を用いた場合、 得られる像は図 1 1 (b) で斜線を付して示し た半円状の像 3 2 となる。 すなわち、 光軸 2 8を傾けることにより 半円状の像 3 2の撮像面 5における上下方向 （Y軸方向に相当） の 位置をずらすことができる。 その結果、 半円状の像 3 2のように、 倍率を調整し、 また結像位置を光軸 2 8の傾け角度ァを調整するこ とにより、 撮像面 5上で半円状の像 3 2の左右方向長さを最大化し て、 撮像面 5の画素をできるだけ有効に使った撮像が可能となる。
なお、 この（実施の形態 5)では撮像面 5上で半円状の像 3 2が、 その円弧部分を撮像面 5の縁に近付けた位置に結像させているが、 これに限定されるものではない。 例えば、 半円状の像 3 2の弦部分 を撮像面 5の縁に近付けた位置に結像させてもよい。
また、 この （実施の形態 5 ) では双曲面反射鏡 1 を ± 9 0度分の 反射面を有するものとしたが、 これに限定されるものではない。 土 1 8 0度以下の範囲であればよい。 例えば ± (9 0 + 0)度分の反射 面を有する双曲面反射鏡 3；を用いた場合、図 1 2のように ± (9 0 + Θ )度分の像を得ることができる。 このように構成された広角画像生成装置の動作を、 さらに詳しく 説明する。
まず、 広角撮像装置 8における結像のしくみについて説明する。 図 1 0において光線 a , b， cは対象物からの任意の光線を示し ている。 そこで各光線の対象物を対象物 a， b， cと呼ぶことにす る。 対象物 a , b , cは、 図 1 3 ( a ) に示すようなスクリーン 3 3上に描かれた 「a」 「b」 「c」 の文字とし、 このスクリーン 3 3を、 図 1 3 ( b ) に示すように Z軸周りに Z軸からスクリーン表 面までの距離が一定となるように、 対象物 a， b , cが描かれた面 を双曲面反射鏡 1から見えるように配設した場合を考える。
既に説明したように、 内部焦点 4に向かって双曲面反射鏡 1の反 射面に入射した光線は、 全て外部焦点 （図示せず） へと反射され、 外部焦点と主点の位置が略一致するように設置された結像レンズ 2 を介して撮像素子 3の撮像面 5上に結像する。 従って、 基準光軸方 向 （Y軸方向） に対して略 ± 9 0度の範囲が撮像面 5上に結像する ことになる。 この時、 撮像素子 3で得られる広角画像を図 1 4に示 す。 対象物 a , b， cが全て含まれることが分かる。
次に画像処理装置 2 2では、 広角撮像装置 8から出力される図 1 4に示すような広角画像に対して、 展開画像への展開処理を行う.。 まず展開処理をはじめる前の初期段階で展開テーブル生成部 2 3に て展開処理に用いる展開テーブルの算出を行う。 ここで展開テープ ルとは、 展開画像の各画素に対応する広角画像上の座標値のテープ ルである。 展開テーブル生成部 2 3で行う処理のフローを図 1 5に 示す。
図 1 5のステップ S 1では、 展開テーブルを算出する上で必要な 双曲面反射鏡 1の反射面の形状パラメータや撮像装置の焦点距離な どの情報を読み込む。 これらの情報は例えば展開テーブル生成部 2 3内の R O Mに書き込んでおき、それを読み込む構成とすればよい。 もちろん何らかの方法で外部から入力する構成としても構わない。 ステップ S 2では、 展開テーブルの各要素の算出を行う。 展開テ 一ブルは、 展開画像の投影面を決め、 広角画像から投影面への写像 を考えることによって展開画像の各画素の広角画像における対応点 を決定していくことにより生成する。 この対応点決定方法の詳細に ついては後述する。
ステップ S 3では、 ステップ S 2で算出された展開テーブルに対 して、 結像レンズ 2および撮像素子 3からなる撮像装置の光学的な 歪の影響を補正する。 この補正方法の詳細についても後述する。 以上のようなフローで算出された展開テーブルは展開テ一ブル生 成部 2 3内の R A Mに記憶される。
ここで、 ステップ S 2における広角画像と投影面との間の対応点 決定方法について図 1 6〜図 1 9を用いて詳しく説明する。
図 1 6は広角撮像装置 8の回転中心軸 6と基準光軸方向を含む面 ( Y Z平面） における断面を模式的に示したものである。 双曲面反 射鏡 1、 結像レンズ 2、 撮像素子 3、 内部焦点 4、 撮像面 5、 回転 中心軸 6、 主点 7は、 図 1 1で説明したものと同じである。
3 4は、 広角画像からの写像を考える際の仮想投影面である。 こ こで仮想投影面 3 4は、 その回転中心軸が双曲面反射鏡 1の回転中 心軸 6と一致している円筒面を考えている。 なお、 仮想投影面 3 4 は円筒面に限定されるものではない。 例えば球面であっても構わな い。
3 5は、 仮想投影面 3 4上の任意点 P ( X P , Y P, Z r 力、ら内部 焦点 4の方向へ向かって発せられた光線である。
空間座標系は、 Z軸が回転中心軸 6と一致するものとし、 内部焦 点 4と主点 7を結ぶ直線を 2等分する点を原点 0とする。 また紙面 から手前方向を X軸、紙面の左右方向を Y軸とする。広角画像上（撮 像面 5上） の座標系は、 回転中心軸 6と撮像面 5の交点を原点 oと し、 紙面から手前方向を X軸、 また図 1 6中に図示するように紙面 の左右方向に y軸とする。
仮想投影面 3 4上の任意点 P ( P, Y P, Z P) に対応する撮像面 5上の点 （即ち広角画像上の点） p (x P, y p) を考える。 双曲面 反射鏡 1の双曲面形状は （従来の技術） の項で説明した全方位カメ ラ 1 0 0の場合と同様に （式 7 ) で表される。
(X2+Y2) / a 2- Z Vb 2 = 一 1 (式 7 ) ここで a , bは双曲面の形状を決定する定数である。 また
c = ( a 2+ b 2) 0.5 (式 8 ) である。 また （式 9 ) (式 1 0 ) も全方位カメラ 1 0 0の場合と同 様に成立する。
Z = ( z + Y 2) 0.5. tanQ! + c (式 9 ) tana = { (b 2+ c 2) · sin β - 2 b c } / { (b 2- c 2) · cos 3 } (式 1 0 ) ここで角度 aは、 内部焦点 4と任意点 Pを結ぶ直線と XY平面の なす角度である。 角度 3は、 主点 7 (双曲面反射鏡 1の外部焦点と 略々一致） と撮像面 5上の点 pを結ぶ直線と XY平面のなす角度で ある。
(式 9 ) より X P， Y ， Z Pが決まれば aが決まる。 また （式 1 0 ) より と b、 cが決まれば i3が決まる。
全方位カメラ 1 0 0では、次に（式 1 1 )を用いることによって、 Fの値が決まれば （x 2+ y ο·5、 すなわち、 広角画像上の原点か ら点 ρまでの距離がわかった。 しかし （実施の形態 5 ) では、 撮像 面 5が τだけ傾いているために （式 1 1 ) では正しく （x 2+ y 2) 0.5の値を求めることはできない。 従ってこのままでは正しく展開処 理が行えない。
そ で （実施の形態 5 ) では （式 1 3 ) を用いる
X 2 + y 2) °-5= F · cos ^ / cos r / sin ( β + r)
(式 1 3 ) 図 1 7を用いて （式 1 3 ) の導出法について説明する。
図 1 7は図 1 6広角撮像装置 8の撮像面 5付近を拡大したもので ある。 図 1 7において、 Y Z平面内にあり、 Y軸に平行で、 撮像面 5上の原点 oを通る直線と任意点 Pからの光線の交点を qとする。 この時、 Zp q o = 3、 Z p o q = Tとなる。 また線分 O Qの長さ I o Q Iは （式 1 4 ) で示される。
I o q I = F · tan (90 — β ) / cos r = F / tan β Zcos了
(式 1 4) 従って、 △ o p Qにおける正弦定理により I o p I即ち （χ2+ y2) ο·5は （式 1 3 ) で求められる。
( X 2+ y 2) 05 = sin/3 · F / tan/3 / cos?' / sin (180° 一 β — γ、
= F · cos β / cos r / sin ( j3 + τ ) (式 1 3 ) ここで Fは結像レンズ 2と撮像素子 3からなる撮像装置の焦点距 離である。
(式 9 ) (式 1 0 ) (式 1 3 ) より ΧΡ， Υ Ρ, Ζ Ρおよび] 3、 c、 Fが決まれば （xP 2+ y P 2) ο·5、 即ち撮像面 5上の原点 οから点 ρ までの距離が決まる。 以上の議論は Ζ軸を含む Υ Ζ平面以外の平面 でも成立するが、 Ζ軸を含む Υ Ζ平面以外のどの平面をとるかに応 じて撮像面 5の傾きァは変化するという点に注意しなければならな い。 この点について図 1 8を用いて説明する。
図 1 8は Ζ軸方向から見た時の双曲面反射鏡 1と撮像面 5を示し ている。
3 5は仮想投影面 3 4上の任意の点 Ρ (図 1 8では図示せず） か ら発せられ、 双曲面反射鏡 1で反射して撮像面 5上の点]?に到達す る光線を示している。 図 1 8中に示したように角度 Θを、 X軸の一 方向を 0度とし、 左周りに +として定義する。 例えば光線 3 5が Y Z平面内にある場合、 θ = 9 0度となる。 この時の 0と撮像面 5の 傾きァ ( Θ ) の関係は （式 1 5) のようになる。
tanr ( Θ ) = tanr ( 9 0 ° ) · sin0 (式 1 5 ) ここでァ （9 0 ° ) とは 0 = 9 0 ° の時の τを意味する。 また （式 1 3) は （式 1 3 a ) のようになる。
( X 2 + y 2) 0.5= F · cos β /cos r ( θ ) /sin ( β + r ( θ ) )
(式 1 3 a ) 以上の議論で、 Z軸を含む各平面での原点 oから点 pまでの距離が 得ることができた。次に XY平面での原点〇から点 Pへの方向 Θと、 X y平面、 すなわち撮像面 5上での原点 oから点 pへの方向 φとの 閧係について考える。 ここで φは図 1 8に示すように X軸の +方向 を 0度とする撮像面 5上の点の方向を規定するための角度パラメ一 夕である。
全方位力メラ 1 0 0の場合は Θ = <ί)であり、 X Υ平面および X y 平面における点 P、 点 pの方向は一致していた。 しかし広角撮像装 置 8の場合は XY平面に対して撮像面 5がァ （9 0 ° ) だけ傾いて いるため、 と φの関係は （式 1 6) のようなものとなる。
cos = cos0 / ( 1 +tan2r (9 0 ° ) · sin2 Θ ) °·5
(式 1 6) 図 1 9を用いて （式 1 6) の導出法について説明する。
図 1 9の X a , Y a平面は XY平面を Z軸を中心として 1 8 0度 回転し、 X a軸が X軸と一致するように平行移動したものである。 ここで 0は X a軸の一方向を 0度とし、 X a， Y a平面上で時計回 りを +方向としており、 XY平面の 0と等価なパラメ一夕となる。 このため、 ここではパラメータ名を変更せず、 0のまま用いる。 ま た は X軸の一方向を 0度とし、 X y平面上で時計回りを +方向と している。 このように設定し、 0と Φとの関係を導出する。 円弧 C ADは単位円の半分である。 また CBDは、 X a, Y a平面との交 線が半円 CADとなり、 X a, Y a平面と垂直であるような半円柱 と X y平面との交線である。 この時べクトリレ oA， oBは （式 1 7) (式 1 8 ) のようになる。
o A = (- cos 0、 sin S、 0 ) ' (式 1 7 ) o B = (一 cos Θ ヽ sin θ , tan r ( 9 0 ° ノ · sin θ )
(式 1 8 ) 従って、 一 X方向の単位べクトルー Xとの内積を用いることによ り （式 1 6) が求まる。
coscj) = o B · X/ I 0 B I
= cos θ / {1 +tan2 r (90° ) · sin2 Θ ) (式 1 6 ) 以上より、 ]3、 r (=了 （ 90 ° ) ) 、 Fがわかれぱ、 （式 1 3 a) (式 1 5 ) (式 1 6 ) を用いることによって P (ΧΡ， Y r, Ζ Ρ) に対応する撮像面 5上の点 （即ち広角画像上の点） p (x。， y p) を一意に決定することができる。 XP, YP, Z Pの値は、 仮想投影面 3 4の半径を M、 展開画像の横方向（長手方向）画素数を ISX、 縦方 向（短手方向）画素数を ISYとすると以下のように表せる。
Figure imgf000040_0001
Z = 2 π · M · ( j — j 0) /ISX (式 1 9 ) 但し、 0 =180° · i /ISX, iは展開画像上の X座標値で 0≤ i く ISXの整数、 j は展開画像上の Y座標値で 0≤ jく ISYの整数、 また j »は Z P= cの時（視線方向が水平方向の場合）の展開画像上の Y座標値である。 （式 1 9) を用いることにより展開画像上の点と 仮想投影面 34の点 P (XP, Y , Z P)を対応づけることができる。 従って、 展開画像の投影面 （仮想投影面 34) を決め、 投影面か ら広角画像への写像を考えることによって、 展開画像の各画素に対 する広角画像上の理想的な対応点を決定することができる。
次に図 2 0を用いて図 1 5のステップ S 3における結像レンズ 2 および撮像素子 3からなる撮像装置の光学的な歪の影響を補正する 方法について詳しく説明する。
図 2 0は光学的な歪の影響を模式的に示したものである。 光学的 な歪がなく理想的な画像が得られるとすれば、 画角が 1 8 0度の場 合、 図 2 0の （a) に示すような半円状の像が得られる。 しかし、 実際には光学系の中に光学的な歪が含まれており、 例えば図 2 0の (b)に示すように半円状の像が歪んで得られてしまう。このため、 この光学歪を考慮に入れずに展開処理を行うと得られる展開画像は 正しいものにならない。
そこで （実施の形態 5) では、 予め使用する光学系の歪量を把握 し、 その影響をキャンセルするようにステップ S 2で作成した展開 テーブルを補正する。
まず、 歪量の把握方法について簡単に説明する。
光学的な歪を数式で記述するための一般的な方法として高次多項 式がよく用いられる。 ここでは （式 2 0) に示すような多項式を用 いた場合を考える。
Δ X = k X ( X 2 + y
△ y = l , (x2+y2) (式 2 0) ここで、 Δχ， Ayはそれぞれ x， y方向の歪量。 kは歪量を調 整するパラメ一夕である。 （式 2 0) は歪量を示す式としては非常 に単純なものであり、 設定するパラメ一夕は kのみである。 実際の 光学系に適用した場合、 （式 20) では光学歪量を記述するのに不 十分な場合もある。 その場合は適宜、 高次項を考慮したものを使用 すればよい。
結像レンズ 2および撮像素子 3からなる撮像装置で基準となる (即ち、 歪量を測定するために、 距離が既知であるようなパターン が含まれている） テストパターン 3 6を撮像する。 テストパターン 3 6としては例えば図 2 1の （a) に示すような 2次元格子の描か れたものを用いても良い。 ここで例えば格子ピッチの正確な値が既 知であればよい。 その結果得られたテストパターン画像 3 7は、 図 2 1の （b) に示すように光学歪の影響により、 元のテストパター ン 3 6とは異なったパターンとなる。 格子ピッチと撮像の条件から 算出できる理想的な格子点の座標値と、 テストパターン画像 3 7か ら得られた、 対応する格子点の座標値を複数個 （n個） 比較するこ とにより、 歪量のサンプルをとる。 n個とつたサンプルのうちの i 番目のデータの理想の座標値を X ( i ) ， y ( i ) 、 その時の x方 向の実測歪量を Δ χ ( i ) 、 y方向の実測歪量を Δγ ( i ) とした 時に（式 2 1)の 2つの誤差関数が最小となるような kを最小自乗法 により求める。
Ex = ∑ (A x ( i )- k x ( i ) (x ( i ) 2+ y ( i "))
Ey = ∑ ( Δ y ( i ) - k y ( i ) (x ( i ) 2 + y ( i ) 2) )
(式 2 1 ) 以上の処理により、撮像装置の歪量を示す（式 20 )が決定する。 次にこれを用いて、 ステップ S 2で求めた理想的な展開テーブルを 補正する。 展開テーブルの X方向、 y方向それぞれの各画素 （各要 素） には、 光学歪を考慮しない場合の各画素に対応する広角画像の 画素値が含まれている。 これを （xu (X, Y) ， y » (X, Y) ) とする。 ここで （X， Y) は今対象としている展開テーブルの画素 (要素） の座標値である。 この値を （式 2 0) に代入し、 補正後の 値 （x , ( X , Y ) 、 y， （X， Y ) ) を算出する。 具体的には （式 2 2 ) を各画素 （要素〉 に対して行う。
X】（X， Y) = X。（X, Y) + k · X。（X， Y) · ( x。（X, Υ) 2 +
y ο (X, Υ) 2) y , (X, Υ) = y。（Χ， Υ) + k · y。（X, Υ) · ( χ « (X, Υ) 2 +
y ο (X, Υ) 2) (式 2 2 ) この処理を展開テーブルの全ての画素 （要素） に行うことにより 撮像装置の光学的な歪の影響を補正した展開テーブルを得ることが できる。従ってこのような展開テ一ブルを用いて展開処理を行えば、 撮像装置の光学歪の影響を排除した展開画像を得ることができる。
また、 このような光学歪補正処理は一旦展開画像を作成した後に その展開画像に対して行うことも可能であるが、 その場合展開画像 を作成するたびに （式 2 2 ) に示すような複雑な演算処理を行わな ければならない。 しかるに （実施の形態 5 ) では、 光学歪の補正処 理を展開テ一ブルに盛り込むことにより、 （式 2 2 ) のような複雑 な演算処理を、 展開テーブル生成部 2 3における初期の展開テープ ル作成時のみ行うだけでよく、 展開画像作成時は通常の展開処理を 行うだけでよいことから、 演算コストの面からも非常にメリッ トが ある。
次に展開画像生成部 2 4について説明する。
展開画像生成部 2 4では展開テ一ブル生成部 2 3で生成された展 開テーブルを参照して、 広角撮像装置 8から得られる広角画像を展 開画像に変換する。 この際、 座標値が整数値である展開画像の各画 素に対応する広角画像の画素位置は、 一般にその座標値が整数値と ならない。 しかし、 広角画像は整数の座標位置のデータしか存在し ない。 この対策として、 画質よりも処理速度を優先する場合には、 展開テーブルの座標値デ一夕を四捨五入などの手段により、 整数化 することにより、 本来必要な画素の近傍の画素の輝度値で代用して もよい。 処理速度よりも画質を優先する場合には、 本来必要な画素 の近傍 4画素の輝度データから補間演算により、 本来必要な画素の 輝度データを作り出してもよい。
次に画質補正処理部 2 5について説明する。
画質補正処理部 2 5では、 展開画像生成部 2 4で作成された展開 画像に対して、 画質補正処理を行う。 以下にこの画質補正処理につ いて説明する。
展開画像生成部 2 4で生成された展開画像は、 画像内の上部と下 部とで解像度が異なってしまうという問題点がある。 すなわち、 図 2 2に示すように、 広角画像 3 8とそれに展開処理を施すことによ つて得られる展開画像 3 9との対応関係において、 展開画像 3 9の 上端下端の関係が、 広角画像 3 8の外周内周の関係となるため、 情 報量の差から解像度に差が生じる。 そのため、 展開画像 3 9におい て、 外周部に対応した部分よりも内周部に対応した部分の方がピン トがボケたように見えてしまう。 また他の要因として、 結像レンズ 2と撮像素子 3からなる撮像装置には被写界深度があり、 わずかで はあるが、 半円形状の広角画像 3 8の半径方向にピントのムラ （例 えば、 広角画像 3 8の内周部分ではピントが良く合っているが、 外 周部分ではピントがややあまくなるといったようなムラ) が生じる 場合もある。 展開画像 3 9として最終的に得られる画像としては、 上記の 2種類の要因を重ね合わせた結果のボケが含まれたものとな る。
このような展開画像 3 9に対して画質補正処理部 2 5では、 展開 画像 3 9の上下方向 （即ち元画像である広角画像 3 8の半径方向に 対応） に沿って、 その場所ごとに相対的な鮮鋭化係数を決め、 その 係数を用いて画像の高周波数成分の強調による鮮鋭化処理を行う。 鮮鋭化処理としては、 例えばアンシャープマスキングと呼ばれる 手法を用いる。 これは （式 2 3 ) のように表現される。
B ' ( i J ) = B ( i , j ) + C ( B ( i， j )一 B— ( i , j ) )
(式 2 3 ) ここで、 B ( i , j )は座標（ i , j )の画素の輝度値とする。 B— ( i , j )は座標（ i , j )の画素の近傍の局所平均輝度値 （例えば近傍 3 X 3の範囲の平均輝度値） とし、 低周波成分からなる輝度値となる。 従って （ B ( i , j )— B— ( i , j ) ) は元の画像から低周波成分を 差し引く ことで高周波成分を取り出す操作となる。 Cは鮮鋭化係数 とする。 高周波成分を C倍したものを元画像に足し合わせることに より、 高周波数成分を強調した鮮鋭化画像が得られる。
鮮鋭化係数 Cを展開画像 3 9の上下方向の位置に応じて変化させ, 鮮鋭化処理を行う。 まず撮像装置で双曲面反射鏡 1上の像を理想的 にボケなく撮像できる場合について説明する。
この場合に得られる展開画像 3 9は図 2 3 ( a ) に示すように下 端部が、 元の広角画像の内周部と外周部の情報量の差に.起因するボ ケ領域 4 0 となる。 ここでボケ領域 4 0は一様にポケているわ.けで はなく、 展開画像 3 9の中央付近から下端にいくにつれてボケてい く。 この時、 図 2 3 ( a ) にグラフで示したように鮮鋭化係数 Cを ボケ具合に合わせて 0から変化させることにより、 ボケ具合に応じ た補正処理 （鮮鋭化処理） を行う。
なお、 ここでは展開画像 3 9の上下方向のほぼ中央付近から鮮鋭 化係数 Cの値を増やしていくような場合のグラフを示したが、 これ に限定されるものではない。 本発明の主旨は下端に近づくにつれて 悪化していくボケ具合に応じて鮮鋭化係数 Cの値を増やしていく こ とにあり、 例えば鮮鋭化係数 Cを 0よりも大きくする場所は展開画 像 3 9の上端であっても構わない。 また鮮鋭化係数 Cの増やし方も ボケ具合や撮影する対象などに応じて調整可能であり、 例えば鮮鋭 化係数 Cを 0よりも大きくする場所からの距離の 3乗に比例させて 増やしてもよい。
次に、 撮像装置で双曲面反射鏡 1上の像を撮像する際に、 場所に よってピン卜の合い具合に差が生じてしまうような場合について図 2 3 ( b ) を用いて説明する。
この場合は撮像装置のピントを調整することにより、 得られる展 開画像 3 9のボケ領域を調整する。 鮮鋭化処理は画像の高周波成分 を強調する処理であるため、 対象となる画像がある程度以上ボケて しまうと処理を行っても有意な効果を発揮できなくなる。 そこで出 来るだけ最もボケ状態の悪い （ボケのひどい） 部分をできるだけ改 善するようにピントを調整する。 具体的には、 広角画像 3 8の内周 部に光学的なピントのボケ部分が来るようにピントを調整すると、 内周部分にボケ状態を悪くする条件が重なってしまい、 補正しきれ なくなる。 それを避けるために、 広角画像 3 8の半径方向中央より もやや内周部分にピントのピークが来るように調整し、 最終的に展 開画像 3 9において上下端のボケ領域 4 0が図 2 3 ( b ) のように ほぼバランスがとれるようにピントを調整する。 この時もボケ領域 4 0は一様にボケているわけではなく、 展開画像 3 9の中央付近か ら上下端にいくにつれてボケていく。 この時、 図 2 3 ( b ) にダラ フで示したように鮮銳化係数 Cをボケ具合に合わせて、 展開画像 3 9の中央付近から上下端にいくにつれて 0から変化させることによ り、 ボケ具合に応じた補正処理 （鮮鋭化処理） を行う。
次に画像マスク処理部 2 6について説明する。
画質補正処理部 2 5で生成された画質補正後の展開画像に対して 画像マスク処理を行う画像マスク処理部 2 6は、 次のように構成さ れている。 図 3 0 ( a ) はマスク処理を行わない場合の展開画像を、 図 3 0 ( b ) はマスク処理を行った場合の展開画像を示している。 展開画 像中の 4 1は現金自動支払機 （A T M ) 端末、 4 2は操作者、 4 7 は A T M端末 4 1の操作パネルである。 マスク処理前の図 3 0 ( a ) では全視野が見えており、 操作者 4 2の操作や入力結果などが映つ てしまうため、 暗証番号などのプライベートな情報が外部に漏れて しまう危険性がある。 そこで画像マスク処理部 2 6では R O Mに記 憶したマスク領域 4 8を例えば輝度値 0で塗りつぶしてしまうよう な処理を行うことにより、 図 3 0 ( b ) に示すように操作者 4 2の 操作や入力結果などが見えないようにする。
なお、 ここでは輝度値 0に塗りつぶすこととしたが、 これに限定 されるものではない。 マスク領域 4 8内の画像を本来の画像と異な るもので埋めることができればよく、 0以外の輝度値、 あるいはラ ンダムパターン画像を描いてもよい。
以上のような処理を施して生成された展開画像は図示しない画像 形式変換部で N T S Cのようなビデオ信号に変換され、 画像処理装 置 2 2から出力される。 モニタ 2 7はその信号を受け取り、 展開画 像を表示する。
このように （実施の形態 5 ) によれば、 広角撮像装置 8の光学系 を撮像レンズ 2および撮像素子 3からなる撮像装置の光軸 2 8を回 転中心軸 6に対して傾けた構成としても、 展開画像の各画素に対す る広角画像上の理想的な対応点を決定することができ、 さらに撮像 装置の光学的な歪の影響を考慮にいれた展開テーブルの補正を行つ ているため、 正しい展開処理が可能となる。 また画質補正処理を行 うことにより、 展開画像の場所による解像度の差を軽減することが できる。
また、 画像マスク処理部 2 6によって、 展開画像の一部にマスク 処理を施し、 見えないようにしてから出力することにより、 操作者 の操作内容 ·入力内容が写らなくなり、 プライバシー情報の漏洩を 防ぐことが可能になる。
なお、 この （実施の形態 5 ) では、 回転対称体の回転中心軸に対 して垂直な任意の方向に S準光軸をとり、 前記基準光軸の方向を 0 度として略 ± 9 0度もしくは土 9 0度以上の範囲の凸面形状の反射 面を有する反射鏡として、 回転中心軸上に内部焦点を持つ双曲面形 状であり、 前記双曲面形状の外部焦点の位置と前記撮像装置の主点 の位置が略々一致するものであつたが、 この反射鏡の形状は双曲面 でなくても成立する。
また、 （実施の形態 5 ) では、 広角撮像装置 8が回転中心軸周り 略土 9 0度分の範囲を撮像するような場合を示したが、 広角撮像装 置 8 として図 3 4の （ a ) で示したような回転中心軸周り略 3 6 0 度分の範囲を撮像する全方位カメラ 1 0 0を用い、 画像処理装置 2 2で全方位カメラ 1 0 0に対応した展開処理を行うような塲合でも、 これまでに説明した光学歪の影響補正や画質補正処理、 画像マスク 処理は、 （実施の形態 5 ) の場合と同様の効果を有する。
(実施の形態 6 )
図 2 4〜図 3 1は本発明の (実施の形態 6 ) を示す。
図 2 4は本発明の （実施の形態 6 ) における広角画像生成装置を 示す。
座標軸を、 紙面の上下方向に X軸、 紙面から手前方向に Y軸、 紙 面の左右方向に Z軸とする。 また Z軸は水平方向とする。 （実施の 形態 6 ) と （実施の形態 5 ) との構成上の相違点は、 広角撮像装置 8を Z軸が水平方向と一致するように設置する点である。 処理上の 相違点は画像処理装置 2 2の展開テーブル生成部 2 3において、 展 開テーブル生成の際に用いる仮想投影面 3 4の形状に特徴を持たせ る点と、 画像マスク処理の具体的な処理が異なる点と、 展開画像生 成部 2 4で （実施の形態 5 ) の場合に対して 9 0度傾け、 画像内の 天地が正しくなるような展開画像を生成する点である。 以下にこれ らの相違点について説明する。
まず結像のしくみについて説明する。
図 2 4において光線 a， b , cは対象物からの任意の光線を示し ている。 そこで各光線の対象物を対象物 a， b， c と呼ぶことにす る。 対象物 a， b , cは、 図 2 5 ( a ) に示すようなスクリーン 3 3上に描かれた 「 a」 「b」 「 c」 の文字とし、 このスクリーン 3 3を、 図 2 5 ( b ) に示すように Z軸周りに Z軸からスクリーン表 面までの距離が一定となるように、 対象物 a、 b、 cが描かれた面 を双曲面反射鏡 1から見えるように配設した場合を考える。 この時 に撮像素子 3で得られる広角画像を図 2 6に示す。 対象物 a、 b、 cが全て含まれることが分かる。
このように広角撮像装置 8を回転中心軸 6が水平方向と一致する ように設置する場合の用途例として、 A T M端末や自動販売機など の監視がある。 通常の広角光学系では実現困難な鉛直方向 1 8 0度 程度の視野が得られることから、 本装置のそばに立った人の顔から 手元までを一枚の画像として得ることが出来るため、 A T M端末や 自動販売機などの監視用途への適用が可能である。
次に画像処理装置 2 2での処理について主に （実施の形態 5 ) と の相違点について説明する。
まず （実施の形態 5 ) の場合と同様に、 展開処理をはじめる前の 初期段階で展開テーブル生成部 2 3にて展開処理に用いる展開テ一 ブルの算出を行う。展開テーブル生成部 2 3で行う処理のフローを、 図 2 7を用いて説明する。 図 2 7で示したフローで行われる処理の 中で （実施の形態 5 ) の場合と異なる 2点のうちの 1点は、 広角画 像と投影面との間の理想的な対応点を決定するステツプ S 2におい て、 仮定する仮想投影面 3 4の形状を変更する点である。 この点を 図 2 8を用いて詳しく説明する。
図 2 8は A T M端末 4 1を操作する操作者 4 2と広角撮像装置 8 および仮想投影面 3 4との関係を示している。 3 4は、 その回転中 心軸が広角撮像装置 8の双曲面反射镜 1の内部焦点 4を通り、 紙面 に垂直であるような円筒状の仮想投影面であり、 従来はこのような 投影面に投影した画像の再生を考えていた。 A T M端末 4 1の操作 者 4 2は A T M端末 4 1を使用する時に通常 1 5〜 3 0度程度前方 に傾斜角 4 3をとる。 広角撮像装置 8の視点となる内部焦点 4から の距離は胸部に比べて、 顔部の方が遠くなるため、 得られる展開画 像内で胸部付近は大きく、 また顔部にいくほど小さく写り、 見た目 に違和感を生じさせてしまう。
そこで （実施の形態 6 ) では、 図 2 8に示すように、 得られる視 野の中心方向となる基準光軸方向 4 6と反対の方向にその中心軸 4 5を設定した新しい仮想投影面 4 4を設定する。 この新しい仮想投 影面 4 4への投影を考えることは、 広角撮像装置 8の視点となる内 部焦点 4を、 仮想的に基準光軸方向 4 6と反対方向に中心軸 4 5の 位置まで移動することに相当する。 そのため、 操作者 4 2が A T M 端末 4 1を使用している際の、 広角撮像装置 8の視点に対する顔部 の位置と胸部の位置の距離の差が緩和される。
具体的な仮想投影面形状の変更方法について図 2 9を用いて説明 する。
図 2 9は図 2 8と同様に Z軸方向から見た従来の仮想投影面 3 4 と形状を変更した仮想投影面 4 4を示している。 Θは仮想投影面 4 4上の点 Pから広角撮像装置 8の図示しない内部焦点 4への光線の XY平面上における方位角を X軸方向を 0度として設定したもので ある。 aは仮想投影面 44上の点 Pから仮想投影面 44の中心軸 4 5上の図示しない仮想の内部焦点 （即ち内部焦点 4を通る基準光軸 と中心軸 4 5の交点） への光線の； XY平面上における方位角を; X軸 方向を 0度として設定したものである。 また図 2 9上で内部焦点 4 の位置を〇，、 中心軸 4 5の位置を〇 2とする。
(実施の形態 5 ) と同様に （式 9 ) (式 1 0 ) (式 1 3 a) (式 1 5 ) (式 1 6 ) を用いて仮想投影面上の点 P (XP, YP, Z p) に 対応する広角画像の点 P ( P, y P) を決定するのである力 この 時の （実施の形態 5) との相違点は（式 1 6 )で Θの与え方である。
(実施の形態 5 ) では、 特に展開画像の横方向（長手方向）画素数を ISX、横方向の視野角を 1 8 0度とした時に Θ =180° · i /ISX (但 し i は整数で 0≤ iく ISX) のように 0を等間隔に取っていけばよ レ^ (実施の形態 6 ) では 0；を等間隔で取っていった場合と等価と なるように Θを決定する。 Δ Ρ〇，〇2において正弦定理より （式 2 4)が成り立つ。
R/sin (9 0 ° + = r /sin (9 0 ° — ο; ) (式 2 4)
(式 2 4) を整理すると （式 2 5 ) が得られる。
Θ =cos一 1 i · cos / r ) (式 2 5 ) 但し、 ひ' ,≤ α;く 2
よって、 (式 2 5 ) の αに a二（n ,) · i /ISX (但し nは 整数で O iく ISX) を代入して 0を求め、 その Θを用いて展開テ 一ブルを作成すれば、 仮想投影面形状を変更することができる。 なお、 ここでは仮想投影面 3 4として円筒を考えたが、 球面など 他の形状であっても構わない。
次に図 2 7で示したフローで行われる処理の中で（実施の形態 5 ) の場合と異なる 2点のうちのもう 1点である、 光学歪の影響補正を 行うステップ S 3の次に行うマスク処理 (ステップ S 4 ) について 図 3 0を用いて説明する。
図 3 0 ( a ) はマスク処理を行わない場合の展開画像を、 図 3 0 ( b ) はマスク処理を行った場合の展開画像を示している。 展開画 像中の 4 1は A T M端末、 4 2は操作者、 4 7は A T M端末 4 1の 操作パネルである。 マスク処理前の図 3 0 ( a ) では全視野が見え ており、 操作者 4 2の操作や入力結果などが写ってしまうため、 喑 証番号などのプライベートな情報が外部に漏れてしまう危険性があ る。 ここではマスク領域 4 8に相当する部分の展開テーブルの座標 値データを、 本来のものと異なるもの、 例えばマスク領域 4 8に相 当する部分の全ての展開テーブル要素を、 広角画像中で双曲面反射 鏡 1からの像が結像されない左上隅などを指定するように置き換え てしまうことによりマスク処理を実現する。
以上のように展開テーブルにマスク処理の情報を埋め込むことに より、図 2 4の展開画像生成部 2 4にて展開処理をする際に同時に、 演算負荷を増やすことなくマスク処理を行うことができる。
次に展開画像生成部 2 4では、 以上のような処理を行うことによ り、 展開テーブル生成部 2 3で生成された展開テーブルを用いて展 開画像の生成を行う。 この際の （実施の形態 5 ) との相違点は、 既 に図 3 0で示したように展開画像の天地が正しくなるように、 縦方 向が画角 1 8 0度となるように展開処理を行うことである。
次に画質補正処理部 2 5では、 （実施の形態 5 ) の場合と同様の 処理を行い、 図示しない画像形式変換部で N T S Cのようなビデオ 信号に変換してモニタ 2 7に展開画像を表示する。
このように （実施の形態 6 ) によれば、 仮想投影面 4 4の形状を 変更することにより仮想的に広角撮像装置 8の視点を変更すること ができるため、 広角撮像装置 8の内部焦点 4からの距離の差に起因 する展開画像の違和感を軽減することが可能になる。 また、 展開画 像の一部にマスク処理を施し、 見えないようにしてから出力するこ とにより、 操作者の操作内容 · 入力内容が写らなくなり、 プライパ シ一情報の漏洩を防ぐことが可能になる。
なお、 ここでは、 マスク処理の情報を展開テーブルに埋め込む方 法を示したが、 画像マスク処理を、 展開画像を生成した後で行って も構わない。 例えば図 3 1に示すように、 画質補正処理部 2 5の直 後に画像マスク処理部 4 9を設け、 ここでマスク領域 4 8内部を輝 度値 0に塗りつぶすような処理を行っても構わない。
なお、 （実施の形態 6 ) では、 双曲面反射鏡 1を ± 9 0度分の反 射面を有するものとしたが、 これに限定されるものではない。 ± 1 8 0度以下の範囲であればよい。
また、 (実施の形態 6 ) では、 広角撮像装置 8が回転中心軸周り 略土 9 0度分の範囲を撮像するような場合を示したが、 広角撮像装 置 8 として図 3 4の （ a ) で示したような回転中心軸周り略 3 6 0 度分の範囲を撮像する全方位カメラ 1 0 0を用い、 画像処理装置 2 2で全方位カメラ 1 0 0に対応した展開処理を行うような場合でも、 これまでに説明した仮想投影面形状の変更やマスク処理は、 （実施 の形態 6 ) の場合と同様の効果を有する。 また全方位カメラで仮想 投影面形状の変更を行った場合は、 1枚の広角画像を用いて視点の 移動を表現可能であることから、 撮像場所を少しづつずらした複数 枚の広角画像を使って滑らかな視点移動が可能なウォークスルーソ フ トを実現できる。
(実施の形態 7 )
図 3 2は本発明の (実施の形態 7 ) を示す。 (実施の形態 6 ) との相違部分は、 画像処理装置 2 2内の処理単 位の一つであった展開テーブル生成部 2 3を分離独立させ、 新たに 展開テ一ブル生成用演算処理装置 5 1を設けた点と、 画像処理装置 2 2内に展開テーブル生成部 2 3の代わりに展開テーブル記憶部 5 0を設けた点である。
この図 3 2の動作を、 （実施の形態 6 ) との相違部分を中心に説 明する。
広角撮像装置 8は （実施の形態 6 ) で用いたものと同様のもので ある。
展開テーブル生成用演算処理装置 5 1は、 具体的にはマイクロコ ンピュ一タゃパーソナルコンピュータ （P C ) などの演算装置であ り、 ここで （実施の形態 6 ) の展開テーブル生成部 2 3で行ってい た展開テーブルの生成を行う。 生成された展開テ一ブルは画像処理 装置 2 2に送られ、 展開テ一ブル記憶部 5 0に記憶される。
展開テ一ブルの転送方法は、 例えば S D力一ド （Secure Digital カード 登録商標） などのメモリーカード 5 2を用いる。 展開テー ブル生成用演算処理装置 5 1 と画像処理装置 2 2の双方に図示しな い S Dカードスロッ トを設けておく。 展開テーブル生成用演算処理 装置 5 1にて、 生成した展開テーブルを S Dカードに記録する。 そ の S Dカードを画像処理装置 2 2の S Dカードスロッ トに挿入し、 S Dカード内に記録された展開テーブルを読み取り、 展開テーブル 記憶部 5 0に記憶する。
次に、 展開画像生成部 2 4は展開テーブル記憶部 5 0に記憶され た展開テーブルを読み込み展開処理を行う。 以降の処理は （実施の 形態 6 ) と同様である。
' このように （実施の形態 7 ) によれば、 画像処理装置 2 2での展 開テーブル生成処理の必要がなくなるため、 装置起動時の展開テー ブル生成処理のための起動時間をなくすことができる。
なお、 （実施の形態 7 ) では、 （実施の形態 6 ) の画像処理装置
2 2内の処理単位の一つであった展開テーブル生成部 2 3を分離独 立させ、 新たに展開テーブル生成用演算処理装置 5 1を設け、 画像 処理装置 2 2内に展開テーブル生成部 2 3の代わりに展開テーブル 記憶部 5 0を設けた場合を示した。 同様の変更を （実施の形態 5 ) の場合に行った場合でも （実施の形態 7 ) の場合と同様の効果を得 ることができる。 また、 どちらの場合でも、 広角撮像装置 8 として 図 3 4の （ a ) で示したような回転中心軸周り略 3 6 0度分の範囲 を撮像する全方位カメラ 1 0 0を用い、 画像処理装置 2 2および展 開テーブル生成用演算処理装置 5 1で全方位カメラ 1 0 0に対応し た処理を行うような変更を行っても、 （実施の形態 7 ) と同様の効 果を得ることができる。 以上のように本発明によれば、 広角撮像装置の光学系として、 撮 像レンズおよび撮像素子からなる撮像装置の光軸を回転中心軸に対 して傾けた構成としても、 展開画像の各画素に対する広角画像上の 理想的な対応点を決定することができ、 さらに撮像装置の光学的な 歪の影響を考慮にいれた展開テーブルの補正を行っているため、 正 しい展開処理が可能となる。 また画質補正処理を行うことにより、 展開画像の場所による解像度の差を軽減することができる。
また、 仮想投影面の形状を変更することにより仮想的に広角撮像 装置の視点を変更することができるため、 広角撮像装置の内部焦点 からの距離の差に起因する展開画像の違和感を軽減することが可能 になる。 また、 展開画像の一部にマスク処理を施し、 見えないよう にしてから出力することにより、 操作者の操作内容 · 入力内容が写 らなくなり、 プライバシ一情報の漏洩を防ぐことが可能になる。 さらに、 画像処理装置とは別個に展開テーブル生成用演算処理装 置を用いる構成とすれば、 画像処理装置での展開テーブル生成処理 の必要がなくなるため、 装置起動時の展開テ一ブル生成処理のため の起動時間をなくすことができる。

Claims

請 求 の 範 囲
1.
広角撮像装置と演算処理装置からなる広角画像生成装置であって 広角撮像装置は、 回転対称体の回転中心軸に対して垂直な任意の 方向に基準光軸をとり前記基準光軸の方向を 0度として少なくとも 角度 0の範囲（0 1 ^ 0 ^ 0 2、 一 9 0 ° ≤ θ 1≤ 9 0 ° 、 一 9 0 ° ≤ Θ 2≤ 9 0 ° , θ 1 < θ 2 ) の凸面形状の反射面を有する反射鏡 と、 前記反射鏡の回転中心軸上に主点を有し、 前記反射鏡の反射像 を結像して前記反射鏡の回転中心軸周りの少なくとも角度 Θの範囲 の対象物を撮像する撮像装置からなり、 前記基準光軸に対して垂直 な平面内で、 前記反射鏡の回転中心軸を任意の回転中心軸面内傾斜 方向に傾けて設置し、
演算処理装置は、 前記広角撮像装置より得られる画像に対して演 算処理を行い展開画像を生成する展開画像生成部と、 前記回転中心 軸面内傾斜方向に応じて前記展開画像を傾斜させ前記展開画像のデ 一夕形式を出力用の形式に変換し出力画像として生成する出力画像 生成部とからなる
広角画像生成装置。
2. .
広角撮像装置と演算処理装置からなる広角画像生成装置であって 広角撮像装置は、 回転対称体の回転中心軸に対して垂直な任意の 方向に基準光軸をとり前記基準光軸の方向を 0度として少なく とも 角度 Θの範囲（ 0 1≤ 0 ^ Θ 2、 _ 9 Ο ° ≤ 0 1≤ 9 Ο。 、 一 9 0。
^ 0 2 ^ 9 0 ° 、 1 < 0 2 ) の凸面形状の反射面を有する反射鏡 と、 前記反射鏡の回転中心軸上に主点を有し、 前記反射鏡の反射像 を結像して前記反射鏡の回転中心軸周りの少なくとも角度 0の範囲 の対象物を撮像する撮像装置からなり、' 前記基準光軸に対して垂直 な平面内で、 前記反射鏡の回転中心軸を任意の回転中心軸面内傾斜 方向に傾けて設置し、
演算処理装置は、 前記広角撮像装置により得られる画像に対して 演算処理を行い前記回転中心軸面内傾斜方向に応じて傾斜させた展 開画像を生成する展開画像生成部と、 前記展開画像のデータ形式を 出力用の形式に変換し出力画像として生成する出力画像生成部とか らなる
広角画像生成装置。
3 .
前記反射鏡が、
回転中心軸上に内部焦点を持つ双曲面形状であり、 前記双曲面形 状の外部焦点の位置と前記撮像装置の主点の位置を一致または略々 一致させた '
請求項 1または請求項 2記載の広角画像生成装置。
4 .
前記回転中心軸面内傾斜方向を水平方向と一致または略一致させ た
請求項 1〜請求項 3の何れかに記載の広角画像生成装置。
5 .
前記広角撮像装置もしくは前記演算処理装置に、 前記回転中心軸 面内傾斜方向を検出する回転中心軸面内傾斜方向検出部を有し、 前 記回転中心軸面内傾斜方向検出部の出力結果に応じて前記演算処理 装置にて前記展開画像を傾斜させ出力画像を生成する 請求項 1〜請求項 4の何れかに記載の広角画像生成装置。
6.
前記演算処理装置内に設けた回転中心軸面内傾斜方向検出部は. 画像処理して回転中心軸面内傾斜方向を検出するよう構成した 請求項 5記載の広角画像生成装置。
7.
前記広角撮像装置もしくは前記演算処理装置に、 前記回転中心軸 面内傾斜方向を入力する回転中心軸面内傾斜方向入力部を有し、 前 記回転中心軸面内傾斜方向入力部の入力結果に応じて前記演算処理 装置にて前記展開画像を傾斜させ出力画像を生成する
請求項 1〜請求項 4の何れかに記載の広角画像生成装置。
8.
広角撮像装置と演算処理装置からなる広角画像生成装置であって， 広角撮像装置は、 双曲面の回転中心軸に対して垂直な任意の方向 に基準光軸をとり前記基準光軸の方向を 0度として少なくとも角度
Θの範囲 （ 0 1 ^ Θ≤ 0 2、 — 9 0 ° ≤ Θ 1≤ 9 0 ° 、 一 9 0 ° ≤ 0 2 ^ 9 0 ° 、 0 1く 0 2) の双曲面形状の反射面を有する双曲面 反射鏡と、 前記双曲面反射鏡の外部焦点の位置と主点の位置が略々 一致し、 前記双曲面反射鏡の反射像を結像して前記双曲面反射鏡の 回転中心軸周りの少なくとも角度 0の範囲の対象物を撮像する撮像 装置からなり、 前記基準光軸と前記双曲面反射鏡の回転中心軸を含 む平面内で、 前記双曲面反射鏡の回転中心軸を任意の回転中心軸前 方傾斜方向に傾けて設置され、 演算処理装置は、 前記広角撮像装置より得られる画像に対して前 記双曲面反射鏡の内部焦点を通る任意の軸を仮想円筒回転中心軸と した仮想円筒を投影面として演算処理を行い展開画像を生成する展 開画像生成部と、 前記展開画像のデータ形式を出力用の形式に変換 し出力画像として生成する出力画像生成部とからなる
広角画像生成装置。
9 .
前記回転中心軸前方傾斜方向に関わらず、 前記基準光軸と前記双 曲面反射鏡の回転中心軸を含む平面内に設定した基準軸と前記仮想 円筒回転中心軸が平行もしくは一致した
請求項 8記載の広角画像生成装置。
1 0 .
前記回転中心軸前方傾斜方向が、 前記基準光軸と前記双曲面反射 鏡の回転中心軸を含む平面内における前記広角撮像装置の画角中心 が前記基準軸に対して垂直となるような方向である
請求項 9記載の広角画像生成装置。
1 1 .
前記広角撮像装置もしくは前記演算処理装置に、 前記回転中心軸 前方傾斜方向を検出する回転中心軸前方傾斜方向検出部を有し、 前 記回転中心軸前方傾斜方向検出部の出力結果に応じて前記演算処理 装置にて出力画像を生成する
請求項 9または請求項 1 0記載の広角画像生成装置。
1 2 前記広角撮像装置もしくは前記演算処理装置内に、 前記回転中心 軸前方傾斜方向を入力する回転中心軸前方傾斜方向入力部を有し、 前記回転中心軸前方傾斜方向入力部の入力結果に応じて前記出力画 像生成部にて出力画像を生成する
請求項 9または請求項 1 0記載の広角画像生成装置。
1 3.
回転対称体の回転中心軸に対して垂直な任意の方向に基準光軸を とり、前記基準光軸の方向を 0度として少なくとも角度 θの範囲（ 0 1≤ θ≤ θ 2, — 1 8 0 ° ≤ Θ 1≤ 1 8 0 ° 、 一 1 8 0 ° ≤ Θ 2 ^ 1 8 0 ° 、 0 1く 0 2) の凸面形状の反射面を有する反射鏡と、 前記反射鏡の回転中心軸上に主点を有し、 画角を 2 αとした時に 前記回転中心軸上に対して a以下の角度だけ光軸が基準光軸方向に 傾斜しており、 前記反射鏡の反射像を結像して、 前記反射鏡の回転 中心軸周りの少なくとも角度 0の範囲の対象物を撮像する撮像装置 と、
前記撮像装置から得られる広角画像から前記回転中心軸上から見 た展開画像を生成する展開画像生成部と、
前記展開画像生成部が前記広角画像を展開する際の前記広角画像 と前記展開画像の画素対応関係の情報を含む展開テーブルを生成す る展開テーブル生成部と
を設けた広角画像生成装置。
14.
回転対称体の回転中心軸に対して垂直な任意の方向に基準光軸を とり、前記基準光軸の方向を 0度として少なくとも角度 Θの範囲（ 1≤ θ≤ Θ 2, 一 1 8 0 ° ≤ 0 1≤ 1 8 0 ° 、 一 1 8 0 ° ≤ 0 2 1 8 0 ° 、 Θ 1く 0 2 ) の凸面形状の反射面を有する反射鏡と、 前記反射鏡の回転中心軸上に主点を有し、 画角を 2 αとした時に 前記回転中心軸上に対して α以下の角度だけ光軸が基準光軸方向に 傾斜しており、 前記反射鏡の反射像を結像して、 前記反射鏡の回転 中心軸周りの少なくとも角度 0の範囲の対象物を撮像する撮像装置 と、
前記撮像装置から得られる広角画像から前記回転中心軸上から見 た展開画像を生成する展開画像生成部と、
前記展開画像生成部が前記広角画像を展開する際の前記広角画像 と前記展開画像の画素対応関係の情報を含む展開テーブルを生成す る展開テーブル生成用演算処理装置と、
前記展開テーブル生成用演算処理装置で生成された前記展開テー ブルを保持するとともに前記展開画像生成部に接続された展開テー ブル記憶部と
を設けた広角画像生成装置。
1 5 .
凸面形状の反射面を有する反射鏡と、
前記反射鏡の回転中心軸上に主点を有し、 前記反射鏡の反射像を 結像して前記反射鏡の回転中心軸周り 3 6 0度の範囲の対象物を撮 像する撮像装置と、
前記撮像装置から得られる広角画像から前記回転中心軸上から見 た展開画像を生成する展開画像生成部と、
前記展開画像生成部が前記広角画像を展開する際の前記広角画像 と前記展開画像の画素対応関係の情報を含む展開テーブルを生成す る展開テーブル生成部と
を設けた広角画像生成装置。
1 6 .
凸面形状の反射面を有する反射鏡と、
前記反射鏡の回転中心軸上に主点を有し、 前記反射鏡の反射像を 結像して前記反射鏡の回転中心軸周り 3 6 0度の範囲の対象物を撮 像する撮像装置と、
前記撮像装置から得られる広角画像から前記回転中心軸上から見 た展開画像を生成する展開画像生成部と、
前記展開画像生成部が前記広角画像を展開する際の前記広角画像 'と前記展開画像の画素対応関係の情報を含む展開テーブルを生成す る展開テーブル生成用演算処理装置と、
前記展開テーブル生成用演算処理装置で生成された前記展開テー ブルを保持するとともに前記展開画像生成部に接続された展開テー ブル記憶部と
を設けた広角画像生成装置。
1 7 .
前記反射鏡が、回転中心軸上に内部焦点を持つ双曲面形状であり、 前記双曲面形状の外部焦点の位置と前記撮像装置の主点の位置が 略々一致することを特徴とする
請求項 1 3〜請求項 1 6の何れかに記載の広角画像生成装置。
1 8 .
展開テーブル生成部または展開テーブル生成用演算処理装置を、 撮像装置の光軸の傾斜量に応じた広角画像と展開画像の画素対応 関係の情報を含む展開テーブルを生成するよう構成した 請求項 1 7記載の広角画像生成装置。
1 9.
展開テーブル生成部または展開テーブル生成用演算処理装置を、 下記の数式に従って展開テーブルを生成するよう構成した
請求項 1 7記載の広角画像生成装置。
tana; = { (b 2+c 2) · sin/3 — 2 b c } / { (b 2— c 2) · cos /3 } c = (a 2+b 2) 0-5
(x Hy 2) "· 5 = F · eos β /COS T ( Θ )ノ sin ( + r ( Θ ) ) εοβ = cos0 / ( 1 +tan2r (90° ) · sin20 ) 0-5
tan r ( Θ ) = tan r (90 ) · sin Θ
但し、 a， bは反射鏡の双曲面形状を決定する定数であり、 双曲 面形状は、 丫2空間にぉぃて（ 2 + ¥2) & 2— 22/ 132= _ 1と 表せる双曲面のうちの Z〉0のものであり、 αは前記反射鏡の内部 焦点と空間上の任意点を結ぶ直線と ΧΥ平面のなす角度、 βは前記 任意点からの入射光が撮像装置の撮像面上に入射する点と前記撮像 装置の主点とを結ぶ直線が ΧΥ平面となす角度、 Fは前記撮像装置 の焦点距離、 Θは ΧΥ平面において基準光軸方向を 9 0度とした時 の前記入射光の入射方向、 τは前記入射方向 Θに依存した前記撮像 面の傾き、 φは前記入射光の前記撮像面上における入射方向である。
2 0.
展開テーブル生成部または展開テーブル生成用演算処理装置を、 撮像装置の光学収差による歪みを含んだ広角画像と歪補正後の広 角画像の対応関係と、 前記歪補正後の広角画像と展開画像の対応関 係を合成した画素対応関係の情報を含む展開テーブルを生成するよ う構成した 請求項 1 3〜請求項 1 7の何れかに記載の広角画像生成装置。
2 1 .
展開テーブル生成部または展開テーブル生成用演算処理装置を、 広角画像と展開画像の画素対応関係を考える際の仮想投影面の形 状を変更することにより、 前記広角画像と前記展開画像の画素対応 関係を変更した展開テーブルを生成するよう構成した
請求項 1 3〜請求項 1 Ίの何れかに記載の広角画像生成装置。
2 2 .
展開テーブル生成部または展開テーブル生成用演算処理装置を、 展開画像上に設けた任意のマスク領域内における広角画像と展開 画像の画素対応関係を任意に変更し、 前記マスク領域内の展開画像 をマスクするような展開テーブルを生成するよう構成した
請求項 1 3〜請求項 1 7の何れかに記載の広角画像生成装置。
2 3 .
展開画像生成部の後段に、 展開画像生成部の後処理として、 展開 画像上の位置に応じて強調度を変えた高周波成分強調処理を行う画 質補正処理部を追加した
請求項 1 3〜請求項 1 7の何れかに記載の広角画像生成装置。
2 4 .
展開画像生成部によって展開された画像の特定エリアを本来のも のと異なる画像にする画像マスク処理を行う画像マスク処理部を設 けた
請求項 1 7または請求項 2 3に記載の広角画像生成装置。
PCT/JP2002/004870 2001-05-25 2002-05-20 Dispositif de generation d'image grand-angle WO2002097730A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US10/477,685 US7312810B2 (en) 2001-05-25 2002-05-20 Wide-angle image generating device
EP20020774063 EP1413982A1 (en) 2001-05-25 2002-05-20 Wide-angle image generating device
CNB028149238A CN1315098C (zh) 2001-05-25 2002-05-20 广角图像生成装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2001156202 2001-05-25
JP2001-156202 2001-05-25
JP2002-55117 2002-03-01
JP2002055117 2002-03-01

Publications (1)

Publication Number Publication Date
WO2002097730A1 true WO2002097730A1 (fr) 2002-12-05

Family

ID=26615683

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/004870 WO2002097730A1 (fr) 2001-05-25 2002-05-20 Dispositif de generation d'image grand-angle

Country Status (4)

Country Link
US (1) US7312810B2 (ja)
EP (1) EP1413982A1 (ja)
CN (1) CN1315098C (ja)
WO (1) WO2002097730A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842127A (zh) * 2011-05-10 2012-12-26 哈曼贝克自动系统股份有限公司 环景显示系统摄像机仅对外参数的自动标定

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040114035A1 (en) * 1998-03-24 2004-06-17 Timothy White Focusing panel illumination method and apparatus
JP4010444B2 (ja) * 2002-02-28 2007-11-21 シャープ株式会社 全方位監視制御システム、全方位監視制御方法および全方位監視制御プログラム
KR100664351B1 (ko) * 2004-12-15 2007-01-02 엘지전자 주식회사 광축 오프셋 값을 이용한 프라이버시 마스크 표시제어장치 및 방법
US7493038B2 (en) 2004-12-15 2009-02-17 Lg Electronics Inc. Method and apparatus for controlling privacy mask display
DE102007009185A1 (de) * 2007-02-26 2008-08-28 Siemens Ag Verfahren zur Planung einer angiographischen Messung
WO2009021223A1 (en) 2007-08-08 2009-02-12 Frank William Harris Systems and methods for image capture, generation, & presentation
JP4787292B2 (ja) * 2008-06-16 2011-10-05 富士フイルム株式会社 全方位撮像装置
US8441532B2 (en) * 2009-02-24 2013-05-14 Corning Incorporated Shape measurement of specular reflective surface
EP2418530B1 (en) * 2009-04-06 2015-03-11 Panasonic Corporation Optical system and imaging device
CN101859021B (zh) * 2009-04-08 2013-02-13 鸿富锦精密工业（深圳）有限公司 光学成像系统
EP2544448A4 (en) * 2010-03-04 2013-11-20 Panasonic Corp IMAGE DISPLAY DEVICE AND IMAGE DISPLAY PROCESS
CN103460249B (zh) * 2011-12-21 2016-08-17 松下知识产权经营株式会社 图像处理装置以及图像处理方法
JP2013214947A (ja) 2012-03-09 2013-10-17 Ricoh Co Ltd 撮像装置、撮像システム、画像処理方法、情報処理装置、及びプログラム
KR20140100656A (ko) * 2013-02-06 2014-08-18 한국전자통신연구원 전방향 영상 및 3차원 데이터를 이용한 시점 영상 제공 장치 및 방법
CN104469167B (zh) * 2014-12-26 2017-10-13 小米科技有限责任公司 自动对焦方法及装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999030197A1 (en) * 1997-12-05 1999-06-17 The Trustees Of Columbia University In The City Of New York An omnidirectional imaging apparatus
JP2001109881A (ja) * 1999-10-12 2001-04-20 Matsushita Electric Ind Co Ltd 画像処理システム及び画像処理方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2939087B2 (ja) 1993-04-07 1999-08-25 シャープ株式会社 全方位視覚系
US6215519B1 (en) * 1998-03-04 2001-04-10 The Trustees Of Columbia University In The City Of New York Combined wide angle and narrow angle imaging system and method for surveillance and monitoring
US7176960B1 (en) * 1999-09-20 2007-02-13 The Trustees Of Columbia University In The City Of New York System and methods for generating spherical mosaic images
JP2002196438A (ja) * 2000-10-20 2002-07-12 Matsushita Electric Ind Co Ltd 広角撮像装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1999030197A1 (en) * 1997-12-05 1999-06-17 The Trustees Of Columbia University In The City Of New York An omnidirectional imaging apparatus
JP2001109881A (ja) * 1999-10-12 2001-04-20 Matsushita Electric Ind Co Ltd 画像処理システム及び画像処理方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102842127A (zh) * 2011-05-10 2012-12-26 哈曼贝克自动系统股份有限公司 环景显示系统摄像机仅对外参数的自动标定

Also Published As

Publication number Publication date
CN1315098C (zh) 2007-05-09
EP1413982A1 (en) 2004-04-28
CN1535449A (zh) 2004-10-06
US20040104996A1 (en) 2004-06-03
US7312810B2 (en) 2007-12-25

Similar Documents

Publication Publication Date Title
US11049218B2 (en) Seamless image stitching
WO2002097730A1 (fr) Dispositif de generation d&#39;image grand-angle
US10621767B2 (en) Fisheye image stitching for movable cameras
US9686479B2 (en) Method for combining multiple image fields
CN104995905B (zh) 图像处理设备、拍摄控制方法和程序
US9998659B2 (en) Method and system for adaptive perspective correction of ultra wide-angle lens images
JP4629131B2 (ja) 画像変換装置
CN102595168B (zh) 用于360度立体视频的无缝左/右视图
US9244258B2 (en) Omnidirectional imaging system
CN108513072A (zh) 图像处理器、图像处理方法和成像系统
JP3817302B2 (ja) 画像生成装置
JP2017208619A (ja) 画像処理装置、画像処理方法、プログラム及び撮像システム
JP2018110295A (ja) 画像処理装置および画像処理方法
GB2555908A (en) Multi-tier camera rig for stereoscopic image capture
KR102650217B1 (ko) 이미지를 제공하기 위한 방법 및 이를 지원하는 전자 장치
JP2019029721A (ja) 画像処理装置、画像処理方法およびプログラム
JP5169787B2 (ja) 画像変換装置および画像変換方法
JP4175832B2 (ja) 広角画像生成装置
JP3929346B2 (ja) ステレオ画像表示方法およびステレオ画像表示装置
KR20110103724A (ko) 어안렌즈를 이용한 증강현실 구현 시스템 및 그 구현 방법
JPH11211440A (ja) 三次元形状復元装置及び方法並びに三次元形状復元プログラムを記録したコンピュータ読取り可能な記録媒体
JP4409861B2 (ja) 三次元座標測定装置及び方法
TWI551140B (zh) 廣角變形的校正方法
CN115695749A (zh) 显示装置的控制方法、显示装置以及控制芯片
Amjadi Comparing of radial and tangencial geometric for cylindric panorama

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CN US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE TR

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 10477685

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2002774063

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 20028149238

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 2002774063

Country of ref document: EP

WWW Wipo information: withdrawn in national office

Ref document number: 2002774063

Country of ref document: EP