WO2022107405A1 - ３次元画像処理装置 - Google Patents

３次元画像処理装置 Download PDF

Info

Publication number
WO2022107405A1
WO2022107405A1 PCT/JP2021/030400 JP2021030400W WO2022107405A1 WO 2022107405 A1 WO2022107405 A1 WO 2022107405A1 JP 2021030400 W JP2021030400 W JP 2021030400W WO 2022107405 A1 WO2022107405 A1 WO 2022107405A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging unit
image processing
unit
imaging
processing device
Prior art date
Application number
PCT/JP2021/030400
Other languages
English (en)
French (fr)
Inventor
良太 川俣
和良 山崎
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2022107405A1 publication Critical patent/WO2022107405A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/245—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures using a plurality of fixed, simultaneously operating transducers
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images

Definitions

  • the present invention relates to a three-dimensional image processing device.
  • the surveillance camera installed on the ceiling is required to have a horizontal circumference of 360 degrees and a wide field of view from horizontal to directly below in the vertical direction.
  • image acquisition In order to track a person with high reliability and accurately measure the dimensions of a subject within this visual field range, not only image acquisition but also three-dimensional sensing based on distance measurement is required.
  • uniform three-dimensional sensing accuracy is required at a circumference of 360 degrees in the horizontal direction.
  • Patent Document 1 discloses a device that captures an omnidirectional space around the Z axis and performs three-dimensional sensing by an optical system configured by arranging a camera unit and a mirror unit in the Z axis direction.
  • Patent Document 2 discloses a device that captures an omnidirectional space around the Z-axis and performs three-dimensional sensing by two wide-field optical systems installed at different X-axis positions in the same Z-axis direction. There is.
  • Non-Patent Document 1 describes a device that captures an omnidirectional space around the Z-axis and senses it three-dimensionally by two wide-field optical systems installed at different Z-axis positions in opposite Z-axis directions. It has been disclosed.
  • Patent Document 1 and Non-Patent Document 1 enable three-dimensional sensing around the entire circumference in the horizontal direction. However, in the vertical direction, a sufficient field of view for performing three-dimensional sensing cannot be obtained, so that three-dimensional sensing cannot be performed in the vertical direction.
  • the present invention has been made in view of such a situation, and is capable of three-dimensional sensing around the entire horizontal direction in the range from the horizontal in the vertical direction to the vicinity directly below, and the distance accuracy is determined by the angle in the horizontal direction. It is an object of the present invention to provide a three-dimensional image processing apparatus that does not change.
  • the three-dimensional image processing device is a three-dimensional image processing device that extracts distance information from the captured image obtained from the first imaging unit and the captured image obtained from the second imaging unit.
  • the first imaging unit has a first lens and a first sensor.
  • the second image pickup unit has a second lens and a second sensor.
  • the first sensor, the first lens, the second sensor, and the second lens are sequentially arranged on a substantially straight line connecting the first image pickup unit and the second image pickup unit. It is provided with a stereo processing unit that performs stereoscopic viewing in a common area where the image pickup area of the first image pickup unit and the image pickup area of the second image pickup unit overlap to generate a distance image.
  • FIG. 1 It is a block diagram which shows the structural example of the 3D image processing apparatus which concerns on Embodiment 1 of this invention. It is a figure explaining the example of the installation of two image pickup units and the image pickup area which concerns on Embodiment 1 of this invention. It is a figure explaining the example of the blind spot which occurs in the vertical downward direction in Embodiment 1.
  • FIG. It is a figure which compares and shows the stereo-viewable range in Embodiment 1 and non-Patent Document 1.
  • FIG. It is a perspective view which looked at the 3D image processing apparatus installed in the corner part of the angle of 180 degrees or more from the diagonally upward direction. It is a figure explaining the method of acquiring 3D information in the non-common area which concerns on Embodiment 3 of this invention.
  • FIG. 11 is a perspective view of a case where the three-dimensional image processing apparatus shown in FIG. 11 is installed at a corner so that the baseline is in the vertical direction, as viewed from diagonally above.
  • FIG. 1 is a block diagram showing a configuration example of a three-dimensional image processing apparatus according to the first embodiment of the present invention.
  • the three-dimensional image processing device 1 of the present embodiment is installed on the ceiling of, for example, a store or a factory.
  • the three-dimensional image processing device 1 can capture an image of at least the entire circumference from the horizontal to the vertical direction directly below the installation location.
  • the circumference of the installation location of the three-dimensional image processing device 1 from the horizontal to the vertical direction is, for example, an omnidirectional direction orthogonal to the vertical axis with the height direction from the floor to the ceiling as the vertical direction.
  • a surveillance camera is equipped with a control unit that controls shooting control, pan / tilt / zoom control, object detection, and the like.
  • the control unit is realized by executing a control program by a computer such as a CPU (Central Processing Unit).
  • the three-dimensional image processing device 1 is communicably connected to the control unit directly or via a communication network, and outputs information such as a captured image and a distance image generated based on the captured image to the control unit.
  • the three-dimensional image processing device 1 includes a first image pickup unit 10A, a second image pickup unit 10B, and an image processing unit 20.
  • the first imaging unit 10A is a monocular camera and includes a lens (first lens) 11A and an image sensor (first sensor) 12A.
  • the second image pickup unit 10B is also a monocular camera, and includes a lens (second lens) 11B and an image sensor (second sensor) 12B.
  • the lenses 11A and 11B are ultra-wide-angle lenses having an angle of view exceeding 180 degrees, such as a fisheye lens.
  • the projection method of the lenses 11A and 11B may be, for example, an iso-solid angle projection method or any other method.
  • the image sensor 12A receives light that has passed through the lens 11A on the light receiving surface.
  • the image sensor 12A converts the received signal into an captured image signal, and outputs the captured image signal to the input I / F (interface) 21A of the image processing unit 20.
  • the image sensor 12B receives light that has passed through the lens 11B on the light receiving surface.
  • the image sensor 12B converts the received signal into an captured image signal, and outputs the captured image signal to the input I / F (interface) 21B of the image processing unit 20.
  • the image processing unit 20 is a functional block that performs image processing on each of the captured image signals output from the first image pickup unit 10A and the second image pickup unit 10B.
  • the image processing unit 20 includes an input I / F21A, an input I / F21B, a correction unit 22A, a correction unit 22B, a stereo processing unit 23, and an output I / F24.
  • Each component of the image processing unit 20 may be realized by a circuit, or at least a part thereof may be realized by a computer such as a CPU that executes a program and a memory.
  • the input I / F 21A is provided with, for example, an A / D (analog / digital) converter, digitally converts the captured image signal output from the image sensor 12A, and outputs the digitally converted captured image signal to the correction unit 22A in the subsequent stage. do.
  • the input I / F21B is provided with, for example, an A / D (analog / digital) converter, digitally converts the captured image signal output from the image sensor 12B, and outputs the digitally converted captured image signal to the correction unit 22B in the subsequent stage. do.
  • the correction unit 22A corrects the captured image by performing various image processing on the digitally converted captured image signal output from the input I / F 21A.
  • the correction unit 22A outputs the captured image signal after image processing to the stereo processing unit 23.
  • the image processing executed by the correction units 22A and 22B is, for example, a general-purpose geometric transformation. As a result, the distorted captured image can be converted into an image in a predetermined coordinate system (for example, a cylindrical coordinate system).
  • the image processing executed by the correction units 22A and 22B may also include, for example, demosaiking processing and the like.
  • the stereo processing unit 23 executes stereo processing using the corrected captured images output from the correction units 22A and 22B, respectively, and outputs the processing result to the output I / F 24.
  • the stereo processing unit 23 executes stereo processing on a region (common field of view) where the imaging region (field of view) SA of the first imaging unit 10A and the imaging region (field of view) SB of the second imaging unit 10B overlap. ..
  • the stereo processing unit 23 extracts the distance information of each position of the common field of view by a known stereo method using the corrected image taken by the first image pickup unit 10A and the corrected image taken by the second image pickup unit 10B. , Generate distance image data.
  • the stereo processing unit 23 generates distance image data for all directions including the common field of view, and outputs the distance image data to the output I / F 24.
  • the stereo processing unit 23 also outputs each captured image data (captured image) before image processing output from the first imaging unit 10A and the second imaging unit 10B to the output I / F 24.
  • the output I / F 24 outputs the captured image data and the distance image data output from the stereo processing unit 23 to the control unit CTR of the CPU, ECU, or the like.
  • FIG. 2 is a diagram illustrating an example of an installation of two image pickup units and an image pickup area according to the first embodiment of the present invention.
  • FIG. 2 is a plan view of the three-dimensional image processing device 1 as viewed from the horizontal direction.
  • FIG. 2 (a) shows the three-dimensional image processing device 1 in an enlarged manner
  • FIG. 2 (b) shows the three-dimensional image processing device 1 in a reduced size and shows a vertical field of view thereof.
  • the imaging direction of the first imaging unit 10A is set to face vertically downward D shown in FIG. 2B, for example.
  • the imaging direction of the second imaging unit 10B is also set to face, for example, vertically downward D.
  • the positional relationship between the first image pickup unit 10A and the second image pickup unit 10B is set so that the lenses 11A and 11B and the image sensors 12A and 12B are arranged substantially linearly.
  • the image sensor 12A, the lens 11A, the image sensor 12B, and the lens 11B are arranged so as to be arranged in order from vertically above.
  • the imaging region SA of the first imaging unit 10A is divided into the peripheral portion SA1 and the central portion SA2
  • the imaging region SB of the second imaging unit 10B is divided into the peripheral portion SB1 and the central portion SB2.
  • the peripheral portion SA1 and the peripheral portion SB1 overlap each other to form a common region S1 that covers the periphery of the three-dimensional image processing device 1.
  • the central portion SB2 Since the field of view of the central portion SA2 is blocked by the second imaging unit 10B, it becomes a blind spot from the first imaging unit 10A. Therefore, the central portion SB2 forms a non-common region S2 that covers the vertical downward direction D of the three-dimensional image processing apparatus 1.
  • the distance information cannot be acquired or the distance information cannot be acquired on and around the baseline which is a straight line connecting the two imaging units (first imaging unit 10A and the second imaging unit 10B).
  • the influence of these is minimized by arranging the region where the distance information cannot be acquired by the stereo method and the region where the distance information cannot be acquired due to the blind spot at the same position.
  • distance information can be acquired in a wide range in both the horizontal direction and the vertical direction.
  • the baseline connecting the viewpoint of the first imaging unit 10A and the viewpoint of the second imaging unit 10B is arranged so as to coincide with the optical axis of each imaging unit, the horizontal direction perpendicular to the baseline is the entire circumference.
  • FIG. 10 is a diagram illustrating an example of an imaging direction and an imaging region when the prior art is applied.
  • FIG. 10 shows an example of an imaging direction and an imaging region in Non-Patent Document 1.
  • the first image pickup unit 10a and the second image pickup unit 10b having the lens 11a and the lens 11b having an angle of view of more than 180 degrees are used, and the image pickup direction of the first image pickup unit 10a is set to face the vertically upward direction U. Will be done.
  • the imaging direction of the second imaging unit 10b is set so as to face the vertical downward direction D.
  • the hemispherical imaging region Sa of the first imaging unit 10a is divided into the peripheral portion Sa1 and the central portion Sa2 and the hemispherical imaging region Sb of the second imaging unit 10b is divided into the peripheral portion Sb1 and the central portion Sb2. ..
  • the strip-shaped peripheral portion Sa1 and the peripheral portion Sb1 overlap each other to form a common region Sc that covers the front-back and left-right direction LRFB of the three-dimensional image processing apparatus.
  • F is in the back direction of the paper surface
  • B is in the front direction of the paper surface.
  • the central portion Sa2 forms a non-common region that covers the upward U and the left-right front-rear direction LRFB of the three-dimensional image processing device.
  • the central portion Sb2 forms a non-common region that covers the downward D and the left-right front-rear direction LRFB of the three-dimensional image processing device.
  • central Sa2, central Sb2, common region Sc only the region around the horizontal plane (common region Sc) is the horizontal periphery of the three-dimensional image processing device.
  • the field of view is covered, and distance information can be acquired by the stereo method within that range.
  • Patent Document 1 presents a technique using a curved mirror as a three-dimensional image processing device that covers a similar field of view.
  • the first imaging unit 10a and the second imaging unit 10b which have curved mirrors having an angle of view of more than 180 degrees, are used.
  • the direction of the lens 11a is set so as to face the vertical downward direction D of the three-dimensional image processing device.
  • the curved mirror of the first imaging unit 10a faces upward U.
  • the direction of the lens 11b is set so as to face the upward direction U of the three-dimensional image processing device.
  • the curved mirror of the second image pickup unit 10b faces downward D.
  • the field of view is the same as in FIG. 10 (b).
  • a three-dimensional image processing device including a first image pickup unit 10a and a second image pickup unit 10b is hung from the ceiling and installed. At this time, since most of the floor surface and the lower hemisphere that captures the subject existing there are occupied by the central portion Sb2 which is a non-common region, the distance information cannot be acquired by the stereo method.
  • FIG. 11 is a diagram illustrating another example of the imaging direction and the imaging region when the prior art is applied.
  • FIG. 11 shows an example of the imaging direction and the imaging region in Patent Document 2.
  • the first imaging unit 10a'and the second imaging unit 10b' having a lens 11a'and a lens 11b' with a wide viewing angle are used, and the imaging directions of the first imaging unit 10a'and the second imaging unit 10b' are used.
  • U is toward the front of the paper and D is toward the back of the paper.
  • the hemispherical imaging region Sa'of the first imaging unit 10a' is divided into a right portion Sa1', a central portion Sa2', and a left portion Sa3'
  • the curved central portion Sa2'and the central portion Sb2' overlap each other and form a common region Sc'that covers the UDFB in the vertical and anteroposterior directions of the three-dimensional image processing device.
  • the portion shadowed by the second image pickup unit 10b' forms the right portion Sa1'.
  • the portion overlapping the right portion Sa1' forms the right portion Sb1'.
  • the portion shadowed by the first image pickup unit 10a' forms the left portion Sb3'.
  • the portion overlapping the left portion Sb3' forms the left portion Sa3'.
  • each of the curved imaging regions (common region Sc', right portion Sb1', left portion Sa3'), the region around the axis in the front-rear direction (FB) of the three-dimensional image processing apparatus.
  • the front-back and upward-looking surrounding fields of view are covered.
  • a three-dimensional image processing device including a first image pickup unit 10a'and a second image pickup unit 10b' is installed downward on the ceiling as a normally conceivable installation method.
  • the imaging units of each other become blind spots, so that the distance information cannot be acquired by the stereo method.
  • the baseline is arranged in the left-right direction (LR)
  • the accuracy of the distance information changes depending on the angle around the horizontal direction with the vertical direction (UD) as the axis.
  • the accuracy of the distance information is low in the vicinity of the left-right direction (LR) close to the baseline direction.
  • the distance information can be acquired even in the lower hemisphere, so that the distance information to the floor surface and the subject existing there can be acquired. Can be done.
  • the baseline is arranged in the vertical direction (UD)
  • the accuracy of the distance information depends on the angle in the horizontal direction when considering the horizontal direction with the vertical direction (UD) as the axis.
  • the accuracy of the horizontal distance information becomes uniform. Therefore, in the present embodiment, uniform three-dimensional sensing around the surveillance camera is possible. Here, it returns to the description of this embodiment.
  • FIG. 3 is a diagram illustrating an example of a blind spot that occurs in the vertical downward direction in the first embodiment.
  • the baseline length between the first imaging unit 10A and the second imaging unit 10B is L
  • the radius having a size that creates a blind spot of the second imaging unit 10B is C
  • the first imaging unit 10A and the floor surface 30B are used.
  • H be the distance
  • DA be the radius of the blind spot on the floor surface 30B
  • ⁇ half of the expected blind spot from the first imaging unit 10A. Ignoring the vertical thicknesses of the first imaging unit 10A and the second imaging unit 10B, the following equation (1) holds from FIG.
  • the blind spot diameter 2DA should be about half or less of the diameter of the assumed subject. If the radius DA of the blind spot is larger than this, the accuracy of subject recognition and distance measurement may be insufficient. Assuming that the upper limit of the size of the radius DA of the blind spot is D 0 , the baseline length L is limited by the condition shown in the following equation (2).
  • the upper limit value D 0 of the size of the radius DA of the blind spot is about 15 cm.
  • H is a general ceiling 30A with a height of 2.5 m and C is a general fisheye lens with a radius of 2 cm
  • the baseline length L must satisfy the condition of 33.3 cm or more. At this time, half ⁇ of the expected blind spot is 3.4 degrees.
  • the focal lengths of the first imaging unit 10A and the second imaging unit 10B are the same and are f in pixel units. Further, it is assumed that the upper limit value of the measurement error of the distance to the subject at a distance H is X%. At this time, the baseline length L is limited by the condition of the following equation (3).
  • H is a general ceiling 30A with a height of 2.5 m
  • f is a focal length of 800 in pixel units of a general fisheye lens
  • the upper limit X of the error of distance measurement is 5%.
  • the baseline length L must satisfy the condition of 6.6 cm or more.
  • the baseline length of the present embodiment the smallest value that simultaneously satisfies the condition of the formula (2) and the condition of the formula (3) can be used.
  • the conditions for the baseline length it is possible to install the two imaging units at an appropriate interval.
  • the upper limit of the baseline length can be, for example, the distance from the floor surface 30B to the ceiling 30A, and when installed in a vehicle, the vehicle height can be set, for example. can.
  • the explanation was given here under three conditions, but it is not limited to this.
  • the baseline length may be increased depending on the detection target. In this way, the conditions can be appropriately changed according to the usage pattern and the detection target.
  • FIG. 4 is a diagram comparing the stereo-viewable range in the first embodiment and the non-patent document 1.
  • the vertical axis of FIG. 4 is the stereoscopic angle in the range that can be viewed in stereo, and the horizontal axis of FIG. 4 is the angle of view of the imaging unit.
  • the two image pickup units (first image pickup unit 10A and the second image pickup unit 10B) in the first embodiment and the two image pickup units (first image pickup unit 10a and second image pickup unit 10b) in Non-Patent Document 1 The characteristics such as the angle of view were the same.
  • Half of the expected blind spot ⁇ was set to 3.4 degrees.
  • Non-Patent Document 1 when the angle of view of the imaging unit is 180 degrees or less, the technique of Non-Patent Document 1 does not have a stereo-viewable range. On the other hand, in the present embodiment, stereo viewing is possible even if the angle of view of the imaging unit is 180 degrees or less.
  • the present embodiment can greatly widen the stereoscopic viewing range as compared with Non-Patent Document 1.
  • the field of view can be expanded to about twice that of the conventional one.
  • surveillance cameras and the like may require high-resolution images and low-resolution distance information.
  • a lens 11B and an image sensor 12B having a high resolution are used, and the lens 11A and the image sensor 12A of the first image pickup unit 10A have a low resolution. You can use things. By doing so, it is possible to obtain the necessary distance information while reducing the cost.
  • a sensor with a small sensor size may be used.
  • the imaging region SA is reduced. Therefore, when a sensor having a small sensor size is used, a similar imaging region SA can be secured by shortening the focal length of the lens 11A. At the same time, it is also possible to reduce the decrease in resolution by using the adjustment of the image height characteristic described later in the fourth embodiment together.
  • the resolution of the distance information required for the resolution of the image is 1/4
  • the required information can be obtained even if the resolution of the image sensor 12A is 1/4 of the resolution of the image sensor 12B.
  • the load of image processing can be reduced.
  • the ratio of the resolution of the image sensor 12A to the resolution of the image sensor 12B is 1: 4 is taken as an example, but the specific numerical value of the resolution ratio is not particularly limited.
  • FIG. 5 is a perspective view of a three-dimensional image processing device installed at a corner portion having an angle of 180 degrees or more as viewed from an obliquely upward direction.
  • FIG. 5A shows an enlarged three-dimensional image processing apparatus 1
  • FIG. 5B shows the three-dimensional image processing apparatus 1 viewed from above and the horizontal imaging regions SA and SB thereof.
  • the first imaging unit 10A and the second imaging unit 10B shown in FIG. 5 are installed vertically downward on the corner portion 40 having an angle of 180 degrees or more. Since the three-dimensional image processing device 1 has an image pickup region SA and SB having a circumference of 360 degrees in the horizontal direction, even when the three-dimensional image processing device 1 is installed in a corner portion 40 having an angle of 180 degrees or more, the entire circumference thereof is covered. It can be imaged.
  • FIG. 12 is a perspective view of the case where the three-dimensional image processing apparatus shown in FIG. 11 is installed at a corner so that the baseline is in the vertical direction, as viewed from diagonally above.
  • FIG. 12 shows a case where the technique of Patent Document 2 is used.
  • an enlarged three-dimensional image processing device is shown on the left side, and a three-dimensional image processing device viewed from above and its horizontal imaging regions Sa'and Sb' are shown on the right side.
  • the image sensor 12A is used so as to maximize the imaging regions SA and SB while minimizing the portion that becomes a blind spot due to the corner portion 40.
  • 12B can be staggered and arranged. For example, by arranging the centers of the image sensors 12A and 12B so as to be closer to the corner portion 40 side by shifting the optical axis of the lenses 11A and 11B, it is possible to minimize the portion that becomes a blind spot due to the corner portion 40. .. ⁇ Main effects of this embodiment>
  • the image sensor 12A, the lens 11A, the image sensor 12B, and the lens 11B are sequentially arranged on a substantially straight line connecting the first image pickup unit 10A and the second image pickup unit 10B.
  • the stereo processing unit 23 performs stereo vision in a common area where the image pickup area of the first image pickup unit 10A and the image pickup area of the second image pickup unit 10B overlap to generate a distance image. According to this configuration, three-dimensional sensing in the range from the horizontal to the vicinity directly below is possible in the entire circumference in the horizontal direction and in the vertical direction. Furthermore, the distance accuracy does not change depending on the horizontal angle.
  • the iso-solid angle projection method is taken as an example, but the projection method is not particularly limited.
  • an example is illustrated in which a part of the first imaging unit 10A is embedded in the ceiling 30A and the second imaging unit 10B hangs from the ceiling 30A, but the configuration is not limited to this and the second imaging unit is not limited to this.
  • the 10B is also embedded in the ceiling 30A, or when all of the first imaging unit 10A is embedded in the ceiling 30A, it is possible that all of the first imaging unit 10A hangs from the ceiling 30A.
  • the first imaging unit 10A and the second imaging unit 10B may not be fixed to the ceiling, but may be fixed to a support extending from the floor surface 30B or the wall surface 30D.
  • the image pickup unit captures at least the surroundings of the vehicle in the horizontal to vertical downward direction.
  • the circumference from the horizontal to the vertical direction of the vehicle is, for example, an omnidirectional direction orthogonal to the axis in the vertical direction when the height direction of the vehicle is the vertical direction. That is, the circumference in the horizontal direction is 360 degrees omnidirectional including the front, rear, left and right of the vehicle.
  • the first imaging unit 10A images the substantially center of the second imaging unit 10B. According to this configuration, for example, as shown in FIG. 2, it is possible to evenly distribute the two common regions S1 sandwiching the non-common region S2 from the left and right.
  • At least one of the lenses 11A and 11B can be a fisheye lens having an angle of view exceeding 180 degrees. According to this configuration, by setting the imaging direction of the imaging unit to the vertically downward direction or the vertical upward direction, it is possible to acquire the captured image of the entire circumference in the horizontal direction.
  • the first image pickup unit 10A and the second image pickup unit 10B are installed on the ceiling, and the image pickup direction of the first image pickup unit 10A and the image pickup direction of the second image pickup unit 10B are on the floor surface. Set to face. According to this configuration, the three-dimensional image processing device 1 can be suitably applied to a surveillance camera installed on the ceiling. (Embodiment 2)
  • the distance information could not be extracted in the non-common area S2 (see FIG. 2).
  • the present embodiment is different from the first embodiment in that the distance information of the non-common region S2 is calculated.
  • the distance information can be acquired for the common area S1 (see FIG. 2) by using the stereo method.
  • the non-common area S2 when the three-dimensional image processing device 1 is installed in a moving body such as a vehicle, distance information is extracted by, for example, the following method.
  • the stereo processing unit 23 extracts distance information by a known motion stereo method based on two images acquired at different positions and times while the vehicle is moving, and generates distance image data.
  • the motion stereo method is a method in which one camera is moved and images obtained at two positions and times are used for stereoscopic viewing, and is also called a moving parallax method.
  • the distance information by the motion stereo method is less accurate than the distance information by the stereo method, so it is desirable to use the distance information by the motion stereo method in a complementary manner.
  • the distance information is extracted by using the motion stereo method for the non-common area S2, but the calculation method of the distance information is not limited to this.
  • the distance to an object may be calculated using AI (Artificial Intelligence) technology.
  • the distance information is obtained by using the stereo method for the common area S1, and the distance information is obtained by using the motion stereo method for the non-common area S2.
  • the distance information is obtained by using the motion stereo method for the non-common area S2.
  • the third embodiment will be described.
  • the distance information for the non-common area S2 cannot be acquired.
  • a method of acquiring distance information with respect to the non-common area S2 of a moving subject when the three-dimensional image processing device 1 is installed on a non-moving body such as a ceiling will be described.
  • the distance information is extracted for the non-common area S2 by using the motion stereo method.
  • the 3D image processing device 1 is installed on a non-moving object such as a ceiling, it is possible to calculate the relative movement distance between the 3D image processing device 1 and the subject between the two times. Can not. If the relative movement distance cannot be calculated, the distance information using the motion stereo method cannot be extracted.
  • the relative moving distance between the three-dimensional image processing device 1 and the subject is calculated.
  • FIG. 6 is a diagram illustrating a method of acquiring three-dimensional information in a non-common region according to the third embodiment of the present invention.
  • FIG. 6 shows parameters for calculating the distance information of the non-common area.
  • the distance H from the first imaging unit 10A to the floor surface 30B is acquired.
  • the distance H may be measured when the three-dimensional image processing device 1 is installed, or may be acquired by interpolating the value of the three-dimensional information calculated in the surrounding common area S1.
  • the subject 40A is the subject appearing in the captured image acquired at a certain time (imaging time), and the subject 40B is the same subject appearing in the captured image acquired at a different time after that.
  • the distance information to be calculated is the height T of the subjects 40A and 40B.
  • Ds be the distance between the subjects 40A and 40B on the floor surface 30B.
  • the position where the point where the subject 40A contacts the floor surface 30B is projected on the image pickup surface 30C is defined as b0 .
  • the position where the point where the subject 40B contacts the floor surface 30B is projected on the image pickup surface 30C is defined as b1.
  • Let t 0 be the position where the point at the height position (position of the height T) of the subject 40A is projected on the image pickup surface 30C.
  • t 1 be the position where the point at the height of the subject 40B is projected onto the image pickup surface 30C. From the distance H, the position b 0 , and b 1 , the following equation (4) can be obtained.
  • the stereo processing unit 23 calculates the height T of the subject using these equations, and then calculates the relative distance between the three-dimensional image processing device 1 (the imaging unit that captured the subject) and the subject. After that, the stereo processing unit 23 generates a distance image of a non-common region from the calculated relative distance.
  • the distance information is obtained for the common area S1 by using the stereo method, and the distance information is obtained for the non-common area S2 according to the equation (6).
  • the distance information is obtained for the non-common area S2 according to the equation (6).
  • the fourth embodiment will be described.
  • the resolution in the vicinity of the vertical downward direction or the range of the non-common area S2 where stereoscopic viewing is not possible is reduced, and instead, the horizontal direction vicinity or stereoscopic viewing is possible. It may be effective to increase the resolution of the common area S1. Further, if it is not necessary to acquire the captured image in the non-common area S2 where stereoscopic viewing is not possible, the resolution allocated to the non-common area S2 is wasted. Therefore, in the present embodiment, the distribution of the resolution with respect to the incident angle in the vertical direction is changed.
  • the projection method of the lenses 11A and 11B has been described as, for example, an iso-solid angle projection method (2f ⁇ sin ⁇ / 2).
  • this projection method is changed, it is possible to change the distribution of the resolution with respect to the incident angle in the vertical direction.
  • FIG. 7 is a diagram showing an example of image height characteristics, which is the relationship between the standardized image height and the incident angle of light.
  • FIG. 7 shows the image height characteristics of the projection method, the equidistant angle projection method (2f ⁇ sin ⁇ / 2), and the equidistant projection method (f ⁇ ) described in the present embodiment.
  • the resolution is also distributed to the non-common area S2 where stereoscopic viewing is not possible. Further, in the equidistant projection method, the resolution is evenly distributed with respect to the incident angle.
  • the resolution near the vertical downward direction and the non-common area S2 is reduced, and the reduced resolution is distributed in the horizontal direction.
  • the light having an incident angle of 0 to 20 degrees is not drawn as a captured image, and only the light having an incident angle higher than that is drawn with a high horizontal resolution.
  • FIG. 8 is a diagram showing an example of vertical resolution distribution in the projection method according to the present embodiment and the equidistant projection method which is an example of a general projection method.
  • FIG. 8 shows that the narrower the distance between the line segments in the radial direction, the higher the resolution, and the wider the distance between the line segments in the radial direction, the lower the resolution.
  • the resolution does not depend on the angle, but in the projection method of the present embodiment, the resolution in the horizontal direction is high and the field of view is not vertically downward.
  • a lens having a large curvature near the optical axis is used.
  • the resolutions of the lenses 11A and 11B are high in the vicinity of the horizontal direction and lower in the vicinity of the vertical downward direction than in the vicinity of the horizontal direction. In other words, the resolution of the lenses 11A and 11B is higher in the common region than in the non-common region. In other words, the resolution of the lenses 11A and 11B is higher in the periphery than in the center.
  • the projection method shown in FIG. 7 is taken as an example of the projection method of the lenses 11A and 11B, but the specific characteristics of the projection method are not particularly limited.
  • the resolutions of the lenses 11A and 11B are near the vertical downward direction.
  • the area near the horizontal direction is higher than the area of. That is, the resolution of the lenses 11A and 11B is higher in the common region than in the non-common region. According to this configuration, the horizontal resolution can be improved.
  • the fifth embodiment will be described.
  • the three-dimensional image processing device 1 is mounted on a robot that operates while grasping the space from the shape of the ceiling indoors, a wider field of view may be required in the vertical upward direction. Therefore, in the present embodiment, a method of performing three-dimensional sensing also in the vertical upward direction will be described.
  • FIG. 9 is a diagram illustrating an example of an installation of two image pickup units and the like and an image pickup area according to the fifth embodiment of the present invention.
  • FIG. 9 is a plan view of the three-dimensional image processing device 1 as viewed from the horizontal direction. As shown in FIG. 9, in the present embodiment, a mirror is provided between the first image pickup unit 10A and the second image pickup unit 10B.
  • FIG. 9A shows an enlarged three-dimensional image processing device 1
  • FIG. 9B shows a reduced three-dimensional image processing device 1 and its vertical field of view.
  • the mirror 13 reflects light having a wavelength handled by the first imaging unit 10A and the second imaging unit 10B, and is installed between the first imaging unit 10A and the second imaging unit 10B.
  • the first imaging unit 10A can receive light from the region on the opposite side of the first imaging unit 10A reflected by the mirror 13 and generate an image captured in the region on the opposite side of the first imaging unit 10A.
  • the imaging directions of the first imaging unit 10A and the second imaging unit 10B are set to face the vertical downward direction D
  • the light from the vertical upward direction U is reflected by the mirror 13 and is imaged through the lens 11A.
  • Light is received by the sensor 12A. This makes it possible to generate a captured image in the vertical upward direction U.
  • the central portion SA2 that has been a blind spot by the second imaging unit 10B is effectively utilized as the imaging range in the vertical upward direction U. can do.
  • the mirror 13 can be, for example, a hyperboloidal mirror having the focal point 14 on the lower side. By doing so, in the shooting of the image pickup region SM by the mirror 13, an image captured with the focal point 14 as a viewpoint can be obtained.
  • the image pickup region SM by the mirror 13 is divided into a peripheral portion SM1 and a central portion SM2, and a portion where the image pickup region SA and SB by the first image pickup unit 10A and the second image pickup unit 10B and the image pickup region SM overlap is the peripheral portion SM1. And.
  • the baseline length is shorter than that for stereoscopic viewing using the first imaging unit 10A and the second imaging unit 10B, the viewpoints of the two images are closer to each other, and the stereoscopic viewing area can be increased.
  • the case where the mirror 13 has a hyperboloid with the focal point on the lower side is taken as an example, but the orientation of the hyperboloid and the shape of the curved surface are not particularly limited.
  • the first imaging unit 10A receives light from the region on the opposite side of the first imaging unit 10A reflected by the mirror 13, and the captured image of the region on the opposite side of the first imaging unit 10A. To generate. According to this configuration, it is possible to widen the field of view in the vertical upward direction.
  • each component of the three-dimensional image processing device is not limited to the example described or illustrated above as long as the object of the present invention can be achieved.
  • words expressing the relationship, position, direction, etc. of components such as “horizontal”, “vertical”, “vertical”, “orthogonal”, and “planar” are used as long as the object and effect of the present invention can be achieved. It is not limited to the exact meaning as the word says, but can also include cases that are substantially the same as the meaning.
  • each of the above configurations, functions, processing units, processing means, etc. may be realized by hardware by designing a part or all of them by, for example, an integrated circuit. Further, each of the above configurations, functions, and the like may be realized by software by the processor interpreting and executing a program that realizes each function. Information such as programs, tables, and files that realize each function can be stored in a memory, hard disk, recording device such as SSD (Solid State Drive), or recording medium such as IC card, SD card, DVD (Digital Versaille Disc). Can be placed.
  • SSD Solid State Drive
  • control lines and information lines indicate what is considered necessary for explanation, and not all control lines and information lines are necessarily shown in the product. In practice, it can be considered that almost all configurations are interconnected.
  • the present invention is not limited to the three-dimensional image processing device, and can be provided in various forms such as a three-dimensional image processing method, a computer-readable program, and a vehicle equipped with the three-dimensional image processing device.
  • 1 ... 3D image processing device 10A ... 1st imaging unit, 10B ... 2nd imaging unit, 11A ... lens (first lens), 11B ... lens (second lens), 12A ... image sensor (first sensor), 12B ... Image sensor (second sensor), 13 ... Mirror, 14 ... Focus, 20 ... Image processing unit, 21A, 21B ... Input I / F, 22A, 22B ... Correction unit, 23 ... Stereo processing unit, 24 ... Output I / F, 30A ... Ceiling, 30B ... Floor surface, 30C ... Imaging surface, 30D ... Wall surface, 40 ... Corner, S ... Imaging area (field of view), L ... Base line length, H ... Ceiling height, T ... Subject height , C ... Radius of the imaging unit, ⁇ ... Half of the expected blind spot

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Image Analysis (AREA)

Abstract

水平方向全周囲の３次元センシングを行う３次元画像処理装置を提供する。３次元画像処理装置は、第１撮像部から得られる撮像画像と第２撮像部から得られる撮像画像から距離情報を抽出する３次元画像処理装置である。第１撮像部は、第１レンズ、第１センサを有している。第２撮像部は、第２レンズ、第２センサを有している。第１撮像部と第２撮像部とを結ぶ略直線上に、第１センサ、第１レンズ、第２センサ、第２レンズが順次配置されている。第１撮像部の撮像領域と第２撮像部の撮像領域とが重複する共通領域でステレオ視を行い距離画像を生成するステレオ処理部を備えている。

Description

３次元画像処理装置
　本発明は、３次元画像処理装置に関する。
　天井に設置される監視カメラには、水平方向の周囲３６０度、かつ垂直方向に水平から真下までの広い視野が要求される。この視野範囲内において、信頼度の高い人物の追跡や、被写体の正確な寸法測定を行うためには、画像取得のみならず、距離測定に基づいた３次元センシングも必要となる。
　一方、自動車の自動運転の実現においても、自動車の水平方向の周囲３６０度に存在する物体の画像による認識や、３次元センシングが必要である。また、自動車近傍の障害物や縁石、道路の白線等を認識するため、垂直方向には真下付近まで視野を確保する必要がある。
　さらに、いずれの場合においても、水平方向の周囲３６０度において、均一な３次元センシング精度が必要である。
　例えば特許文献１には、カメラ部とミラー部をＺ軸方向に配置して構成される光学系により、Ｚ軸の周囲の全方位空間を撮像し３次元センシングする装置が開示されている。特許文献２には、異なるＸ軸位置に同じＺ軸方向に向けて設置された２つの広視野の光学系によって、Ｚ軸の周囲の全方位空間を撮像し３次元センシングする装置が開示されている。非特許文献１には、異なるＺ軸位置に互いに逆のＺ軸方向に向けて設置された２つの広視野の光学系によって、Ｚ軸の周囲の全方位空間を撮像し３次元センシングする装置が開示されている。
特開２０１０－２５６２９６号公報 特開２０１７－１０２０７２号公報
W. Gao and S. Shen, "Dual-fisheye omnidirectional stereo," in Intelligent Robots and Systems (IROS), 2017 IEEE/RSJ International Conference on. IEEE, 2017, pp. 6715-6722.
　特許文献１および非特許文献１に開示された技術では、水平方向全周囲の３次元センシングが可能である。しかし、垂直方向では、３次元センシングを行えるだけの十分な視野が得られないため、垂直方向における３次元センシングを行うことができない。
　また、特許文献２に開示された技術では、水平方向全周囲の３次元センシングが可能であり、さらに下向きにカメラを設置することで、垂直下方向にも３次元センシングが可能である。しかし、水平方向に基線を持ち、その基線方向の近傍における距離の測定精度が低い。このため、水平方向全周囲の３次元センシングの精度が角度によって変化する。
　本発明は、このような状況を鑑みてなされたものであって、垂直方向の水平から真下付近までの範囲において、水平方向全周囲の３次元センシングが可能であり、水平方向の角度によって距離精度が変化しない３次元画像処理装置を提供することを目的とする。
　本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
　本発明の代表的な実施の形態による３次元画像処理装置は、第１撮像部から得られる撮像画像と第２撮像部から得られる撮像画像から距離情報を抽出する３次元画像処理装置である。第１撮像部は、第１レンズ、第１センサを有している。第２撮像部は、第２レンズ、第２センサを有している。第１撮像部と第２撮像部とを結ぶ略直線上に、第１センサ、第１レンズ、第２センサ、第２レンズが順次配置されている。第１撮像部の撮像領域と第２撮像部の撮像領域とが重複する共通領域でステレオ視を行い距離画像を生成するステレオ処理部を備えている。
　本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
　すなわち、本発明の代表的な実施の形態によれば、水平方向全周囲の３次元センシングが可能であり、水平方向の角度によって距離精度が変化しないようにすることが可能となる。
本発明の実施の形態１に係る３次元画像処理装置の構成例を示すブロック図である。 本発明の実施の形態１に係る２つの撮像部の設置および撮像領域の例を説明する図である。 実施の形態１における垂直下方向に生じる死角の例を説明する図である。 実施の形態１および非特許文献１におけるステレオ視可能な範囲を比較して示す図である。 角度１８０度以上の角部に設置された３次元画像処理装置を、斜め上方向から見た斜視図である。 本発明の実施の形態３に係る非共通領域における３次元情報の取得方法を説明する図である。 規格化された像高と光の入射角との関係である像高特性の一例を示す図である。 本実施の形態に係る射影方式、および一般的な射影方式の例である等距離射影方式における、垂直方向の解像度の配分の例を示す図である。 本発明の実施の形態５に係る２つの撮像部等の設置および撮像領域の例を説明する図である。 従来技術を適用した場合の撮像方向および撮像領域の一例を説明する図である。 従来技術を適用した場合の撮像方向および撮像領域の他の例を説明する図である。 図１１に示す３次元画像処理装置が基線が鉛直方向となるように角部に設置された場合を、斜め上方向から見た斜視図である。
　（実施の形態１）
　以下、本発明の実施の形態を、図面を参照しつつ説明する。以下で説明する各実施の形態は、本発明を実現するための一例であり、本発明の技術範囲を限定するものではない。なお、実施例において、同一の機能を有する部材には同一の符号を付し、その繰り返しの説明は、特に必要な場合を除き省略する。また、以下の実施の形態において、その構成要素（要素ステップ等も含む）は、特に明示した場合および原理的に明らかに必須であると考えられる場合等を除き、必ずしも必須のものではないことは言うまでもない。また、「Ａからなる」、「Ａよりなる」、「Ａを有する」、「Ａを含む」と言うときは、特にその要素のみである旨明示した場合等を除き、それ以外の要素を排除するものでないことは言うまでもない。同様に、以下の実施の形態において、構成要素等の形状、位置関係等に言及するときは、特に明示した場合および原理的に明らかにそうでないと考えられる場合等を除き、実質的にその形状等に近似または類似するもの等を含むものとする。
　（実施の形態１）
　図１は、本発明の実施の形態１に係る３次元画像処理装置の構成例を示すブロック図である。本実施の形態の３次元画像処理装置１は、例えば店舗や工場等の天井に設置される。３次元画像処理装置１は、少なくとも設置箇所の水平から垂直真下方向の全周囲の画像を撮影することができる。３次元画像処理装置１の設置箇所の水平から垂直真下方向の周囲とは、例えば、床から天井への高さ方向を垂直方向として、垂直方向の軸に直交する全方位である。
　一般的に、監視カメラには、撮影の制御、パン・チルト・ズームの制御、対象物の検知等を制御する制御部が搭載されている。制御部は、例えばＣＰＵ（Central Processing Unit）等のコンピュータが制御プログラム実行することで実現される。３次元画像処理装置１は、制御部と直接あるいは通信ネットワークを介して通信可能に接続され、撮像画像、撮像画像を元に生成した距離画像等の情報を制御部へ出力する。
　３次元画像処理装置１は、図１に示すように、第１撮像部１０Ａ、第２撮像部１０Ｂ、および画像処理部２０を備える。第１撮像部１０Ａは、単眼カメラであり、レンズ（第１レンズ）１１Ａ、およびイメージセンサ（第１センサ）１２Ａを備える。第２撮像部１０Ｂも、単眼カメラであり、レンズ（第２レンズ）１１Ｂ、およびイメージセンサ（第２センサ）１２Ｂを備える。
　レンズ１１Ａ、１１Ｂは、例えば魚眼レンズ等の１８０度を超える画角を有する超広角レンズである。レンズ１１Ａ、１１Ｂの射影方式は、例えば、等立体角射影方式でもよいし、これ以外の方式でもよい。等立体角射影方式は、ｙ＝２ｆ・ｓｉｎθ／２で表される。なお、ｆはレンズの焦点距離、θは光の入射角である。
　イメージセンサ１２Ａは、受光面でレンズ１１Ａを通過した光を受光する。イメージセンサ１２Ａは、受光した信号を撮像画像信号に変換し、撮像画像信号を画像処理部２０の入力Ｉ／Ｆ（インターフェイス）２１Ａへ出力する。イメージセンサ１２Ｂは、受光面でレンズ１１Ｂを通過した光を受光する。イメージセンサ１２Ｂは、受光した信号を撮像画像信号に変換し、撮像画像信号を画像処理部２０の入力Ｉ／Ｆ（インターフェイス）２１Ｂへ出力する。
　画像処理部２０は、第１撮像部１０Ａ、第２撮像部１０Ｂから出力されるそれぞれの撮像画像信号に対して画像処理を行う機能ブロックである。画像処理部２０は、入力Ｉ／Ｆ２１Ａ、入力Ｉ／Ｆ２１Ｂ、補正部２２Ａ、補正部２２Ｂ、ステレオ処理部２３、および出力Ｉ／Ｆ２４を備える。
　画像処理部２０の各構成要素は、回路により実現されてもよいし、少なくとも一部がプログラムを実行するＣＰＵ等のコンピュータおよびメモリにより実現されてもよい。
　入力Ｉ／Ｆ２１Ａは、例えばＡ／Ｄ（アナログ／デジタル）変換器を備え、イメージセンサ１２Ａから出力される撮像画像信号をデジタル変換し、デジタル変換された撮像画像信号を後段の補正部２２Ａへ出力する。入力Ｉ／Ｆ２１Ｂは、例えばＡ／Ｄ（アナログ／デジタル）変換器を備え、イメージセンサ１２Ｂから出力される撮像画像信号をデジタル変換し、デジタル変換された撮像画像信号を後段の補正部２２Ｂへ出力する。
　補正部２２Ａは、入力Ｉ／Ｆ２１Ａから出力されるデジタル変換された撮像画像信号に対する各種の画像処理を行うことで撮像画像の補正を行う。補正部２２Ａは、画像処理後の撮像画像信号をステレオ処理部２３へ出力する。補正部２２Ａ、２２Ｂが実行する画像処理は、例えば、汎用的な幾何学変換である。これにより、歪んだ撮像画像が所定の座標系（例えば、円筒座標系）の画像に変換することができる。補正部２２Ａ、２２Ｂが実行する画像処理は、これ以外にも、例えばデモザイキング処理等を含んでもよい。
　ステレオ処理部２３は、補正部２２Ａ、２２Ｂからそれぞれ出力される補正後の撮像画像を用いてステレオ処理を実行し、処理結果を出力Ｉ／Ｆ２４へ出力する。
　具体的には、ステレオ処理部２３は、第１撮像部１０Ａの撮像領域（視野）ＳＡと第２撮像部１０Ｂの撮像領域（視野）ＳＢとが重なる領域（共通視野）に対するステレオ処理を実行する。ステレオ処理部２３は、第１撮像部１０Ａの補正後の撮像画像、第２撮像部１０Ｂの補正後の撮像画像を用いて、公知のステレオ法により、共通視野の各位置の距離情報を抽出し、距離画像データを生成する。このように、ステレオ処理部２３は、共通視野を含む全方位について距離画像データを生成し、距離画像データを出力Ｉ／Ｆ２４へ出力する。また、ステレオ処理部２３は、第１撮像部１０Ａ、第２撮像部１０Ｂから出力された画像処理前の各撮像画像データ（撮像画像）も、出力Ｉ／Ｆ２４へ出力する。
　出力Ｉ／Ｆ２４は、ステレオ処理部２３から出力された撮像画像データや距離画像データを、ＣＰＵやＥＣＵ等の制御部ＣＴＲへ出力する。
　図２は、本発明の実施の形態１に係る２つの撮像部の設置および撮像領域の例を説明する図である。図２は、３次元画像処理装置１を水平方向から見た平面図である。図２（ａ）は、３次元画像処理装置１を拡大して示し、図２（ｂ）は、３次元画像処理装置１を縮小して示し、その垂直方向の視野を示している。
　第１撮像部１０Ａの撮像方向は、例えば図２（ｂ）に示す鉛直下向きＤを向くように設定されている。同様に、第２撮像部１０Ｂの撮像方向も、例えば鉛直下向きＤを向くように設定されている。ここで、第１撮像部１０Ａと第２撮像部１０Ｂの位置関係は、レンズ１１Ａ、１１Ｂ、イメージセンサ１２Ａ、１２Ｂが略直線状に配置されるように設定される。具体的には、鉛直上方から、イメージセンサ１２Ａ、レンズ１１Ａ、イメージセンサ１２Ｂ、レンズ１１Ｂが順次並ぶように配置される。
　ここで、第１撮像部１０Ａの撮像領域ＳＡを、周辺部ＳＡ１および中央部ＳＡ２に分け、第２撮像部１０Ｂの撮像領域ＳＢを、周辺部ＳＢ１および中央部ＳＢ２に分けて考える。周辺部ＳＡ１および周辺部ＳＢ１は、互いに重複し、３次元画像処理装置１の周囲をカバーする共通領域Ｓ１を形成する。
　中央部ＳＡ２は、第２撮像部１０Ｂにより視野が遮られるため、第１撮像部１０Ａからは死角となる。したがって、中央部ＳＢ２は、３次元画像処理装置１の鉛直下方向Ｄをカバーする非共通領域Ｓ２を形成する。
　ここで、ステレオ法による距離情報の取得において、２つの撮像部（第１撮像部１０Ａおよび第２撮像部１０Ｂ）を結ぶ直線である基線上とその周辺では、距離情報が取得できない、あるいは距離情報の精度が低下するという原理的な性質がある。そこで、本実施の形態では、ステレオ法で距離情報を取得できない領域と、死角のため距離情報を取得できない領域とを同一位置に配置することで、これらの影響を最小限に抑えている。
　本実施の形態では、水平方向、垂直方向ともに広い範囲で距離情報を取得することができる。特に、第１撮像部１０Ａの視点と第２撮像部１０Ｂの視点とを結ぶ基線が、それぞれの撮像部の光軸と一致するように配置した場合、基線に垂直な水平方向は、全周囲においてステレオ法による距離精度を均一にすることができるという利点がある。
　［従来技術との比較］
　ここで、従来技術との比較を行う。図１０は、従来技術を適用した場合の撮像方向および撮像領域の一例を説明する図である。図１０は、非特許文献１における撮像方向及び撮像領域の例が示されている。ここでは、画角１８０度を超えるレンズ１１ａとレンズ１１ｂをそれぞれ有する第１撮像部１０ａ及び第２撮像部１０ｂを用い、第１撮像部１０ａの撮像方向は、鉛直上方向Ｕを向くように設定される。第２撮像部１０ｂの撮像方向は、鉛直下方向Ｄを向くように設定される。
　ここで、第１撮像部１０ａの半球状の撮像領域Ｓａを、周辺部Ｓａ１および中央部Ｓａ２に分け、第２撮像部１０ｂの半球状の撮像領域Ｓｂを、周辺部Ｓｂ１および中央部Ｓｂ２に分ける。帯状の周辺部Ｓａ１と周辺部Ｓｂ１は、互いに重複し３次元画像処理装置の前後左右方向ＬＲＦＢをカバーする共通領域Ｓｃを形成する。ただし、図１０では、Ｆは紙面奥方向、Ｂは紙面手前方向である。
　一方、中央部Ｓａ２は、３次元画像処理装置の上方向Ｕ及び左右前後方向ＬＲＦＢをカバーする非共通領域を形成する。中央部Ｓｂ２は、３次元画像処理装置の下方向Ｄ及び左右前後方向ＬＲＦＢをカバーする非共通領域を形成する。
　図１０に示すように、曲面状の各撮像領域（中央部Ｓａ２、中央部Ｓｂ２、共通領域Ｓｃ）のうち、水平面周りの領域（共通領域Ｓｃ）のみで、３次元画像処理装置の水平方向周囲の視野がカバーされており、その範囲でステレオ法による距離情報の取得が可能である。
　同様の視野範囲をカバーする３次元画像処理装置として、特許文献１では曲面ミラーを使用した技術が提示されている。ここでは、画角１８０度を超える曲面ミラーをそれぞれ有する第１撮像部１０ａ及び第２撮像部１０ｂを用いる。レンズ１１ａの方向は、３次元画像処理装置の鉛直下方向Ｄを向くように設定される。第１撮像部１０ａの曲面ミラーは、上方向Ｕを向いている。レンズ１１ｂの方向は、３次元画像処理装置の上方向Ｕを向くように設定される。第２撮像部１０ｂの曲面ミラーは、下方向Ｄを向いている。この場合においても、視野範囲は、図１０（ｂ）と同様となる。
　これらの従来技術を監視カメラに適用する場合、通常考え得る設置方法として、第１撮像部１０ａおよび第２撮像部１０ｂからなる３次元画像処理装置を天井にぶら下げて設置する。このとき、床面やそこに存在する被写体を写す下半球の大部分は、非共通領域である中央部Ｓｂ２で占められるので、ステレオ法では距離情報を取得することができない。
　次に、図１１は、従来技術を適用した場合の撮像方向および撮像領域の他の例を説明する図である。図１１は、特許文献２における撮像方向及び撮像領域の例が示されている。ここでは、広視野角のレンズ１１ａ’とレンズ１１ｂ’とをそれぞれ有する第１撮像部１０ａ’及び第２撮像部１０ｂ’を用い、第１撮像部１０ａ’および第２撮像部１０ｂ’の撮像方向は、ともに鉛直上方向Ｕを向くように設定される。ただし、図１１では、Ｕは紙面手前方向、Ｄは紙面奥方向である。
　ここで、第１撮像部１０ａ’の半球状の撮像領域Ｓａ’を、右部Ｓａ１'、中央部Ｓａ２'、および左部Ｓａ３'に分け、第２撮像部１０ｂ’の半球状の撮像領域Ｓｂ’を、右部Ｓｂ１'、中央部Ｓｂ２'、および左部Ｓｂ３'に分ける。
　曲面状の中央部Ｓａ２'と中央部Ｓｂ２'とは、互いに重複し３次元画像処理装置の上下前後方向ＵＤＦＢをカバーする共通領域Ｓｃ’を形成する。第１撮像部１０ａ’による撮像領域Ｓａ’のうち、第２撮像部１０ｂ’の影となる部分が右部Ｓａ１'を形成する。第２撮像部１０ｂ’による撮像領域Ｓｂ’のうち、右部Ｓａ１'と重なる部分が右部Ｓｂ１'を形成する。第２撮像部１０ｂ’による撮像領域Ｓｂ’のうち、第１撮像部１０ａ’の影となる部分が左部Ｓｂ３'を形成する。第１撮像部１０ａ’による撮像領域Ｓａ’のうち、左部Ｓｂ３'と重なる部分が左部Ｓａ３'を形成する。
　図１１に示すように、曲面状の各撮像領域（共通領域Ｓｃ’、右部Ｓｂ１'、左部Ｓａ３'）のうち、前後方向（ＦＢ）の軸周りの領域により、３次元画像処理装置の前後上方向周囲の視野がカバーされている。
　この従来技術を監視カメラに適用する場合、通常考え得る設置方法として、第１撮像部１０ａ’および第２撮像部１０ｂ’からなる３次元画像処理装置を天井に下向きに設置する。このとき、第１撮像部１０ａ’と第２撮像部１０ｂ’とを結ぶ基線方向では、お互いの撮像部が死角となるので、ステレオ法では距離情報を取得することができない。
　また、左右方向（ＬＲ）に基線が配置されているため、垂直方向（ＵＤ）を軸とした水平方向の周囲において、角度によって距離情報の精度が変化してしまう。特に、基線方向に近い左右方向（ＬＲ）近傍においては、距離情報の精度が低くなる。
　これらに対して、天井に設置する監視カメラに本実施の形態の技術を適用すれば、下半球においても距離情報が取得できるため、床面やそこに存在する被写体までの距離情報を取得することができる。また、本実施の形態では、垂直方向（ＵＤ）に基線が配置されているために、垂直方向（ＵＤ）を軸とした水平方向を考えたとき、距離情報の精度は水平方向の角度に依存せず、水平方向の距離情報の精度は均一となる。したがって、本実施の形態では、監視カメラ周囲の均一な３次元センシングが可能となる。
　ここで、本実施の形態の説明に戻る。
　次に、基線長と死角との関係について説明する。本実施の形態における基線長は、例えば以下に説明するように、死角の大きさの上限値と距離精度の上限値とによって制限される。図３は、実施の形態１における垂直下方向に生じる死角の例を説明する図である。ここで、第１撮像部１０Ａと第２撮像部１０Ｂとの間の基線長をＬ、第２撮像部１０Ｂの死角を生む大きさの半径をＣ、第１撮像部１０Ａと床面３０Ｂとの距離をＨ、床面３０Ｂでの死角の半径をＤＡ、第１撮像部１０Ａからの死角の見込み角の半分をθとする。第１撮像部１０Ａと第２撮像部１０Ｂの垂直方向の厚みを無視すると、図３より以下の式（１）が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　死角の直径２ＤＡは、想定する被写体の直径の半分程度以下にする必要がある。死角の半径ＤＡがこれ以上大きい場合、被写体の認識や距離測定の精度が不十分となるおそれがある。この死角の半径ＤＡの大きさの上限値をＤ０とすると、基線長Ｌは以下の式（２）に示す条件で制限される。
Figure JPOXMLDOC01-appb-M000002
　例えば、監視カメラの場合、主な被写体は人物であるため、この死角の半径ＤＡの大きさの上限値Ｄ０は、１５ｃｍ程度である。Ｈを一般的な天井３０Ａの高さ２.５ｍとして、Ｃを一般的な魚眼レンズの半径２ｃｍとすれば、基線長Ｌは、３３．３ｃｍ以上の条件を満たす必要である。このとき、死角の見込み角の半分θは、３．４度である。
　一方、例えば、第１撮像部１０Ａおよび第２撮像部１０Ｂの焦点距離が同一であり、ピクセル単位でｆであるとする。また、距離Ｈ離れた被写体までの距離の測定誤差の上限値がＸ％であるとする。このとき、基線長Ｌは、以下の式（３）の条件で制限される。
Figure JPOXMLDOC01-appb-M000003
　例えば、監視カメラへ適用した場合、Ｈを一般的な天井３０Ａの高さ２.５ｍとし、ｆを一般的な魚眼レンズのピクセル単位の焦点距離８００とし、距離測定の誤差の上限値Ｘを５％であるとする。このとき、基線長Ｌは、６．６ｃｍ以上の条件を満たす必要がある。
　したがって、本実施の形態の基線長は、式（２）の条件および式（３）の条件を同時に満たす値のうち、最小のものを使うことができる。このように、基線長の条件が規定されることで、２つの撮像部を適切な間隔で設置することが可能となる。
　また、店舗や工場に設置される場合、基線長の上限は、例えばその床面３０Ｂから天井３０Ａまでの距離とすることができ、車両に設置される場合は、例えばその車高とすることができる。
　例えば、ここでは３つの条件で説明を行ったが、これには限定されない。例えば、基線長を短くし、共通領域を狭めることも可能である。また、検出対象によって基線長を大きくしてもよい。このように、使用形態や検出対象物に応じて条件を適宜変更可能である。
　図４は、実施の形態１および非特許文献１におけるステレオ視可能な範囲を比較して示す図である。図４の縦軸はステレオ視可能な範囲の立体角であり、図４の横軸は撮像部の画角である。ここで、実施の形態１における２つの撮像部（第１撮像部１０Ａおよび第２撮像部１０Ｂ）と、非特許文献１における２つの撮像部（第１撮像部１０ａおよび第２撮像部１０ｂ）とにおいて、画角等の特性は同一とした。死角の見込み角の半分θは３.４度とした。
　図４に示すように、撮像部の画角が１８０度以下の場合、非特許文献１の技術では、ステレオ視可能な範囲が存在しない。一方、本実施の形態では、撮像部の画角が１８０度以下であっても、ステレオ視が可能である。
　また、撮像部の画角が１８０度以上の場合においては、本実施の形態は、非特許文献１と比較して、ステレオ視可能な範囲を大きく広げることが可能である。例えば、一般に入手が容易な画角２２０度の撮像部を利用した場合、本実施の形態では、視野範囲を従来の約２倍に広げることが可能である。
　ところで、監視カメラ等には、高い解像度の画像と、低い解像度の距離情報が要求される場合がある。この場合、例えば第２撮像部１０Ｂの撮像領域ＳＢの解像度を高めるため、レンズ１１Ｂおよびイメージセンサ１２Ｂに解像度の高いものを利用し、第１撮像部１０Ａのレンズ１１Ａおよびイメージセンサ１２Ａに解像度の低いものを利用することができる。このようにすることで、コストを低減しつつ、必要な距離情報を得ることが可能である。
　また、イメージセンサ１２Ａに解像度の低いものを利用する場合、センササイズが小さいものを利用してもよい。この場合、同じレンズ１１Ａを使用すると、撮像領域ＳＡが減少してしまう。そこで、センササイズが小さいものを利用する場合、レンズ１１Ａの焦点距離を短くすることで、同様の撮像領域ＳＡを確保することができる。また、同時に、後述の実施の形態４で説明する像高特性の調整を併用することで、解像度の低下を低減させることも可能である。
　例えば、画像の解像度に対して必要な距離情報の解像度が１/４の場合、イメージセンサ１２Ａの解像度をイメージセンサ１２Ｂの解像度の１/４としても必要な情報を得ることができる。また、画像のデータ量が小さくなるため、画像処理の負荷を軽減することができる。なお、具体例として、イメージセンサ１２Ａの解像度とイメージセンサ１２Ｂの解像度との比率が１：４となる場合を例に挙げたが、解像度の比率の具体的な数値については特に限定されない。
　［変型例］
　次に、本実施の形態の変形例を説明する。図５は、角度１８０度以上の角部に設置された３次元画像処理装置を、斜め上方向から見た斜視図である。図５（ａ）は、拡大した３次元画像処理装置１を示し、図５（ｂ）は、上方から見た３次元画像処理装置１およびその水平方向の撮像領域ＳＡ、ＳＢを示している。
　図５に示す第１撮像部１０Ａおよび第２撮像部１０Ｂは、角度１８０度以上の角部４０に、鉛直下向きに設置されている。３次元画像処理装置１は、水平方向に周囲３６０度の撮像領域ＳＡ、ＳＢを持つため、角度１８０度以上の角部４０に３次元画像処理装置１を設置した場合においても、その全周囲を撮像することができる。
　一方、前述した通り、図１０に示す非特許文献１の技術や特許文献１の技術のように、通常考え得る基線が鉛直方向となるような場合、水平方向に周囲３６０度の撮像領域Ｓａ、Ｓｂを持つが、垂直方向に広いステレオ視野を得ることができない。また、図１１に示す特許文献２の技術のように基線が水平方向となるような場合、垂直方向に広いステレオ視野が得られるが、水平方向の角度によって距離情報の精度が変化してしまう。
　図１２は、図１１に示す３次元画像処理装置が基線が鉛直方向となるように角部に設置された場合を、斜め上方向から見た斜視図である。図１２には、特許文献２の技術を用いた場合が示されている。図１２では、左側に拡大した３次元画像処理装置が示され、右側に上方から見た３次元画像処理装置およびその水平方向の撮像領域Ｓａ’およびＳｂ'が示されている。
　この場合、図１２の右側に示すとおり、角部４０の角度が第１撮像部１０ａ’および第２撮像部１０ｂ’の画角を超えた場合、撮像できない領域が発生することがわかる。また、垂直方向に角度が変わると、第１撮像部１０ａ’と第２撮像部１０ｂ’とで得られる像の拡大率が変わるため、画像の解像度および距離情報の精度が変化してしまう。
　なお、図５に示す本実施の形態の例では、３次元画像処理装置１において、角部４０による死角になる部分を最小化しつつ、撮像領域ＳＡ、ＳＢを最大化するように、イメージセンサ１２Ａ、１２Ｂをずらして配置することも可能である。例えば、イメージセンサ１２Ａ、１２Ｂの中心を、レンズ１１Ａ、１１Ｂの光軸とずらして角部４０側に寄せて配置することで、角部４０によって死角になる部分を最小化することが可能である。
　＜本実施の形態による主な効果＞
　本実施の形態によれば、第１撮像部１０Ａと第２撮像部１０Ｂとを結ぶ略直線上に、イメージセンサ１２Ａ、レンズ１１Ａ、イメージセンサ１２Ｂ、レンズ１１Ｂが順次配置されている。また、ステレオ処理部２３は、第１撮像部１０Ａの撮像領域と第２撮像部１０Ｂの撮像領域とが重複する共通領域でステレオ視を行い距離画像を生成する。この構成によれば、水平方向全周囲、かつ垂直方向には水平から真下付近までの範囲の３次元センシングが可能となる。さらに、水平方向の角度によっても距離精度が変化しない。
　ここでは、レンズ１１Ａ、１１Ｂの射影方式として、等立体角射影方式を例に挙げたが、射影方式については特に限定されない。監視カメラに適用する例として、第１撮像部１０Ａの一部が天井３０Ａに埋め込まれ、第２撮像部１０Ｂが天井３０Ａからぶら下がる例を例示したが、構成はこの限りではなく、第２撮像部１０Ｂも天井３０Ａに埋め込まれている場合や、第１撮像部１０Ａの全てが天井３０Ａに埋め込まれている場合、第１撮像部１０Ａの全てが天井３０Ａからぶら下がった配置も可能である。さらに、第１撮像部１０Ａや第２撮像部１０Ｂは、天井に固定されているのではなく、床面３０Ｂや壁面３０Ｄから延びる支持具に固定されてもよい。
　本実施の形態では、監視カメラが主に店舗や工場等に設置される場合を前提として説明を行ったが、設置箇所の他の例としては、例えば自動車や二輪車等の車両やドローン等挙げられる。この場合、撮像部は、少なくとも車両の水平から垂直真下方向の周囲を撮像する。車両の水平から垂直真下方向の周囲とは、例えば、車両の高さ方向を垂直方向とした場合に垂直方向の軸に直交する全方位である。つまり、この水平方向の周囲は、車両の前後左右を含む３６０度全方位である。
　車両の四隅に設置する車載カメラに本技術を適用すれば、下半球においても距離情報が取得できるため、路面や近傍の障害物までの距離情報を取得することができる。また、垂直方向（ＵＤ）に基線が配置されているため、垂直方向（ＵＤ）を軸とした水平方向を考慮すれば、距離情報の精度は、水平方向の角度に依存しない。このため、車両周囲に対する均一な３次元センシングが可能となる。
　また、本実施の形態によれば、第１撮像部１０Ａは、第２撮像部１０Ｂの略中心を撮像する。この構成によれば、例えば図２に示すように、非共通領域Ｓ２を左右から挟む２つの共通領域Ｓ１を均等に配分することが可能となる。
　また、本実施の形態によれば、レンズ１１Ａ、１１Ｂの少なくともいずれかを、１８０度を超える画角を有する魚眼レンズとすることができる。この構成によれば、撮像部の撮像方向を、垂直下方向あるいは垂直上方向に設定することにより、水平方向全周の撮像画像を取得することが可能となる。
　また、本実施の形態によれば、第１撮像部１０Ａおよび第２撮像部１０Ｂは、天井に設置され、第１撮像部１０Ａの撮像方向および第２撮像部１０Ｂの撮像方向は、床面を向くように設定される。この構成によれば、天井に設置される監視カメラに３次元画像処理装置１を好適に適用可能である。
　（実施の形態２）
　次に、実施の形態２について説明する。実施の形態１では、非共通領域Ｓ２（図２を参照）において距離情報を抽出することができなかった。本実施の形態では、非共通領域Ｓ２の距離情報を算出する点が実施の形態１と異なる。
　すでに述べた通り、共通領域Ｓ１（図２を参照）に対してはステレオ法を用いて距離情報を取得することができる。一方、非共通領域Ｓ２に対しては、３次元画像処理装置１が車両などの移動体に設置されている場合には、例えば以下の方法で距離情報を抽出する。
　ステレオ処理部２３は、車両の移動中に異なる位置・時刻で取得された２つの画像に基づき、公知のモーションステレオ法により距離情報を抽出し、距離画像データを生成する。モーションステレオ法とは、１台のカメラを移動して２つの位置・時刻で得られる画像を使ってステレオ視するものであり、移動視差法ともいう。ただし、一般的に、モーションステレオ法による距離情報は、ステレオ法による距離情報よりも精度が低いため、モーションステレオ法による距離情報は補完的に用いることが望ましい。
　なお、本実施の形態では、非共通領域Ｓ２に対してモーションステレオ法を用いて距離情報を抽出したが、距離情報の算出方式についてはこれに限定されるものではない。例えば、ＡＩ(Artificial Intelligence)技術を用いて物体までの距離を計算してもよい。
　本実施の形態によれば、共通領域Ｓ１に対しては、ステレオ法を用いて距離情報が得られ、非共通領域Ｓ２に対しては、モーションステレオ法を用いて距離情報が得られる。これらの距離情報を組み合わせることで、３次元画像処理装置１の水平から垂直真下方向の全周囲の視野の距離情報が取得可能となる。
　（実施の形態３）
　次に、実施の形態３について説明する。実施の形態２では、３次元画像処理装置１が移動体に設置されていない場合は、非共通領域Ｓ２に対する距離情報を取得することができなかった。本実施の形態では、３次元画像処理装置１が、天井等の非移動体に設置されている場合において、移動する被写体の非共通領域Ｓ２に対する距離情報を取得する方法について説明する。
　本実施の形態においても、実施の形態２と同様、非共通領域Ｓ２に対しては、モーションステレオ法を用いて距離情報が抽出される。ただし、３次元画像処理装置１が天井等の非移動体に設置されている場合、２つの時刻間での３次元画像処理装置１と被写体との間の相対的な移動距離を算出することができない。相対的な移動距離が算出できないと、モーションステレオ法を用いた距離情報を抽出することができない。
　そこで、本実施の形態では、被写体の高さＴを算出した後、３次元画像処理装置１と被写体との間の相対的な移動距離を算出する。
　図６は、本発明の実施の形態３に係る非共通領域における３次元情報の取得方法を説明する図である。図６には、非共通領域の距離情報を計算する際のパラメータが示されている。まず、第１撮像部１０Ａから床面３０Ｂまでの距離Ｈが取得される。なお、距離Ｈは、３次元画像処理装置１を設置する際に測定したものでもよいし、周囲の共通領域Ｓ１で算出された３次元情報の値を内挿して取得したものでもよい。
　ある時刻（撮像時刻）に取得された撮像画像に写る被写体を被写体４０Ａ、それより後の異なる時刻に取得された撮像画像に写る同じ被写体を被写体４０Ｂとする。まず算出したい距離情報は、被写体４０Ａ、４０Ｂの高さＴである。床面３０Ｂにおける、被写体４０Ａと４０Ｂとの距離をＤｓとする。被写体４０Ａが床面３０Ｂと接する点が撮像面３０Ｃに投影された位置をｂ０とする。被写体４０Ｂが床面３０Ｂと接する点が撮像面３０Ｃに投影された位置をｂ１とする。被写体４０Ａの高さ位置（高さＴの位置）の点が撮像面３０Ｃに投影された位置をｔ０とする。被写体４０Ｂの高さ位置の点が撮像面３０Ｃに投影された位置をｔ１とする。
　距離Ｈ、位置ｂ０、ｂ１から、以下の式（４）が得られる。
Figure JPOXMLDOC01-appb-M000004
 　また、以下の式（５）の関係も成り立つ。
Figure JPOXMLDOC01-appb-M000005
 　これら２つの式（４）、（５）から、高さＴは以下の式（６）の関係を満たす。
Figure JPOXMLDOC01-appb-M000006
　ステレオ処理部２３は、これらの式を用いて被写体の高さＴを算出した後、３次元画像処理装置１（被写体を撮像した撮像部）と被写体との間の相対的な距離を算出する。その後、ステレオ処理部２３は、算出された相対距離から非共通領域の距離画像を生成する。
　このようにして、本実施の形態では、共通領域Ｓ１に対しては、ステレオ法を用いて距離情報が得られ、非共通領域Ｓ２に対しては、式（６）に従って距離情報が得られる。これらの距離情報を組み合わせることで、３次元画像処理装置１の水平から垂直真下方向の全周囲の視野の距離情報が取得可能となる。
　（実施の形態４）
　次に実施の形態４について説明する。例えば、車載カメラのように、水平方向に高い距離精度が要求される場合、垂直下方向付近やステレオ視ができない非共通領域Ｓ２の範囲の解像度を落とし、代わりに水平方向近傍やステレオ視の可能な共通領域Ｓ１の解像度を上げることが効果的な場合がある。また、ステレオ視ができない非共通領域Ｓ２で撮像画像を取得する必要がなければ、非共通領域Ｓ２に配分される解像度が無駄になってしまう。そこで、本実施の形態では、垂直方向の入射角に対する解像度の配分を変更する。
　実施の形態１では、レンズ１１Ａ、１１Ｂの射影方式は、例えば等立体角射影方式（２ｆ・ｓｉｎθ／２）であるとして説明した。一方、この射影方式を変更すれば、垂直方向の入射角に対する解像度の配分を変更することが可能である。
　図７は、規格化された像高と光の入射角との関係である像高特性の一例を示す図である。図７には、本実施の形態で説明する射影方式、等立体角射影方式（２ｆ・ｓｉｎθ／２）、等距離射影方式（ｆθ）のそれぞれ像高特性が示されている。等立体角射影方式、および等距離射影方式では、ステレオ視ができない非共通領域Ｓ２にも解像度が配分されている。また、等距離射影方式では、入射角に対して均等に解像度が配分されている。
　一方、本実施の形態の射影方式では、垂直下方向付近や非共通領域Ｓ２の解像度が削減され、削減された解像度が水平方向に配分される。本実施の形態の射影方式では、入射角０度から２０度までの光は撮像画像として描画せず、それ以上の入射角の光のみを水平方向の解像度を高くして描画する。
　図８は、本実施の形態に係る射影方式、および一般的な射影方式の例である等距離射影方式における、垂直方向の解像度の配分の例を示す図である。図８は、動径方向の線分の間隔が狭いほど解像度が高く、動径方向の線分の間隔が広いほど解像度が低いことを示している。図８に示すように、等距離射影方式では、解像度が角度に依存しないが、本実施の形態の射影方式では、水平方向の解像度が高く、さらに垂直下方に視野を持たない。本実施の形態の射影方式を実現するには、例えば、光軸付近で大きな曲率を持ったレンズが用いられる。すなわち、本実施の形態では、レンズ１１Ａ、１１Ｂの分解能は、水平方向付近で高く、垂直下方向付近では水平方向付近より低い。言い換えると、レンズ１１Ａ、１１Ｂの分解能は、非共通領域より共通領域の方が高い。また、言い換えると、レンズ１１Ａ、１１Ｂの分解能は、中央より周辺の方が高くなっている。
　なお、本実施の形態では、レンズ１１Ａ、１１Ｂの射影方式として、図７に示す射影方式を例にあげたが、射影方式の具体的な特性について特に限定されるものではない。
　本実施の形態によれば、第１撮像部１０Ａの撮像方向および第２撮像部１０Ｂの撮像方向が、床面を向くように設定された場合、レンズ１１Ａ、１１Ｂの分解能は、垂直下方向付近の領域より、水平方向付近の領域の方が高い。すなわち、レンズ１１Ａ、１１Ｂの分解能は、非共通領域より共通領域の方が高い。この構成によれば、水平方向の解像度を向上させることができる。
　また、死角の大きさの半分が大きい場合、イメージセンサの解像度を有効活用して、ステレオ視の可能な共通領域Ｓ１に対して高い解像度を確保することができる。
　（実施の形態５）
　次に、実施の形態５について説明する。例えば、屋内で天井の形状から空間を把握しつつ稼働するロボットに３次元画像処理装置１を搭載する場合など、垂直上方向にもより広い視野が必要となる場合がある。そこで、本実施の形態では、垂直上方向にも３次元センシングを行う方法について説明する。
　図９は、本発明の実施の形態５に係る２つの撮像部等の設置および撮像領域の例を説明する図である。図９は、３次元画像処理装置１を水平方向から見た平面図である。図９に示すように、本実施の形態では、第１撮像部１０Ａと第２撮像部１０Ｂとの間にミラーが設けられる。図９（ａ）は、拡大した３次元画像処理装置１を示し、図９（ｂ）は、縮小した３次元画像処理装置１及びその垂直方向の視野を示す。
　ミラー１３は、第１撮像部１０Ａおよび第２撮像部１０Ｂが扱う波長の光を反射し、第１撮像部１０Ａと第２撮像部１０Ｂの中間に設置される。
　第１撮像部１０Ａは、ミラー１３が反射した第１撮像部１０Ａの逆側の領域からの光を受光し、第１撮像部１０Ａの逆側の領域の撮像画像を生成することができる。例えば、第１撮像部１０Ａおよび第２撮像部１０Ｂの撮像方向が、垂直下向きＤを向くように設定されている場合、垂直上方向Ｕからの光は、ミラー１３に反射され、レンズ１１Ａを通してイメージセンサ１２Ａで受光される。これにより、垂直上方向Ｕの撮像画像を生成することが可能となる。
　例えば、撮像領域ＳＡの中央部ＳＡ２の見込み角に収まるようにミラー１３が設置された場合、第２撮像部１０Ｂによる死角となっていた中央部ＳＡ２を、垂直上方向Ｕの撮影範囲として有効活用することができる。
　ミラー１３は、例えば、焦点１４を下側に持つ双曲面ミラーとすることができる。このようにすれば、ミラー１３による撮像領域ＳＭの撮影において、焦点１４を視点とした撮像画像が得られる。
　ここで、ミラー１３による撮像領域ＳＭを周辺部ＳＭ１と中央部ＳＭ２とに分け、第１撮像部１０Ａ、第２撮像部１０Ｂによる撮像領域ＳＡ、ＳＢと撮像領域ＳＭとが重なる部分を周辺部ＳＭ１とする。
　このとき、周辺部ＳＭ１において、第１撮像部１０Ａ、第２撮像部１０Ｂおよびミラー１３の焦点１４の３つの視点からの撮像画像が得られる。このため、例えば第２撮像部１０Ｂおよび焦点１４を視点としたそれぞれの撮像画像を用いたステレオ視も可能となる。
　この場合、第１撮像部１０Ａおよび第２撮像部１０Ｂを用いたステレオ視に比べ基線長が短くなるため、２つの画像の視点が近づき、ステレオ視可能な領域を増加させることが可能となる。
　なお、本実施の形態では、ミラー１３が焦点を下側に持つ双曲面の場合を例にあげたが、双曲面の向きや曲面の形状については特に限定されない。
　本実施の形態によれば、第１撮像部１０Ａは、ミラー１３が反射した第１撮像部１０Ａの逆側の領域からの光を受光し、第１撮像部１０Ａの逆側の領域の撮像画像を生成する。この構成によれば、垂直上方向にも視野を広げることが可能となる。
　以上、本発明について複数の実施の形態を用いて説明した。もちろん、本発明は上記の実施の形態に限定されるものではなく、様々な変形例が含まれる。
　また、３次元画像処理装置の各構成要素の配置、寸法、形状等の構成は、本発明の目的を達成できれば、上記に説明あるいは図示した例に限られない。また、「水平」、「垂直」、「鉛直」、「直交」、「平面」などの構成要素の関係、位置、方向などを表す言葉は、本発明の目的及び効果を達成できるのであれば、言葉どおりの厳密な意味に限られず、その意味と実質的に同一な場合も含むことができる。
　また、上記した実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）等の記録媒体に置くことができる。
　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
　本発明は、３次元画像処理装置に限られず、３次元画像処理方法、コンピュータ読み取り可能なプログラム、３次元画像処理装置を搭載した車両、などの様々な態様で提供できる。
１…３次元画像処理装置、１０Ａ…第１撮像部、１０Ｂ…第２撮像部、１１Ａ…レンズ（第１レンズ）、１１Ｂ…レンズ（第２レンズ）、１２Ａ…イメージセンサ（第１センサ）、１２Ｂ…イメージセンサ（第２センサ）、１３…ミラー、１４…焦点、２０…画像処理部、２１Ａ、２１Ｂ…入力Ｉ／Ｆ、２２Ａ、２２Ｂ…補正部、２３…ステレオ処理部、２４…出力Ｉ／Ｆ、３０Ａ…天井、３０Ｂ…床面、３０Ｃ…撮像面、３０Ｄ…壁面、４０…角部、Ｓ…撮像領域（視野）、Ｌ…基線長、Ｈ…天井高、Ｔ…被写体の高さ、Ｃ…撮像部の半径、θ…死角の見込み角の半分

Claims (14)

  1. 　第１撮像部から得られる撮像画像と第２撮像部から得られる撮像画像から距離情報を抽出する３次元画像処理装置であって、
    　前記第１撮像部は、第１レンズ、第１センサを有し、
    　前記第２撮像部は、第２レンズ、第２センサを有し、
    　前記第１撮像部と前記第２撮像部とを結ぶ略直線上に、前記第１センサ、前記第１レンズ、第２センサ、前記第２レンズが順次配置され、
    　前記第１撮像部の撮像領域と前記第２撮像部の撮像領域とが重複する共通領域でステレオ視を行い距離画像を生成するステレオ処理部を備えている、
    　３次元画像処理装置。
  2. 　請求項１に記載の３次元画像処理装置において、
    　前記第１撮像部は、前記第２撮像部の略中心を撮像する、
    　３次元画像処理装置。
  3. 　請求項１に記載の３次元画像処理装置において、
    　移動体に設置され、
    　前記ステレオ処理部は、前記第２撮像部の撮像領域の中央部に対して、モーションステレオ処理を実行して前記距離画像を生成する、
    　３次元画像処理装置。
  4. 　請求項１に記載の３次元画像処理装置において、
    　前記第１レンズおよび前記第２レンズの少なくともいずれかは、１８０度を超える画角を有する魚眼レンズである、
    　３次元画像処理装置。
  5. 　請求項１に記載の３次元画像処理装置において、
    　前記第１撮像部の撮像方向および前記第２撮像部の撮像方向が、床面を向くように設定され、
    　前記第１レンズおよび前記第２レンズの分解能は、垂直下方向付近の領域より、水平方向付近の領域の方が高い、
    　３次元画像処理装置。
  6. 　請求項１に記載の３次元画像処理装置において、
    　前記第１撮像部の撮像方向および前記第２撮像部の撮像方向が、床面を向くように設定され、
    　前記第１レンズおよび前記第２レンズの分解能は、水平方向近傍の領域より、垂直下方向の領域の方が高い、
    　３次元画像処理装置。
  7. 　請求項１に記載の３次元画像処理装置において、
    　前記第１レンズおよび前記第２レンズの分解能は、前記第２撮像部により前記第１撮像部の視野が遮られ死角となる非共通領域より、前記共通領域の方が高い、
    　３次元画像処理装置。
  8. 　請求項１に記載の３次元画像処理装置において、
    　前記第１撮像部および前記第２撮像部は、天井に設置され、
    　前記第１撮像部の撮像方向および前記第２撮像部の撮像方向は、床面を向くように設定される、
    　３次元画像処理装置。
  9. 　請求項１に記載の３次元画像処理装置において、
    　前記第１撮像部および前記第２撮像部は、移動体に設置され、
    　前記第１撮像部の撮像方向およびと前記第２撮像部の撮像方向は、前記移動体の下方向を向くように設定される、
    　３次元画像処理装置。
  10. 　請求項８または９に記載の３次元画像処理装置において、
    　前記ステレオ処理部は、前記第２撮像部の撮像領域の中央部に対して、外部から入力された、あるいは前記共通領域で算出された３次元情報を内挿して取得した床面までの距離情報に基づいて、モーションステレオ処理を実行して前記距離画像を生成する、
    　３次元画像処理装置。
  11. 　請求項１０に記載の３次元画像処理装置において、
    　前記ステレオ処理部は、ある撮像時刻に取得された撮像画像に写る被写体と、前記撮像時刻それより後の異なる時刻に取得された撮像画像に写る前記被写体とから、前記被写体の高さを算出し、前記被写体を撮像した撮像部との相対距離を算出し、前記第２撮像部により前記第１撮像部の視野が遮られ死角となる非共通領域の距離画像を生成する、
    　３次元画像処理装置。
  12. 　請求項８または９に記載の３次元画像処理装置において、
    　前記第１撮像部と前記第２撮像部との間の基線長をＬ、前記第１撮像部と床面との距離をＨ、前記第２撮像部の半径をＣ、許容される死角の半径の最大値をＤ０としたとき、
    　前記基線長ＬがＨ・Ｃ／Ｄ０以下の条件を満たす、
    　３次元画像処理装置。
  13. 　請求項１に記載の３次元画像処理装置において、
    　前記第１撮像部と前記第２撮像部との中間に、前記第１撮像部および前記第２撮像部が扱う波長を反射するミラーが設置され、
    　前記第１撮像部は、前記ミラーが反射した前記第１撮像部の逆側の領域からの光を受光し、前記第１撮像部の逆側の領域の撮像画像を生成する、
    　３次元画像処理装置。
  14. 　請求項１３に記載の３次元画像処理装置において、
    　前記ミラーは、双曲面ミラーである、
    　３次元画像処理装置。
PCT/JP2021/030400 2020-11-19 2021-08-19 ３次元画像処理装置 WO2022107405A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-192110 2020-11-19
JP2020192110A JP7422057B2 (ja) 2020-11-19 2020-11-19 ３次元画像処理装置

Publications (1)

Publication Number Publication Date
WO2022107405A1 true WO2022107405A1 (ja) 2022-05-27

Family

ID=81708728

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/030400 WO2022107405A1 (ja) 2020-11-19 2021-08-19 ３次元画像処理装置

Country Status (2)

Country Link
JP (1) JP7422057B2 (ja)
WO (1) WO2022107405A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0843055A (ja) * 1994-07-29 1996-02-16 Canon Inc ３次元物体形状認識方法及び装置
JP2001187553A (ja) * 1999-10-21 2001-07-10 Matsushita Electric Ind Co Ltd 駐車支援装置
JP2011182176A (ja) * 2010-03-01 2011-09-15 Toyama Univ 広視野角画像処理方法と広視野角画像撮影装置
JP2011177334A (ja) * 2010-03-01 2011-09-15 Saitama Univ 段差検知装置およびこれを備えた電動車両
WO2012090398A1 (ja) * 2010-12-28 2012-07-05 公立大学法人公立はこだて未来大学 画像撮像装置および画像提示システム
JP2017102072A (ja) * 2015-12-04 2017-06-08 株式会社ソシオネクスト 測距システム、移動体及び部品
JP2019158741A (ja) * 2018-03-15 2019-09-19 株式会社日立製作所 三次元画像処理装置、及び三次元画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0843055A (ja) * 1994-07-29 1996-02-16 Canon Inc ３次元物体形状認識方法及び装置
JP2001187553A (ja) * 1999-10-21 2001-07-10 Matsushita Electric Ind Co Ltd 駐車支援装置
JP2011182176A (ja) * 2010-03-01 2011-09-15 Toyama Univ 広視野角画像処理方法と広視野角画像撮影装置
JP2011177334A (ja) * 2010-03-01 2011-09-15 Saitama Univ 段差検知装置およびこれを備えた電動車両
WO2012090398A1 (ja) * 2010-12-28 2012-07-05 公立大学法人公立はこだて未来大学 画像撮像装置および画像提示システム
JP2017102072A (ja) * 2015-12-04 2017-06-08 株式会社ソシオネクスト 測距システム、移動体及び部品
JP2019158741A (ja) * 2018-03-15 2019-09-19 株式会社日立製作所 三次元画像処理装置、及び三次元画像処理方法

Also Published As

Publication number Publication date
JP7422057B2 (ja) 2024-01-25
JP2022080901A (ja) 2022-05-31

Similar Documents

Publication Publication Date Title
US10594941B2 (en) Method and device of image processing and camera
US20220270293A1 (en) Calibration for sensor
JP6767998B2 (ja) 画像の線からのカメラの外部パラメータ推定
US8571302B2 (en) Method and apparatus to build 3-dimensional grid map and method and apparatus to control automatic traveling apparatus using the same
JP2017087758A (ja) 障害物検知装置
US20180276844A1 (en) Position or orientation estimation apparatus, position or orientation estimation method, and driving assist device
JP2015179063A (ja) 視差値導出装置、機器制御システム、移動体、ロボット、視差値導出方法、およびプログラム
EP3523777A1 (en) System and method for rectifying a wide-angle image
WO2016063545A1 (ja) ステレオカメラ装置及びステレオカメラ装置を備える車両
US20230179732A1 (en) Image capturing apparatus, image processing apparatus, image processing method, image capturing apparatus calibration method, robot apparatus, method for manufacturing article using robot apparatus, and recording medium
JP2019032409A (ja) ステレオ画像処理装置
US20180338095A1 (en) Imaging system and moving body control system
US11405600B2 (en) Stereo camera
WO2022107405A1 (ja) ３次元画像処理装置
JP6983740B2 (ja) ステレオカメラシステム、及び測距方法
US11004218B2 (en) Three-dimensional image processing device and three-dimensional image processing method for object recognition from a vehicle
WO2019058729A1 (ja) ステレオカメラ
Toepfer et al. A unifying omnidirectional camera model and its applications
WO2020235249A1 (ja) ステレオカメラシステム、及び測距方法
Nagahara et al. An omnidirectional vision sensor with single view and constant resolution
JP2019185520A (ja) 画像処理装置および方法
Ikeoka et al. Depth estimation from tilted optics blur by using neural network
Adorni et al. A non-traditional omnidirectional vision system with stereo capabilities for autonomous robots
JP5964093B2 (ja) 車両サイズ測定装置、車両サイズ測定方法、およびプログラム
JP7083014B2 (ja) ステレオカメラ

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21894280

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21894280

Country of ref document: EP

Kind code of ref document: A1