WO2020138072A1 - ステレオカメラおよび電動モビリティ - Google Patents

ステレオカメラおよび電動モビリティ Download PDF

Info

Publication number
WO2020138072A1
WO2020138072A1 PCT/JP2019/050587 JP2019050587W WO2020138072A1 WO 2020138072 A1 WO2020138072 A1 WO 2020138072A1 JP 2019050587 W JP2019050587 W JP 2019050587W WO 2020138072 A1 WO2020138072 A1 WO 2020138072A1
Authority
WO
WIPO (PCT)
Prior art keywords
pair
stereo camera
distance
detection range
electric mobility
Prior art date
Application number
PCT/JP2019/050587
Other languages
English (en)
French (fr)
Inventor
星矢 清水
Original Assignee
Ｗｈｉｌｌ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｗｈｉｌｌ株式会社 filed Critical Ｗｈｉｌｌ株式会社
Publication of WO2020138072A1 publication Critical patent/WO2020138072A1/ja
Priority to US17/355,862 priority Critical patent/US20210321079A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10012—Stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G06T2207/30261—Obstacle
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Definitions

  • the present invention relates to a stereo camera and electric mobility.
  • Patent Documents 1 and 2 Conventionally, there is known a technique of acquiring a stereo image with a stereo camera and calculating the distance of an object from the stereo image (for example, refer to Patent Documents 1 and 2).
  • the right image and the left image forming the stereo image are distorted due to the optical characteristic of each lens of the pair of cameras and the manufacturing error.
  • Patent Documents 1 and 2 the distortion of each of the right image and the left image is corrected, and the corrected right image and left image are used for calculating the distance.
  • the distance d of the object is calculated by the following formula, for example.
  • Distance d baseline length b ⁇ focal length f/parallax ⁇
  • the distance d calculated from the parallax ⁇ is affected by the baseline length b and the parallax ⁇ , but in the area near the limit of the viewing angle, the distance d is calculated based on the baseline length b, the parallax ⁇ , and the like.
  • the techniques of Patent Documents 1 and 2 can correct the distortion of each image of the pair of cameras, but cannot correct the distance error depending on the position in the juxtaposed direction.
  • the present invention has been made in view of the above circumstances, and is a stereo that can correct an error in the distance of an area close to the limit of the viewing angle of the pair of cameras in the juxtaposed direction and calculate an accurate distance.
  • An object of the present invention is to provide a camera and electric mobility including the camera.
  • the present invention provides the following means.
  • a pair of lens units an image pickup element that acquires a pair of images via the pair of lens units, and a detection range that is an overlapping range of the pair of images based on the pair of images.
  • a distance calculation unit that calculates the distance between a plurality of positions in the plurality of positions, and the calculated distances of the plurality of positions calculated by the distance calculation unit according to the positions in the parallel direction of the pair of lens units in the detection range.
  • a stereo camera that includes a distance correction unit that performs a correction, and the correction amount increases as the correction is closer to an end portion of the detection range in the juxtaposed direction.
  • the pair of images acquired by the image sensor are images having parallax when the detection range is viewed from a pair of viewpoints corresponding to a pair of lens units.
  • the distance calculation unit calculates the distance of each position within the detection range from the parallax of each position within the detection range.
  • the calculated distance calculated by the distance calculation unit has an error depending on the calculated position of the pair of lens units in the juxtaposed direction. The closer the position is to the end of the detection range in the juxtaposed direction, the smaller the parallax of the position and the larger the calculated distance due to the error.
  • the distance correction unit corrects the calculated distance in a direction to decrease the calculated distance according to the position in the juxtaposition direction, and the distance reduction amount becomes larger as the position is closer to the end of the detection range in the juxtaposition direction. , Correct the calculated distance. As a result, the influence of the error can be reduced and an accurate distance can be calculated.
  • a distortion correction unit that corrects the distortion of each of the pair of images is further provided, and the distance calculation unit calculates the distance from the pair of images corrected by the distortion correction unit. .. Distortion due to lens distortion of the lens unit or the like occurs in each of the pair of images. The distortion of the pair of images is corrected by the distortion correction unit. As described above, the distance between each position in the detection range can be calculated more accurately by using the pair of images with the distortion corrected.
  • a storage unit that stores correction data is further provided, and the correction data includes a correction coefficient associated with an azimuth angle that is an angle of the juxtaposed direction with respect to an optical axis of the stereo camera, The coefficient decreases as the azimuth angle approaches the limit of the detection range of the stereo camera, and the distance correction unit may multiply the calculated distance calculated by the distance calculation unit by the correction coefficient.
  • the calculated distance can be appropriately corrected by a simple calculation in which the calculated distance calculated by the distance calculation unit is multiplied by the correction coefficient.
  • the difference between the calculated distance calculated by the distance calculation unit and the actual distance increases at a larger increase rate as the azimuth approaches the limit of the detection range. According to the above configuration, the distance can be corrected more accurately by the correction coefficient.
  • the correction coefficient is 0.6 or less in the detection range in which the magnitude of the azimuth angle is 65° or more. As described above, the error of the calculated distance becomes large at the end portion in the juxtaposed direction within the detection range where the magnitude (absolute value) of the azimuth angle becomes large. In order to accurately correct a large error in the calculated distance at the end of the detection range, the correction coefficient preferably satisfies the above condition.
  • the viewing angle of each of the pair of lens units in the juxtaposed direction is 140° or more.
  • the correction of the distance by the distance correction unit is particularly useful in calculating the distance from the pair of images acquired by using the wide-angle lens unit.
  • a second aspect of the present invention is electric mobility that includes a mobility body, wheels that support the mobility body, and the stereo camera according to any one of the above, which is attached to the mobility body.
  • the distance to the object within the detection range around the mobility main body is detected by the stereo camera. Therefore, the presence of the avoidance target within the detection range can be grasped based on the distance detected by the stereo camera.
  • the avoidance target is, for example, a person, an obstacle, a wall, a groove, furniture, or the like.
  • the stereo camera includes a distance correction unit that corrects the calculated distances of the plurality of positions calculated by the distance calculation unit according to the positions of the pair of lens units in the juxtaposed direction, and the correction is performed in the detection range.
  • one tip lens of the pair of lens units of the stereo camera is arranged above the other tip lens.
  • the detection range in which the distance of the object can be detected is the overlapping range of the image acquired via one lens unit and the image acquired via the other lens unit.
  • the configuration in which the pair of lens units are not arranged side by side but the one end lens of the pair of lens units is arranged above the other tip lens is a blind spot on the outer side in the width direction of the wheel and an electric motor. This is advantageous in reducing the blind spots on the outer side in the width direction such as the side surface of the mobility.
  • the one tip lens is located on the front side in the vehicle front-rear direction with respect to the other tip lens.
  • the detection range of the stereo camera can be extended to the rear of the electric mobility with the blind spots reduced as described above.
  • the other of the pair of lens units is arranged directly below one of the lens units, the other lens unit obstructs the field of view directly below one of the lens units.
  • the above configuration is advantageous in order to prevent or reduce obstruction of the visual field below one of the lens units.
  • the optical axes of the pair of lens units respectively extend obliquely downward. This configuration is advantageous in accurately recognizing the presence of an object such as an area outside the width direction of electric mobility and an area outside the width direction of wheels.
  • the pair of lens units of the stereo camera are respectively facing the front of the vehicle.
  • the pair of lens units of the stereo camera are arranged side by side in the vertical direction and/or the vehicle front-rear direction.
  • the detection range in which the distance of the object can be detected is the overlapping range of the image acquired via one lens unit and the image acquired via the other lens unit.
  • the configuration in which the pair of lens units are not laterally arranged side by side but the pair of lens units are vertically arranged and/or in the vehicle front-rear direction is a blind spot on the outer side in the width direction of the wheel and a side surface of the electric mobility. This is advantageous in reducing the blind spot on the outer side in the width direction.
  • the stereo camera is attached to an armrest or a control arm of the mobility main body, and the armrest and the control arm allow a driver to mount at least one of an arm and a hand.
  • the driver can easily visually recognize the position of his hand and the position of his arm. Further, the driver can intuitively recognize the approximate position of his/her hand and the approximate position of his/her arm even when he/she is not looking at the position of his/her hand and the position of his/her arm. Therefore, the configuration in which the stereo camera is provided on the control arm or the armrest is advantageous in preventing a collision with the wall of the stereo camera or the like.
  • the two stereo cameras are attached to the mobility body so as to be bilaterally symmetrical.
  • the presence or absence of the avoidance target on the outer side in the width direction of both the left and right wheels is monitored by the two stereo cameras. Since it is difficult for the driver to surely grasp all the avoidance targets on the left and right sides by visual confirmation, the above configuration is extremely useful in the house and the office.
  • the wheels are front wheels
  • the detection range of the stereo camera includes an area outside the front wheels in the vehicle width direction. According to this configuration, the avoidance target existing around the front wheel can be grasped.
  • a motor provided in the mobility main body for driving the wheels or other wheels, and a control unit for controlling the motor are further provided, and the control unit is provided by the distance correction unit. Based on the corrected distance, an avoidance target in an area whose azimuth angle corresponding to the position in the side-by-side direction is close to the limit of the detection range is detected, and an avoidance operation for avoiding the avoidance target is performed.
  • the avoidance target is accurately detected in the area where the azimuth angle is close to the limit of the detection range, which is advantageous for accurately grasping the object existing around the electric mobility.
  • the area where the azimuth angle is close to the limit of the detection range is a limit azimuth angle corresponding to the limit of the detection range and 15° from the limit azimuth angle to the optical axis side of the stereo camera. It is the area between the position and the critical proximity azimuth, which is the moved position.
  • the electric mobility is for one person to sit down and ride.
  • the present invention it is possible to correct an error in a distance in an area close to a limit of a viewing angle in a direction in which a pair of cameras are arranged in parallel, and to calculate an accurate distance.
  • a model composed of point clouds (b) (a) a model reconstructed based on the distance calculated from the parallax, and (c) a model reconstructed based on the distance corrected using the correction data. It is a figure which shows the comprised model. It is a front perspective view of electric mobility concerning one embodiment of the present invention. It is a rear perspective view of the electric mobility of this embodiment.
  • FIG. 3 is a plan view of the front wheel, suspension, etc. of the electric mobility according to the present embodiment. It is a block diagram of a control unit of electric mobility of this embodiment. It is a side view of electric mobility of this embodiment. It is a principal part top view of the electric mobility of this embodiment. It is a principal part front view of the electric mobility of this embodiment. It is a side view of electric mobility of this embodiment.
  • the stereo camera 1 includes a pair of cameras 2R and 2L and an image processing device 3 that processes a pair of images acquired by the pair of cameras 2R and 2L. There is.
  • the one camera 2R includes a lens unit 4R and an image sensor 5R that acquires an image (right image) of the field of view of the lens unit 4R via the lens unit 4R.
  • the other camera 2L includes a lens unit 4L and an image sensor 5L that acquires an image (left image) of the field of view of the lens unit 4L via the lens unit 4L.
  • the pair of lens units 4R and 4L are supported by the camera body 6 (see FIGS. 6 and 13), and the image pickup elements 5R and 5L are provided inside the camera body 6.
  • the image pickup elements 5R and 5L are well-known sensors such as CMOS image sensors.
  • the image pickup devices 5R and 5L are connected to the image processing device 3.
  • the optical axes LA of the pair of lens units 4R and 4L are parallel or substantially parallel to each other.
  • Each lens unit 4R, 4L is a wide-angle lens like a fisheye lens.
  • the viewing angle (total angle of view) of each of the cameras 2R and 2L is preferably 140° or more, more preferably 160° or more, and further preferably 180° or more.
  • an XYZ rectangular coordinate system will be used.
  • the X direction is a direction in which the lens units 4R and 4L are arranged in parallel
  • the Z direction is a direction parallel to the optical axis LA of the lens units 4R and 4L
  • the Y direction is a direction orthogonal to the X direction and the Z direction. is there.
  • the stereo camera 1 acquires a pair of images having parallax by the pair of image pickup elements 5R and 5L.
  • each horizontal direction of the pair of images corresponds to the X direction
  • each vertical direction of the pair of images corresponds to the Y direction.
  • the mutually overlapping range is the detection range DA capable of calculating the distance d from the pair of images.
  • the stereo camera 1 may be configured to acquire a pair of images with a single image sensor. For example, an image may be formed by the one lens unit 4R in the image pickup area on one side of the single image pickup element, and an image may be formed by the other lens unit 4L in the image pickup area on the other side of the single image pickup element. ..
  • FIG. 2 explains parameters related to the stereo camera 1.
  • the base line length b is the distance between the optical axes LA of the cameras 2R and 2L (lens units 4R and 4L).
  • the distance d is the distance from the camera center C of the position P within the detection range DA.
  • the camera center C is the center between the pair of lens units 4R and 4L.
  • the parallax ⁇ is the difference in the direction of the position P when viewed from the pair of lens units 4R and 4L.
  • the X direction angle (azimuth angle) ⁇ is an angle in the X direction with respect to the optical axis LA when the position P is seen from the lens unit 4L.
  • the X direction angle (azimuth angle) ⁇ is an angle in the X direction with respect to the optical axis LA when the position P is viewed from the lens unit 4R.
  • the optical axis LA is the optical axis of the stereo camera 1 passing through the camera center C.
  • the optical axis LA of the stereo camera 1 may be one of the optical axes of the cameras 2R and 2L.
  • the relationship of ⁇
  • is established between the parallax ⁇ and the X-direction angles ⁇ and ⁇ .
  • the Y-direction angle (elevation angle) ⁇ is the Y-direction angle when the position P is viewed from the lens units 4R and 4L.
  • the image processing device 3 includes a processing unit 3A having at least a processor such as a CPU (central processing unit), and a storage unit 3B having a RAM, a ROM, a non-volatile memory, and the like. ..
  • the processing unit 3A includes a distortion correction unit 6a that corrects the distortion of each of the pair of images, a deviation correction unit 6b that corrects the deviation between the pair of images whose distortion has been corrected, and a pair of the distortion and the deviation that have been corrected.
  • a parallax image creation unit 6c that creates a parallax image from an image
  • a distance calculation unit 6d that calculates the distance d from the parallax image
  • a distance correction unit 6e that corrects the distance d
  • a point cloud based on the corrected distance d′.
  • a three-dimensional image creating unit 6f that creates data (three-dimensional image).
  • the internal parameter 7R is a parameter related to the unique optical characteristics of the camera 2R, and is expressed as, for example, a matrix or a function for correcting the optical center of the camera 2R, the focal length, the lens distortion, and the like.
  • the internal parameter 7L is a parameter related to the unique optical characteristics of the camera 2L, and is expressed as, for example, a matrix or a function for performing correction regarding the optical center of the camera 2L, focal length, lens distortion, and the like.
  • the external parameter 8 is a parameter for correcting the relative position and relative attitude of the pair of cameras 2R and 2L, and is represented as, for example, a rotation matrix and a translation matrix.
  • the internal parameters 7R and 7L and the external parameters 8 are obtained by known camera calibration using a board on which a lattice pattern is drawn, such as a chess board.
  • a correction table 9 for correcting the error of the distance d is stored in the storage unit 3B in advance.
  • the correction coefficient is associated with each combination of the X-direction angle (azimuth angle) ⁇ and the X-direction angle (azimuth angle) ⁇ .
  • one of the X-direction angles ⁇ and ⁇ may be associated with one X-direction angle (azimuth angle) ⁇ .
  • FIG. 3 consider two positions P1 and P2 having the same distance d.
  • the position P1 is located at the center of the detection range DA (in front of the camera center C) in the X direction.
  • the position P2 is closer to the end of the detection range DA than the position P1 in the X direction.
  • the viewing angle of each of the cameras 2R and 2L is 180° (-90° to +90°). That is, the detection range (angle range) DA viewed from the stereo camera 1 is also about 180°. In the case of the stereo camera 1 for the electric mobility 100, the viewing angle may be 140° (-70° to +70°) or more, and more preferably 160° (-80° to +80°) or more.
  • the parallax ⁇ 2 at the position P2 is smaller than the parallax ⁇ 1 at the position P1.
  • the ratio of the parallax ⁇ 2 to the parallax ⁇ 1 is uniquely determined by the base line length b and the X-direction angles ⁇ and ⁇ and the Y-direction angle ⁇ of the position P2. This ratio is the correction coefficient. Therefore, the correction coefficient is a value greater than 0 and less than or equal to 1.
  • the correction table 9 is determined according to the optical design (baseline length b) of the stereo camera 1. Therefore, the common correction table 9 can be used for the stereo cameras 1 having the same optical design (base line length b).
  • FIG. 4 shows an example of the correction coefficient.
  • one point represents one correction coefficient.
  • the correction coefficient decreases as the X-direction angles ⁇ and ⁇ approach the limit of the viewing angle ( ⁇ 90°).
  • the correction coefficient decreases in the area where the X-direction angle ⁇ that is the viewing angle is close to ⁇ 90°.
  • the correction coefficient changes depending on only the X-direction angles ⁇ and ⁇ of the X-direction angles ⁇ and ⁇ and the Y-direction angles ⁇ .
  • the correction coefficient may change depending not only on the X-direction angles ⁇ and ⁇ but also on the Y-direction angle ⁇ .
  • the correction coefficient is 0.3 or less when the magnitude (absolute value) of at least one of the X direction angles (azimuth angles) ⁇ and ⁇ is 75° or more. Further, the correction coefficient is 0.4 or less when the magnitude (absolute value) of at least one of the X direction angles (azimuth angles) ⁇ and ⁇ is 70° or more. Further, the correction coefficient is 0.6 or less when the magnitude (absolute value) of at least one of the X-direction angles ⁇ and ⁇ is 65° or more.
  • the distortion correction unit 6a receives the right image from the image sensor 5R and the left image from the image sensor 5L.
  • the right image is distorted due to lens distortion of the camera 2R or the like.
  • the left image is distorted due to lens distortion of the camera 2L or the like.
  • the distortion correction unit 6a corrects the distortion of the right image based on the internal parameter 7R of the camera 2R, and corrects the distortion of the left image based on the internal parameter 7L of the camera 2L.
  • the shift correction unit 6b corrects the shift between the right image and the left image based on the external parameter 8. For example, the shift correction unit 6b rotates or translates one of the right image and the left image based on the external parameter 8.
  • the parallax image creating unit 6c calculates the parallax ⁇ at each position in the detection range DA from the right image and the left image in which the distortion and the shift are corrected, and creates the parallax image in which each pixel has the information of the parallax ⁇ . For example, when creating a parallax image based on the left image, the parallax image creating unit 6c sets one image of the left image as a pixel of interest, detects a pixel of the right image corresponding to the pixel of interest by stereo matching, A shift amount (number of pixels) in the X direction between the pixel of interest and the corresponding pixel is calculated. The X direction position of each pixel in the left image corresponds to the X direction angle ⁇ .
  • the parallax image creating unit 6c gives the shift amount in the X direction to the target pixel of the left image.
  • the parallax image creating unit 6c creates all parallax images by sequentially setting all the pixels within the detection range DA of the left image as the target pixel and repeating the same processing.
  • the distance correction unit 6e corrects the distance (calculated distance) d of each pixel calculated by the distance calculation unit 6d using the correction data. Specifically, the distance correction unit 6e selects, from the correction table 9, a correction coefficient corresponding to the X direction angle (azimuth angle) ⁇ of each pixel of the parallax image, for example. When the correction coefficient is also associated with the Y direction angle ⁇ in the correction table, the distance correction unit 6e determines the correction coefficient corresponding to the X direction angle (azimuth angle) ⁇ and the Y direction angle (elevation angle) ⁇ of each pixel. Select from the correction table 9. Next, the distance correction unit 6e obtains the corrected distance d′ by multiplying the distance d by the selected correction coefficient.
  • the correction coefficient is a value greater than 0 and less than or equal to 1. Therefore, the distance correction unit 6e corrects the distance d in the direction of decreasing, and the corrected distance d′ is equal to or less than the uncorrected distance d.
  • the 3D image creation unit 6f creates point cloud data (point cloud image) based on the positions of the pixels in the parallax image in the X and Y directions and the corrected distance d'.
  • the point cloud data is data including three-dimensional coordinates of points corresponding to each pixel in the detection range DA.
  • a point cloud image can be created by mapping each point in the point cloud data in a three-dimensional coordinate space.
  • the three-dimensional image creating unit 6f may create distance image data in which each pixel has information on the distance d'instead of or in addition to the point cloud data.
  • FIG. 5A to 5C show simulation results of image processing by the image processing device 3.
  • FIG. 5A shows a rectangular parallelepiped model M composed of point clouds. The parallax ⁇ was calculated based on the coordinates of each point of the model M, and the distance d was calculated from the parallax ⁇ .
  • FIG. 5B is a point cloud image of the model M′ reconstructed based on the distance d.
  • the model M′ has a shape similar to the model M in the central portion where the X-direction angles ⁇ and ⁇ are close to 0°.
  • FIG. 5C is a point cloud image of the model M′′ reconstructed based on the corrected distance d′.
  • the entire wide viewing angle ( ⁇ 90° to +90°) is obtained. In the range, the model M′′ accurately reproduces the shape of the model M.
  • the distance d calculated from the parallax ⁇ of a pair of images has an error depending on the X-direction angles ⁇ and ⁇ and the Y-direction angle ⁇ .
  • the dominant factors that cause the error are the X-direction angles ⁇ and ⁇ , as is apparent from FIG.
  • the distance d is corrected to the distance d′ using the correction table 9, and the closer the X-direction angles ⁇ and ⁇ are to the limit of the parallax angle (that is, the position is the end of the detection range DA in the X-direction).
  • the closer to the part) the greater the reduction amount of the distance d′ with respect to the distance d.
  • An error depending on the Y-direction angle ⁇ may occur in the distance d calculated from the parallax ⁇ of a pair of images. Therefore, as shown in FIGS. 5A to 5C, when the correction table 9 in which the correction coefficient also changes in the Y-direction angle ⁇ is used, the distance d depending on the Y-direction angle ⁇ is used. The error can also be corrected and a more accurate distance d′ can be calculated.
  • the error between the distance d calculated from the parallax ⁇ and the actual distance is, for example, as the X direction angle (azimuth angle) ⁇ approaches the limit of the visual field, that is, the X direction angle (azimuth angle (azimuth)).
  • the angle ⁇ approaches the limit of the detection range DA, it increases at a greater rate of increase. Therefore, as shown in FIGS. 4 and 5A and 5B, the correction coefficient in the correction table has a larger decrease rate as the X-direction angle (azimuth angle) ⁇ approaches the limit of the detection range DA. It is preferable to decrease by. With such a correction coefficient, the error of the distance d can be corrected with higher accuracy and a more accurate distance d′ can be obtained.
  • the distance correction unit 6e corrects the distance d at all positions within the detection range DA, but instead, it corrects only the distance d at positions within a predetermined area of the detection range DA.
  • the predetermined region is a region at both ends in the X direction of the detection range DA in which the error of the distance d depending on the X direction angles ⁇ and ⁇ becomes large.
  • the predetermined region is a region in which the magnitude (absolute value) of at least one of the X-direction angles ⁇ and ⁇ is 60° or more.
  • the distance correction unit 6e corrects the distance d using the correction table 9, but instead of this, the corrected distance d is calculated from the base line length b and the X direction angles ⁇ and ⁇ . ' May be calculated.
  • the distance correction unit 6e may calculate the corrected distance d′ from a predetermined function having the base line length b, the X-direction angles ⁇ and ⁇ , and the Y-direction angle ⁇ as variables.
  • the predetermined function is designed such that the closer the X-direction angles ⁇ and ⁇ are to the limit of the viewing angle, the greater the reduction amount of the distance d′ with respect to the distance d.
  • a predetermined function is determined, for example, experimentally or by simulation.
  • the electric mobility 100 includes a pair of front wheels 10, a pair of rear wheels 20, and a mobility body 30 supported by the front wheels (wheels) 10 and the rear wheels (wheels) 20. Equipped with.
  • the mobility main body 30 drives, for example, a body 31 supported by the front wheels 10 and the rear wheels 20, a seat unit 40 attached to the body 31, and at least one of the pair of front wheels 10 and the pair of rear wheels 20.
  • a motor 50 is attached to the body 31, and the seat unit 40 is removable from the body 31.
  • This electric mobility 100 is for one person to sit down and ride.
  • the vehicle front-rear direction shown in FIGS. 8 and 9 may be described as the front-rear direction in the following description, and the vehicle width direction shown in FIGS. 8 and 9 may be described as the width direction or the left-right direction in the following description.
  • the vehicle front-rear direction and the mobility body 30 front-rear direction coincide, and the vehicle width direction and the mobility body 30 width direction coincide.
  • the radial centers of the pair of front wheels 10 are aligned in the vehicle width direction
  • the radial centers of the pair of rear wheels 20 are aligned in the vehicle width direction as well. They are orthogonal.
  • each of the pair of rear wheels 20 is connected to the motor 50, and each motor 50 drives the corresponding rear wheel 20.
  • the driving force of each motor 50 is transmitted to the corresponding front wheel 10 by the power transmission means.
  • the power transmission member is a belt, a gear or the like.
  • each front wheel 10 is supported by a body 31 using an axle 11 and a suspension 12.
  • the ground contact surface of the front wheel 10 is formed by a plurality of rollers 13 arranged in the circumferential direction of the front wheel 10.
  • the suspension 12 has a support member 12a and a biasing member 12b such as a coil spring.
  • One end side of the support member 12a is supported by the front end side of the body 31, and the support member 12a is tiltable around a first axis A1 extending in the vehicle width direction.
  • the biasing member 12b biases the other end of the support member 12a toward the front of the vehicle.
  • the axle 11 of the front wheel 10 is fixed to the support member 12a.
  • the second axis A2 that is the central axis of the axle 11 is inclined forward with respect to the horizontal line HL that is perpendicular to the front-rear direction.
  • the angle ⁇ formed by the second axis A2 and the horizontal line HL in plan view is preferably 2° to 15°, but may be another angle depending on the conditions.
  • the other end of the support member 12a can move rearward of the vehicle with respect to the body 31 against the biasing force of the biasing member 12b. Therefore, the vibration caused by the collision of the roller 13 with the ground contact surface is more effectively reduced.
  • the front wheels 10 do not have to be arranged in a toe-in state. The reduction of vibration is advantageous in improving the accuracy of detection of an object by the stereo camera 1.
  • Each front wheel 10 includes a hub 14 attached to the axle 11, and a plurality of roller support shafts (not shown) supported by the hub 14, and the plurality of rollers 13 are rotatably supported by the roller support shafts, respectively.
  • the hub 14 may be attached to the axle 11 using a bearing or the like, and the hub 14 may be attached to the axle 11 using a cushioning member, an intermediate member, or the like.
  • the axis of each roller support shaft extends in a direction intersecting the radial direction of the axle 11.
  • each roller 13 rotates around the axis of the corresponding roller support shaft. That is, each front wheel 10 is an omnidirectional wheel that moves in all directions with respect to the traveling surface.
  • the outer peripheral surface of each roller 13 is formed of a material having rubber-like elasticity, and a plurality of grooves extending in the circumferential direction is provided on the outer peripheral surface of each roller 13 (see FIGS. 10 and 11).
  • each rear wheel 20 is provided with an axle (not shown), a hub 21 attached to the axle, an outer periphery provided on the outer peripheral side of the hub 21, and an outer peripheral surface formed of a material having rubber-like elasticity.
  • an omnidirectional wheel may be used similarly to the front wheel 10.
  • the axle of the rear wheel 20 may be common with the main shaft of the motor 50.
  • the structure of the body 31 can be changed as appropriate.
  • the base portion 32 extends along the ground surface, and the seat support portion 33 extends upward from the rear end side of the base portion 32.
  • the seat support portion 33 is inclined toward the front of the vehicle, and the seat unit 40 is attached to the upper end side of the seat support portion 33.
  • the base portion 32 of the present embodiment includes a metal base frame 32a that supports the suspension 12 of the front wheels 10 and the motor 50 of the rear wheels 20, and a plastic cover portion 32b that at least partially covers the base frame 32a.
  • the cover portion 32b is used as a portion on which a driver's foot sitting on the seat unit 40 is placed, a portion on which luggage is placed, and the like.
  • the cover portion 32b also includes a pair of fenders 32c that respectively cover the pair of front wheels 10 from above.
  • Each fender 32c has only a function of covering the front wheel 10 in one example. In another example, each fender 32c also has a function of strengthening the rigidity of the body 31. In addition, each fender 32c may cover only a part of the front wheel 10.
  • the seat unit 40 has a shaft 40a in its lower portion, and the shaft 40a is attached to the upper end side of the seat support portion 33.
  • a rechargeable battery BA is attached to the back surface of the seat supporting portion 33, and a control unit 60 described later is arranged in the seat supporting portion 33.
  • the seat unit 40 includes a seat surface portion 41 on which a driver sits, a backrest portion 42, a right control arm 43, and a left control arm 43.
  • An armrest 43a is fixed to the upper surface of each control arm 43.
  • the driver puts both arms on the armrests 43a of the pair of control arms 43, respectively. Further, the driver puts both hands on the upper ends of the pair of control arms 43.
  • both the control arm 43 and the armrest 43a are provided in the present embodiment, only the control arm 43 or the armrest 43a may be provided. In this case, the driver puts at least one of the arm and the hand on the control arm 43, or puts at least one of the arm and the hand on the armrest 43a.
  • An operation section 44 having an operation lever 44a is provided on the upper end of the right control arm 43.
  • the operating lever 44a When no force is applied, the operating lever 44a is placed in the neutral position by the biasing member (not shown) provided in the operating portion 44. The driver can displace the operation lever 44a to the right, left, front, and rear with respect to the neutral position with the right hand.
  • a signal corresponding to the displacement direction and displacement amount of the operation lever 44a is transmitted from the operation unit 44 to the control unit 60 described later, and the control unit 60 controls each motor 50 according to the received signal.
  • the control unit 60 controls each motor 50 according to the received signal.
  • a signal for rotating each motor 50 toward the front of the vehicle is transmitted.
  • the electric mobility advances at a speed according to the amount of displacement of the operating lever 44a.
  • a signal for rotating the left motor 50 toward the vehicle front at a slower speed than the right motor 50 is transmitted. This causes the electric mobility to move forward while bending to the left at a speed corresponding to the amount of displacement of the operation lever 44a.
  • a setting unit 45 for performing various settings related to electric mobility is provided on the upper end of the left control arm 43.
  • various settings include maximum speed setting, driving mode setting, and electric mobility lock setting.
  • An informing device 46 is provided on each of the left and right control arms 43.
  • Each notification device 46 is a voice generation device, a display device, a vibration generation device, or the like.
  • the vibration generator vibrates a part of the upper end side of the control arm 43, the operation unit 44, the setting unit 45, etc. at, for example, several tens Hz.
  • the control unit 60 includes a motor driver 70 that drives each motor 50 and a control device 80.
  • the motor driver 70 is connected to the battery BA.
  • the motor driver 70 is also connected to each motor 50, and the motor driver 70 supplies drive power to each motor 50.
  • the control device 80 has a control unit 81 having a CPU, a RAM, etc., a storage device 82 having a non-volatile memory, a ROM, etc., and a transmitting/receiving unit 83.
  • the storage device 82 stores a travel control program 82a for controlling electric mobility.
  • the control unit 81 operates based on the traveling control program 82a.
  • the control unit 81 transmits a drive signal for driving each motor 50 to the motor driver 70 based on the signals from the operation unit 44 and the setting unit 45.
  • Two stereo cameras 1 are attached to the upper end side of the right control arm 43 and the upper end side of the left control arm 43, respectively.
  • the image pickup devices 5R and 5L of the two stereo cameras 1 are connected to the image processing device 3, and the image processing device 3 is provided in the control device 80 in the present embodiment.
  • the image processing device 3 may be provided outside the control device 80.
  • the detection range DA of the stereo camera 1 is a range in which the imaging ranges of the pair of imaging elements 5R and 5L overlap.
  • the optical axes LA of the lens units 4R and 4L of the stereo camera 1 extend obliquely outward in the width direction.
  • the optical axis LA of each lens unit 4R, 4L extends in a direction forming an angle ⁇ with respect to the front-rear direction.
  • the angle ⁇ is between 5° and 30°.
  • one tip lens 4Ra of the pair of lens units 4R and 4L of the stereo camera 1 is arranged above the other tip lens 4La. That is, the tip lens 4Ra is arranged at a position higher than the tip lens 4La. Further, as shown in FIG. 13 and the like, one tip lens 4Ra is located on the front side in the vehicle front-rear direction with respect to the other tip lens 4La. That is, the tip lens 4Ra is arranged on the front side of the tip lens 4La.
  • the optical axes LA of the pair of lens units 4R and 4L respectively extend obliquely downward. Also. As shown in FIGS. 8 and 13, the pair of lens units 4R and 4L respectively face the front of the vehicle. If the angle ⁇ is 40° or less and the angle formed by the optical axes LA of the lens units 4R and 4L with the horizontal direction is 40° or less, it is determined that the pair of lens units 4R and 4L face the front of the vehicle. I can say. Note that each of the above angles is preferably 30° or less.
  • the pair of lens units 4R and 4L of the stereo camera 1 are arranged in the vertical direction and/or the vehicle front-rear direction.
  • FIG. 14 shows a part of the detection range DA, and the detection range DA also exists in front of the range shown in FIG.
  • the detection range DA of the left stereo camera 1 is set with respect to a part of the left front wheel 10, a part of the fender 32c of the left front wheel 10, and the left front wheel 10.
  • the detection range DA of the right stereo camera 1 is the same as the detection range DA of the left stereo camera 1.
  • the control unit 81 of the control device 80 operates based on the avoidance control program 82b stored in the storage device 82.
  • the control unit 81 detects, in the point cloud data (point cloud image) created by the three-dimensional image creating unit 6f, an avoidance target with which the front wheel 10 or the fender 32c may come into contact.
  • the avoidance target is, for example, an obstacle, a person, an animal, or a plant.
  • the obstacle is, for example, a wall, a large stone, a step, or the like.
  • the control unit 81 detects an avoidance target such as a step, a hole, or a groove in which the front wheel 10 may fall or fit in the distance image.
  • the detection range (angle range) DA viewed from the stereo camera 1 is also about 140°.
  • the avoidance target that the front wheel 10 or the fender 32c may come into contact with is likely to appear in an area in which the X-direction angle ⁇ in the detection range DA is close to 70°.
  • the avoidance target appears in the area where the X-direction angle ⁇ is 65° or more.
  • the control unit 81 controls each motor 50 by a control command for an avoidance operation when an avoidance target in which the front wheel 10 or the fender 32c may come into contact with a predetermined range AR1 in the detection range DA is detected.
  • the control unit 81 activates the notification device 46, for example, when an avoidance target in which the front wheel 10 or the fender 32c may come into contact with the predetermined range AR1 in the detection range DA is detected.
  • the control unit 81 detects an avoidance target in which the front wheel 10 may fall or fit in a predetermined range AR1 in the detection range DA, for example, the control unit 81 controls each motor 50 by a control command for an avoidance operation.
  • control unit 81 activates the notification device 46, for example, when the avoidance target in which the front wheel 10 may fall or fit in the predetermined range AR1 in the detection range DA is detected.
  • the avoidance operation are control of each motor 50 for limiting the rotation speed of each motor 50, stopping, and limiting the movement of the electric mobility to the avoidance target side.
  • the control unit 81 causes the notification device 46 to vibrate the upper ends of the left and right control arms 43.
  • the control unit 81 causes the notification device 46 to generate an alarm sound as the avoidance operation.
  • the control unit 81 controls the one of the control arms 43.
  • the notification device 46 vibrates the upper end portion. This allows the driver to intuitively recognize the direction in which there is a possibility of contact, drop, or fit.
  • the avoidance operation may be performed when the avoidance target is detected somewhere in the detection range DA of the stereo camera 1.
  • the image processing device 3 of the stereo camera 1 largely corrects the distance d obtained by the distance calculation unit 6d in the area where the X-direction angle (azimuth angle) ⁇ is close to the limit of the visual field. As a result, accurate distance detection can be performed even in an area where the X-direction angle (azimuth angle) ⁇ is close to the limit of the visual field.
  • the rear wheel 20 when the viewing angle of each of the cameras 2R and 2L is about 180° ( ⁇ 90°) in the X-direction angle (azimuth angle) ⁇ of the stereo camera 1, the rear wheel 20 is on the outer side in the width direction. It is also possible to detect the avoidance target that appears in the area.
  • the rear wheel 20 may be an omnidirectional wheel, and in that case, detection of an avoidance target appearing in an area on the outer side in the width direction of the rear wheel 20 is particularly useful.
  • the detection range DA of the stereo camera 1 includes the area outside the width direction of the front wheel 10. In one example, at least a part of the front wheel 10 or a part of the fender 32c of the front wheel 10 enters the detection range DA of the stereo camera 1.
  • the configuration is extremely useful for surely understanding the relationship between the avoidance target existing on the outer side in the width direction of the front wheel 10 and the front wheel 10.
  • the driver in order for the driver to visually see the vicinity of the front wheel 10 on the traveling surface on the outer side in the width direction of the front wheel 10, the driver needs to change the posture.
  • the vicinity of the front wheel 10 on the traveling surface on the outer side in the width direction of the front wheel 10 is within the detection range DA of the stereo camera 1, the burden on the driver for monitoring is reduced.
  • the driver Especially when driving electric mobility in a house or office, the driver needs to be careful of contact with avoidable objects such as furniture and walls. In addition, the driver needs to be careful of intrusion into the avoidance target such as stairs.
  • avoidance targets there are various types of avoidance targets within a house or office. Therefore, it is difficult for the driver to surely grasp all these avoidance targets by visual confirmation. Therefore, the configuration of this embodiment is extremely useful in a house or office.
  • the left stereo camera 1 may be, for example, the seat unit 40, so that at least one of the left rear wheel 20 and the left rear wheel 20 fender may be within the detection range DA of the left stereo camera 1. It may be attached to the body 31, the seat unit 40 or a pole extending from the body 31, the left control arm 43, the armrest 43a thereof, and the like.
  • the right stereo camera 1 is, for example, the seat unit 40, so that at least one of the right rear wheel 20 and at least one of the fenders of the right rear wheel 20 falls within the detection range DA of the right stereo camera 1. It may be attached to the body 31, the seat unit 40 or a pole extending from the body 31, the right control arm 43, the armrest 43a thereof, and the like.
  • the pair of lens units 4R and 4L of the stereo camera 1 are not vertically aligned with each other, but are vertically aligned with each other.
  • the detection range DA of the stereo camera 1 is a range in which the imaging ranges of the pair of imaging elements 5R and 5L overlap. Therefore, the configuration of the present embodiment in which the pair of lens units 4R and 4L are arranged side by side in the vertical direction is effective in reducing or eliminating the blind spot on the outer side in the width direction of the front wheel 10 as shown in FIG. It is advantageous.
  • the pair of lens units 4R and 4L may be arranged in the front-rear direction, and the pair of lens units 4R, 4L may be arranged in the vertical direction and the front-rear direction. These configurations are also advantageous in reducing or eliminating the blind spot of the front wheel 10 on the outer side in the width direction.
  • the width-direction positions of the lens units 4R and 4L of each stereo camera 1 overlap with the corresponding width-direction positions of the front wheels 10.
  • the position in the width direction of the lens units 4R, 4L is the range in the width direction in which the lens units 4R, 4L are present, and the position in the width direction of the front wheel 10 is in the presence of the front wheel 10. Is the range in the width direction.
  • This configuration is advantageous in reducing the blind spot on the outer side in the width direction of the front wheel 10 as shown in FIG.
  • the lens units 4R and 4L of each stereo camera 1 are arranged above the traveling surface of the corresponding front wheel 10 on the outer side in the width direction. With this configuration, the blind spot on the outer side in the width direction of the front wheel 10 can be further reduced or eliminated.
  • each stereo camera 1 is attached to the corresponding control arm 43.
  • the control arm 43 is a portion on which the driver's hand and arm are placed.
  • Each control arm 43 is often arranged outside in the width direction with respect to the torso of the driver seated in the seat unit 40.
  • each control arm 43 is often arranged on the outer side in the width direction with respect to the thigh of the driver seated on the seat unit 40. Therefore, the above configuration reduces the possibility that the detection range DA of each stereo camera 1 is obstructed by the driver's body.
  • the seat unit 40 with a pair of armrests 43a instead of the pair of control arms 43.
  • the stereo camera 1 can be provided at the front end of the armrest 43a.
  • the configuration also has the same effects as the present embodiment.
  • the driver can easily see the position of his or her hand and arm. Further, the driver can intuitively recognize the approximate position of his/her hand and the approximate position of his/her arm even when he/she is not looking at the position of his/her hand and the position of his/her arm. Therefore, the configuration of this embodiment in which the stereo camera 1 is provided on the control arm 43 and the arm rest 43a is advantageous in preventing a collision with the wall of the stereo camera 1 or the like. That is, the configuration of this embodiment is advantageous in preventing the stereo camera 1 from being damaged or displaced.
  • the optical axes LA of the lens units 4R and 4L of the stereo camera 1 extend obliquely outward in the width direction. Therefore, a wider area outside the front wheel 10 in the width direction falls within the detection range DA of the stereo camera 1.
  • the configuration is extremely useful for surely understanding the relationship between the avoidance target existing on the outer side in the width direction of the front wheel 10 and the front wheel 10.
  • the pair of front wheels 10 are in the toe-in state. That is, the rear end side of the front wheel 10 is arranged more outward in the width direction than the front end side when the electric mobility is straight ahead.
  • the present embodiment makes it possible to monitor the widthwise outer side of the front wheel 10 in detail. Therefore, it is possible to detect an avoidance target in which the front end side of the front wheel 10 does not come into contact with the rear end side of the front wheel 10 while the electric mobility is traveling straight ahead. For example, a leg of a desk or the like is detected as such an avoidance target when the electric mobility is advanced straight ahead at low speed in a house or an office.
  • the avoidance target to which the front wheel 10 or the fender 32c may come into contact is likely to appear in an area where the X-direction angle ⁇ in the detection range DA is close to 70°. That is, it is highly possible that the avoidance target appears near the limit of the viewing angle of the cameras 2R and 2L in the detection range DA.
  • the difference in position between the front end side and the rear end side of the front wheel 10 in the vehicle width direction due to the front wheel 10 being in the toe-in state is small.
  • the image processing device 3 largely corrects the distance d obtained by the distance calculation unit 6d in the area where the X-direction angle (azimuth angle) ⁇ is close to the limit of the visual field. As a result, it is possible to accurately detect the avoidance target to which the front wheel 10 in the toe-in state may come into contact.
  • Each stereo camera 1 is attached to the corresponding control arm 43 by a stay (attachment member) 94.
  • the stay 94 has a fixing portion 94a fixed to the inner surface in the width direction of the control arm 43 by a bolt B, and an extending portion 94b extending outward in the width direction from the end of the fixing portion 94a.
  • the stay 94 is formed by bending a plate member. In one example, the angle formed by the fixed portion 94a and the extended portion 94b is equal to the angle ⁇ .
  • the stereo camera 1 may be arranged inside the upper end of the control arm 43.
  • the stereo camera 1 is arranged in the hollow portion provided in the control arm 43.
  • a transparent cover is attached to the front surface of the upper end portion of the control arm 43, and the pair of lens units 4R and 4L are arranged inside the cover.
  • the stereo camera 1 can be arranged for the purpose of achieving the same effect as the above.
  • the fixing portion 94a is provided with an elongated hole 94c, and the bolt B is inserted through the elongated hole 94c.
  • the long hole 94c has an arc shape.
  • the fixed portion 94a and the extended portion 94b may be connected to each other with a bolt or the like via another member, and thereby the angle between the fixed portion 94a and the extended portion 94b may be adjustable. In this case, the direction in which the optical axis LA of each lens unit 4R, 4L of the stereo camera 1 faces can be easily adjusted in the vehicle width direction.
  • the front of the electric mobility enters the detection range DA of the stereo camera 1.
  • the front of the driver's head enters the detection range DA of the stereo camera 1.
  • this electric mobility can turn while advancing at low speed. In some cases, you can turn while stopped. In such a case, the situation around the driver is accurately detected by the stereo camera 1.
  • the X-direction angle (azimuth angle) ⁇ of the stereo camera 1 when the viewing angle of each of the cameras 2R and 2L is about 180° ( ⁇ 90°), it is in front of the driver.
  • the detection range DA is present. However, the detection range DA immediately in front of the driver is a range in which the viewing angles of the cameras 2R and 2L are about 180° ( ⁇ 90°).
  • the image processing device 3 largely corrects the distance d obtained by the distance calculation unit 6d in the area where the X-direction angle (azimuth angle) ⁇ is close to the limit of the visual field. As a result, it is possible to accurately detect the avoidance target that the driver may contact in the detection area DA immediately in front of the driver.
  • the optical axis LA of each stereo camera 1 is oriented in the horizontal direction, but the optical axis LA of each stereo camera 1 may be oriented in the downward oblique direction or may be oriented in the upward oblique direction.
  • the stereo camera 1 includes a distance correction unit 6e that corrects the calculated distances at the plurality of positions calculated by the distance calculation unit 6d according to the positions of the pair of lens units 4R and 4L in the juxtaposed direction.
  • the correction is such that the amount of reduction in the calculated distance increases as the lens units 4R and 4L are closer to the ends of the detection range DA in the juxtaposed direction.
  • the calculated distance is corrected at the ends of the lens units 4R and 4L in the detection direction DA in the juxtaposed direction, which is advantageous for accurately grasping the existence of the avoidance target around the electric mobility.
  • one tip lens 4Ra of the pair of lens units 4R and 4L of the stereo camera 1 is arranged above the other tip lens 4La.
  • the pair of lens units of the stereo camera are arranged side by side in the vertical direction and/or the vehicle front-rear direction.
  • the detection range DA in which the distance of the object can be detected is the overlapping range of the image acquired via the one lens unit 4R and the image acquired via the other lens unit 4L.
  • the pair of lens units 4R and 4L are not arranged side by side in the lateral direction, but one tip lens 4Ra of the pair of lens units 4R and 4L is arranged above the other tip lens 4La. Is advantageous in reducing the blind spot on the outer side in the width direction and the blind spot on the outer side in the width direction such as the side surface of the electric mobility 100.
  • the one tip lens 4Ra is located on the front side in the vehicle front-rear direction with respect to the other tip lens 4La.
  • the detection range DA of the stereo camera 1 can be expanded to the rear of the electric mobility 100 in a state where the blind spot is reduced as described above.
  • the other lens unit 4L obstructs the field of view directly below the one lens unit 4R.
  • the above configuration is advantageous for preventing or reducing the obstruction of the visual field below the one lens unit 4R.
  • the optical axes LA of the pair of lens units 4R and 4L extend obliquely downward.
  • a motor 50 that is provided in the mobility body 30 and drives the wheels 10, 20 or other wheels, and a control device 80 that controls the motor 50 are provided, and the control device 80 causes the distance correction unit 6e.
  • the avoidance target in the area whose azimuth angle is close to the limit of the detection range DA is detected based on the corrected distance, and the avoidance operation for avoiding the avoidance target is performed.
  • the pair of lens units 4R and 4L are arranged side by side in the vertical direction, and further, the pair of lens units 4R and 4L face forward, on the outer side in the width direction of the wheels 10 and 20 of the electric mobility 100.
  • the area enters an area whose azimuth angle is close to the limit of the detection range DA.
  • the avoidance target is accurately detected in the area where the azimuth angle is close to the limit of the detection range DA, which is advantageous in accurately grasping the object existing around the electric mobility 100.
  • the azimuth angle corresponding to the limit of the detection range DA may be set as the limit azimuth angle, and the position displaced by 15° from the limit azimuth angle to the optical axis LA side of the stereo camera 1 may be set as the limit proximity azimuth angle.
  • the area in which the azimuth angle is close to the limit of the detection range DA may be the area between the limit azimuth angle and the limit proximity azimuth angle.

Abstract

ステレオカメラ（１）であって、一対のレンズユニット（４Ｒ，４Ｌ）と、一対のレンズユニット（４Ｒ，４Ｌ）を介して一対の画像を取得する撮像素子（５Ｒ，５Ｌ）と、一対の画像に基づき、一対の画像の重複範囲である検出範囲（ＤＡ）内の複数の位置の距離を計算する距離計算部（６ｄ）と、複数の位置の算出距離に、検出範囲（ＤＡ）における一対のレンズユニット（４Ｒ，４Ｌ）の並設方向の位置に応じた補正を行う距離補正部（６ｅ）と、を備え、補正が、検出範囲（ＤＡ）における並設方向の端部に近い程、算出距離の低減量が大きくなるものである。

Description

ステレオカメラおよび電動モビリティ
　本発明は、ステレオカメラおよび電動モビリティに関するものである。
　従来、ステレオカメラによってステレオ画像を取得し、物体の距離をステレオ画像から算出する技術が知られている（例えば、特許文献１，２参照。）。ステレオ画像を構成する右画像および左画像には、一対のカメラの各々のレンズの光学特性および製造誤差に起因する歪みが生じる。特許文献１，２では、右画像および左画像の各々の歪みを補正し、補正された右画像および左画像を距離の算出に使用している。
特開２０１１－０２２０７２号公報 特開２００８－２９８５８９号公報
　ステレオカメラにおいて物体の距離ｄは、一例として、下式から算出される。
　距離ｄ＝基線長ｂ×焦点距離ｆ／視差θ
　このように、視差θから算出される距離ｄには、基線長ｂおよび視差θが影響を与えるが、視野角の限界に近いエリアにおいて、基線長ｂ、視差θ等に基づく上記距離ｄの計算と実際との差異が極めて大きくなる。特許文献１，２の技術は、前述したように、一対のカメラの各々の画像の歪みを補正することはできるが、並設方向の位置に依存する距離の誤差を補正することはできない。
　本発明は、上述した事情に鑑みてなされたものであって、一対のカメラの並設方向の視野角の限界に近いエリアの距離の誤差を補正し、正確な距離を算出することができるステレオカメラおよびこれを備える電動モビリティを提供することを目的とする。
　上記目的を達成するため、本発明は以下の手段を提供する。
　本発明の第１態様は、一対のレンズユニットと、該一対のレンズユニットを介して一対の画像を取得する撮像素子と、前記一対の画像に基づき、該一対の画像の重複範囲である検出範囲内の複数の位置の距離を計算する距離計算部と、該距離計算部によって算出された前記複数の位置の算出距離に、前記検出範囲における前記一対のレンズユニットの並設方向の位置に応じた補正を行う距離補正部と、を備え、前記補正が、前記検出範囲における前記並設方向の端部に近い程、前記算出距離の低減量が大きくなるものである、ステレオカメラである。
　本態様において、撮像素子によって取得される一対の画像は、一対のレンズユニットに相当する一対の視点から検出範囲を見た、視差を有する画像である。距離計算部は、検出範囲内の各位置の視差から検出範囲内の各位置の距離を計算する。距離計算部によって算出される算出距離には、一対のレンズユニットの並設方向の計算上の位置等に依存する誤差が生じる。位置が検出範囲の並設方向の端部に近い程、その位置の視差はより小さくなり、誤差により算出距離はより大きくなる。
　距離補正部は、並設方向の位置に応じて前記算出距離を小さくする方向に補正し、且つ、位置が検出範囲の並設方向の端部に近い程、距離の低減量が大きくなるように、算出距離を補正する。これにより、前記誤差の影響を低減し、正確な距離を算出することができる。
　上記態様において、好ましくは、前記一対の画像の各々の歪みを補正する歪補正部がさらに設けられ、前記距離計算部が、前記歪補正部によって補正された前記一対の画像から前記距離を計算する。
　一対の画像の各々には、レンズユニットのレンズ歪み等に起因する歪みが生じる。一対の画像の歪みは歪補正部によって補正される。このように、歪みが補正された一対の画像を用いることによって、検出範囲内の各位置の距離をより正確に算出することができる。
　上記態様において、補正データを記憶する記憶部がさらに設けられ、前記補正データは、当該ステレオカメラの光軸に対する前記並設方向の角度である方位角と対応付けられた補正係数を含み、該補正係数は、前記方位角が当該ステレオカメラの前記検出範囲の限界に近付くにつれて小さくなり、前記距離補正部は、前記距離計算部によって算出された前記算出距離に前記補正係数を乗算してもよい。
　この構成によれば、距離計算部によって算出された算出距離に補正係数を乗算するだけの簡便な計算によって、算出距離を適切に補正することができる。
　上記態様において、好ましくは、前記方位角が前記検出範囲の限界に近い程、前記方位角に対する前記補正係数の変化率が大きくなる。
　距離計算部によって算出される算出距離の実際の距離との差は、方位角が検出範囲の限界に近付くにつれて、より大きな増大率で増大する。上記構成によれば、補正係数によって距離をより正確に補正することができる。
　上記態様において、好ましくは、前記方位角の大きさが６５°以上の前記検出範囲において、前記補正係数が０．６以下である。
　前述したように、算出距離の誤差は、方位角の大きさ（絶対値）が大きくなる検出範囲内の並設方向の端部において大きくなる。検出範囲の端部における算出距離の大きな誤差を精度良く補正するために、補正係数は、上記条件を満たすことが好ましい。
　上記態様において、好ましくは、前記一対のレンズユニットの各々の前記並設方向の視野角が１４０°以上である。
　距離補正部による距離の補正は、広角のレンズユニットを用いて取得された一対の画像から距離を算出する上で、特に有用である。
　本発明の第２態様は、モビリティ本体と、該モビリティ本体を支持する車輪と、前記モビリティ本体に取付けられた上記いずれかに記載のステレオカメラと、を備える電動モビリティである。
　本態様によれば、モビリティ本体の周辺の検出範囲内の物体に対する距離がステレオカメラによって検出される。したがって、ステレオカメラによって検出された距離に基づいて、検出範囲内の回避対象の存在を把握することができる。回避対象は、例えば、人、障害物、壁、溝、家具等である。
　また、当該ステレオカメラは、距離計算部によって算出された複数の位置の算出距離に、一対のレンズユニットの並設方向の位置に応じた補正を行う距離補正部を備え、前記補正は、検出範囲におけるレンズユニットの並設方向の端部に近い程、算出距離の低減量が大きくなるものである。このように検出範囲におけるレンズユニットの並設方向の端部において算出距離が補正され、これは電動モビリティの周囲の回避対象の存在を正確に把握するために有利である。
　第２態様において、好ましくは、前記ステレオカメラの前記一対のレンズユニットの一方の先端レンズが他方の先端レンズに対して上方に配置されている。
　物体の距離を検出することができる検出範囲は、一方のレンズユニットを介して取得される画像と他方のレンズユニットを介して取得される画像との重複範囲である。一対のレンズユニットが横方向に並んでいるのではなく、一対のレンズユニットの一方の先端レンズが他方の先端レンズに対して上方に配置されている構成は、車輪の幅方向外側の死角および電動モビリティの側面等の幅方向外側の死角を少なくする上で有利である。
　上記態様において、好ましくは、前記一方の前記先端レンズが前記他方の前記先端レンズに対して車両前後方向における前側に位置している。
　当該構成は、上記のように死角が少なくなった状態で、ステレオカメラの検出範囲を電動モビリティの後方に広げることができる。例えば、一対のレンズユニットの一方の真下に他方が配置されていると、他方のレンズユニットによって一方のレンズユニットの真下の視野が妨げられる。上記構成は、一方のレンズユニットの下方の視野の妨げを防止又は少なくするために有利である。
　第２態様において、好ましくは、前記一対のレンズユニットの光軸がそれぞれ斜め下方に向かって延びている。
　当該構成は、電動モビリティの幅方向外側のエリア、車輪の幅方向外側のエリア等の物体の存在を正確に認識する上で有利である。
　前記態様において、好ましくは、前記ステレオカメラの前記一対のレンズユニットがそれぞれ車両前方を向いている。
　当該構成は、前記一対のレンズユニットの光軸がそれぞれ斜め下方に向かって延びている状態で、車両前方の物体の存在も正確に認識することができる。
　第２態様において、好ましくは、前記ステレオカメラの前記一対のレンズユニットが互いに上下方向および／又は車両前後方向に並んでいる。
　物体の距離を検出することができる検出範囲は、一方のレンズユニットを介して取得される画像と他方のレンズユニットを介して取得される画像との重複範囲である。一対のレンズユニットが横方向に並んでいるのではなく、一対のレンズユニットが互いに上下方向および／又は車両前後方向に並んでいる構成は、車輪の幅方向外側の死角および電動モビリティの側面等の幅方向外側の死角を少なくする上で有利である。
　第２態様において、好ましくは、前記ステレオカメラが、前記モビリティ本体のアームレスト又はコントロールアームに取付けられ、前記アームレストおよび前記コントロールアームは、運転者が腕および手の少なくとも一方を載せるものである。
　運転者は自らの手の位置および腕の位置を容易に視認することができる。また、運転者は、自らの手の位置および腕の位置を見ていない場合でも、自らの手の大凡の位置および腕の大凡の位置を直感的に認識することもできる。このため、コントロールアームやアームレストにステレオカメラが設けられる当該構成は、ステレオカメラの壁等との衝突を防止する上で有利である。
　第２態様において、好ましくは、２つの前記ステレオカメラが前記モビリティ本体に左右対称となるように取付けられている。
　２つのステレオカメラによって、左右両方の車輪の幅方向外側の回避対象の有無が監視される。運転者が目視確認によって左右両側の回避対象を全て確実に把握することは難しいので、上記構成は家屋内およびオフィス内で極めて有用である。
　第２態様において、好ましくは、前記車輪が前輪であり、前記ステレオカメラの前記検出範囲が、前記前輪の車両幅方向外側のエリアを含む。
　この構成によれば、前輪の周辺に存在する回避対象を把握することができる。
　第２態様において、好ましくは、前記モビリティ本体に設けられ前記車輪又は他の車輪を駆動するモータと、前記モータを制御する制御ユニットと、がさらに設けられ、前記制御ユニットが、前記距離補正部によって補正された距離に基づいて前記併設方向の位置に対応する方位角が前記検出範囲の限界に近いエリアの回避対象を検出し、該回避対象を回避するための回避動作を行う。
　例えば、一対のレンズユニットが上下方向に並ぶように配置され、一対のレンズユニットが前方に向いている場合は、電動モビリティの車輪の幅方向外側のエリアが、方位角が検出範囲の限界に近いエリアに入る。当該構成では、方位角が検出範囲の限界に近いエリアにおいて回避対象が正確に検出され、これは電動モビリティの周囲に存在する物体を正確に把握する上で有利である。
　第２態様において、好ましくは、前記方位角が前記検出範囲の限界に近いエリアは、前記検出範囲の限界に対応する限界方位角と、前記限界方位角から前記ステレオカメラの光軸側に１５°移動した位置である限界近接方位角との間のエリアである。
　第２態様において、好ましくは、前記電動モビリティは、一人が着座して乗るものである。
　本発明によれば、一対のカメラの並設方向の視野角の限界に近いエリアの距離の誤差を補正し、正確な距離を算出することができるという効果を奏する。
本発明の一実施形態に係るステレオカメラの全体構成を示すブロック図である。 ステレオカメラに関するパラメータを説明する図である。 Ｘ方向角（方位角）が異なる２つの位置の視差の差異を説明する図である。 補正データにおける補正係数群の一例を示す図である。 （ａ）点群から構成されたモデルと、（ｂ）（ａ）視差から算出された距離に基づいて再構成されたモデルと、（ｃ）補正データを用いて補正された距離に基いて再構成されたモデルとを示す図である。 本発明の一実施形態に係る電動モビリティの前方斜視図である。 本実施形態の前記電動モビリティの後方斜視図である。 本実施形態の前記電動モビリティの平面図である。 本実施形態の前記電動モビリティの一部の部品を取外した状態のモビリティ本体の底面図である。 本実施形態の前記電動モビリティの前輪の幅方向内側から見た図である。 本実施形態の前記電動モビリティの前記前輪、サスペンション等の平面図である。 本実施形態の電動モビリティの制御ユニットのブロック図である。 本実施形態の電動モビリティの側面図である。 本実施形態の電動モビリティの要部平面図である。 本実施形態の電動モビリティの要部正面図である。 本実施形態の電動モビリティの側面図である。
　以下に、本発明の一実施形態に係るステレオカメラ１およびこれを備える電動モビリティ１００について図面を参照して説明する。
　本実施形態に係るステレオカメラ１は、図１に示されるように、一対のカメラ２Ｒ，２Ｌと、一対のカメラ２Ｒ，２Ｌによって取得された一対の画像を処理する画像処理装置３とを備えている。
　一方のカメラ２Ｒは、レンズユニット４Ｒと、レンズユニット４Ｒを介してレンズユニット４Ｒの視野の画像（右画像）を取得する撮像素子５Ｒとを備えている。他方のカメラ２Ｌは、レンズユニット４Ｌと、レンズユニット４Ｌを介してレンズユニット４Ｌの視野の画像（左画像）を取得する撮像素子５Ｌとを備えている。一対のレンズユニット４Ｒ，４Ｌは、カメラ本体６（図６および図１３参照。）によって支持され、カメラ本体６の内部に撮像素子５Ｒ，５Ｌが設けられている。各撮像素子５Ｒ，５Ｌは、ＣＭＯＳイメージセンサ等の周知のセンサである。各撮像素子５Ｒ，５Ｌは、画像処理装置３に接続されている。
　一対のレンズユニット４Ｒ，４Ｌの光軸ＬＡは、相互に平行又は略平行である。各レンズユニット４Ｒ，４Ｌは、魚眼レンズのような広角レンズである。各カメラ２Ｒ，２Ｌの視野角（全画角）は、１４０°以上であることが好ましく、１６０°以上であることがより好ましく、１８０°以上であることがさらに好ましい。
　以下の説明において、ＸＹＺ直交座標系を用いる。Ｘ方向は、レンズユニット４Ｒ，４Ｌの並設方向であり、Ｚ方向は、レンズユニット４Ｒ，４Ｌの光軸ＬＡに平行な方向であり、Ｙ方向は、Ｘ方向およびＺ方向に直交する方向である。
　ステレオカメラ１は、一対の撮像素子５Ｒ，５Ｌによって、視差を有する一対の画像を取得する。説明の便宜上、一対の画像の各々の横方向はＸ方向に対応し、一対の画像の各々の縦方向は、Ｙ方向に対応する。一対の撮像素子５Ｒ，５Ｌの撮像範囲の内、相互に重複する範囲が、一対の画像から距離ｄを算出することができる検出範囲ＤＡである。
　ステレオカメラ１は、単一の撮像素子によって一対の画像を取得するように構成されていてもよい。例えば、単一の撮像素子の一側の撮像領域に一方のレンズユニット４Ｒによって像が形成され、単一の撮像素子の他側の撮像領域に他方のレンズユニット４Ｌによって像が形成されてもよい。
　図２は、ステレオカメラ１に関するパラメータを説明している。基線長ｂは、カメラ２Ｒ，２Ｌ（レンズユニット４Ｒ，４Ｌ）の光軸ＬＡ間の距離である。距離ｄは、検出範囲ＤＡ内の位置Ｐのカメラ中心Ｃからの距離である。カメラ中心Ｃは、一対のレンズユニット４Ｒ，４Ｌ間の中心である。視差θは、一対のレンズユニット４Ｒ，４Ｌから見た位置Ｐの方向の差である。Ｘ方向角（方位角）αは、レンズユニット４Ｌから位置Ｐを見たときの光軸ＬＡに対するＸ方向の角度である。Ｘ方向角（方位角）βは、レンズユニット４Ｒから位置Ｐを見たときの光軸ＬＡに対するＸ方向の角度である。光軸ＬＡは、カメラ中心Ｃを通るステレオカメラ１の光軸である。ステレオカメラ１の光軸ＬＡは、カメラ２Ｒ，２Ｌの一方の光軸であってもよい。視差θおよびＸ方向角α，βの間には、θ＝｜α－β｜の関係が成立する。Ｙ方向角（仰角）γは、レンズユニット４Ｒ，４Ｌから位置Ｐを見たときのＹ方向の角度である。
　画像処理装置３は、図１に示されるように、ＣＰＵ（中央演算処理装置）のようなプロセッサを少なくとも有する処理部３Ａと、ＲＡＭ、ＲＯＭ、および不揮発性メモリ等を有する記憶部３Ｂとを備える。
　処理部３Ａは、一対の画像の各々の歪みを補正する歪補正部６ａと、歪みが補正された一対の画像間のずれを補正するずれ補正部６ｂと、歪みおよびずれが補正された一対の画像から視差画像を作成する視差画像作成部６ｃと、視差画像から距離ｄを計算する距離計算部６ｄと、距離ｄを補正する距離補正部６ｅと、補正された距離ｄ’に基づいて点群データ（３次元画像）を作成する３次元画像作成部６ｆとを備えている。各部６ａ，６ｂ，６ｃ，６ｄ，６ｅ，６ｆの後述する機能は、記憶部３Ｂに格納されている画像処理プログラム（図示せず）に従って処理部３Ａのプロセッサが処理を実行することによって、実現される。
　記憶部３Ｂには、ステレオカメラ１の内部パラメータ７Ｒ，７Ｌおよび外部パラメータ８が予め記憶されている。
　内部パラメータ７Ｒは、カメラ２Ｒの固有の光学特性に関するパラメータであり、例えば、カメラ２Ｒの光学中心、焦点距離およびレンズ歪み等に関する補正を行うための行列又は関数として表現される。内部パラメータ７Ｌは、カメラ２Ｌの固有の光学特性に関するパラメータであり、例えば、カメラ２Ｌの光学中心、焦点距離およびレンズ歪み等に関する補正を行うための行列又は関数として表現される。
　外部パラメータ８は、一対のカメラ２Ｒ，２Ｌの相対位置および相対姿勢の補正を行うためのパラメータであり、例えば、回転行列および並進行列として表現される。
　内部パラメータ７Ｒ，７Ｌおよび外部パラメータ８は、例えば、チェスボードのような格子パターンが描かれたボードを使用した公知のカメラキャリブレーションによって求められる。
　また、記憶部３Ｂには、距離ｄの誤差の補正用の補正テーブル９が予め記憶されている。補正テーブル９において、Ｘ方向角（方位角）αとＸ方向角（方位角）βとの各組み合わせに補正係数が対応付けられている。なお、Ｘ方向角α，βのうち例えば一方のＸ方向角（方位角）αに補正係数が対応付けられていてもよい。
　図３に示されるように、距離ｄが等しい２つの位置Ｐ１，Ｐ２を考える。位置Ｐ１は、Ｘ方向において検出範囲ＤＡの中心（カメラ中心Ｃの正面）に存在する。位置Ｐ２は、Ｘ方向において位置Ｐ１よりも検出範囲ＤＡの端の近くに存在する。図３の例において、各カメラ２Ｒ，２Ｌの視野角は１８０°（－９０°～＋９０°）である。つまり、ステレオカメラ１から見た検出範囲（角度範囲）ＤＡも１８０°程度である。電動モビリティ１００用のステレオカメラ１の場合、視野角は、１４０°（－７０°～＋７０°）以上であればよく、１６０°（－８０°～＋８０°）以上であることがより好ましい。位置Ｐ２の視差θ２は、位置Ｐ１の視差θ１に比べて小さくなる。視差θ１に対する視差θ２の比率は、基線長ｂと、位置Ｐ２のＸ方向角α，βおよびＹ方向角γと、によって一意に決まる。この比率が、補正係数である。したがって、補正係数は、０よりも大きく１以下の値である。
　補正テーブル９は、ステレオカメラ１の光学設計（基線長ｂ）に応じて決まる。したがって、同一の光学設計（基線長ｂ）のステレオカメラ１には共通の補正テーブル９を使用することができる。
　図４は、補正係数の一例を示している。図４において、１つの点が１つの補正係数を表している。図４に示されるように、Ｘ方向角α，βが視野角の限界（±９０°）に近付くにつれて、補正係数は減少する。例えば、検出範囲ＤＡにおいて、視野角であるＸ方向角αが±９０°に近いエリアにおいて、補正係数が減少する。この例において、補正係数は、Ｘ方向角α，βおよびＹ方向角γのうち、Ｘ方向角α，βのみに依存して変化する。
なお、補正係数が、Ｘ方向角α，βのみではなく、Ｙ方向角γにも依存して変化するものであってもよい。
　一例において、Ｘ方向角（方位角）α，βの少なくとも一方の大きさ（絶対値）が７５°以上の範囲では、補正係数は、０．３以下である。また、Ｘ方向角（方位角）α，βの少なくとも一方の大きさ（絶対値）が７０°以上の範囲では、補正係数は、０．４以下である。また、Ｘ方向角α，βの少なくとも一方の大きさ（絶対値）が６５°以上の範囲では、補正係数は、０．６以下である。
　歪補正部６ａは、撮像素子５Ｒから右画像を受信し、撮像素子５Ｌから左画像を受信する。右画像には、カメラ２Ｒのレンズ歪み等に起因する歪みが生じる。左画像には、カメラ２Ｌのレンズ歪み等に起因する歪が生じる。歪補正部６ａは、カメラ２Ｒの内部パラメータ７Ｒに基づいて右画像の歪みを補正し、カメラ２Ｌの内部パラメータ７Ｌに基づいて左画像の歪みを補正する。
　カメラ２Ｒ，２Ｌ間の相対位置および相対姿勢には、製造誤差等が原因で設計値からのずれが生じる。このカメラ２Ｒ，２Ｌ間の物理的（幾何学的）なずれに起因するずれが右画像と左画像との間に生じる。ずれ補正部６ｂは、外部パラメータ８に基づいて、右画像と左画像との間のずれを補正する。例えば、ずれ補正部６ｂは、外部パラメータ８に基づいて、右画像および左画像の一方を回転および並進させる。
　視差画像作成部６ｃは、歪みおよびずれが補正された右画像および左画像から検出範囲ＤＡ内の各位置の視差θを算出し、各画素が視差θの情報を有する視差画像を作成する。
　例えば、左画像を基準に視差画像を作成する場合、視差画像作成部６ｃは、左画像の１つの画像を注目画素に設定し、注目画素と対応する右画像の画素をステレオマッチングによって検出し、注目画素と対応する画素との間のＸ方向のずれ量（画素数）を算出する。左画像における各画素のＸ方向の位置は、Ｘ方向角αに相当する。右画像における各画素のＸ方向の位置は、Ｘ方向角βに相当する。したがって、Ｘ方向のずれ量は、視差θに相当する。視差画像作成部６ｃは、Ｘ方向のずれ量を左画像の注目画素に与える。視差画像作成部６ｃは、左画像の検出範囲ＤＡ内の全ての画素を順番に注目画素に設定し、同じ処理を繰り返すことによって、視差画像を作成する。
　距離計算部６ｄは、視差画像の各画素の視差θおよび基線長ｂから距離ｄを計算する。例えば、距離計算部６ｄは、下式（１）から距離ｄを算出する。
　ｄ＝ｂ／θ　　　…（１）
　距離補正部６ｅは、距離計算部６ｄによって算出された各画素の距離（算出距離）ｄを補正データを用いて補正する。
　具体的には、距離補正部６ｅは、例えば視差画像の各画素のＸ方向角（方位角）αに対応する補正係数を補正テーブル９から選択する。補正テーブルにおいて補正係数がＹ方向角γにも対応付けられている場合、距離補正部６ｅは、各画素のＸ方向角（方位角）αおよびＹ方向角（仰角）γに対応する補正係数を補正テーブル９から選択する。次に、距離補正部６ｅは、選択された補正係数を距離ｄに乗算することによって、補正された距離ｄ’を得る。前述したように、補正係数は０よりも大きく１以下の値である。したがって、距離補正部６ｅは、距離ｄを小さくなる方向に補正し、補正された距離ｄ’は補正前の距離ｄ以下である。Ｘ方向角α，βが視野角の限界に近い程、補正係数は小さくなり、距離ｄに対する距離ｄ’の低減量が大きくなる。
　３次元画像作成部６ｆは、視差画像の各画素のＸ方向およびＹ方向の位置ならびに補正された距離ｄ’に基づいて、点群データ（点群画像）を作成する。点群データは、検出範囲ＤＡ内の各画素に対応する点の３次元座標を含むデータである。点群データ内の各点を３次元座標空間にマッピングすることによって点群画像を作成することができる。３次元画像作成部６ｆは、点群データに代えて、又はこれに加えて、各画素が距離ｄ’の情報を有する距離画像データを作成してもよい。
　図５（ａ）から（ｃ）は、画像処理装置３による画像処理のシミュレーション結果を示している。
　図５（ａ）は、点群から構成される直方体のモデルＭを示している。
　モデルＭの各点の座標に基づいて視差θを計算し、視差θから距離ｄを算出した。
　図５（ｂ）は、距離ｄに基づいて再構成されたモデルＭ’の点群画像である。図５（ｂ）において、Ｘ方向角α，βが０°に近い中心部分では、モデルＭ’は、モデルＭと類似の形状を有する。一方、Ｘ方向角α，βが視野角の限界に近い部分では、視差θから算出される距離ｄが、実際の距離よりも大きいため、モデルＭ’Ｘ方向に大きく変形し、発散したようになる。このエリアでは、実際にはステレオカメラ１の近くに存在する物体が、点群画像上ではステレオカメラ１から遠くに存在する物体として認識されることを意味する。
　図５（ｃ）は、補正された距離ｄ’に基づいて再構成されたモデルＭ”の点群画像である。図５（ｃ）において、広い視野角（－９０°～＋９０°）の全範囲において、モデルＭ”は、モデルＭの形状を正確に再現している。
　このように、一対の画像の視差θから算出される距離ｄには、Ｘ方向角α，βおよびＹ方向角γに依存する誤差が生じる。誤差を生じさせる支配的要因は、図５（ｂ）から明らかなように、Ｘ方向角α，βである。本実施形態によれば、補正テーブル９を用いて距離ｄが距離ｄ’に補正され、Ｘ方向角α，βが視差角の限界に近い程（すなわち、位置が検出範囲ＤＡのＸ方向の端部に近い程）、距離ｄに対する距離ｄ’の低減量が大きくなる。これにより、Ｘ方向角α，βに依存する距離ｄの誤差を補正し、正確な距離ｄ’を算出することができる。
　一対の画像の視差θから算出される距離ｄには、Ｙ方向角γに依存する誤差が生じる場合もある。したがって、図５（ａ）～（ｃ）に示されるように、Ｙ方向角γの方向にも補正係数が変化する補正テーブル９を使用した場合には、Ｙ方向角γに依存する距離ｄの誤差も補正し、より正確な距離ｄ’を算出することができる。
　式（１）から分かるように、視差θから算出される距離ｄの実際の距離との誤差は、例えばＸ方向角（方位角）αが視野の限界に近付くにつれて、つまり、Ｘ方向角（方位角）αが検出範囲ＤＡの限界に近付くにつれて、より大きな増大率で増大する。したがって、補正テーブル内の補正係数は、図４および図５（ａ），（ｂ）に示されるように、Ｘ方向角（方位角）αが検出範囲ＤＡの限界に近付くにつれて、より大きな減少率で減少することが好ましい。
　このような補正係数によれば、距離ｄの誤差をより高精度に補正し、より正確な距離ｄ’を得ることができる。
　本実施形態においては、距離補正部６ｅが、検出範囲ＤＡ内の全ての位置の距離ｄを補正することしたが、これに代えて、検出範囲ＤＡの所定領域内の位置の距離ｄのみを補正してもよい。
　所定領域とは、Ｘ方向角α，βに依存する距離ｄの誤差が大きくなる、検出範囲ＤＡのＸ方向の両端部の領域である。例えば、所定領域は、Ｘ方向角α，βの少なくとも一方の大きさ（絶対値）が、６０°以上の領域である。
　本実施形態においては、距離補正部６ｅが、補正テーブル９を用いて距離ｄを補正することとしたが、これに代えて、基線長ｂおよびＸ方向角α，βから、補正された距離ｄ’を算出してもよい。
　例えば、距離補正部６ｅは、基線長ｂ、Ｘ方向角α，βおよびＹ方向角γを変数とする所定の関数から、補正された距離ｄ’を算出してもよい。所定の関数は、Ｘ方向角α，βが視野角の限界に近い程、距離ｄに対する距離ｄ’の低減量が大きくなるように、設計されている。このような所定の関数は、例えば、実験的に、又はシミュレーションによって決定される。
　本発明の一実施形態に係る電動モビリティ１００が、図面を用いながら以下説明されている。
　この電動モビリティ１００は、図６～図９に示されるように、一対の前輪１０と、一対の後輪２０と、前輪（車輪）１０および後輪（車輪）２０によって支持されたモビリティ本体３０とを備える。モビリティ本体３０は、例えば、前輪１０および後輪２０によって支持されたボディ３１と、ボディ３１に取付けられた座席ユニット４０と、一対の前輪１０および一対の後輪２０の少なくとも一方を駆動するためのモータ５０とを有する。本実施形態では、モータ５０はボディ３１に取付けられ、座席ユニット４０はボディ３１から取外せる。この電動モビリティ１００は一人が着座して乗るものである。
　図８および図９に示す車両前後方向は以下の説明で前後方向として説明される場合があり、図８および図９に示す車両幅方向は以下の説明で幅方向又は左右方向として説明される場合がある。なお、車両前後方向とモビリティ本体３０の前後方向は一致しており、車両幅方向とモビリティ本体３０の幅方向は一致している。本実施形態では、一対の前輪１０の径方向の中心は車両幅方向に並んでおり、一対の後輪２０の径方向の中心も車両幅方向に並んでおり、車両前後方向は車両幅方向と直交している。
　本実施形態では、一対の後輪２０はそれぞれモータ５０と接続され、各モータ５０は対応する後輪２０を駆動する。各モータ５０の駆動力は対応する前輪１０に動力伝達手段によって伝達される。動力伝達部材はベルト、ギヤ等である。
　各前輪１０は、図９～図１１に示すように、車軸１１およびサスペンション１２を用いてボディ３１に支持されている。また、前輪１０の接地面は、前輪１０の周方向に並ぶ複数のローラ１３によって形成されている。
　サスペンション１２は、支持部材１２ａと、コイルスプリング等の付勢部材１２ｂとを有する。支持部材１２ａの一端側はボディ３１の前端側に支持され、支持部材１２ａは車両幅方向に延びる第１の軸線Ａ１周りに傾動可能である。付勢部材１２ｂは支持部材１２ａの他端側を車両前方に向かって付勢している。前輪１０の車軸１１は支持部材１２ａに固定されている。また、図１１に示すように、前後方向に直角である水平線ＨＬに対して、車軸１１の中心軸線である第２の軸線Ａ２は前方に傾いている。平面視において第２の軸線Ａ２と水平線ＨＬとのなす角度αが２°～１５°となっていることが好ましいが、条件によってはその他の角度であってもよい。
　本実施形態では、付勢部材１２ｂの付勢力に抗して支持部材１２ａの他端はボディ３１に対し車両後方に移動できる。このため、ローラ１３の接地面との衝突によって生ずる振動がより効果的に低減される。なお、前輪１０はトーイン状態に配置されていなくてもよい。振動の低減は、ステレオカメラ１による物体の検出の正確性を向上する上で有利である。
　各前輪１０は、車軸１１に取付けられたハブ１４と、ハブ１４に支持された複数のローラ支軸（図示せず）とを備え、複数のローラ１３はそれぞれローラ支軸に回転可能に支持されている。なお、ハブ１４が車軸１１にベアリング等を用いて取付けられていてもよく、ハブ１４が車軸１１に緩衝部材、中間部材等を用いて取付けられていてもよい。各ローラ支軸の軸線は、車軸１１の径方向に交差する方向に延びている。
　各ローラ１３は対応するローラ支軸の軸線周りに回転する。つまり、各前輪１０は走行面に対して全方向に移動する全方向車輪である。
　各ローラ１３の外周面はゴム状弾性を有する材料を用いて形成され、各ローラ１３の外周面にはその周方向に延びる複数の溝が設けられている（図１０および図１１参照）。
　本実施形態では、各後輪２０は、図示しない車軸と、車軸に取付けられたハブ２１と、ハブ２１の外周側に設けられ、外周面がゴム状弾性を有する材料を用いて形成された外周部材２２とを有するが、前輪１０と同様に全方向車輪を用いてもよい。後輪２０の車軸はモータ５０の主軸と共通でもよい。
　ボディ３１の構造は適宜変更可能である。本実施形態では、地面に沿って延びるベース部３２と、ベース部３２の後端側から上方に延びている座席支持部３３とを有する。座席支持部３３は車両前方に傾斜しており、座席支持部３３の上端側に座席ユニット４０が取付けられている。
　本実施形態のベース部３２は、前輪１０のサスペンション１２および後輪２０のモータ５０を支持している金属製のベースフレーム３２ａと、ベースフレーム３２ａを少なくとも部分的に覆うプラスチック製のカバー部３２ｂとを有する。カバー部３２ｂは、座席ユニット４０に座る運転者の足を載せる部分、荷物を載置する部分等として使用される。カバー部３２ｂは、一対の前輪１０をそれぞれ上方から覆う一対のフェンダー３２ｃも備えている。各フェンダー３２ｃは、一例では、前輪１０を覆う機能だけを有する。各フェンダー３２ｃは、他の例では、ボディ３１の剛性を強化する機能も有する。また、各フェンダー３２ｃが前輪１０の一部のみを覆う場合もある。
　本実施形態では、座席ユニット４０はその下部にシャフト４０ａを有し、シャフト４０ａが座席支持部３３の上端側に取付けられる。座席支持部３３の背面には充電可能なバッテリＢＡが取付けられ、座席支持部３３内には後述する制御ユニット６０が配置されている。
　座席ユニット４０は、運転者が座る座面部４１と、背凭れ部４２と、右のコントロールアーム４３と、左のコントロールアーム４３とを有する。
　各コントロールアーム４３の上面にはアームレスト４３ａが固定されている。例えば、運転者は一対のコントロールアーム４３のアームレスト４３ａに両腕をそれぞれ置く。また、運転者は一対のコントロールアーム４３の上端に両手をそれぞれ置く。本実施形態ではコントロールアーム４３とアームレスト４３ａの両方が設けられているが、コントロールアーム４３又はアームレスト４３ａのみが設けられていてもよい。この場合、運転者は、コントロールアーム４３の上に腕および手の少なくとも一方を置き、又は、アームレスト４３ａの上に腕および手の少なくとも一方を置く。
　右側のコントロールアーム４３の上端には操作レバー４４ａを有する操作部４４が設けられている。力が加えられていない状態では、操作レバー４４ａは操作部４４内に配置された付勢部材（図示せず）によって中立位置に配置される。運転者は、右手によって、操作レバー４４ａを中立位置に対して右方向、左方向、前方向、および後方向に変位させることができる。
　操作レバー４４ａの変位方向および変位量に応じた信号が操作部４４から後述する制御ユニット６０に送信され、受信する信号に応じて制御ユニット６０が各モータ５０を制御する。例えば、操作レバー４４ａが中立位置に対し前方向に変位すると、各モータ５０を車両前方に向かって回転させる信号が送信される。これにより、電動モビリティは操作レバー４４ａの変位量に応じた速度で前進する。また、操作レバー４４ａが中立位置に対し左斜め前方に変位すると、左側のモータ５０を右側のモータ５０よりも遅い速度で車両前方に向かって回転させる信号が送信される。これにより、電動モビリティが操作レバー４４ａの変位量に応じた速度で左に曲がりながら前進する。
　左側のコントロールアーム４３の上端には、電動モビリティに関する各種設定を行うための設定部４５が設けられている。各種設定の例として、最高速度の設定、運転モードの設定、電動モビリティのロックの設定がある。
　左右のコントロールアーム４３の各々には報知装置４６が設けられている。各報知装置４６は音声発生装置、表示装置、振動発生装置等である。振動発生装置はコントロールアーム４３の上端側の一部、操作部４４、設定部４５等を例えば数十Ｈｚで振動させるものである。
　制御ユニット６０は、図１２に示すように、各モータ５０を駆動するモータドライバ７０と、制御装置８０とを有する。
　モータドライバ７０はバッテリＢＡに接続されている。また、モータドライバ７０は各モータ５０にも接続されており、モータドライバ７０は各モータ５０に駆動電力を供給する。
　制御装置８０は、図１２に示すように、ＣＰＵ、ＲＡＭ等を有する制御部８１と、不揮発性メモリ、ＲＯＭ等を有する記憶装置８２と、送受信部８３とを有する。記憶装置８２には電動モビリティを制御するための走行制御プログラム８２ａが格納されている。制御部８１は走行制御プログラム８２ａに基づき作動する。制御部８１は、操作部４４および設定部４５からの信号に基づき、各モータ５０を駆動するための駆動信号をモータドライバ７０に送信する。
　２つのステレオカメラ１が右のコントロールアーム４３の上端側および左のコントロールアーム４３の上端側にそれぞれ取付けられている。２つのステレオカメラ１の各撮像素子５Ｒ，５Ｌは画像処理装置３に接続され、本実施形態では画像処理装置３は制御装置８０内に設けられている。画像処理装置３が制御装置８０外に設けられていてもよい。
　一例では、図１４に示すように、左側のコントロールアーム４３に設けられたステレオカメラ１の検出範囲ＤＡに、少なくとも左側の前輪１０の一部又は左側の前輪１０のフェンダー３２ｃの一部が入る。また、当該検出範囲ＤＡには、左側の前輪１０に対して幅方向外側のエリアが入る。
　同様に、右側のコントロールアーム４３に設けられたステレオカメラ１の検出範囲ＤＡに、少なくとも、右側の前輪１０の一部又は右側の前輪１０のフェンダー３２ｃの一部が入る。また、当該検出範囲ＤＡには、右側の前輪１０に対して幅方向外側のエリアが入る。
　ここで、例えば図１３に示すように、ステレオカメラ１の検出範囲ＤＡは、一対の撮像素子５Ｒ，５Ｌによる撮像範囲が重複する範囲である。
　また、図１４に示すように、ステレオカメラ１の各レンズユニット４Ｒ，４Ｌの光軸ＬＡは、幅方向外側に向かって斜めに延びている。具体的には、図１４に示す平面視において、各レンズユニット４Ｒ，４Ｌの光軸ＬＡは、前後方向に対して角度βをなす方向に延びている。一例では、角度βは５°～３０°である。
　また、図６、図１３等に示されるように、ステレオカメラ１の一対のレンズユニット４Ｒ，４Ｌの一方の先端レンズ４Ｒａが他方の先端レンズ４Ｌａに対して上方に配置されている。つまり、先端レンズ４Ｒａは先端レンズ４Ｌａよりも高い位置に配置されている。
　また、図１３等に示されるように、一方の先端レンズ４Ｒａが他方の先端レンズ４Ｌａに対して車両前後方向における前側に位置している。つまり、先端レンズ４Ｒａは先端レンズ４Ｌａよりも前側に配置されている。
　また、図１３等に示されるように、一対のレンズユニット４Ｒ，４Ｌの光軸ＬＡがそれぞれ斜め下方に向かって延びている。
　また。図８、図１３等に示されるように、一対のレンズユニット４Ｒ，４Ｌがそれぞれ車両前方を向いている。なお、前記角度βが４０°以下であり、レンズユニット４Ｒ，４Ｌの光軸ＬＡが水平方向と成す角度が４０°以下であれば、一対のレンズユニット４Ｒ，４Ｌが車両前方を向いていると言える。なお、前記各角度は３０°以下であることが好ましい。
　別の言い方をすると、ステレオカメラ１の一対のレンズユニット４Ｒ，４Ｌが互いに上下方向および／又は車両前後方向に並んでいる。
　図１４は検出範囲ＤＡの一部を示しており、検出範囲ＤＡは図１４に示す範囲の前方にも存在する。図１４に示すように、本実施形態では、左側のステレオカメラ１の検出範囲ＤＡには、左側の前輪１０の一部、左側の前輪１０のフェンダー３２ｃの一部、および左側の前輪１０に対し幅方向外側の走行面が入っている。走行面に障害物、壁、溝等の回避対象が存在する場合、ステレオカメラ１の検出範囲ＤＡにこれら回避対象が入る。右側のステレオカメラ１の検出範囲ＤＡも左側のステレオカメラ１の検出範囲ＤＡと同様である。
　制御装置８０の制御部８１は、記憶装置８２に格納されている回避制御プログラム８２ｂに基づき作動する。制御部８１は、３次元画像作成部６ｆにより作成された点群データ（点群画像）において、前輪１０又はフェンダー３２ｃが接触する可能性のある回避対象を検出する。回避対象は、例えば、障害物、人、動物、植物である。障害物は、例えば、壁、大きな石、段差等である。他の例では、制御部８１は、距離画像中において、前輪１０が落下する又は嵌る可能性のある段差、穴、溝等の回避対象を検出する。
　図１３では、ステレオカメラ１のＸ方向角（方位角）αにおいて、各カメラ２Ｒ，２Ｌの視野角は１４０°（±７０°）程度である。このため、ステレオカメラ１から見た検出範囲（角度範囲）ＤＡも１４０°程度である。
　ここで、前述の前輪１０又はフェンダー３２ｃが接触する可能性のある回避対象は、検出範囲ＤＡにおけるＸ方向角αが７０°近いエリアにあらわれる可能性が高い。例えば、Ｘ方向角αが６５°以上のエリアに回避対象があらわれる可能性が高い。
　制御部８１は、例えば検出範囲ＤＡにおける所定の範囲ＡＲ１に前輪１０又はフェンダー３２ｃが接触する可能性のある回避対象が検出された時に、回避動作のための制御指令によって各モータ５０を制御する。他の例では、制御部８１は、例えば検出範囲ＤＡにおける所定の範囲ＡＲ１に前輪１０又はフェンダー３２ｃが接触する可能性のある回避対象が検出された時に、報知装置４６を作動させる。また、制御部８１は、例えば検出範囲ＤＡにおける所定の範囲ＡＲ１に前輪１０が落下する又は嵌る可能性のある回避対象を検出した時に、回避動作のための制御指令によって各モータ５０を制御する。他の例では、制御部８１は、例えば検出範囲ＤＡにおける所定の範囲ＡＲ１に前輪１０が落下する又は嵌る可能性のある回避対象を検出した時に、報知装置４６を作動させる。回避動作の例は、各モータ５０の回転速度の低下、停止、回避対象側への電動モビリティの移動を制限するための各モータの制御等である。他の例では、回避動作として、制御部８１は報知装置４６によって左右のコントロールアーム４３の上端部を振動させる。さらに他の例では、回避動作として、制御部８１は報知装置４６によって警報音を発生させる。
　制御部８１は、例えば、左右のうち一方について、例えば検出範囲ＤＡにおける所定の範囲ＡＲ１に前輪１０又はフェンダー３２ｃの接触、落下、又は嵌りの可能性を検出した時に、当該一方のコントロールアーム４３の上端部を報知装置４６によって振動させる。これにより、運転者は接触、落下、又は嵌りの可能性がある方向を直感的に認識することができる。
　なお、ステレオカメラ１の検出範囲ＤＡのどこかで回避対象が検出された時に前記回避動作が行われてもよい。
　ここで、ステレオカメラ１の画像処理装置３は、Ｘ方向角（方位角）αが視野の限界に近いエリアにおいて、距離計算部６ｄによって得られる距離ｄを大幅に補正する。これにより、Ｘ方向角（方位角）αが視野の限界に近いエリアについても、正確な距離検出を行うことが可能となる。
　また、図１３において、ステレオカメラ１のＸ方向角（方位角）αにおいて、各カメラ２Ｒ，２Ｌの視野角が１８０°（±９０°）程度である場合は、後輪２０の幅方向外側のエリアにあらわれる回避対象の検出も可能となる。後輪２０が全方向車輪である場合もあり、その場合、後輪２０の幅方向外側のエリアにあらわれる回避対象の検出は特に有用である。
　このように、本実施形態の構成を用いると、ステレオカメラ１の検出範囲ＤＡには、前輪１０の幅方向外側のエリアが入る。一例では、ステレオカメラ１の検出範囲ＤＡには、少なくとも、前輪１０の一部又は前輪１０のフェンダー３２ｃの一部が入る。当該構成は、前輪１０の幅方向外側に存在する回避対象と前輪１０との関係を確実に把握する上で極めて有用である。
　また、前輪１０の幅方向外側の走行面における前輪１０の近傍を運転者が目視するためには、運転者は姿勢を変える必要がある。本実施形態では、前輪１０の幅方向外側の走行面における前輪１０の近傍がステレオカメラ１の検出範囲ＤＡに入っているので、運転者による監視の負担が軽減される。
　特に、家屋内又はオフィス内において電動モビリティを運転する際に、運転者は、家具、壁等の回避対象との接触に気を付ける必要がある。また、運転者は、階段等の回避対象への侵入に気を付ける必要がある。家屋内又はオフィス内には様々な種類の回避対象が存在する。このため、運転者が目視確認によってこれら回避対象を全て確実に把握することは難しい。従って、本実施形態の構成は家屋内やオフィス内で極めて有用である。
　なお、左側の後輪２０の一部および左側の後輪２０のフェンダーの一部の少なくとも一方が左側のステレオカメラ１の検出範囲ＤＡに入るように、左側のステレオカメラ１が例えば座席ユニット４０、ボディ３１、座席ユニット４０又はボディ３１から延びるポール、左のコントロールアーム４３、そのアームレスト４３ａ等に取付けられていてもよい。
　また、右側の後輪２０の一部および右側の後輪２０のフェンダーの一部の少なくとも一方が右側のステレオカメラ１の検出範囲ＤＡに入るように、右側のステレオカメラ１が例えば座席ユニット４０、ボディ３１、座席ユニット４０又はボディ３１から延びるポール、右のコントロールアーム４３、そのアームレスト４３ａ等に取付けられていてもよい。
　また、図１３に示すように、ステレオカメラ１の一対のレンズユニット４Ｒ，４Ｌは、互いに横方向に並んでいるのではなく、互いに上下方向に並んでいる。前述のようにステレオカメラ１の検出範囲ＤＡは一対の撮像素子５Ｒ，５Ｌによる撮像範囲が重複する範囲である。このため、一対のレンズユニット４Ｒ，４Ｌが互いに上下方向に並ぶように配置されている本実施形態の構成は、図１５に示すように前輪１０の幅方向外側の死角を少なくする又は無くす上で有利である。
　家屋内又はオフィス内において電動モビリティの方向転換等を行う際に、多くの場合、電動モビリティの周りに広いスペースが無い。さらに、運転者が電動モビリティに座りながら机で作業をする場合、電動モビリティの前端側が机の下に入り込む。この場合、前輪１０の幅方向外側の走行面における前輪１０の近傍は、運転者から極めて見え難い。これらの状況の中で、前輪１０の幅方向外側の死角を少なくする上記構成は極めて有用である。
　なお、一対のレンズユニット４Ｒ，４Ｌが互いに前後方向に並んでいてもよく、一対のレンズユニット４Ｒ，４Ｌが互いに上下方向および前後方向に並んでいてもよい。これらの構成も前輪１０の幅方向外側の死角を少なくする又は無くす上で有利である。
　また、本実施形態では、各ステレオカメラ１のレンズユニット４Ｒ，４Ｌの幅方向の位置は、対応する前輪１０の幅方向の位置と重複している。なお、本実施形態では、レンズユニット４Ｒ，４Ｌの幅方向の位置は、レンズユニット４Ｒ，４Ｌが存在している幅方向の範囲であり、前輪１０の幅方向の位置は、前輪１０が存在している幅方向の範囲である。この構成は、図１５に示すように前輪１０の幅方向外側の死角を少なくする上で有利である。
　なお、別の例では、各ステレオカメラ１のレンズユニット４Ｒ，４Ｌが、対応する前輪１０の幅方向外側の走行面の上方に配置される。当該構成は前輪１０の幅方向外側の死角をより少なくすることができ、又は、無くすことができる。
　また、本実施形態では、各ステレオカメラ１が、対応するコントロールアーム４３に取付けられている。コントロールアーム４３は運転者の手および腕が乗せられる部分である。各コントロールアーム４３は、座席ユニット４０に着座した運転者の胴に対して幅方向外側に配置されることが多い。また、各コントロールアーム４３は、座席ユニット４０に着座した運転者の大腿に対して幅方向外側に配置されることが多い。このため、上記構成は、運転者の身体によって各ステレオカメラ１の検出範囲ＤＡが妨げられる可能性を低減する。
　なお、座席ユニット４０に、一対のコントロールアーム４３の代わりに一対のアームレスト４３ａを設けることも可能である。例えば、ステレオカメラ１をアームレスト４３ａの前端部に設けることが可能である。当該構成も本実施形態と同様の作用効果を奏する。
　また、運転者は自らの手の位置および腕の位置を容易に視認することができる。また、運転者は、自らの手の位置および腕の位置を見ていない場合でも、自らの手の大凡の位置および腕の大凡の位置を直感的に認識することもできる。このため、コントロールアーム４３やアームレスト４３ａにステレオカメラ１が設けられる本実施形態の構成は、ステレオカメラ１の壁等との衝突を防止する上で有利である。即ち、本実施形態の構成は、ステレオカメラ１の破損、位置ずれ等を防止する上で有利である。
　また、ステレオカメラ１の各レンズユニット４Ｒ，４Ｌの光軸ＬＡが、幅方向外側に向かって斜めに延びている。このため、前輪１０の幅方向外側のより広いエリアがステレオカメラ１の検出範囲ＤＡに入る。当該構成は、前輪１０の幅方向外側に存在する回避対象と前輪１０との関係を確実に把握する上で極めて有用である。
　本実施形態では、一対の前輪１０はトーイン状態になっている。つまり、電動モビリティが前方に向かって直進している状態において、前輪１０の後端側は前端側よりも幅方向外側に配置されている。本実施形態は、前輪１０の幅方向外側を詳細に監視することを可能とする。このため、電動モビリティが前方に向かって直進している状態において、前輪１０の前端側は接触しないが前輪１０の後端側が接触する回避対象を検出することができる。例えば、家屋内又はオフィス内において低速で電動モビリティを前方に直進させる際に、このような回避対象として机の脚等が検出される。
　前述のように、前輪１０又はフェンダー３２ｃが接触する可能性のある回避対象は、検出範囲ＤＡにおけるＸ方向角αが７０°近いエリアにあらわれる可能性が高い。つまり、検出範囲ＤＡにおけるカメラ２Ｒ，２Ｌの視野角の限界の近くに前記回避対象があらわれる可能性が高い。前輪１０がトーイン状態であることによる前輪１０の前端側と後端側との車両幅方向の位置の差は小さい。しかし、本実施形態では、画像処理装置３が、Ｘ方向角（方位角）αが視野の限界に近いエリアにおいて、距離計算部６ｄによって得られる距離ｄを大幅に補正する。これにより、トーイン状態である前輪１０が接触する可能性のある回避対象の検出を正確に行うことができる。
　各ステレオカメラ１は、ステー（取付部材）９４によって、対応するコントロールアーム４３に取付けられている。ステー９４は、コントロールアーム４３の幅方向の内側の面にボルトＢによって固定さている固定部９４ａと、固定部９４ａの端から幅方向外側に延びる延設部９４ｂとを有する。ステー９４は板状部材を屈曲して形成されている。一例では、固定部９４ａと延設部９４ｂとが成す角度が前記角度βと等しい。この構成を採用すると、各レンズユニット４Ｒ，４Ｌの光軸ＬＡを斜め外側に向ける場合に、各レンズユニット４Ｒ，４Ｌの光軸ＬＡと前後方向とのなす角度βの設定が容易になる。
　なお、ステレオカメラ１がコントロールアーム４３の上端部内に配置されていてもよい。例えば、コントロールアーム４３に設けられた中空部内にステレオカメラ１が配置される。この場合、コントロールアーム４３の上端部の前面に透明なカバーが取付けられ、カバーに対して内側に一対のレンズユニット４Ｒ，４Ｌが配置される。この場合でも、前述と同様の作用効果の達成を目的として、ステレオカメラ１を配置することができる。
　また、一例では、固定部９４ａに長穴９４ｃが設けられ、ボルトＢが長穴９４ｃを挿通する。長穴９４ｃは円弧形状を有する。この場合、ボルトＢを緩めることによって、ステレオカメラ１の検出範囲ＤＡを前後方向に容易に調節することができる。また、固定部９４ａと延設部９４ｂとを他の部材を介してボルト等で接続し、これにより固定部９４ａと延設部９４ｂとの角度が調節可能であってもよい。この場合、ステレオカメラ１の各レンズユニット４Ｒ，４Ｌの光軸ＬＡの向く方向を車両幅方向に容易に調節できる。
　なお、図１３に示すように、本実施形態では、ステレオカメラ１の検出範囲ＤＡに電動モビリティの前方が入る。例えば、ステレオカメラ１の検出範囲ＤＡに運転者の頭部の前方が入る。これにより、運転者の頭部の前方に存在する回避対象と運転者の頭部との関係も把握することができる。
　ここで、この電動モビリティは、低速で前進しながら旋回することができる。止まった状態で旋回できる場合もある。このような場合に、運転者の周囲の状況がステレオカメラ１によって正確に検出される。
　図１６に示されるように、ステレオカメラ１のＸ方向角（方位角）αにおいて、各カメラ２Ｒ，２Ｌの視野角が１８０°（±９０°）程度である場合は、運転者のすぐ前方にも検出範囲ＤＡが存在することになる。しかし、運転者のすぐ前方の検出範囲ＤＡは、各カメラ２Ｒ，２Ｌの視野角が１８０°（±９０°）程度となる範囲である。
　しかし、本実施形態では、画像処理装置３が、Ｘ方向角（方位角）αが視野の限界に近いエリアにおいて、距離計算部６ｄによって得られる距離ｄを大幅に補正する。これにより、運転者のすぐ前方の検出範囲ＤＡにおいて運転者が接触する可能性のある回避対象を正確に検出することができる。
　図１６では、各ステレオカメラ１の光軸ＬＡが水平方向に向いているが、各ステレオカメラ１の光軸ＬＡが下斜め方向に向かっていてもよく、上斜め方向に向かっていてもよい。
　本実施形態では、ステレオカメラ１は、距離計算部６ｄによって算出された複数の位置の算出距離に、一対のレンズユニット４Ｒ，４Ｌの並設方向の位置に応じた補正を行う距離補正部６ｅを備え、前記補正は、検出範囲ＤＡにおけるレンズユニット４Ｒ，４Ｌの並設方向の端部に近い程、算出距離の低減量が大きくなるものである。このように検出範囲ＤＡにおけるレンズユニット４Ｒ，４Ｌの並設方向の端部において算出距離が補正され、これは電動モビリティの周囲の回避対象の存在を正確に把握するために有利である。
　また、本実施形態では、ステレオカメラ１の一対のレンズユニット４Ｒ，４Ｌの一方の先端レンズ４Ｒａが他方の先端レンズ４Ｌａに対して上方に配置されている。
　また、本実施形態では、前記ステレオカメラの前記一対のレンズユニットが互いに上下方向および／又は車両前後方向に並んでいる。
　物体の距離を検出することができる検出範囲ＤＡは、一方のレンズユニット４Ｒを介して取得される画像と他方のレンズユニット４Ｌを介して取得される画像との重複範囲である。一対のレンズユニット４Ｒ，４Ｌが横方向に並んでいるのではなく、一対のレンズユニット４Ｒ，４Ｌの一方の先端レンズ４Ｒａが他方の先端レンズ４Ｌａに対して上方に配置されている構成は、車輪の幅方向外側の死角および電動モビリティ１００の側面等の幅方向外側の死角を少なくする上で有利である。
　また、本実施形態では、一方の先端レンズ４Ｒａが他方の先端レンズ４Ｌａに対して車両前後方向における前側に位置している。
　当該構成は、上記のように死角が少なくなった状態で、ステレオカメラ１の検出範囲ＤＡを電動モビリティ１００の後方に広げることができる。例えば、一対のレンズユニット４Ｒ，４Ｌの一方の真下に他方が配置されていると、他方のレンズユニット４Ｌによって一方のレンズユニット４Ｒの真下の視野が妨げられる。上記構成は、一方のレンズユニット４Ｒの下方の視野の妨げを防止又は少なくするために有利である。
　また、本実施形態では、一対のレンズユニット４Ｒ，４Ｌの光軸ＬＡがそれぞれ斜め下方に向かって延びている。
　当該構成は、一対のレンズユニット４Ｒ，４Ｌの光軸ＬＡがそれぞれ斜め下方に向かって延びている状態で、車両前方の物体の存在も正確に認識することができる。
　また、本実施形態では、モビリティ本体３０に設けられ車輪１０，２０又は他の車輪を駆動するモータ５０と、モータ５０を制御する制御装置８０とが設けられ、制御装置８０が、距離補正部６ｅによって補正された距離に基づいて方位角が検出範囲ＤＡの限界に近いエリアの回避対象を検出し、当該回避対象を回避するための回避動作を行う。
　例えば、一対のレンズユニット４Ｒ，４Ｌが上下方向に並ぶように配置され、さらに、一対のレンズユニット４Ｒ，４Ｌが前方に向いている場合は、電動モビリティ１００の車輪１０，２０の幅方向外側のエリアが、方位角が検出範囲ＤＡの限界に近いエリアに入る。当該構成では、方位角が検出範囲ＤＡの限界に近いエリアにおいて回避対象が正確に検出され、これは電動モビリティ１００の周囲に存在する物体を正確に把握する上で有利である。
　なお、検出範囲ＤＡの限界に対応する方位角を限界方位角とし、限界方位角からステレオカメラ１の光軸ＬＡ側に１５°変位した位置を限界近接方位角とすることもできる。この場合、方位角が検出範囲ＤＡの限界に近いエリアを、限界方位角と限界近接方位角との間のエリアとすることもできる。
　１　ステレオカメラ
　２Ｒ，２Ｌ　カメラ
　３　画像処理装置
　４Ｒ，４Ｌ　レンズユニット
　５Ｒ，５Ｌ　撮像素子
　６ａ　歪補正部
　６ｂ　ずれ補正部
　６ｃ　視差画像作成部
　６ｄ　距離計算部
　６ｅ　距離補正部
　６ｆ　３次元画像作成部
１０　前輪（車輪）
１１　車軸（車輪）
１２　サスペンション
１３　ローラ
１４　ハブ
２０　後輪
３０　モビリティ本体
３１　ボディ
３２　ベース部
３３　座席支持部
４０　座席ユニット
４３　コントロールアーム
４３ａ　アームレスト
４４　操作部
４４ａ　操作レバー
４５　設定部
４６　報知装置
５０　モータ
６０　制御ユニット
７０　モータドライバ
８０　制御装置
８１　制御部
８２　記憶装置
８２ａ　走行制御プログラム
　１００　電動モビリティ
　ＤＡ　検出範囲
　ＬＡ　ステレオカメラの光軸
　α，β　Ｘ方向角（方位角）
　θ　視差

Claims (18)

  1. 　一対のレンズユニットと、
    　該一対のレンズユニットを介して一対の画像を取得する撮像素子と、
    　前記一対の画像に基づき、該一対の画像の重複範囲である検出範囲内の複数の位置の距離を計算する距離計算部と、
    　該距離計算部によって算出された前記複数の位置の算出距離に、前記検出範囲における前記一対のレンズユニットの並設方向の位置に応じた補正を行う距離補正部と、を備え、
    　前記補正が、前記検出範囲における前記並設方向の端部に近い程、前記算出距離の低減量が大きくなるものである、ステレオカメラ。
  2. 　前記一対の画像の各々の歪みを補正する歪補正部を備え、
    　前記距離計算部が、前記歪補正部によって補正された前記一対の画像から前記距離を計算する請求項１に記載のステレオカメラ。
  3. 　補正データを記憶する記憶部を備え、
    　前記補正データは、当該ステレオカメラの光軸に対する前記並設方向の角度である方位角と対応付けられた補正係数を含み、該補正係数は、前記方位角が当該ステレオカメラの前記検出範囲の限界に近付くにつれて小さくなり、
    　前記距離補正部は、前記距離計算部によって算出された前記算出距離に前記補正係数を乗算する請求項１又は請求項２に記載のステレオカメラ。
  4. 　前記方位角が前記検出範囲の限界に近い程、前記方位角に対する前記補正係数の変化率が大きくなる請求項３に記載のステレオカメラ。
  5. 　前記方位角が６５°以上のエリアにおいて、前記補正係数が０．６以下である請求項３又は請求項４に記載のステレオカメラ。
  6. 　前記一対のレンズユニットの各々の前記並設方向の視野角が、１４０°以上である請求項１から請求項５のいずれかに記載のステレオカメラ。
  7. 　モビリティ本体と、
    　該モビリティ本体を支持する車輪と、
    　前記モビリティ本体に取付けられた請求項１から請求項６のいずれかに記載のステレオカメラと、を備える電動モビリティ。
  8. 　前記ステレオカメラの前記一対のレンズユニットの一方の先端レンズが他方の先端レンズに対して上方に配置されている、請求項７に記載の電動モビリティ。
  9. 　前記一方の前記先端レンズが前記他方の前記先端レンズに対して車両前後方向における前側に位置している、請求項８に記載の電動モビリティ。
  10. 　前記一対のレンズユニットの光軸がそれぞれ斜め下方に向かって延びている、請求項７から請求項９の何れかに記載の電動モビリティ。
  11. 　前記ステレオカメラの前記一対のレンズユニットがそれぞれ車両前方を向いている、請求項１０に記載の電動モビリティ。
  12. 　前記ステレオカメラの前記一対のレンズユニットが互いに上下方向および／又は車両前後方向に並んでいる請求項７に記載の電動モビリティ。
  13. 　前記ステレオカメラが、前記モビリティ本体のアームレスト又はコントロールアームに取付けられ、前記アームレストおよび前記コントロールアームは、運転者が腕および手の少なくとも一方を載せるものである、請求項７から請求項１２の何れかに記載の電動モビリティ。
  14. 　２つの前記ステレオカメラが前記モビリティ本体に左右対称となるように取付けられている、請求項７から請求項１３の何れかに記載の電動モビリティ。
  15. 　前記車輪が前輪であり、
    　前記ステレオカメラの前記検出範囲が、前記前輪の車両幅方向外側のエリアを含む、請求項７に記載の電動モビリティ。
  16. 　前記モビリティ本体に設けられ前記車輪又は他の車輪を駆動するモータと、
    　前記モータを制御する制御ユニットと、を備え、
    　前記制御ユニットが、前記距離補正部によって補正された距離に基づいて前記併設方向の位置に対応する方位角が前記検出範囲の限界に近いエリアの回避対象を検出し、該回避対象を回避するための回避動作を行う、請求項７から請求項１５のいずれかに記載の電動モビリティ。
  17. 　前記方位角が前記検出範囲の限界に近いエリアは、前記検出範囲の限界に対応する限界方位角と、前記限界方位角から前記ステレオカメラの光軸側に１５°移動した位置であるの限界近接方位角との間のエリアである、請求項１６に記載の電動モビリティ。
  18. 　前記電動モビリティは、一人が着座して乗るものである、請求項７から請求項１７の何れかに記載の電動モビリティ。
PCT/JP2019/050587 2018-12-26 2019-12-24 ステレオカメラおよび電動モビリティ WO2020138072A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/355,862 US20210321079A1 (en) 2018-12-26 2021-06-23 Stereo camera and electric mobility vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-241972 2018-12-26
JP2018241972A JP2020106275A (ja) 2018-12-26 2018-12-26 ステレオカメラおよび電動モビリティ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/355,862 Continuation US20210321079A1 (en) 2018-12-26 2021-06-23 Stereo camera and electric mobility vehicle

Publications (1)

Publication Number Publication Date
WO2020138072A1 true WO2020138072A1 (ja) 2020-07-02

Family

ID=71126019

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/050587 WO2020138072A1 (ja) 2018-12-26 2019-12-24 ステレオカメラおよび電動モビリティ

Country Status (3)

Country Link
US (1) US20210321079A1 (ja)
JP (1) JP2020106275A (ja)
WO (1) WO2020138072A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11849100B2 (en) * 2021-05-31 2023-12-19 Canon Kabushiki Kaisha Information processing apparatus, control method, and non-transitory computer readable medium
WO2023241782A1 (en) * 2022-06-13 2023-12-21 Telefonaktiebolaget Lm Ericsson (Publ) Determining real-world dimension(s) of a three-dimensional space

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003303337A (ja) * 2002-04-12 2003-10-24 Fuji Heavy Ind Ltd 画像補正装置および画像補正方法
JP2004028811A (ja) * 2002-06-26 2004-01-29 Fuji Heavy Ind Ltd 監視システムの距離補正装置および距離補正方法
JP2012173032A (ja) * 2011-02-18 2012-09-10 Ricoh Co Ltd 画像処理装置、方法、プログラムおよび記録媒体
JP2013224920A (ja) * 2012-03-21 2013-10-31 Ricoh Co Ltd 距離計測装置及び車両
EP3128482A1 (en) * 2015-08-07 2017-02-08 Xovis AG Method for calibration of a stereo camera
JP2017161491A (ja) * 2015-07-29 2017-09-14 ヤマハ発動機株式会社 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両
JP2017213189A (ja) * 2016-05-31 2017-12-07 パナソニック株式会社 電動車いす

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1696669B1 (en) * 2005-02-24 2013-07-03 Aisin Seiki Kabushiki Kaisha Vehicle surrounding monitoring device
JP6516434B2 (ja) * 2014-10-15 2019-05-22 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法
JP5758537B1 (ja) * 2014-11-17 2015-08-05 Ｗｈｉｌｌ株式会社 電動モビリティ
CN109313021B (zh) * 2016-06-08 2021-10-29 索尼公司 成像控制装置和方法、以及车辆
EP3510986A4 (en) * 2016-09-06 2020-07-15 Cyberdyne Inc. MOBILITY DEVICE AND MOBILITY SYSTEM

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003303337A (ja) * 2002-04-12 2003-10-24 Fuji Heavy Ind Ltd 画像補正装置および画像補正方法
JP2004028811A (ja) * 2002-06-26 2004-01-29 Fuji Heavy Ind Ltd 監視システムの距離補正装置および距離補正方法
JP2012173032A (ja) * 2011-02-18 2012-09-10 Ricoh Co Ltd 画像処理装置、方法、プログラムおよび記録媒体
JP2013224920A (ja) * 2012-03-21 2013-10-31 Ricoh Co Ltd 距離計測装置及び車両
JP2017161491A (ja) * 2015-07-29 2017-09-14 ヤマハ発動機株式会社 異常画像検出装置、異常画像検出装置を備えた画像処理システムおよび画像処理システムを搭載した車両
EP3128482A1 (en) * 2015-08-07 2017-02-08 Xovis AG Method for calibration of a stereo camera
JP2017213189A (ja) * 2016-05-31 2017-12-07 パナソニック株式会社 電動車いす

Also Published As

Publication number Publication date
JP2020106275A (ja) 2020-07-09
US20210321079A1 (en) 2021-10-14

Similar Documents

Publication Publication Date Title
US10882424B2 (en) Controlling active isolation platform in a moving vehicle
US9321462B2 (en) Lane deviation prevention control apparatus of vehicle
CN211023584U (zh) 电动移动车
JP5692049B2 (ja) ステアリング位置制御システム
WO2020138072A1 (ja) ステレオカメラおよび電動モビリティ
US9573593B2 (en) Lane deviation prevention control apparatus of vehicle
JP4418905B2 (ja) コミュニケーションロボット
JPWO2020013043A5 (ja)
JPH0545470B2 (ja)
WO2020116352A1 (ja) 路面検出装置および路面検出プログラム
JP6467838B2 (ja) 周辺監視装置、及び周辺監視システム
JP2011063241A (ja) 倒立振子移動体
JP2020104680A (ja) 室内監視装置
JP7375456B2 (ja) 爪先位置推定装置および指先位置推定装置
US20140297127A1 (en) Inverted pendulum type vehicle
CN108327840B (zh) 自行车的自主平衡系统、自行车和自行车智能控制方法
US10473932B2 (en) Method for operating a virtual reality system, and virtual reality system
JP6708152B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP2009174898A (ja) 移動体および環境情報作成方法
JP6328077B2 (ja) 車椅子
JP6920871B2 (ja) 倒立振子型車両
JP2018106312A (ja) 移動車両
JP2022146802A (ja) 電動サスペンション装置
JP2013078488A (ja) 車椅子
JP3838959B2 (ja) 農作業機のローリング制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19903564

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19903564

Country of ref document: EP

Kind code of ref document: A1