WO2016016959A1 - 光学式速度計測装置および移動体 - Google Patents

光学式速度計測装置および移動体 Download PDF

Info

Publication number
WO2016016959A1
WO2016016959A1 PCT/JP2014/069993 JP2014069993W WO2016016959A1 WO 2016016959 A1 WO2016016959 A1 WO 2016016959A1 JP 2014069993 W JP2014069993 W JP 2014069993W WO 2016016959 A1 WO2016016959 A1 WO 2016016959A1
Authority
WO
WIPO (PCT)
Prior art keywords
speed
pixel
moving body
optical
measuring device
Prior art date
Application number
PCT/JP2014/069993
Other languages
English (en)
French (fr)
Inventor
泰士 上田
亮介 中村
梓 網野
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to US15/329,503 priority Critical patent/US9977044B2/en
Priority to JP2016537649A priority patent/JP6318252B2/ja
Priority to PCT/JP2014/069993 priority patent/WO2016016959A1/ja
Publication of WO2016016959A1 publication Critical patent/WO2016016959A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • G01P3/38Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light using photographic means
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P3/00Measuring linear or angular speed; Measuring differences of linear or angular speeds
    • G01P3/36Devices characterised by the use of optical means, e.g. using infrared, visible, or ultraviolet light
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/002Measuring arrangements characterised by the use of optical techniques for measuring two or more coordinates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/14Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01PMEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P15/00Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration
    • G01P15/02Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses
    • G01P15/08Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values
    • G01P15/093Measuring acceleration; Measuring deceleration; Measuring shock, i.e. sudden change of acceleration by making use of inertia forces using solid seismic masses with conversion into electric or magnetic values by photoelectric pick-up
    • HELECTRICITY
    • H01ELECTRIC ELEMENTS
    • H01LSEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144Devices controlled by radiation
    • H01L27/146Imager structures

Definitions

  • the present invention relates to an optical speed measuring device and a moving body.
  • a speed measuring device for a moving body there is a speed measuring device that acquires a rotation amount of a wheel and calculates a speed based on a moving distance calculated from the rotation amount.
  • a speed measuring device that calculates the speed by continuously capturing an image of the ground or the like with a digital camera or the like and determining the amount of movement of the pixels in the captured image.
  • the speed measuring device is “an imaging unit having an imaging element having a plurality of pixels and a plurality of pieces of image information captured by the imaging element.
  • Position information detection means for detecting the image information position of the imaged pixel, which is the position on the image sensor, and a range that is imaged by the pixel and is large according to the distance from the imaging means in the traveling direction
  • Imaging range calculation means for calculating for each pixel, and a plurality of imaging range sizes respectively corresponding to the plurality of pixels, and a predetermined time detected by the position information detection means
  • a moving distance calculating means for calculating a maximum moving distance L1 and a minimum moving distance L2 of the image information for each of the image information based on the image information positions before and after the passage; For each of a plurality of pieces of image information, a maximum movement speed V1 is calculated from the maximum movement distance L1, a minimum movement speed V2 is calculated from the minimum movement distance L2, and the plurality of maximum movement
  • the imaging range calculation means of the speed measuring device of Patent Document 1 needs to always calculate the moving imaging range.
  • the posture of the moving body and the imaging means is always acquired by the sensor.
  • the sensor measurement value generally includes an error
  • the accuracy of the imaging range is lowered, and the accuracy of the calculation speed of the speed measuring device is also deteriorated. Therefore, it is desirable that the speed measuring device provided in the moving body is less affected by the rotational motion of the moving body on the speed measurement result.
  • the present invention provides an optical speed measuring device and the like that can accurately estimate its own speed while suppressing the influence of the rotational motion of the moving body in a moving body without wheels or a moving body in which wheels slip. Objective.
  • an imaging unit that is provided in a moving body and images a traveling surface so that the amount of movement of each pixel when the imaging plane moves varies depending on the position in the image; Calculating a change in the moving amount of each pixel with respect to a predetermined axis as a pixel moving amount gradient from a plurality of images captured in time series, and calculating means for calculating the speed of the moving body from the pixel moving amount gradient. It is characterized by that.
  • an optical speed measuring device or the like that can accurately estimate its own speed while suppressing the influence of the rotational motion of the moving body is provided. Can do.
  • FIG. It is a figure explaining the outline
  • FIG. It is a figure explaining the structure of the apparatus of Example 1.
  • FIG. It is a figure explaining the coordinate system of Example 1.
  • FIG. It is a figure which shows the pixel movement amount by the pitch motion of an imaging device.
  • It is a figure explaining the block matching method It is an example of a pixel movement vector field It is an example of how to set a search area for block matching
  • the apparatus includes, for example, a camera attached to a moving body as imaging means. As shown in FIG. 1A, for example, the camera images a road surface obliquely forward at a predetermined time interval during movement.
  • pixel movement amount vectors vectors of pixel movement amounts
  • FIG. 1A A vector distribution (hereinafter referred to as a pixel movement vector field) appears.
  • the influence of the change in the positional relationship on the speed calculation result is less than that in the conventional method, and the speed can be calculated with high accuracy if the change in the positional relationship is a certain amount or less.
  • the x-direction pixel movement amount on the column L has a certain gradient as shown in FIG. It becomes a graph.
  • the slope of the graph varies with speed. For example, with respect to the gradient at the speed v1, the gradient at the speed of v2 ⁇ v1 is gentler than the gradient at the time of v1.
  • the graph moves in parallel with almost the same gradient as when the camera moves by v1 without rotating.
  • speed the moving speed in the front-rear and left-right directions of the moving body
  • FIG. 2 is an example of a configuration diagram of the optical velocity measuring device 11 of the present embodiment.
  • the apparatus 11 includes an image capturing unit 111 that captures an image of an external environment, and an information exchanging unit 112 for transmitting and receiving a trigger signal for starting and ending calculation, information necessary for speed calculation, a speed calculation result, and log information.
  • the captured image obtained from the imaging unit 111 and the information obtained from the information exchange unit 112 are transmitted to the calculation unit 113 for calculating the speed.
  • the calculation unit 113 calculates a pixel movement amount gradient from a plurality of pixel movement amounts obtained from the pixel movement amount calculation unit 1131 and the calculation unit 1131 that calculate a movement amount of a plurality of pixels in the image from a plurality of captured images.
  • a pixel movement amount gradient calculation unit 1132 to be calculated, and a velocity calculation unit 1133 that calculates the velocity of the moving body 12 from the pixel movement amount gradient obtained from the calculation unit 1132 are provided.
  • the speed calculated by the calculation unit 113, log information, and the like are transmitted to the outside via the information exchange unit 112.
  • the calculation means 113 is specifically composed of a CPU and a memory, and is realized by the CPU executing various programs read from the memory.
  • various programs executed by the CPU are represented as functional block diagrams such as a pixel movement amount calculation unit 1131, a pixel movement amount gradient calculation unit 1132, and a speed calculation unit 1133.
  • the imaging means 111 has a plurality of imaging elements and measures the luminance value of each imaging element.
  • a CCD (Charge Coupled Devices) or a CMOS (Complementary Metal Oxide Semiconductor) camera is preferably used.
  • the imaging unit 111 images the imaging plane at a predetermined cycle (frame rate) F.
  • the imaging means is installed so that the amount of movement of each pixel when the imaging plane moves varies depending on the position in the image. For example, if the imaging means is installed obliquely with respect to the imaging plane, the pixel movement amount is smaller as the imaging plane is farther, and the pixel movement amount is larger as the imaging plane is closer.
  • the frame rate of the imaging means is preferably set within a range in which the pixel movement amount can be calculated. For example, when the speed of the moving object is high, the amount of pixel movement per unit time is also long, so that the target pixel moves outside the next image (out of frame), and the amount of movement of the pixel cannot be obtained. There is. Therefore, for example, the frame rate can be increased as the speed immediately before the moving object or the average speed increases.
  • the calculation means 113 includes, for example, a ROM (Read Only Memory) in which a program or firmware is stored, a RAM (Random Access Memory) as a storage unit, and a control unit that executes the program stored in the ROM.
  • a control unit for example, a CPU (Central Processing Unit), a GPU (Graphics Processing Unit), an FPGA (Field Programmable Gate Array), or the like is preferably used.
  • the calculation means 113 calculates the speed of the moving body and transmits it to the information exchange means 112.
  • the information exchange unit 112 is a device that transmits and receives signals by wire or wirelessly, and suitably uses various digital / analog IO (Input / Output) ports and devices. Via the information exchange unit 112, for example, camera posture information, a target speed of the moving body, a signal indicating the start of calculation, and the like are transmitted to the calculation unit 113. Further, for example, the calculated speed, debug information of various devices, a response signal to the input signal, and the like are output to the outside of the device 11.
  • various digital / analog IO Input / Output
  • the speed calculation method is described below.
  • the coordinate system shown in Fig. 3 is introduced.
  • FIG. 3A it is assumed that the camera is attached to the moving body at a pitch angle ⁇ with reference to the direction in which the optical axis is parallel to the traveling surface.
  • the y-axis is installed in parallel with the traveling surface G.
  • the coordinate origin is the intersection of the image plane C and the lens optical axis.
  • F is the focal length of the lens.
  • the pixel movement amount can be regarded as the movement amount of an arbitrary point on the traveling surface projected onto the imaging plane C.
  • an arbitrary point M 0 (x , Y) move relatively ⁇ X forward and ⁇ Y leftward.
  • the traveling surface G is set as shown in Formula 1
  • Equation 4 Substituting Equation 2 into Equation 3 and rearranging, the differential terms of Equation 3 become Equation 4 respectively.
  • the pixel moving amount when the moving body moves without rotating is shown.
  • the pixel movement amounts ⁇ x cr and ⁇ y cr when the camera rotates without moving by ⁇ in the roll direction, ⁇ in the pitch direction, and ⁇ in the yaw direction are as follows.
  • ⁇ , ⁇ , and ⁇ are very small values.
  • the pixel movement amounts ⁇ x c and ⁇ y c when the moving body moves while rotating are obtained by adding Equation 5 and Equation 6 to Equation 7.
  • the speed of the moving body can be estimated from the gradient of the movement vector field on the x axis and the gradient of the movement vector field on the y axis when x c and y c are regarded as variables.
  • the second term of ⁇ x c in Equation 8 is the amount of pixel movement due to pitch rotation.
  • An example of the graph of the second term is shown in FIG.
  • the slope of the first term is clearly proportional to the pixel movement amount ⁇ x. Therefore, if the gradient of ⁇ x c with respect to the known moving amount of the moving body is recorded, the forward moving amount of the moving body can be obtained based on the recorded gradient.
  • the forward speed of the moving body can be obtained by dividing the forward movement amount by the required movement time.
  • Equation 9 the gradient of ⁇ x c is ⁇ . Therefore, if the gradient is obtained from a plurality of points on the y-axis ⁇ x c, the roll direction rotation amount ⁇ can be obtained.
  • x c ⁇ is calculated from the obtained ⁇ and subtracted from ⁇ y c of Equation 8, Equation 10 is obtained.
  • ⁇ y c is clearly proportional to the lateral movement amount ⁇ Y of the moving body. Therefore, if the gradient of ⁇ y c with respect to the known movement amount of the moving body is recorded, the lateral movement amount of the moving body can be obtained based on the recorded gradient. By dividing the amount of lateral movement by the time required for movement, the lateral speed of the moving body is obtained.
  • the moving amount of the moving object can be calculated using the gradient of the pixel moving amount. Note that, regardless of the orientation of the camera attached to the moving body, the plane passing through the optical axis of the camera and perpendicular to the traveling surface G, the gradient on the intersection line of the imaging plane C, and the optical axis of the camera. A similar calculation is possible by using a gradient on a straight line on the imaging plane C perpendicular to the intersecting line. In addition, by calculating various coefficients of the running surface G from the posture of the camera and using the obtained ⁇ X, ⁇ Y, ⁇ , the amount of rotation of the moving body can be calculated from, for example, Equation 8.
  • the pixel movement amount calculation unit 1131 calculates pixel movement amounts at a plurality of locations in the image from a plurality of captured images obtained from the imaging unit 111.
  • a block matching method is used as a pixel movement amount calculation method.
  • FIG. 5 is a diagram for explaining the block matching method.
  • the block matching method first, a block centered on the target pixel in the image 1 is determined.
  • the block includes textures specific to the area, such as shading on the road surface and pebbles.
  • a search range having an appropriate size is provided in the image 2 taken immediately after the image 1, and an area having the highest similarity with the block is searched.
  • the sum of squared differences with a small amount of calculation is used as the similarity.
  • the sum of squared differences is the sum of the squares of the differences between the luminance values of the block and the comparison target area. As the texture in the block and the texture in the comparison target are more similar, the difference in luminance value decreases, so it can be estimated that the region where the sum of squared differences is the minimum matches the block.
  • the sum of squared differences R is shown in the following equation. *
  • x and y are natural numbers indicating the block position within the search range
  • the pixel at the upper left corner of the image is the origin
  • the downward direction is the x axis
  • the right direction is the y axis.
  • x ′ 0, 1,..., H
  • y ′ 0, 1,.
  • R can be calculated for x and y in the entire search area, and it can be estimated that x and y that minimize R are the destinations of the pixels included in the block in image 2.
  • the pixel movement vector field in the image can be calculated by calculating the above for blocks at different locations in the image. Note that the method of calculating the pixel movement vector field is not limited to the above.
  • a method using a gradient method that uses the relationship between the spatial and temporal gradients of brightness at each point, or an edge in an image is detected, and a plurality of images taken at different times are compared with the edge.
  • a method of calculating the pixel movement amount by finding a matching edge may be used.
  • the pixel movement amount gradient calculation unit 1132 calculates the gradient of the pixel movement amount vector field.
  • FIG. 6 shows an example of the pixel movement amount.
  • FIG. 6A shows a pixel movement amount vector field calculated by a block matching method from two road surface images captured from a CMOS camera provided on a moving body moving on the road surface.
  • a pixel movement amount vector field as shown in FIG.
  • FIG. 6B shows the pixel movement amount ⁇ x c in the x direction of the pixel movement amount vector field
  • FIG. 6C shows the pixel movement amount ⁇ y c in the y direction of the vector field.
  • the unit of movement is pixels.
  • each component of the vector field changes monotonically with pixel accuracy, and by fitting a curved surface function or a plane function to the vector field, the gradient of the vector field on an arbitrary straight line Can be calculated.
  • a function fitting method for example, multiple regression analysis (Multi-parameter Fitting) described in non-patent literature (GNU Scientific Library Reference Manual (v1.12), pp 446-448) is preferably used.
  • Non-Patent Document 1 for example, in the case of fitting with a plane function, it is sufficient if there are at least three pixel movement amount vectors. Therefore, for example, it is possible to reduce the calculation speed by devising, for example, obtaining a pixel movement amount vector for a search area as shown in FIG. 7 and performing fitting using only the pixel movement amount vector of an area with low imaging noise. is there.
  • the speed calculation unit 1133 calculates the speed from the pixel movement amount gradient by the speed calculation method described above.
  • the pixel movement amount itself is affected by the rotation of the camera.
  • a camera with any focal length produces a pixel movement amount of ⁇ f or more with respect to pitch rotation. This is an amount that cannot be ignored if the amount of pixel movement due to movement is small. Therefore, when the speed is calculated from the pixel movement amount itself as in the conventional method, it can be seen that if there is an error in the camera attitude measurement sensor, the error in the speed measurement result also increases.
  • the optical velocity measuring device of the present invention is hardly affected by rotational vibration. For example, when fixed to a vehicle or the like, the height from the running surface to the camera is substantially constant, and the camera only vibrates about the fixed direction.
  • the apparatus of the present invention it is possible to measure an accurate speed without using a camera posture measuring sensor. Further, when the device of the present invention is installed in a flying device or the like, the angle of the imaging means with respect to the ground changes greatly, so that an attitude measurement sensor is required. In this case, since the influence of the rotation amount error is small, for example, even if an inexpensive posture measurement sensor having a large error is used, an accurate speed can be measured.
  • a speed measuring device that can accurately measure the speed of a moving body without wheels and a moving body with wheels slipping with little influence of the rotational movement of the moving body on the speed measurement result.
  • the moving body 21 includes an optical speed measuring device 11, a stabilizing means 211 for keeping the optical speed measuring device approximately horizontal with the traveling surface, and two front and rear in series.
  • Traveling means 212 for moving the moving body provided with wheels, control means 213 for controlling the traveling means 212 and processing measurement results, posture recognition means 214 for recognizing the posture of the moving body, and external device External information input / output means 215 for inputting / outputting information.
  • Speed measurement result from optical speed measuring device 11, roll / pitch angle information of stabilizing means 211, wheel rotation speed and wheel steering angle from traveling means 212, and attitude information of moving body from attitude recognition means 214 Is transmitted to the control means 213. Further, the wheel rotation speed and the posture information of the moving body are transmitted from the control means 213 to the device 11 and used for the speed calculation of the optical speed measuring device 11.
  • a target pitch / roll angle for stabilizing the posture of the optical speed measuring device 11 approximately horizontally is transmitted from the control means 213 to the stabilization means 211.
  • the target wheel rotation speed and target wheel steering angle information are transmitted from the control unit 213 to the traveling unit 212.
  • the external information input / output unit 215 receives a moving body control command from a person or an autonomous control computer, and transmits the current speed and position of the moving body, road silverware information, and the like to the outside.
  • the control unit 213 includes a travel control unit 2121, a speed measurement unit switching unit 2122, and a calibration unit 2123 inside.
  • the traveling control unit 2121 controls the moving body so that it does not fall in the roll direction based on the posture information of the moving body from the posture recognizing means 214 and the speed information / moving direction information from the traveling means 212. ⁇ Control the speed.
  • the speed measuring means switching unit 2122 switches the speed measuring means according to the wheel rotation speed of the traveling means so that the speed measurement result becomes highly accurate.
  • the calibration unit 2123 calibrates the optical speed measurement device 11.
  • the calibration refers to the pixel movement vector gradient described in the first embodiment, the known speed by other speed measuring means, and the distance from the ground of the device 11 when measuring the speed. Find the ratio.
  • step S02 the travel means 212 is controlled to cause the mobile body 21 to travel.
  • step S03 if the wheel rotational speed is less than a predetermined reference value V k, the process proceeds to step S04, the process proceeds to step S05 if less than V k.
  • step S04 the speed of the moving body is measured from the wheel rotation speed obtained from the traveling means 212.
  • step S05 the optical speed measuring device 11 is calibrated by the calibration unit 2123.
  • step S14 the speed is measured by the optical speed measuring device 11 based on the calibration result performed in step S05.
  • step S06 when an end signal is received from the external information input / output means 215 or an end signal due to an error is received from any of the components, the operation of the moving body is ended.
  • the switching reference value V k of the speed measuring means switching unit 2122 will be described with reference to FIG.
  • the horizontal axis represents the speed of the moving body
  • the vertical axis represents the ratio of the error of the speed measurement result to the true value of the speed.
  • the error of the optical speed measuring device 11 is due to the fact that the pixel movement amount is calculated with pixel accuracy in principle, and a certain amount of error always appears regardless of the movement speed.
  • the error ratio of the speed measuring means due to the wheel rotation amount and the error ratio of the optical speed measuring device 11 change in reverse to the speed. Therefore, as shown in FIG. There is a speed V k at which the ratios are reversed from each other. Therefore, if the speed of the moving object is slower than V k is the speed measuring means by the wheel rotation amount, in the case of more than V k by using the optical velocity measuring device 11, in a wide speed range, high accuracy rate Can be measured.
  • calibrating an optical speed measuring device that is not in use saves the trouble of performing only the calibration operation before using the moving body.
  • the speed can be calculated as follows:
  • c ′ is the coefficient c 1 or an amount proportional to the coefficient c
  • v x is the forward speed
  • v y is the left speed
  • p x is the pixel movement amount gradient in the x direction.
  • P y are pixel movement amount gradients in the y direction
  • K x, K y are proportional constants obtained by calibration.
  • the coefficient c can be obtained from, for example, the geometric relationship between the posture of the moving body 21 by the posture recognition unit and the imaging unit 111 of the optical velocity measuring device 11.
  • an amount proportional to the coefficient c there is a distance between the imaging unit 111 and the traveling surface G. What is necessary is just to measure the said distance using sensors, such as a laser sensor with which the mobile body 21 was equipped, and an ultrasonic sensor suitably.
  • the stabilizing means 211 can control the attitude of the optical speed measuring device 11 in the pitch and roll directions, and based on the control signal from the control means 213, the roll angle of the device 11 is approximately horizontal with the running surface. It works to be. Note that the stabilizing means 211 is not necessarily required for speed measurement, but by using it, the pixel movement amount gradient on the x-axis and y-axis of the imaging plane can be used, so that the calculation can be simplified. It becomes possible.
  • the traveling means 212 can steer the front and rear wheels independently as shown in FIG. 8B, and moves the moving body based on the control signal from the control means 213.
  • the traveling means of the two-wheel mechanism is used as an example of the moving body in which the posture of the moving body changes during traveling in this embodiment, the traveling means is not limited to this example. Any means may be used as long as it is a means for mutating the mobile body.
  • a wheel including a three-wheel mechanism or a four-wheel mechanism, a crawler, a leg, or a hover may be used.
  • flight means such as a propeller, a wing, a jet, and a parachute may be used instead of the travel means.
  • a rail mechanism or a suction mechanism for moving along a wall or a ceiling may be used.
  • the control unit 213 includes, for example, a ROM storing a program or firmware, a RAM as a storage unit, and a CPU as a control unit that executes the program stored in the ROM.
  • the present embodiment provides a speed calculation device that can accurately measure the speed of a moving body without wheels or a moving body with wheels slipping, with little influence of the rotational movement of the moving body on the speed measurement result. can do. Furthermore, it is possible to provide a moving body that includes this speed calculation device and can accurately estimate its own speed regardless of slipping or slipping of a wheel or the presence or absence of a wheel.
  • the plane to be imaged is not limited to the ground surface, and any plane can be used as long as the positional relationship with the camera can be understood. For example, it may be a ground surface, a wall surface of a building, a ceiling surface, a water surface, or a table top. In particular, it can be expected to be applied to ships and aircraft that move without using wheels.
  • the present invention is not limited to the above-described embodiments, and includes various modifications.
  • the above-described embodiments have been described in detail for easy understanding of the present invention, and are not necessarily limited to those having all the configurations described.
  • a part of the configuration of one embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of one embodiment.
  • each of the above-described configurations, functions, processing units, processing means, and the like may be realized by hardware by designing a part or all of them with, for example, an integrated circuit.
  • each of the above-described configurations, functions, and the like may be realized by software by interpreting and executing a program that realizes each function by the processor.
  • Information such as programs, tables, and files for realizing each function can be stored in a memory, a hard disk, a recording device such as an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, or a DVD.
  • control lines and information lines indicate what is considered necessary for explanation, and not all control lines and information lines on the product are necessarily shown. Actually, it may be considered that almost all the components are connected to each other.
  • the optical speed measuring device installed on the moving body is described.
  • the device can also be used for measuring the speed of the object to be imaged by installing the device at a fixed point, for example.
  • the moving speed of the imaging target object can be measured by imaging a liquid surface, a sheet-like object, an object scattered on the sheet, or the like.
  • the image pickup device of the device does not directly pick up an image of the object whose movement speed is to be observed, but the image pickup device of the device picks up an image monitor or a screen image projected from an image pickup device installed outside.
  • the image may be taken indirectly.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Power Engineering (AREA)
  • Electromagnetism (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Computer Hardware Design (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)

Abstract

 車輪の無い移動体や車輪がスリップする移動体において、移動体の回転運動の影響を抑制しつつ自身の速度を精度良く推定可能な光学式速度計測装置等を提供することを目的とする。この課題を解決するための光学式速度計測装置は、移動体に備えられ,撮像平面が移動した際の各画素の移動量が画像内の位置によって異なるように走行面を撮像する撮像手段と、前記撮像部が時系列的に撮像した複数の画像から、所定の軸に対する各画素の移動量の変化を画素移動量勾配として求め、当該画素移動量勾配から前記移動体の速度を求めることを特徴とする。

Description

光学式速度計測装置および移動体
 本発明は,光学式速度計測装置および移動体に関する。
 移動体を適切に制御するためには、移動体の正確な速度を計測する必要がある。移動体の速度計測装置として,車輪の回転量を取得し、その回転量から算出された移動距離に基づいて速度を算出する速度計測装置がある。
 しかし,前記の装置では,車輪を備えた移動体でしか利用できない。また,車輪を備えた移動体であっても,車輪がスリップするなどの影響によって正確な速度が計測できない場合ある。そこで、地面などを,デジタルカメラなどで連続的に撮像し、撮像画像内の画素の移動量を求めることで速度を算出する速度計測装置が知られている。
 例えば,特許第5304064号(特許文献1)の請求項1に記載の速度計測装置は、「複数の画素を備えた撮像素子を有する撮像手段と,前記撮像素子で撮像された複数の画像情報が撮像された画素の、撮像素子上の位置である画像情報位置を検出する位置情報検出手段と、前記画素により撮像される範囲であり、かつ、進行方向における前記撮像手段からの距離に応じて大きさが異なる範囲を、撮像範囲として、前記画素ごとに算出する撮像範囲算出手段と、前記複数の画素にそれぞれ対応する複数の前記撮像範囲の大きさと、前記位置情報検出手段により検出された所定時間経過前後の前記画像情報位置とに基づいて、前記画像情報ごとに、該画像情報の最大移動距離L1および最小移動距離L2を算出する移動距離算出手段と、前記複数の画像情報のそれぞれについて、前記最大移動距離L1から最大移動速度V1を、前記最小移動距離L2から最小移動速度V2を算出し、前記複数の画像情報から算出された複数の前記最大移動速度V1のうちの最小値V1minと、複数の前記最小移動速度V2のうちの最大値V2maxとを算出し、算出した前記最小値V1minおよび最大値V2maxに基づいて、速度情報を算出する速度情報算出手段と、を備えること」を特徴とする。
特許第5304064号
 多くの移動体は移動中に回転,振動をするため、移動体に備えられた撮像手段の撮像範囲は常に変化する。したがって、特許文献1の速度計測装置の撮像範囲算出手段は、移動中の撮像範囲を常に算出する必要がある。撮像範囲を常に算出するためには、センサによって移動体や撮像手段の姿勢を常に取得する。しかし、センサの測定値には一般的に誤差が含まれるため,撮像範囲の精度が低下し,速度計測装置の算出速度の精度も悪化する。したがって、移動体に備えられる速度計測装置は、速度計測結果に対し,移動体の回転運動の影響が少ないものが望ましい。
 そこで本発明は、車輪の無い移動体や車輪がスリップする移動体において、移動体の回転運動の影響を抑制しつつ自身の速度を精度良く推定可能な光学式速度計測装置等を提供することを目的とする。
 上記課題を解決する手段として,例えば,「移動体に備えられ,撮像平面が移動した際の各画素の移動量が画像内の位置によって異なるように走行面を撮像する撮像手段と、前記撮像部が時系列的に撮像した複数の画像から、所定の軸に対する各画素の移動量の変化を画素移動量勾配として求め、当該画素移動量勾配から前記移動体の速度を求める計算手段と、を有する」ことを特徴とする。
 本発明によれば、車輪の無い移動体や車輪がスリップする移動体において、移動体の回転運動の影響を抑制しつつ自身の速度を精度良く推定可能な光学式速度計測装置等を提供することができる。
実施例1の装置の概要を説明する図である 実施例1の装置の構成を説明する図である 実施例1の座標系を説明する図である 撮像装置のピッチ運動による画素移動量を示す図である ブロックマッチング方を説明する図である 画素移動量ベクトル場の例である ブロックマッチングの探索領域の設置の仕方の例である 実施例2の移動体の構成図である 実施例2の移動体のシステム構成である 制御手段の動作フローである 速度計測手段切替時の速度を説明する図である
 以下、実施例を図面を用いて説明する。
 本実施例では、本発明の光学式速度計測装置の例を説明する。
 まず,図1を用いて,本実施例の光学式速度計測装置の概略を説明し,詳細を後述する。前記装置は,例えば,撮像手段として,移動体に取り付けられたカメラを備える。前記カメラは,図1(a)に示すように,例えば,移動中に,斜め前方の路面を,所定の時間間隔で撮像する。撮像された複数の画像から,画像上の複数個所の画素の移動量のベクトル(以後,画素移動量ベクトルと呼ぶ)を算出すると,図1(b)のように,画像内にて画素移動量ベクトルの分布(以後,画素移動量ベクトル場と呼ぶ)が現れる。多くの従来方法(例えば特許文献1)では,路面とカメラの位置関係を,キャリブレーションなどによって求めるか,一定であると仮定した上で,画素移動量をもとに路面に対するカメラの移動量を逆算している。しかし,前記方法では,カメラが回転振動するなどして正確に前記位置関係を取得できない場合,正確な速度を算出できなくなる。一方,本手法では,画素移動量の値そのものではなく,画素移動量ベクトル場の所定の直線上での勾配(以後,画素移動量勾配と呼ぶ)から速度を計算する。これによって,従来手法よりも,速度計算結果に対する前記位置関係の変化の影響が少なくなり,前記位置関係の変化が一定量以下であれば高精度で速度が計算可能である。例えば,図1(b)の撮像画像内の列L上の画素移動量ベクトルに注目すると,列L上のx方向画素移動量は,図1(c)に示すように,ある勾配を持ったグラフとなる。前記グラフの勾配は,速度に応じて変化する。例えば,速度v1のときの勾配に対し,v2<v1なる速度のときの勾配は,v1のときの勾配よりも緩やかになる。また,速度はv1で,カメラが微少にピッチ回転した場合,グラフは,回転せずにv1で移動した場合とほぼ同じ勾配のまま平行移動する。詳細は後述するが,本発明では,前記勾配より,移動体の前後,左右方向への移動速度(以後,単に速度と呼ぶ)を求めることにより,移動体の回転運動の影響をほとんど受けることなく,速度を計算可能である。
 図2は、本実施例の光学式速度計測装置11の構成図の例である。前記装置11は、外部環境の画像を撮像する撮像手段111と、計算の開始、終了などのトリガー信号や、速度計算に必要な情報,速度計算結果,ログ情報を送受信するための情報交換手段112を備え、撮像手段111から得た撮像画像と、情報交換手段112から得た情報は、速度を計算するための計算手段113へ伝えられる。計算手段113は、複数の撮像画像から、画像内の複数の画素の移動量を計算する画素移動量計算部1131と、前記計算部1131から得た複数の画素移動量から、画素移動量勾配を計算する、画素移動量勾配計算部1132と、前記計算部1132から得た画素移動量勾配から、移動体12の速度を計算する、速度計算部1133を備える。計算手段113で計算した速度や,ログ情報などは、情報交換手段112を介して、外部へ伝達される。尚、計算手段113は具体的には、CPUとメモリとから構成され、メモリから読み出した各種プログラムをCPUが実行することで実現される。図2では、CPUが実行する各種プログラムを、画素移動量計算部1131、画素移動量勾配計算部1132、速度計算部1133、のように機能ブロック図として表している。
 以下、光学式速度計測装置11の各構成について説明する。
 撮像手段111は、複数の撮像素子を有し、各撮像素子の輝度値を測定する。例えば、CCD(Charge Coupled Devices)やCMOS(Complementary Metal Oxide Semiconductor)カメラなどを好適に用いる。また,前記撮像手段111は、所定の周期(フレームレート)Fで撮像平面を撮像する。この際,撮像手段は,撮像平面が移動した際の各画素の移動量が,画像内の位置によって異なるように設置する。例えば,撮像手段を撮像平面に対して斜めに設置すれば,遠くの撮像平面ほど画素移動量は小さく,近くの撮像平面ほど画素移動量は大きくなる。あるいは,カメラレンズを工夫したり,反射鏡などを用いたり,複数のカメラを同期して用いたりして,撮像平面の異なる領域を同時に撮像しても良い。撮像手段のフレームレートは,画素移動量を算出可能な範囲において好適に設定する。例えば,移動体の速度が早い場合には,単位時間当たりの画素移動量も長いため,注目画素が,次の画像の外側へ移動(フレームアウト)し,前記画素の移動量が求められない場合がある。したがって,例えば,移動体の直前の速度や,平均速度が速いほど,フレームレートを速くする等が可能である。また,例えば,撮像手段の設置向きを,移動体の直前の速度や,平均速度が速いほど遠方を撮像するようにして,注目画素のフレームアウトを防ぐ方法もある。撮像手段111の撮像画像は,計算手段113へ入力される。
 計算手段113は、例えば、プログラム又はファームウェアが格納されたROM(Read Only Memory)と、記憶部としてのRAM(Random Access Memory)と、前記ROMに格納されたプログラムを実行するコントロールユニットを備える。コントロールユニットとしては、例えば、CPU(Central Processing Unit)やGPU(Graphics Processing Unit)、FPGA(Field Programmable Gate Array)などを好適に用いる。計算手段113は,移動体の速度を計算し,情報交換手段112へ伝える。
 情報交換手段112は,有線,または無線で信号を送受信する装置であり,各種デジタル・アナログIO(Input/Output)ポート,及びデバイスを好適に用いる。情報交換手段112を介して,例えばカメラの姿勢情報,移動体の目標速度,計算開始を示す信号などが計算手段113へ送信される。また,例えば,算出した速度や,各種装置のデバッグ情報,入力信号に対する応答信号などを装置11の外部へ出力する。
 以下に,速度計算方法を説明する。
 説明に際し,図3に示す座標系を導入する。図3(a)に示すように,カメラは,光軸を走行面と平行にした向きを基準に,ピッチ角θで移動体に取り付けられているものとする。図3(b)に示すように,y軸は,走行面Gと平行に設置するものとする。座標原点は結像面Cとレンズ光軸の交点である。Fはレンズの焦点距離である。このとき,移動体が走行面に沿って移動した場合の画素移動量について説明する。
 画素移動量は,結像面C上に投射された,走行面上の任意の点の移動量とみなせる。移動体が,走行面Gに沿って,回転することなく後方にΔX,右方向へΔY移動した場合,図3(c)に示すように,走行面G上の任意の点M0=(x, y)は相対的に前方へΔX,左方向へΔY移動する。いま,走行面Gを数式1のようにおくと,M0の結像面C上の投射点Mc0=(xc, yc)は,数式2のようになる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
図3の状態において,走行面G上のM0の移動量ΔX,ΔYに対し,座標系での移動量をΔx,Δyとすると,ΔxはΔXに比例し,ΔyはΔYに等しい。したがって,Δxの比例定数をCとすれば,移動量Mc0の,結像面C上での移動量Δxct,Δyctは数式3のようになる。
Figure JPOXMLDOC01-appb-M000003
数式2を数式3に代入して整理すると,数式3の微分項はそれぞれ数式4のようになる。
Figure JPOXMLDOC01-appb-M000004
走行面Gは,y軸に平行なため,b = 0である。b = 0とし,数式4を数式3に代入して整理すると,数式5のようになる。
Figure JPOXMLDOC01-appb-M000005
 以上より,移動体が回転することなく移動した場合の画素移動量を示した。一方,カメラが,移動することなく,ロール方向にΔφ,ピッチ方向にΔθ,ヨー方向にΔψ回転したときの画素移動量Δxcr,Δycrは,次式のようになる。ただし,Δφ,Δθ,Δψは微少な値とする。
Figure JPOXMLDOC01-appb-M000006
 以上より,移動体が,回転しつつ移動した場合の画素移動量Δxc,Δycは,数式5と数式6を足し合わせて,数式7のようになる。
Figure JPOXMLDOC01-appb-M000007
 次に,移動体の速度は,xc、ycを変数とみなしたときの、x軸上の移動量ベクトル場の勾配と,y軸上の移動量ベクトル場の勾配から推定できることを示す。
 x軸上では,yc=0であるため,数式7は次式のようになる。
Figure JPOXMLDOC01-appb-M000008
数式8のΔxcの第二項は,ピッチ回転による画素移動量である。前記第二項のグラフの例を図4に示す。図4が示すように,ピッチ回転によるx方向の画素移動量Δxcrは,x=0,y=Δθfを最小値としたほぼ左右対称なグラフとなる。したがって,前記グラフにおいて,x=0を中心とした2点が作る勾配は,常にほぼ0となる。一方,Δxcの第一項は,頂点をf/aに持ち,下に凸な二次関数であるため,f/aが0から離れていれば,x=0近傍では単調変化する。したがって,前記第一項と第二項の和は,x=0を中心に等距離にある2点を選べば,その2点間の勾配は,常に第一項のみの勾配とほぼ等しい。また,前記第一項の勾配は,明らかに画素移動量Δxに比例する。したがって,移動体の既知の移動量に対するΔxcの勾配を記録すれば,記録した前記勾配に基づいて,移動体の前進移動量が求まる。前記前進移動量を移動所要時間で除すことにより,移動体の前進速度が求まる。
 また,y軸上では,xc=0であるため,数式7は次式のようになる。
Figure JPOXMLDOC01-appb-M000009
数式9において,Δxcの勾配は,-Δφである。したがって,y軸上Δxcの複数の点から勾配を求めればロール方向回転量Δφが求まる。求めたΔφから,xcΔφを計算し,数式8のΔycから差し引くと,数式10となる。
Figure JPOXMLDOC01-appb-M000010
数式10より,Δycは,明らかに移動体の横方向移動量ΔYに比例する。したがって,移動体の既知の移動量に対するΔycの勾配を記録すれば,記録した前記勾配に基づいて,移動体の横方向移動量が求まる。前記横方向移動量を移動所要時間で除すことにより,移動体の横方向速度が求まる。
 以上より,移動体の移動量が,画素移動量の勾配を用いて計算可能であることを示した。なお,移動体に取り付けるカメラの向きがどのようであっても,カメラの光軸を通り走行面Gに垂直な平面と,結像面Cの、交線上の勾配と,カメラの光軸を通り前記交線と垂直な,結像面C上の直線上の勾配を用いることで,同様の計算が可能である。また,走行面Gの諸係数をカメラの姿勢より算出し,求めたΔX,ΔY,Δφを用いることで,例えば数式8などから移動体の回転量も算出可能である。
 次に,計算手段113の内部構成要素について述べる。
 画素移動量計算部1131は、撮像手段111から得た複数の撮像画像から、画像内の複数個所での画素移動量を計算する。本実施例では、画素移動量の計算方法として、ブロックマッチング法を用いる。
 図5は、ブロックマッチング法を説明する図である。ブロックマッチング法では、まず,画像1において注目画素を中心とするブロックを決める。ブロックには,走行路面の濃淡や,小石など,その領域に固有なテクスチャが含まれるものとする。次に,画像1の直後に撮像した画像2に,適当な大きさの探索範囲をもうけ,ブロックと最も類似度の高い領域を探索する。本実施例では,類似度として,計算量が少ない差分二乗和を用いる。差分二乗和とは,ブロックと比較対象領域の輝度値の差の2乗の合計である。ブロック内のテクスチャと比較対象内のテクスチャが似ているほど,輝度値の差は少なくなるため,差分二乗和が最小となる領域が,ブロックと一致していると推定できる。差分二乗和 R を,次式に示す。 
Figure JPOXMLDOC01-appb-M000011
ここで,x ,y は,探索範囲内でのブロック位置を示す自然数で,画像の左上端部のピクセルを原点に,下方向を x 軸,右方向を y 軸とする。また,ブロックの横幅が w ピクセル,縦幅が h ピクセルのとき,x’= 0,1,…,h,y’= 0,1,…,w である。探索領域内全域の x ,y について R を計算し,R を最小とする x ,y が,画像2内でのブロック内に含まれる画素の移動先であると推定できる。以上を,画像内の異なる複数箇所におけるブロックについて計算することで,画像内の画素移動量ベクトル場を計算できる。なお,画素移動量ベクトル場の計算方法は上記に限定されるものではない。例えば,各点の明るさの空間的および時間的な勾配の間の関係を用いる勾配法を使用する方法や,画像内のエッジを検出し,異なる時間で撮像した複数の画像同士で前記エッジと一致するエッジを見つけることで,画素移動量を算出する方法などを用いても良い。
 画素移動量勾配計算部1132は,画素移動量ベクトル場の勾配を計算する。図6に,画素移動量の例を示す。図6(a)は,路面上を移動する移動体に設けたCMOSカメラから撮像した,2枚の路面画像より,ブロックマッチング方によって算出した画素移動量ベクトル場である。撮像画像を,縦横一定間隔ごとの探索領域に分割し,全ての探索領域について,x方向,y方向への画素移動量を計算すると,同図のような画素移動量ベクトル場となる。図6(b)は,画素移動量ベクトル場のx方向の画素移動量Δxc,図6(c)は,前記ベクトル場のy方向の画素移動量Δycを示したものである。移動量の単位はピクセルである。両図が示すとおり,前記ベクトル場の各成分は,ピクセル精度で単調変化しており,前記ベクトル場へ,曲面関数,または平面関数をフィッティングすることで,前記ベクトル場の任意の直線上の勾配を計算可能である。関数のフィッティング手法としては,例えば非特許文献(GNU Scientific Library Reference Manual (v1.12), pp446-448)に記載の重回帰分析(Multi-parameter Fitting)などを好適に用いる。
 なお,画素移動量ベクトル場を関数フィッティングする際は,画像全体での画素移動量ベクトルは必要ない。非特許文献1によれば,例えば,平面関数でフィッティングする場合は,最小3箇所の画素移動量ベクトルがあればよい。したがって,例えば,図7に示すような探索領域について画素移動量ベクトルを求め,撮像ノイズの少ない領域の画素移動量ベクトルのみを用いてフィッティングするなどの工夫により、計算速度を削減することが可能である。
 速度計算部1133は前記画素移動量勾配から,すでに述べた速度計算方法によって速度を計算する。
 なお,図4で示したとおり,カメラの回転によって,画素移動量そのものは影響を受ける。いかなる焦点距離のカメラであっても,ピッチ回転に対し,Δθf以上の画素移動量が生じる。これは,移動による画素移動量が小さい場合は,無視できない量となる。したがって,従来手法のように画素移動量そのものから速度を求める場合,カメラの姿勢測定センサに誤差があると,速度測定結果の誤差も大きくなることがわかる。一方,本発明の光学式速度計測装置は,回転振動の影響がほとんど無い。そして,例えば,車両などに固定した場合は,走行面からカメラまでの高さがほぼ一定で,カメラは,固定された向きを中心に回転振動するだけである。したがって,本発明の前記装置を用いれば,カメラ姿勢測定用のセンサを用いなくとも,正確な速度を測定可能である。また,本発明の前記装置を,飛行装置などに設置すると,撮像手段の地面に対する角度が大きく変化するため,姿勢測定センサが必要となる。その場合,回転量の誤差の影響が少ないため,例えば,誤差の大きい安価な姿勢測定センサを用いたとしても,正確な速度を測定可能である。
 以上によって,速度計測結果に対し,移動体の回転運動の影響が少なく,車輪の無い移動体や,車輪がスリップする移動体の速度も正確に測定可能な速度計測装置を提供する。
 次に、上記の光学式速度計測装置を備え,移動体の姿勢が変化したり,車輪がスリップ・空転したりしても,正確に自己速度を測定可能な移動体の例を示す。図1の光学式速度計測装置11のうち、既に説明した図2に示された同一の符号を付された構成と、同一の機能を有する部分については、説明を省略する。
 図8を用いて,本実施例の光学式速度計測装置を備えた移動体21の構造を説明する。図8(a)に示すように,前記移動体21は,光学式速度計測装置11と,光学式速度計測装置を走行面とおおよそ水平に保つための安定化手段211と,前後直列に2つの車輪を備え移動体を移動させるための走行手段212と,走行手段212の制御や,計測結果の処理を行う制御手段213と,移動体の姿勢を認識するための姿勢認識手段214と,外部装置との情報の入出力を行う,外部情報入出力手段215を備える。
 図9を用いて,移動体21のシステム構成を説明する。光学式速度計測装置11からの速度計測結果と,安定化手段211のロール・ピッチ角情報と,走行手段212からの車輪回転速度と車輪操舵角と,姿勢認識手段214からの移動体の姿勢情報は,制御手段213へ送信される。また,制御手段213から前記装置11には,車輪回転速度や,移動体の姿勢情報が送信され,光学式速度計測装置11の速度計算に用いられる。制御手段213から安定化手段211には,光学式速度計測装置11の姿勢をおおよそ水平に安定化するための,目標ピッチ・ロール角が送信される。制御手段213から走行手段212には,目標車輪回転速度や,目標車輪操舵角情報が送信される。外部情報入出力手段215は,人または自律制御コンピュータなどからの,移動体制御命令を受信し,移動体の現在速度や位置,路銀具情報などを外部へ送信する。
 制御手段213は,内部に,走行制御部2121と,速度計測手段切替部2122と,キャリブレーション部2123を備える。走行制御部2121は,姿勢認識手段214からの移動体の姿勢情報や、走行手段212からの速度情報・移動方向情報を元に、移動体がロール方向へ転倒しないように制御したり,移動方向・速度などの制御を行う。速度計測手段切替部2122は,走行手段の車輪回転速度に応じて,速度測定結果が高精度になるように,速度計測手段を切り替える。キャリブレーション部2123は,光学式速度計測装置11をキャリブレーションする。ここで,キャリブレーションとは,実施例1にて説明した,画素移動量ベクトル勾配と,他の速度計測手段による既知の速度と,前記速度を計測時の前記装置11の地面からの距離との比率を求めることである。
 図10を用いて,制御手段213の動作について説明する。まず,装置を起動後,ステップS01にて,走行信号を外部情報入出力手段215より受信すると,ステップS02に進み,走行手段212を制御し,移動体21を走行させる。つぎに,ステップS03にて,車輪回転速度が所定の基準値Vk以下であれば,ステップS04へ進み,Vk以下でなければステップS05へ進む。ステップS04では,走行手段212から得た車輪回転速度から,移動体の速度を計測する。ステップS05では,キャリブレーション部2123によって,光学式速度計測装置11をキャリブレーションする。また,ステップS14では,ステップS05で行ったキャリブレーション結果に基づいて光学式速度計測装置11によって速度を測定する。ステップS06で,外部情報入出力手段215から終了信号を受信するか,いずれかの構成要素からエラーによる終了信号を受信したりした場合は,移動体の動作を終了する。
 図11を用いて,速度計測手段切替部2122の,切替基準値Vkについて説明する。図11は,横軸は移動体の速度,縦軸が速度の真値に対する速度計測結果の誤差の割合である。一般的に,車輪回転量による速度計測では,移動体の速度が上がるほど,車輪の変形やすべりが大きくなるため,誤差の割合が大きくなる。一方,光学式速度計測装置11の誤差は,画素移動量が原理的にピクセル精度で計算されることに起因し,移動速度に依存せず常に一定量の誤差が現れる。例えば,常に誤差が時速1km含まれる場合,時速10kmのときの誤差は10%だが,時速100kmのときは1%となる。以上のように,車輪回転量による速度計測手段の誤差の割合と,光学式速度計測装置11の誤差の割合は,速度に対して逆の変化をするため,図11に示すように,誤差の割合が互いに逆転する速度Vkが存在する。そこで,Vkよりも移動体の速度が遅い場合は,車輪回転量による速度計測手段を,Vk以上の場合は光学式速度計測装置11を用いることで,広範な速度領域において,精度良く速度を計測することが可能となる。
 また,車輪回転量によって速度を計測しているときに,使用していない光学式速度計測装置をキャリブレーションすることで,移動体使用前に,キャリブレーションのためだけの動作を行う手間が省ける。
 キャリブレーション結果から,速度を計算する方法を説明する。数式8より,画素移動量勾配は,速度に比例し,係数cに反比例する。係数cは,走行面Gと,座標系のz軸との切片である。また,係数cは,撮像手段111と走行面Gとの距離に比例する。以上より,速度は次式にように計算可能である。
 上式で,c’は,係数c か、または,係数cに比例する量であり,vxは前進方向の速度,vyは左方向への速度,pxはx方向の画素移動量勾配,pyはy方向の画素移動量勾配,Kx,yはキャリブレーションで求めた比例定数である。キャリブレーション時に記録した,既知の,x方向速度vx0,y方向速度vy0,係数cまたは係数cに比例する量c0’と,測定された、x方向の画素移動量勾配px0, y方向の画素移動量勾配py0より,前記比例定数Kx,yは,次式で求まる。
Figure JPOXMLDOC01-appb-M000013
 係数cは,例えば,姿勢認識手段による移動体21の姿勢と,光学式速度測定装置11の撮像手段111との幾何的関係から求めることができる。あるいは,係数cと比例する量としては,撮像手段111と走行面Gとの距離がある。前記距離は、移動体21に具備したレーザーセンサや超音波センサなどのセンサを好適に用いて測定すればよい。
 安定化手段211は,ピッチ,ロール方向に光学式速度計測装置11の姿勢を制御することができ,制御手段213からの制御信号に基づいて,前記装置11のロール角を走行面とおおよそ水平になるよう動作する。なお、速度計測のために安定化手段211は必ずしも必要ではないが、利用することによって、結像面のx軸とy軸上の画素移動量勾配を利用できるので、計算を簡略化することが可能となる。
 走行手段212は,図8(b)のように,前後の車輪を独立に操舵することができ,制御手段213からの制御信号に基づいて移動体を移動させる。ただし、本実施例では移動体の姿勢が走行中に変わる移動体の例として2輪機構の走行手段を用いているが、走行手段は本例に限ったものではない。移動体を変異させる手段であればあらゆる手段が用いてよい。例えば、3輪機構、4輪機構をはじめとした車輪や、クローラー、脚、ホバーを用いてもよい。または、走行手段の変わりに、例えば、プロペラ、翼、ジェット、パラシュートなどの飛行手段を用いてもよい。さらに、例えば、壁伝い、天井伝いに移動するためのレール機構、吸着機構などを用いてもよい。
 制御手段213は,例えば、プログラム又はファームウェアが格納されたROMと、記憶部としてのRAMと、前記ROMに格納されたプログラムを実行するコントロールユニットとしてCPUを備える。
 このように本実施例では、速度計測結果に対し,移動体の回転運動の影響が少なく,車輪の無い移動体や,車輪がスリップする移動体の速度も正確に測定可能な速度計算装置を提供することができる。さらに、この速度計算装置を備え、車輪のスリップや空転,車輪の有無にかかわらず,自身の速度を正確に推定可能な移動体を提供することができる。なお,撮像対象の平面は,地面に限らず,カメラとの位置関係の分かる平面であればあらゆる平面が対象となる。例えば,地面やビルの壁面,天井面,水面,机の天板などでもよい。とくに,車輪を用いずに移動する船舶や飛行体への適用が期待できる。
 本発明は、上記した実施例に限定されるものではなく,様々な変形例が含まれる。例えば,上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり,必ずしも説明した全ての構成を備えるものに限定されるものではない。また,ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり,また,ある実施例の構成に他の実施例の構成を加えることも可能である。また,各実施例の構成の一部について,他の構成の追加・削除・置換をすることが可能である。
 また,上記の各構成,機能,処理部,処理手段等は,それらの一部又は全部を,例えば集積回路で設計する等によりハードウェアで実現してもよい。また,上記の各構成,機能等は,プロセッサがそれぞれの機能を実現するプログラムを解釈し,実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム,テーブル,ファイル等の情報は,メモリや,ハードディスク,SSD(Solid State Drive)等の記録装置,または,ICカード,SDカード,DVD等の記録媒体に置くことができる。
 また,制御線や情報線は説明上必要と考えられるものを示しており,製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。
 また、上記実施例では移動体に設置した光学式速度計測装置について述べたが、前記装置を、例えば、固定された点に設置して、撮像対象物体の速度を計測することにも利用できる。例えば、液体表面や、シート状の物体、シート上に散布された物体などを撮像することにより、撮像対象物体の移動速度を計測できる。
 また、前記装置の撮像装置によって、移動速度を観測したい物体を直接撮像するのではなく、外部に設置した撮像手段から映し出された画像モニタや、スクリーン映像などを、前記装置の撮像手段によって撮像するなど、間接的に撮像しても良い。
11 実施例1の光学式速度計測装置
111 撮像手段
112 情報交換手段
113 計算手段
1131 画像移動量計算部
1132 画素移動量勾配計算部
1133 速度計算部
21 実施例2の移動体
211 安定化手段
212 走行手段
2121 走行制御部
2122 速度計測手段切替部
2123 キャリブレーション部
213 制御手段
214 姿勢認識手段
215 外部情報入出力手段
c カメラの撮像面上のx座標
c カメラの撮像面上のy座標
Δxc x方向の画素移動量
Δyc y方向の画素移動量
Δx 撮像対象のx方向の移動量
Δy 撮像対象のy方向の移動量
ΔX 撮像対象の前進方向への移動量
ΔY 撮像対象の左方向への移動量

Claims (10)

  1.  移動体に備えられ,撮像平面が移動した際の各画素の移動量が画像内の位置によって異なるように走行面を撮像する撮像手段と、
     前記撮像部が時系列的に撮像した複数の画像から、所定の軸に対する各画素の移動量の変化を画素移動量勾配として求め、当該画素移動量勾配から前記移動体の速度を求める計算手段と、
     を有する光学式速度計測装置。
  2.  請求項1の光学式速度計測装置において,
     前記移動体の既知の移動量に対する前記画素移動量勾配を記憶し、
     前記計算手段は、求めた前記画素移動量勾配と、既知の移動量に対する前記画素移動量勾配と、から前記移動体の速度を求めることを特徴とする光学式速度計測装置。
  3.  請求項1の光学式速度計測装置において,
     前記撮像手段は、斜め方向から走行面を撮像することで、撮像平面が移動した際の各画素の移動量が画像内の位置によって異なるよう撮像することを特徴とする光学式速度計測装置。
  4.  請求項1の光学式速度計測装置において,
     前記計算手段が求める前記画素移動量勾配とは、前記撮像手段の光軸を通り走行面に垂直な平面と、前記撮像手段の結像面と、の交線上の画素移動量の勾配,及び、前記撮像手段の光軸を通り前記交線とおよそ垂直な前記結像面上の直線上の画素移動量の勾配、であることを特徴とする光学式速度計測装置。
  5.  請求項1の光学式速度計測装置において,
     前記計算手段が求める前記画素移動量勾配は,前記撮像手段の光軸と,前記撮像手段の結像面との交点を中心に対称な位置にある画素の移動量同士の変化量に基づいて計算することを特徴とする光学式速度計測装置。
  6.  自身の位置を変位させるための移動手段と,前記移動手段を制御するための制御手段と,を備える移動体において、
     撮像平面が移動した際の各画素の移動量が画像内の位置によって異なるように走行面を撮像する撮像手段と、前記撮像部が時系列的に撮像した複数の画像から、所定の軸に対する各画素の移動量の変化を画素移動量勾配として求め、当該画素移動量勾配から前記移動体の速度を求める計算手段と、を有する光学式速度計測装置
     を備える移動体。
  7.  請求項6に記載の移動体において、
     前記光学式速度計測装置の撮像手段の姿勢を認識する姿勢認識手段、を備え、
     前記計算手段は、前記姿勢認識手段により認識された姿勢情報を前記移動体の速度計測のキャリブレーションに用いることを特徴とする移動体。
  8.  請求項6に記載の移動体において、
     前記制御手段は,前記移動体の速度に応じて,前記光学式速度計測装置と,走行面に接地した接地式速度計測装置と切替えることを特徴とする移動体。
  9.  請求項6に記載の移動体において、
     前記光学式速度計測装置の測定誤差が,前記接地式速度計測装置の測定誤差と同程度になる速度以下の速度の場合には、前記接地式速度計測装置を用い、
     前記光学式速度計測装置の測定誤差が,前記接地式速度計測装置の測定誤差と同程度になる速度以上の速度の場合には、前記光学式速度計測装置を用いることを特徴とする移動体。
  10.  請求項6において、
     前記接地式速度計測装置の使用中に,前記光学式速度計測装置のキャリブレーションを行うことを特徴とする移動体。
PCT/JP2014/069993 2014-07-30 2014-07-30 光学式速度計測装置および移動体 WO2016016959A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US15/329,503 US9977044B2 (en) 2014-07-30 2014-07-30 Optical velocity measuring apparatus and moving object
JP2016537649A JP6318252B2 (ja) 2014-07-30 2014-07-30 光学式速度計測装置および移動体
PCT/JP2014/069993 WO2016016959A1 (ja) 2014-07-30 2014-07-30 光学式速度計測装置および移動体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/069993 WO2016016959A1 (ja) 2014-07-30 2014-07-30 光学式速度計測装置および移動体

Publications (1)

Publication Number Publication Date
WO2016016959A1 true WO2016016959A1 (ja) 2016-02-04

Family

ID=55216904

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/069993 WO2016016959A1 (ja) 2014-07-30 2014-07-30 光学式速度計測装置および移動体

Country Status (3)

Country Link
US (1) US9977044B2 (ja)
JP (1) JP6318252B2 (ja)
WO (1) WO2016016959A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109782025A (zh) * 2019-02-14 2019-05-21 成都路行通信息技术有限公司 一种修正车载设备速度漂移的方法
CN110361560A (zh) * 2019-06-25 2019-10-22 中电科技(合肥)博微信息发展有限责任公司 一种船舶航行速度测量方法、装置、终端设备及计算机可读存储介质
JP2019203732A (ja) * 2018-05-22 2019-11-28 株式会社小野測器 状態計測装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017149962A1 (ja) * 2016-03-02 2017-09-08 ソニー株式会社 撮像制御装置、撮像制御方法、およびプログラム
JP6573713B2 (ja) * 2016-03-23 2019-09-11 日立オートモティブシステムズ株式会社 車載画像処理装置
US10753857B2 (en) * 2017-07-24 2020-08-25 Visiongate Inc. Apparatus and method for measuring microscopic object velocities in flow
CN109270289B (zh) * 2018-09-29 2024-06-11 广东省特种设备检测研究院东莞检测院 一种速度测试系统及测试方法
US20220319013A1 (en) * 2019-06-25 2022-10-06 Sony Group Corporation Image processing device, image processing method, and program
DE102020114963A1 (de) 2020-06-05 2021-12-09 Connaught Electronics Ltd. Planarflussbasierte visuelle Odometrie mit Maßstabsauflösung

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4385830A (en) * 1980-11-26 1983-05-31 Cornell Research Foundation, Inc. Direct measurement of vorticity by optical probe
JP2007078358A (ja) * 2005-09-09 2007-03-29 Sumitomo Electric Ind Ltd 移動体計測装置、信号制御システム、移動体計測方法及びコンピュータプログラム
JP2010019640A (ja) * 2008-07-09 2010-01-28 Nissan Motor Co Ltd 速度計測装置および速度計測方法
JP2011209825A (ja) * 2010-03-29 2011-10-20 Panasonic Corp ナビゲーション装置
JP2013003110A (ja) * 2011-06-21 2013-01-07 Denso Corp 車両状態検出装置
EP2725362A1 (en) * 2012-10-26 2014-04-30 Aix-Marseille Université Motion sensor assembly for determining the angular velocity of a moving contrast in its field of view with high accuracy

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7065258B2 (en) * 2001-05-21 2006-06-20 Mitutoyo Corporation Systems and methods for reducing accumulated systematic errors in image correlation displacement sensing systems
AU2003264929A1 (en) * 2002-09-23 2004-04-08 Stefan Reich Measuring and stabilising system for machine-controllable vehicles
DE102005022095B4 (de) * 2005-05-12 2007-07-19 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Verfahren und Vorrichtung zur Bestimmung einer lateralen Relativbewegung zwischen einem Bearbeitungskopf und einem Werkstück
US9188677B2 (en) * 2013-05-01 2015-11-17 Sandia Corporation Imaging doppler lidar for wind turbine wake profiling

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4385830A (en) * 1980-11-26 1983-05-31 Cornell Research Foundation, Inc. Direct measurement of vorticity by optical probe
JP2007078358A (ja) * 2005-09-09 2007-03-29 Sumitomo Electric Ind Ltd 移動体計測装置、信号制御システム、移動体計測方法及びコンピュータプログラム
JP2010019640A (ja) * 2008-07-09 2010-01-28 Nissan Motor Co Ltd 速度計測装置および速度計測方法
JP2011209825A (ja) * 2010-03-29 2011-10-20 Panasonic Corp ナビゲーション装置
JP2013003110A (ja) * 2011-06-21 2013-01-07 Denso Corp 車両状態検出装置
EP2725362A1 (en) * 2012-10-26 2014-04-30 Aix-Marseille Université Motion sensor assembly for determining the angular velocity of a moving contrast in its field of view with high accuracy

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019203732A (ja) * 2018-05-22 2019-11-28 株式会社小野測器 状態計測装置
CN109782025A (zh) * 2019-02-14 2019-05-21 成都路行通信息技术有限公司 一种修正车载设备速度漂移的方法
CN110361560A (zh) * 2019-06-25 2019-10-22 中电科技(合肥)博微信息发展有限责任公司 一种船舶航行速度测量方法、装置、终端设备及计算机可读存储介质

Also Published As

Publication number Publication date
US20170322232A1 (en) 2017-11-09
JP6318252B2 (ja) 2018-04-25
US9977044B2 (en) 2018-05-22
JPWO2016016959A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
JP6318252B2 (ja) 光学式速度計測装置および移動体
US20210124029A1 (en) Calibration of laser and vision sensors
US10133279B2 (en) Apparatus of updating key frame of mobile robot and method thereof
US20220237866A1 (en) Vehicle environment modeling with cameras
KR101776622B1 (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US10399228B2 (en) Apparatus for recognizing position of mobile robot using edge based refinement and method thereof
JP6623044B2 (ja) ステレオカメラ装置
KR101776620B1 (ko) 검색 기반 상관 매칭을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
US20190311485A1 (en) Method for Evaluating Image Data of a Vehicle Camera
CN106447730B (zh) 参数估计方法、装置和电子设备
US9630322B2 (en) Information processing apparatus, method therefor, measurement apparatus, and working apparatus for estimating a position/orientation of a three-dimensional object based on relative motion
US20180075614A1 (en) Method of Depth Estimation Using a Camera and Inertial Sensor
WO2014199929A1 (ja) 単眼モーションステレオ距離推定方法および単眼モーションステレオ距離推定装置
JP6003673B2 (ja) 3次元位置推定装置、車両制御装置、および3次元位置推定方法
WO2013132951A1 (ja) 距離算出装置及び距離算出方法
JP2010165352A (ja) 多重3次元ワーピングに基づく物体運動検出システムおよび方法とこのようなシステムを備えた車両
US9684823B2 (en) Moving body position estimating device, moving body position estimating method, and non-transitory recording medium
JP2013097675A (ja) 勾配推定装置、勾配推定方法、及び勾配推定プログラム
WO2017038659A1 (ja) 運動検出装置及びそれを用いた三次元形状測定装置
JP2015206798A (ja) 距離算出装置
JP2011141221A (ja) 測位装置及び測位方法
JPWO2017145541A1 (ja) 移動体
US11500090B2 (en) Apparatus and method for obstacle detection
US11645762B2 (en) Obstacle detection
JP5062626B2 (ja) 物体識別装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14898410

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016537649

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15329503

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14898410

Country of ref document: EP

Kind code of ref document: A1