WO2016157666A1 - カメラ姿勢推定装置、運転支援装置、及び、カメラ姿勢推定方法 - Google Patents
カメラ姿勢推定装置、運転支援装置、及び、カメラ姿勢推定方法 Download PDFInfo
- Publication number
- WO2016157666A1 WO2016157666A1 PCT/JP2016/000093 JP2016000093W WO2016157666A1 WO 2016157666 A1 WO2016157666 A1 WO 2016157666A1 JP 2016000093 W JP2016000093 W JP 2016000093W WO 2016157666 A1 WO2016157666 A1 WO 2016157666A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- camera
- moving
- moving image
- inclination
- vanishing point
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 24
- 230000003287 optical effect Effects 0.000 claims abstract description 29
- 238000004364 calculation method Methods 0.000 claims description 30
- 238000001514 detection method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 23
- 238000010586 diagram Methods 0.000 description 13
- 238000007781 pre-processing Methods 0.000 description 11
- 238000005516 engineering process Methods 0.000 description 9
- 239000011295 pitch Substances 0.000 description 9
- 238000004891 communication Methods 0.000 description 4
- 238000003384 imaging method Methods 0.000 description 3
- 239000013598 vector Substances 0.000 description 3
- 238000007792 addition Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012937 correction Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
Definitions
- the present disclosure relates to a camera posture estimation device that estimates an attachment state of a camera attached to a moving body.
- Patent Document 1 discloses a camera calibration device for an in-vehicle camera.
- the camera calibration device disclosed in Patent Document 1 detects two straight lines corresponding to a section line on a road, and determines an intersection of the two detected straight lines as a vanishing point position.
- Patent Document 2 discloses a driving support device.
- the driving support device disclosed in Patent Document 2 processes the image signal output from the imaging unit so as to superimpose and display a driving support display composed of a predetermined graphic on the captured image of the imaging unit mounted on the vehicle.
- the present disclosure provides a camera posture estimation device and the like that can estimate the mounting inclination of the camera attached to the moving body around the optical axis.
- the camera posture estimation apparatus acquires a moving image in which a camera attached to a moving body captures a front or rear of the moving direction while the moving body moves while changing the moving direction. And a detection unit that detects a motion vanishing point in the acquired moving image, and an attachment of the detected motion vanishing point trajectory around the optical axis of the camera using the inclination of the acquired moving image with respect to the horizontal direction. A calculation unit that calculates an estimated value of the inclination.
- the camera posture estimation apparatus can estimate the mounting inclination around the optical axis of the camera attached to the moving body.
- FIG. 1 is an external view of a driving support apparatus according to Embodiment 1.
- FIG. FIG. 2 is a block diagram illustrating a functional configuration of the driving support apparatus according to the first embodiment.
- FIG. 3A is a diagram illustrating a mounting inclination around the optical axis of the camera.
- FIG. 3B is a diagram illustrating the mounting inclination of the camera in the pan direction.
- FIG. 3C is a diagram illustrating the mounting inclination in the tilt direction of the camera.
- FIG. 4 is a diagram for explaining the movement of the motion vanishing point.
- FIG. 5 is a flowchart of the operation (camera posture estimation method) of the camera posture estimation apparatus according to the first embodiment.
- FIG. 5 is a flowchart of the operation (camera posture estimation method) of the camera posture estimation apparatus according to the first embodiment.
- FIG. 6 is a diagram for explaining a method of calculating an estimated value of the mounting inclination around the optical axis of the camera.
- FIG. 7 is a diagram for explaining a method for calculating an estimated value of the attachment tilt in the pan direction of the camera and an estimated value of the attachment tilt in the tilt direction.
- FIG. 1 is an external view of a driving support apparatus according to Embodiment 1.
- FIG. 2 is a block diagram illustrating a functional configuration of the driving support apparatus according to the first embodiment.
- the vehicle is a traveling body that travels on a traveling surface, and is an example of a moving body.
- the camera 20 is also attached to the vehicle to which the driving support device 100 is attached.
- the camera 20 is a so-called rear view camera that captures the rear of the vehicle, and includes a lens, a CMOS image sensor (imaging device), and the like.
- the moving image photographed by the camera 20 is displayed on the display screen (display device 30) of the driving assistance device 100.
- the driving support device 100 includes a camera posture estimation device 10 and a display device 30.
- an arithmetic device 40 is also illustrated as an external device.
- the camera posture estimation device 10 is a device that estimates the attachment posture of the camera 20 to the vehicle.
- the attachment posture includes an attachment inclination ⁇ around the optical axis of the camera 20, an attachment inclination ⁇ in the pan direction, and an attachment inclination ⁇ in the tilt direction.
- 3A to 3C are diagrams for explaining the mounting posture of the camera 20.
- the camera 20 is attached to the rear portion of the vehicle 50 and photographs the rear of the vehicle 50.
- the camera 20 is schematically illustrated.
- the attachment inclination ⁇ around the optical axis J of the camera 20 is, in other words, the attachment inclination in the roll direction, which is the rotation angle (rotational deviation) of the moving image captured by the camera 20.
- a broken line frame (rectangular frame defined by four points of RT, RB, LT, and LB) shown in FIG. 3A schematically shows a shooting range of a moving image shot by the camera 20.
- the mounting inclination ⁇ in the pan direction is the inclination (deviation) in the horizontal direction (left-right direction) of the optical axis J.
- the mounting inclination ⁇ in the tilt direction is the inclination (deviation) of the optical axis J in the vertical direction (vertical direction, vertical direction) of the optical axis J.
- the camera posture estimation device 10 can output estimated values of the mounting inclinations ⁇ , ⁇ , and ⁇ of the camera 20 (hereinafter, also simply referred to as an estimated value of the mounting posture) to the arithmetic device 40.
- the detailed configuration of the camera posture estimation device 10 will be described later.
- the display device 30 acquires the moving image (video signal) output from the camera posture estimation device 10 and displays the acquired moving image. In addition, the display device 30 displays, for the driver of the vehicle 50, a moving image captured by the camera 20 that has been corrected according to the estimated value of the mounting inclination ⁇ around the optical axis J of the camera 20, for example.
- the display device 30 is specifically a liquid crystal display or an organic EL display, but may be a HUD (Head Up Display) or the like.
- the display device 30 may be provided outside the driving support device 100.
- the calculation device 40 acquires the estimated value of the mounting posture of the camera 20 output from the camera posture estimation device 10, and performs calculation processing using the acquired posture information.
- the arithmetic device 40 performs arithmetic processing for generating a moving image (panoramic moving image) in which a moving image captured by the camera 20 and a moving image captured by a camera other than the camera 20 attached to the vehicle 50 are integrated. .
- the moving image captured by each camera is corrected using the posture information of the camera 20 output from the output unit 16.
- the arithmetic device 40 controls the drive unit.
- the control signal may be generated by arithmetic processing using the estimated value of the mounting posture.
- the arithmetic device 40 can calibrate the camera 20 to the reference posture by outputting the generated signal to the drive unit.
- the camera 20 and the arithmetic device 40 may be included in the driving support device 100.
- the camera posture estimation device 10 includes an acquisition unit 11, a preprocessing unit 12, a detection unit 13, a calculation unit 14, a storage unit 15, an output unit 16, and an image processing unit 17.
- the acquisition unit 11 acquires a moving image obtained by photographing the outside of the vehicle 50 while the camera 20 attached to the vehicle 50 is moving. More specifically, the acquisition part 11 acquires the moving image which image
- the pre-processing unit 12 performs image processing for correcting distortion caused by lens characteristics of a moving image taken by the camera 20.
- a moving image obtained from the camera 20 has a distortion amount that increases with distance from the center due to the characteristics of the lens of the camera 20.
- the preprocessing unit 12 corrects such distortion. Note that the preprocessing unit 12 is not an essential component and may be omitted.
- the detecting unit 13 detects a motion vanishing point in the moving image acquired by the acquiring unit 11 and pre-processed by the pre-processing unit 12.
- the motion vanishing point is a point indicating the destination of the stationary object in a moving image obtained by photographing the rear of the moving direction when the vehicle 50 is moving in the front of the moving direction. That is, in the moving image captured when the vehicle 50 is moving forward in the moving direction, the stationary object captured by the camera 20 moves toward the vanishing point according to the movement of the vehicle 50.
- the detection unit 13 calculates a motion vector between frames for each processing unit, and detects an intersection of motion vectors of two processing units (intersection of extension lines of motion vectors) as a motion vanishing point.
- the method for detecting the motion vanishing point is not particularly limited, and any method such as the method described in Patent Document 1 may be used.
- the detected motion vanishing point is used to calculate an estimated value of the mounting inclination ⁇ around the optical axis J of the camera 20.
- FIG. 4 is a diagram for explaining the movement of the motion vanishing point.
- FIG. 4 is a diagram illustrating the position of the vanishing point when the camera 20 is photographing the rear of the vehicle 50 as in the first embodiment, and the arrows in the figure indicate stationary objects in the moving image. The movement direction is schematically shown.
- the movement vanishing point 60 moves to the left side from the straight traveling position ((a) of FIG. 4) ((b) of FIG. 4).
- the vehicle 50 turns to the right, it moves to infinity on the left side of the moving image and does not appear on the moving image ((c) of FIG. 4).
- the movement vanishing point 60 moves to the right side ((d) in FIG. 4) from the straight traveling position ((a) in FIG. 4).
- the moving image moves to infinity on the right side of the moving image and does not appear on the moving image ((e) in FIG. 4).
- the detection unit 13 can also detect the position of the motion vanishing point 60 when the vehicle 50 travels straight. is there.
- the detection unit 13 can detect, for example, the center of the movement range of the motion vanishing point 60 as the position of the motion vanishing point 60 in a straight line. Alternatively, the detection unit 13 may calculate a histogram of the position of the motion vanishing point 60 and detect the center of the histogram as the position of the motion vanishing point 60 during a straight line. In these methods, the detection unit 13 needs to monitor (detect) the position of the motion vanishing point 60 for a sufficiently long time. In addition, when the detection unit 13 can acquire handle information indicating the direction of the handle from the vehicle 50 through a CAN (Controller Area Network), the detection unit 13 uses such handle information to detect a motion vanishing point when going straight ahead. 60 positions can be detected.
- CAN Controller Area Network
- the motion vanishing point 60 detected when traveling straight ahead is used for calculating the estimated value of the mounting tilt ⁇ in the pan direction of the camera 20 and calculating the mounting tilt ⁇ in the tilt direction.
- the calculation unit 14 calculates an estimated value of the mounting inclination ⁇ around the optical axis J of the camera 20 using the inclination of the locus of the motion vanishing point 60 detected by the detection unit 13 with respect to the horizontal direction of the acquired moving image. To do. Specifically, the calculation unit 14 linearly approximates (fitting) the locus of the motion vanishing point 60 detected by the detection unit 13, and uses the inclination of the straight line with respect to the horizontal direction (horizontal axis) of the moving image to attach the attachment ⁇ . The estimated value of is calculated.
- the calculation unit 14 further determines the position of the motion vanishing point 60 when the vehicle 50 is traveling straight ahead based on the deviation from the image center of the corrected moving image in the pan direction of the camera 20.
- An estimated value of the mounting tilt ⁇ and an estimated value of the mounting tilt ⁇ in the tilt direction of the camera 20 are calculated.
- the storage unit 15 is a storage device that stores the estimated values of the mounting posture calculated by the calculating unit 14 (the estimated values of the mounting inclinations ⁇ , ⁇ , and ⁇ ).
- the storage unit 15 is specifically a semiconductor memory, but may be in any form.
- the estimated value of the mounting posture calculated by the calculation unit 14 is not necessarily stored in the storage unit 15.
- the estimated value of the mounting posture of the camera 20 does not change significantly unless the camera 20 is remounted or an external force is not applied to the camera 20. For this reason, the estimated value of the mounting posture does not need to be calculated for each frame, and may be stored in the storage unit 15 and used.
- the output unit 16 reads the calculated estimated value of the mounting posture from the storage unit 15 and outputs it to the image processing unit 17 or an external device (the arithmetic device 40 in the first embodiment).
- the image processing unit 17 corrects the moving image acquired according to the estimated value of the mounting posture calculated by the calculating unit 14 and output from the output unit 16. Specifically, the image processing unit 17 corrects the moving image acquired by the acquiring unit 11 like a moving image shot in the reference posture, and outputs the corrected moving image (video signal) to the display device 30. To do. Note that the image processing unit 17 outputs a moving image corrected according to the estimated value of the mounting inclination ⁇ to the calculating unit 14 in order to calculate the estimated value of the mounting inclination ⁇ and the estimated value of the mounting tilt ⁇ . There is also a case.
- the acquisition unit 11, the preprocessing unit 12, the detection unit 13, the calculation unit 14, the output unit 16, and the image processing unit 17 included in the camera posture estimation device 10 may be realized by a processor or a microcomputer. Alternatively, it may be realized by a dedicated electronic circuit (hardware).
- the acquisition unit 11 is an interface (terminal) to which the connection cable of the camera 20 is connected, but may be in any form.
- the acquisition unit 11 is realized as a terminal of the integrated circuit.
- the acquisition unit 11 is a wired or wireless communication module (communication circuit), and may acquire a moving image by communication.
- components other than the acquisition unit 11 may be realized in any manner.
- FIG. 5 is a flowchart of the operation (camera posture estimation method) of the camera posture estimation apparatus 10.
- the acquisition unit 11 of the camera posture estimation device 10 acquires a moving image captured while the vehicle 20 is moving by the camera 20 attached to the vehicle 50 (S11). Specifically, the acquisition unit 11 acquires a moving image in which the camera 20 attached to the vehicle 50 captures the rear of the moving direction while the vehicle 50 moves while changing the moving direction.
- the moving image acquired by the acquiring unit 11 is preprocessed by the preprocessing unit 12 (S12), and distortion caused by the lens characteristics of the camera 20 is corrected.
- the detecting unit 13 detects a motion vanishing point 60 in the moving image acquired by the acquiring unit 11 and corrected by the preprocessing unit 12 (S13).
- the calculation unit 14 calculates an estimated value of the attachment inclination ⁇ around the optical axis J of the camera 20 from the inclination ⁇ ′ of the detected locus of the motion vanishing point 60 with respect to the horizontal direction of the acquired moving image. Specifically, the calculation unit 14 fits a straight line to the locus of the motion vanishing point 60 detected by the detection unit 13, and calculates the slope ⁇ ′ of the fitted straight line with respect to the horizontal axis of the moving image (S14). Then, the calculation unit 14 calculates an estimated value of the attachment inclination ⁇ using the following equation from the calculated inclination ⁇ ′ (S15).
- ⁇ u and ⁇ v are pixel pitches in the horizontal and vertical directions, respectively.
- Information such as the pixel pitch ⁇ u and the pixel pitch ⁇ v is stored in the storage unit 15, for example.
- the calculation unit 14 uses the detected inclination ⁇ ′ of the locus of the motion vanishing point 60 with respect to the horizontal direction of the acquired moving image as an estimated value of the attachment inclination ⁇ around the optical axis J of the camera 20. Can be calculated.
- FIG. 6 is a diagram for explaining a method of calculating the estimated value of the attachment inclination ⁇ .
- the motion vanishing point 60 moves in accordance with the movement of the vehicle 50.
- the mounting inclination ⁇ of the camera 20 is 0, the motion vanishing point 60 moves parallel to the horizontal axis X of the moving image.
- the attachment inclination ⁇ ⁇ 0, the movement vanishing point 60 moves on a straight line inclined by the attachment inclination ⁇ ′ with respect to the horizontal axis X as indicated by an arrow 61 in FIG.
- the calculation unit 14 performs a calculation based on the above equation using the inclination ⁇ ′ of the detected locus of the motion vanishing point 60 with respect to the horizontal direction (horizontal axis X) of the acquired moving image, thereby obtaining the camera.
- An estimated value of the mounting inclination ⁇ around 20 optical axes J can be calculated.
- the detection unit 13 detects the position of the motion vanishing point 60 when the vehicle 50 goes straight in the corrected moving image (S17). As described above, the detection unit 13 may detect the center of the movement range of the motion vanishing point 60 as the position of the motion vanishing point 60 in a straight line, or may calculate a histogram of the position of the motion vanishing point 60 and May be detected as the position of the motion vanishing point 60 in a straight line. Moreover, the detection part 13 may detect the position of the movement vanishing point 60 at the time of going straight using handle
- the calculation unit 14 estimates the attachment tilt ⁇ in the pan direction of the camera 20 based on the shift of the position of the motion vanishing point 60 when the vehicle 50 goes straight from the image center of the corrected moving image. And the estimated value of the mounting inclination ⁇ in the tilt direction of the camera 20 is calculated.
- FIG. 7 is a diagram for explaining a method for calculating the estimated value of the mounting inclination ⁇ and the estimated value of the mounting inclination ⁇ .
- the calculation unit 14 calculates a deviation (distance) from the image center of the moving image (intersection of the horizontal axis X and the vertical axis Y in FIG. 7) at the position of the motion vanishing point 60 when going straight. Calculate (S18).
- This deviation is represented by the number of pixels, for example.
- the deviation in the direction of the horizontal axis X is u [pixel]
- the deviation in the direction of the vertical axis Y is v [pixel].
- the image center means an intersection between the optical axis of the camera 20 and the image plane in the image coordinate system, and may be different from the physical center on the moving image.
- the calculation part 14 calculates the estimated value of the attachment inclination (phi) and the estimated value of the attachment inclination (psi) based on the shift
- the information on the focal length f is stored in the storage unit 15, for example.
- the calculation of the estimated value of the mounting posture of the camera 20 as described above is preferably performed using a moving image taken when the traveling surface on which the vehicle 50 travels is substantially flat.
- the camera posture estimation device 10 of the driving assistance device 100 has a rearward moving direction while the camera 20 attached to the vehicle 50 moves while changing the moving direction.
- An acquisition unit 11 that acquires a moving image obtained by photographing (or in front), a detection unit 13 that detects a motion vanishing point 60 in the acquired moving image, and an acquired moving image of the locus of the detected motion vanishing point 60
- a calculation unit 14 that calculates an estimated value of the mounting inclination ⁇ around the optical axis J of the camera 20 using the inclination of the image with respect to the horizontal direction.
- the camera posture estimation device 10 can estimate the attachment inclination ⁇ around the optical axis J of the camera 20 attached to the vehicle 50.
- the camera posture estimation device 10 further corrects the moving image acquired according to the inclination ⁇ ′ of the detected moving vanishing point 60 with respect to the horizontal direction of the acquired moving image. 17.
- the detection unit 13 detects the position of the motion vanishing point 60 when the vehicle 50 goes straight in the corrected moving image.
- the calculation unit 14 calculates the estimated value of the mounting inclination ⁇ in the pan direction of the camera 20 based on the deviation of the position of the motion vanishing point 60 when the vehicle 50 goes straight from the image center of the corrected moving image, and the camera An estimated value of the mounting inclination ⁇ in the tilt direction of 20 is calculated.
- the camera posture estimation apparatus 10 takes into account the mounting inclination ⁇ around the optical axis J, and more accurately calculates the estimated value of the mounting inclination ⁇ in the pan direction and the estimated value of the mounting tilt ⁇ in the tilt direction. Can be calculated.
- the camera posture estimation device 10 further includes an output unit 16 that outputs an estimated value of the calculated mounting inclination ⁇ around the optical axis J.
- the camera posture estimation device 10 can output the calculated mounting inclination ⁇ around the optical axis J to an external device such as the arithmetic device 40.
- the detection unit 13 detects the position of the motion vanishing point 60 when moving straight in the moving image corrected by the image processing unit 17, thereby estimating the attachment inclination ⁇ and the attachment inclination ⁇ .
- the estimated value of was calculated.
- the correction of the moving image by the image processing unit 17 may be omitted. That is, step S16 is omitted in the flowchart of FIG. 5, and the processing after step S17 may be performed using a moving image before correction (moving image acquired by the acquiring unit 11).
- step S17 the detection unit 13 detects the position of the motion vanishing point 60 when the vehicle 50 goes straight in the moving image acquired by the acquisition unit 11 and preprocessed by the preprocessing unit 12.
- step S18 the calculation unit 14 calculates the deviation of the position of the motion vanishing point 60 when the vehicle 50 goes straight from the image center of the acquired moving image.
- step S19 the calculation unit 14 estimates the attachment tilt ⁇ in the pan direction of the camera 20 based on the shift calculated in step S18 and the tilt ⁇ ′ calculated in step S14, and An estimated value of the mounting tilt ⁇ in the tilt direction of the camera 20 is calculated.
- step S18 the deviation in the direction of the horizontal axis X is calculated as u [pixel] and the deviation in the direction of the vertical axis Y is calculated as v [pixel].
- Coordinates (u ′, v ′) obtained by rotating the coordinates (u, v) by ⁇ ′ in order to correct the displacement of the mounting inclination ⁇ are expressed by the following equations.
- the estimated value of the attachment inclination ⁇ and the estimated value of the attachment inclination ⁇ are calculated by the following equations.
- ⁇ u is the pixel pitch in the horizontal direction
- ⁇ v is the pixel pitch in the vertical direction
- f is the focal length of the camera 20.
- the camera posture estimation device 10 does not correct the moving image by the image processing unit 17 and considers the inclination ⁇ ′, and the estimated value of the attachment inclination ⁇ and the estimated value of the attachment inclination ⁇ . Can be calculated.
- the first embodiment has been described as an example of the technique disclosed in the present application.
- the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed.
- the technology in the present disclosure may be realized as other devices such as a dedicated device for estimating the posture of the camera.
- the camera is attached to the vehicle, but may be attached to a moving body other than the vehicle.
- it may be attached to a moving body such as a robot or an airplane.
- the camera mounting position is not particularly limited.
- the camera images the rear of the moving direction of the vehicle, but may image the front of the moving direction of the vehicle.
- a stationary object shot by the camera moves with the movement vanishing point as a starting point according to the movement of the vehicle.
- a comprehensive or specific aspect of the technology in the present disclosure may be realized by a recording medium such as a system, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM.
- the technology in the present disclosure may be realized by any combination of a system, a method, an integrated circuit, a computer program, or a recording medium.
- the technology in the present disclosure may be realized as a camera posture estimation method executed by the camera posture estimation device. Further, it may be realized as a program for operating an information communication terminal such as a personal computer or a smart phone as a camera posture estimation device.
- each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
- Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
- Each component may be a circuit. These circuits may constitute one circuit as a whole, or may be separate circuits. Each of these circuits may be a general-purpose circuit or a dedicated circuit.
- another processing unit may execute processing performed by a specific processing unit.
- the order of the plurality of processes may be changed, and the plurality of processes may be executed in parallel.
- the technology in the present disclosure is useful as a camera posture estimation device that can estimate the mounting inclination of the camera attached to the moving body around the optical axis.
- the technology in the present disclosure is applicable to a driving support device that supports a driver who drives a moving body.
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Studio Devices (AREA)
Abstract
カメラ姿勢推定装置(10)は、車両(50)に取り付けられたカメラ(20)が、車両(50)が移動方向を変えながら移動している間に移動方向の前方または後方を撮影した動画像を取得する取得部(11)と、取得された動画像における動き消失点を検出する検出部(13)と、検出された動き消失点の軌跡の、取得された動画像の水平方向に対する傾きを用いて、カメラ(20)の光軸回りの取り付け傾きの推定値を算出する算出部(14)とを備える。
Description
本開示は、移動体に取り付けられたカメラの取り付け状態を推定するカメラ姿勢推定装置等に関する。
特許文献1は、車載カメラのカメラキャリブレーション装置を開示する。特許文献1に開示されたカメラキャリブレーション装置は、道路における区間線に対応する2本の直線を検出し、検出された2本の直線の交点を消失点位置として決定する。
また、特許文献2は、運転支援装置を開示する。特許文献2に開示された運転支援装置は、車両に搭載された撮像手段の撮像画像に所定のグラフィックからなる運転支援表示を重畳表示するように撮像手段から出力された画像信号を処理する。
本開示は、移動体に取り付けられたカメラの、光軸回りの取り付け傾きを推定することができるカメラ姿勢推定装置等を提供する。
本開示におけるカメラ姿勢推定装置は、移動体に取り付けられたカメラが、当該移動体が移動方向を変えながら移動している間に当該移動方向の前方または後方を撮影した動画像を取得する取得部と、取得された動画像における動き消失点を検出する検出部と、検出された動き消失点の軌跡の、取得された動画像の水平方向に対する傾きを用いて、前記カメラの光軸回りの取り付け傾きの推定値を算出する算出部とを備える。
本開示におけるカメラ姿勢推定装置は、移動体に取り付けられたカメラの、光軸回りの取り付け傾きを推定することができる。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
(実施の形態1)
[運転支援装置の構成]
まず、実施の形態1に係る運転支援装置について説明する。図1は、実施の形態1に係る運転支援装置の外観図である。図2は、実施の形態1に係る運転支援装置の機能構成を示すブロック図である。
[運転支援装置の構成]
まず、実施の形態1に係る運転支援装置について説明する。図1は、実施の形態1に係る運転支援装置の外観図である。図2は、実施の形態1に係る運転支援装置の機能構成を示すブロック図である。
図1及び図2に示される運転支援装置100は、車両の車室内に取り付けられる装置であって、カーナビゲーション機能などを有する装置である。なお、車両は、走行面上を走行する走行体であり、移動体の一例である。
ここで、運転支援装置100が取り付けられた車両には、カメラ20も取り付けられている。カメラ20は、車両の後方を撮影する、いわゆるリアビューカメラであって、レンズ及びCMOSイメージセンサ(撮像素子)などからなる。カメラ20によって撮影された動画像は、運転支援装置100の表示画面(表示装置30)に表示される。
図2に示されるように、運転支援装置100は、カメラ姿勢推定装置10と、表示装置30とを備える。また、図2では、外部装置として、演算装置40も図示されている。
カメラ姿勢推定装置10は、カメラ20の車両への取り付け姿勢を推定する装置である。ここで、取り付け姿勢には、カメラ20の光軸回りの取り付け傾きθと、パン方向の取り付け傾きφと、チルト方向の取り付け傾きψとが含まれる。図3A~図3Cは、カメラ20の取り付け姿勢を説明するための図である。
図3A~図3Cに示されるように、実施の形態1では、カメラ20は、車両50の後部に取り付けられ、車両50の後方を撮影する。なお、図3A~図3Cにおいては、カメラ20は、模式的に図示されている。
図3Aに示されるように、カメラ20の光軸J回りの取り付け傾きθは、言い換えれば、ロール方向の取り付け傾きであって、カメラ20が撮影する動画像の回転角度(回転ずれ)である。図3Aに示される破線枠(RT、RB、LT、及びLBの4点により規定される矩形の枠)は、カメラ20が撮影する動画像の撮影範囲を模式的に示したものである。
また、図3Bに示されるように、パン方向の取り付け傾きφは、光軸Jの水平方向(左右方向)における傾き(ずれ)である。また、図3Cに示されるように、チルト方向の取り付け傾きψは、光軸Jの垂直方向(鉛直方向、上下方向)における光軸Jの傾き(ずれ)である。
カメラ姿勢推定装置10は、このような、取り付け傾きθと、パン方向の取り付け傾きφと、チルト方向の取り付け傾きψを推定し、推定結果(推定値)に基づいて、取得した動画像を、基準姿勢(実施の形態1では、θ=φ=ψ=0の姿勢)で撮影された動画像のように補正し、表示装置30に表示させることができる。また、カメラ姿勢推定装置10は、カメラ20の取り付け傾きθ、φ、及びψの推定値(以下、単に、取り付け姿勢の推定値とも記載する)を演算装置40に出力することもできる。カメラ姿勢推定装置10の詳細な構成については後述する。
表示装置30は、カメラ姿勢推定装置10から出力される動画像(映像信号)を取得し、取得した動画像を表示する。また、表示装置30は、例えば、カメラ20の光軸J回りの取り付け傾きθの推定値に応じて補正された、カメラ20が撮影した動画像を、車両50の運転者のために表示する。表示装置30は、具体的には、液晶ディスプレイまたは有機ELディスプレイなどであるが、HUD(Head Up Display)などであってもよい。なお、表示装置30は、運転支援装置100の外部に設けられてもよい。
演算装置40は、カメラ姿勢推定装置10から出力されるカメラ20の取り付け姿勢の推定値を取得し、取得した姿勢情報を用いて演算処理を行う。
例えば、演算装置40は、カメラ20が撮影した動画像と、車両50に取り付けられたカメラ20以外のカメラが撮影した動画像とを統合した動画像(パノラマ動画像)を生成する演算処理を行う。このような演算処理においては、出力部16から出力されるカメラ20の姿勢情報を用いて各カメラが撮影した動画像の補正が行われる。
また、カメラ20が、カメラ20の姿勢を変更するための駆動部(例えば、アクチュエータなど)を介して車両50に取り付けられている場合には、演算装置40は、上記駆動部を制御するための制御信号を、取り付け姿勢の推定値を用いた演算処理により生成してもよい。演算装置40は、生成した信号を駆動部に出力することによってカメラ20を基準姿勢に校正(キャリブレーション)することができる。
なお、カメラ20及び演算装置40は、運転支援装置100に含まれてもよい。
[カメラ姿勢推定装置の構成]
次に、カメラ姿勢推定装置10の機能構成について、図2を参照しながら説明する。カメラ姿勢推定装置10は、取得部11と、前処理部12と、検出部13と、算出部14と、記憶部15と、出力部16と、画像処理部17とを備える。
次に、カメラ姿勢推定装置10の機能構成について、図2を参照しながら説明する。カメラ姿勢推定装置10は、取得部11と、前処理部12と、検出部13と、算出部14と、記憶部15と、出力部16と、画像処理部17とを備える。
取得部11は、車両50に取り付けられたカメラ20が車両50の移動中に車両50の外側を撮影した動画像を取得する。取得部11は、より具体的には、カメラ20が、車両50が移動方向を変えながら移動している間に移動方向の後方を撮影した動画像を取得する。なお、車両50が移動方向を変えながら移動する、とは、具体的には、車両50がカーブに沿って移動すること等を意味する。
前処理部12は、カメラ20が撮影した動画像の、レンズの特性に起因する歪みを補正する画像処理を行う。一般に、カメラ20から得られる動画像は、カメラ20のレンズの特性により、中心から離れるほど歪み量が大きくなる。前処理部12は、このような歪みを補正する。なお、前処理部12は、必須の構成要素ではなく、省略されてもよい。
検出部13は、取得部11によって取得された動画像であって、前処理部12によって前処理された動画像における動き消失点を検出する。ここで、動き消失点とは、車両50が移動方向の前方に移動しているときに移動方向の後方を撮影することによって得られる動画像中において、静止物の移動先を示す点である。つまり、車両50が移動方向の前方に移動しているときに撮影された動画像中において、カメラ20が撮影した静止物は、車両50の移動に応じて動き消失点に向かって移動する。
検出部13は、具体的には、例えば、フレーム間の動きベクトルを処理単位ごとに算出し、2つの処理単位の動きベクトルの交点(動きベクトルの延長線の交点)を動き消失点として検出する。なお、動き消失点の検出方法は、特に限定されるものではなく、特許文献1に記載された方法など、どのような方法が用いられてもよい。検出された動き消失点は、カメラ20の光軸J回りの取り付け傾きθの推定値の算出に用いられる。
なお、動き消失点は、車両50の移動に応じて、動画像上を移動する。図4は、動き消失点の移動を説明するための図である。なお、図4は、実施の形態1のようにカメラ20が車両50の後方を撮影しているときの動き消失点の位置を示す図であり、図中の矢印は、動画像内の静止物の移動方向を模式的に示すものである。
図4に示されるように、動き消失点60は、車両50が右方向にカーブする場合には、直進時の位置(図4の(a))から左側に移動し(図4の(b))、車両50が右折する場合には動画像の左側の無限遠に移動し、動画像上には現れなくなる(図4の(c))。同様に、動き消失点60は、車両50が左方向にカーブする場合には、直進時の位置(図4の(a))から右側に移動し(図4の(d))、車両50が左折する場合には動画像の右側の無限遠に移動し、動画像上には現れなくなる(図4の(e))。
このように、動き消失点60は、車両50の移動に応じて、動画像上を移動するが、検出部13は、車両50の直進時の動き消失点60の位置を検出することも可能である。
検出部13は、例えば、動き消失点60の移動範囲の中央を直線時の動き消失点60の位置として検出することができる。また、検出部13は、動き消失点60の位置のヒストグラムを算出し、ヒストグラムの中央を直線時の動き消失点60の位置として検出してもよい。なお、これらの手法においては、検出部13は、十分に長い時間、動き消失点60の位置をモニタ(検出)する必要がある。また、検出部13は、CAN(Controller Area Network)を通じて車両50からハンドルの向きを示すハンドル情報を取得できる場合には、検出部13は、このようなハンドル情報を用いて直進時の動き消失点60の位置を検出することができる。
このようにして検出された直進時の動き消失点60は、カメラ20のパン方向の取り付け傾きφの推定値の算出、及び、チルト方向の取り付け傾きψの算出に用いられる。
算出部14は、検出部13によって検出された動き消失点60の軌跡の、取得された動画像の水平方向に対する傾きを用いて、カメラ20の光軸J回りの取り付け傾きθの推定値を算出する。算出部14は、具体的には、検出部13によって検出された動き消失点60の軌跡を直線近似(フィッティング)し、動画像の水平方向(水平軸)に対する直線の傾きを用いて取り付け傾きθの推定値を算出する。
また、実施の形態1では、算出部14は、さらに、車両50の直進時の動き消失点60の位置の、補正された動画像の画像中心からのずれに基づいて、カメラ20のパン方向の取り付け傾きφの推定値、及び、カメラ20のチルト方向の取り付け傾きψの推定値を算出する。
記憶部15は、算出部14によって算出された取り付け姿勢の推定値(取り付け傾きθ、φ、及びψの推定値)が記憶される記憶装置である。記憶部15は、具体的には、半導体メモリであるが、どのような態様であってもよい。
なお、算出部14によって算出された取り付け姿勢の推定値は、必ずしも記憶部15に記憶される必要はない。しかしながら、カメラ20の取り付け姿勢の推定値は、通常、カメラ20が再度取り付けなおされたり、カメラ20に外力が加わったりしなければ大きく変わることはない。このため、取り付け姿勢の推定値は、フレームごとに算出される必要はなく、記憶部15に記憶されて使用されるとよい。
出力部16は、算出された取り付け姿勢の推定値を記憶部15から読み出し、画像処理部17または外部装置(実施の形態1では、演算装置40)に出力する。
画像処理部17は、算出部14によって算出され、かつ、出力部16から出力された取り付け姿勢の推定値に応じて取得された動画像を補正する。画像処理部17は、具体的には、取得部11が取得した動画像を、基準姿勢で撮影された動画像のように補正し、補正後の動画像(映像信号)を表示装置30に出力する。なお、画像処理部17は、取り付け傾きφの推定値の算出、及び、取り付け傾きψの推定値の算出のために、取り付け傾きθの推定値に応じて補正した動画像を算出部14に出力する場合もある。
なお、カメラ姿勢推定装置10を構成する取得部11、前処理部12、検出部13、算出部14、出力部16、及び、画像処理部17は、プロセッサまたはマイクロコンピュータによって実現されてもよいし、専用の電子回路(ハードウェア)によって実現されてもよい。
例えば、取得部11は、カメラ20の接続ケーブルが接続されるインターフェース(端子)などであるが、どのような態様であってもよい。カメラ姿勢推定装置10が、一つの集積回路として実現されるような場合は、取得部11は、集積回路の端子として実現される。また、取得部11は、有線または無線の通信モジュール(通信回路)であって、通信により動画像を取得してもよい。
同様に、取得部11以外の構成要素についても、どのような態様で実現されてもよい。
[カメラ姿勢推定装置の動作]
以下、カメラ姿勢推定装置10の動作について説明する。図5は、カメラ姿勢推定装置10の動作(カメラ姿勢推定方法)のフローチャートである。
以下、カメラ姿勢推定装置10の動作について説明する。図5は、カメラ姿勢推定装置10の動作(カメラ姿勢推定方法)のフローチャートである。
まず、取り付け傾きθの推定値の算出(図5のステップS11~ステップS15)について説明する。
カメラ姿勢推定装置10の取得部11は、車両50に取り付けられたカメラ20が車両50の移動中に撮影した動画像を取得する(S11)。具体的には、取得部11は、車両50に取り付けられたカメラ20が、車両50が移動方向を変えながら移動している間に移動方向の後方を撮影した動画像を取得する。取得部11によって取得された動画像は、前処理部12によって前処理され(S12)、カメラ20のレンズの特性に起因する歪みが補正される。
検出部13は、取得部11によって取得された動画像であって、前処理部12によって補正された動画像における動き消失点60を検出する(S13)。
続いて、算出部14は、検出された動き消失点60の軌跡の、取得された動画像の水平方向に対する傾きθ’からカメラ20の光軸J回りの取り付け傾きθの推定値を算出する。具体的には、算出部14は、検出部13によって検出された動き消失点60の軌跡に直線をフィッティングし、動画像の水平軸に対するフィッティングされた直線の傾きθ’を算出する(S14)。そして、算出部14は、算出された傾きθ’から、以下の式を用いて取り付け傾きθの推定値を算出する(S15)。
ここで、δu、δvはそれぞれ水平、垂直方向の画素ピッチである。なお、画素ピッチδu、画素ピッチδvなどの情報は、例えば、記憶部15に記憶されている。
水平方向の画素ピッチと垂直方向の画素ピッチとが等しい(δu=δv)場合には、θ=θ’となる。つまり、この場合、算出部14は、検出された動き消失点60の軌跡の、取得された動画像の水平方向に対する傾きθ’を、カメラ20の光軸J回りの取り付け傾きθの推定値として算出することができる。
以下、このような取り付け傾きθの推定値の算出方法について、図6を用いて説明する。図6は、取り付け傾きθの推定値の算出方法を説明するための図である。
上述のように、動き消失点60は、車両50の移動に応じて移動する。ここで、カメラ20の取り付け傾きθ=0の場合、動き消失点60は、動画像の水平軸Xに平行に移動する。しかしながら、取り付け傾きθ≠0の場合、図6の矢印61に示されるように、動き消失点60は、水平軸Xに対して取り付け傾きθ’だけ傾いた直線上を移動する。したがって、算出部14は、検出された動き消失点60の軌跡の、取得された動画像の水平方向(水平軸X)に対する傾きθ’を用いた上記の式に基づく演算を行うことにより、カメラ20の光軸J回りの取り付け傾きθの推定値を算出することができる。
次に、取り付け傾きφの推定値、及び、取り付け傾きψの推定値の算出(図5のステップS16~ステップS19)について説明する。
カメラ姿勢推定装置10の画像処理部17は、ステップS14において算出された傾きθ’に応じて取得された動画像を補正する(S16)。画像処理部17は、具体的には、取得部11が取得し、かつ、前処理部12が前処理した動画像を回転補正することにより、θ=0の姿勢で撮影された動画像のように補正する。
次に、検出部13は、補正された動画像における、車両50の直進時の動き消失点60の位置を検出する(S17)。上述のように、検出部13は、動き消失点60の移動範囲の中央を直線時の動き消失点60の位置として検出してもよいし、動き消失点60の位置のヒストグラムを算出し、ヒストグラムの中央を直線時の動き消失点60の位置として検出してもよい。また、検出部13は、ハンドル情報を用いて直進時の動き消失点60の位置を検出してもよい。
続いて、算出部14は、車両50の直進時の動き消失点60の位置の、補正された動画像の画像中心からのずれに基づいて、カメラ20のパン方向の取り付け傾きφの推定値、及び、カメラ20のチルト方向の取り付け傾きψの推定値を算出する。図7は、取り付け傾きφの推定値、及び、取り付け傾きψの推定値の算出方法を説明するための図である。
図7に示されるように、算出部14は、直進時の動き消失点60の位置の動画像の画像中心(図7の水平軸Xと垂直軸Yとの交点)からのずれ(距離)を算出する(S18)。このずれは、例えば、画素数で表される。図7の例では、水平軸Xの方向におけるずれは、u[pixel]、垂直軸Yの方向におけるずれは、v[pixel]である。
なお、画像中心(Image Center)とは、画像座標系においてカメラ20の光軸と画像面との交点を意味し、動画像上の物理的な中心とは異なる場合がある。
そして、算出部14は、ステップS18において算出されたずれに基づいて、取り付け傾きφの推定値、及び、取り付け傾きψの推定値を算出する(S19)。例えば、水平方向の画素ピッチ(1pixelあたりの画素幅)をδu、垂直方向の画素ピッチをδv、カメラ20の焦点距離をfとすると、取り付け傾きφの推定値、及び、取り付け傾きψの推定値は、以下の式で算出される。なお、焦点距離fの情報は、例えば、記憶部15に記憶されている。
なお、上述したような、カメラ20の取り付け姿勢の推定値の算出は、車両50が走行する走行面が略平坦であるときに撮影された動画像を用いて行われることが望ましい。
[効果等]
従来、カメラ20の光軸J回りの取り付け傾きθは、ユーザによって装置に手動入力される場合が多く、取り付け傾きθを推定する方法については検討の余地があった。
従来、カメラ20の光軸J回りの取り付け傾きθは、ユーザによって装置に手動入力される場合が多く、取り付け傾きθを推定する方法については検討の余地があった。
これに対し、実施の形態1に係る運転支援装置100のカメラ姿勢推定装置10は、車両50に取り付けられたカメラ20が、車両50が移動方向を変えながら移動している間に移動方向の後方(または前方)を撮影した動画像を取得する取得部11と、取得された動画像における動き消失点60を検出する検出部13と、検出された動き消失点60の軌跡の、取得された動画像の水平方向に対する傾きを用いて、カメラ20の光軸J回りの取り付け傾きθの推定値を算出する算出部14とを備える。
このような構成により、カメラ姿勢推定装置10は、車両50に取り付けられたカメラ20の、光軸J回りの取り付け傾きθを推定することができる。
また、従来、カメラ20の光軸J回りの取り付け傾きθがあることによって、取り付け傾きφの推定値、及び、カメラ20のチルト方向の取り付け傾きψの推定値に誤差が生じる場合があった。
これに対し、カメラ姿勢推定装置10は、さらに、検出された動き消失点60の軌跡の、取得された動画像の水平方向に対する傾きθ’に応じて取得された動画像を補正する画像処理部17を備える。検出部13は、補正された動画像における車両50の直進時の動き消失点60の位置を検出する。算出部14は、車両50の直進時の動き消失点60の位置の、補正された動画像の画像中心からのずれに基づいて、カメラ20のパン方向の取り付け傾きφの推定値、及び、カメラ20のチルト方向の取り付け傾きψの推定値を算出する。
このような構成により、カメラ姿勢推定装置10は、光軸J回りの取り付け傾きθを考慮して、パン方向の取り付け傾きφの推定値、及び、チルト方向の取り付け傾きψの推定値をより正確に算出することができる。
また、実施の形態1においては、カメラ姿勢推定装置10は、さらに、算出された光軸J回りの取り付け傾きθの推定値を出力する出力部16を備える。
これにより、カメラ姿勢推定装置10は、算出された光軸J回りの取り付け傾きθを演算装置40などの外部装置に出力することができる。
[変形例]
上記実施の形態1では、検出部13は、画像処理部17によって補正された動画像における直進時の動き消失点60の位置を検出することにより、取り付け傾きφの推定値、及び、取り付け傾きψの推定値を算出した。しかしながら、画像処理部17による動画像の補正は、省略されてもよい。つまり、図5のフローチャートにおいてステップS16は省略され、ステップS17以降の処理は、補正前の動画像(取得部11によって取得された動画像)を用いて行われてもよい。
上記実施の形態1では、検出部13は、画像処理部17によって補正された動画像における直進時の動き消失点60の位置を検出することにより、取り付け傾きφの推定値、及び、取り付け傾きψの推定値を算出した。しかしながら、画像処理部17による動画像の補正は、省略されてもよい。つまり、図5のフローチャートにおいてステップS16は省略され、ステップS17以降の処理は、補正前の動画像(取得部11によって取得された動画像)を用いて行われてもよい。
この場合、ステップS17において、検出部13は、取得部11によって取得され、かつ、前処理部12によって前処理された動画像における車両50の直進時の動き消失点60の位置を検出する。
ステップS18において、算出部14は、車両50の直進時の動き消失点60の位置の、取得された動画像の画像中心からのずれを算出する。そして、ステップS19においては、算出部14は、ステップS18において算出されたずれと、ステップS14において算出された傾きθ’とに基づいて、カメラ20のパン方向の取り付け傾きφの推定値、及び、カメラ20のチルト方向の取り付け傾きψの推定値を算出する。
ここで、ステップS18において、水平軸Xの方向におけるずれが、u[pixel]、垂直軸Yの方向におけるずれが、v[pixel]であると算出されたとする。取り付け傾きθのずれを補正するために、座標(u,v)を-θ’だけ回転させた座標(u´,v´)は、以下の式で表される。
そうすると、取り付け傾きφの推定値、及び、取り付け傾きψの推定値は、以下の式で算出される。なお、実施の形態1と同様に、δuは、水平方向の画素ピッチであり、δvは、垂直方向の画素ピッチであり、fは、カメラ20の焦点距離である。
以上説明したように、カメラ姿勢推定装置10は、画像処理部17による動画像の補正を行わずに、傾きθ’を考慮して、取り付け傾きφの推定値、及び、取り付け傾きψの推定値を算出することができる。
(他の実施の形態)
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
以上のように、本出願において開示する技術の例示として、実施の形態1を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
そこで、以下、他の実施の形態をまとめて説明する。
実施の形態では、本開示における技術を運転支援装置に適用する例について説明した。しかしながら、本開示における技術は、例えば、カメラの姿勢を推定するための専用装置など、その他の装置として実現されてもよい。
また、実施の形態では、カメラは、車両に取り付けられたが、車両以外の移動体に取り付けられてもよい。例えば、ロボットまたは飛行機などの移動体に取り付けられてもよい。カメラの取り付け位置についても特に限定されるものではない。
また、実施の形態では、カメラは、車両の移動方向の後方を撮影したが、車両の移動方向の前方を撮影してもよい。この場合、車両が移動方向の前方に移動しているときに撮影された動画像中において、カメラが撮影した静止物は、車両の移動に応じて動き消失点を起点として移動する。
また、本開示における技術の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なCD-ROMなどの記録媒体で実現されてもよい。また、本開示における技術は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
例えば、本開示における技術は、カメラ姿勢推定装置が実行する、カメラ姿勢推定方法として実現されてもよい。また、パーソナルコンピュータまたはスマートホンなどの情報通信端末をカメラ姿勢推定装置として動作させるためのプログラムとして実現されてもよい。
なお、実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPUまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、各構成要素は、回路でもよい。これらの回路は、全体として1つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
例えば、各実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
本開示における技術は、移動体に取り付けられたカメラの、光軸回りの取り付け傾きを推定することができるカメラ姿勢推定装置として有用である。本開示における技術は、具体的には、移動体を運転する運転者を支援する運転支援装置などに適用可能である。
10 カメラ姿勢推定装置
11 取得部
12 前処理部
13 検出部
14 算出部
15 記憶部
16 出力部
17 画像処理部
20 カメラ
30 表示装置
40 演算装置
50 車両
60 動き消失点
100 運転支援装置
11 取得部
12 前処理部
13 検出部
14 算出部
15 記憶部
16 出力部
17 画像処理部
20 カメラ
30 表示装置
40 演算装置
50 車両
60 動き消失点
100 運転支援装置
Claims (7)
- 移動体に取り付けられたカメラが、当該移動体が移動方向を変えながら移動している間に当該移動方向の前方または後方を撮影した動画像を取得する取得部と、
取得された動画像における動き消失点を検出する検出部と、
検出された動き消失点の軌跡の、取得された動画像の水平方向に対する傾きを用いて、前記カメラの光軸回りの取り付け傾きの推定値を算出する算出部とを備える
カメラ姿勢推定装置。 - さらに、検出された動き消失点の軌跡の、取得された動画像の水平方向に対する傾きに応じて取得された動画像を補正する画像処理部を備え、
前記検出部は、さらに、補正された動画像における前記移動体の直進時の動き消失点の位置を検出し、
前記算出部は、さらに、前記移動体の直進時の動き消失点の位置の、補正された動画像の画像中心からのずれに基づいて、前記カメラのパン方向の取り付け傾きの推定値、及び、前記カメラのチルト方向の取り付け傾きの推定値を算出する
請求項1に記載のカメラ姿勢推定装置。 - 前記検出部は、さらに、取得された動画像における前記移動体の直進時の動き消失点の位置を検出し、
前記算出部は、さらに、前記移動体の直進時の動き消失点の位置の、取得された動画像の画像中心からのずれと、検出された動き消失点の軌跡の、取得された動画像の水平方向に対する傾きとに基づいて、前記カメラのパン方向の取り付け傾きの推定値、及び、前記カメラのチルト方向の取り付け傾きの推定値を算出する
請求項1に記載のカメラ姿勢推定装置。 - さらに、算出された前記光軸回りの取り付け傾きの推定値を出力する出力部を備える
請求項1~3のいずれか1項に記載のカメラ姿勢推定装置。 - 前記カメラは、前記移動方向の後方を撮影し、
前記移動体が前記移動方向の前方に移動しているときに撮影された動画像中において、前記カメラが撮影した静止物は、前記移動体の移動に応じて前記動き消失点に向かって移動する
請求項1~4のいずれか1項に記載のカメラ姿勢推定装置。 - 請求項1~5のいずれか1項に記載のカメラ姿勢推定装置と、
検出された動き消失点の軌跡の、取得された動画像の水平方向に対する傾きに応じて補正された、前記カメラが撮影した動画像を、前記移動体の運転者のために表示する表示装置とを備える
運転支援装置。 - 移動体に取り付けられたカメラが、当該移動体が移動方向を変えながら移動している間に当該移動方向の前方または後方を撮影した動画像を取得し、
取得された動画像における動き消失点を検出し、
検出された動き消失点の軌跡の、取得された動画像の水平方向に対する傾きを用いて、前記カメラの光軸回りの取り付け傾きの推定値を算出する
カメラ姿勢推定方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015067537 | 2015-03-27 | ||
JP2015-067537 | 2015-03-27 |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2016157666A1 true WO2016157666A1 (ja) | 2016-10-06 |
Family
ID=57005455
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2016/000093 WO2016157666A1 (ja) | 2015-03-27 | 2016-01-08 | カメラ姿勢推定装置、運転支援装置、及び、カメラ姿勢推定方法 |
Country Status (1)
Country | Link |
---|---|
WO (1) | WO2016157666A1 (ja) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111210482A (zh) * | 2020-02-24 | 2020-05-29 | 高新兴科技集团股份有限公司 | 摄像机视频图像实时纠偏方法、计算机存储介质及设备 |
CN113160322A (zh) * | 2021-03-17 | 2021-07-23 | 地平线(上海)人工智能技术有限公司 | 摄像装置标定方法和设备、介质以及电子设备 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002259995A (ja) * | 2001-03-06 | 2002-09-13 | Nissan Motor Co Ltd | 位置検出装置 |
JP2007034989A (ja) * | 2005-07-29 | 2007-02-08 | Nissan Motor Co Ltd | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 |
WO2013150794A1 (ja) * | 2012-04-04 | 2013-10-10 | 京セラ株式会社 | 較正処理装置、カメラ装置、カメラシステム、およびカメラ較正方法 |
WO2014045344A1 (ja) * | 2012-09-18 | 2014-03-27 | トヨタ自動車株式会社 | 車載カメラのfoe設定装置及びfoe設定方法 |
-
2016
- 2016-01-08 WO PCT/JP2016/000093 patent/WO2016157666A1/ja active Application Filing
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2002259995A (ja) * | 2001-03-06 | 2002-09-13 | Nissan Motor Co Ltd | 位置検出装置 |
JP2007034989A (ja) * | 2005-07-29 | 2007-02-08 | Nissan Motor Co Ltd | 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置 |
WO2013150794A1 (ja) * | 2012-04-04 | 2013-10-10 | 京セラ株式会社 | 較正処理装置、カメラ装置、カメラシステム、およびカメラ較正方法 |
WO2014045344A1 (ja) * | 2012-09-18 | 2014-03-27 | トヨタ自動車株式会社 | 車載カメラのfoe設定装置及びfoe設定方法 |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111210482A (zh) * | 2020-02-24 | 2020-05-29 | 高新兴科技集团股份有限公司 | 摄像机视频图像实时纠偏方法、计算机存储介质及设备 |
CN111210482B (zh) * | 2020-02-24 | 2024-03-05 | 高新兴科技集团股份有限公司 | 摄像机视频图像实时纠偏方法、计算机存储介质及设备 |
CN113160322A (zh) * | 2021-03-17 | 2021-07-23 | 地平线(上海)人工智能技术有限公司 | 摄像装置标定方法和设备、介质以及电子设备 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8767036B2 (en) | Panoramic imaging apparatus, imaging method, and program with warning detection | |
JP4164703B2 (ja) | 広視野画像入力方法及び装置 | |
JP5222597B2 (ja) | 画像処理装置及び方法、運転支援システム、車両 | |
US20100085422A1 (en) | Imaging apparatus, imaging method, and program | |
CN111800589B (zh) | 图像处理方法、装置和系统,以及机器人 | |
JP2016030554A (ja) | 車載カメラの取り付け姿勢検出方法およびその装置 | |
WO2005079060A1 (ja) | 運転支援装置 | |
JP6098873B2 (ja) | 撮像装置および画像処理装置 | |
CN112204946A (zh) | 数据处理方法、装置、可移动平台及计算机可读存储介质 | |
WO2019156072A1 (ja) | 姿勢推定装置 | |
WO2016157666A1 (ja) | カメラ姿勢推定装置、運転支援装置、及び、カメラ姿勢推定方法 | |
JP6332212B2 (ja) | 姿勢推定装置、姿勢推定方法及びプログラム | |
JP5907914B2 (ja) | 車両用運転支援装置 | |
JP2016220024A (ja) | パンニング表示制御装置および撮像装置 | |
JP2016021712A (ja) | 画像処理装置、及び、運転支援システム | |
JP5279453B2 (ja) | 画像振れ補正装置、撮像装置及び画像振れ補正方法 | |
JP5049304B2 (ja) | 車両の周辺を画像表示するための装置 | |
JP2019153237A (ja) | 画像処理装置、画像表示システムおよび画像処理方法 | |
US20150103191A1 (en) | Imaging apparatus and detecting apparatus | |
JP5875248B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
JP5125619B2 (ja) | 車載カメラシステム | |
JP6234335B2 (ja) | 撮像装置及び撮像装置を設置した移動体 | |
JP2019151307A (ja) | 駐車エリア検知装置および駐車エリア検知方法 | |
JP2013127672A (ja) | 画像表示装置、プログラム、集積回路および画像表示方法 | |
US20230417575A1 (en) | Orientation calculation apparatus, orientation calculation method, imaging apparatus including orientation calculation apparatus, and method for controlling same |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 16771563 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
NENP | Non-entry into the national phase |
Ref country code: JP |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 16771563 Country of ref document: EP Kind code of ref document: A1 |