WO2016157666A1 - カメラ姿勢推定装置、運転支援装置、及び、カメラ姿勢推定方法 - Google Patents

カメラ姿勢推定装置、運転支援装置、及び、カメラ姿勢推定方法 Download PDF

Info

Publication number
WO2016157666A1
WO2016157666A1 PCT/JP2016/000093 JP2016000093W WO2016157666A1 WO 2016157666 A1 WO2016157666 A1 WO 2016157666A1 JP 2016000093 W JP2016000093 W JP 2016000093W WO 2016157666 A1 WO2016157666 A1 WO 2016157666A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
moving
moving image
inclination
vanishing point
Prior art date
Application number
PCT/JP2016/000093
Other languages
English (en)
French (fr)
Inventor
健児 瀧田
哲郎 奥山
Original Assignee
パナソニックＩｐマネジメント株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニックＩｐマネジメント株式会社 filed Critical パナソニックＩｐマネジメント株式会社
Publication of WO2016157666A1 publication Critical patent/WO2016157666A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules

Definitions

  • the present disclosure relates to a camera posture estimation device that estimates an attachment state of a camera attached to a moving body.
  • Patent Document 1 discloses a camera calibration device for an in-vehicle camera.
  • the camera calibration device disclosed in Patent Document 1 detects two straight lines corresponding to a section line on a road, and determines an intersection of the two detected straight lines as a vanishing point position.
  • Patent Document 2 discloses a driving support device.
  • the driving support device disclosed in Patent Document 2 processes the image signal output from the imaging unit so as to superimpose and display a driving support display composed of a predetermined graphic on the captured image of the imaging unit mounted on the vehicle.
  • the present disclosure provides a camera posture estimation device and the like that can estimate the mounting inclination of the camera attached to the moving body around the optical axis.
  • the camera posture estimation apparatus acquires a moving image in which a camera attached to a moving body captures a front or rear of the moving direction while the moving body moves while changing the moving direction. And a detection unit that detects a motion vanishing point in the acquired moving image, and an attachment of the detected motion vanishing point trajectory around the optical axis of the camera using the inclination of the acquired moving image with respect to the horizontal direction. A calculation unit that calculates an estimated value of the inclination.
  • the camera posture estimation apparatus can estimate the mounting inclination around the optical axis of the camera attached to the moving body.
  • FIG. 1 is an external view of a driving support apparatus according to Embodiment 1.
  • FIG. FIG. 2 is a block diagram illustrating a functional configuration of the driving support apparatus according to the first embodiment.
  • FIG. 3A is a diagram illustrating a mounting inclination around the optical axis of the camera.
  • FIG. 3B is a diagram illustrating the mounting inclination of the camera in the pan direction.
  • FIG. 3C is a diagram illustrating the mounting inclination in the tilt direction of the camera.
  • FIG. 4 is a diagram for explaining the movement of the motion vanishing point.
  • FIG. 5 is a flowchart of the operation (camera posture estimation method) of the camera posture estimation apparatus according to the first embodiment.
  • FIG. 5 is a flowchart of the operation (camera posture estimation method) of the camera posture estimation apparatus according to the first embodiment.
  • FIG. 6 is a diagram for explaining a method of calculating an estimated value of the mounting inclination around the optical axis of the camera.
  • FIG. 7 is a diagram for explaining a method for calculating an estimated value of the attachment tilt in the pan direction of the camera and an estimated value of the attachment tilt in the tilt direction.
  • FIG. 1 is an external view of a driving support apparatus according to Embodiment 1.
  • FIG. 2 is a block diagram illustrating a functional configuration of the driving support apparatus according to the first embodiment.
  • the vehicle is a traveling body that travels on a traveling surface, and is an example of a moving body.
  • the camera 20 is also attached to the vehicle to which the driving support device 100 is attached.
  • the camera 20 is a so-called rear view camera that captures the rear of the vehicle, and includes a lens, a CMOS image sensor (imaging device), and the like.
  • the moving image photographed by the camera 20 is displayed on the display screen (display device 30) of the driving assistance device 100.
  • the driving support device 100 includes a camera posture estimation device 10 and a display device 30.
  • an arithmetic device 40 is also illustrated as an external device.
  • the camera posture estimation device 10 is a device that estimates the attachment posture of the camera 20 to the vehicle.
  • the attachment posture includes an attachment inclination ⁇ around the optical axis of the camera 20, an attachment inclination ⁇ in the pan direction, and an attachment inclination ⁇ in the tilt direction.
  • 3A to 3C are diagrams for explaining the mounting posture of the camera 20.
  • the camera 20 is attached to the rear portion of the vehicle 50 and photographs the rear of the vehicle 50.
  • the camera 20 is schematically illustrated.
  • the attachment inclination ⁇ around the optical axis J of the camera 20 is, in other words, the attachment inclination in the roll direction, which is the rotation angle (rotational deviation) of the moving image captured by the camera 20.
  • a broken line frame (rectangular frame defined by four points of RT, RB, LT, and LB) shown in FIG. 3A schematically shows a shooting range of a moving image shot by the camera 20.
  • the mounting inclination ⁇ in the pan direction is the inclination (deviation) in the horizontal direction (left-right direction) of the optical axis J.
  • the mounting inclination ⁇ in the tilt direction is the inclination (deviation) of the optical axis J in the vertical direction (vertical direction, vertical direction) of the optical axis J.
  • the camera posture estimation device 10 can output estimated values of the mounting inclinations ⁇ , ⁇ , and ⁇ of the camera 20 (hereinafter, also simply referred to as an estimated value of the mounting posture) to the arithmetic device 40.
  • the detailed configuration of the camera posture estimation device 10 will be described later.
  • the display device 30 acquires the moving image (video signal) output from the camera posture estimation device 10 and displays the acquired moving image. In addition, the display device 30 displays, for the driver of the vehicle 50, a moving image captured by the camera 20 that has been corrected according to the estimated value of the mounting inclination ⁇ around the optical axis J of the camera 20, for example.
  • the display device 30 is specifically a liquid crystal display or an organic EL display, but may be a HUD (Head Up Display) or the like.
  • the display device 30 may be provided outside the driving support device 100.
  • the calculation device 40 acquires the estimated value of the mounting posture of the camera 20 output from the camera posture estimation device 10, and performs calculation processing using the acquired posture information.
  • the arithmetic device 40 performs arithmetic processing for generating a moving image (panoramic moving image) in which a moving image captured by the camera 20 and a moving image captured by a camera other than the camera 20 attached to the vehicle 50 are integrated. .
  • the moving image captured by each camera is corrected using the posture information of the camera 20 output from the output unit 16.
  • the arithmetic device 40 controls the drive unit.
  • the control signal may be generated by arithmetic processing using the estimated value of the mounting posture.
  • the arithmetic device 40 can calibrate the camera 20 to the reference posture by outputting the generated signal to the drive unit.
  • the camera 20 and the arithmetic device 40 may be included in the driving support device 100.
  • the camera posture estimation device 10 includes an acquisition unit 11, a preprocessing unit 12, a detection unit 13, a calculation unit 14, a storage unit 15, an output unit 16, and an image processing unit 17.
  • the acquisition unit 11 acquires a moving image obtained by photographing the outside of the vehicle 50 while the camera 20 attached to the vehicle 50 is moving. More specifically, the acquisition part 11 acquires the moving image which image
  • the pre-processing unit 12 performs image processing for correcting distortion caused by lens characteristics of a moving image taken by the camera 20.
  • a moving image obtained from the camera 20 has a distortion amount that increases with distance from the center due to the characteristics of the lens of the camera 20.
  • the preprocessing unit 12 corrects such distortion. Note that the preprocessing unit 12 is not an essential component and may be omitted.
  • the detecting unit 13 detects a motion vanishing point in the moving image acquired by the acquiring unit 11 and pre-processed by the pre-processing unit 12.
  • the motion vanishing point is a point indicating the destination of the stationary object in a moving image obtained by photographing the rear of the moving direction when the vehicle 50 is moving in the front of the moving direction. That is, in the moving image captured when the vehicle 50 is moving forward in the moving direction, the stationary object captured by the camera 20 moves toward the vanishing point according to the movement of the vehicle 50.
  • the detection unit 13 calculates a motion vector between frames for each processing unit, and detects an intersection of motion vectors of two processing units (intersection of extension lines of motion vectors) as a motion vanishing point.
  • the method for detecting the motion vanishing point is not particularly limited, and any method such as the method described in Patent Document 1 may be used.
  • the detected motion vanishing point is used to calculate an estimated value of the mounting inclination ⁇ around the optical axis J of the camera 20.
  • FIG. 4 is a diagram for explaining the movement of the motion vanishing point.
  • FIG. 4 is a diagram illustrating the position of the vanishing point when the camera 20 is photographing the rear of the vehicle 50 as in the first embodiment, and the arrows in the figure indicate stationary objects in the moving image. The movement direction is schematically shown.
  • the movement vanishing point 60 moves to the left side from the straight traveling position ((a) of FIG. 4) ((b) of FIG. 4).
  • the vehicle 50 turns to the right, it moves to infinity on the left side of the moving image and does not appear on the moving image ((c) of FIG. 4).
  • the movement vanishing point 60 moves to the right side ((d) in FIG. 4) from the straight traveling position ((a) in FIG. 4).
  • the moving image moves to infinity on the right side of the moving image and does not appear on the moving image ((e) in FIG. 4).
  • the detection unit 13 can also detect the position of the motion vanishing point 60 when the vehicle 50 travels straight. is there.
  • the detection unit 13 can detect, for example, the center of the movement range of the motion vanishing point 60 as the position of the motion vanishing point 60 in a straight line. Alternatively, the detection unit 13 may calculate a histogram of the position of the motion vanishing point 60 and detect the center of the histogram as the position of the motion vanishing point 60 during a straight line. In these methods, the detection unit 13 needs to monitor (detect) the position of the motion vanishing point 60 for a sufficiently long time. In addition, when the detection unit 13 can acquire handle information indicating the direction of the handle from the vehicle 50 through a CAN (Controller Area Network), the detection unit 13 uses such handle information to detect a motion vanishing point when going straight ahead. 60 positions can be detected.
  • CAN Controller Area Network
  • the motion vanishing point 60 detected when traveling straight ahead is used for calculating the estimated value of the mounting tilt ⁇ in the pan direction of the camera 20 and calculating the mounting tilt ⁇ in the tilt direction.
  • the calculation unit 14 calculates an estimated value of the mounting inclination ⁇ around the optical axis J of the camera 20 using the inclination of the locus of the motion vanishing point 60 detected by the detection unit 13 with respect to the horizontal direction of the acquired moving image. To do. Specifically, the calculation unit 14 linearly approximates (fitting) the locus of the motion vanishing point 60 detected by the detection unit 13, and uses the inclination of the straight line with respect to the horizontal direction (horizontal axis) of the moving image to attach the attachment ⁇ . The estimated value of is calculated.
  • the calculation unit 14 further determines the position of the motion vanishing point 60 when the vehicle 50 is traveling straight ahead based on the deviation from the image center of the corrected moving image in the pan direction of the camera 20.
  • An estimated value of the mounting tilt ⁇ and an estimated value of the mounting tilt ⁇ in the tilt direction of the camera 20 are calculated.
  • the storage unit 15 is a storage device that stores the estimated values of the mounting posture calculated by the calculating unit 14 (the estimated values of the mounting inclinations ⁇ , ⁇ , and ⁇ ).
  • the storage unit 15 is specifically a semiconductor memory, but may be in any form.
  • the estimated value of the mounting posture calculated by the calculation unit 14 is not necessarily stored in the storage unit 15.
  • the estimated value of the mounting posture of the camera 20 does not change significantly unless the camera 20 is remounted or an external force is not applied to the camera 20. For this reason, the estimated value of the mounting posture does not need to be calculated for each frame, and may be stored in the storage unit 15 and used.
  • the output unit 16 reads the calculated estimated value of the mounting posture from the storage unit 15 and outputs it to the image processing unit 17 or an external device (the arithmetic device 40 in the first embodiment).
  • the image processing unit 17 corrects the moving image acquired according to the estimated value of the mounting posture calculated by the calculating unit 14 and output from the output unit 16. Specifically, the image processing unit 17 corrects the moving image acquired by the acquiring unit 11 like a moving image shot in the reference posture, and outputs the corrected moving image (video signal) to the display device 30. To do. Note that the image processing unit 17 outputs a moving image corrected according to the estimated value of the mounting inclination ⁇ to the calculating unit 14 in order to calculate the estimated value of the mounting inclination ⁇ and the estimated value of the mounting tilt ⁇ . There is also a case.
  • the acquisition unit 11, the preprocessing unit 12, the detection unit 13, the calculation unit 14, the output unit 16, and the image processing unit 17 included in the camera posture estimation device 10 may be realized by a processor or a microcomputer. Alternatively, it may be realized by a dedicated electronic circuit (hardware).
  • the acquisition unit 11 is an interface (terminal) to which the connection cable of the camera 20 is connected, but may be in any form.
  • the acquisition unit 11 is realized as a terminal of the integrated circuit.
  • the acquisition unit 11 is a wired or wireless communication module (communication circuit), and may acquire a moving image by communication.
  • components other than the acquisition unit 11 may be realized in any manner.
  • FIG. 5 is a flowchart of the operation (camera posture estimation method) of the camera posture estimation apparatus 10.
  • the acquisition unit 11 of the camera posture estimation device 10 acquires a moving image captured while the vehicle 20 is moving by the camera 20 attached to the vehicle 50 (S11). Specifically, the acquisition unit 11 acquires a moving image in which the camera 20 attached to the vehicle 50 captures the rear of the moving direction while the vehicle 50 moves while changing the moving direction.
  • the moving image acquired by the acquiring unit 11 is preprocessed by the preprocessing unit 12 (S12), and distortion caused by the lens characteristics of the camera 20 is corrected.
  • the detecting unit 13 detects a motion vanishing point 60 in the moving image acquired by the acquiring unit 11 and corrected by the preprocessing unit 12 (S13).
  • the calculation unit 14 calculates an estimated value of the attachment inclination ⁇ around the optical axis J of the camera 20 from the inclination ⁇ ′ of the detected locus of the motion vanishing point 60 with respect to the horizontal direction of the acquired moving image. Specifically, the calculation unit 14 fits a straight line to the locus of the motion vanishing point 60 detected by the detection unit 13, and calculates the slope ⁇ ′ of the fitted straight line with respect to the horizontal axis of the moving image (S14). Then, the calculation unit 14 calculates an estimated value of the attachment inclination ⁇ using the following equation from the calculated inclination ⁇ ′ (S15).
  • ⁇ u and ⁇ v are pixel pitches in the horizontal and vertical directions, respectively.
  • Information such as the pixel pitch ⁇ u and the pixel pitch ⁇ v is stored in the storage unit 15, for example.
  • the calculation unit 14 uses the detected inclination ⁇ ′ of the locus of the motion vanishing point 60 with respect to the horizontal direction of the acquired moving image as an estimated value of the attachment inclination ⁇ around the optical axis J of the camera 20. Can be calculated.
  • FIG. 6 is a diagram for explaining a method of calculating the estimated value of the attachment inclination ⁇ .
  • the motion vanishing point 60 moves in accordance with the movement of the vehicle 50.
  • the mounting inclination ⁇ of the camera 20 is 0, the motion vanishing point 60 moves parallel to the horizontal axis X of the moving image.
  • the attachment inclination ⁇ ⁇ 0, the movement vanishing point 60 moves on a straight line inclined by the attachment inclination ⁇ ′ with respect to the horizontal axis X as indicated by an arrow 61 in FIG.
  • the calculation unit 14 performs a calculation based on the above equation using the inclination ⁇ ′ of the detected locus of the motion vanishing point 60 with respect to the horizontal direction (horizontal axis X) of the acquired moving image, thereby obtaining the camera.
  • An estimated value of the mounting inclination ⁇ around 20 optical axes J can be calculated.
  • the detection unit 13 detects the position of the motion vanishing point 60 when the vehicle 50 goes straight in the corrected moving image (S17). As described above, the detection unit 13 may detect the center of the movement range of the motion vanishing point 60 as the position of the motion vanishing point 60 in a straight line, or may calculate a histogram of the position of the motion vanishing point 60 and May be detected as the position of the motion vanishing point 60 in a straight line. Moreover, the detection part 13 may detect the position of the movement vanishing point 60 at the time of going straight using handle
  • the calculation unit 14 estimates the attachment tilt ⁇ in the pan direction of the camera 20 based on the shift of the position of the motion vanishing point 60 when the vehicle 50 goes straight from the image center of the corrected moving image. And the estimated value of the mounting inclination ⁇ in the tilt direction of the camera 20 is calculated.
  • FIG. 7 is a diagram for explaining a method for calculating the estimated value of the mounting inclination ⁇ and the estimated value of the mounting inclination ⁇ .
  • the calculation unit 14 calculates a deviation (distance) from the image center of the moving image (intersection of the horizontal axis X and the vertical axis Y in FIG. 7) at the position of the motion vanishing point 60 when going straight. Calculate (S18).
  • This deviation is represented by the number of pixels, for example.
  • the deviation in the direction of the horizontal axis X is u [pixel]
  • the deviation in the direction of the vertical axis Y is v [pixel].
  • the image center means an intersection between the optical axis of the camera 20 and the image plane in the image coordinate system, and may be different from the physical center on the moving image.
  • the calculation part 14 calculates the estimated value of the attachment inclination (phi) and the estimated value of the attachment inclination (psi) based on the shift
  • the information on the focal length f is stored in the storage unit 15, for example.
  • the calculation of the estimated value of the mounting posture of the camera 20 as described above is preferably performed using a moving image taken when the traveling surface on which the vehicle 50 travels is substantially flat.
  • the camera posture estimation device 10 of the driving assistance device 100 has a rearward moving direction while the camera 20 attached to the vehicle 50 moves while changing the moving direction.
  • An acquisition unit 11 that acquires a moving image obtained by photographing (or in front), a detection unit 13 that detects a motion vanishing point 60 in the acquired moving image, and an acquired moving image of the locus of the detected motion vanishing point 60
  • a calculation unit 14 that calculates an estimated value of the mounting inclination ⁇ around the optical axis J of the camera 20 using the inclination of the image with respect to the horizontal direction.
  • the camera posture estimation device 10 can estimate the attachment inclination ⁇ around the optical axis J of the camera 20 attached to the vehicle 50.
  • the camera posture estimation device 10 further corrects the moving image acquired according to the inclination ⁇ ′ of the detected moving vanishing point 60 with respect to the horizontal direction of the acquired moving image. 17.
  • the detection unit 13 detects the position of the motion vanishing point 60 when the vehicle 50 goes straight in the corrected moving image.
  • the calculation unit 14 calculates the estimated value of the mounting inclination ⁇ in the pan direction of the camera 20 based on the deviation of the position of the motion vanishing point 60 when the vehicle 50 goes straight from the image center of the corrected moving image, and the camera An estimated value of the mounting inclination ⁇ in the tilt direction of 20 is calculated.
  • the camera posture estimation apparatus 10 takes into account the mounting inclination ⁇ around the optical axis J, and more accurately calculates the estimated value of the mounting inclination ⁇ in the pan direction and the estimated value of the mounting tilt ⁇ in the tilt direction. Can be calculated.
  • the camera posture estimation device 10 further includes an output unit 16 that outputs an estimated value of the calculated mounting inclination ⁇ around the optical axis J.
  • the camera posture estimation device 10 can output the calculated mounting inclination ⁇ around the optical axis J to an external device such as the arithmetic device 40.
  • the detection unit 13 detects the position of the motion vanishing point 60 when moving straight in the moving image corrected by the image processing unit 17, thereby estimating the attachment inclination ⁇ and the attachment inclination ⁇ .
  • the estimated value of was calculated.
  • the correction of the moving image by the image processing unit 17 may be omitted. That is, step S16 is omitted in the flowchart of FIG. 5, and the processing after step S17 may be performed using a moving image before correction (moving image acquired by the acquiring unit 11).
  • step S17 the detection unit 13 detects the position of the motion vanishing point 60 when the vehicle 50 goes straight in the moving image acquired by the acquisition unit 11 and preprocessed by the preprocessing unit 12.
  • step S18 the calculation unit 14 calculates the deviation of the position of the motion vanishing point 60 when the vehicle 50 goes straight from the image center of the acquired moving image.
  • step S19 the calculation unit 14 estimates the attachment tilt ⁇ in the pan direction of the camera 20 based on the shift calculated in step S18 and the tilt ⁇ ′ calculated in step S14, and An estimated value of the mounting tilt ⁇ in the tilt direction of the camera 20 is calculated.
  • step S18 the deviation in the direction of the horizontal axis X is calculated as u [pixel] and the deviation in the direction of the vertical axis Y is calculated as v [pixel].
  • Coordinates (u ′, v ′) obtained by rotating the coordinates (u, v) by ⁇ ′ in order to correct the displacement of the mounting inclination ⁇ are expressed by the following equations.
  • the estimated value of the attachment inclination ⁇ and the estimated value of the attachment inclination ⁇ are calculated by the following equations.
  • ⁇ u is the pixel pitch in the horizontal direction
  • ⁇ v is the pixel pitch in the vertical direction
  • f is the focal length of the camera 20.
  • the camera posture estimation device 10 does not correct the moving image by the image processing unit 17 and considers the inclination ⁇ ′, and the estimated value of the attachment inclination ⁇ and the estimated value of the attachment inclination ⁇ . Can be calculated.
  • the first embodiment has been described as an example of the technique disclosed in the present application.
  • the technology in the present disclosure is not limited to this, and can also be applied to an embodiment in which changes, replacements, additions, omissions, and the like are appropriately performed.
  • the technology in the present disclosure may be realized as other devices such as a dedicated device for estimating the posture of the camera.
  • the camera is attached to the vehicle, but may be attached to a moving body other than the vehicle.
  • it may be attached to a moving body such as a robot or an airplane.
  • the camera mounting position is not particularly limited.
  • the camera images the rear of the moving direction of the vehicle, but may image the front of the moving direction of the vehicle.
  • a stationary object shot by the camera moves with the movement vanishing point as a starting point according to the movement of the vehicle.
  • a comprehensive or specific aspect of the technology in the present disclosure may be realized by a recording medium such as a system, a method, an integrated circuit, a computer program, or a computer-readable CD-ROM.
  • the technology in the present disclosure may be realized by any combination of a system, a method, an integrated circuit, a computer program, or a recording medium.
  • the technology in the present disclosure may be realized as a camera posture estimation method executed by the camera posture estimation device. Further, it may be realized as a program for operating an information communication terminal such as a personal computer or a smart phone as a camera posture estimation device.
  • each component may be configured by dedicated hardware or may be realized by executing a software program suitable for each component.
  • Each component may be realized by a program execution unit such as a CPU or a processor reading and executing a software program recorded on a recording medium such as a hard disk or a semiconductor memory.
  • Each component may be a circuit. These circuits may constitute one circuit as a whole, or may be separate circuits. Each of these circuits may be a general-purpose circuit or a dedicated circuit.
  • another processing unit may execute processing performed by a specific processing unit.
  • the order of the plurality of processes may be changed, and the plurality of processes may be executed in parallel.
  • the technology in the present disclosure is useful as a camera posture estimation device that can estimate the mounting inclination of the camera attached to the moving body around the optical axis.
  • the technology in the present disclosure is applicable to a driving support device that supports a driver who drives a moving body.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

カメラ姿勢推定装置（１０）は、車両（５０）に取り付けられたカメラ（２０）が、車両（５０）が移動方向を変えながら移動している間に移動方向の前方または後方を撮影した動画像を取得する取得部（１１）と、取得された動画像における動き消失点を検出する検出部（１３）と、検出された動き消失点の軌跡の、取得された動画像の水平方向に対する傾きを用いて、カメラ（２０）の光軸回りの取り付け傾きの推定値を算出する算出部（１４）とを備える。

Description

カメラ姿勢推定装置、運転支援装置、及び、カメラ姿勢推定方法
　本開示は、移動体に取り付けられたカメラの取り付け状態を推定するカメラ姿勢推定装置等に関する。
　特許文献１は、車載カメラのカメラキャリブレーション装置を開示する。特許文献１に開示されたカメラキャリブレーション装置は、道路における区間線に対応する２本の直線を検出し、検出された２本の直線の交点を消失点位置として決定する。
　また、特許文献２は、運転支援装置を開示する。特許文献２に開示された運転支援装置は、車両に搭載された撮像手段の撮像画像に所定のグラフィックからなる運転支援表示を重畳表示するように撮像手段から出力された画像信号を処理する。
特許第５２０８１４７号公報 特許第５６６５４５８号公報
　本開示は、移動体に取り付けられたカメラの、光軸回りの取り付け傾きを推定することができるカメラ姿勢推定装置等を提供する。
　本開示におけるカメラ姿勢推定装置は、移動体に取り付けられたカメラが、当該移動体が移動方向を変えながら移動している間に当該移動方向の前方または後方を撮影した動画像を取得する取得部と、取得された動画像における動き消失点を検出する検出部と、検出された動き消失点の軌跡の、取得された動画像の水平方向に対する傾きを用いて、前記カメラの光軸回りの取り付け傾きの推定値を算出する算出部とを備える。
　本開示におけるカメラ姿勢推定装置は、移動体に取り付けられたカメラの、光軸回りの取り付け傾きを推定することができる。
図１は、実施の形態１に係る運転支援装置の外観図である。 図２は、実施の形態１に係る運転支援装置の機能構成を示すブロック図である。 図３Ａは、カメラの光軸回りの取り付け傾きを示す図である。 図３Ｂは、カメラのパン方向の取り付け傾きを示す図である。 図３Ｃは、カメラのチルト方向の取り付け傾きを示す図である。 図４は、動き消失点の移動を説明するための図である。 図５は、実施の形態１に係るカメラ姿勢推定装置の動作（カメラ姿勢推定方法）のフローチャートである。 図６は、カメラの光軸回りの取り付け傾きの推定値の算出方法を説明するための図である。 図７は、カメラのパン方向の取り付け傾きの推定値、及び、チルト方向の取り付け傾きの推定値の算出方法を説明するための図である。
　以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
　なお、発明者らは、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって請求の範囲に記載の主題を限定することを意図するものではない。
　（実施の形態１）
　［運転支援装置の構成］
　まず、実施の形態１に係る運転支援装置について説明する。図１は、実施の形態１に係る運転支援装置の外観図である。図２は、実施の形態１に係る運転支援装置の機能構成を示すブロック図である。
　図１及び図２に示される運転支援装置１００は、車両の車室内に取り付けられる装置であって、カーナビゲーション機能などを有する装置である。なお、車両は、走行面上を走行する走行体であり、移動体の一例である。
　ここで、運転支援装置１００が取り付けられた車両には、カメラ２０も取り付けられている。カメラ２０は、車両の後方を撮影する、いわゆるリアビューカメラであって、レンズ及びＣＭＯＳイメージセンサ（撮像素子）などからなる。カメラ２０によって撮影された動画像は、運転支援装置１００の表示画面（表示装置３０）に表示される。
　図２に示されるように、運転支援装置１００は、カメラ姿勢推定装置１０と、表示装置３０とを備える。また、図２では、外部装置として、演算装置４０も図示されている。
　カメラ姿勢推定装置１０は、カメラ２０の車両への取り付け姿勢を推定する装置である。ここで、取り付け姿勢には、カメラ２０の光軸回りの取り付け傾きθと、パン方向の取り付け傾きφと、チルト方向の取り付け傾きψとが含まれる。図３Ａ～図３Ｃは、カメラ２０の取り付け姿勢を説明するための図である。
　図３Ａ～図３Ｃに示されるように、実施の形態１では、カメラ２０は、車両５０の後部に取り付けられ、車両５０の後方を撮影する。なお、図３Ａ～図３Ｃにおいては、カメラ２０は、模式的に図示されている。
　図３Ａに示されるように、カメラ２０の光軸Ｊ回りの取り付け傾きθは、言い換えれば、ロール方向の取り付け傾きであって、カメラ２０が撮影する動画像の回転角度（回転ずれ）である。図３Ａに示される破線枠（ＲＴ、ＲＢ、ＬＴ、及びＬＢの４点により規定される矩形の枠）は、カメラ２０が撮影する動画像の撮影範囲を模式的に示したものである。
　また、図３Ｂに示されるように、パン方向の取り付け傾きφは、光軸Ｊの水平方向（左右方向）における傾き（ずれ）である。また、図３Ｃに示されるように、チルト方向の取り付け傾きψは、光軸Ｊの垂直方向（鉛直方向、上下方向）における光軸Ｊの傾き（ずれ）である。
　カメラ姿勢推定装置１０は、このような、取り付け傾きθと、パン方向の取り付け傾きφと、チルト方向の取り付け傾きψを推定し、推定結果（推定値）に基づいて、取得した動画像を、基準姿勢（実施の形態１では、θ＝φ＝ψ＝０の姿勢）で撮影された動画像のように補正し、表示装置３０に表示させることができる。また、カメラ姿勢推定装置１０は、カメラ２０の取り付け傾きθ、φ、及びψの推定値（以下、単に、取り付け姿勢の推定値とも記載する）を演算装置４０に出力することもできる。カメラ姿勢推定装置１０の詳細な構成については後述する。
　表示装置３０は、カメラ姿勢推定装置１０から出力される動画像（映像信号）を取得し、取得した動画像を表示する。また、表示装置３０は、例えば、カメラ２０の光軸Ｊ回りの取り付け傾きθの推定値に応じて補正された、カメラ２０が撮影した動画像を、車両５０の運転者のために表示する。表示装置３０は、具体的には、液晶ディスプレイまたは有機ＥＬディスプレイなどであるが、ＨＵＤ（Ｈｅａｄ　Ｕｐ　Ｄｉｓｐｌａｙ）などであってもよい。なお、表示装置３０は、運転支援装置１００の外部に設けられてもよい。
　演算装置４０は、カメラ姿勢推定装置１０から出力されるカメラ２０の取り付け姿勢の推定値を取得し、取得した姿勢情報を用いて演算処理を行う。
　例えば、演算装置４０は、カメラ２０が撮影した動画像と、車両５０に取り付けられたカメラ２０以外のカメラが撮影した動画像とを統合した動画像（パノラマ動画像）を生成する演算処理を行う。このような演算処理においては、出力部１６から出力されるカメラ２０の姿勢情報を用いて各カメラが撮影した動画像の補正が行われる。
　また、カメラ２０が、カメラ２０の姿勢を変更するための駆動部（例えば、アクチュエータなど）を介して車両５０に取り付けられている場合には、演算装置４０は、上記駆動部を制御するための制御信号を、取り付け姿勢の推定値を用いた演算処理により生成してもよい。演算装置４０は、生成した信号を駆動部に出力することによってカメラ２０を基準姿勢に校正（キャリブレーション）することができる。
　なお、カメラ２０及び演算装置４０は、運転支援装置１００に含まれてもよい。
　［カメラ姿勢推定装置の構成］
　次に、カメラ姿勢推定装置１０の機能構成について、図２を参照しながら説明する。カメラ姿勢推定装置１０は、取得部１１と、前処理部１２と、検出部１３と、算出部１４と、記憶部１５と、出力部１６と、画像処理部１７とを備える。
　取得部１１は、車両５０に取り付けられたカメラ２０が車両５０の移動中に車両５０の外側を撮影した動画像を取得する。取得部１１は、より具体的には、カメラ２０が、車両５０が移動方向を変えながら移動している間に移動方向の後方を撮影した動画像を取得する。なお、車両５０が移動方向を変えながら移動する、とは、具体的には、車両５０がカーブに沿って移動すること等を意味する。
　前処理部１２は、カメラ２０が撮影した動画像の、レンズの特性に起因する歪みを補正する画像処理を行う。一般に、カメラ２０から得られる動画像は、カメラ２０のレンズの特性により、中心から離れるほど歪み量が大きくなる。前処理部１２は、このような歪みを補正する。なお、前処理部１２は、必須の構成要素ではなく、省略されてもよい。
　検出部１３は、取得部１１によって取得された動画像であって、前処理部１２によって前処理された動画像における動き消失点を検出する。ここで、動き消失点とは、車両５０が移動方向の前方に移動しているときに移動方向の後方を撮影することによって得られる動画像中において、静止物の移動先を示す点である。つまり、車両５０が移動方向の前方に移動しているときに撮影された動画像中において、カメラ２０が撮影した静止物は、車両５０の移動に応じて動き消失点に向かって移動する。
　検出部１３は、具体的には、例えば、フレーム間の動きベクトルを処理単位ごとに算出し、２つの処理単位の動きベクトルの交点（動きベクトルの延長線の交点）を動き消失点として検出する。なお、動き消失点の検出方法は、特に限定されるものではなく、特許文献１に記載された方法など、どのような方法が用いられてもよい。検出された動き消失点は、カメラ２０の光軸Ｊ回りの取り付け傾きθの推定値の算出に用いられる。
　なお、動き消失点は、車両５０の移動に応じて、動画像上を移動する。図４は、動き消失点の移動を説明するための図である。なお、図４は、実施の形態１のようにカメラ２０が車両５０の後方を撮影しているときの動き消失点の位置を示す図であり、図中の矢印は、動画像内の静止物の移動方向を模式的に示すものである。
　図４に示されるように、動き消失点６０は、車両５０が右方向にカーブする場合には、直進時の位置（図４の（ａ））から左側に移動し（図４の（ｂ））、車両５０が右折する場合には動画像の左側の無限遠に移動し、動画像上には現れなくなる（図４の（ｃ））。同様に、動き消失点６０は、車両５０が左方向にカーブする場合には、直進時の位置（図４の（ａ））から右側に移動し（図４の（ｄ））、車両５０が左折する場合には動画像の右側の無限遠に移動し、動画像上には現れなくなる（図４の（ｅ））。
　このように、動き消失点６０は、車両５０の移動に応じて、動画像上を移動するが、検出部１３は、車両５０の直進時の動き消失点６０の位置を検出することも可能である。
　検出部１３は、例えば、動き消失点６０の移動範囲の中央を直線時の動き消失点６０の位置として検出することができる。また、検出部１３は、動き消失点６０の位置のヒストグラムを算出し、ヒストグラムの中央を直線時の動き消失点６０の位置として検出してもよい。なお、これらの手法においては、検出部１３は、十分に長い時間、動き消失点６０の位置をモニタ（検出）する必要がある。また、検出部１３は、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）を通じて車両５０からハンドルの向きを示すハンドル情報を取得できる場合には、検出部１３は、このようなハンドル情報を用いて直進時の動き消失点６０の位置を検出することができる。
　このようにして検出された直進時の動き消失点６０は、カメラ２０のパン方向の取り付け傾きφの推定値の算出、及び、チルト方向の取り付け傾きψの算出に用いられる。
　算出部１４は、検出部１３によって検出された動き消失点６０の軌跡の、取得された動画像の水平方向に対する傾きを用いて、カメラ２０の光軸Ｊ回りの取り付け傾きθの推定値を算出する。算出部１４は、具体的には、検出部１３によって検出された動き消失点６０の軌跡を直線近似（フィッティング）し、動画像の水平方向（水平軸）に対する直線の傾きを用いて取り付け傾きθの推定値を算出する。
　また、実施の形態１では、算出部１４は、さらに、車両５０の直進時の動き消失点６０の位置の、補正された動画像の画像中心からのずれに基づいて、カメラ２０のパン方向の取り付け傾きφの推定値、及び、カメラ２０のチルト方向の取り付け傾きψの推定値を算出する。
　記憶部１５は、算出部１４によって算出された取り付け姿勢の推定値（取り付け傾きθ、φ、及びψの推定値）が記憶される記憶装置である。記憶部１５は、具体的には、半導体メモリであるが、どのような態様であってもよい。
　なお、算出部１４によって算出された取り付け姿勢の推定値は、必ずしも記憶部１５に記憶される必要はない。しかしながら、カメラ２０の取り付け姿勢の推定値は、通常、カメラ２０が再度取り付けなおされたり、カメラ２０に外力が加わったりしなければ大きく変わることはない。このため、取り付け姿勢の推定値は、フレームごとに算出される必要はなく、記憶部１５に記憶されて使用されるとよい。
　出力部１６は、算出された取り付け姿勢の推定値を記憶部１５から読み出し、画像処理部１７または外部装置（実施の形態１では、演算装置４０）に出力する。
　画像処理部１７は、算出部１４によって算出され、かつ、出力部１６から出力された取り付け姿勢の推定値に応じて取得された動画像を補正する。画像処理部１７は、具体的には、取得部１１が取得した動画像を、基準姿勢で撮影された動画像のように補正し、補正後の動画像（映像信号）を表示装置３０に出力する。なお、画像処理部１７は、取り付け傾きφの推定値の算出、及び、取り付け傾きψの推定値の算出のために、取り付け傾きθの推定値に応じて補正した動画像を算出部１４に出力する場合もある。
　なお、カメラ姿勢推定装置１０を構成する取得部１１、前処理部１２、検出部１３、算出部１４、出力部１６、及び、画像処理部１７は、プロセッサまたはマイクロコンピュータによって実現されてもよいし、専用の電子回路（ハードウェア）によって実現されてもよい。
　例えば、取得部１１は、カメラ２０の接続ケーブルが接続されるインターフェース（端子）などであるが、どのような態様であってもよい。カメラ姿勢推定装置１０が、一つの集積回路として実現されるような場合は、取得部１１は、集積回路の端子として実現される。また、取得部１１は、有線または無線の通信モジュール（通信回路）であって、通信により動画像を取得してもよい。
　同様に、取得部１１以外の構成要素についても、どのような態様で実現されてもよい。
　［カメラ姿勢推定装置の動作］
　以下、カメラ姿勢推定装置１０の動作について説明する。図５は、カメラ姿勢推定装置１０の動作（カメラ姿勢推定方法）のフローチャートである。
　まず、取り付け傾きθの推定値の算出（図５のステップＳ１１～ステップＳ１５）について説明する。
　カメラ姿勢推定装置１０の取得部１１は、車両５０に取り付けられたカメラ２０が車両５０の移動中に撮影した動画像を取得する（Ｓ１１）。具体的には、取得部１１は、車両５０に取り付けられたカメラ２０が、車両５０が移動方向を変えながら移動している間に移動方向の後方を撮影した動画像を取得する。取得部１１によって取得された動画像は、前処理部１２によって前処理され（Ｓ１２）、カメラ２０のレンズの特性に起因する歪みが補正される。
　検出部１３は、取得部１１によって取得された動画像であって、前処理部１２によって補正された動画像における動き消失点６０を検出する（Ｓ１３）。
　続いて、算出部１４は、検出された動き消失点６０の軌跡の、取得された動画像の水平方向に対する傾きθ’からカメラ２０の光軸Ｊ回りの取り付け傾きθの推定値を算出する。具体的には、算出部１４は、検出部１３によって検出された動き消失点６０の軌跡に直線をフィッティングし、動画像の水平軸に対するフィッティングされた直線の傾きθ’を算出する（Ｓ１４）。そして、算出部１４は、算出された傾きθ’から、以下の式を用いて取り付け傾きθの推定値を算出する（Ｓ１５）。
Figure JPOXMLDOC01-appb-M000001
　ここで、δｕ、δｖはそれぞれ水平、垂直方向の画素ピッチである。なお、画素ピッチδｕ、画素ピッチδｖなどの情報は、例えば、記憶部１５に記憶されている。
　水平方向の画素ピッチと垂直方向の画素ピッチとが等しい（δｕ＝δｖ）場合には、θ＝θ’となる。つまり、この場合、算出部１４は、検出された動き消失点６０の軌跡の、取得された動画像の水平方向に対する傾きθ’を、カメラ２０の光軸Ｊ回りの取り付け傾きθの推定値として算出することができる。
　以下、このような取り付け傾きθの推定値の算出方法について、図６を用いて説明する。図６は、取り付け傾きθの推定値の算出方法を説明するための図である。
　上述のように、動き消失点６０は、車両５０の移動に応じて移動する。ここで、カメラ２０の取り付け傾きθ＝０の場合、動き消失点６０は、動画像の水平軸Ｘに平行に移動する。しかしながら、取り付け傾きθ≠０の場合、図６の矢印６１に示されるように、動き消失点６０は、水平軸Ｘに対して取り付け傾きθ’だけ傾いた直線上を移動する。したがって、算出部１４は、検出された動き消失点６０の軌跡の、取得された動画像の水平方向（水平軸Ｘ）に対する傾きθ’を用いた上記の式に基づく演算を行うことにより、カメラ２０の光軸Ｊ回りの取り付け傾きθの推定値を算出することができる。
　次に、取り付け傾きφの推定値、及び、取り付け傾きψの推定値の算出（図５のステップＳ１６～ステップＳ１９）について説明する。
　カメラ姿勢推定装置１０の画像処理部１７は、ステップＳ１４において算出された傾きθ’に応じて取得された動画像を補正する（Ｓ１６）。画像処理部１７は、具体的には、取得部１１が取得し、かつ、前処理部１２が前処理した動画像を回転補正することにより、θ＝０の姿勢で撮影された動画像のように補正する。
　次に、検出部１３は、補正された動画像における、車両５０の直進時の動き消失点６０の位置を検出する（Ｓ１７）。上述のように、検出部１３は、動き消失点６０の移動範囲の中央を直線時の動き消失点６０の位置として検出してもよいし、動き消失点６０の位置のヒストグラムを算出し、ヒストグラムの中央を直線時の動き消失点６０の位置として検出してもよい。また、検出部１３は、ハンドル情報を用いて直進時の動き消失点６０の位置を検出してもよい。
　続いて、算出部１４は、車両５０の直進時の動き消失点６０の位置の、補正された動画像の画像中心からのずれに基づいて、カメラ２０のパン方向の取り付け傾きφの推定値、及び、カメラ２０のチルト方向の取り付け傾きψの推定値を算出する。図７は、取り付け傾きφの推定値、及び、取り付け傾きψの推定値の算出方法を説明するための図である。
　図７に示されるように、算出部１４は、直進時の動き消失点６０の位置の動画像の画像中心（図７の水平軸Ｘと垂直軸Ｙとの交点）からのずれ（距離）を算出する（Ｓ１８）。このずれは、例えば、画素数で表される。図７の例では、水平軸Ｘの方向におけるずれは、ｕ［ｐｉｘｅｌ］、垂直軸Ｙの方向におけるずれは、ｖ［ｐｉｘｅｌ］である。
　なお、画像中心（Ｉｍａｇｅ　Ｃｅｎｔｅｒ）とは、画像座標系においてカメラ２０の光軸と画像面との交点を意味し、動画像上の物理的な中心とは異なる場合がある。
　そして、算出部１４は、ステップＳ１８において算出されたずれに基づいて、取り付け傾きφの推定値、及び、取り付け傾きψの推定値を算出する（Ｓ１９）。例えば、水平方向の画素ピッチ（１ｐｉｘｅｌあたりの画素幅）をδｕ、垂直方向の画素ピッチをδｖ、カメラ２０の焦点距離をｆとすると、取り付け傾きφの推定値、及び、取り付け傾きψの推定値は、以下の式で算出される。なお、焦点距離ｆの情報は、例えば、記憶部１５に記憶されている。
Figure JPOXMLDOC01-appb-M000002
　なお、上述したような、カメラ２０の取り付け姿勢の推定値の算出は、車両５０が走行する走行面が略平坦であるときに撮影された動画像を用いて行われることが望ましい。
　［効果等］
　従来、カメラ２０の光軸Ｊ回りの取り付け傾きθは、ユーザによって装置に手動入力される場合が多く、取り付け傾きθを推定する方法については検討の余地があった。
　これに対し、実施の形態１に係る運転支援装置１００のカメラ姿勢推定装置１０は、車両５０に取り付けられたカメラ２０が、車両５０が移動方向を変えながら移動している間に移動方向の後方（または前方）を撮影した動画像を取得する取得部１１と、取得された動画像における動き消失点６０を検出する検出部１３と、検出された動き消失点６０の軌跡の、取得された動画像の水平方向に対する傾きを用いて、カメラ２０の光軸Ｊ回りの取り付け傾きθの推定値を算出する算出部１４とを備える。
　このような構成により、カメラ姿勢推定装置１０は、車両５０に取り付けられたカメラ２０の、光軸Ｊ回りの取り付け傾きθを推定することができる。
　また、従来、カメラ２０の光軸Ｊ回りの取り付け傾きθがあることによって、取り付け傾きφの推定値、及び、カメラ２０のチルト方向の取り付け傾きψの推定値に誤差が生じる場合があった。
　これに対し、カメラ姿勢推定装置１０は、さらに、検出された動き消失点６０の軌跡の、取得された動画像の水平方向に対する傾きθ’に応じて取得された動画像を補正する画像処理部１７を備える。検出部１３は、補正された動画像における車両５０の直進時の動き消失点６０の位置を検出する。算出部１４は、車両５０の直進時の動き消失点６０の位置の、補正された動画像の画像中心からのずれに基づいて、カメラ２０のパン方向の取り付け傾きφの推定値、及び、カメラ２０のチルト方向の取り付け傾きψの推定値を算出する。
　このような構成により、カメラ姿勢推定装置１０は、光軸Ｊ回りの取り付け傾きθを考慮して、パン方向の取り付け傾きφの推定値、及び、チルト方向の取り付け傾きψの推定値をより正確に算出することができる。
　また、実施の形態１においては、カメラ姿勢推定装置１０は、さらに、算出された光軸Ｊ回りの取り付け傾きθの推定値を出力する出力部１６を備える。
　これにより、カメラ姿勢推定装置１０は、算出された光軸Ｊ回りの取り付け傾きθを演算装置４０などの外部装置に出力することができる。
　［変形例］
　上記実施の形態１では、検出部１３は、画像処理部１７によって補正された動画像における直進時の動き消失点６０の位置を検出することにより、取り付け傾きφの推定値、及び、取り付け傾きψの推定値を算出した。しかしながら、画像処理部１７による動画像の補正は、省略されてもよい。つまり、図５のフローチャートにおいてステップＳ１６は省略され、ステップＳ１７以降の処理は、補正前の動画像（取得部１１によって取得された動画像）を用いて行われてもよい。
　この場合、ステップＳ１７において、検出部１３は、取得部１１によって取得され、かつ、前処理部１２によって前処理された動画像における車両５０の直進時の動き消失点６０の位置を検出する。
　ステップＳ１８において、算出部１４は、車両５０の直進時の動き消失点６０の位置の、取得された動画像の画像中心からのずれを算出する。そして、ステップＳ１９においては、算出部１４は、ステップＳ１８において算出されたずれと、ステップＳ１４において算出された傾きθ’とに基づいて、カメラ２０のパン方向の取り付け傾きφの推定値、及び、カメラ２０のチルト方向の取り付け傾きψの推定値を算出する。
　ここで、ステップＳ１８において、水平軸Ｘの方向におけるずれが、ｕ［ｐｉｘｅｌ］、垂直軸Ｙの方向におけるずれが、ｖ［ｐｉｘｅｌ］であると算出されたとする。取り付け傾きθのずれを補正するために、座標（ｕ，ｖ）を－θ’だけ回転させた座標（ｕ´，ｖ´）は、以下の式で表される。
Figure JPOXMLDOC01-appb-M000003
　そうすると、取り付け傾きφの推定値、及び、取り付け傾きψの推定値は、以下の式で算出される。なお、実施の形態１と同様に、δｕは、水平方向の画素ピッチであり、δｖは、垂直方向の画素ピッチであり、ｆは、カメラ２０の焦点距離である。
Figure JPOXMLDOC01-appb-M000004
　以上説明したように、カメラ姿勢推定装置１０は、画像処理部１７による動画像の補正を行わずに、傾きθ’を考慮して、取り付け傾きφの推定値、及び、取り付け傾きψの推定値を算出することができる。
　（他の実施の形態）
　以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
　そこで、以下、他の実施の形態をまとめて説明する。
　実施の形態では、本開示における技術を運転支援装置に適用する例について説明した。しかしながら、本開示における技術は、例えば、カメラの姿勢を推定するための専用装置など、その他の装置として実現されてもよい。
　また、実施の形態では、カメラは、車両に取り付けられたが、車両以外の移動体に取り付けられてもよい。例えば、ロボットまたは飛行機などの移動体に取り付けられてもよい。カメラの取り付け位置についても特に限定されるものではない。
　また、実施の形態では、カメラは、車両の移動方向の後方を撮影したが、車両の移動方向の前方を撮影してもよい。この場合、車両が移動方向の前方に移動しているときに撮影された動画像中において、カメラが撮影した静止物は、車両の移動に応じて動き消失点を起点として移動する。
　また、本開示における技術の包括的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたはコンピュータ読み取り可能なＣＤ－ＲＯＭなどの記録媒体で実現されてもよい。また、本開示における技術は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。
　例えば、本開示における技術は、カメラ姿勢推定装置が実行する、カメラ姿勢推定方法として実現されてもよい。また、パーソナルコンピュータまたはスマートホンなどの情報通信端末をカメラ姿勢推定装置として動作させるためのプログラムとして実現されてもよい。
　なお、実施の形態において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵまたはプロセッサなどのプログラム実行部が、ハードディスクまたは半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
　また、各構成要素は、回路でもよい。これらの回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。
　例えば、各実施の形態において、特定の処理部が実行する処理を別の処理部が実行してもよい。また、複数の処理の順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
　以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面及び詳細な説明を提供した。
　したがって、添付図面及び詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
　また、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
　本開示における技術は、移動体に取り付けられたカメラの、光軸回りの取り付け傾きを推定することができるカメラ姿勢推定装置として有用である。本開示における技術は、具体的には、移動体を運転する運転者を支援する運転支援装置などに適用可能である。
　１０　カメラ姿勢推定装置
　１１　取得部
　１２　前処理部
　１３　検出部
　１４　算出部
　１５　記憶部
　１６　出力部
　１７　画像処理部
　２０　カメラ
　３０　表示装置
　４０　演算装置
　５０　車両
　６０　動き消失点
　１００　運転支援装置

Claims (7)

  1. 　移動体に取り付けられたカメラが、当該移動体が移動方向を変えながら移動している間に当該移動方向の前方または後方を撮影した動画像を取得する取得部と、
    　取得された動画像における動き消失点を検出する検出部と、
    　検出された動き消失点の軌跡の、取得された動画像の水平方向に対する傾きを用いて、前記カメラの光軸回りの取り付け傾きの推定値を算出する算出部とを備える
    　カメラ姿勢推定装置。
  2. 　さらに、検出された動き消失点の軌跡の、取得された動画像の水平方向に対する傾きに応じて取得された動画像を補正する画像処理部を備え、
    　前記検出部は、さらに、補正された動画像における前記移動体の直進時の動き消失点の位置を検出し、
    　前記算出部は、さらに、前記移動体の直進時の動き消失点の位置の、補正された動画像の画像中心からのずれに基づいて、前記カメラのパン方向の取り付け傾きの推定値、及び、前記カメラのチルト方向の取り付け傾きの推定値を算出する
    　請求項１に記載のカメラ姿勢推定装置。
  3. 　前記検出部は、さらに、取得された動画像における前記移動体の直進時の動き消失点の位置を検出し、
    　前記算出部は、さらに、前記移動体の直進時の動き消失点の位置の、取得された動画像の画像中心からのずれと、検出された動き消失点の軌跡の、取得された動画像の水平方向に対する傾きとに基づいて、前記カメラのパン方向の取り付け傾きの推定値、及び、前記カメラのチルト方向の取り付け傾きの推定値を算出する
    　請求項１に記載のカメラ姿勢推定装置。
  4. 　さらに、算出された前記光軸回りの取り付け傾きの推定値を出力する出力部を備える
    　請求項１～３のいずれか１項に記載のカメラ姿勢推定装置。
  5. 　前記カメラは、前記移動方向の後方を撮影し、
    　前記移動体が前記移動方向の前方に移動しているときに撮影された動画像中において、前記カメラが撮影した静止物は、前記移動体の移動に応じて前記動き消失点に向かって移動する
    　請求項１～４のいずれか１項に記載のカメラ姿勢推定装置。
  6. 　請求項１～５のいずれか１項に記載のカメラ姿勢推定装置と、
    　検出された動き消失点の軌跡の、取得された動画像の水平方向に対する傾きに応じて補正された、前記カメラが撮影した動画像を、前記移動体の運転者のために表示する表示装置とを備える
    　運転支援装置。
  7. 　移動体に取り付けられたカメラが、当該移動体が移動方向を変えながら移動している間に当該移動方向の前方または後方を撮影した動画像を取得し、
    　取得された動画像における動き消失点を検出し、
    　検出された動き消失点の軌跡の、取得された動画像の水平方向に対する傾きを用いて、前記カメラの光軸回りの取り付け傾きの推定値を算出する
    　カメラ姿勢推定方法。
PCT/JP2016/000093 2015-03-27 2016-01-08 カメラ姿勢推定装置、運転支援装置、及び、カメラ姿勢推定方法 WO2016157666A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-067537 2015-03-27
JP2015067537 2015-03-27

Publications (1)

Publication Number Publication Date
WO2016157666A1 true WO2016157666A1 (ja) 2016-10-06

Family

ID=57005455

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/000093 WO2016157666A1 (ja) 2015-03-27 2016-01-08 カメラ姿勢推定装置、運転支援装置、及び、カメラ姿勢推定方法

Country Status (1)

Country Link
WO (1) WO2016157666A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210482A (zh) * 2020-02-24 2020-05-29 高新兴科技集团股份有限公司 摄像机视频图像实时纠偏方法、计算机存储介质及设备
CN113160322A (zh) * 2021-03-17 2021-07-23 地平线(上海)人工智能技术有限公司 摄像装置标定方法和设备、介质以及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置
JP2007034989A (ja) * 2005-07-29 2007-02-08 Nissan Motor Co Ltd 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
WO2013150794A1 (ja) * 2012-04-04 2013-10-10 京セラ株式会社 較正処理装置、カメラ装置、カメラシステム、およびカメラ較正方法
WO2014045344A1 (ja) * 2012-09-18 2014-03-27 トヨタ自動車株式会社 車載カメラのｆｏｅ設定装置及びｆｏｅ設定方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259995A (ja) * 2001-03-06 2002-09-13 Nissan Motor Co Ltd 位置検出装置
JP2007034989A (ja) * 2005-07-29 2007-02-08 Nissan Motor Co Ltd 撮像装置のずれ検出方法、撮像装置のずれ補正方法及び撮像装置
WO2013150794A1 (ja) * 2012-04-04 2013-10-10 京セラ株式会社 較正処理装置、カメラ装置、カメラシステム、およびカメラ較正方法
WO2014045344A1 (ja) * 2012-09-18 2014-03-27 トヨタ自動車株式会社 車載カメラのｆｏｅ設定装置及びｆｏｅ設定方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111210482A (zh) * 2020-02-24 2020-05-29 高新兴科技集团股份有限公司 摄像机视频图像实时纠偏方法、计算机存储介质及设备
CN111210482B (zh) * 2020-02-24 2024-03-05 高新兴科技集团股份有限公司 摄像机视频图像实时纠偏方法、计算机存储介质及设备
CN113160322A (zh) * 2021-03-17 2021-07-23 地平线(上海)人工智能技术有限公司 摄像装置标定方法和设备、介质以及电子设备

Similar Documents

Publication Publication Date Title
US8767036B2 (en) Panoramic imaging apparatus, imaging method, and program with warning detection
JP4164703B2 (ja) 広視野画像入力方法及び装置
US8004570B2 (en) Image processing apparatus, image-pickup apparatus, and image processing method
JP5222597B2 (ja) 画像処理装置及び方法、運転支援システム、車両
US20100085422A1 (en) Imaging apparatus, imaging method, and program
JP2016030554A (ja) 車載カメラの取り付け姿勢検出方法およびその装置
JP2008182652A (ja) カメラ姿勢推定装置、車両、およびカメラ姿勢推定方法
WO2005079060A1 (ja) 運転支援装置
CN111800589B (zh) 图像处理方法、装置和系统，以及机器人
JP6098873B2 (ja) 撮像装置および画像処理装置
WO2019156072A1 (ja) 姿勢推定装置
CN112204946A (zh) 数据处理方法、装置、可移动平台及计算机可读存储介质
WO2016157666A1 (ja) カメラ姿勢推定装置、運転支援装置、及び、カメラ姿勢推定方法
JP6332212B2 (ja) 姿勢推定装置、姿勢推定方法及びプログラム
JP5907914B2 (ja) 車両用運転支援装置
JP2016220024A (ja) パンニング表示制御装置および撮像装置
JP2016021712A (ja) 画像処理装置、及び、運転支援システム
JP5279453B2 (ja) 画像振れ補正装置、撮像装置及び画像振れ補正方法
JP5049304B2 (ja) 車両の周辺を画像表示するための装置
JP2019153237A (ja) 画像処理装置、画像表示システムおよび画像処理方法
US20150103191A1 (en) Imaging apparatus and detecting apparatus
JP5875248B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5125619B2 (ja) 車載カメラシステム
JP6234335B2 (ja) 撮像装置及び撮像装置を設置した移動体
JP6188369B2 (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16771563

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 16771563

Country of ref document: EP

Kind code of ref document: A1