WO2013038506A1 - 車載カメラの光軸把握装置 - Google Patents

車載カメラの光軸把握装置 Download PDF

Info

Publication number
WO2013038506A1
WO2013038506A1 PCT/JP2011/070878 JP2011070878W WO2013038506A1 WO 2013038506 A1 WO2013038506 A1 WO 2013038506A1 JP 2011070878 W JP2011070878 W JP 2011070878W WO 2013038506 A1 WO2013038506 A1 WO 2013038506A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
optical axis
camera
vehicle camera
image
Prior art date
Application number
PCT/JP2011/070878
Other languages
English (en)
French (fr)
Inventor
勇二郎 小畠
Original Assignee
トヨタ自動車株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トヨタ自動車株式会社 filed Critical トヨタ自動車株式会社
Priority to CN201180073441.9A priority Critical patent/CN103797788B/zh
Priority to US14/344,504 priority patent/US9440585B2/en
Priority to PCT/JP2011/070878 priority patent/WO2013038506A1/ja
Priority to EP11872218.0A priority patent/EP2757781B1/en
Priority to JP2013533386A priority patent/JP5858045B2/ja
Publication of WO2013038506A1 publication Critical patent/WO2013038506A1/ja

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/26—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the rear of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B60R2300/305—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images merging camera image with lines or icons
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/806—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for aiding parking
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8066—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring rearward traffic

Definitions

  • the present invention relates to an optical axis adjustment of an in-vehicle camera that is mounted on a vehicle and used for obstacle detection, rearward confirmation, and the like.
  • a technique for controlling a vehicle and providing information to a driver based on video information obtained from a camera mounted on the vehicle is known.
  • white line information that is a boundary of a travel lane in which the host vehicle travels is detected from an image and used for vehicle departure determination, or a parking target position is set based on the image, and the target
  • Patent Document 1 is an example of such an optical axis direction adjustment technique, and a projection unit that projects a mark onto a screen placed at an arbitrary position in front of the vehicle, and a measurement that measures the distance to the screen. A distance is provided, and a mark is projected onto the position on the optical axis center line on the screen from the information on the optical axis center line determined for each vehicle and the distance to the screen, and the optical axis is adjusted based on the projected image. That's it.
  • an object of the present invention is to provide an optical axis grasping device for an in-vehicle camera that can easily adjust and correct the optical axis of the in-vehicle camera.
  • an optical axis grasping device for an in-vehicle camera is an optical axis grasping device for grasping the optical axis direction of an in-vehicle camera, and detects an obstacle from an image taken by the in-vehicle camera.
  • An obstacle tracking means for tracking, a moving distance detecting means for detecting a moving distance of the vehicle, and a stationary object being tracked by the obstacle tracking means after coming out of the imageable area of the in-vehicle camera by approaching the vehicle It is characterized by comprising grasping means for grasping the optical axis direction of the in-vehicle camera based on the movement distance of the vehicle detected by the movement distance detecting means until contact and the mounting position of the in-vehicle camera.
  • the camera's optical axis direction may be adjusted automatically or manually based on the grasped optical axis direction, but it can be adjusted by correcting the display image and the image superimposed on this image based on the grasped optical axis direction. You may change it.
  • This stationary object may be a ring stop installed on the ground surface.
  • the range that can be captured by the in-vehicle camera is determined by the angle of view of the in-vehicle camera and its optical axis direction.
  • the moving distance matches the distance between the obstacle and the contact position of the vehicle and the boundary closest to the vehicle among the shootable region boundaries of the camera. It is possible to accurately grasp the direction of the optical axis of the camera from this position, camera mounting conditions, and camera specifications (view angle).
  • FIG. 3 is a diagram illustrating a positional relationship between an initial wheel ring and a vehicle during the process of FIG. 2. It is a figure which shows the positional relationship of the ring stop at the time of retreating from the state of FIG. 3, and a vehicle. It is a figure which shows the positional relationship of a ring stop and a vehicle at the time of reaching
  • FIG. 1 shows a block configuration diagram of a parking assistance device including an embodiment of an optical axis grasping device according to the present invention.
  • the image acquired with the in-vehicle camera is applied to the parking assist operation will be described as an example.
  • the image captured with the in-vehicle camera is used for other driver assistance, for example, lane recognition, obstacle detection, contact avoidance, etc. Even if it is used, the present invention is applicable.
  • This parking assistance device superimposes the target parking position image calculated by the parking assistance means 6 on the image acquired by the rear camera 1 arranged behind the vehicle and displays it on the display 7 arranged in the vehicle interior. This assists the driver in parking.
  • the parking support device includes an image processing device 2 that processes an image acquired by the rear camera 1, and the movement of the vehicle by detecting the rotation of the rear wheels.
  • a rear wheel rotation sensor 3 functioning as a moving distance calculating means for detecting a distance
  • a display correcting means 4 for correcting the display position of an image displayed on the display 7, and a grasping means for grasping the optical axis direction of the rear camera 1.
  • a correction value calculation means 5 for calculating a correction value for display correction by the display correction means 4 is provided.
  • the image processing apparatus 2 includes an image recognition unit 20 and a tracking unit 21 inside.
  • the image recognition unit 20 and the tracking unit 21 correspond to the obstacle tracking unit of the present invention, and here, a case where a ring stopper installed on the ground surface is used as a stationary obstacle will be described as an example.
  • the image processing device 2, the display correction means 4, the correction value calculation means 5, and the parking support means 6 are all a CPU (central processing unit), ROM (Read Only). Memory), RAM (Random Access Memory), etc., but a plurality of devices / means may share part or all of the hardware. Further, when each device / means is realized by software, the software does not need to be independent from each other, and some programs may be shared or may be realized in the same program.
  • the display 7 does not need to be a dedicated display and may be shared with display devices for AV equipment and navigation equipment.
  • the rear wheel rotation sensor 3 can be a sensor of the type used as a wheel speed sensor that emits a predetermined number of pulse signals per rotation according to the rotation of the rear wheel.
  • the rear camera 1 can use a camera of a type that outputs an image with a predetermined number of pixels as a moving image at a predetermined frame rate (for example, a television frame rate), and can output the image processing apparatus 2 as digital data.
  • a predetermined frame rate for example, a television frame rate
  • an AD converter may be provided between the rear camera 1 and the image processing apparatus 2 or an AD conversion function may be provided on the image processing apparatus 2 side.
  • FIG. 2 is a flowchart showing the optical axis direction grasping process in the apparatus of FIG. 1, and FIGS. 3 to 5 are views showing the positional relationship between the wheel stopper and the vehicle during this process.
  • FIG. 6 is a diagram for explaining grasping of the optical axis deviation by this processing.
  • This grasping process is performed with the correction value calculation means 5 and the image processing apparatus 2 as the center.
  • the grasping process is performed when the optical axis correction process is set to ON by an input unit (not shown) (for example, a touch panel integrated with the display 7) and the vehicle is set in the reverse state.
  • the image recognition unit 20 of the image processing apparatus 2 acquires image data from the rear camera 1 and performs recognition processing (step S1).
  • recognition processing step S1
  • the recognition process of the loop stopper 9 is performed by recognizing an object having a substantially rectangular parallelepiped shape that is long on the ground and is installed on the ground by a pattern matching method or the like.
  • step S2 it is determined whether or not the recognition is successful (step S2).
  • the process proceeds to step S3, and when it cannot be recognized, the process returns to step S1.
  • a fixed time passes without recognizing the ring stop 9
  • step S3 the tracking unit 21 performs the tracking process of the loop 9 based on the loop 9 information recognized by the image recognition unit 20.
  • each frame image is acquired from the rear camera 1
  • the ring bracket 9 is recognized by the image recognition unit 20
  • position information in the image of the recognized ring bracket 9 is acquired, and this is tracked in time series. Is done.
  • This tracking process is performed until the wheel retainer 9 disappears from the screen when the vehicle 8 approaches the wheel retainer 9 (step S4).
  • the loop retainer 9 is located between the view angle boundary lines 10 and 11 of the rear camera 1.
  • steps S5 and S6 based on the output of the rear wheel rotation sensor 3, the rotation of the rear wheel 80 is performed until the rear wheel 80 reaches the position of the wheel retainer 9 after the wheel retainer 6 disappears from the screen (see FIG. 5). Count the number.
  • step S7 from the time when the wheel ring 9 is removed from the photographable region of the rear camera 1 based on the tire radius that is known from the counted number of rotations of the rear wheel 80 and the specifications of the vehicle 8, until the rear wheel 80 arrives.
  • the moving distance L of the vehicle 8 is calculated.
  • the rear camera 1 is based on the difference between the moving distance L of the vehicle 8 and the target moving distance LL when the rear camera 1 is arranged in the optical axis direction as designed, and the mounting position information of the rear camera 1. Is calculated. As shown in FIG. 6, the distance between the view angle boundary line 10 i on the vehicle side of the rear camera 1 i at the design position and the contact position of the rear wheel 80 with the wheel ring 9 is LL, and the actual rear camera 1 on the vehicle side The distance between the angle of view boundary line 10 and the contact position of the rear wheel 80 with the ring stop 9 is L. When LL and L substantially coincide with each other, there is no optical axis shift. When L is longer than LL, the rear camera 1 is shifted in the direction farther from the vehicle than the designed position. When L is shorter than LL, it can be seen that the optical axis of rear camera 1 is shifted from the designed position toward the vehicle.
  • step S9 the correction value calculation means 5 calculates an appropriate correction amount in the display correction means 4 based on the obtained optical axis deviation, and ends the process.
  • the display correction unit 4 When the display correction unit 4 superimposes the display image sent from the parking support unit 6 with the video obtained by the rear camera 1 based on the obtained correction amount, the display correction unit 4 sets the display position of one of the videos or both. By correcting, the optical axis deviation is corrected and displayed on the display 7.
  • FIG. 7 shows an example of this image display.
  • a target parking position frame 71 when the vehicle is moved backward while maintaining the current steering angle is displayed.
  • the display image 70 is shifted closer to the vehicle than the design position. It will shift to the side farther from the vehicle than the displayed position. For this reason, if the driver sets the steering angle so that the target parking position frame 71 matches the parking area on this screen and performs the parking operation according to the parking assistance, the displayed target parking position frame 71 cannot be reached. there is a possibility.
  • the display position of the target parking position frame 71 is corrected so as to match the actual image, so that the vehicle can be reliably guided to the displayed target parking position.
  • the calculated optical axis deviation may be used for adjusting the optical axis position of the camera.
  • the optical axis position may be adjusted automatically by, for example, attaching the rear camera 1 to the vehicle via a motor or the like.
  • guidance may be displayed on the display and adjusted manually. You may be able to perform.
  • the present invention is not limited to the adjustment of the rear camera 1, but can be applied to grasping and adjusting the optical axis of other cameras such as the front camera.
  • the object used for grasping the optical axis is not limited to the ring stop, and may be other stationary objects.
  • the stationary object only needs to be capable of determining contact with the vehicle, and the contact point with the vehicle is not limited to the tire but may be a bumper or a vehicle body.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

　本発明は、車載カメラの光軸調整・補正を簡便に行うことを可能とした車載カメラの光軸把握装置を提供することを課題とするものである。この光軸把握装置は、リアカメラ１で取得した画像から静止障害物（例えば、地面上に配置されている輪留め）を画像認識によって検知して追跡する画像処理装置２（画像認識部２０と追跡部２１）と、車両の移動距離を検出するセンサとして、例えば、後輪回転センサ３と、を備え、追跡中の静止物が車両との接近によりリアカメラ１の撮影可能領域から外れてから、車両と接触するまでの車両の移動距離と、車載カメラの取り付け位置に基づいて車載カメラの光軸方向を把握するものである。

Description

車載カメラの光軸把握装置
　本発明は、車両に搭載されて、障害物の検出や後方確認等に用いられる車載カメラの光軸調整に関する。
　車両に搭載したカメラから得られた映像情報に基づいて車両の制御や運転者への情報提供を行う技術が知られている。この種の技術としては、例えば、画像から自車両が走行する走行レーンの境界である白線情報を検知して車両の逸脱判定に用いる技術や、画像に基づいて駐車目標位置を設定し、当該目標位置に到達する経路を誘導、案内する技術などがある。
　このような技術においては、車載カメラで取得した画像中の対象物の位置から車両に対する対象物の位置への座標変換が用いられる。この座標変換において対象物の車両に対する位置を精度よく把握するためには、車載カメラの取り付け位置、向き（光軸方向）を精度よく把握しておく必要がある。
　特許文献１に記載されている技術はこうした光軸方向調整技術の一例であって、車両の前方の任意位置に置かれたスクリーンへマークを投影する投影部と、スクリーンまでの距離を測定する測距部とを設け、車両ごとに決められている光軸中心線の情報とスクリーンまでの距離から、スクリーン上で光軸中心線上の位置へマークを投影して、それに基づいて光軸調整を行う、というものである。
特開２００６－７４３２９号公報
　しかしながら、この技術では、車両に対してある程度離れた距離にスクリーンを配置し、調整を行う必要があるため、広いスペースが必要となり、さらに、調整にあたってスクリーンの配置位置や投影部自体を適切に制御する必要があるため工場や整備場等以外での調整を行うことは困難である。
　そこで本発明は、車載カメラの光軸調整・補正を簡便に行うことを可能とした車載カメラの光軸把握装置を提供することを課題とする。
　上記課題を解決するため、本発明にかかる車載カメラの光軸把握装置は、車載カメラの光軸方向を把握する光軸把握装置であって、車載カメラで撮影した画像から障害物を検知して追跡する障害物追跡手段と、車両の移動距離を検出する移動距離検出手段と、障害物追跡手段により追跡中の静止物が車両との接近により車載カメラの撮影可能領域から外れてから、車両と接触するまでの移動距離検出手段で検出した車両の移動距離と、車載カメラの取り付け位置に基づいて車載カメラの光軸方向を把握する把握手段と、を備えていることを特徴とする。
　把握した光軸方向に基づいてカメラの光軸方向を自動または手動により調整してもよいが、把握した光軸方向に基づいて表示画像やこの画像に重ね合わせる画像を補正することで、調整に変えてもよい。この静止物は、地上面に設置される輪留めであるとよい。
　車載カメラで撮像できる範囲は、車載カメラの画角、その光軸方向によって定まる。そこで、撮影可能領域内に位置していた障害物が、車両が障害物方向へと移動することにより、カメラの撮影可能領域内から外れて車両（例えば、タイヤ）と接触するまでの車両の移動距離を検出すると、この移動距離は、当該障害物と車両の接触位置からカメラの撮影可能領域境界のうち最も車両に近い側の境界との距離に合致する。この位置と、カメラの取り付け条件、カメラの諸元（画角）からカメラの光軸方向を精度よく把握することができる。
　把握した光軸方向に基づいて表示の補正を行うことで、簡便に光軸方向の調整を行ったのと同様の効果が得られる。輪留めを用いることで光軸方向の把握を容易、かつ、確実に行うことができる。
本発明にかかる光軸把握装置のブロック構成図である。 図１の装置における光軸方向把握処理を示すフローチャートである。 図２の処理中の初期の輪留めと車両の位置関係を示す図である。 図３の状態から後退している際の輪留めと車両の位置関係を示す図である。 図４の状態から輪留めに到達した際の輪留めと車両の位置関係を示す図である。 図２の処理による光軸ずれの把握を説明する図である。 図１の装置における画像表示例である。
　以下、添付図面を参照して本発明の好適な実施の形態について詳細に説明する。説明の理解を容易にするため、各図面において同一の構成要素に対しては可能な限り同一の参照番号を附し、重複する説明は省略する。
　本発明にかかる光軸把握装置の実施形態を含む駐車支援装置のブロック構成図を示す。ここでは、車載カメラで取得した画像を駐車支援操作に適用する場合を例に説明するが、車載カメラで撮影した画像をその他の運転者支援、例えば、レーン認識や障害物検出、接触回避等に用いる場合であっても本発明は適用可能である。この駐車支援装置は、車両後方に配置されたリアカメラ１で取得した画像に、駐車支援手段６で算出した目標駐車位置画像を重ね合わせて、車室内に配置されるディスプレー７に表示することで、運転者の駐車操作を支援するものである。
　この駐車支援装置には、リアカメラ１、駐車支援手段６、ディスプレー７のほか、リアカメラ１で取得した画像を処理する画像処理装置２と、後輪の回転を検出することにより、車両の移動距離を検知する移動距離算出手段として機能する後輪回転センサ３と、ディスプレー７に表示する画像の表示位置の補正を行う表示補正手段４、リアカメラ１の光軸方向を把握する把握手段であって、当該表示補正手段４による表示補正の補正値を算出する補正値算出手段５を備えている。また、画像処理装置２は、内部に画像認識部２０と、追跡部２１とを備えている。この画像認識部２０と、追跡部２１とが本発明の障害物追跡手段に対応し、ここでは、静止傷害物として地上面に設置される輪留めを用いる場合を例に説明する。
　画像処理装置２、表示補正手段４、補正値算出手段５、駐車支援手段６は、いずれもＣＰＵ（central processing unit）、ＲＯＭ（Read Only
Memory）、ＲＡＭ（Random Access Memory）等によって構成されるが、複数の装置・手段がハードウェアの一部または全部を共有していてもよい。また、各装置・手段がソフトウェアによって実現される場合、当該ソフトウェアはそれぞれ独立している必要はなく、一部のプログラムを共用していてもよく、同一のプログラム内で実現されていてもよい。
　ディスプレー７としては、専用のディスプレーである必要はなく、ＡＶ機器、ナビゲーション機器の表示装置と共用してもよい。後輪回転センサ３は、後輪の回転に応じて１回転に所定個数のパルス信号を発する車輪速センサとして用いられるタイプのセンサを用いることができる。
　リアカメラ１は、動画像として所定の画素数の画像を所定のフレームレート（例えば、テレビフレームレート）で出力するタイプのカメラを用いることができ、画像処理装置２にデジタルデータとして出力することが好ましい。リアカメラ１の出力がアナログ信号である場合には、画像処理装置２との間にＡＤ変換器を設けるか、画像処理装置２側にＡＤ変換機能を設けるとよい。
　次に、この装置による光軸ずれの把握処理について、図２～図６を参照して説明する。図２は、図１の装置における光軸方向把握処理を示すフローチャートであり、図３～図５は、この処理中の輪留めと車両の位置関係を示す図である。また、図６は、この処理による光軸ずれの把握を説明する図である。
　この把握処理は、補正値算出手段５と画像処理装置２を中心にして行われる。把握処理は、図示していない入力手段（例えば、ディスプレー７に一体化されたタッチパネル）により光軸補正処理をオンに設定され、車両を後退状態に設定したときに行われる。
　最初に、画像処理装置２の画像認識部２０が、リアカメラ１から画像データを取得し、認識処理を行う（ステップＳ１）。ここでは、認識対象物として図３～図５に示されるように輪留め９を用いる場合を例に説明する。輪留め９の認識処理は、パターンマッチング手法等により地面上に設置された横に長い略直方体形状の物体を認識することにより行われる。
　次に、認識に成功したか否かを判定する（ステップＳ２）。輪留め９を認識できた場合には、ステップＳ３へと移行し、認識できない場合には、ステップＳ１へと戻る。なお、輪留め９を認識できないまま、一定時間が経過した場合には、認識不能として処理を終了するか、運転者に確認を求めるとよい。
　ステップＳ３では、画像認識部２０で認識した輪留め９情報に基づいて、追跡部２１が輪留め９の追跡処理を行う。この追跡処理は、リアカメラ１から各フレーム画像を取得し、画像認識部２０で輪留め９を認識し、認識した輪留め９の画像内での位置情報を取得し、これを時系列で追跡することにより行われる。この追跡処理を車両８が輪留め９に接近することにより、画面内から輪留め９が消失するまで行う（ステップＳ４）。図３に示すように、最初にリアカメラ１で取得した画像中に輪留め９が映っている状態においては、リアカメラ１の画角境界線１０、１１の間に輪留め９は位置する。この状態から、車両８が後退を続けて輪留め９に接近していくと、図４に示されるように、車両側（車両８から見て手前側、若しくは下側）の画角境界線１０より輪留め９が車両側に位置することになり、画角境界線１０、１１ではさまれる撮影可能領域から輪留め９が外れることになる。このように、輪留め９がリアカメラ１の撮影可能領域から外れて、映らなくなった時点で輪留め９が消失したと判定し、ステップＳ５へと移行する。
　ステップＳ５、Ｓ６では、後輪回転センサ３の出力に基づいて、輪留め６が画面から消失してから輪留め９位置に後輪８０が到達するまで（図５参照）、後輪８０の回転数をカウントする。
　ステップＳ７では、カウントした後輪８０の回転数と車両８の諸元から既知のタイヤ半径に基づいて輪留め９がリアカメラ１の撮影可能領域から外れてから、後輪８０が到達するまでの車両８の移動距離Ｌを算出する。
　続くステップＳ８では、車両８の移動距離Ｌとリアカメラ１が設計どおりの光軸方向に配置されている場合の目標移動距離ＬＬとの差、リアカメラ１の取り付け位置情報に基づいてリアカメラ１の光軸ずれを求める。図６に示されるように、設計位置のリアカメラ１ｉの車両側の画角境界線１０ｉと後輪８０の輪留め９接触位置との距離がＬＬであり、実際のリアカメラ１の車両側の画角境界線１０と後輪８０の輪留め９接触位置との距離がＬになる。ＬＬとＬとがほぼ一致する場合には、光軸ずれはなく、ＬＬよりＬが長い場合には、リアカメラ１は設計上の位置より車両から遠い方向へ光軸がずれており、逆にＬＬよりＬが短い場合には、リアカメラ１は設計上の位置より車両側へと光軸がずれていることがわかる。
　リアカメラ１、１ｉの画角境界線１０、１０ｉの鉛直方向との傾きをそれぞれθ、θｉとし、カメラの取り付け高さをｈとすると、以下が成立する。（ここでは、カメラの取り付け高さで画像境界線１０、１０ｉが交わるものとする。）
　ＬＬ－Ｌ＝ｈ（tanθｉ-tanθ）
　この式から光軸方向のずれ量である（θｉ－θ）を求めることができる。
　ステップＳ９では、補正値算出手段５が、求めた光軸ずれに基づいて表示補正手段４における適切な補正量を算出して処理を終了する。
　表示補正手段４は、得られた補正量に基づいて、駐車支援手段６から送られた表示画像をリアカメラ１で得られた映像と重ね合わせる際に、いずれかの映像または双方の表示位置を補正することで、光軸ずれを補正してディスプレー７に表示する。
　図７は、この画像表示例である。ディスプレー７の表示画像７０中に現在の舵角を維持したまま後退した際の目標駐車位置枠７１が表示される。リアカメラ１の光軸方向が図６で示されるように車両方向にずれている場合、表示画像７０は、設計位置よりも車両に近い側にずれることになるため、目標駐車位置枠７１は本来表示される位置よりも車両から遠い側にずれてしまう。このため、運転者がこの画面上で目標駐車位置枠７１が駐車区画に合致するように舵角を設定して駐車支援にしたがって駐車操作を行うと、表示された目標駐車位置枠７１へ到達できない可能性がある。本発明によれば、この場合には、実画像に合致するように目標駐車位置枠７１の表示位置の補正を行うので、表示された目標駐車位置へと車両を確実に誘導することができる。
　以上の説明では、ディスプレーへの表示を補正する例を説明したが、算出した光軸ずれをカメラの光軸位置調整に用いてもよい。光軸位置調整は、例えば、モーター等を介してリアカメラ１を車両に取り付けることで、自動的に調整を行えるようにしてもよいし、ディスプレー等にガイダンスを表示してそれに基づいて手動により調整を行えるようにしてもよい。
　また、本発明は、リアカメラ１の調整に限られるものではなく、前方カメラなどの他のカメラの光軸把握・調整においても適用可能である。また、光軸把握に用いられる物体は輪留めに限られるものではなく、その他の静止物であってもよい。この場合、当該静止物は、車両との接触を判定できるものであればよく、車両との接触箇所はタイヤに限られず、バンパーや車両本体であってもよい。
　１、１ｉ…リアカメラ、２…画像処理装置、３…後輪回転センサ、４…表示補正手段、５…補正値算出手段、６…駐車支援手段、７…ディスプレー、８…車両、９…輪留め、１０、１０ｉ、１１…画角境界線、２０…画像認識部、２１…追跡部、７０…表示画像、７１…目標駐車位置枠、８０…後輪。

Claims (3)

  1. 車載カメラの光軸方向を把握する光軸把握装置であって、
    　前記車載カメラで撮影した画像から障害物を検知して追跡する障害物追跡手段と、
    　車両の移動距離を検出する移動距離検出手段と、
    　前記障害物追跡手段により追跡中の静止物が車両との接近により前記車載カメラの撮影可能領域から外れてから、車両と接触するまでの前記移動距離検出手段で検出した車両の移動距離と、前記車載カメラの取り付け位置に基づいて前記車載カメラの光軸方向を把握する把握手段と、
    　を備えていることを特徴とする車載カメラの光軸把握装置。
  2. 前記把握手段で把握した光軸方向に基づいて前記車載カメラで撮影した画像または当該画像に重ね合わせて表示する画像の表示位置の補正を行う補正手段をさらに備えている請求項１記載の車載カメラの光軸把握装置。
  3. 前記静止物は、地上面に設置される輪留めである請求項１または２に記載の車載カメラの光軸把握装置。
PCT/JP2011/070878 2011-09-13 2011-09-13 車載カメラの光軸把握装置 WO2013038506A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201180073441.9A CN103797788B (zh) 2011-09-13 2011-09-13 车载摄像头的光轴掌握装置
US14/344,504 US9440585B2 (en) 2011-09-13 2011-09-13 Optical axis ascertaining device for in-vehicle camera
PCT/JP2011/070878 WO2013038506A1 (ja) 2011-09-13 2011-09-13 車載カメラの光軸把握装置
EP11872218.0A EP2757781B1 (en) 2011-09-13 2011-09-13 Optical axis ascertaining device for in-vehicle camera
JP2013533386A JP5858045B2 (ja) 2011-09-13 2011-09-13 車載カメラの光軸把握装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/070878 WO2013038506A1 (ja) 2011-09-13 2011-09-13 車載カメラの光軸把握装置

Publications (1)

Publication Number Publication Date
WO2013038506A1 true WO2013038506A1 (ja) 2013-03-21

Family

ID=47882769

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/070878 WO2013038506A1 (ja) 2011-09-13 2011-09-13 車載カメラの光軸把握装置

Country Status (5)

Country Link
US (1) US9440585B2 (ja)
EP (1) EP2757781B1 (ja)
JP (1) JP5858045B2 (ja)
CN (1) CN103797788B (ja)
WO (1) WO2013038506A1 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6020507B2 (ja) * 2014-04-14 2016-11-02 トヨタ自動車株式会社 車両用画像表示装置及び車両用画像表示方法
JP6475543B2 (ja) * 2015-03-31 2019-02-27 株式会社デンソー 車両制御装置、及び車両制御方法
DE102015117778A1 (de) * 2015-04-30 2016-11-03 Huf Hülsbeck & Fürst Gmbh & Co. Kg Kameraeinrichtung für ein Kraftfahrzeug
JP6413974B2 (ja) * 2015-08-05 2018-10-31 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
JP6343629B2 (ja) * 2016-04-19 2018-06-13 富士通株式会社 表示制御装置、表示制御方法、および表示制御プログラム
JP6649865B2 (ja) * 2016-10-27 2020-02-19 株式会社Ｓｏｋｅｎ 物体検知装置
CN111758252B (zh) * 2020-05-21 2022-02-22 深圳市锐明技术股份有限公司 车载监控装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01273113A (ja) * 1988-04-25 1989-11-01 Mazda Motor Corp 移動車の画像処理装置
JP2002140696A (ja) * 2000-11-06 2002-05-17 Toyota Central Res & Dev Lab Inc 撮像及び画像変換装置
JP2006074329A (ja) 2004-09-01 2006-03-16 Nissan Motor Co Ltd 車載カメラの光軸調整装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10119672A (ja) 1996-10-16 1998-05-12 Isuzu Motors Ltd 車両外部監視装置
JP4156214B2 (ja) * 2001-06-13 2008-09-24 株式会社デンソー 車両周辺画像処理装置及び記録媒体
JP4045862B2 (ja) 2002-06-03 2008-02-13 日産自動車株式会社 車載カメラの光軸ずれ検出装置
JP4238663B2 (ja) 2003-08-29 2009-03-18 トヨタ自動車株式会社 車載カメラのキャリブレーション方法及びキャリブレーション装置
JP4432930B2 (ja) * 2006-04-25 2010-03-17 トヨタ自動車株式会社 駐車支援装置及び駐車支援方法
JP5636609B2 (ja) * 2008-05-08 2014-12-10 アイシン精機株式会社 車両周辺表示装置
JP4831374B2 (ja) * 2009-03-27 2011-12-07 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法、及び運転支援プログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01273113A (ja) * 1988-04-25 1989-11-01 Mazda Motor Corp 移動車の画像処理装置
JP2002140696A (ja) * 2000-11-06 2002-05-17 Toyota Central Res & Dev Lab Inc 撮像及び画像変換装置
JP2006074329A (ja) 2004-09-01 2006-03-16 Nissan Motor Co Ltd 車載カメラの光軸調整装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2757781A4

Also Published As

Publication number Publication date
US20140340521A1 (en) 2014-11-20
JPWO2013038506A1 (ja) 2015-03-23
CN103797788B (zh) 2016-12-21
CN103797788A (zh) 2014-05-14
JP5858045B2 (ja) 2016-02-10
EP2757781A4 (en) 2014-08-06
EP2757781A1 (en) 2014-07-23
EP2757781B1 (en) 2018-02-21
US9440585B2 (en) 2016-09-13

Similar Documents

Publication Publication Date Title
JP5858045B2 (ja) 車載カメラの光軸把握装置
US9973734B2 (en) Vehicle circumference monitoring apparatus
JP5172314B2 (ja) ステレオカメラ装置
EP2045132B1 (en) Driving support device, driving support method, and computer program
JP2006298115A (ja) 運転支援方法及び運転支援装置
US8461976B2 (en) On-vehicle device and recognition support system
US9280824B2 (en) Vehicle-surroundings monitoring device
US10789491B2 (en) Traffic light recognition device and traffic light recognition method
JP5947849B2 (ja) 車両の車線逸脱防止制御装置
US10528826B2 (en) Vehicle guidance system
US20170134662A1 (en) Vehicular display apparatus and vehicular display method
JP2014228943A (ja) 車両用外界センシング装置、その軸ズレ補正プログラム及びその軸ズレ補正方法
US10528056B2 (en) Vehicle guidance system
WO2014054753A1 (ja) 画像処理装置及び車両前方監視装置
JP4840472B2 (ja) 物体検出装置
JP2010089716A (ja) 駐車支援装置及び駐車支援方法
JP2014154898A (ja) 物体検知装置
JP5951785B2 (ja) 画像処理装置及び車両前方監視装置
US20200366883A1 (en) Stereo camera device
US20220327671A1 (en) Error-Robust Capture of Vehicle Surroundings
JP2010012838A (ja) 駐車支援装置、及び駐車支援方法
TW201327501A (zh) 車用影像顯示系統及其校正方法
JP2007168545A (ja) 走行支援装置
JP6174884B2 (ja) 車外環境認識装置および車外環境認識方法
JP2006117107A (ja) 車両用周辺監視装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11872218

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013533386

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14344504

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2011872218

Country of ref document: EP