WO2004068073A1 - 測距光学装置、測距方法および測距情報表示装置 - Google Patents

測距光学装置、測距方法および測距情報表示装置 Download PDF

Info

Publication number
WO2004068073A1
WO2004068073A1 PCT/JP2004/000977 JP2004000977W WO2004068073A1 WO 2004068073 A1 WO2004068073 A1 WO 2004068073A1 JP 2004000977 W JP2004000977 W JP 2004000977W WO 2004068073 A1 WO2004068073 A1 WO 2004068073A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
distance
image
optical system
imaging optical
Prior art date
Application number
PCT/JP2004/000977
Other languages
English (en)
French (fr)
Inventor
Yoshiharu Yamamoto
Motonobu Yoshikawa
Daizaburou Matsuki
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Publication of WO2004068073A1 publication Critical patent/WO2004068073A1/ja

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/22—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length at, near, or formed by the object
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement

Definitions

  • the present invention relates to a ranging optical device for measuring a distance of an imaging object using an imaging optical system and an imaging element, a ranging method using the ranging optical device, and an image from the ranging optical device.
  • the present invention relates to a ranging information display device that processes a signal and displays ranging information.
  • a distance measuring optical device for measuring the distance of an imaged object
  • an optical device based on a so-called triangulation method for example, see Japanese Patent Application Laid-Open No. 8-233571.
  • the conventional triangulation method for example, light from a light-emitting diode is spot-projected to a distance-measuring object via a light-emitting lens, and the reflected light is received by a position detecting element via a light-receiving lens.
  • the distance to the object to be measured can be known based on the light receiving position detected by the position detecting element.
  • the conventional triangulation method requires various elements for distance measurement, such as a light source and an optical system for projecting light, an optical system for receiving light, and a position detecting element.
  • An object of the present invention is to provide a ranging optical device having a simple configuration using an imaging optical system, which can also be used as an imaging device. It is another object of the present invention to provide a compact and low-cost ranging information display device which is configured using the ranging optical device and has both an imaging function and a ranging function.
  • a distance measuring optical device includes an image pickup device, an image pickup optical system for forming an image of an object on the image pickup device, and at least the image pickup optical system with respect to an optical axis. And a drive unit that moves a predetermined distance in a substantially vertical direction.
  • an image pickup optical system for forming an image of an object on the image pickup device is moved by a distance (5) in a direction substantially perpendicular to the optical axis, and is obtained from the image pickup device.
  • the amount of change ⁇ h in the height of the image of the same object is determined by image calculation, and the distance SO between the imaging optical system and the imaging device is obtained.
  • the distance of the object from the imaging optical system is determined based on the distance ⁇ 5 and the change amount Ah.
  • FIG. 1 is a cross-sectional view illustrating a schematic configuration of a distance measuring optical device according to the first embodiment.
  • FIG. 2 is an explanatory diagram showing the principle of ranging by the ranging optical device.
  • FIG. 3 is a flowchart showing a ranging method using the ranging optical device.
  • FIG. 4 is an explanatory diagram showing conditions for distance measurement by the distance measuring optical device according to the first embodiment.
  • FIG. 5A shows conditions for distance measurement by the distance measuring optical device according to the second embodiment.
  • FIG. 5B is an explanatory diagram showing the conditions for the same distance measurement.
  • FIG. 6 is a cross-sectional view illustrating a schematic configuration of a distance measuring optical device according to the third embodiment.
  • FIG. 7 is a block diagram showing a configuration of a distance measurement information display device according to the fourth embodiment.
  • FIG. 8 is an explanatory diagram showing a display state of the distance measurement information display device according to the fifth embodiment.
  • FIG. 9 is a block diagram showing a configuration of a distance measurement information display device according to the fifth embodiment.
  • FIG. 10 is an explanatory diagram showing a modification of the display state of the distance measurement information display device according to the fifth embodiment.
  • FIG. 11 is an explanatory diagram showing another modification of the display state of the distance measurement information display device according to the fifth embodiment.
  • FIG. 12 is a diagram showing an in-vehicle imaging device according to the sixth embodiment. BEST MODE FOR CARRYING OUT THE INVENTION
  • the distance measuring optical device of the present invention includes a drive unit that moves the imaging optical system by a predetermined distance in a direction substantially perpendicular to the optical axis, so that the distance measurement optical device can be obtained from the imaging device before and after the movement of the imaging optical system. It is possible to easily measure the distance using each video signal. Further, according to this configuration, since the distance measurement time is short, it is advantageous to measure the distance of a moving subject. In particular, it is useful for constructing a compact and low-cost distance measurement information display device having both an imaging function and a distance measurement function.
  • the drive unit may be configured to move the imaging optical system to only one side with respect to an optical axis.
  • the driving unit includes the imaging optics
  • the system may be moved to both sides with respect to the optical axis.
  • the shortest imaging distance of the imaging optical device constituted by the imaging optical system and the imaging element is defined as a distance at which imaging is possible closest to the imaging optical device, and a ranging resolution of the imaging optical device is defined.
  • the distance is defined as the minimum distance that can be identified when the distance is measured by the imaging optical device, and the imaging magnification of an object located at the shortest imaging position separated from the imaging optical device by the shortest imaging distance is m.
  • the imaging magnification of an object located at a position separated from the shortest imaging position by the distance measurement resolution distance is m ′, the pixel pitch of the imaging device is P, and the imaging optical system is substantially positioned with respect to the optical axis. Assuming that the distance to move to one side in the vertical direction is ⁇ 1,
  • the shortest imaging distance of the imaging optical device configured by the imaging optical system and the imaging element is defined as a closest imageable distance to the imaging optical device, and measurement of the imaging optical device is performed.
  • the distance resolution distance is defined as the minimum distance that can be identified when the distance is measured by the imaging optical device, and the imaging magnification of an object located at the shortest imaging position separated from the imaging optical device by the shortest imaging distance is m.
  • the imaging magnification of an object located at a position separated by the distance measurement resolution distance from the shortest imaging position is m ′
  • the pixel pitch of the imaging element is P
  • the imaging optical system is substantially perpendicular to the optical axis.
  • the drive unit may be configured to move the imaging device together with the imaging optical system by a predetermined distance in a direction substantially perpendicular to the optical axis.
  • a video signal output from the image sensor is input, and the image is captured by the driving unit.
  • the amount of change ⁇ h in the height of the same object image is obtained by image calculation, and based on the amount of change ⁇ h, the height of the object from the imaging optical system is calculated. It is possible to adopt a configuration further including an image processing operation unit for obtaining a distance.
  • a distance measuring optical device having the above-described configuration, and further comprising, for a video signal obtained from the imaging element, a video signal during a period in which the imaging optical system moves in a direction substantially perpendicular to the optical axis.
  • a ranging information display device including an image processing device that performs a process of replacing the image signal with a video signal before the imaging optical system moves can be configured.
  • a distance measuring optical device having the above-described configuration, and a video signal obtained during a period in which the imaging optical system moves in a direction substantially perpendicular to the optical axis with respect to the video signal obtained from the imaging device.
  • a distance measurement information display device including an image processing device that performs a process of replacing the image signal with a video signal for which motion estimation has been performed from a video signal before the imaging optical system moves can be configured.
  • the image processing device may be configured to display a display image of an object whose imaging distance is smaller than the reference distance by enclosing the display image with a highly visible color line frame.
  • the image processing apparatus may be configured to display a display image of an object whose imaging distance is smaller than the reference distance by performing color conversion with a highly visible color.
  • an alarm sound may be emitted.
  • an in-vehicle imaging device capable of capturing an image of the outside of a vehicle by using the ranging optical device can be configured (also, the ranging information display device having any of the above configurations).
  • the distance measuring optical device allows the outside of the vehicle to be imaged, and includes an element for displaying a video signal from the distance measuring optical device.
  • An in-vehicle driving support device that can be placed beside can be configured.
  • FIG. 1 is a cross-sectional view illustrating a schematic configuration of a distance measuring optical device according to the first embodiment.
  • An imaging optical system 2 and an imaging element 3 are integrated by a housing 4 on the optical axis 1 to form an imaging optical device 5.
  • Permanent magnets 6 and 7 are arranged on the side of the housing 4, and coils 8 and 9 are arranged to face the respective permanent magnets 6 and 7 to form a driving unit.
  • the imaging optical device 5 interacts with the magnetic fields of the permanent magnets 6 and 7 to cause the optical axis 1 to move. It moves in a direction substantially perpendicular to.
  • Each image signal obtained from the imaging element 3 at the position before and after the imaging optical device 5 moves is image-calculated by the image processing operation unit 18 so that the object distance can be measured, and the distance measurement signal output can be obtained. can get.
  • the specific contents of the image calculation will be described below.
  • FIG. 2 is a diagram showing the principle of distance measurement by the distance measuring optical device of FIG.
  • an imaging optical system 2 and an imaging element 3 constituting an imaging optical device are arranged on an optical axis 1.
  • an object 10 having a height h is located at a position at an imaging distance S from the imaging optical system 2.
  • the imaging device 3 is arranged at a position separated from the imaging optical system 2 by a focal distance S O.
  • the image 11 of the object 10 formed on the image sensor 3 by the imaging optical system 2 has a distance from the imaging optical system 2, that is, an imaging position approximately equal to S 0 and a height I m h.
  • the imaging position is substantially equal to the focal length S O of the imaging optical system 2 under normal imaging conditions.
  • m is the imaging magnification, which is S0ZS.
  • the state in which the imaging optical device including the imaging optical system 2 and the imaging element 3 is moved by the distance ⁇ in the vertical direction while being sealed in the optical axis 1 is shown by the optical axis a, and the imaging optical system 2a. It should be noted that the image pickup device 3 is not shown in a moved state in order to avoid complicating the drawing.
  • the height of the image 11 a at this time (the distance from the optical axis 1 a at the top of the image 11 a) is
  • the image height before and after the movement of the imaging optical device The difference ⁇ ⁇ is ⁇ h I m (+ ⁇ ";
  • S O is a known value that is substantially equal to the focal length of the imaging optical system 2 as described above.
  • ⁇ 5 is also a predetermined known value. Accordingly, if the image height difference ⁇ h on the image sensor 3 is obtained, the distance from the image pickup optical system 2 to the object 10 can be obtained, and distance measurement can be performed. Any well-known image processing technique may be used for image calculation on the video signal obtained from the imaging device 3 before and after the movement of the imaging optical device to obtain Ah. In the above configuration, when the imaging optical device 5 is moved in a direction substantially perpendicular to the optical axis 1, the imaging optical device 5 is moved to only one side of the optical axis 1 so that the imaging optical device 5 is on the optical axis 1.
  • an object distance is measured from each video signal obtained from the image sensor 3 in a state where the object distance is away from the optical axis 1.
  • the space required for moving the imaging optical device 5 is small, and the distance measuring optical device is small.
  • FIG. 3 shows a distance measuring method for finding the distance to the object 10 using the distance measuring optical device having the above configuration. It is assumed that a video signal is always obtained from the image sensor 3.
  • the imaging optical device 5 including the imaging optical system 2 is sealed in the optical axis 1 and moved by a distance ⁇ 5 in a direction substantially perpendicular to the optical axis 1 (step S 1).
  • each video signal before and after the movement of the imaging optical system 2 is transferred to the image sensor 3 (Step S 2).
  • a change amount ⁇ ⁇ of the height of the image of the object 10 is obtained by image calculation (step S 3).
  • the distance of the object 10 from the imaging optical system 2 is obtained based on the distance SO between the imaging optical system 2 and the imaging device 3 and the distance (5 and the variation Ah) (step S 4).
  • the calculation method for obtaining the distance is as described above.
  • FIG. 4 is a diagram for explaining conditions for performing distance measurement by the distance measuring optical device of the present embodiment with practically sufficient accuracy.
  • an imaging optical system 2 and an imaging element 3 constituting an imaging optical device are arranged on the optical axis 1.
  • the short-range object 12 is located at the shortest imaging position separated by the shortest imaging distance from the imaging optical device.
  • the shortest imaging distance is defined as a distance at which imaging can be performed closest to the imaging optical device, and is determined by setting conditions of each element of the imaging optical device.
  • the distant object 13 is located at a position separated by the distance measurement resolution distance from the shortest imaging position.
  • the distance measurement resolution distance is defined as the minimum distance that can be identified when the distance is measured by the imaging optical device.
  • the image sensor 3 is arranged at an imaging position of the short-range object 12. Therefore, since the imaging position of the distant object 13 is closer to the object side than the image sensor 3, a blurred image is formed on the image sensor 3, but the blur amount is set to be within the allowable range. Shall be.
  • the imaging magnification when the object is at the shortest imaging position of the imaging optical device, that is, the imaging magnification of the short-range object 12 on the imaging element 3 is m.
  • the imaging magnification when the object is at a position separated by the distance measurement resolution distance from the shortest imaging position, that is, the imaging magnification of the distant object 13 is m ′.
  • the object heights of the short-distance objects 1 and 2 are set so that the chief rays from the maximum object heights of the short-distance objects 1 and 2 and the long-distance objects 1 and 3 overlap and enter the entrance pupil of the imaging optical system 2.
  • each object formed on the imaging device 3 The height of the image 14 with respect to the bodies 12 and 13 is I ma1 and I m 'b I, and
  • the imaging optical system on the optical axis 1a when the imaging optical device is moved by 51 in a direction substantially perpendicular to only one side with respect to the optical axis 1 is shown as 2a.
  • the heights of the images 12a and 13a with respect to the near-field object 12 and the far-field object 13 formed on the image sensor 3 after the movement are I m (a + ⁇ 1) I And I m, (b + ⁇ 1) I. If the image height difference ⁇ is larger than the pixel pitch P of the imaging device 3, the distance between the objects can be identified. This relationship is shown in equation (1).
  • measurement can be performed using equation (2).
  • the amount of movement ⁇ 1 by which the distance optical device should be moved in a direction substantially perpendicular to the optical axis 1 can be determined.
  • the schematic configuration of the distance measuring optical device according to the second embodiment is the same as that shown in FIG. However, it is different from the first embodiment in that when the imaging optical device 5 is moved in a direction substantially perpendicular to the optical axis 1, it is moved to both sides of the optical axis 1.
  • the imaging optical device 5 By moving the imaging optical device 5 to both sides of the optical axis 1, the object distance can be measured from each video signal obtained from the imaging device 3 when the imaging optical device 5 moves upward and downward. Since the imaging optical device 5 is moved to both sides, the imaging optical device 5 is supported by, for example, a structure having a spring property (not shown), so that a simple configuration can be achieved, and cost reduction can be realized.
  • FIGS. 5A and 5B show the distance measurement by the distance measuring optical device in the present embodiment. It is a figure for explaining conditions for performing with sufficient accuracy practically.
  • FIG. 5A is substantially the same as FIG.
  • the imaging magnification of the short-distance object 12 on the image sensor 3 at the shortest imaging distance of the imaging optical device is m
  • the distance measurement resolution distance from the short-distance object 12 is m
  • the imaging magnification of the distant object 13 is m ′.
  • the object height a of the short-distance object 12 and the long-distance object 13 such that the chief rays from the maximum object heights of the short-distance object 12 and the long-distance object 13 overlap and enter the entrance pupil of the imaging optical system 2.
  • the heights of the images 12 a and 13 a formed on the image sensor 3 after moving down to the near object 12 and the far object 13 are Im (a + 52) I and
  • the heights of the images 12b and 13b (distance from the optical axis 1b at the top of the image) to the respective objects after moving upward shown in FIG. 5B are
  • Equation (3) shows the result of calculating this relationship in the same manner as in the first embodiment. ⁇ 2 ⁇ P / (2 I m— m 'I) ⁇ ⁇ ⁇ (3)
  • the measurement can be performed using the formula (3).
  • the amount of movement ⁇ 2 to move the distance optical device in a direction substantially perpendicular to the optical axis can be obtained.
  • FIG. 6 is a configuration diagram showing a schematic configuration of a distance measuring optical device according to the third embodiment.
  • An imaging optical system 2 and an imaging device 3 are arranged on the optical axis 1.
  • This embodiment is different from the first embodiment shown in FIG. 1 in that the imaging optical system 2 and the imaging device 3 are incorporated separately. Therefore, the housing 4 as shown in FIG. 1 is not provided.
  • Permanent magnets 6 and 7 are provided on the side of the imaging optical system 2, and coils 8 and 9 are arranged so as to face the respective permanent magnets 6 and 7.
  • the drive control section 17 causes a drive current to flow through the coils 8 and 9 to generate a magnetic field, and the interaction with the magnetic fields of the permanent magnets 6 and 7 causes the imaging optical system 2 to be substantially perpendicular to the optical axis 1.
  • the movement in the different directions is also the same as in the first embodiment.
  • the object distance can be determined by performing an image operation on each of the video signals obtained from the image sensor 3 before and after the imaging optical system 2 moves by the image processing
  • the driven part is only the imaging optical system 2
  • the interaction due to the magnetic field is small, the driving power is small, and the magnetic fields of the permanent magnets 6, 7 and the coils 8, 9 are small.
  • the amount of movement of the imaging optical system 2 is superimposed on the change in the height of the image formed on the image sensor 3, and the amount of movement of the imaging optical system 2 is estimated in advance, and the respective video signals are subjected to appropriate image processing. By performing image calculations with the device, the accuracy of object distance measurement can be ensured.
  • the imaging optical device is substantially perpendicular to the optical axis 1.
  • the imaging optical device When moving in the direction, only one side of the optical axis 1 is moved, and each image obtained from the imaging element 3 in the state where the imaging optical device is located on the optical axis 1 and in the state after the movement. It can be configured to measure the object distance from the signal.
  • the space required for moving the imaging optical device can be reduced, and the size of the ranging optical device can be reduced.
  • the imaging optical device when the imaging optical device is moved in a direction substantially perpendicular to the optical axis 1, the imaging optical device is moved to both sides of the optical axis 1 so that the imaging optical device is moved to the upper side and the lower side, respectively.
  • the object distance can be measured from each video signal obtained from the image sensor 3 in the moving state. Since the imaging optical device is moved to both sides, the imaging optical device is supported by a structure having a spring property, so that a simple configuration can be achieved, and cost reduction can be realized.
  • FIG. 7 shows a distance measurement information display device according to the fourth embodiment.
  • This device is configured using the distance measuring optical device 15 having the configuration shown in any of the above embodiments, and further includes an image processing device 16.
  • the distance measuring optical device 15 includes an image processing operation unit 18 in addition to the imaging optical system 2, the image sensor 3, the drive unit 17a, and the drive control unit 17.
  • the image processing device 16 has a video signal storage unit 19 and a video signal switching unit 20.
  • a video signal is input from the image sensor 3 to the video signal storage unit 19 and the video signal switching unit 20.
  • the video signal storage unit 19 stores a video signal before the imaging optical system 2 moves, and is supplied to the video signal switching unit 20. Further, a signal indicating a period during which the drive control unit 17 is moving the imaging optical system 2 is input to the video signal switching unit 20.
  • the video signal switching unit 20 outputs the video signal supplied from the video signal storage unit 19 in place of the video signal obtained from the image sensor 3 during the period of receiving the signal from the drive control unit 17 .
  • the imaging optical system 2 moves in the direction perpendicular to the optical axis.
  • the imaging optical system 2 uses the video signal from the video signal storage unit 19 during the distance measurement while the imaging optical system 2 is moving in the vertical direction with respect to the optical axis. An image equivalent to that in which the system 2 is stationary on the optical axis can be obtained.
  • the image processing device 16 performs video prediction based on the video signal before the imaging optical system moves. It is also possible to replace with. As a result, it is possible to obtain an image equivalent to the case where the imaging optical system is stationary on the optical axis. Further, even when the object is moving, it is possible to obtain a video signal equivalent to that obtained by continuous imaging by the imaging optical system.
  • the distance measurement information display device will be described with reference to FIG. 8 and FIG.
  • FIG. 8 shows a display window 21 of the ranging information display device, in which images 22 and 23 of two objects captured by the ranging optical device are displayed.
  • the imaging distance of the image 22 is smaller than the reference distance
  • the imaging distance of the image 23 is larger than the reference distance.
  • a highly visible red or yellow colored frame 24 surrounding the image 22 with a small imaging distance is displayed based on the distance information measured at the time of imaging. Is done. Thereby, attention to the image 22 can be urged.
  • the ranging information display device of the present embodiment is configured by using the ranging optical device 15 having the configuration shown in any one of the above-described embodiments.
  • a processing device 25 is provided.
  • the image processing device 25 includes a distance determination unit 26, a line frame video signal generation unit 27, and a video signal superimposition unit 28.
  • a video signal is input from the image sensor 3 to the video signal superimposing unit 28.
  • the distance judgment unit 26 has an image processing operation unit 18 The distance measurement result obtained by W is input.
  • the distance determination unit 26 determines whether or not the magnitude of the imaging distance is smaller than a predetermined value based on the data of the result of the distance measurement, and supplies the result to the line frame video signal generation unit 27.
  • the line frame video signal generation unit 27 When the magnitude of the imaging distance is smaller than a predetermined value, the line frame video signal generation unit 27 generates a line frame video signal surrounding the image of the object and supplies the signal to the video signal superimposition unit 28. .
  • the video signal superimposing unit 28 superimposes the line frame video signal on the video signal from the image sensor 3 and outputs a video signal having a line frame 24 as shown in FIG.
  • a fill signal generation unit that converts an image with a small imaging distance into red or yellow with high visibility and outputs the converted color may be provided.
  • the image 22a with a small imaging distance is converted into a highly visible red or yellow color and displayed, as shown in Fig. 10, to call attention. be able to.
  • the images 22 and 23 of the two objects captured by the distance measurement optical device are displayed as they are.
  • the image processing arithmetic unit detects that the imaging distance of the image 22 is smaller than a predetermined value based on the distance information measured at the time of imaging, the sounding body 29 generates an alarm sound. Can be encouraged.
  • FIG. 12 shows a configuration in which an in-vehicle imaging device 30 is configured using the distance measuring optical device of any of the above embodiments, and is mounted on an automobile 31. Since the distance measuring optical device of the present invention is capable of imaging along with the distance measurement, it is mounted behind the automobile 31 so as to monitor the rear when the vehicle retreats and secure a rear view, and at the same time, to an obstacle behind. Can be measured.
  • a vehicle-mounted driving support device can be configured using the ranging information display device of any of the above embodiments.
  • In-vehicle driving assistance devices are automatic A ranging optical device is provided in front of or behind the vehicle, and another portion of the ranging information display device that displays a video signal from the ranging optical device is arranged near the driver's seat.
  • the in-vehicle driving assistance device can display the situation in front or behind and, based on the distance measurement information, provide an appropriate warning when the distance to the obstacle is small. As a result, it is possible to appropriately provide the driver with information for avoiding a collision accident between the obstacle and the vehicle.
  • Industrial potential is possible to appropriately provide the driver with information for avoiding a collision accident between the obstacle and the vehicle.
  • the small-sized and low-cost ranging optical device which enables simple ranging using an imaging device is obtained. Further, if a ranging information display device is configured to process and display a video signal from the ranging optical device, a normal video can be displayed by the video signal obtained from the imaging device. Further, by mounting the ranging information display device on a vehicle, it is possible to provide a vehicle-mounted driving support device that supports the driver's vision.

Landscapes

  • Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Studio Devices (AREA)

Abstract

撮像素子(3)と、撮像素子に物体の像を結像させるための撮像光学系(2)と、少なくとも撮像光学系を光軸(1)に対して実質的に垂直な方向に所定距離移動させる駆動部(6, 7, 8,9)とを備える。駆動部による撮像光学系の移動の前後における撮像素子から出力される夫々の映像信号を用いて、画像演算により同一物体像の高さの変化量を求め、その変化量に基づいて撮像光学系からの物体の距離を求めることが可能である。通常の撮像装置としても兼用可能な、撮像光学装置を用いた簡易な構成の測距光学装置を提供できる。

Description

明 細 書 測距光学装置、 測距方法および測距情報表示装置 技術分野
本発明は、 撮像光学系と撮像素子を用いて撮像物体の測距をするため の測距光学装置、 およびその測距光学装置を用いた測距方法、 並びにそ の測距光学装置からの映像信号を画像処理して、 測距情報を表示する測 距情報表示装置に関する。 背景技術
撮像物体の測距を行うための測距光学装置として、 いわゆる三角測距 方式に基づいたものが知られている （例えば特開平 8— 2 3 3 5 7 1号 公報参照）。従来の三角測距方式では、例えば発光ダイオードからの光を、 投光レンズを介して被測距対象にスポット投光し、 その反射光を受光レ ンズを介して位置検出素子により受光する。 位置検出素子により検出さ れた受光位置に基づき、 測定対象までの距離を知ることができる。
しかしながら、 従来の三角測距方式では、 投光するための光源や光学 系、 受光するための光学系や位置検出素子等、 測距のための種々の要素 が必要である。
一方、 自動車の後方確認のために、 車载用撮像装置が搭載される場合 がある。 そのような場合でも、 自動車と後方の物体との間の距離を測定 して、 映像による観察だけでなく、 より正確に距離を知ることも必要で ある。 しかしながら、 そのために従来の三角測蹈方式を採用しようとす ると、 撮像するための撮像光学系に加え、 測距のための光学系も必要と なり、 装置全体のサイズが大きくなりコンパクト化の障害になる。 発明の開示
本発明は、 撮像装置としても兼用可能な、 撮像光学系を用いた簡易な 構成の測距光学装置を提供することを目的とする。 また、 その測距光学 装置を用いて構成され、 撮像機能と測距機能とを兼ね備えたコンパクト で低コストな、 測距情報表示装置を提供することを目的とする。
上記課題を解決するため、 本発明の測距光学装置は、 撮像素子と、 前 記撮像素子に物体の像を結像させるための撮像光学系と、 少なくとも前 記撮像光学系を光軸に対して実質的に垂直な方向に所定距離移動させる 駆動部とを備える。
本発明の測距方法においては、 撮像素子に物体の像を結像させるため の撮像光学系を光軸に対して実質的に垂直な方向に距離 (5移動させ、 前 記撮像素子から得られる前記撮像光学系の移動の前後における夫々の映 像信号を用いて、 画像演算により同一物体の像の高さの変化量 Δ hを求 め、 前記撮像光学系と前記撮像素子の間の距離 S O と、 前記距離 <5と、 前記変化量 A hとに基づき、 前記物体の前記撮像光学系からの距離を求 める。 図面の簡単な説明
図 1は、 実施の形態 1における測距光学装置の概略構成を示す断面図 である。
図 2は、 同測距光学装置による測距の原理を示す説明図である。 図 3は、 同測距光学装置を用いた測距方法を示す流れ図である。 図 4は、 実施の形態 1における測距光学装置による測距の条件を示す 説明図である。
図 5 Aは、 実施の形態 2における測距光学装置による測距の条件を示 す説明図である。
図 5 Bは、 同測距の条件を示す説明図である。
図 6は、 実施の形態 3における測距光学装置の概略構成を示す断面図 である。
図 7は、 実施の形態 4における測距情報表示装置の構成を示すブロッ ク図である。
図 8は、 実施の形態 5における測距情報表示装置の表示状態を示す説 明図である。
図 9は、 実施の形態 5における測距情報表示装置の構成を示すブロッ ク図である。
図 1 0は、 実施の形態 5における測距情報表示装置の表示状態の変形 例を示す説明図である。
図 1 1は、 実施の形態 5における測距情報表示装置の表示状態の他の 変形例を示す説明図である。
図 1 2は、 実施の形態 6における車載用撮像装置を示す図である。 発明を実施するための最良の形態
本発明の測距光学装置は、 撮像光学系を光軸に対して実質的に垂直な 方向に所定距離移動させる駆動部を備えることにより、 撮像光学系の移 動の前後における撮像素子から得られる夫々の映像信号を用いて、 簡便 に測距を行うことが可能である。 また、 この構成によれば測距時間が短 いので、 動いている被写体の測距を行うのに有利である。 特に、 撮像機 能と測距機能とを兼ね備えた、 コンパクトで低コストな測距情報表示装 置を構成するために有用である。
前記駆動部は、 前記撮像光学系を光軸に対して一方の側のみに移動さ せる構成とすることができる。 あるいは、 前記駆動部は、 前記撮像光学 系を光軸に対して両側に移動させる構成としてもよい。
上記構成において、 前記撮像光学系と前記撮像素子により構成され る撮像光学装置の最短撮像距離を、 前記撮像光学装置に最も近接した撮 像可能な距離として定義し、 前記撮像光学装置の測距分解能距離を、 前 記撮像光学装置により測距する際に識別可能な最小距離として定義し、 前記撮像光学装置から前記最短撮像蹈離を隔てた最短撮像位置に位置す る物体の結像倍率を m、 前記最短撮像位置から前記測距分解能距離を隔 てた位置に位置する物体の結像倍率を m '、前記撮像素子の画素ピッチを P、 前記撮像光学系を光軸に対して実質的に垂直な方向において片側に 移動させる距離を δ 1としたとき、
δ 1≥P / I m - m ' I
を満足するように設定することが好ましい。
または、 上記構成において、 前記撮像光学系と前記撮像素子により 構成される撮像光学装置の最短撮像距離を、 前記撮像光学装置に最も近 接した撮像可能な距離として定義し、 前記撮像光学装置の測距分解能距 離を、 前記撮像光学装置により測距する際に識別可能な最小距離として 定義し、 前記撮像光学装置から前記最短撮像距離を隔てた最短撮像位置 に位置する物体の結像倍率を m、 前記最短撮像位置から前記測距分解能 距離を隔てた位置に位置する物体の結像倍率を m '、前記撮像素子の画素 ピッチを P、 前記撮像光学系を光軸に対して実質的に垂直な方向に両側 に移動させる光軸からの距離を各々 <5 2としたとき、
«5 2≥P ( 2 I m -m ' I )
を満足するように設定することが好ましい。
駆動部は、 撮像光学系とともに撮像素子を光軸に対して実質的に垂直 な方向に所定距離移動させる構成とすることができる。
また、 撮像素子から出力される映像信号が入力され、 駆動部による撮 像光学系の移動の前後における夫々の映像信号を用いて、 画像演算によ り同一物体像の高さの変化量 Δ hを求め、 変化量 Δ hに基づいて撮像光 学系からの物体の距離を求める画像処理演算部を更に備えた構成とする ことができる。
上記構成の測距光学装置を備え、 更に、 撮像素子から得られる映像信 号に対して、 撮像光学系が光軸に対して実質的に垂直な方向に移動して いる期間の映像信号を、 撮像光学系が移動する前の映像信号で置き換え る処理を行う画像処理装置を備えた測距情報表示装置を構成することが できる。
あるいは、 上記構成の測距光学装置を備え、 更に、 撮像素子から得ら れる映像信号に対して、 撮像光学系が光軸に対して実質的に垂直な方向 に移動している期間の映像信号を、 撮像光学系が移動する前の映像信号 から動き予測を行なった映像信号で置き換える処理を行う画像処理装置 を備えた測距情報表示装置を構成することができる。
上記の測距情報表示装置において、 画像処理装置は、 撮像距離が基準 距離よりも小さい物体の表示画像を視認性の高い色の線枠で囲んで表示 する構成とすることができる。 あるいは、 画像処理装置は、 撮像距離が 基準距離よりも小さい物体の表示画像を視認性の高い色で色変換して表 示する構成としてもよい。 あるいは、 撮像距離が基準距離よりも小さい 物体を検出したとき、 警報音を発する機能を有する構成とすることがで さる。
上記いずれかの構成の測距光学装置を用い、 前記測距光学装置により 自動車の外部を撮像可能とした車載用撮像装置を構成することができる ( また上記いずれかの構成の測距情報表示装置を用い、 前記測距光学装 置により自動車の外部を撮像可能とし、 前記測距光学装置からの映像信 号を表示する要素を含む、 前記測距情報表示装置の他の要素を運転席近 傍に配置可能とした車載用運転支援装置を構成することができる。
以下に、 本発明の実施の形態について、 図面を参照して説明する。 な お、 同一構成要素には同一の参照符号を付して説明する。
(実施の形態 1 )
図 1は、 実施の形態 1における測距光学装置の概略構成を示す断面図 である。 光軸 1上に、 撮像光学系 2と撮像素子 3が筐体 4により一体化 されて、撮像光学装置 5を構成している。筐体 4の側部には永久磁石 6、 7が配置され、 夫々の永久磁石 6、 7に対向してコイル 8、 9が配置さ れて、 駆動部を構成している。 駆動制御部 1 7による制御に基づき、 コ ィル 8、 9に駆動電流が流れて磁界が発生すると、 永久磁石 6、 7の磁 界との相互作用により、 撮像光学装置 5が、 光軸 1に対して実質的に垂 直な方向に移動する。 撮像光学装置 5が移動する前後の位置における撮 像素子 3から得られる夫々の映像信号を、 画像処理演算部 1 8で画像演 算することで、 物体距離を測距でき、 測距信号出力が得られる。 その画 像演算の具体的な内容について、 以下に説明する。
図 2は、 図 1の測距光学装置による測距の原理を示す図である。 図 1 と同様、 撮像光学装置を構成する撮像光学系 2と撮像素子 3が、 光軸 1 上に配置されている。 物体側には、 撮像光学系 2からの撮像距離 Sの位 置に、 高さ hの物体 1 0が位置している。 撮像素子 3は、 撮像光学系 2 からその焦点距離 S O隔たった位置に配置されている。
撮像光学系 2によって物体 1 0が撮像素子 3上に結像する像 1 1は、 撮像光学系 2からの距離すなわち結像位置が概略 S 0、 高さが I m h .1 となる。 結像位置は、 通常の撮像条件であれば、 撮像光学系 2の焦点距 離 S Oにほぼ等しくなる。 mは結像倍率で、 S 0Z Sである。
次に、 撮像光学系 2と撮像素子 3からなる撮像光学装置が、 光軸 1に 封して垂直方向に距離 δ移動した状態を、'破線により描画された光軸 1 a、 および撮像光学系 2 aで示す。 なお、 撮像素子 3については、 図が 煩雑になることを避けるために、 移動した状態の図示を省略する。 この ときの像 1 1 aの高さ （像 1 1 aの頂部の光軸 1 aからの距離） は、 | m ( h + (5 ) 1 となる。 撮像光学装置の移動前後の像高さの差 Δ ίιは、 Δ h = I m ( + ό"； |― I m I
= I m I
= 1 s o/ s I δ
となる。 従って、
) S I = ) S O 1 δ / Δ h
である。 S O は、 上述のとおり、 ほぼ撮像光学系 2の焦点距離に等しい 既知の値である。 《5も、 予め決められた既知の値である。 従って、 撮像 素子 3上における像高さの差 Δ hを求めれば、 撮像光学系 2から物体 1 0までの距離を求めることが出来、 測距が可能である。 A hを求めるた めの、 撮像光学装置の移動前後の撮像素子 3から得られる映像信号に対 する画像演算には、 周知のどのような画像処理技術を用いてもよい。 上記の構成は、 撮像光学装置 5を光軸 1に対して実質的に垂直な方向 に移動させる際、 光軸 1の片側のみに移動させて、 撮像光学装置 5が光 軸 1上にある状態と光軸 1から離れた位置にある状態の、 各々において 撮像素子 3から得られる各映像信号から、物体距離を測距する例である。 この場合、 片側のみの移動であるので、 撮像光学装置 5の移動に必要な 空間が少なくて済み、 測距光学装置が小型である。
図 3は、 上記構成の測距光学装置を用いて、 物体 1 0までの距離を求 める測距方法を示す。 撮像素子 3からは、 常に映像信号が得られている ものとする。 まず、 撮像光学系 2を含む撮像光学装置 5を、 光軸 1に封 して実質的に垂直な方向に距離 <5移動させる（ステップ S 1 )。それによ り、 撮像光学系 2の移動の前後における夫々の映像信号を、 撮像素子 3 から得る （ステップ S 2 )。 次に、 得られた撮像光学系 2の移動の前後に おける夫々の映像信号を用いて、 画像演算により物体 1 0の像の高さの 変化量 Δ ΐιを求める （ステップ S 3 )。最後に、 撮像光学系 2と撮像素子 3の間の距離 S O と、 距離 (5と、 変化量 A hとに基づき、 物体 1 0の撮 像光学系 2からの距離を求める （ステップ S 4 )。距離を求める演算方法 は、 上述のとおりである。
図 4は、 本実施の形態の測距光学装置による測距を実用的に十分な精 度で行うための条件について説明するための図である。 図 2と同様に、 光軸 1上に、 撮像光学装置を構成する撮像光学系 2と撮像素子 3が配置 されている。 撮像光学装置に対して最短撮像距離を隔てた最短撮像位置 に近距離物体 1 2が位置している。 最短撮像距離は、 撮像光学装置に最 も近接した撮像可能な距離として定義され、 撮像光学装置の各要素の設 定条件により決まる。最短撮像位置から測距分解能距離を隔てた位置に、 遠距離物体 1 3が位置している。 測距分解能距離は、 撮像光学装置によ り測距する際に識別可能な最小距離として定義される。
撮像素子 3は、 近距離物体 1 2の結像位置に配置されている。 従って 遠距離物体 1 3の結像位置は撮像素子 3よりも物体側にあるため、 撮像 素子 3上にはボケた像が形成されるが、 ボケ量が許容範囲内になるよう に設定されるものとする。 物体が撮像光学装置の最短撮像位置にあると きの結像倍率、 すなわち近距離物体 1 2の撮像素子 3上での結像倍率を mとする。 物体が最短撮像位置から測距分解能距離を隔てた位置にある ときの結像倍率、 すなわち遠距離物体 1 3の結像倍率を m ' とする。 ま た近距離物体 1 2と遠距離物体 1 3の夫々の最大物体高さからの主光線 が重なって撮像光学系 2の入射瞳に入るように、 近距離物体 1 2の物体 高さ a、 遠距離物体 1 3の物体高さ bを設定する。
撮像光学装置が光軸 1上にあるとき、 撮像素子 3上に形成される各物 体 1 2、 1 3に対する像 14の高さは、 I ma 1および I m' b Iであ り、 | ma | = | m， ti |である。
次に、 撮像光学装置が 5 1だけ、 光軸 1に対して片側のみに実質的に 垂直な方向に移動した状態での、 光軸 1 a上における撮像光学系を 2 a として示す。 移動後の撮像素子 3上に形成される近距離物体 1 2、 およ び遠距離物体 1 3に対する、像 1 2 a、および 1 3 aの高さは、 I m (a + δ 1 ) Iおよび I m， （b + δ 1) I となる。像の高さの差 Δが撮像素 子 3の画素ピッチ Pより大であれば、 物体間距離を識別できる。 この関 係を （1) 式に示す。
P≤ I m (a + δ 1 ) I - I m' (b + δ 1 ) 1 ·· · ( 1 )
( 1 ) 式を展開し整理すると （2) 式が得られる。
<5 1≥P/ I m— m' I ··· (2)
測距が可能であることを要求される最短撮像距離、 測距分解能距離、 撮 像光学系 2の焦点距離、及び撮像素子 3の画素ピッチ Pが設定されれば、 (2) 式により、 測距光学装置を光軸 1に対して実質的に垂直な方向に 移動させるべき移動量 δ 1を求めることができる。
(実施の形態 2)
実施の形態 2における測距光学装置の概略構成は、 図 1に示したもの と同様である。 ただし、 撮像光学装置 5を光軸 1に対して実質的に垂直 な方向に移動させる際、 光軸 1の両側に移動させる点が、 実施の形態 1 とは相違する。 光軸 1の両側に移動させることにより、 撮像光学装置 5 が上側に移動した時と下側に移動した時の、 撮像素子 3から得られる各 映像信号から物体距離を測距することができる。 両側に移動するので、 撮像光学装置 5を例えばばね性を有する構造体 （図示せず） により支持 して、 簡素な構成とすることができ、 低コスト化を実現できる。
図 5Α、 図 5 Βは、 本実施の形態における測距光学装置による測距を 実用的に十分な精度で行うための条件について説明するための図である。 図 5Aは、 図 4と実質的に同一である。 図 4を参照した説明と同様、 こ の状態における、 撮像光学装置の最短撮像距離における近距離物体 12 の撮像素子 3上での結像倍率を m、 近距離物体 12から測距分解能距離 離れた遠距離物体 13の結像倍率を m' とする。 また近距離物体 12と 遠距離物体 13の夫々の最大物体高さからの主光線が重なって撮像光学 系 2の入射瞳に入るように近距離物体 12の物体高さ a、 および遠距離 物体 13の物体高さ bを設定する。
撮像光学装置が光軸 1上にあるとき、 撮像素子 3上に形成される夫々 の物体に対する像の高さは I ma 1 と 1 m' b )であり、 I m a i = I m b Iである。
次に、 撮像光学装置が δ 2だけ、 光軸 1に対して両側に実質的に垂直 な方向に移動した状態について考える。 図 5 Αでは光軸 1に対して δ 2 だけ下側に移動し、 図 5 Βでは光軸 1に対して δ 2だけ上側に移動して いる。移動後の各光軸 1 a、 1 b上に夫々移動した撮像光学系を、 2 a、 2 bとして示す。
図 5 Aに示される、 下側に移動後の撮像素子 3上に形成される、 近距 離物体 12、および遠距離物体 13に対する像 12 a、 13 aの高さは、 I m ( a + 52) I および | m' (b+ <52) i となる。 また、 図 5Bに 示される、 上側に移動後の夫々の物体に対する像 12 b、 13 bの高さ (像頂部の光軸 1 bからの距離） は、 | m (a— 32) jおよび I m' (b - 52) I となる。
光軸 1に対して実質的に垂直な方向に上側と下側に移動したときの像 の高さの差が、 撮像素子 3の画素ピッチ Pより大であれば、 物体間の距 離を識別可能である。この関係を実施の形態 1と同様に計算した結果を、 (3) 式に示す。 δ 2≥P / ( 2 I m— m ' I ) · · · ( 3 )
測距が可能であることを要求される最短撮像距離、 測距分解能距離、 撮 像光学系 2の焦点距離、及び撮像素子 3の画素ピッチ Pが設定されれば、 ( 3 ) 式により、 測距光学装置を光軸に対して実質的に垂直な方向に移 動させるべき移動量 δ 2を求めることができる。
(実施の形態 3 )
図 6は、 実施の形態 3における測距光学装置の概略構成を示す構成図 である。 光軸 1上に、 撮像光学系 2と撮像素子 3が配置されている。 こ の実施の形態では、 撮像光学系 2と撮像素子 3が分離して組み込まれて いる点が、 図 1に示した実施の形態 1の場合と相違する。 従って、 図 1 に示したような筐体 4が設けられていない。 撮像光学系 2の側部に永久 磁石 6、 7が設けられ、 夫々の永久磁石 6、 7に対向してコイル 8、 9 が配置されている。 駆動制御部 1 7によりコイル 8と 9に駆動電流を流 して磁界を発生させ、 永久磁石 6、 7の磁界との相互作用により、 撮像 光学系 2を光軸 1に対して実質的に垂直な方向に移動させる点も、 実施 の形態 1の場合と同様である。 撮像光学系 2が移動する前後の位置にお ける撮像素子 3から得られる夫々の映像信号を、 画像処理演算部 1 8に より画像演算することで、 物体距離を求めることができる。
この実施の形態においては、 駆動される部分が撮像光学系 2のみであ るため、 磁界による相互作用が小さくて済み、 駆動電力が小さい、 永久 磁石 6、 7やコイル 8、 9の磁界が小さくても良いなど、 低コスト化に 有利である。 なお、 撮像素子 3上に形成される像の高さの変化には、 撮 像光学系 2が移動する量が重畳されるが、 予めこの量を見込んで、 夫々 の映像信号を適当な画像処理装置で画像演算することで、 物体距離の測 距の精度を確保できる。
実施の形態 1と同様、 撮像光学装置を光軸 1に対して実質的に垂直な 方向に移動させる際、 光軸 1の片側のみに移動させて、 撮像光学装置が 光軸 1上に位置する状態と移動後の位置にある状態の各々における、 撮 像素子 3から得られる各映像信号から物体距離を測距する構成とするこ とができる。 その場合、 片側のみの移動であるので、 撮像光学装置の移 動に必要な空間が少なくて済み、 測距光学装置の小型化を実現できる。 また実施の形態 2と同様、 撮像光学装置を光軸 1に対して実質的に垂 直な方向に移動させる際、 光軸 1の両側に移動させて、 撮像光学装置が 上側と下側各々に移動した状態の撮像素子 3から得られる各映像信号か ら物体距離を測距することができる。 両側に移動するので、 撮像光学装 置をばね性を有する構造体で支持することにより、 簡素な構成とするこ とができ、 低コスト化を実現できる。
(実施の形態 4 )
実施の形態 4における測距情報表示装置を、図 7に示す。この装置は、 上述のいずれかの実施の形態に示した構成を有する測距光学装置 1 5を 用いて構成され、 更に、 画像処理装置 1 6を備える。 測距光学装置 1 5 は、 撮像光学系 2、 撮像素子 3、 駆動部 1 7 a、 および駆動制御部 1 7 とともに、 画像処理演算部 1 8を含む。
画像処理装置 1 6は、 映像信号記憶部 1 9と映像信号切換部 2 0を有 する。 映像信号記憶部 1 9と映像信号切換部 2 0に、 撮像素子 3から映 像信号が入力される。 映像信号記憶部 1 9には、 撮像光学系 2が移動す る前の映像信号が記憶されて、映像信号切換部 2 0に供給される。更に、 映像信号切換部 2 0には、 駆動制御部 1 7が撮像光学系 2を移動させて いる期間を示す信号が入力される。 映像信号切換部 2 0は、 駆動制御部 1 7からの信号を受けている期間は、 撮像素子 3から得られる映像信号 に代えて、 映像信号記憶部 1 9から供給される映像信号を出力する。 測距時には撮像光学系 2が光軸に対して垂直方向に移動するので、 そ の間の撮像画像は、 撮像光学系 2が光軸上に位置しているときの撮像画 像と異なる。 そこで、 この測距情報表示装置では、 測距時に撮像光学系 2が光軸に対して垂直方向に移動している期間は、 映像信号記憶部 1 9 からの映像信号を用いることにより、 撮像光学系 2が光軸上に静止して いるのと同等な映像を得ることができる。
画像処理装置 1 6を、 撮像光学系 2が移動する前の映像信号で測距時 の映像信号を置き換えるのではなく、 撮像光学系が移動する前の映像信 号から動き予測を行なった映像信号で置き換える構成とすることもでき る。 それにより、 撮像光学系が光軸上に静止しているのと同等な映像を 得ることができる。 更に、 物体が動いている場合でも、 連続して撮像光 学系により撮像しているのと同等な映像信号を得ることができる。
(実施の形態 5 )
実施の形態 5における測距情報表示装置について、 図 8および図 9を 参照して説明する。 図 8は、 測距情報表示装置の表示窓 2 1を示し、 測 距光学装置によって撮像された 2つの物体の画像 2 2と 2 3が表示され ている。 画像 2 2の撮像距離は例えば基準距離よりも小さく、 画像 2 3 の撮像距離は基準距離よりも大きいものとする。 表示窓 2 1上に表示さ れた画像では、 撮像時に測距した距離情報に基づき、 撮像距離の小さな 画像 2 2を囲む、 視認性の高い赤色や黄色に着色された線枠 2 4が表示 される。 それにより、 画像 2 2に対する注意を促すことができる。 本実施の形態の測距情報表示装置は、 図 9に示すように、 上述のいず れかの実施の形態に示した構成を有する測距光学装置 1 5を用いて構成 され、 更に、 画像処理装置 2 5を備える。
画像処理装置 2 5は、 距離判断部 2 6、 線枠映像信号発生部 2 7、 お よび映像信号重畳部 2 8を有する。 映像信号重畳部 2 8に、 撮像素子 3 から映像信号が入力される。 距離判断部 2 6には、 画像処理演算部 1 8 W により得られた測距の結果が入力される。 距離判断部 2 6は、 測距の結 果のデータに基づき、 撮像距離の大きさが所定の値より小さいか否かを 判定し、 その結果を線枠映像信号発生部 2 7に供給する。 線枠映像信号 発生部 2 7は、 撮像距離の大きさが所定の値より小さい場合に、 当該物 体の画像を囲む線枠映像信号を発生して、 映像信号重畳部 2 8に供給す る。 映像信号重畳部 2 8は、 線枠映像信号を撮像素子 3からの映像信号 に重畳して、 図 8のような線枠 2 4を有する映像信号を出力する。 線枠映像信号発生部 2 7に代えて、 撮像距離の小さな画像を、 視認性 の高い赤色や黄色に色変換して出力する塗りつぶし信号発生部を設けて もよい。 それにより、 線枠映像信号を重畳する代わりに、 図 1 0に示す . ように、 撮像距離の小さな画像 2 2 aは、 視認性の高い赤色や黄色に色 変換されて表示され、 注意を促すことができる。
あるいは、 図 1 1に示すように構成してもよい。 この測距情報表示装 置の表示窓 2 1には、 測距光学装置によって撮像された 2つの物体の画 像 2 2と 2 3が、 そのまま表示されている。 画像処理演算部により撮像 時に測距した距離情報に基づき、 例えば、 画像 2 2の撮像距離が所定の 値よりも小さいことが検出されると、 発音体 2 9によって警報音を発生 することで注意を促すことができる。
(実施の形態 6 )
図 1 2は、 上記いずれかの実施の形態の測距光学装置を用いて車載用 撮像装置 3 0を構成し、 自動車 3 1に搭載した構成を示す。 本発明の測 距光学装置は測距と共に撮像も可能であるので、 自動車 3 1の後方に搭 載することで、 後退時において後方をモニタして後方視界を確保すると 同時に、 後方の障害物までの測距を行うことができる。
さらに上記いずれかの突施の形態の測距情報表示装置を用いて、 車載 用運転支援装置を構成することができる。 車載用運転支援装置は、 自動 車の前方あるいは後方に測距光学装置を設け、 測距光学装置からの映像 信号を表示する測距情報表示装置の他の部分を、 運転席近傍に配置して 構成される。 車載用運転支援装置により、 前方あるいは後方の状況を表 示するとともに、 測距情報に基づいて、 障害物までの距離が小であると きに適切な警告を明示することができる。 それにより、 障害物と自動車 との接触事故を回避するための情報を、 運転者に適切に提供することが できる。 産業上の利用の可能性
本発明によれば、 撮像装置を用いた簡便な測距を可能とする小型で低 コストな測距光学装置が得られる。 また、 測距光学装置からの映像信号 を画像処理して表示させる測距情報表示装置を構成すれば、 撮像装置か ら得られる映像信号により、 通常の映像を表示することも可能である。 さらに、 測距情報表示装置を自動車に搭載することで、 運転者の視覚を 支援する車載用運転支援装置を提供することができる。

Claims

請 求 の 範 囲
1 . 撮像素子と、 前記撮像素子に物体の像を結像させるための撮像光 学系と、 少なくとも前記撮像光学系を光軸に対して実質的に垂直な方向 に所定距離移動させる駆動部とを備えた測距光学装置。
2 . 前記駆動部は、 前記撮像光学系を前記光軸に対して一方の側のみ に移動させる請求項 1記載の測距光学装置。
3 . 前記駆動部は、 前記撮像光学系を前記光軸に対して両側に移動さ せる請求項 1記載の測距光学装置。
4 . 前記撮像光学系と前記撮像素子により構成される撮像光学装置の 最短撮像距離を、 前記撮像光学装置に最も近接した撮像可能な距離とし て定義し、 前記撮像光学装置の測距分解能距離を、 前記撮像光学装置に より測距する際に識別可能な最小距離として定義し、 前記撮像光学装置 から前記最短撮像距離を隔てた最短撮像位置に位置する物体の結像倍率 を m、 前記最短撮像位置から前記測距分解能距離を隔てた位置に位置す る物体の結像倍率を m '、前記撮像素子の画素ピッチを P、前記撮像光学 系を光軸に対して実質的に垂直な方向において片側に移動させる距離を δ 1としたとき、
d 1≥ / I m— m， I
である請求項 2記載の測距光学装置。
5 . 前記撮像光学系と前記撮像素子により構成される撮像光学装置の 最短撮像距離を、 前記撮像光学装置に最も近接した撮像可能な距離とし て定義し、 前記撮像光学装置の測距分解能距離を、 前記撮像光学装置に より測距する際に識別可能な最小距離として定義し、 前記撮像光学装置 から前記最短撮像距離を隔てた最短撮像位置に位置する物体の結像倍率 を m、 前記最短撮像位置から前記測距分解能距離を隔てた位置に位置す る物体の結像倍率を m '、前記撮像素子の画素ピッチを P、前記撮像光学 系を光軸に対して実質的に垂直な方向に両側に移動させる光軸からの距 離を各々 <5 2としたとき、
δ 2≥Ρ / ( 2 i m - m ' ί )
である請求項 3記載の測距光学装置。
6 . 前記駆動部は、 前記撮像光学系とともに前記撮像素子を光軸に対 して実質的に垂直な方向に所定距離移動させる請求項 1記載の測距光学
7 . 前記撮像素子から出力される映像信号が入力され、 前記駆動部に よる前記撮像光学系の移動の前後における夫々の前記映像信号を用いて、 画像演算により同一物体像の高さの変化量 Δ hを求め、 前記変化量 Δ h に基づいて前記撮像光学系からの前記物体の距離を求める画像処理演算 部を更に備えた請求項 1記載の測距光学装置。
8 . 撮像素子に物体の像を結像させるための撮像光学系を光軸に対し て実質的に垂直な方向に距離 δ移動させ、 前記撮像素子から得られる前 記撮像光学系の移動の前後における夫々の映像信号を用いて、 画像演算 により同一物体の像の高さの変化量 Δ hを求め、 前記撮像光学系と前記 撮像素子の間の距離 S Oと、前記距離 δと、前記変化量 Δ hとに基づき、 前記物体の前記撮像光学系からの距離を求める測距方法。
9 . 請求項 1記載の測距光学装置を備え、 更に、 前記撮像素子から得 られる映像信号に対して、 前記撮像光学系が光軸に対して実質的に垂直 な方向に移動している期間の映像信号を、 前記撮像光学系が移動する前 の映像信号で置き換える処理を行う画像処理装置を備えた測距情報表示
1 0 . 請求項 1記載の測距光学装置を備え、 更に、 前記撮像素子から 得られる映像信号に対して、 前記撮像光学系が光軸に対して実質的に垂 直な方向に移動している期間の映像信号を、 前記撮像光学系が移動する 前の映像信号から動き予測を行なった映像信号で置き換える処理を行う 画像処理装置を備えた測距情報表示装置。
1 1 . 前記画像処理装置は、 撮像距離が基準距離よりも小さい物体の 表示画像を視認性の高い色の線枠で囲んで表示する請求項 9または 1 0 記載の測距情報表示装置。
1 2 . 前記画像処理装置は、 撮像距離が基準距離よりも小さい物体の 表示画像を視認性の高い色で色変換して表示する請求項 9または 1 0記 載の測距情報表示装置。
1 3 . 撮像距離が基準距離よりも小さい物体を検出したときに警報音 を発する機能を有する請求項 9〜 1 2のいずれか 1項記載の測距情報表 示装置。
4 . 請求項 1〜 7のいずれか 1項記載の測距光学装置を用い、 前記 測距光学装置により自動車の外部を撮像可能とした構成を有する車載用
1 5 . 請求項 9 ~ 1 3のいずれか 1項記載の測距情報表示装置を用い、 前記測距光学装置により自動車の外部を撮像可能とし、 前記測距光学装 置からの映像信号を表示する要素を含む、 前記測距情報表示装置の他の 要素を運転席近傍に配置可能とした構成を有する車載用運転支援装置。
PCT/JP2004/000977 2003-01-30 2004-01-30 測距光学装置、測距方法および測距情報表示装置 WO2004068073A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003-022726 2003-01-30
JP2003022726 2003-01-30

Publications (1)

Publication Number Publication Date
WO2004068073A1 true WO2004068073A1 (ja) 2004-08-12

Family

ID=32820700

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/000977 WO2004068073A1 (ja) 2003-01-30 2004-01-30 測距光学装置、測距方法および測距情報表示装置

Country Status (1)

Country Link
WO (1) WO2004068073A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60216206A (ja) * 1984-04-12 1985-10-29 Toshiba Corp 三次元画像生成装置
JPH0787829A (ja) * 1993-09-24 1995-04-04 Iseki & Co Ltd 収穫ロボットの撮像方法
JPH11271053A (ja) * 1998-03-25 1999-10-05 Asahi Optical Co Ltd 地上写真測量用カメラおよび画像処理装置およびこの地上写真測量用カメラと画像処理装置とを用いた写真測量方法
JP2001004370A (ja) * 1999-06-23 2001-01-12 Fuji Photo Film Co Ltd 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60216206A (ja) * 1984-04-12 1985-10-29 Toshiba Corp 三次元画像生成装置
JPH0787829A (ja) * 1993-09-24 1995-04-04 Iseki & Co Ltd 収穫ロボットの撮像方法
JPH11271053A (ja) * 1998-03-25 1999-10-05 Asahi Optical Co Ltd 地上写真測量用カメラおよび画像処理装置およびこの地上写真測量用カメラと画像処理装置とを用いた写真測量方法
JP2001004370A (ja) * 1999-06-23 2001-01-12 Fuji Photo Film Co Ltd 視差画像撮像装置、視差画像処理装置、視差画像撮像方法、及び視差画像処理方法

Similar Documents

Publication Publication Date Title
EP2485203B1 (en) Vehicle-surroundings monitoring device
EP2623376B1 (en) Parking assistance device
US8559674B2 (en) Moving state estimating device
CN102476619B (zh) 用于检测机动车周围环境的方法
EP1803602A1 (en) Driving assist method and driving assist apparatus
US20080205706A1 (en) Apparatus and method for monitoring a vehicle&#39;s surroundings
KR101805377B1 (ko) 대상물 마킹의 위치를 트래킹하기 위한 방법 및 장치
EP1223083A1 (en) Device for assisting automobile driver
US20070046450A1 (en) Obstacle detector for vehicle
US20190126821A1 (en) Driving notification method and driving notification system
JP2012071635A5 (ja)
JPWO2013035353A1 (ja) 画像処理装置及び画像処理方法
JP2008227646A (ja) 障害物検知装置
US9001204B2 (en) Vehicle peripheral monitoring device
US10632912B2 (en) Alarm device
JPH07117561A (ja) 車載用監視カメラ装置
US20210297589A1 (en) Imaging device and method of controlling imaging device
JP2012099085A (ja) 車両用ウインドシールドガラス上のリアルタイム警報システム及びその作動方法
JP3184656B2 (ja) 車載用監視カメラ装置
KR20100033161A (ko) 차량용 후측방 감지시스템
JP4660872B2 (ja) 運転支援装置及び運転支援方法
US20100054541A1 (en) Driving support system with plural dimension processing units
JP2009202609A (ja) 駐車支援装置
KR20130084720A (ko) 영상 처리 장치 및 방법
WO2004068073A1 (ja) 測距光学装置、測距方法および測距情報表示装置

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
122 Ep: pct application non-entry in european phase
NENP Non-entry into the national phase

Ref country code: JP

WWW Wipo information: withdrawn in national office

Country of ref document: JP