JPH0687377A - Monitor for vehicle periphery - Google Patents
Monitor for vehicle peripheryInfo
- Publication number
- JPH0687377A JPH0687377A JP4237174A JP23717492A JPH0687377A JP H0687377 A JPH0687377 A JP H0687377A JP 4237174 A JP4237174 A JP 4237174A JP 23717492 A JP23717492 A JP 23717492A JP H0687377 A JPH0687377 A JP H0687377A
- Authority
- JP
- Japan
- Prior art keywords
- illuminance
- bright spot
- monitoring area
- image pickup
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は車両周辺監視装置にかか
り、より詳細には、自動車などの車両の周辺を監視して
車両運転におけるドライバーの安全確認を支援するのに
有効に適用される車両周辺監視装置に関するものであ
る。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a vehicle periphery monitoring device, and more particularly to a vehicle effectively applied to monitor the periphery of a vehicle such as an automobile to assist the driver's safety confirmation in driving the vehicle. The present invention relates to a peripheral monitoring device.
【０００２】[0002]
【従来の技術】従来、自動車などの車両の周辺を監視す
る装置として、超音波送波器から出射された超音波が障
害物により反射され、受波器に戻るまでの時間を計測
し、物体までの距離を検出することによって、障害物の
存在を検知する装置があった。2. Description of the Related Art Conventionally, as a device for monitoring the periphery of a vehicle such as an automobile, an ultrasonic wave emitted from an ultrasonic wave transmitter is reflected by an obstacle and the time until it returns to the wave receiver is measured. There have been devices that detect the presence of obstacles by detecting the distance to.
【０００３】また、自動車の例えば後部屋根の上にテレ
ビカメラを取り付け、自動車が例えば後退する際に、テ
レビモニタにより運転者に注目領域の映像を提供する方
法があった。There has also been a method of mounting a television camera on, for example, the rear roof of an automobile so as to provide the driver with an image of the region of interest by means of a television monitor when the automobile moves backward.
【０００４】しかし、上記した従来装置のうち超音波送
受波器を用いた装置は、障害物や溝の位置及び大きさ、
更に溝の深さを検出できない。このため、ドライバーが
車両を運転する際の車両周辺における安全確認を十分に
支援することができないという問題がある。一方、テレ
ビモニタを用いた方法においては、特に、夜間において
は、十分な照明がない場合、障害物等を確認できない。However, among the above-mentioned conventional devices, the device using the ultrasonic wave transmitter / receiver is
Furthermore, the depth of the groove cannot be detected. For this reason, there is a problem that the driver cannot sufficiently support safety confirmation around the vehicle when the vehicle is driven. On the other hand, in the method using the television monitor, especially at night, if there is not sufficient illumination, an obstacle or the like cannot be confirmed.
【０００５】そこで、本願出願人は先に、夜間であって
も格別な照明なしに、障害物や溝或いは人の大きさ及び
位置、更に溝の深さなどを検出することができ、車両運
転におけるドライバーの安全確認を十分に支援できるよ
うにした車両周辺監視装置を提案した。Therefore, the applicant of the present application can detect the size and position of an obstacle or a groove or a person, and further the depth of the groove, etc., without any special lighting, even at night, and drive the vehicle. We have proposed a vehicle surroundings monitoring device that can sufficiently support the driver's safety confirmation in Japan.
【０００６】この提案の装置は、レーザ光入射により監
視領域に輝点パターンを投影するパターン光投光器と、
該輝点パターンを撮像するＣＣＤカメラからなる撮像機
と、該撮像機から得られる画像を処理して障害物や溝あ
るいは人等の存在を検知するデータ処理部とを備える。
パターン光投光器は車載用として小型、軽量及びコスト
を考慮して使用した連続波用の半導体レーザが発生する
レーザ光を入射し、このレーザ光入射に応じて投影面で
ある監視領域としての地面に正方格子状に輝点マトリク
スを投影する。従って、撮像機は照明がなくてもこの輝
点パターンを撮影することができる。The proposed apparatus includes a pattern light projector for projecting a bright spot pattern on a monitoring area by incidence of laser light,
The image pickup device includes a CCD camera for picking up the bright spot pattern, and a data processing unit for processing an image obtained from the image pickup device to detect the presence of obstacles, grooves, people, or the like.
The pattern light projector receives the laser light generated by the continuous wave semiconductor laser used in consideration of small size, light weight and cost for on-vehicle use, and in response to this laser light incidence, it is projected onto the ground as a monitoring area, which is the monitoring area. The bright spot matrix is projected in a square lattice shape. Therefore, the imager can photograph this bright spot pattern without illumination.
【０００７】また、監視領域内に障害物や溝あるいは人
等が存在すると、それらに投影された輝点の三次元位置
が変化し、その際、撮像機から得られる輝点投影画像は
局所的に乱れが生じ、その乱れ具合いを演算処理するこ
とによって障害物等の大きさや位置を検出することがで
きる。Further, if an obstacle, a groove, a person, or the like exists in the monitoring area, the three-dimensional position of the bright spot projected on them changes, and at that time, the bright spot projection image obtained from the image pickup device is localized. Is generated, and the size and position of an obstacle or the like can be detected by calculating the degree of the disturbance.
【０００８】[0008]
【発明が解決しようとする課題】しかし、現在入手可能
な連続波用の半導体レーザの出力は、数十ｍＷである。
このため、この半導体レーザが発生するレーザ光をパタ
ーン投光器に入射した後に監視領域に投影すると、輝点
１個当たりのエネルギは、輝点の数にもよるが、輝点数
を例えば３００個程度とすると、１ｍＷ以下になる。１
個当たりの輝点の大きさを１cm2 とすると、輝点１個へ
の入射エネルギーは１ｍＷ／cm2 以下となっている。However, the output of currently available continuous wave semiconductor lasers is several tens of mW.
For this reason, when the laser light generated by this semiconductor laser is incident on the pattern projector and then projected onto the monitoring area, the energy per bright spot is, for example, about 300 bright spots, although it depends on the number of bright spots. Then, it becomes 1 mW or less. 1
When the size of the bright point per individual and 1 cm 2, the incident energy to the one bright spot has a 1 mW / cm 2 or less.
【０００９】一方、日中における地表面での太陽放射ス
ペクトルは、可視領域（0.4 〜0.7μｍ）及び近赤外領
域では、１０００Ｗ／ｍ2 ・μｍ以上、すなわち１００
ｍＷ／cm2 ・μｍ以上となる。On the other hand, the solar radiation spectrum on the ground surface during the daytime is 1000 W / m 2 · μm or more, that is, 100 in the visible region (0.4 to 0.7 μm) and the near infrared region.
mW / cm 2 · μm or more.
【００１０】なお、輝点を形成するため半導体レーザが
発生するレーザ光の波長としては、可視領域又は近赤外
のものが考えられるが、このレーザの帯域幅を４０ｎｍ
とすと、この波長帯の太陽光放射エネルギは１００ｍＷ
／cm2 ・μｍ×0.04μｍ＝４ｍＷ／cm2 以上となる。The wavelength of the laser light generated by the semiconductor laser for forming the bright spot may be in the visible region or near infrared, and the bandwidth of this laser is 40 nm.
Then, the solar radiation energy in this wavelength band is 100 mW
/ Cm 2 · μm × 0.04 μm = 4 mW / cm 2 or more.
【００１１】このように、太陽光放射エネルギはレーザ
光の帯域幅においてレーザによる輝点のエネルギより１
〜２桁大きな値であるので、撮像機によって監視領域を
撮像しても輝点パターンを太陽光と区別して検出するこ
とができない。As described above, the solar radiation energy is 1 from the energy of the bright spot by the laser in the bandwidth of the laser light.
Since it is a large value by 2 digits, the bright spot pattern cannot be detected separately from the sunlight even if the monitoring area is imaged by the imaging device.
【００１２】これに対し、太陽光のなくなった夜間にお
いては、撮像機により撮像した監視領域の輝点パターン
を検出することができる。しかし、撮像機は可視領域や
近赤外領域において受光感度をもっているので、市街値
の街灯や他車両のヘッドライト、自車両のブレーキラン
プなどが監視領域を照明すると、これらの照明状態も撮
像機が撮像するようになる。その結果レーザ光による輝
度と上記他の光源による照明が重なりあって、輝点検出
のＳＮ比が悪化し、車両の周辺を確実に監視してドライ
バーの安全確認を十分な確度をもって支援することがで
きない。On the other hand, at night when the sunlight disappears, it is possible to detect the bright spot pattern of the monitoring area imaged by the image pickup device. However, since the image pickup device has a light-receiving sensitivity in the visible region and near-infrared region, when the streetlight of the city value, the headlight of another vehicle, the brake lamp of the own vehicle, etc. illuminate the monitoring region, the illumination state of these will also change Will be picked up. As a result, the brightness of the laser light and the illumination of the other light source overlap each other, and the SN ratio of the bright spot detection deteriorates, so that the surroundings of the vehicle can be monitored reliably and the driver's safety confirmation can be supported with sufficient accuracy. Can not.
【００１３】よって本発明は、上述した従来の問題点に
鑑み、監視領域に太陽光が照射されている日中や他の光
源の光が照射される夜間であっても、車両の周辺を監視
して車両運転におけるドライバーの安全確認を支援する
ことができる車両周辺監視装置を提供することを目的と
している。Therefore, in view of the above-mentioned conventional problems, the present invention monitors the surroundings of the vehicle even during the day when the monitoring area is exposed to sunlight or at night when the light of another light source is applied. It is an object of the present invention to provide a vehicle surroundings monitoring device that can assist the driver's safety confirmation in driving a vehicle.
【００１４】[0014]
【課題を解決するための手段】上記目的を達成するため
本発明により成された車両周辺監視装置は、図１（ａ）
の基本構成図に示すように、レーザ光入射により監視領
域に輝点パターンを投影するパターン光投光器４と、前
記監視領域を撮像する撮像機５と、車両周辺の明るさを
検出する照度検出手段１３と、前記レーザ光の波長帯域
を選択的に透過する帯域フィルタ１１と、前記照度検出
手段１３が所定値以下の照度を検出したとき前記帯域フ
ィルタ１１を前記撮像機５による前記監視領域の撮像経
路内に駆動する駆動源１２と、前記照度検出手段１３が
所定値以下の照度を検出したとき前記撮像機５から得ら
れる前記輝点パターンを含む画像データを処理して障害
物や溝あるいは人等の存在を検知するデータ処理部１
ａ、前記照度検出手段１３が所定値以上の照度を検出し
たとき前記撮像機５によって撮像した前記監視領域の状
態を表示するディスプレイ装置１０とを備えることを特
徴としている。To achieve the above object, a vehicle periphery monitoring device made according to the present invention is shown in FIG.
As shown in the basic configuration diagram of FIG. 1, a pattern light projector 4 that projects a bright spot pattern onto a monitoring area by laser light incidence, an imager 5 that images the monitoring area, and an illuminance detecting means that detects the brightness around the vehicle. 13, a bandpass filter 11 that selectively transmits the wavelength band of the laser light, and when the illuminance detection unit 13 detects an illuminance equal to or less than a predetermined value, the bandpass filter 11 captures an image of the monitoring area by the imager 5. The drive source 12 driven in the path and the image data including the bright spot pattern obtained from the image pickup device 5 when the illuminance detecting means 13 detects the illuminance equal to or less than a predetermined value are processed to process an obstacle, a groove, or a person. Data processing unit 1 for detecting the presence of
a, a display device 10 for displaying the state of the monitoring area imaged by the image pickup device 5 when the illuminance detection means 13 detects an illuminance of a predetermined value or more.
【００１５】前記照度検出手段１３が所定値以下の照度
を検出したとき前記データ処理部１ａが検知した障害物
や溝あるいは人等を、前記監視領域の状態に代えて前記
ディスプレイ装置１０に表示させる表示切換手段１４を
更に備えることを特徴としている。Obstacles, grooves, people, etc. detected by the data processing unit 1a when the illuminance detecting means 13 detects an illuminance less than a predetermined value are displayed on the display device 10 instead of the state of the monitoring area. The display switching means 14 is further provided.
【００１６】上記目的を達成するため本発明により成さ
れた車両周辺監視装置は、図１（ｂ）の基本構成図に示
すように、レーザ光入射により監視領域に輝点パターン
を投影するパターン光投光器４と、前記監視領域を撮像
する撮像機５と、車両周辺の明るさを検出する照度検出
手段１３と、該照度検出手段１３が所定値以下の照度を
検出したときその旨を知らせる報知手段２１と、手動操
作手段２２と、前記レーザ光の波長帯域を選択的に透過
する帯域フィルタ１１と、前記手動操作手段２２の操作
によって前記帯域フィルタ１１を前記撮像機５による前
記監視領域の撮像経路内に駆動する駆動源１２と、前記
手動操作手段２２の操作によって前記撮像機５から得ら
れる前記輝点パターンを含む画像データを処理して障害
物や溝あるいは人等の存在を検知するデータ処理部１ａ
と、前記手動操作手段２２の操作によって前記撮像機５
が撮像した前記監視領域の状態を表示するディスプレイ
装置１０とを備えることを特徴としている。In order to achieve the above object, the vehicle periphery monitoring device according to the present invention is a pattern light for projecting a bright spot pattern on a monitoring area by laser light incidence, as shown in the basic configuration diagram of FIG. 1 (b). Floodlight 4, image pickup device 5 for imaging the monitoring area, illuminance detecting means 13 for detecting the brightness around the vehicle, and notifying means for notifying the illuminance when the illuminance detecting means 13 detects an illuminance below a predetermined value. 21, a manual operation unit 22, a band filter 11 that selectively transmits the wavelength band of the laser light, and an operation path of the band filter 11 by the operation of the manual operation unit 22 for the imaging path of the monitoring region by the imaging device 5. Image data including the bright spot pattern obtained from the image pickup device 5 by operating the driving source 12 driven inside and the manual operation means 22 to process an obstacle, a groove, or a person. The data processing unit 1a for detecting the presence of
And the image pickup device 5 by operating the manual operation means 22.
And a display device 10 for displaying the state of the monitoring area imaged by.
【００１７】前記手動操作手段２２の操作によって前記
データ処理部１ａにより検知した障害物や溝あるいは人
等を、前記監視領域の状態に代えて前記ディスプレイ装
置１０に表示させる表示切換手段１４を更に備えること
を特徴としている。Further, there is further provided a display switching means 14 for displaying an obstacle, a groove, a person or the like detected by the data processing section 1a by the operation of the manual operation means 22 on the display device 10 in place of the state of the monitoring area. It is characterized by that.
【００１８】上記目的を達成するため本発明により成さ
れた車両周辺監視装置は、図１（ｃ）の基本構成図に示
すように、レーザ光入射により監視領域に輝点パターン
を投影するパターン光投光器４と、前記監視領域を撮像
する撮像機５と、少なくともスモールライトのオン状態
を検出するライトオン検出手段２３と、前記レーザ光の
波長帯域を選択的に透過する帯域フィルタ１１と、前記
ライトオン検出手段２３による検出によって前記帯域フ
ィルタ１１を前記撮像機５による前記監視領域の撮像経
路内に駆動する駆動源１２と、前記ライトオン検出スイ
ッチ２３による検出によって前記撮像機５から得られる
前記輝点パターンを含む画像データを処理して障害物や
溝あるいは人等の存在を検知するデータ処理部１ａと、
前記ライトオン検出手段２３による検出によって前記撮
像機５が撮像した前記監視領域の状態を表示するディス
プレイ装置１０とを備えることを特徴としている。In order to achieve the above object, the vehicle periphery monitoring device according to the present invention has a pattern light for projecting a bright spot pattern onto a monitoring area by laser light incidence, as shown in the basic configuration diagram of FIG. 1 (c). The projector 4, the image pickup device 5 for picking up an image of the monitoring area, the light-on detection means 23 for detecting at least the on state of the small light, the band filter 11 for selectively transmitting the wavelength band of the laser light, and the light. The drive source 12 that drives the band-pass filter 11 into the image pickup path of the monitoring area by the image pickup device 5 by the detection by the ON detection means 23, and the brightness obtained from the image pickup device 5 by the detection by the light-on detection switch 23. A data processing unit 1a for processing image data including a dot pattern to detect the presence of obstacles, grooves, people, etc.
The display device 10 displays the state of the monitoring area imaged by the imaging device 5 according to the detection by the light-on detection means 23.
【００１９】前記ライトオン検出手段２３による検出に
よって前記データ処理部１ａにより検知した障害物や溝
あるいは人等を、前記監視領域の状態に代えて前記ディ
スプレイ装置１０に表示させる表示切換手段１４を更に
備えることを特徴としている。Further, there is further provided a display switching means 14 for displaying an obstacle, a groove, a person or the like detected by the data processing section 1a by the detection by the light-on detecting means 23 on the display device 10 in place of the state of the monitoring area. It is characterized by having.
【００２０】前記駆動源１２が、常時撮像経路外に位置
するように付勢された前記帯域フィルタ１１を付勢力に
抗して撮像経路内に位置するように駆動するもの、又
は、前記帯域フィルタ１１を撮像経路内と外との間で駆
動するものであることを特徴としている。The drive source 12 drives the band-pass filter 11 which is always urged to be located outside the imaging path so as to be located inside the imaging path against the urging force, or the band-pass filter. 11 is driven between the inside and outside of the imaging path.
【００２１】[0021]
【作用】図１（ａ）の構成により、車両周辺の明るさを
検出する照度検出手段１３が所定値以下の照度を検出し
たとき、駆動源１２が、レーザ光の波長帯域を選択的に
透過する帯域フィルタ１１を、パターン光投光器４によ
り輝点パターンが投影された監視領域の撮像機５による
撮像経路内に駆動するので、撮像機５には入射レーザ光
によりパターン光投光器４が監視領域に投影した輝点パ
ターン以外の部分からの光成分を減衰して入射されるよ
うになり、ＳＮ比が改善される。With the configuration shown in FIG. 1A, when the illuminance detecting means 13 for detecting the brightness around the vehicle detects an illuminance equal to or less than a predetermined value, the drive source 12 selectively transmits the wavelength band of the laser light. The band-pass filter 11 is driven into the image pickup path of the image pickup device 5 in the monitoring region where the bright spot pattern is projected by the pattern light projector 4, so that the pattern light projector 4 is moved to the image pickup device 5 by the incident laser light. The light component from the portion other than the projected bright spot pattern is attenuated to be incident, and the SN ratio is improved.
【００２２】従って、照度検出手段１３が所定値以下の
照度を検出したときデータ処理部１ａが撮像機５から得
られる輝点パターンを含む画像データを処理して行う障
害物や溝あるいは人等の存在の検知が確実に行われる。Therefore, when the illuminance detecting means 13 detects an illuminance equal to or less than a predetermined value, the data processing section 1a processes the image data including the bright spot pattern obtained from the image pickup device 5 so that the obstacle, the groove, the person, etc. Presence detection is performed reliably.
【００２３】また、照度検出手段１３が所定値以上の照
度を検出したときは、ディスプレイ装置が撮像機５によ
って撮像した監視領域の状態を表示するので、撮像機５
をモニタ入力してディスプレイ装置の表示によって監視
領域の障害物や溝あるいは人等の存在を知ることができ
る。When the illuminance detecting means 13 detects an illuminance equal to or higher than a predetermined value, the display device displays the state of the monitoring area imaged by the image pickup device 5, so that the image pickup device 5 is displayed.
It is possible to know the presence of obstacles, grooves, people, etc. in the monitoring area by inputting the monitor to the display of the display device.
【００２４】更に、照度検出手段１３が所定値以下の照
度を検出したとき表示切換手段１４が、データ処理部１
ａが検知した障害物や溝あるいは人等を、監視領域の状
態に代えてディスプレイ装置１０に表示させるので、周
囲が暗いときでもディスプレイ装置１０の表示から監視
領域の障害物や溝あるいは人等の存在を知ることができ
る。Further, when the illuminance detecting means 13 detects an illuminance below a predetermined value, the display switching means 14 causes the data processing section 1 to operate.
The obstacles, grooves, people, etc. detected by a are displayed on the display device 10 instead of the state of the monitoring area. Therefore, even when the surroundings are dark, the obstacles, grooves, people, etc. in the monitoring area can be displayed from the display device 10. You can know your existence.
【００２５】図１（ｂ）の構成により、照度検出手段１
３が所定値以下の照度を検出したとき報知手段２１がそ
の旨を知らせる。従って、ドライバは周囲が暗くなり輝
点パターンによる障害物などの判断をすることができる
ような状態であることを知り、これに応じて手動操作手
段２２を操作すると、駆動源１２が帯域フィルタ１１を
監視領域の撮像機５による撮像経路内に駆動するように
なる。このことによって、撮像機５には入射レーザ光に
よりパターン光投光器４が監視領域に投影した輝点パタ
ーン以外の部分からの光成分を減衰して入射されるよう
になり、ＳＮ比が改善される。The illuminance detecting means 1 has the configuration shown in FIG.
When 3 detects an illuminance equal to or less than a predetermined value, the notification means 21 notifies that fact. Therefore, the driver knows that the surroundings are dark and is in a state where he / she can judge an obstacle or the like based on the bright spot pattern, and if the manual operation means 22 is operated accordingly, the drive source 12 causes the bandpass filter 11 to operate. Are driven into the imaging path of the monitoring area by the imaging device 5. As a result, the pattern laser projector 4 attenuates the light component from the portion other than the bright spot pattern projected onto the monitoring area by the incident laser light and enters the image pickup device 5, thus improving the SN ratio. .
【００２６】従って、手動操作手段の操作によってデー
タ処理部１ａが輝度パターンを含む画像データを処理し
て行う障害物や溝あるいは人等の存在の検知が確実に行
われる。Therefore, the presence of an obstacle, a groove, a person or the like, which is performed by the data processing section 1a processing the image data including the luminance pattern, can be surely detected by the operation of the manual operation means.
【００２７】また、手動操作手段２２の操作によって、
ディスプレイ装置１０が撮像機５によって撮像した監視
領域の状態を表示することができるので、周囲が明るい
場合は撮像機５をモニタ入力してディスプレイ装置１０
の表示によって監視領域の障害物や溝あるいは人等の存
在を知ることができる。By operating the manual operating means 22,
Since the display device 10 can display the state of the monitoring area imaged by the image pickup device 5, when the surroundings are bright, the image pickup device 5 is input to the monitor to display the display device 10.
The presence of obstacles, grooves, people, etc. in the monitoring area can be known by the display of.
【００２８】更に、手動操作手段２２の操作によって表
示切換手段１４が、データ処理部１ａが検知した障害物
や溝あるいは人等を、監視領域の状態に代えてディスプ
レイ装置１０に表示させるので、周囲が暗いときでもデ
ィスプレイ装置１０の表示から監視領域の障害物や溝あ
るいは人等の存在を知ることができる。Further, since the display switching means 14 causes the display device 10 to display the obstacle, groove, person or the like detected by the data processing section 1a by the operation of the manual operation means 22 instead of the state of the monitoring area, the surroundings. Even when it is dark, the presence of obstacles, grooves, people, etc. in the monitoring area can be known from the display of the display device 10.
【００２９】図１（ｃ）の構成により、ライトオン検出
手段２３が通常周囲が暗くなったときにオンされる少な
くともスモールライトのオン状態を検出すると、駆動源
１２が帯域フィルタ１１を監視領域の撮像機５による撮
像経路内に駆動するようになる。このことによって、撮
像機５には入射レーザ光によりパターン光投光器４が監
視領域に投影した輝点パターン以外の部分からの光成分
を減衰して入射されるようになり、ＳＮ比が改善され
る。With the configuration shown in FIG. 1C, when the light-on detecting means 23 detects at least the on state of the small light which is normally turned on when the surroundings are dark, the drive source 12 causes the band-pass filter 11 to move to the monitoring area. It will be driven in the imaging path by the imaging device 5. As a result, the pattern laser projector 4 attenuates the light component from the portion other than the bright spot pattern projected onto the monitoring area by the incident laser light and enters the image pickup device 5, thus improving the SN ratio. .
【００３０】従って、ライトオン検出手段２３の検出に
よってデータ処理部１ａが輝点パターンを含む画像デー
タを処理して行う障害物や溝あるいは人等の存在の検知
が確実に行われる。Therefore, by the detection of the light-on detecting means 23, the presence of an obstacle, a groove, a person or the like is surely performed by the data processing unit 1a processing the image data including the bright spot pattern.
【００３１】また、ライトオン検出手段２３の検出によ
って、ディスプレイ装置１０が撮像機５によって撮像し
た監視領域の状態を表示することができるので、撮像機
５をモニタ入力してディスプレイ装置１０の表示によっ
て監視領域の障害物や溝あるいは人等の存在を知ること
ができる。Further, the state of the monitoring area imaged by the image pickup device 5 by the display device 10 can be displayed by the detection of the light-on detection means 23. Therefore, the image pickup device 5 is input to the monitor and displayed by the display device 10. It is possible to know the existence of obstacles, grooves, people, etc. in the monitoring area.
【００３２】更に、ライトオン検出手段２３の検出によ
って表示切換手段１４が、データ処理部１ａが検知した
障害物や溝あるいは人等を、監視領域の状態に代えてデ
ィスプレイ装置１０に表示させるので、周囲が暗いとき
でもディスプレイ装置１０の表示から監視領域の障害物
や溝あるいは人等の存在を知ることができる。Further, the display switching means 14 causes the display device 10 to display the obstacle, the groove, the person or the like detected by the data processing section 1a by the detection of the light-on detecting means 23, instead of the state of the monitoring area. Even when the surroundings are dark, the presence of obstacles, grooves, people, etc. in the monitoring area can be known from the display of the display device 10.
【００３３】[0033]
【実施例】以下、本発明の実施例を図面に基づいて説明
する。図２は本発明による車両周辺監視装置の一実施例
を示す図であり、同図において、１は予め定めたプログ
ラムに従って動作しデータ処理部及び制御手段として働
くコンピュータ、２はレーザ光源、３はコンピュータ１
の制御の下でレーザ光源２を駆動するレーザ光源駆動装
置、４はレーザ光源１からレーザ光１ａを入力し、この
入力したレーザ光１ａにより監視領域にマトリクス状の
輝点パターンを投影するパターン光投光器である。Embodiments of the present invention will be described below with reference to the drawings. FIG. 2 is a diagram showing an embodiment of a vehicle periphery monitoring device according to the present invention. In FIG. 2, 1 is a computer which operates according to a predetermined program and serves as a data processing unit and control means, 2 is a laser light source, and 3 is a laser light source. Computer 1
The laser light source driving device 4 for driving the laser light source 2 under the control of the pattern light inputs the laser light 1a from the laser light source 1 and the pattern light for projecting a matrix-shaped bright spot pattern on the monitoring area by the input laser light 1a. It is a floodlight.
【００３４】また、５は監視領域を撮影する撮像機とし
てのＣＣＤカメラ、６はＣＣＤカメラ５から得られる映
像信号を一時的に蓄えるフレームメモリ、７は障害物等
がない平坦な地面の場合の画像データを参照データとし
て予め記憶した参照データ記憶部、８はハンドルの操舵
角度を検出する舵角検出器、９は警報音を発するブザ
ー、１０は例えばＣＲＴ、液晶表示器などからなるディ
スプレイ装置である。Further, 5 is a CCD camera as an image pickup device for photographing the monitoring area, 6 is a frame memory for temporarily storing the video signal obtained from the CCD camera 5, and 7 is a flat ground without obstacles. A reference data storage unit that stores image data as reference data in advance, 8 is a steering angle detector that detects a steering angle of a steering wheel, 9 is a buzzer that emits an alarm sound, and 10 is a display device such as a CRT or a liquid crystal display. is there.
【００３５】更に、１１はレーザ光源２が発生するレー
ザ光の波長帯域を選択的に透過する帯域フィルタであ
り、例えば、常時ＣＣＤカメラ５による監視領域の撮像
経路外に位置するように図示しないスプリングによる付
勢されている。１２は常時監視領域の撮像経路外に位置
されている帯域フィルタ１１をコンピュータ１の制御の
下で駆動してＣＣＤカメラ５による監視領域の撮像経路
内に位置させる駆動源としてのソレノイドである。Further, 11 is a bandpass filter which selectively transmits the wavelength band of the laser light generated by the laser light source 2, and for example, a spring (not shown) is always located outside the imaging path of the monitoring area of the CCD camera 5. Is being urged by. Reference numeral 12 is a solenoid as a drive source for driving the band-pass filter 11 which is always located outside the imaging area of the monitoring area under the control of the computer 1 to be positioned within the imaging path of the monitoring area by the CCD camera 5.
【００３６】１３は車両周辺、特に監視領域の明るさを
検出する照度検出器としての照度センサ、１４はコンピ
ュータ１の制御の下でディスプレイ装置１０に表示させ
る映像を切り換える切換回路であり、データ処理部とし
て働くコンピュータ１がＣＣＤカメラ５により撮像しフ
レームメモリ６に一時的に格納した監視領域の画像デー
タを処理して検出した障害物や溝あるいは人等の映像、
又はＣＣＤカメラ５により撮像して得た監視領域そのも
のの映像の一方を選択してディスプレイ装置１０に表示
させる。Reference numeral 13 is an illuminance sensor as an illuminance detector for detecting the brightness of the periphery of the vehicle, especially the monitoring area, and 14 is a switching circuit for switching the image displayed on the display device 10 under the control of the computer 1 for data processing. An image of an obstacle, a groove, a person, or the like, which is detected by the computer 1 that functions as a unit, processes the image data of the monitoring area that is captured by the CCD camera 5 and temporarily stored in the frame memory 6,
Alternatively, one of the images of the monitoring area itself obtained by the CCD camera 5 is selected and displayed on the display device 10.
【００３７】上記パターン光投光器４としては、図３
（ａ）に示すようなファイバグレイティング（ＦＧ）４
１や、図３（ｂ）に示すようなマルチビームプロジェク
タ（ＭＢＰ）４２が適用される。The pattern light projector 4 shown in FIG.
Fiber grating (FG) 4 as shown in (a)
1 or a multi-beam projector (MBP) 42 as shown in FIG. 3B is applied.
【００３８】図３（ａ）のＦＧ４１は、直径が数十μ
ｍ、長さ１０mmの光ファイバを１００本程度シート状に
並べそれを２枚直交して重ね合わせたものである。この
ＦＧ４１にレーザ光源２が発生するレーザ光２ａを入射
すると、レーザ光は個々の光ファイバの焦点で集光した
後、球面波となり干渉しつつ広がって行き、その結果、
投影面には正方格子状、すなわちマトリクス状の輝点パ
ターン４３が投影される。The FG 41 shown in FIG. 3A has a diameter of several tens μ.
About 100 optical fibers each having a length of m and a length of 10 mm are arranged in a sheet shape, and two optical fibers are stacked orthogonally to each other. When the laser light 2a generated by the laser light source 2 is incident on the FG 41, the laser light is condensed at the focal points of the individual optical fibers and then spreads as a spherical wave while interfering.
A bright lattice pattern 43 in a square lattice, that is, a matrix, is projected on the projection surface.
【００３９】図３（ｂ）のＭＢＰ４２は、薄い透明なプ
レートにマイクロレンズを多数集積したものであり、レ
ーザ光源２から入射されたレーザ光２ａはＭＢＰ４２に
より多重ビームとなり、投影面に正方格子状、すなわち
マトリクス状の輝点パターン４３が投影される。The MBP 42 shown in FIG. 3 (b) is a thin transparent plate in which a large number of microlenses are integrated. The laser light 2a incident from the laser light source 2 becomes a multiple beam by the MBP 42 and has a square lattice pattern on the projection surface. That is, the matrix-shaped bright spot pattern 43 is projected.
【００４０】上述の構成において、常時は、上記帯域フ
ィルタ１１はＣＣＤカメラ５による監視領域の撮像経路
外にあり、レーザ光源駆動装置３はレーザ光源２を駆動
しておらず、切換回路１４はＣＣＤカメラ５により撮像
して得た監視領域そのものの映像を選択している。よっ
て、ＣＣＤカメラ５は通常モニタカメラとして使用さ
れ、ディスプレイ装置１０の表示画面には監視領域が映
し出されており、この表示画面を見ることによって障害
物などの存在を知ることができる。このような状態にお
いて、コンピュータ１は、照度センサ１３から入力する
明るさ信号を監視し、この信号に基づいて、周囲が暗く
なって照度が所定値以下になり監視領域の障害物や溝あ
るいは人等を輝度パターンを含む画像データを処理する
ことで検出不可能となったかどうかを判定する。In the above configuration, the bandpass filter 11 is normally outside the image pickup path of the monitoring area of the CCD camera 5, the laser light source driving device 3 does not drive the laser light source 2, and the switching circuit 14 is the CCD. The image of the surveillance area itself obtained by imaging with the camera 5 is selected. Therefore, the CCD camera 5 is usually used as a monitor camera, and the monitoring area is displayed on the display screen of the display device 10. By looking at this display screen, the existence of obstacles and the like can be known. In such a state, the computer 1 monitors the brightness signal input from the illuminance sensor 13, and based on this signal, the surroundings become dark and the illuminance becomes a predetermined value or less, and an obstacle, a groove, or a person in the monitoring area is detected. It is determined whether or not it becomes undetectable by processing image data including a luminance pattern.
【００４１】そして、照度が所定値以下になったことを
検出すると、コンピュータ１は、ソレノイド１２を駆動
して帯域フィルタ１１をスプリングの付勢力に抗してＣ
ＣＤカメラ５による監視領域の撮像経路外から撮像経路
内に移動させると共に、レーザ光源駆動装置３の動作を
開始させてレーザ光源２を駆動しパターン光投光器４に
よって輝点パターンを監視領域に投影させ、かつ切換回
路１４を切り換えて画像データ処理により検出した障害
物や溝あるいは人等の映像を選択させる。When the computer 1 detects that the illuminance has become less than a predetermined value, the computer 1 drives the solenoid 12 to cause the bandpass filter 11 to resist the biasing force of the spring to C.
The CD camera 5 is moved from the outside of the image pickup path to the inside of the image pickup path, the operation of the laser light source driving device 3 is started, the laser light source 2 is driven, and the bright spot pattern is projected onto the monitoring area by the pattern light projector 4. Further, the switching circuit 14 is switched to select an image of an obstacle, a groove, a person or the like detected by the image data processing.
【００４２】上述のように帯域フィルタ１１が撮像経路
内に挿入されると、パターン光投光器４（ＦＧ４１また
はＭＢＰ４２）により監視領域に投影された輝点パター
ン４３が帯域フィルタ１１を通じてＣＣＤカメラ５によ
って撮像される。ＣＣＤカメラ５から得られる映像信号
はフレームメモリ６に一時的に蓄えられた後、コンピュ
ータ１に取り込まれる。コンピュータ１は、フレームメ
モリ６から得られる画像データと、参照データ記憶部７
に予め記憶された参照データとを比較することによっ
て、ＣＣＤカメラ５のイメージプレーン上での輝点の移
動量を求め、監視領域内の障害物や溝あるいは人等の存
在を検知する。そして、このデータ処理により得た映像
信号を切換回路１４を介してディスプレイ装置１０に送
出してその映像を表示させる。When the bandpass filter 11 is inserted in the image pickup path as described above, the bright spot pattern 43 projected onto the monitoring area by the pattern light projector 4 (FG41 or MBP42) is imaged by the CCD camera 5 through the bandpass filter 11. To be done. A video signal obtained from the CCD camera 5 is temporarily stored in the frame memory 6 and then taken into the computer 1. The computer 1 includes image data obtained from the frame memory 6 and a reference data storage unit 7.
The amount of movement of the bright spot on the image plane of the CCD camera 5 is obtained by comparing with reference data stored in advance to detect the presence of obstacles, grooves, people, etc. in the monitoring area. Then, the video signal obtained by this data processing is sent to the display device 10 via the switching circuit 14 to display the video.
【００４３】図４は図２について上述した実施例におけ
る光学配置を示し、ＣＣＤカメラ５の前面には上述した
帯域フィルタ１１を配置している。そして、そのレンズ
５ａを原点にして、パターン光投光器４をｙ軸上で距離
ｄの位置に、イメージプレーン５ｂをＺ軸上で距離Ｉの
位置にそれぞれ配置する。この光学配置において、監視
領域５ｃ（ＣＣＤカメラの視野）が障害物等のない平坦
な地面（路面）であるとき点Ｐn （Ｘn ，Ｙn ，０）に
投影される輝点は、監視領域５ｃ内に物体Ｏが存在する
ことによって、物体Ｏ上の点ＰB （ＸB ，ＹB ，ＺB ）
に投影される。これによって、この輝点を撮像するＣＣ
Ｄカメラ５のイメージプレーン５ｂ上では、図中の点Ｐ
n （Ｘn ，Ｙn ，０）に対応する点Ａ（ｕ，ｖ）が、点
ＰB （Ｘ B ，ＹB ，ＺB ）に対応する点Ｂ（ｕ，ｖ＋
δ）に移動する。すなわち、輝点が一定の方向に移動す
る。FIG. 4 shows the embodiment described above with reference to FIG.
The optical arrangement according to FIG.
A bandpass filter 11 is arranged. And that lens
With 5a as the origin, the pattern light projector 4 is moved along the y-axis.
The image plane 5b at the position of d on the Z axis at the distance I
Place in each position. In this optical arrangement, monitoring
Area 5c (field of view of CCD camera) is flat with no obstacles
Point P when the ground (road surface) is clearn(Xn, Yn, 0)
As for the projected bright spot, the object O exists in the monitoring area 5c.
The point P on the object OB(XB, YB, ZB)
Projected on. As a result, CC that captures an image of this bright spot
On the image plane 5b of the D camera 5, a point P in the figure
n(Xn, Yn, 0) corresponds to the point A (u, v)
PB(X B, YB, ZB) Corresponding to point B (u, v +
Move to δ). That is, the bright spot moves in a certain direction.
It
【００４４】従って、点Ａの位置と点Ｂの位置との距離
を求めることによって移動量δが検出される。コンピュ
ータ１はまた、上記距離ｄ及びＩと、監視領域５ｃから
ｙ軸までの距離ｈと、ＣＣＤカメラ光軸と監視領域５ｃ
の法線となす角θと、上記移動量δとを用いて演算処理
することによって、輝点の三次元位置〔図４においては
点ＰB （ＸB ，ＹB ，ＺB ）〕を検出する。そして、入
力画像における全ての輝点について三次元位置を検出
し、三次元位置の変化した輝点について演算処理を施す
ことによって、障害物や溝あるいは人等のおおよその大
きさや位置を検出し、この検出結果によってディスプレ
イ装置１０に表示を行う。Therefore, the amount of movement δ is detected by obtaining the distance between the position of point A and the position of point B. The computer 1 also uses the distances d and I, the distance h from the monitoring area 5c to the y-axis, the optical axis of the CCD camera and the monitoring area 5c.
The three-dimensional position of the bright spot [point P B (X B , Y B , Z B in FIG. 4)] is detected by calculation processing using the angle θ formed with the normal line of To do. Then, the three-dimensional position is detected for all the bright points in the input image, and the approximate size and position of obstacles, grooves, people, etc. are detected by performing arithmetic processing on the bright points whose three-dimensional position has changed, Display is performed on the display device 10 according to the detection result.
【００４５】図５は、パターン光投光器４、レーザ光源
２及びＣＣＤカメラ５により構成したセンサ部Ｓを、自
動車の後部において地面の法線に対し角度θで固定した
場合の設置の一例を示す。FIG. 5 shows an example of installation in which the sensor unit S composed of the pattern light projector 4, the laser light source 2 and the CCD camera 5 is fixed at an angle θ with respect to the normal line of the ground in the rear part of the automobile.
【００４６】以上概略説明した装置の動作の詳細を、コ
ンピュータ１が行う仕事を示す図６のフローチャートを
参照して以下説明する。コンピュータ１は例えば車両の
イグニッションスイッチのオンにより電源投入されるこ
とによって動作を開始し、その最初のステップＳ１にお
いて、初期設定を行う。この初期設定においては、ソレ
ノイド１２、レーザ光源駆動装置３及び切換回路１４を
それぞれオフ状態にする。Details of the operation of the apparatus outlined above will be described below with reference to the flowchart of FIG. 6 showing the work performed by the computer 1. The computer 1 starts its operation by being turned on by turning on an ignition switch of the vehicle, for example, and performs initial setting in the first step S1. In this initial setting, the solenoid 12, the laser light source driving device 3, and the switching circuit 14 are turned off.
【００４７】このことによって、動作開始時点では、帯
域フィルタ１１はＣＣＤカメラ５の撮像経路外に位置さ
れ、パターン光投光器４は監視領域に輝度パターンを投
影せず、かつ切換回路１４はＣＣＤカメラ５から直接送
られてくる映像信号を選択してディスプレイ装置１０に
対して出力している。従って、ディスプレイ装置１０に
は、帯域フィルタ１１を介さずにＣＣＤカメラ５が撮像
した監視領域の映像を映し出し、この画面を見ることに
よってドライバは監視領域内の障害物などの存在を知る
ことができる。As a result, at the start of the operation, the bandpass filter 11 is located outside the image pickup path of the CCD camera 5, the pattern light projector 4 does not project the brightness pattern on the monitoring area, and the switching circuit 14 is operated by the switching circuit 14. The video signal directly sent from the selected device is selected and output to the display device 10. Therefore, the display device 10 projects the image of the surveillance area imaged by the CCD camera 5 without passing through the band-pass filter 11, and the driver can know the existence of obstacles in the surveillance area by looking at this screen. .
【００４８】その後ステップＳ２に進み、ここで照度セ
ンサ１３からの照度信号を入力してからステップＳ３に
進んでこの入力した照度信号によって照度が所定値以上
であるか否かを判定し、この判定によって、車両周辺の
明るさがＣＣＤカメラ５により撮像した監視領域の映像
により直接監視できるに十分な明るさであるかどうかを
判断する。ステップＳ３の判定がＹＥＳのとき、すなわ
ち車両周辺が十分に明るいときには上記ステップＳ１に
戻って上述のステップＳ１乃至Ｓ３を繰り返す。After that, the process proceeds to step S2, where the illuminance signal from the illuminance sensor 13 is input, and then the process proceeds to step S3 to determine whether the illuminance signal is equal to or more than a predetermined value based on the input illuminance signal. It is determined whether the brightness around the vehicle is sufficient to be directly monitored by the image of the monitoring area captured by the CCD camera 5. When the determination in step S3 is YES, that is, when the surroundings of the vehicle are sufficiently bright, the process returns to step S1 and steps S1 to S3 described above are repeated.
【００４９】ステップＳ３の判定がＮＯのとき、すなわ
ちＣＣＤカメラ５により撮像した監視領域の映像により
直接監視できなくなったときにはステップＳ４に進んで
ソレノイド１２をオンして帯域フィルタ１１をＣＣＤカ
メラ５の撮像経路内に位置させ、次にステップＳ５に進
んでレーザ光源駆動装置３をオンしてパターン光投光器
４に輝点パターンを監視領域に投影させ、更にステップ
Ｓ６に進んで切換回路１４をオンしてディスプレイ装置
１０に対して送る映像信号としてコンピュータ１によっ
て処理した信号を選択する。When the determination in step S3 is NO, that is, when it becomes impossible to directly monitor the image of the monitoring area imaged by the CCD camera 5, the process proceeds to step S4, the solenoid 12 is turned on and the band-pass filter 11 is imaged by the CCD camera 5. After being positioned in the path, the process proceeds to step S5, the laser light source driving device 3 is turned on to cause the pattern light projector 4 to project the bright spot pattern on the monitoring area, and the process proceeds to step S6 to turn on the switching circuit 14. A signal processed by the computer 1 is selected as a video signal to be sent to the display device 10.
【００５０】その後ステップＳ７に進んで画像データ処
理を行う。この画像データ処理においては、帯域フィル
タ１１を介して撮像しフレームメモリ６に一時的に格納
した監視領域の画像データを読み込み、この読み込んだ
データを参照データ記憶部７に格納した参照データと対
比するなどして障害物などを検知する仕事を行う。After that, the process proceeds to step S7 to perform image data processing. In this image data processing, the image data of the monitoring area which is picked up via the bandpass filter 11 and temporarily stored in the frame memory 6 is read, and the read data is compared with the reference data stored in the reference data storage unit 7. Do the work of detecting obstacles, etc.
【００５１】また、この処理によって障害物を検知した
ときには検知した障害物などを含む画像を表す映像信号
を形成して切換回路１４に対して出力する。更に、この
ステップＳ７における処理においては、舵角検出器８か
らの信号によって車両の進行方向を予測し、この予測し
た進行方向に検知した障害物などがあるときにはブザー
９を鳴動させて警報を発するなどの仕事を行う。ステッ
プＳ７の一連の仕事が終了したら上記ステップＳ２に戻
って上述した動作を繰り返す。When an obstacle is detected by this processing, a video signal representing an image including the detected obstacle is formed and output to the switching circuit 14. Further, in the processing in step S7, the traveling direction of the vehicle is predicted by the signal from the steering angle detector 8, and when there is an obstacle or the like detected in the predicted traveling direction, the buzzer 9 is sounded to issue an alarm. Etc. When the series of work in step S7 is completed, the process returns to step S2 and the above-described operation is repeated.
【００５２】なお、ステップＳ２乃至Ｓ７を繰り返し実
行し、画像データ処理によって得た映像をディスプレイ
装置１０に映し出している過程で、ステップＳ３の判定
がＹＥＳになったとき、すなわち照度が所定値以上にな
ったときにはステップＳ１に戻って初期設定を行うの
で、ディスプレイ装置１０には帯域フィルタ１１を介さ
ずに撮像した映像が直接映し出されるようになる。Incidentally, when steps S2 to S7 are repeatedly executed and the image obtained by the image data processing is displayed on the display device 10, when the determination in step S3 is YES, that is, the illuminance is equal to or more than a predetermined value. If so, the process returns to step S1 to perform the initial setting, so that the image captured without the band-pass filter 11 is directly displayed on the display device 10.
【００５３】上述した実施例では、照度センサ１３から
の照度信号によって照度が所定値以上になったときに表
示を自動的に切り換えているが、これを手動によって切
り換えるようにすることができる。このために、報知表
示器２１を設け、照度が所定値以上になったときにコン
ピュータ１が報知表示器２１に表示の切り換えを、手動
切換スイッチ２２のオン・オフ操作によって、行うこと
を促す表示を行わせるようにすることができる。この報
知表示器２１としては、ディスプレイ装置１０を兼用し
たり、既設の各種表示器に表示の一種類として報知表示
を行うようにしてもよい。In the above-described embodiment, the display is automatically switched when the illuminance signal from the illuminance sensor 13 exceeds the predetermined value, but this can be switched manually. For this reason, a notification display 21 is provided, and a display prompting the computer 1 to switch the display on the notification display 21 by turning on / off the manual changeover switch 22 when the illuminance exceeds a predetermined value. Can be done. As the notification display 21, the display device 10 may also be used, or an existing display may be used to perform notification display as one type of display.
【００５４】このような構成の場合には、コンピュータ
１は図７のフローチャートに示す仕事を行うようにすれ
ばよい。すなわち、その動作の開始後の最初のステップ
Ｓ１１において照度センサ１３からの信号を入力し、次
のステップＳ１２においてこの信号によって照度が所定
値以上であるか否かを判定し、この判定がＹＥＳのとき
すなわち十分に明るいときにはステップＳ１３に進んで
報知表示器２１をオフしてこれに何らの表示も行わせな
い。In the case of such a configuration, the computer 1 may perform the work shown in the flowchart of FIG. That is, the signal from the illuminance sensor 13 is input in the first step S11 after the start of the operation, and it is determined in the next step S12 whether or not the illuminance is equal to or more than a predetermined value, and this determination is YES. At this time, that is, when it is sufficiently bright, the process proceeds to step S13 and the notification indicator 21 is turned off so that it does not display anything.
【００５５】その後ステップＳ１４に進んで手動切換ス
イッチ２２がオンしているか否かを判定する。手動切換
スイッチ２２がオフしていて判定がＮＯのときにはステ
ップＳ１５に進んで駆動源であるソレノイド１２をオフ
させて帯域フィルタ１１を撮像経路外に位置させる。な
お、ソレノイド１２がオフになっていて帯域フィルタ１
１が既に撮像経路外に位置されているときには変化は生
じない。次にステップＳ１６に進んでレーザ光源駆動装
置３をオフさせて輝度パターンの投影を行わず、更に次
のステップＳ１７に進んで切換回路１４をオフしてＣＣ
Ｄカメラ５による映像を直接ディスプレイ装置１０に表
示させるようにしてから上記ステップＳ１１に戻る。After that, the routine proceeds to step S14, where it is judged whether or not the manual selector switch 22 is turned on. When the manual changeover switch 22 is off and the determination is NO, the routine proceeds to step S15, where the solenoid 12 which is the drive source is turned off and the bandpass filter 11 is positioned outside the imaging path. In addition, the solenoid 12 is off and the bandpass filter 1
No change occurs when 1 is already located outside the imaging path. Next, in step S16, the laser light source driving device 3 is turned off to project no luminance pattern, and in step S17, the switching circuit 14 is turned off to turn off CC.
After the image from the D camera 5 is directly displayed on the display device 10, the process returns to step S11.
【００５６】上記ステップＳ１２の判定がＮＯのときす
なわち暗いときにはステップＳ１８に進んで報知表示器
２１をオンしてこにデータ処理した映像への切り換えが
必要であることを表示させる。その後ステップＳ１９に
進んで手動切換スイッチ２２がオンしているか否かを判
定する。手動切換スイッチ２２がオフしていて判定がＮ
Ｏのときには上記ステップＳ１５に進んでステップＳ１
５乃至Ｓ１７を実行してステップＳ１１に戻る。When the determination in step S12 is NO, that is, when it is dark, the process proceeds to step S18 to turn on the notification display unit 21 to display that it is necessary to switch to the data-processed image. After that, the process proceeds to step S19, and it is determined whether or not the manual changeover switch 22 is turned on. If the manual changeover switch 22 is off, the judgment is N.
When it is O, the process proceeds to the above step S15 and step S1.
5 to S17 are executed and the process returns to step S11.
【００５７】ステップＳ１９の判定がＹＥＳのときには
ステップＳ２０に進んでソレノイド１２をオンさせて帯
域フィルタ１１を撮像経路内に位置させる。なお、帯域
フィルタ１１が既に撮像経路内に位置されているときに
は、ソレノイド１２のオンによって何も変化しない。次
にステップＳ２１に進んでレーザ光源駆動装置３をオン
させて輝点パターンの投影を行わせ、更に次のステップ
Ｓ２２に進んで切換回路１４をオンしてＣＣＤカメラ５
からの映像信号を処理して得た映像をディスプレイ装置
１０に表示させるようにしてから上記ステップＳ２３に
進み、ここで図６のステップ７におけると同様の画像デ
ータ処理を行ってから上記ステップＳ１１に戻る。When the determination in step S19 is YES, the process proceeds to step S20, and the solenoid 12 is turned on to position the bandpass filter 11 in the image pickup path. It should be noted that when the bandpass filter 11 is already located in the imaging path, nothing is changed by turning on the solenoid 12. Next, in step S21, the laser light source driving device 3 is turned on to project a bright spot pattern, and in step S22, the switching circuit 14 is turned on to turn on the CCD camera 5.
After the video signal obtained by processing the video signal from is displayed on the display device 10, the process proceeds to step S23, where the same image data processing as in step 7 of FIG. 6 is performed, and then the process proceeds to step S11. Return.
【００５８】なお、上記ステップＳ１４の判定がＹＥＳ
のときにはステップＳ１１に戻るようになっているの
で、ＣＣＤカメラ５による映像を直接ディスプレイ装置
１０に表示させている状態で、事前に手動切換手段２２
をオンにしておくことによって、ステップＳ１２の判定
がＮＯになった時点で自動的に表示を切り換えることが
できる。The determination in step S14 is YES.
In this case, the process returns to step S11, so that the manual switching means 22 is previously operated in a state where the image from the CCD camera 5 is directly displayed on the display device 10.
By turning on, the display can be automatically switched when the determination in step S12 is NO.
【００５９】上述した実施例では、照度センサ１３から
の照度信号を利用して制御を行っているが、この照度セ
ンサ１３に代えて、少なくともスモールランプのオン操
作に応じてオンするライトオン検出スイッチ２３を設
け、このライトオン検出スイッチ２３による検出によっ
て制御を行ってもよい。この場合には、図６のフローチ
ャートのステップＳ２及びＳ３と図７のフローチャート
のステップＳ１１及びＳ１２を、ライトオン検出スイッ
チ２３が検出しているか否かを判定するステップとそれ
ぞれ置き換えればよい。In the above-described embodiment, the illuminance signal from the illuminance sensor 13 is used for control, but instead of the illuminance sensor 13, a light-on detection switch that is turned on at least in response to an on operation of the small lamp. 23 may be provided, and control may be performed by detection by the light-on detection switch 23. In this case, steps S2 and S3 of the flowchart of FIG. 6 and steps S11 and S12 of the flowchart of FIG. 7 may be replaced with steps of determining whether or not the light-on detection switch 23 is detecting.
【００６０】また、上述した実施例では、帯域フィルタ
１１を常時撮像経路外に位置さておき、ソレノイド１２
のオンにより経路内に位置させているが、この駆動源と
してのソレノイドを正逆回転可能な直流モータに置き換
えることも可能である。この場合には、図６のフローチ
ャートを図８のように変更し、図７のフローチャートの
ステップＳ１５において直流モータを逆回転させ、ステ
ップＳ２０において直流モータを正回転させるように変
更すればよい。Further, in the above-described embodiment, the bandpass filter 11 is always placed outside the imaging path, and the solenoid 12
The solenoid as the drive source can be replaced with a direct-current motor capable of rotating in the forward and reverse directions. In this case, the flowchart of FIG. 6 may be modified as shown in FIG. 8, the DC motor may be reversely rotated in step S15 of the flowchart of FIG. 7, and the DC motor may be normally rotated in step S20.
【００６１】上述の実施例では、帯域フィルタ１１をＣ
ＣＤカメラ５の前面に設けているが、これは例えばＣＣ
Ｄカメラ５内に組み込み、レンズ５ａとイメージプレー
ン５ｂとの間に駆動源による駆動によって挿脱できるよ
うに配置することも可能である。In the above embodiment, the bandpass filter 11 is replaced by C
It is provided on the front of the CD camera 5, but this is for example CC
It is also possible to incorporate it in the D camera 5 and arrange it between the lens 5a and the image plane 5b so that it can be inserted / removed by being driven by a drive source.
【００６２】上述した画像データ処理において使用され
る参照データは図９に示すフローチャートの実行により
作成される。The reference data used in the above-described image data processing is created by executing the flowchart shown in FIG.
【００６３】すなわち、最初のステップＳ３１におい
て、ＣＣＤカメラ５が撮像して出力する輝点マトリクス
４３の画像信号を入力し、これを例えば５１２×５１２
ピクセル、輝度０〜２５５階調の画素データに変換して
フレームメモリ６に一時的に蓄える。フレームメモリ６
に一時的に蓄えられた画素データは、ステップＳ３２に
おいて先ず輝点抽出される。その後、ステップＳ３３に
おいて、輝点重心の座標位置を決定する処理が行われ
る。更にその後、ステップＳ３４において、輝点の明る
さを決定する処理、すなわち、検査時の輝点抽出のため
のしきい値を決定する処理を行ってからステップＳ３５
に進んで明るさ補正の際に必要な背景輝度データを求め
る。That is, in the first step S31, the image signal of the bright spot matrix 43 imaged and output by the CCD camera 5 is input, and this is input, for example, 512 × 512.
The pixel data is converted into pixel data having 0 to 255 gradations and temporarily stored in the frame memory 6. Frame memory 6
In step S32, the pixel data temporarily stored in 1 is first subjected to bright point extraction. Then, in step S33, a process of determining the coordinate position of the center of gravity of the bright spot is performed. Further, after that, in step S34, a process of determining the brightness of the bright spot, that is, a process of determining a threshold value for extracting the bright spot at the time of inspection is performed, and then step S35.
Proceed to step 1 to obtain background luminance data necessary for brightness correction.
【００６４】上記ステップＳ３２の輝点抽出処理は、図
１０に示すような監視領域内の輝点投影画像の図１１に
示すような一走査線上の輝度をしきい値と比較して輝点
を抽出するためのもので、この処理においては、先ずフ
レームメモリ６の各画素データについて、画素の階調値
が予め設定されたしきい値より大きければその値を残
し、小さければその画素の階調値を零にする。上述した
処理は１画素づつずらして全ての画素について行い、こ
の処理によって、図１２に示すような画素のかたまり
（輝点）が抽出される。In the bright spot extraction processing in step S32, the brightness on one scanning line as shown in FIG. 11 of the bright spot projection image in the monitoring area as shown in FIG. In this processing, first, for each pixel data of the frame memory 6, if the gradation value of the pixel is larger than a preset threshold value, the value is left, and if it is smaller, the gradation of the pixel is Set the value to zero. The above-described processing is performed for all pixels by shifting by one pixel, and a cluster (bright spot) of pixels as shown in FIG. 12 is extracted by this processing.
【００６５】なお、各輝点間の輝度の差が大きく、固定
のしきい値では輝点の抽出ができない場合には、図１３
に示すようなある画素を中心にしたｍ×ｎピクセルの窓
内の輝度平均値を求め、この平均値をしきい値としてそ
の画素を残すか否かを決定し、他の画素についても同様
の処理でしきい値を求めて、画素毎に異なるしきい値で
輝点を抽出するようにすればよい。If the difference in luminance between the bright points is large and the bright points cannot be extracted with a fixed threshold value, FIG.
The average brightness value in a window of m × n pixels centered on a certain pixel as shown in Fig. 3 is obtained, this average value is used as a threshold value to decide whether or not to leave that pixel, and the same applies to other pixels. It suffices to obtain a threshold value by processing and extract a bright spot with a different threshold value for each pixel.
【００６６】次に、上記ステップＳ３３の処理、すなわ
ち、輝点重心の座標位置を決定する処理について説明す
る。この決定処理においては、例えば図１４に示すよう
な輝点の重心座標（Ｕ，Ｖ）を輝点内の各画素の輝点の
座標から輝度の重みを付けた重心位置を求める。Next, the process of step S33, that is, the process of determining the coordinate position of the center of gravity of the bright spot will be described. In this determination process, for example, the barycentric position (U, V) of the bright spot as shown in FIG. 14 is obtained by weighting the brightness from the coordinates of the bright spot of each pixel in the bright spot to obtain the barycentric position.
【００６７】その後のステップＳ３４の処理、すなわ
ち、輝点の明るさ（輝度しきい値）を決定する処理につ
いて説明する。この処理においては、輝点を構成する画
素の例えば最小値を輝点の重心の明るさとする。図１４
に示した輝点では、Ｉ（min ）＝５０であるから、輝点
重心の明るさは５０である。The process of step S34 thereafter, that is, the process of determining the brightness (luminance threshold value) of the bright spot will be described. In this processing, for example, the minimum value of the pixels forming the bright spot is set as the brightness of the center of gravity of the bright spot. 14
At the bright spot shown in (1), since I (min) = 50, the brightness of the bright spot centroid is 50.
【００６８】上述のような処理を行うことにより、図１
５に示すように、各輝点のNo. に対する輝点重心とその
輝度並びに背景データ（位置、輝度）とからなる最終基
準輝点データ（参照データ）が得られ、これが参照デー
タ記憶部７に記憶される。上述した図９のフローチャー
トの実行により、コンピュータ１は、平坦路面に投影さ
れた輝点パターンを撮像した前記撮像機からの画像信号
による画素データから各輝点座標、各輝度しきい値、背
景データを含む参照データを作成する参照データ作成手
段として働く。By performing the processing as described above, FIG.
As shown in FIG. 5, final standard bright spot data (reference data) consisting of the bright spot centroid for each bright spot No., its brightness, and background data (position, brightness) is obtained, and this is stored in the reference data storage unit 7. Remembered. By executing the flowchart of FIG. 9 described above, the computer 1 determines each bright spot coordinate, each brightness threshold value, and background data from the pixel data based on the image signal from the image pickup device that picks up the bright spot pattern projected on the flat road surface. It functions as a reference data creating means for creating reference data including.
【００６９】次に、画像データ処理の主要な処理である
障害物検出処理を、図１６のフローチャートを参照して
説明する。Next, the obstacle detection processing, which is the main processing of the image data processing, will be described with reference to the flowchart of FIG.
【００７０】すなわち、この障害物検出処理において
は、先ずステップＳ４１において参照データ記憶部７か
ら参照データを取り込む処理を行う。そして、続くステ
ップＳ４２においてセンサの高さ変化に対する補正処理
を行う。その後、ステップＳ４３において画像を取り込
む処理を行ってからステップＳ４４に進み、ここで取り
込んだ画像に付いて背景の明るさに対する変化の検出・
補正処理を行う。更にステップＳ４５に進んで移動スポ
ットの抽出処理を行う。続いてステップＳ４６で各スポ
ットの三次元座標位置の計算処理、ステップＳ４７で監
視領域を二次元的に表示する処理、ステップＳ４８で舵
角値取り込み処理、ステップＳ４９で車両進路予測処
理、ステップＳ５０で障害物との衝突予測処理、ステッ
プＳ５１で表示処理を行ってステップＳ４３に戻る。That is, in this obstacle detection process, first, in step S41, a process of fetching reference data from the reference data storage unit 7 is performed. Then, in a succeeding step S42, a correction process for the height change of the sensor is performed. After that, the process of capturing the image is performed in step S43, and then the process proceeds to step S44, in which a change in the brightness of the background is detected for the captured image.
Perform correction processing. Further, the process proceeds to step S45 to perform the moving spot extraction processing. Then, in step S46, the three-dimensional coordinate position of each spot is calculated, in step S47 the monitoring area is two-dimensionally displayed, in step S48, the steering angle value is captured, in step S49, the vehicle course prediction process is performed, and in step S50. Collision prediction processing with an obstacle, display processing is performed in step S51, and the process returns to step S43.
【００７１】上記ステップＳ４２のセンサの高さ変化に
対する補正処理は次の理由で行う。すなわち、上述した
三次元位置点ＰB （ＸB ，ＹB ，ＺB ）を計測するため
に距離ｈと共に使用するイメージプレーン５ｂ上の二次
元座標からなる参照データを取り込むが、この参照デー
タとしては、車両の高さｈの再現性などを考慮し、車両
に重量物が乗っていない場合の座標を用いる。このため
に平坦路面上の各輝点のイメージプレーン５ｂ上の二次
元座標からなる参照データを記憶しておき、各計測時の
基準値とする。そして、実際の走行状態における凹凸路
面の三次元計測では、重量物を一切乗せないで求めた各
輝点の基準値に対する計測時の輝点座標のずれより各輝
点の三次元座標を求めることになる。The correction process for the height change of the sensor in step S42 is performed for the following reason. That is, the reference data composed of the two-dimensional coordinates on the image plane 5b used together with the distance h to measure the above-mentioned three-dimensional position point P B (X B , Y B , Z B ) is fetched. In consideration of the reproducibility of the height h of the vehicle and the like, the coordinate is used when there is no heavy object on the vehicle. For this reason, reference data consisting of two-dimensional coordinates on the image plane 5b of each bright spot on the flat road surface is stored and used as a reference value for each measurement. Then, in the three-dimensional measurement of the uneven road surface in the actual running state, the three-dimensional coordinates of each bright spot are obtained from the deviation of the bright spot coordinates at the time of measurement with respect to the reference value of each bright spot obtained without placing a heavy object at all. become.
【００７２】しかし、実走行においては車両に乗員、荷
物などが乗り、これらの総重量は数十ｋｇ〜数百ｋｇと
なり、その結果車両は数ｃｍ沈み込むことになる。ま
た、車両は一様に沈み込むわけでなく重量物の配置によ
りかなり傾斜して沈み込むことになる。However, in actual driving, an occupant, luggage, and the like ride on the vehicle, and the total weight thereof is several tens kg to several hundreds kg, and as a result, the vehicle sinks several cm. In addition, the vehicle does not sink uniformly, but the vehicle sinks at a considerable angle due to the arrangement of heavy objects.
【００７３】周辺監視装置は図５について上述したよう
に車両に固定されているので、荷重による車両の沈み込
みに伴って路面の監視領域５ｃに近づくことになる。こ
の場合、周辺監視装置から見れば、ＣＣＤレンズ５ａか
らｈの距離にあった領域５ｃが車両の沈み込んだ分だけ
上方にせり出した状態になるので、路面全体が数ｃｍせ
り出したと周辺監視装置は判断する。ここで、車載重量
が大きければ車両の沈み込みも大きく、その結果監視装
置は車両走行に問題ある高さの凸面があるとして誤警報
を発することになる。Since the perimeter monitoring device is fixed to the vehicle as described above with reference to FIG. 5, the peripheral monitoring device approaches the monitoring area 5c on the road surface as the vehicle sinks due to the load. In this case, when viewed from the periphery monitoring device, the area 5c located at the distance h from the CCD lens 5a is protruded upward by the amount of depression of the vehicle. Therefore, the periphery monitoring device indicates that the entire road surface is protruded by several cm. to decide. Here, if the vehicle-mounted weight is large, the vehicle sinks too much, and as a result, the monitoring device gives an erroneous alarm because there is a convex surface of a height that is problematic for vehicle traveling.
【００７４】このようなことを解消するには、乗員、荷
物などが乗った状態でまず略平坦と考えられる路面で車
両沈み込みによる路面せり出し量を計測すればよい。こ
のためには、図１７に示すように、検出エリアの四隅の
輝点１，２，３及び４の移動量より四隅の輝点の路面せ
り出し量を求め、これより直線近似で各輝点のせり出し
量を算出できる。これらの検出されたせり出し量は車両
の沈み込みにより発生したものであり、実際の路面凹凸
の三次元座標を求める際の補正値となる。In order to solve such a problem, the amount of the road surface protrusion due to the vehicle sinking may be first measured on a road surface which is considered to be substantially flat in a state where an occupant, luggage, etc. are on. To this end, as shown in FIG. 17, the road surface protrusion amounts of the bright spots at the four corners are obtained from the movement amounts of the bright spots 1, 2, 3, and 4 at the four corners of the detection area, and from this, linear approximation of each bright spot is performed. The amount of protrusion can be calculated. These detected amounts of protrusion are generated due to the sinking of the vehicle, and serve as correction values when obtaining the three-dimensional coordinates of the actual road surface unevenness.
【００７５】実際の計測時には、各輝点から求まる路面
の三次元座標に対して上記補正値を用いて補正（補正値
を引く）することで車両の沈み込みを補正した正確な三
次元座標が求まる。At the time of actual measurement, the three-dimensional coordinates of the road surface obtained from each bright spot are corrected (subtracted from the correction values) by using the above-mentioned correction values to obtain accurate three-dimensional coordinates in which the subduction of the vehicle is corrected. I want it.
【００７６】上述した例では、監視領域５ｃの四隅の輝
点１乃至４について補正値を求めたが、車両の沈み込み
に比べて車両の傾斜が小さければ、監視領域５ｃ内の一
点、例えば輝点５の路面高さを求めこの値を全ての輝点
に対して補正値として用いることができる。いずれにし
ても乗員などを乗せた状態で平坦路面において数点の輝
点から求まる三次元座標を計測時の車両沈み込みの補正
値として使用すればよい。In the above-mentioned example, the correction values are obtained for the bright spots 1 to 4 at the four corners of the monitoring area 5c. However, if the inclination of the vehicle is smaller than the sinking of the vehicle, one point in the monitoring area 5c, for example, The road surface height of the point 5 can be obtained and this value can be used as a correction value for all bright points. In any case, the three-dimensional coordinates obtained from several bright points on a flat road surface with an occupant or the like mounted thereon may be used as a correction value for the vehicle subsidence during measurement.
【００７７】上記ステップＳ４３における画像取り込み
処理では、図１０に示すような監視領域５ｃ内の輝点投
影画像の取り込みを行う。ＣＣＤカメラ５が撮像して出
力する画像信号の一走査線分を図１１に示したが、輝点
及び背景の明るさが一様でないため、輝点を検出するた
めの輝度しきい値は同図に破線で示すようなしきい値
（各輝点毎に異なった値）となっている。この輝度しき
い値は、上述したように参照データの一部として予め記
憶されている。In the image capturing process in step S43, the bright spot projection image in the monitoring area 5c as shown in FIG. 10 is captured. FIG. 11 shows one scanning line segment of the image signal captured and output by the CCD camera 5. However, since the brightness of the bright spot and the background are not uniform, the brightness threshold value for detecting the bright spot is the same. The threshold value (value different for each bright point) is shown by the broken line in the figure. This brightness threshold value is stored in advance as a part of the reference data as described above.
【００７８】上記ステップＳ４４における画像について
背景の明るさに対する変化の検出及び輝度しきい値の補
正処理は次の理由で行う。今、輝度投影画像を取り込ん
で輝点の移動量を求め、障害物などの検出を行おうとす
る際、まず取り込んだ画像から輝点を抽出しなければな
らない。このとき、自車のブレーキランプや他車のヘッ
ドライトの光によって監視領域４ｃ内が照らされると、
図１８に示すように輝度分布が変化し、予め記憶した輝
度しきい値では輝点を抽出できなくなる。この場合、障
害物検出不能若しくは大きな検出誤差が生じる。The detection of the change in the background brightness of the image in step S44 and the correction processing of the brightness threshold value are performed for the following reason. Now, when trying to detect an obstacle or the like by capturing a luminance projection image to obtain the amount of movement of the bright spot, the bright spot must first be extracted from the captured image. At this time, if the inside of the monitoring area 4c is illuminated by the light of the brake lamp of the own vehicle or the headlights of another vehicle,
As shown in FIG. 18, the brightness distribution changes, and it becomes impossible to extract bright points with the brightness threshold value stored in advance. In this case, the obstacle cannot be detected or a large detection error occurs.
【００７９】このようなことを解消するためには、輝点
投影画像を取り込んで輝点の移動量を求める際に、予め
参照データに記録した背景位置に相当する画素の輝度を
求める。次に、求めた数点の背景輝度値より輝度しきい
値に対する補正係数を算出する。この補正係数に基づい
て参照データの輝度しきい値を補正し、輝点の抽出を行
う。In order to solve such a problem, the brightness of the pixel corresponding to the background position previously recorded in the reference data is obtained when the bright spot projection image is captured and the amount of movement of the bright spot is obtained. Next, a correction coefficient for the brightness threshold value is calculated from the obtained background brightness values of several points. The brightness threshold value of the reference data is corrected based on this correction coefficient, and the bright spot is extracted.
【００８０】具体的には、例えば図１９に示すように、
監視領域５ｃ内の輝点のうち最も左上の輝点と最も右下
の輝点について着目し、この２つの輝点周辺の背景と思
われる画素（×印）の輝度データを基に、下式（１）に
示すように補正係数Ａ（ｕ座標方向の輝度傾斜）を求め
る。参照データの各輝点の輝度しきい値は下式（２）に
よって補正される。Specifically, for example, as shown in FIG.
Of the bright spots in the monitoring area 5c, the brightest spot on the upper left and the bright spot on the lower right are focused, and the following formula is used based on the luminance data of the pixels (marked x) that are considered to be the background around these two bright spots. As shown in (1), the correction coefficient A (luminance gradient in the u coordinate direction) is obtained. The brightness threshold value of each bright spot of the reference data is corrected by the following equation (2).
【００８１】[0081]
【数１】 [Equation 1]
【００８２】上記式中、 Ａ ：補正係数 ｕLU ：最も左上の輝点周辺の所定画素のｕ座標 ＩLU ：最も左上の輝点周辺の所定画素の輝度 ｕRL ：最も右下の輝点周辺の所定画素のｕ座標 ＩRL ：最も右下の輝点周辺の所定画素の輝度 Ｔｈ'(i)：ｉ番目の輝点の補正後の輝度しきい値 Ｔｈ(i)：ｉ番目の輝点の補正前の輝度しきい値 ｕ(i) ：ｉ番目の輝点のｕ座標 ＩBK ：参照データ取得時の背景輝度In the above equation, A: correction coefficient u LU : u coordinate of a predetermined pixel around the leftmost bright point I LU : luminance of a predetermined pixel around the left uppermost bright point u RL : around the right lowermost bright point Coordinate of predetermined pixel of I RL : Luminance of a predetermined pixel around the rightmost bright point Th ′ (i) : Brightness threshold after correction of i-th bright point Th (i) : i-th bright point Before correction of u (i) : u coordinate of i-th bright spot I BK : Background brightness at the time of reference data acquisition
【００８３】以上説明したステップＳ４４の実行によ
り、コンピュータ１は、検査路面に投影された輝点パタ
ーンを撮像した前記撮像機からの画像信号による画素デ
ータから輝点以外の背景の明るさの参照データの背景の
明るさに対する変化量によって当該画素データの輝点抽
出のための輝度しきい値を補正する。By executing step S44 described above, the computer 1 causes the reference data of the brightness of the background other than the bright spot to be extracted from the pixel data based on the image signal from the image pickup device which picks up the bright spot pattern projected on the inspection road surface. The brightness threshold value for extracting the bright spot of the pixel data is corrected by the amount of change with respect to the background brightness.
【００８４】その後の上記ステップＳ４５における移動
スポットの抽出は、各輝点毎に求めた補正後の輝度しき
い値Ｔｈ’によって各輝点ついて行われる。そして、ス
テップＳ４６において、抽出された輝点座標と参照デー
タの輝点座標により各輝点の移動量を求め障害物の三次
元位置を算出する。なお、上述したステップＳ４４にお
ける補正係数の算出方法としては、一般的な補間法など
が利用できる。また、全輝点について各輝点周辺の背景
の輝度データを用いて補正すれば処理時間は遅くなるも
のの、精度のよい補正が行える。The subsequent extraction of the moving spot in step S45 is performed for each bright spot by the corrected luminance threshold Th ′ obtained for each bright spot. Then, in step S46, the three-dimensional position of the obstacle is calculated by obtaining the movement amount of each bright spot from the extracted bright spot coordinates and the bright spot coordinates of the reference data. A general interpolation method or the like can be used as the method of calculating the correction coefficient in step S44 described above. Further, if all the bright spots are corrected using the brightness data of the background around each bright spot, the processing time becomes slow, but the correction can be performed with high accuracy.
【００８５】上述のようにして抽出した輝点を構成する
画素により各輝点の重心座標を求めることでイメージプ
レーン５ｃ上での各輝点座標が求まる。各輝点座標の算
出は、平坦路面における基準値を求める場合も、凹凸路
面などを対象とした三次元計測時にも適用される。上記
輝点座標の算出はＣＣＤカメラの全画素（例えば５１２
×５１２）出力が計算対象となるため計算時間が長くな
る。計測前の平坦路を対象とした基準値取りの場合は問
題ないが、計測時には計測速度が遅いという問題があ
る。The coordinates of each bright spot on the image plane 5c can be found by finding the barycentric coordinates of each bright spot by the pixels constituting the bright spot extracted as described above. The calculation of the coordinates of each bright spot is applied both when obtaining the reference value on a flat road surface and when performing three-dimensional measurement on an uneven road surface or the like. The calculation of the bright spot coordinates is performed by all pixels (for example, 512
X512) Since the output is the calculation target, the calculation time becomes long. There is no problem in taking a reference value for a flat road before measurement, but there is a problem that the measurement speed is slow during measurement.
【００８６】図４及び図５に示した幾何学的レイアウト
において、イメージプレーン５ｂ上における各輝点座標
は、平坦路面の場合の点Ａ（ｕ，ｖ）に対し路面に凹凸
があると輝点座標Ｂ（ｕ，ｖ＋δ）は一定方向にのみ移
動する。図の場合、輝点の移動方向はｖ方向のみであ
り、路面が凸の場合ｖの正の向きに、凹の場合ｖの負の
方向にそれぞれ移動する。この性質を利用して以下のよ
うにして三次元座標の算出を高速化することができる。In the geometric layouts shown in FIGS. 4 and 5, each bright spot coordinate on the image plane 5b is a bright spot if the road surface is uneven with respect to the point A (u, v) in the case of a flat road surface. The coordinate B (u, v + δ) moves only in a fixed direction. In the case of the drawing, the bright spots move only in the v direction, and move in the positive direction of v when the road surface is convex, and in the negative direction of v when the road surface is concave. By utilizing this property, the calculation of the three-dimensional coordinates can be speeded up as follows.
【００８７】図２０において、Ａ（ｕ，ｖ）は平坦路面
上のある輝点に対応する点を示す。枠Ｆは三次元座標計
測時の走査領域を示し、サブ領域＋Ｓ1 ，−Ｓ2 は実走
行状態で問題となる路面凹凸の大きさより設定できる。
例えば一般乗用車の場合、平坦路面上1.5 ｍ、路面下0.
5 ｍなどと設定し、これに対応して＋Ｓ1 ，−Ｓ2 をそ
れぞれ設定できる。なお、同図に示されている点は全て
各輝点の重心位置を表しており、ｖ方向において隣接す
る輝点間の距離は、上記のような条件下で輝点が移動し
ても重なり合うことがないように設定されている。ま
た、同図においては、スペースの有効利用のため各輝点
がｕ方向において１つおきになるように配置されたパタ
ーンとなっている。In FIG. 20, A (u, v) indicates a point corresponding to a bright point on the flat road surface. The frame F shows the scanning area at the time of measuring the three-dimensional coordinates, and the sub-areas + S 1 and −S 2 can be set based on the size of the road surface unevenness which becomes a problem in the actual traveling state.
For example, in the case of an ordinary passenger car, 1.5 m above the flat road and 0 below the road.
It can be set to 5 m, etc., and + S 1 and -S 2 can be set accordingly. It should be noted that all the points shown in the figure represent the center of gravity of each bright point, and the distance between adjacent bright points in the v direction overlaps even if the bright points move under the above conditions. Is set to never happen. Further, in the figure, in order to effectively utilize the space, each bright spot is arranged in the u direction in every other pattern.
【００８８】次に計測時においては、各輝点について、
上記走査領域についてのみ輝点座標を求めればよい。輝
点座標の求め方は、例えば所定しきい値以上の画素が輝
点を構成しているとして、この輝点の重心又は幾何学的
中心などを算出すればよい。Next, at the time of measurement, for each bright spot,
The bright spot coordinates may be obtained only for the scanning area. The bright spot coordinates may be obtained by calculating the center of gravity or the geometric center of the bright spots, for example, assuming that pixels having a predetermined threshold value or more form the bright spots.
【００８９】具体的には、図２１に示すように、参照デ
ータの輝点重心と同一ライン上において、Ｖ1 ，Ｖ2 を
検出し、この検出したＶ1 ，Ｖ2 により輝点重心（Ｖ1
＋Ｖ 2 ）／２を求め、重心間の距離によって輝点の移動
量ΔＶを求める。なお、同一ライン上に輝点が存在しな
ければ、上下ラインを走査する。また、Ｖ1 ，Ｖ2 の検
出は基準輝点の輝度しきい値Ｉの大小により検出する。
走査領域の幅Ｗは一画素ライン分でも良いし、検出精度
向上を考慮し、数画素ライン、例えば５画素ラインとし
てもよい。なお、上記例では検出速度を速めるために重
心表を幾何学的中心座標におきかえて求めているが、精
度を上げるためには、上述の参照データ作成時の重心座
標検出方法の方がよい。Specifically, as shown in FIG. 21, the reference data is
V on the same line as the center of gravity of the bright spot of the data1, V2To
Detected, this detected V1, V2The center of gravity of the bright spot (V1
+ V 2) / 2 is calculated, and the bright spot is moved according to the distance between the centers of gravity.
Find the amount ΔV. Note that there are no bright spots on the same line.
If so, scan the upper and lower lines. Also, V1, V2Inspection
The output is detected by the magnitude of the brightness threshold I of the reference bright point.
The width W of the scanning area may be one pixel line, and the detection accuracy
Considering the improvement, several pixel lines, for example, 5 pixel lines
May be. Note that in the above example, in order to increase the detection speed,
The heart table is replaced with the geometric center coordinates, but
In order to increase the degree of
The target detection method is better.
【００９０】以上説明したように、計測時、設定した走
査領域についてのみ輝度座標を求めればよいので、計測
の高速化が実現できる。As described above, at the time of measurement, it is only necessary to obtain the luminance coordinate for the set scanning area, so that the measurement can be speeded up.
【００９１】また、図２２は、監視領域５ｃ内に壁及び
溝がある場合の輝点の三次元位置検出結果をディスプレ
イ装置１０に表示した例を示し、図中、Ｏ1 は壁、Ｏ2
は溝である。FIG. 22 shows an example in which the display device 10 displays the three-dimensional position detection results of bright spots when there are walls and grooves in the monitoring area 5c. In the drawing, O 1 is a wall and O 2 is a wall.
Is a groove.
【００９２】次に、舵角検出器８を用いた場合の監視方
法について説明する。実施例においては、舵角検出器８
によって検出した舵角を用いて自動車の進路を予測する
ことによって自動車の移動軌跡を求め、その軌跡を障害
物等が示される監視領域４ｃの二次元マップに重ねるこ
とにより、車体が障害物等に接触または衝突することを
事前に検知し、発音手段としてのスピーカ９に、ブザー
音などの警告音やコンピュータ１内に構成した音声合成
手段によって形成した警告メッセージを発生させたり、
ディスプレイ装置１０に表示を行わせることによって運
転者に警告する。Next, a monitoring method when the steering angle detector 8 is used will be described. In the embodiment, the steering angle detector 8
The moving path of the vehicle is obtained by predicting the course of the vehicle using the steering angle detected by, and the vehicle is considered as an obstacle by superimposing the trajectory on the two-dimensional map of the monitoring area 4c where obstacles are shown. The contact or collision is detected in advance, and a warning sound such as a buzzer sound or a warning message formed by a voice synthesizing unit configured in the computer 1 is generated in the speaker 9 as a sounding unit,
The driver is warned by causing the display device 10 to display.
【００９３】図２３は、自動車の車体Ｂｏのエッヂが壁
Ｏ1 のような障害物に接触する地点及びタイヤＴが溝Ｏ
2 に落ちる地点をディスプレイ装置１０に表示した一例
を示す。図２３に示す自動車の後退では、コンピュータ
１がＣＣＤカメラ５から次々に得られる画像を処理する
ことによって、監視領域５ｃ内における障害物Ｏ1 及び
溝Ｏ2 がほぼ実時間で検知され、また、舵角検出器８か
ら得られる舵角を用いた自動車の進路予測により障害物
等との接触を事前に警告することによって、ドライバの
安全確認を効果的に支援することができる。FIG. 23 shows a point where the edge of the car body Bo of an automobile comes into contact with an obstacle such as the wall O 1 and the groove O of the tire T.
An example in which the point falling at 2 is displayed on the display device 10 is shown. In the backward movement of the vehicle shown in FIG. 23, the computer 1 processes the images successively obtained from the CCD camera 5 to detect the obstacle O 1 and the groove O 2 in the monitoring area 5c in substantially real time, and The driver's safety confirmation can be effectively supported by warning in advance of contact with an obstacle or the like by predicting the route of the vehicle using the steering angle obtained from the steering angle detector 8.
【００９４】なお、上述した図示実施例では、自動車の
軌跡を求めるために舵角検出器８によるハンドルの操舵
角の検出信号を用いているが、これに代えて、例えばジ
ャイロからなる回転角速度センサや方位センサなどを設
け、これらのセンサからの信号を処理して自動車の進行
方向を検出すると共に、その後の進路を予測するように
してもよい。In the illustrated embodiment described above, the detection signal of the steering angle of the steering wheel by the steering angle detector 8 is used to obtain the locus of the automobile, but instead of this, a rotational angular velocity sensor such as a gyro is used. A direction sensor or the like may be provided, signals from these sensors may be processed to detect the traveling direction of the automobile, and the course thereafter may be predicted.
【００９５】また、上述した実施例では、監視領域にお
ける障害物や溝等の存在を自動車の運転者に知らせる場
合について説明したが、工場などにおける無人搬送車や
組み立て工程等における産業用ロボットなどに本発明を
応用できる。Further, in the above-mentioned embodiment, the case where the driver of the automobile is informed of the existence of the obstacles, the grooves and the like in the monitoring area has been described. However, it can be applied to the automatic guided vehicle in the factory or the industrial robot in the assembly process. The present invention can be applied.
【００９６】[0096]
【発明の効果】以上説明したように本発明によれば、車
両周辺の明るさを示す照度が所定値以下で周囲が暗いと
き、監視領域の撮像経路内に帯域フィルタが挿入され、
輝度パターン以外の部分からの光成分を減衰した映像信
号が得られ、ＳＮ比が改善されるので、輝度パターンを
含む画像データを処理して行う障害物や溝あるいは人等
の存在の検知が確実に行われる。As described above, according to the present invention, when the illuminance indicating the brightness around the vehicle is below a predetermined value and the surroundings are dark, a bandpass filter is inserted in the imaging path of the monitoring area,
A video signal that attenuates light components from parts other than the brightness pattern is obtained, and the SN ratio is improved, so it is possible to reliably detect the presence of obstacles, grooves, people, etc. by processing image data that includes the brightness pattern. To be done.
【００９７】また、車両周辺の明るさを示す照度が所定
値以上で周囲が明るいとき、監視領域の状態をそのまま
表示するので、この表示によって監視領域の障害物や溝
あるいは人等の存在を知ることができる。When the illuminance indicating the brightness around the vehicle is equal to or higher than a predetermined value and the surroundings are bright, the state of the monitoring area is displayed as it is. Therefore, the presence of obstacles, grooves, people or the like in the monitoring area can be known from this display. be able to.
【００９８】更に、周囲が暗いとき監視領域の状態のそ
のままの表示に代えてデータ処理されて得られた表示が
行われるので、周囲が暗いときでもこの表示から監視領
域の障害物や溝あるいは人等の存在を知ることができ
る。Further, when the surroundings are dark, the display obtained by data processing is performed instead of the display of the state of the monitoring area as it is. Therefore, even when the surroundings are dark, obstacles, grooves or people in the monitoring area are displayed from this display. You can know the existence of etc.
【００９９】よって、監視領域に太陽光が照射されてい
る日中や他の光源の光が照射される夜間であっても、車
両の周辺を監視して車両運転におけるドライバーの安全
確認を支援することができる車両周辺監視装置が得られ
る。Therefore, even in the daytime when the monitoring area is exposed to sunlight or at night when the light of another light source is applied, the surroundings of the vehicle are monitored to assist the driver's safety confirmation in driving the vehicle. It is possible to obtain a vehicle surroundings monitoring device that can be used.
【図１】本発明による車両周辺監視装置の基本構成を示
すブロック図である。FIG. 1 is a block diagram showing a basic configuration of a vehicle periphery monitoring device according to the present invention.
【図２】本発明による車両周辺監視装置の一実施例を示
す図である。FIG. 2 is a diagram showing an embodiment of a vehicle periphery monitoring device according to the present invention.
【図３】パターン光投光素子としてのファイバグレイテ
ィング及びマルチビームプロジェクタを示す図である。FIG. 3 is a diagram showing a fiber grating and a multi-beam projector as pattern light projecting elements.
【図４】図１の装置の光学配置の詳細を示す図である。FIG. 4 shows details of the optical arrangement of the device of FIG.
【図５】図２の装置のパターン投光素子、レーザ光源、
ＣＣＤカメラにより構成されるセンサ部の設置例を示す
図である。5 is a pattern projecting element, a laser light source, of the apparatus of FIG.
It is a figure which shows the example of installation of the sensor part comprised by a CCD camera.
【図６】図２中のコンピュータが行う一処理を示すフロ
ーチャートである。FIG. 6 is a flowchart showing a process performed by the computer in FIG.
【図７】図６の処理の一変更例を示すフローチャートで
ある。7 is a flowchart showing a modification of the process of FIG.
【図８】図６の処理の他の変更例を示すフローチャート
である。FIG. 8 is a flowchart showing another modification of the processing of FIG.
【図９】図６中の一部分の詳細を示すフローチャートで
ある。9 is a flowchart showing details of a part of FIG.
【図１０】監視領域内の輝点投影画像を示す図である。FIG. 10 is a diagram showing a bright spot projection image in a monitoring area.
【図１１】一走査線上の輝度分布を示す図である。FIG. 11 is a diagram showing a luminance distribution on one scanning line.
【図１２】輝点抽出処理によって得られる輝点の画素デ
ータを示す図である。FIG. 12 is a diagram showing pixel data of bright spots obtained by the bright spot extraction processing.
【図１３】フレームメモリ内の画素データを示す図であ
る。FIG. 13 is a diagram showing pixel data in a frame memory.
【図１４】輝点重心の求め方を説明するための図であ
る。FIG. 14 is a diagram for explaining how to obtain a bright spot centroid.
【図１５】作成された参照データを示す図である。FIG. 15 is a diagram showing created reference data.
【図１６】図６中の他の部分の詳細を示すフローチャー
トである。16 is a flowchart showing details of another portion in FIG.
【図１７】高さ補正の仕方を説明するための図である。FIG. 17 is a diagram illustrating a method of height correction.
【図１８】輝度補正の必要性を説明するための図であ
る。FIG. 18 is a diagram for explaining the necessity of brightness correction.
【図１９】輝度補正の仕方を説明するための図である。FIG. 19 is a diagram for explaining a method of brightness correction.
【図２０】走査領域の設定の仕方を説明する図である。FIG. 20 is a diagram illustrating a method of setting a scanning area.
【図２１】三次元座標計測時の走査領域における輝点重
心及び移動距離の求め方を説明する図ある。FIG. 21 is a diagram illustrating a method of obtaining a bright spot centroid and a moving distance in a scanning region during three-dimensional coordinate measurement.
【図２２】輝点の三次元位置検出結果の表示例を示す図
である。FIG. 22 is a diagram showing a display example of a three-dimensional position detection result of a bright spot.
【図２３】車両の周辺監視を行った結果の表示の一例を
示す図である。FIG. 23 is a diagram showing an example of a display of a result of carrying out vehicle periphery monitoring.
１ａ データ処理部（ＣＰＵ） ４ パターン光投光器 ５ 撮像機 １０ ディスプレイ装置 １１ 帯域フィルタ １２ 駆動源（ソレノイド） １３ 照度検出手段（照度センサ） １４ 表示切換手段（切換回路） ２１ 報知手段（表示器） ２２ 手動操作手段（手動操作スイッチ） ２３ ライトオン検出スイッチ 1a Data Processing Unit (CPU) 4 Pattern Light Projector 5 Imaging Device 10 Display Device 11 Bandpass Filter 12 Drive Source (Solenoid) 13 Illuminance Detection Means (Illuminance Sensor) 14 Display Switching Means (Switching Circuit) 21 Notification Means (Display) 22 Manual operation means (manual operation switch) 23 Light-on detection switch
─────────────────────────────────────────────────────
─────────────────────────────────────────────────── ───
【手続補正書】[Procedure amendment]
【提出日】平成５年５月１２日[Submission date] May 12, 1993
【手続補正１】[Procedure Amendment 1]
【補正対象書類名】明細書[Document name to be amended] Statement
【補正対象項目名】００４０[Correction target item name] 0040
【補正方法】変更[Correction method] Change
【補正内容】[Correction content]
【００４０】上述の構成において、常時は、上記帯域フ
ィルタ１１はＣＣＤカメラ５による監視領域の撮像経路
外にあり、レーザ光源駆動装置３はレーザ光源２を駆動
しておらず、切換回路１４はＣＣＤカメラ５により撮像
して得た監視領域そのものの映像を選択している。よっ
て、ＣＣＤカメラ５は通常モニタカメラとして使用さ
れ、ディスプレイ装置１０の表示画面には監視領域が映
し出されており、この表示画面を見ることによって障害
物などの存在を知ることができる。このような状態にお
いて、コンピュータ１は、照度センサ１３から入力する
明るさ信号を監視し、この信号に基づいて、周囲が暗く
なって照度が所定値以下になり監視領域の障害物や溝あ
るいは人等を輝点パターンを含む画象データを処理する
ことで検出可能となったかどうかを判定する。In the above configuration, the bandpass filter 11 is normally outside the image pickup path of the monitoring area of the CCD camera 5, the laser light source driving device 3 does not drive the laser light source 2, and the switching circuit 14 is the CCD. The image of the surveillance area itself obtained by imaging with the camera 5 is selected. Therefore, the CCD camera 5 is usually used as a monitor camera, and the monitoring area is displayed on the display screen of the display device 10. By looking at this display screen, the existence of obstacles and the like can be known. In such a state, the computer 1 monitors the brightness signal input from the illuminance sensor 13, and based on this signal, the surroundings become dark and the illuminance becomes a predetermined value or less, and an obstacle, a groove, or a person in the monitoring area is detected. It is determined whether or not the above can be detected by processing the image data including the bright spot pattern.
Claims (8)
ーンを投影するパターン光投光器と、 前記監視領域を撮像する撮像機と、 車両周辺の明るさを検出する照度検出手段と、 前記レーザ光の波長帯域を選択的に透過する帯域フィル
タと、 前記照度検出手段が所定値以下の照度を検出したとき前
記帯域フィルタを前記撮像機による前記監視領域の撮像
経路内に駆動する駆動源と、 前記照度検出手段が所定値以下の照度を検出したとき前
記撮像機から得られる前記輝点パターンを含む画像デー
タを処理して障害物や溝あるいは人等の存在を検知する
データ処理部と、 前記照度検出手段が所定値以上の照度を検出したとき前
記撮像機によって撮像した前記監視領域の状態を表示す
るディスプレイ装置とを備えることを特徴とする車両周
辺監視装置。1. A pattern light projector for projecting a bright spot pattern onto a surveillance region by incidence of laser light, an imager for photographing the surveillance region, an illuminance detection means for detecting brightness around the vehicle, and an illuminance detector for detecting the laser light. A bandpass filter that selectively transmits a wavelength band, a drive source that drives the bandpass filter into an image pickup path of the monitoring area by the image pickup device when the illuminance detection unit detects an illuminance equal to or less than a predetermined value, and the illuminance A data processing unit for processing the image data including the bright spot pattern obtained from the image pickup device to detect the presence of an obstacle, a groove, a person or the like when the detection means detects an illuminance equal to or less than a predetermined value, and the illuminance detection And a display device for displaying a state of the monitoring area imaged by the image pickup device when the means detects an illuminance of a predetermined value or more. Place
検出したとき前記データ処理部が検知した障害物や溝あ
るいは人等を、前記監視領域の状態に代えて前記ディス
プレイ装置に表示させる表示切換手段を更に備えること
を特徴とする請求項１記載の車両周辺監視装置。2. A display for displaying an obstacle, a groove, a person or the like detected by the data processing unit when the illuminance detecting means detects an illuminance equal to or less than a predetermined value on the display device instead of the state of the monitoring area. The vehicle periphery monitoring device according to claim 1, further comprising switching means.
ーンを投影するパターン光投光器と、 前記監視領域を撮像する撮像機と、 車両周辺の明るさを検出する照度検出手段と、 前記照度検出手段が所定値以下の照度を検出したときそ
の旨を知らせる報知手段と、 手動操作手段と、 前記レーザ光の波長帯域を選択的に透過する帯域フィル
タと、 前記手動操作手段の操作によって前記帯域フィルタを前
記撮像機による前記監視領域の撮像経路内に駆動する駆
動源と、 前記手動操作手段の操作によって前記撮像機から得られ
る前記輝点パターンを含む画像データを処理して障害物
や溝あるいは人等の存在を検知するデータ処理部と、 前記手動操作手段の操作によって前記撮像機が撮像した
前記監視領域の状態を表示するディスプレイ装置とを備
えることを特徴とする車両周辺監視装置。3. A pattern light projector for projecting a bright spot pattern onto a surveillance area by incidence of laser light, an imager for photographing the surveillance area, an illuminance detecting means for detecting brightness around the vehicle, and the illuminance detecting means. When the illuminance is less than or equal to a predetermined value, an informing means for notifying the fact, a manual operation means, a bandpass filter selectively transmitting the wavelength band of the laser light, and a bandpass filter operated by the manual operation means A driving source that drives the image pickup path of the monitoring area by the image pickup device, and image data including the bright spot pattern obtained from the image pickup device by the operation of the manual operation means to process an obstacle, a groove, a person, or the like. And a display device for displaying the state of the monitoring area imaged by the imaging device by the operation of the manual operation means. Vehicle surroundings monitoring apparatus according to claim Rukoto.
ータ処理部により検知した障害物や溝あるいは人等を、
前記監視領域の状態に代えて前記ディスプレイ装置に表
示させる表示切換手段を更に備えることを特徴とする請
求項３記載の車両周辺監視装置。4. An obstacle, a groove, a person or the like detected by the data processing unit by the operation of the manual operation means,
The vehicle periphery monitoring device according to claim 3, further comprising display switching means for displaying on the display device instead of the state of the monitoring region.
ーンを投影するパターン光投光器と、 前記監視領域を撮像する撮像機と、 少なくともスモールライトのオン状態を検出するライト
オン検出手段と、 前記レーザ光の波長帯域を選択的に透過する帯域フィル
タと、 前記ライトオン検出手段による検出によって前記帯域フ
ィルタを前記撮像機による前記監視領域の撮像経路内に
駆動する駆動源と、 前記ライトオン検出手段による検出によって前記撮像機
から得られる前記輝点パターンを含む画像データを処理
して障害物や溝あるいは人等の存在を検知するデータ処
理部と、 前記ライトオン検出手段による検出によって前記撮像機
が撮像した前記監視領域の状態を表示するディスプレイ
装置とを備えることを特徴とする車両周辺監視装置。5. A pattern light projector for projecting a bright spot pattern onto a monitoring area by incidence of laser light, an imager for imaging the monitoring area, a light-on detecting means for detecting at least an on state of a small light, and the laser. A bandpass filter that selectively transmits a wavelength band of light, a drive source that drives the bandpass filter into an image pickup path of the monitoring area by the image pickup device by detection by the lighton detection unit, and the lighton detection unit A data processing unit that processes the image data including the bright spot pattern obtained from the image pickup device by detection to detect the presence of an obstacle, a groove, or a person, and the image pickup device picks up an image by the light-on detection means. And a display device for displaying the state of the monitored area.
って前記データ処理部により検知した障害物や溝あるい
は人等を、前記監視領域の状態に代えて前記ディスプレ
イ装置に表示させる表示切換手段を更に備えることを特
徴とする請求項５記載の車両周辺監視装置。6. A display switching means for displaying an obstacle, a groove, a person, or the like detected by the data processing section by the detection by the light-on detection means on the display device instead of the state of the monitoring area. The vehicle periphery monitoring device according to claim 5, wherein
るように付勢された前記帯域フィルタを付勢力に抗して
撮像経路内に位置するように駆動することを特徴とする
請求項１乃至６記載の車両周辺監視装置。7. The drive source drives the bandpass filter, which is always biased to be located outside the imaging path, to be located inside the imaging path against the biasing force. The vehicle periphery monitoring device according to any one of 1 to 6.
経路内と外との間で駆動することを特徴とする請求項１
乃至６記載の車両周辺監視装置。8. The drive source drives the bandpass filter between inside and outside of an imaging path.
7. The vehicle surroundings monitoring device according to any one of claims 1 to 6.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4237174A JPH0687377A (en) | 1992-09-04 | 1992-09-04 | Monitor for vehicle periphery |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4237174A JPH0687377A (en) | 1992-09-04 | 1992-09-04 | Monitor for vehicle periphery |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0687377A true JPH0687377A (en) | 1994-03-29 |
Family
ID=17011477
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4237174A Withdrawn JPH0687377A (en) | 1992-09-04 | 1992-09-04 | Monitor for vehicle periphery |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0687377A (en) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010101393A2 (en) * | 2009-03-03 | 2010-09-10 | Agency For Defense Development | Apparatus and the method for distinguishing ground and obstacles for autonomous mobile vehicle |
| JP2013126135A (en) * | 2011-12-15 | 2013-06-24 | Fujitsu Ltd | Stereo image generation device, stereo image generation method and computer program for stereo image generation |
| JP2016110641A (en) * | 2014-12-02 | 2016-06-20 | 財團法人金屬工業研究發展中心Ｍｅｔａｌ Ｉｎｄｕｓｔｒｉｅｓ Ｒｅｓｅａｒｃｈ ＆ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｅｎｔｒｅ | Stereoscopic depth detection system for collision prevention and operation method therefor |
| JP2017107538A (en) * | 2015-12-07 | 2017-06-15 | 財團法人金屬工業研究發展中心Ｍｅｔａｌ Ｉｎｄｕｓｔｒｉｅｓ Ｒｅｓｅａｒｃｈ ＆ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｅｎｔｒｅ | Method and system of warning turning radius differential for operating structure light to sense object distance |
| JP2017107537A (en) * | 2015-12-07 | 2017-06-15 | 財團法人金屬工業研究發展中心Ｍｅｔａｌ Ｉｎｄｕｓｔｒｉｅｓ Ｒｅｓｅａｒｃｈ ＆ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｅｎｔｒｅ | Back-up warning method for operating structure light to sense obstacle |
| US9709387B2 (en) | 2012-11-21 | 2017-07-18 | Mitsubishi Electric Corporation | Image generation device for acquiring distances of objects present in image space |
| JP6214717B1 (en) * | 2016-05-24 | 2017-10-18 | 三菱電機株式会社 | In-vehicle camera calibration assist device |
| CN110654302A (en) * | 2015-04-10 | 2020-01-07 | 麦克赛尔株式会社 | Image projection apparatus and image projection method |
| US10533846B2 (en) | 2015-06-09 | 2020-01-14 | Mitsubishi Electric Corporation | Image generation device, image generating method, and pattern light generation device |
| CN111465819A (en) * | 2017-12-14 | 2020-07-28 | 康蒂-特米克微电子有限公司 | Three-dimensional environment sensing by means of projection of pseudo-random pattern sequences and stereo camera modules |
-
1992
- 1992-09-04 JP JP4237174A patent/JPH0687377A/en not_active Withdrawn
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2010101393A3 (en) * | 2009-03-03 | 2010-11-04 | Agency For Defense Development | Apparatus and the method for distinguishing ground and obstacles for autonomous mobile vehicle |
| US8736820B2 (en) | 2009-03-03 | 2014-05-27 | Agency For Defense Development | Apparatus and method for distinguishing ground and obstacles for autonomous mobile vehicle |
| WO2010101393A2 (en) * | 2009-03-03 | 2010-09-10 | Agency For Defense Development | Apparatus and the method for distinguishing ground and obstacles for autonomous mobile vehicle |
| JP2013126135A (en) * | 2011-12-15 | 2013-06-24 | Fujitsu Ltd | Stereo image generation device, stereo image generation method and computer program for stereo image generation |
| US9709387B2 (en) | 2012-11-21 | 2017-07-18 | Mitsubishi Electric Corporation | Image generation device for acquiring distances of objects present in image space |
| DE112013005574B4 (en) | 2012-11-21 | 2018-10-31 | Mitsubishi Electric Corporation | Imaging device |
| JP2016110641A (en) * | 2014-12-02 | 2016-06-20 | 財團法人金屬工業研究發展中心Ｍｅｔａｌ Ｉｎｄｕｓｔｒｉｅｓ Ｒｅｓｅａｒｃｈ ＆ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｅｎｔｒｅ | Stereoscopic depth detection system for collision prevention and operation method therefor |
| TWI595457B (en) * | 2014-12-02 | 2017-08-11 | Metal Ind Res And Dev Centre | Anti-collision three-dimensional depth sensing system and its operation method |
| DE102015119184B4 (en) * | 2014-12-02 | 2020-12-10 | Metal Industries Research & Development Centre | Stereoscopic depth measurement system for collision avoidance and procedures for its operation |
| CN110654302A (en) * | 2015-04-10 | 2020-01-07 | 麦克赛尔株式会社 | Image projection apparatus and image projection method |
| US10533846B2 (en) | 2015-06-09 | 2020-01-14 | Mitsubishi Electric Corporation | Image generation device, image generating method, and pattern light generation device |
| DE112015006609B4 (en) | 2015-06-09 | 2021-10-21 | Mitsubishi Electric Corporation | Image forming apparatus, image forming method, and pattern light generating apparatus |
| JP2017107537A (en) * | 2015-12-07 | 2017-06-15 | 財團法人金屬工業研究發展中心Ｍｅｔａｌ Ｉｎｄｕｓｔｒｉｅｓ Ｒｅｓｅａｒｃｈ ＆ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｅｎｔｒｅ | Back-up warning method for operating structure light to sense obstacle |
| US9963069B2 (en) | 2015-12-07 | 2018-05-08 | Metal Industries Research & Development Centre | Alarm method for reversing a vehicle by sensing obstacles using structured light |
| JP2017107538A (en) * | 2015-12-07 | 2017-06-15 | 財團法人金屬工業研究發展中心Ｍｅｔａｌ Ｉｎｄｕｓｔｒｉｅｓ Ｒｅｓｅａｒｃｈ ＆ Ｄｅｖｅｌｏｐｍｅｎｔ Ｃｅｎｔｒｅ | Method and system of warning turning radius differential for operating structure light to sense object distance |
| JP6214717B1 (en) * | 2016-05-24 | 2017-10-18 | 三菱電機株式会社 | In-vehicle camera calibration assist device |
| JP2017211222A (en) * | 2016-05-24 | 2017-11-30 | 三菱電機株式会社 | On-vehicle camera calibration auxiliary device |
| CN111465819A (en) * | 2017-12-14 | 2020-07-28 | 康蒂-特米克微电子有限公司 | Three-dimensional environment sensing by means of projection of pseudo-random pattern sequences and stereo camera modules |
| CN111465819B (en) * | 2017-12-14 | 2023-07-25 | 康蒂-特米克微电子有限公司 | Three-dimensional environmental sensing by means of projection of a pseudorandom pattern sequence and stereo camera module |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2901112B2 (en) | Vehicle periphery monitoring device | |
| US20190351842A1 (en) | In-vehicle camera and vehicle control system | |
| JP5421072B2 (en) | Approaching object detection system | |
| JP4130435B2 (en) | Abnormality detection device for imaging device | |
| JP4130434B2 (en) | Abnormality detection device for imaging device | |
| US20110013201A1 (en) | Device and method for measuring a parking space | |
| JP2010085186A (en) | Calibration device for on-vehicle camera | |
| JP2000295604A (en) | Rear and side monitoring device for vehicle | |
| JP2008222153A (en) | Merging support device | |
| JPH0687377A (en) | Monitor for vehicle periphery | |
| JPH06325298A (en) | Device for monitoring vehicle periphery | |
| JP2003002138A (en) | Method and device for on-vehicle rear monitoring | |
| CN114845917A (en) | Microlens for stray light real-time sensing | |
| JPH08339498A (en) | Vehicle periphery monitor device | |
| JP3570198B2 (en) | Image processing method and apparatus | |
| JPH10272907A (en) | Dangerous vehicle detection device | |
| JP2002036987A (en) | Vehicle surrounding monitoring device | |
| JP2005025497A (en) | Sign recognizing device | |
| JPH07329636A (en) | Monitor around vehicle | |
| JPH0541087Y2 (en) | ||
| JPH09142210A (en) | Monitor device for vehicular peripheral circumference | |
| JP2593520Y2 (en) | Vehicle periphery monitoring device | |
| JPH1038562A (en) | Obstacle detector for vehicle | |
| JPH0681182U (en) | Vehicle surroundings monitoring device | |
| US20190102902A1 (en) | System and method for object detection |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 19991130 |