JP5251419B2 - Distance measuring device and distance measuring method - Google Patents

Distance measuring device and distance measuring method Download PDF

Info

Publication number
JP5251419B2
JP5251419B2 JP2008271913A JP2008271913A JP5251419B2 JP 5251419 B2 JP5251419 B2 JP 5251419B2 JP 2008271913 A JP2008271913 A JP 2008271913A JP 2008271913 A JP2008271913 A JP 2008271913A JP 5251419 B2 JP5251419 B2 JP 5251419B2
Authority
JP
Japan
Prior art keywords
pattern light
light
dot pattern
image
spatial pattern
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2008271913A
Other languages
Japanese (ja)
Other versions
JP2010101683A (en
Inventor
秀和 西内
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2008271913A priority Critical patent/JP5251419B2/en
Publication of JP2010101683A publication Critical patent/JP2010101683A/en
Application granted granted Critical
Publication of JP5251419B2 publication Critical patent/JP5251419B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Optical Radar Systems And Details Thereof (AREA)
  • Measurement Of Optical Distance (AREA)

Description

本発明は、車両周囲の所定の観測領域に存在する物体までの距離を計測する距離計測装置および距離計測方法に関する。   The present invention relates to a distance measuring device and a distance measuring method for measuring a distance to an object existing in a predetermined observation region around a vehicle.

従来、車両周囲の所定の観測領域に存在する物体までの距離を計測する距離計測装置としては、観測領域に照明光を照射するとともに当該観測領域の画像を２台のカメラで撮像し、三角測量の原理により観測領域に存在する物体までの距離を計測するものが知られている（例えば、特許文献１参照。）。
特開平９−４３３６２号公報 Conventionally, as a distance measuring device for measuring the distance to an object existing in a predetermined observation area around a vehicle, the observation area is irradiated with illumination light and an image of the observation area is captured by two cameras, and triangulation is performed. A device that measures the distance to an object existing in the observation region is known (for example, see Patent Document 1).
JP-A-9-43362

特許文献１に記載されているようなステレオカメラを用いた距離計測装置では、三角測量の原理により物体までの距離を計測するには、２台のカメラで撮像した各画像からそれぞれ同一の物体を検出することが前提となる。しかしながら、例えば、車両前方の観測領域に同じ形状の先行車が複数存在する場合など、観測領域内に同様の形状の物体が複数存在しているような状況では、２台のカメラの画像からそれぞれ検出した物体が同一の物体であるかどうかの対応付けが難しく、三角測量の原理による距離計測が困難になる場合があるという問題があった。   In a distance measuring device using a stereo camera as described in Patent Document 1, in order to measure the distance to an object based on the principle of triangulation, the same object is taken from each image captured by two cameras. It is assumed that it is detected. However, in a situation where there are a plurality of similar-shaped objects in the observation area, for example, when there are a plurality of preceding vehicles of the same shape in the observation area in front of the vehicle, the images from the two cameras are respectively There is a problem that it is difficult to associate whether or not the detected objects are the same object, and distance measurement based on the principle of triangulation may be difficult.

本発明は、以上のような従来技術の問題点に鑑みて創案されたものであって、観測領域に存在する物体までの距離を確実に計測することができる距離計測装置および距離計測方法を提供することを目的としている。   The present invention has been made in view of the above-described problems of the prior art, and provides a distance measuring device and a distance measuring method capable of reliably measuring a distance to an object existing in an observation region. The purpose is to do.

本発明は、車両周囲の所定の観測領域に対して空間パタン光を照射し、この空間パタン光が照射された観測領域の画像を撮像して、観測領域に存在する物体までの距離を計測する。空間パタン光は、複数のセルより構成されて、各セルごとに光源からの照射方向をコード化したドットパタン光を形成するようにしたものであり、光源からの光を空間変調することによって生成される。本発明では、この空間パタン光が照射された観測領域の画像を撮像し、画像上の各ドットパタン光をデコードして画像上における各ドットパタン光の照射方向を検知するとともに、画像上における各ドットパタン光の座標位置に基づいて各ドットパタン光の撮像方向を検知し、画像上における各ドットパタン光の照射方向と、各ドットパタン光の撮像方向と、光源位置と画像撮像位置との相対位置関係とに基づいて、観測領域に存在する物体までの距離を算出し、画像上の各ドットパタン光を画像における車両近傍の位置から順に既知のドットパタンと照合して、空間パタン光を構成する各セルの境界位置を認識するようにしている。 The present invention irradiates a predetermined observation area around a vehicle with spatial pattern light, captures an image of the observation area irradiated with the spatial pattern light, and measures the distance to an object existing in the observation area. . Spatial pattern light is composed of a plurality of cells to form dot pattern light that encodes the irradiation direction from the light source for each cell, and is generated by spatially modulating the light from the light source. Is done. In the present invention, an image of the observation region irradiated with the spatial pattern light is captured, each dot pattern light on the image is decoded to detect the irradiation direction of each dot pattern light on the image, and each image on the image is detected. The imaging direction of each dot pattern light is detected based on the coordinate position of the dot pattern light, and the irradiation direction of each dot pattern light on the image, the imaging direction of each dot pattern light, and the relative relationship between the light source position and the image imaging position Based on the positional relationship, the distance to the object existing in the observation area is calculated, and the dot pattern light on the image is collated with the known dot pattern in order from the position in the vicinity of the vehicle in the image to construct the spatial pattern light The boundary position of each cell to be recognized is recognized.

本発明によれば、空間パタン光を照射した観測領域の画像から、空間パタン光を構成する各ドットパタン光の照射方向と、各ドットパタン光の撮像方向とが検知され、これら各ドットパタン光の照射方向および撮像方向と、光源位置と画像撮像位置との相対位置関係とに基づいて、観測領域に存在する物体までの距離が算出されるので、観測領域に存在する物体までの距離を確実に計測することができる。   According to the present invention, the irradiation direction of each dot pattern light constituting the spatial pattern light and the imaging direction of each dot pattern light are detected from the image of the observation region irradiated with the spatial pattern light. The distance to the object existing in the observation area is calculated based on the irradiation direction and imaging direction of the light source, and the relative positional relationship between the light source position and the image capturing position. Can be measured.

以下、本発明を実施するための最良の形態を、図面を参照しながら詳細に説明する。   Hereinafter, the best mode for carrying out the present invention will be described in detail with reference to the drawings.

［本発明の基本原理］
まず、本発明の基本原理について、図１を参照して説明する。 [Basic Principle of the Present Invention]
First, the basic principle of the present invention will be described with reference to FIG.

本発明を適用した距離計測装置は、図１（ａ）に示すように、投光器１０からの光を照射した観測領域の画像を１台のカメラ２０で撮像し、このカメラ２０による撮像画像を画像処理することにより、観測領域に存在する物体（標識Ｓや先行車両ＬＶ）までの距離を計測するものである。   As shown in FIG. 1A, the distance measuring device to which the present invention is applied captures an image of an observation region irradiated with light from the projector 10 with a single camera 20, and images captured by the camera 20 are imaged. By processing, the distance to the object (the sign S or the preceding vehicle LV) existing in the observation area is measured.

このように１台のカメラ２０の撮像画像を画像処理して物体までの距離を計測する場合、カメラ２０の撮像画像上で画素ごとに検出される光が、投光器１０からどのような方向で出射されて物体に照射されているのか、つまり、投光器１０から出射されて物体に向かう光の成分と、物体にて反射してカメラ２０の撮像面に結像する光成分との対応付けが必要となる。すなわち、投光器１０から観測領域に照射される光を、光源からの照射方向が異なる複数のビームの集合として考えたときに、各ビームの照射方向（投光器１０から出射する方向）と撮像方向（カメラ２０に入射する方向）とをカメラ２０による撮像画像から検知できれば、これら各ビームの照射方向および撮像方向と、投光器１０とカメラ２０との相対位置関係とをパラメータとして、三角測量の原理により、各ビームが照射された観測領域内の物体（標識Ｓや先行車両ＬＶ）までの距離を計測することができる。   In this way, when the captured image of one camera 20 is subjected to image processing and the distance to the object is measured, the light detected for each pixel on the captured image of the camera 20 is emitted from the projector 10 in any direction. In other words, it is necessary to associate the light component emitted from the projector 10 toward the object and the light component reflected by the object and imaged on the imaging surface of the camera 20. Become. That is, when the light irradiated to the observation region from the projector 10 is considered as a set of a plurality of beams having different irradiation directions from the light source, the irradiation direction of each beam (direction emitted from the projector 10) and the imaging direction (camera) Can be detected from the image captured by the camera 20, and the irradiation direction and imaging direction of each beam, and the relative positional relationship between the projector 10 and the camera 20 as parameters, according to the principle of triangulation, It is possible to measure the distance to an object (a sign S or a preceding vehicle LV) in the observation region irradiated with the beam.

ここで、各ビームの撮像方向は、カメラ２０の撮像画像上で検出される各ビームの座標位置に基づいて検知することができる。一方、各ビームの照射方向は、観測領域に複数の物体が存在する状況においては、投光器１０およびカメラ２０の配置と、物体までの距離や高さの関係から、カメラ２０の撮像画像上で各ビームがその照射方向の順序で並ぶとは限らないため、カメラ２０の撮像画像から検知することが困難であった。例えば、図１（ａ）に示す例で、照射方向が上向きのものから順にビームＢ１、ビームＢ２、ビームＢ３、ビームＢ４とした場合、カメラ２０の撮像画像上では、図１（ｂ）に示すように、画像の上側からビームＢ２、ビームＢ１、ビームＢ３、ビームＢ４の順に各ビームが検出され、カメラ２０の撮像画像上の各ビームの並び順が照射方向の順序と一致していない。このように、カメラ２０の撮像画像上で検出される各ビームは、必ずしもその照射方向の順序に沿って並んでいないため、カメラ２０の撮像画像から各ビームの照射方向を一意に特定することができない。   Here, the imaging direction of each beam can be detected based on the coordinate position of each beam detected on the captured image of the camera 20. On the other hand, in the situation where there are a plurality of objects in the observation region, the irradiation direction of each beam is determined on the captured image of the camera 20 from the relationship between the arrangement of the projector 10 and the camera 20 and the distance and height to the object. Since the beams are not always arranged in the order of the irradiation direction, it is difficult to detect from the captured image of the camera 20. For example, in the example shown in FIG. 1A, when the beam B1, the beam B2, the beam B3, and the beam B4 are set in order from the one in which the irradiation direction is upward, the image shown in FIG. As described above, the beams B2, B1, B3, and B4 are detected in this order from the upper side of the image, and the arrangement order of the beams on the captured image of the camera 20 does not match the order of the irradiation direction. As described above, since the beams detected on the captured image of the camera 20 are not necessarily arranged in the order of the irradiation direction, the irradiation direction of each beam can be uniquely specified from the captured image of the camera 20. Can not.

そこで、本発明では、投光器１０から観測領域に対して空間パタン光を照射し、この空間パタン光が照射された観測領域の画像をカメラ２０で撮像することで、このカメラ２０の撮像画像から上述した各ビームに相当する個々の光の成分の照射方向を検知できるようにしている。ここで、空間パタン光とは、複数のセルを縦横にマトリクス状に配列して各セルごとに光源からの照射方向をコード化したドットパタン光を形成するようにしたものであり、光源からの光を空間変調することによって生成されるものである。つまり、空間パタン光は、上述した各ビームに相当する光成分のそれぞれに照射方向の情報を持たせるようにした照射光である。   Therefore, in the present invention, the spatial pattern light is irradiated from the projector 10 to the observation region, and the image of the observation region irradiated with the spatial pattern light is captured by the camera 20, so that the above-described captured image of the camera 20 is used. The irradiation direction of each light component corresponding to each beam can be detected. Here, the spatial pattern light is a pattern in which a plurality of cells are arranged vertically and horizontally in a matrix to form dot pattern light in which the irradiation direction from the light source is encoded for each cell. It is generated by spatially modulating light. That is, the spatial pattern light is irradiation light in which each of the light components corresponding to each beam described above has information on the irradiation direction.

例えば、図１（ａ）に示す例で、ビームＢ１、ビームＢ２、ビームＢ３、ビームＢ４をそれぞれ空間パタン光を構成する各セルのドットパタン光とした場合、カメラ２０の撮像画像上では、図１（ｃ）に示すように、各ビームに相当するドットパタン光が図１（ｂ）と同じ並び順で検出される。ここで、各ドットパタン光は光源からの照射方向をコード化したものであるので、カメラ２０の撮像画像から検出される各ドットパタン光をデコードすることにより、その照射方向を検知することができる。したがって、これら各ドットパタンの照射方向と、カメラ２０の撮像画像上における座標位置から検知される各ドットパタンの撮像方向と、投光器１０とカメラ２０との相対位置関係とをパラメータとして、三角測量の原理により、各ドットパタンが照射された観測領域内の物体（標識Ｓや先行車両ＬＶ）までの距離を計測することができる。   For example, in the example shown in FIG. 1A, when the beam B1, the beam B2, the beam B3, and the beam B4 are each dot pattern light of each cell constituting the spatial pattern light, on the captured image of the camera 20, FIG. As shown in FIG. 1C, dot pattern light corresponding to each beam is detected in the same arrangement order as in FIG. Here, since each dot pattern light encodes the irradiation direction from the light source, the irradiation direction can be detected by decoding each dot pattern light detected from the captured image of the camera 20. . Therefore, triangulation is performed using the irradiation direction of each dot pattern, the imaging direction of each dot pattern detected from the coordinate position on the captured image of the camera 20, and the relative positional relationship between the projector 10 and the camera 20 as parameters. Based on the principle, it is possible to measure the distance to an object (a sign S or a preceding vehicle LV) in the observation area irradiated with each dot pattern.

［実施例］
次に、本発明を適用した距離計測装置の具体的な実施例について説明する。 [Example]
Next, specific examples of the distance measuring device to which the present invention is applied will be described.

本実施例の距離計測装置は、図２に示すように、車両Ｖのフロント部に設置された投光器（空間パタン光照射手段）１０およびカメラ（撮像手段）２０と、これら投光器１０およびカメラ２０と電気的に接続された演算ユニット３０とを備えて構成され、投光器１０から車両Ｖ前方の所定の観測領域に対して空間パタン光を照射し、この空間パタン光が照射された車両Ｖ前方の観測領域の画像をカメラ２０により撮像して、カメラ２０の撮像画像を演算ユニット３０において画像処理することにより、車両Ｖ前方の観測領域に存在する先行車などの物体までの距離を計測する。   As shown in FIG. 2, the distance measuring device according to the present embodiment includes a projector (space pattern light irradiating unit) 10 and a camera (imaging unit) 20 installed in the front portion of the vehicle V, and the projector 10 and the camera 20. The projection unit 10 irradiates a predetermined observation area in front of the vehicle V with spatial pattern light, and observes the front of the vehicle V irradiated with this spatial pattern light. An image of the area is picked up by the camera 20, and the picked-up image of the camera 20 is subjected to image processing in the arithmetic unit 30, thereby measuring the distance to an object such as a preceding vehicle existing in the observation area in front of the vehicle V.

投光器１０は、例えば図３に示すように、光源１１と、コンデンサレンズ１２と、投影レンズ１３と、液晶光変調器１４とを備えて構成される。この投光器１０は、光源１１から出射されてコンデンサレンズ１２により投影レンズ１３に集光される光を、液晶光変調器１４によって空間変調することで空間パタン光を生成し、生成した空間パタン光を投影レンズ１３により車両Ｖ前方の観測領域に投影する。   For example, as shown in FIG. 3, the projector 10 includes a light source 11, a condenser lens 12, a projection lens 13, and a liquid crystal light modulator 14. The projector 10 generates spatial pattern light by spatially modulating the light emitted from the light source 11 and condensed on the projection lens 13 by the condenser lens 12 by the liquid crystal light modulator 14, and the generated spatial pattern light is generated. The projection lens 13 projects onto the observation area in front of the vehicle V.

空間パタン光は、例えば図４に示すように、ある大きさの空間領域を１単位（セル）として、多数のセルを縦横にマトリクス状に配列した構成のパタン光であり、各セルごとに、光源１１からの照射方向をコード化したドットパタン光を形成している。つまり、この空間パタン光では、各セルごとのドットパタン光をデコードすることによって、各ドットパタン光が光源１１から観測領域に対してどのような照射方向で照射されているかを検知できるようになっている。   For example, as shown in FIG. 4, the spatial pattern light is a pattern light having a configuration in which a large number of cells are arranged in a matrix form vertically and horizontally, with a space area of a certain size as one unit (cell). Dot pattern light in which the irradiation direction from the light source 11 is coded is formed. That is, with this spatial pattern light, it becomes possible to detect in which irradiation direction each dot pattern light is irradiated from the light source 11 to the observation region by decoding the dot pattern light for each cell. ing.

カメラ２０は、レンズを通して入射される光をＣＣＤやＣＭＯＳなどの撮像素子に結像して、画素ごとに数値化した画像信号として出力する。このカメラ２０は、投光器１０と鉛直方向に並ぶように車両Ｖのフロント部に設置されており、投光器１０により空間パタン光が照射された車両Ｖ前方の観測領域を撮像対象とし、観測領域に対して照射された空間パタン光を構成する各セルのドットパタン光の反射光を撮像して、観測領域の画像信号として出力する。このカメラ２０から出力された観測領域の画像信号は、演算ユニット３０に入力される。   The camera 20 focuses light incident through a lens on an image sensor such as a CCD or a CMOS, and outputs the image signal as a digitized image for each pixel. This camera 20 is installed in the front part of the vehicle V so as to be aligned with the projector 10 in the vertical direction, and takes an observation area in front of the vehicle V irradiated with the spatial pattern light by the projector 10 as an imaging target. The reflected light of the dot pattern light of each cell constituting the spatial pattern light irradiated in this manner is imaged and output as an image signal of the observation region. The image signal of the observation region output from the camera 20 is input to the arithmetic unit 30.

演算ユニット３０は、所定の処理プログラムに従って動作するマイクロコンピュータやフレームメモリなどを備えて構成され、カメラ２０により撮像された車両Ｖ前方の観測領域の画像に対して画像処理を行って、観測領域に存在する先行車などの物体までの距離を算出する。この演算ユニット３０は、その構成を機能的に捉えると、図５に示すように、投光駆動部３１と、光抽出部３２と、境界認識部３３と、照射方向検知部３４と、撮像方向検知部３５と、距離算出部３６と、警報出力判定部３７とを備えた構成とされる。なお、演算ユニット３０は、マイクロコンピュータの代わりに、各処理機能を回路として組み込んだＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programable Gate Array）などを用いて構成するようにしてもよい。   The arithmetic unit 30 includes a microcomputer that operates according to a predetermined processing program, a frame memory, and the like. The arithmetic unit 30 performs image processing on the image of the observation area in front of the vehicle V captured by the camera 20, and stores the image in the observation area. The distance to an existing object such as a preceding vehicle is calculated. As shown in FIG. 5, the arithmetic unit 30 functionally grasps the configuration, and as shown in FIG. 5, a light projecting drive unit 31, a light extraction unit 32, a boundary recognition unit 33, an irradiation direction detection unit 34, and an imaging direction. The detection unit 35, the distance calculation unit 36, and the alarm output determination unit 37 are provided. Note that the arithmetic unit 30 may be configured using an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or the like in which each processing function is incorporated as a circuit, instead of the microcomputer.

投光駆動部３１は、投光器１０を駆動制御して、例えば、投光器１０から観測領域に対して空間パタン光を間欠的に照射（点滅照射）させる。   The light projecting drive unit 31 drives and controls the light projector 10 and, for example, intermittently irradiates (flashes) spatial pattern light from the light projector 10 to the observation region.

光抽出部３２は、投光器１０の点灯時、つまり空間パタン光が照射されているときにカメラ２０により撮像された観測領域の画像と、投光器１０の消灯時、つまり空間パタン光が照射されていないときにカメラ２０により撮像された観測領域の画像との差分を各画素ごとに求めるデジタルフィルタ処理を行って、カメラ２０の撮像画像から、空間パタン光を構成する各セルのドットパタン光のみを抽出する。   The light extraction unit 32 is an image of the observation area captured by the camera 20 when the projector 10 is turned on, that is, when the spatial pattern light is irradiated, and the light extraction unit 32 is not irradiated with the spatial pattern light when the projector 10 is turned off. Sometimes, digital filter processing is performed for each pixel to obtain the difference from the image of the observation area captured by the camera 20, and only the dot pattern light of each cell constituting the spatial pattern light is extracted from the captured image of the camera 20. To do.

境界認識部３３は、光抽出部３２により抽出されたカメラ２０の撮像画像上の各ドットパタン光を、カメラ２０の撮像画像において車両Ｖ近傍の位置から順に既知のドットパタンと照合し、空間パタン光を構成する各セルの境界位置を認識する。   The boundary recognition unit 33 collates each dot pattern light on the captured image of the camera 20 extracted by the light extraction unit 32 with a known dot pattern in order from the position in the vicinity of the vehicle V in the captured image of the camera 20 to obtain a spatial pattern. Recognize the boundary position of each cell constituting light.

観測領域の路面に投影された空間パタン光は、カメラ２０の撮像画像上では、図６に示すように、各セルのドットパタン光のドットが並ぶ方位やドット間隔が、車両Ｖに近い位置に対応する画像下側から、車両Ｖから離れた位置に対応する画像上側にかけて次第に広がった形状となって検出される。そして、このカメラ２０の撮像画像上における空間パタン光の形状は、車両Ｖの路面に対するピッチ角によって変化し、加速や減速、路面状況などによって車両Ｖの路面に対するピッチ角が変わると、カメラ２０の撮像画像上における空間パタン光の形状も変わってくる。そこで、本実施例の距離計測装置では、境界認識部３３において、このカメラ２０の撮像画像上における空間パタン光の各ドットパタン光を、車両Ｖに近い位置に対応する画像下側から順に既知のドットパタンと照合することで、空間パタン光を構成する各セルの境界位置を認識し、各ドットパタン光の区分けを行えるようにしている。すなわち、空間パタン光を構成する各セルのドットパタン光のパタン形状は予め分かっているので、カメラ２０の撮像画像上で検出された空間パタン光について、車両Ｖに近い位置に対応する画像下側から順に既知のドットパタンと照合していく。ここで、空間パタン光の各セルは上述したようにマトリクス状に配列されているので、カメラ２０の撮像画像上において車両Ｖに近い位置のドットパタン光を既知のドットパタンと対応付けできれば、当該ドットパタン光を形成しているセルの境界を認識してその投影形状を推定することができ、また、当該セルに隣接するセルが存在する位置やその投影形状を推定することができる。そして、このような対応付けを車両Ｖの近傍位置から順次行っていくことで、車両Ｖの路面に対するピッチ角に応じて画像上における空間パタン光の形状が変化していても、空間パタン光を構成する各セルの境界位置を確実に認識することができる。   The spatial pattern light projected on the road surface of the observation area is located at a position close to the vehicle V in the direction and the dot interval in which the dots of the dot pattern light of each cell are arranged as shown in FIG. It is detected as a shape that gradually expands from the lower side of the corresponding image to the upper side of the image corresponding to a position away from the vehicle V. The shape of the spatial pattern light on the captured image of the camera 20 changes depending on the pitch angle with respect to the road surface of the vehicle V. When the pitch angle with respect to the road surface of the vehicle V changes due to acceleration, deceleration, road surface conditions, etc. The shape of the spatial pattern light on the captured image also changes. Therefore, in the distance measuring apparatus of the present embodiment, the boundary recognition unit 33 knows each dot pattern light of the spatial pattern light on the captured image of the camera 20 in order from the lower side of the image corresponding to the position close to the vehicle V. By collating with the dot pattern, the boundary position of each cell constituting the spatial pattern light is recognized, and the dot pattern light can be classified. That is, since the pattern shape of the dot pattern light of each cell constituting the spatial pattern light is known in advance, the lower side of the image corresponding to the position close to the vehicle V with respect to the spatial pattern light detected on the captured image of the camera 20 It collates with a known dot pattern in order. Here, since the cells of the spatial pattern light are arranged in a matrix as described above, if the dot pattern light near the vehicle V on the captured image of the camera 20 can be associated with a known dot pattern, The projection shape can be estimated by recognizing the boundary of the cell forming the dot pattern light, and the position where the cell adjacent to the cell exists and the projection shape can be estimated. Then, by sequentially performing such association from the position near the vehicle V, even if the shape of the spatial pattern light on the image changes according to the pitch angle with respect to the road surface of the vehicle V, the spatial pattern light can be obtained. It is possible to reliably recognize the boundary position of each cell constituting the cell.

ここで、図７に示すように、空間パタン光が照射される車両Ｖ前方に車両Ｖからの距離が異なる２つの物体Ｏｂ１，Ｏｂ２が存在する場合について考える。本実施例では、投光器１０とカメラ２０とが鉛直方向に並ぶように車両Ｖに設置されているので、図７（ａ）に示すように、車両Ｖ上方向から見た場合には空間パタン光の照射方向と撮像方向とが一致しており、カメラ２０の撮像画像上における空間パタン光は、車両の左右方向に対応する横方向においては、各ドットパタンが照射方向の順に並んで検出される。一方、図７（ｂ）に示すように、車両Ｖの側面方向から見た場合には空間パタン光の照射方向と撮像方向とが一致していないため、カメラ２０の撮像画像上における空間パタン光は、車両から近接離間する方向に対応する縦方向においては、各ドットパタンが照射方向の順に並ばずに順序が入れ替わって検出されることがある。つまり、カメラ２０の撮像画像上における空間パタン光において、ドットパタン光がその照射順序と一致せずに順序が入れ替わるのは空間パタン光の縦方向のみにおいてであり、マトリクス状の１つの列の各セルについて縦方向に沿ってドットパタン光を順次検索していけば、その列の既知のドットパタンと一致するドットパタン光を検出することができる。したがって、境界認識部３３においてカメラ２０の撮像画像上の空間パタン光を構成する各セルの境界位置を認識する処理を行う際は、縦方向に並ぶ各セルの境界位置を車両Ｖの近傍位置から順次認識していくようにすれば、効率よく処理を行うことができる。   Here, as shown in FIG. 7, a case is considered in which two objects Ob1 and Ob2 having different distances from the vehicle V exist in front of the vehicle V irradiated with the spatial pattern light. In the present embodiment, since the projector 10 and the camera 20 are installed in the vehicle V so as to be aligned in the vertical direction, as shown in FIG. The irradiation direction and the image capturing direction of the camera 20 coincide with each other, and the spatial pattern light on the captured image of the camera 20 is detected by arranging each dot pattern in the order of the irradiation direction in the horizontal direction corresponding to the left and right direction of the vehicle. . On the other hand, as shown in FIG. 7B, the spatial pattern light on the captured image of the camera 20 because the irradiation direction of the spatial pattern light and the imaging direction do not match when viewed from the side of the vehicle V. In the vertical direction corresponding to the direction of approaching and moving away from the vehicle, the dot patterns may be detected in a reversed order without being arranged in the order of the irradiation direction. That is, in the spatial pattern light on the captured image of the camera 20, the dot pattern light is not matched with the irradiation order, and the order is changed only in the vertical direction of the spatial pattern light. If the dot pattern light is sequentially searched along the vertical direction for the cell, the dot pattern light that matches the known dot pattern in the column can be detected. Therefore, when the boundary recognition unit 33 performs the process of recognizing the boundary position of each cell constituting the spatial pattern light on the captured image of the camera 20, the boundary position of each cell aligned in the vertical direction is determined from the position near the vehicle V. If recognition is performed sequentially, processing can be performed efficiently.

照射方向検知部３４は、カメラ２０の撮像画像上における空間パタン光について、境界認識部３３によって区分けされた各セルごとに、各セルのドットパタン光をデコードしてその照射方向を検知する。すなわち、照射方向検知部３４は、例えば下記の表１に示すように、マトリクス状に配列された各セルごとに唯一のパタンとして予め定めたドットパタンのコード番号と、このドットパタンが割り当てられたセルの位置とを対応付けたコード変換表などを用い、空間パタン光を構成する各セルごとに、カメラ２０の撮像画像上で検出された各ドットパタン光の照射方向を求めて、その情報を距離算出部３６に出力する。

Figure 0005251419
なお、表１は、横方向にｌ個、縦方向にｍ個のセルが配列された空間パタン光の例である。 The irradiation direction detection unit 34 detects the irradiation direction by decoding the dot pattern light of each cell for each cell divided by the boundary recognition unit 33 for the spatial pattern light on the captured image of the camera 20. That is, for example, as shown in Table 1 below, the irradiation direction detection unit 34 is assigned a dot pattern code number that is predetermined as a unique pattern for each cell arranged in a matrix and this dot pattern. Using a code conversion table or the like that associates cell positions, the irradiation direction of each dot pattern light detected on the captured image of the camera 20 is obtained for each cell constituting the spatial pattern light, and the information is obtained. It outputs to the distance calculation part 36.
Figure 0005251419
 Table 1 shows an example of spatial pattern light in which l cells are arranged in the horizontal direction and m cells are arranged in the vertical direction.

撮像方向検知部３５は、カメラ２０の撮像画像上における空間パタン光について、境界認識部３３によって区分けされた各セルごとに、ドットパタン光の画像上の座標位置をもとにその撮像方向を検知して、各ドットパタン光の撮像方向の情報を距離算出部３６に出力する。   The imaging direction detection unit 35 detects the imaging direction of the spatial pattern light on the captured image of the camera 20 based on the coordinate position of the dot pattern light on the image for each cell divided by the boundary recognition unit 33. Then, information on the imaging direction of each dot pattern light is output to the distance calculation unit 36.

距離算出部３６は、照射方向検知部３４からの各ドットパタン光の照射方向の情報と、撮像方向検知部３５からの各ドットパタン光の撮像方向の情報と、車両Ｖに設置されている投光器１０とカメラ２０との相対位置関係（既知の情報）とに基づいて、三角測量の原理により、各ドットパタン光の反射位置までの距離を各々計算する。そして、距離が同じ反射位置のかたまり（クラスタ）を１つの物体として認識し、当該物体（例えば先行車）までの距離情報を出力する。この距離算出部３６から出力された距離情報は、例えば、車両Ｖ内部に設置されたモニタなどに入力され、先行車までの距離としてモニタ上に表示される。また、距離算出部３６からの距離情報は、警報出力判定部３７での警報出力の判定にも用いられる。   The distance calculation unit 36 includes information on the irradiation direction of each dot pattern light from the irradiation direction detection unit 34, information on the imaging direction of each dot pattern light from the imaging direction detection unit 35, and a projector installed in the vehicle V Based on the relative positional relationship (known information) between the camera 10 and the camera 20, the distance to the reflection position of each dot pattern light is calculated by the principle of triangulation. Then, a group (cluster) of reflection positions having the same distance is recognized as one object, and distance information to the object (for example, a preceding vehicle) is output. The distance information output from the distance calculation unit 36 is input to, for example, a monitor installed inside the vehicle V and displayed on the monitor as a distance to the preceding vehicle. The distance information from the distance calculation unit 36 is also used for determination of alarm output by the alarm output determination unit 37.

警報出力判定部３７は、距離算出部３６から出力される距離情報の時間変化を観測し、車両Ｖ前方の観測領域に存在する先行車などの物体が、車両Ｖに対して所定距離以下にまで近付いたと判定した場合に、車両Ｖ内部に設置されたスピーカから警報を出力させる。   The alarm output determination unit 37 observes the time change of the distance information output from the distance calculation unit 36, and an object such as a preceding vehicle existing in the observation area in front of the vehicle V is less than a predetermined distance with respect to the vehicle V. When it is determined that the vehicle is approaching, an alarm is output from a speaker installed inside the vehicle V.

図８は、本実施例の距離計測装置の動作を説明する図であり、距離計測装置の電源がオンされている間、演算ユニット３０において所定周期で繰り返し実行される一連の処理を示すフローチャートである。以下、この図８のフローを参照しながら、本実施例の距離計測装置の動作を説明する。   FIG. 8 is a diagram for explaining the operation of the distance measuring apparatus according to the present embodiment, and is a flowchart showing a series of processes repeatedly executed at predetermined intervals in the arithmetic unit 30 while the distance measuring apparatus is powered on. is there. Hereinafter, the operation of the distance measuring apparatus of the present embodiment will be described with reference to the flow of FIG.

本実施例の距離計測装置は、演算ユニット３０において図８のフローが開始されると、まず、ステップＳ１０１において、投光器１０をオンして車両前方の観測領域に対して空間パタン光を照射し、ステップＳ１０２において、空間パタン光が照射された観測領域の画像をカメラ２０により撮像して、その撮像画像を演算ユニット３０内部のフレームメモリに保存する。   When the flow of FIG. 8 is started in the arithmetic unit 30, the distance measuring device of the present embodiment first turns on the projector 10 to irradiate the spatial pattern light to the observation area in front of the vehicle, In step S <b> 102, an image of the observation region irradiated with the spatial pattern light is captured by the camera 20, and the captured image is stored in a frame memory inside the arithmetic unit 30.

次に、ステップＳ１０３において、投光器１０をオフして観測領域に対する空間パタン光の照射を停止し、ステップＳ１０４において、空間パタン光が照射されていない観測領域の画像をカメラ２０により撮像して、その撮像画像を演算ユニット３０内部のフレームメモリに保存する。   Next, in step S103, the projector 10 is turned off to stop the irradiation of the spatial pattern light to the observation area. In step S104, an image of the observation area that is not irradiated with the spatial pattern light is captured by the camera 20, The captured image is stored in a frame memory inside the arithmetic unit 30.

そして、ステップＳ１０５において、ステップＳ１０２で保存した撮像画像とステップＳ１０４で保存した撮像画像との差分を求め、カメラ２０の撮像画像から、空間パタン光を構成する各セルのドットパタン光のみを抽出する。   In step S105, a difference between the captured image stored in step S102 and the captured image stored in step S104 is obtained, and only the dot pattern light of each cell constituting the spatial pattern light is extracted from the captured image of the camera 20. .

次に、ステップＳ１０６において、ステップＳ１０５で抽出した撮像画像上のドットパタン光を車両近傍の位置から順に既知のドットパタンと照合し、空間パタン光を構成する各セルの境界位置を撮像画像の縦方向に沿って順次認識して、撮像画像上の全てのドットパタン光を各セルごとに区分けする。   Next, in step S106, the dot pattern light on the captured image extracted in step S105 is collated with a known dot pattern in order from the position near the vehicle, and the boundary position of each cell constituting the spatial pattern light is determined in the vertical direction of the captured image. By sequentially recognizing along the direction, all the dot pattern lights on the captured image are classified for each cell.

次に、ステップＳ１０７において、ステップＳ１０６で区分けした各セルごとに、撮像画像上の各セルのドットパタン光をデコードしてその照射方向を検知する。   Next, in step S107, for each cell divided in step S106, the dot pattern light of each cell on the captured image is decoded and its irradiation direction is detected.

次に、ステップＳ１０８において、ステップＳ１０６で区分けした各セルごとに、ドットパタン光の画像上の座標位置をもとにその撮像方向を検知する。   In step S108, the imaging direction is detected for each cell divided in step S106 based on the coordinate position of the dot pattern light on the image.

次に、ステップＳ１０９において、ステップＳ１０７で検知した各セルのドットパタン光の照射方向と、ステップＳ１０８で検知した各セルのドットパタン光の撮像方向と、投光器１０とカメラ２０との相対位置関係とに基づいて、三角測量の原理により、車両から各ドットパタン光の反射位置までの距離を各々算出する。   Next, in step S109, the irradiation direction of the dot pattern light of each cell detected in step S107, the imaging direction of the dot pattern light of each cell detected in step S108, and the relative positional relationship between the projector 10 and the camera 20 Based on the above, the distance from the vehicle to the reflection position of each dot pattern light is calculated based on the principle of triangulation.

次に、ステップＳ１１０において、ステップＳ１０９において算出した各ドットパタン光の反射位置までの距離の情報をもとに、同等の距離の反射位置をクラスタリングして１つの物体として認識する。   Next, in step S110, based on the information on the distance to the reflection position of each dot pattern light calculated in step S109, the reflection positions with the same distance are clustered and recognized as one object.

次に、ステップＳ１１１において、ステップＳ１１０で認識した物体までの距離の情報を、車両内部のモニタに表示させる。   Next, in step S111, information on the distance to the object recognized in step S110 is displayed on a monitor inside the vehicle.

次に、ステップＳ１１２において、ステップＳ１１０で認識した物体を、その形状をもとにして時系列で追跡し、物体までの距離の時間変化を観測する。   Next, in step S112, the object recognized in step S110 is tracked in time series based on its shape, and the time change of the distance to the object is observed.

そして、ステップＳ１１３において、車両からの距離が所定距離以下となるまで車両に近付いた物体が存在するか否かを判定し、車両に近付いた物体がある場合には、ステップＳ１１４において車両内部のスピーカから警報を出力して、一周期分の処理を終了する。   In step S113, it is determined whether there is an object approaching the vehicle until the distance from the vehicle is equal to or less than the predetermined distance. If there is an object approaching the vehicle, a speaker inside the vehicle is determined in step S114. An alarm is output from and the processing for one cycle is completed.

以上説明したように、本実施例の距離計測装置は、車両前方の観測領域に対して投光器１０から空間パタン光を照射して、この空間パタン光を照射した観測領域の画像をカメラ２０で撮像し、その撮像画像上の各ドットパタン光をデコードしてその照射方向を検知するとともに、各ドットパタン光の画像上の座標位置からその撮像方向を検知する。そして、カメラ２０の撮像画像上の各ドットパタン光の照射方向と、各ドットパタン光の撮像方向と、投光器１０とカメラ２０との相対位置関係とに基づいて、三角測量の原理により、観測領域に存在する物体までの距離を計測するようにしている。したがって、この距離計測装置によれば、１つのカメラ２０の撮像画像をもとに観測領域に存在する物体までの距離を計測することができ、例えばステレオカメラを用いた距離計測装置のように２台のカメラの撮像画像間での同一物体の対応付けが不要となるので、観測領域に存在する物体までの距離を確実に計測することができる。   As described above, the distance measuring apparatus according to the present embodiment irradiates the observation area in front of the vehicle with the spatial pattern light from the projector 10, and the camera 20 captures an image of the observation area irradiated with the spatial pattern light. Then, each dot pattern light on the captured image is decoded to detect the irradiation direction, and the imaging direction is detected from the coordinate position on the image of each dot pattern light. Based on the principle of triangulation based on the irradiation direction of each dot pattern light on the captured image of the camera 20, the imaging direction of each dot pattern light, and the relative positional relationship between the projector 10 and the camera 20, the observation region The distance to the object that exists is measured. Therefore, according to this distance measuring device, it is possible to measure the distance to an object existing in the observation area based on the image captured by one camera 20, for example, 2 as in a distance measuring device using a stereo camera. Since it is not necessary to associate the same object between the captured images of the two cameras, the distance to the object existing in the observation area can be reliably measured.

また、本実施例の距離計測装置によれば、カメラ２０の撮像画像から空間パタン光を構成する各セルのドットパタン光のみを抽出した後に、各ドットパタン光の照射方向や撮像方向を検知するようにしているので、空間パタン光以外の光が処理に悪影響を及ぼす不都合を有効に防止することができ、物体までの距離の計測を精度良く行うことができる。   Further, according to the distance measuring apparatus of the present embodiment, after extracting only the dot pattern light of each cell constituting the spatial pattern light from the captured image of the camera 20, the irradiation direction and the imaging direction of each dot pattern light are detected. As a result, it is possible to effectively prevent inconvenience that light other than the spatial pattern light adversely affects the processing, and the distance to the object can be accurately measured.

また、本実施例の距離計測装置によれば、カメラ２０の撮像画像から抽出したドットパタン光を車両近傍位置から順に既知のドットパタンと照合することで、空間パタン光を構成する各セルの境界位置を認識するようにしているので、車両の路面に対するピッチ角の変動などの影響を受けることなく、カメラ２０の撮像画像上における空間パタン光の各セルの区分けを確実に行うことができる。   Further, according to the distance measuring apparatus of the present embodiment, the dot pattern light extracted from the image captured by the camera 20 is collated with known dot patterns in order from the vehicle vicinity position, so that the boundary of each cell constituting the spatial pattern light Since the position is recognized, the cells of the spatial pattern light on the captured image of the camera 20 can be reliably divided without being affected by the variation of the pitch angle with respect to the road surface of the vehicle.

さらに、本実施例の距離計測装置によれば、カメラ２０の撮像画像上で各セルの境界位置を認識する処理を、車両に近接離間する方向に対応する画像の縦方向に沿って行い、縦方向に並ぶ各セルの境界位置を車両近傍位置から順次認識するようにしているので、各セルの境界位置を認識する処理を効率よく行うことができる。   Furthermore, according to the distance measuring apparatus of the present embodiment, the process of recognizing the boundary position of each cell on the captured image of the camera 20 is performed along the vertical direction of the image corresponding to the direction of approaching and separating from the vehicle. Since the boundary positions of the cells arranged in the direction are sequentially recognized from the vicinity of the vehicle, the process of recognizing the boundary positions of the cells can be performed efficiently.

なお、以上説明した実施例は、本発明の一適用例を例示したものであり、本発明の技術的範囲が以上の実施例で説明した内容に限定されることを意図するものではない。つまり、本発明の技術的範囲は、以上の実施例として開示した具体的な技術事項に限らず、この開示から容易に導きうる様々な変形、変更、代替技術なども含むものである。   The embodiment described above is an example of application of the present invention, and the technical scope of the present invention is not intended to be limited to the contents described in the above embodiment. That is, the technical scope of the present invention is not limited to the specific technical matters disclosed as the above embodiments, but includes various modifications, changes, alternative techniques, and the like that can be easily derived from this disclosure.

例えば、以上説明した実施例では、投光器１０からの空間パタン光を点滅させて、投光器１０点灯時のカメラ２０の撮像画像と投光器１０消灯時のカメラ２０の撮像画像との差分を求めることで、カメラ２０の撮像画像から空間パタン光を構成する各セルのドットパタン光のみを抽出するようにしているが、この処理は以下に示すような処理での代替が可能である。すなわち、図９に示すように、投光器１０がある周波数（太陽光等の外来光にはない周期的照度変調の周波数）で照射強度を変化させながら空間パタン光を照射し、カメラ２０で連続的に撮像される撮像画像から、投光器１０による照射強度の変化周波数と同期して輝度変化を示すものを時間軸上のパタンマッチング処理により抽出することで、カメラ２０の撮像画像から空間パタン光を構成する各セルのドットパタン光のみを抽出することができる。   For example, in the embodiment described above, the spatial pattern light from the projector 10 is blinked, and the difference between the captured image of the camera 20 when the projector 10 is turned on and the captured image of the camera 20 when the projector 10 is turned off is obtained. Only the dot pattern light of each cell constituting the spatial pattern light is extracted from the captured image of the camera 20, but this process can be replaced by the following process. That is, as shown in FIG. 9, the projector 10 irradiates spatial pattern light while changing the irradiation intensity at a certain frequency (frequency of periodic illuminance modulation that is not present in external light such as sunlight), and continuously by the camera 20. By extracting the image showing brightness change in synchronization with the change frequency of the irradiation intensity by the projector 10 by pattern matching processing on the time axis, the spatial pattern light is constructed from the image taken by the camera 20. Only the dot pattern light of each cell to be extracted can be extracted.

この場合は、図８に示したフローチャートのステップＳ１０１〜ステップＳ１０５の処理に代えて、図１０のフローチャートで示す処理が行われる。すなわち、まずステップＳ２０１において、投光器１０からの空間パタン光の照射回数が所定の照射周期回数に達したか否かを判定する。そして、空間パタン光の照射回数が照射周期回数に達していなければ、ステップＳ２０２において、照射周期番号ｋ番目の照射強度で投光器１０から空間パタン光を照射し、ステップＳ２０３において、空間パタン光が照射された観測領域の画像をカメラ２０により撮像して、その撮像画像を保存する。この処理を、空間パタン光の照射回数が照射周期回数に達するまで繰り返し、照射周期回数に達したら、ステップＳ２０４において、ステップＳ２０３で保存した照射周期回数分の撮像画像を時系列で追って撮像画像の各画素ごとに輝度の変化を観測し、その輝度変化が空間パタン光の照射強度の周期変化と一致する画素を、空間パタン光を構成する各セルのドットパタン光が照射された位置として抽出する。   In this case, the process shown in the flowchart of FIG. 10 is performed instead of the process of steps S101 to S105 in the flowchart shown in FIG. That is, first, in step S201, it is determined whether or not the number of irradiation times of the spatial pattern light from the projector 10 has reached a predetermined number of irradiation cycles. If the number of times of irradiation of the spatial pattern light does not reach the number of irradiation cycles, the spatial pattern light is irradiated from the projector 10 at the irradiation intensity of the irradiation cycle number k in step S202, and the spatial pattern light is irradiated in step S203. An image of the observed area is captured by the camera 20 and the captured image is stored. This process is repeated until the number of irradiation times of the spatial pattern light reaches the number of irradiation cycles. When the number of irradiation cycles is reached, in step S204, the captured images corresponding to the number of irradiation cycles stored in step S203 are tracked in time series. A change in luminance is observed for each pixel, and a pixel whose luminance change coincides with a periodic change in the irradiation intensity of the spatial pattern light is extracted as a position irradiated with the dot pattern light of each cell constituting the spatial pattern light. .

また、以上の実施例では、空間パタン光を構成する各セルのドットパタン光をデコードする際に、ドットパタン光を構成する全てのドットが画像上で検出できているものとして説明しているが、実際には、物体の輪郭位置に投影されるセルでは当該セルが物体の輪郭によってその途中で分断され、ドットパタン光の一部が遮蔽されて検出できない場合もある。そこで、このような物体の輪郭位置に投影されるセルにおいてもその照射方向を検知できるようにするために、空間パタン光を構成する各ドットパタン光を、例えば情報通信の分野などにおいて広く使用されている誤り訂正符号（ＥＣＣ：error correcting code）を用いてコード化するようにしてもよい。この場合、ドットパタン光の照射方向を示す情報記号ビットに検査記号ビットが付加された誤り訂正符号でドットパタン光がコード化されるので、ドットパタン光の一部が遮蔽されることで情報記号ビットの欠落が生じても、誤り訂正によってその欠落部分を補完して、当該ドットパタン光の照射方向を検知することができる。   Further, in the above embodiment, it has been described that all the dots constituting the dot pattern light can be detected on the image when the dot pattern light of each cell constituting the spatial pattern light is decoded. Actually, in the cell projected on the contour position of the object, the cell may be divided in the middle by the contour of the object, and a part of the dot pattern light may be blocked and cannot be detected. Therefore, in order to be able to detect the irradiation direction even in a cell projected on the contour position of such an object, each dot pattern light constituting the spatial pattern light is widely used, for example, in the field of information communication. The encoding may be performed using an error correcting code (ECC). In this case, since the dot pattern light is encoded with an error correction code in which a check symbol bit is added to the information symbol bit indicating the irradiation direction of the dot pattern light, the information symbol is blocked by part of the dot pattern light. Even if a missing bit occurs, the missing portion can be complemented by error correction, and the irradiation direction of the dot pattern light can be detected.

また、以上の実施例では、空間パタン光を構成する各セルを１つの単位とし、各セルのドットパタン光をデコードすることで各セルごとにその照射方向を検知するようにしているが、ドットパタン光を構成する各ドットごとにその照射方向を検知することも可能である。すなわち、各セルが横方向にｎ個、縦方向にｍ個のドットで構成され、各セルの横方向の照射幅がＮ、縦方向の照射幅がＭであり、ドットパタン光としてコード化された各セルの照射方向が当該セルの中心位置の照射方向を表しているとすると、セルの左上のドットをドット（０，０）としたときのドット（ｘ、ｙ）の照射方向は、コード化されたセルの照射方向を、横方向：Ｎ・[ｘ−（ｎ−１）／２]、縦方向：Ｍ・[ｙ−（ｍ−１）／２]角度だけオフセットした照射方向となる。このように、ドットパタン光を構成する各ドットの照射方向は、ドットパタン光をデコードして求めたセルの照射方向から各々計算できるので、ドットパタン光を構成する各ドットごとにその照射方向を検知することが可能であり、このような処理を行うことによって、距離計測をより高密度に行うことが可能となる。   In the above embodiment, each cell constituting the spatial pattern light is set as one unit, and the dot pattern light of each cell is decoded to detect the irradiation direction for each cell. It is also possible to detect the irradiation direction for each dot constituting the pattern light. That is, each cell is composed of n dots in the horizontal direction and m dots in the vertical direction. Each cell has a horizontal irradiation width of N and a vertical irradiation width of M, and is encoded as dot pattern light. If the irradiation direction of each cell represents the irradiation direction of the center position of the cell, the irradiation direction of the dot (x, y) when the upper left dot of the cell is the dot (0, 0) is the code The irradiation direction of the converted cell is an irradiation direction offset by an angle of N · [x− (n−1) / 2] and a vertical direction of M · [y− (m−1) / 2]. . Thus, since the irradiation direction of each dot constituting the dot pattern light can be calculated from the irradiation direction of the cell obtained by decoding the dot pattern light, the irradiation direction is determined for each dot constituting the dot pattern light. It is possible to detect, and by performing such processing, it becomes possible to perform distance measurement with higher density.

本発明の基本原理を説明する図である。It is a figure explaining the basic principle of this invention. 本発明を適用した距離計測装置の概略構成を示す模式図である。It is a schematic diagram which shows schematic structure of the distance measuring device to which this invention is applied. 投光器の構成を示す模式図である。It is a schematic diagram which shows the structure of a light projector. 投光器から照射される空間パタン光の一例を示す図である。It is a figure which shows an example of the spatial pattern light irradiated from a light projector. 演算ユニットの機能的な構成を示すブロック図である。It is a block diagram which shows the functional structure of an arithmetic unit. 路面に投影された空間パタン光をカメラで撮像したときの撮像画像を示す図である。It is a figure which shows a captured image when the spatial pattern light projected on the road surface is imaged with a camera. 車両前方に２つの物体が存在する状況において、空間パタン光を構成する各セルのドットパタン光の照射方向と撮像方向との関係を説明する図である。It is a figure explaining the relationship between the irradiation direction of the dot pattern light of each cell which comprises spatial pattern light, and an imaging direction in the condition where two objects exist ahead of a vehicle. 本発明を適用した距離計測装置の動作を説明する図であり、距離計測装置の電源がオンされている間、演算ユニットにおいて所定周期で繰り返し実行される一連の処理を示すフローチャートである。It is a figure explaining operation | movement of the distance measuring device to which this invention is applied, and is a flowchart which shows a series of processes repeatedly performed with a predetermined period in a calculating unit, while the power supply of a distance measuring device is turned on. 空間パタン光の照射強度を周期的に変化させた例を説明する図である。It is a figure explaining the example which changed the irradiation intensity | strength of the spatial pattern light periodically. 空間パタン光の照射強度を周期的に変化させる場合の処理を示すフローチャートである。It is a flowchart which shows the process in the case of changing the irradiation intensity | strength of space pattern light periodically.

符号の説明Explanation of symbols

１０ 投光器（空間パタン光照射手段）
２０ カメラ（撮像手段）
３０ 演算ユニット
３２ 光抽出部（光抽出手段）
３３ 境界認識部（境界認識手段）
３４ 照射方向検知部（照射方向検知手段）
３５ 撮像方向検知部（撮像方向検知手段）
３６ 距離算出部（距離算出手段） 10 Projector (Space pattern light irradiation means)
20 camera (imaging means)
30 arithmetic unit 32 light extraction part (light extraction means)
33 Boundary recognition unit (boundary recognition means)
34 Irradiation direction detection unit (irradiation direction detection means)
35. Imaging direction detection unit (imaging direction detection means)
36 Distance calculation part (distance calculation means)

Claims (8)

光源からの光を空間変調し、複数のセルより構成されて各セルごとに光源からの照射方向をコード化したドットパタン光が形成される空間パタン光を生成して、当該空間パタン光を車両周囲の所定の観測領域に対して照射する空間パタン光照射手段と、
前記空間パタン光が照射された観測領域の画像を撮像する撮像手段と、
前記撮像手段で撮像した画像上の各ドットパタン光をデコードして、画像上における各ドットパタン光の照射方向を検知する照射方向検知手段と、
前記撮像手段で撮像した画像上における各ドットパタン光の座標位置に基づいて、各ドットパタン光の撮像方向を検知する撮像方向検知手段と、
前記照射方向検知手段で検知した各ドットパタン光の照射方向と、前記撮像方向検知手段で検知した各ドットパタン光の撮像方向と、前記空間パタン光照射手段と前記撮像手段との相対位置関係とに基づいて、前記観測領域に存在する物体までの距離を算出する距離算出手段と、
前記撮像手段で撮像した画像上の各ドットパタン光を画像における車両近傍の位置から順に既知のドットパタンと照合して、前記空間パタン光を構成する各セルの境界位置を認識する境界認識手段と、を備えることを特徴とする距離計測装置。 Light from the light source is spatially modulated to generate spatial pattern light that is formed of a plurality of cells and that forms dot pattern light in which the irradiation direction from the light source is encoded for each cell. A spatial pattern light irradiating means for irradiating a predetermined observation region around
An imaging means for capturing an image of the observation region irradiated with the spatial pattern light;
An irradiation direction detection unit that decodes each dot pattern light on the image captured by the imaging unit and detects an irradiation direction of each dot pattern light on the image;
An imaging direction detecting unit that detects an imaging direction of each dot pattern light based on a coordinate position of each dot pattern light on an image captured by the imaging unit;
The irradiation direction of each dot pattern light detected by the irradiation direction detection means, the imaging direction of each dot pattern light detected by the imaging direction detection means, and the relative positional relationship between the spatial pattern light irradiation means and the imaging means A distance calculating means for calculating a distance to an object existing in the observation region,
Boundary recognition means for recognizing the boundary position of each cell constituting the spatial pattern light by comparing each dot pattern light on the image captured by the imaging means with a known dot pattern in order from the position in the vicinity of the vehicle in the image; the distance measuring device, characterized in that it comprises a. 前記撮像手段で撮像した画像から前記空間パタン光を構成する各ドットパタン光のみを抽出する光抽出手段をさらに備えることを特徴とする請求項１に記載の距離計測装置。   The distance measuring apparatus according to claim 1, further comprising: a light extracting unit that extracts only each dot pattern light constituting the spatial pattern light from an image captured by the imaging unit. 前記空間パタン光照射手段は、前記空間パタン光を点滅させながら照射し、
前記光抽出手段は、前記空間パタン光の点灯時の画像と消灯時の画像との差分を求めることで、前記空間パタン光を構成する各ドットパタン光のみを抽出することを特徴とする請求項２に記載の距離計測装置。 The space pattern light irradiation means irradiates the space pattern light while blinking,
The light extraction means extracts only each dot pattern light constituting the spatial pattern light by obtaining a difference between an image when the spatial pattern light is turned on and an image when the spatial pattern light is turned off. 2. The distance measuring device according to 2. 前記空間パタン光照射手段は、周期的に照射強度を変化させながら前記空間パタン光を照射し、
前記光抽出手段は、前記撮像手段が連続的に撮像した画像から前記空間パタン光の周期的な照射強度変化と同期した輝度変化を示す画素を抽出することで、前記空間パタン光を構成する各ドットパタン光のみを抽出することを特徴とする請求項２に記載の距離計測装置。 The spatial pattern light irradiation means irradiates the spatial pattern light while periodically changing the irradiation intensity,
The light extraction means extracts pixels indicating luminance changes synchronized with periodic irradiation intensity changes of the spatial pattern light from images continuously captured by the imaging means, thereby configuring each of the spatial pattern lights. The distance measuring device according to claim 2, wherein only the dot pattern light is extracted. 前記空間パタン光照射手段の光源と前記撮像手段とが鉛直方向に並ぶように車両に設置されており、
前記境界認識手段は、車両に近接離間する方向を前記空間パタン光の縦方向としたときに、縦方向に並ぶ各セルの境界位置を車両近傍位置から順次認識することを特徴とする請求項１に記載の距離計測装置。 The light source of the spatial pattern light irradiation means and the imaging means are installed in the vehicle so as to be aligned in the vertical direction,
The boundary recognition means, when a direction toward and away from the vehicle and the longitudinal direction of the space pattern light, according to claim 1, the boundary position of each cell arranged in the vertical direction, characterized in that sequentially recognized from the vehicle position near The distance measuring device described in 1. 前記空間パタン光を構成する各ドットパタン光は、誤り訂正符号を用いて光源からの照射方向がコード化されていることを特徴とする請求項１乃至５のいずれか一項に記載の距離計測装置。 The distance measurement according to any one of claims 1 to 5 , wherein each dot pattern light constituting the spatial pattern light is encoded in an irradiation direction from a light source using an error correction code. apparatus. 前記距離算出手段は、前記空間パタン光を構成する各ドットパタン光の各ドットごとに、各ドットが照射されている位置までの距離を算出することを特徴とする請求項１乃至６のいずれか一項に記載の距離計測装置。 Said distance calculating means, for each dot of the dot pattern light constituting said spatial pattern light, any one of claims 1 to 6 each dot and calculates a distance to a position being irradiated The distance measuring device according to one item. 光源からの光を空間変調し、複数のセルより構成されて各セルごとに光源からの照射方向をコード化したドットパタン光が形成される空間パタン光を生成して、当該空間パタン光を車両周囲の所定の観測領域に対して照射するステップと、
前記空間パタン光が照射された観測領域の画像を撮像するステップと、
撮像した画像上の各ドットパタン光をデコードして、画像上における各ドットパタン光の照射方向を検知するステップと、
撮像した画像上における各ドットパタン光の座標位置に基づいて、各ドットパタン光の撮像方向を検知するステップと、
前記画像上における各ドットパタン光の照射方向と、各ドットパタン光の撮像方向と、前記光源の位置と前記画像の撮像位置との相対位置関係とに基づいて、前記観測領域に存在する物体までの距離を算出するステップと、
撮像した画像上の各ドットパタン光を画像における車両近傍の位置から順に既知のドットパタンと照合して、前記空間パタン光を構成する各セルの境界位置を認識するステップと、を有することを特徴とする距離計測方法。 Light from the light source is spatially modulated to generate spatial pattern light that is formed of a plurality of cells and that forms dot pattern light in which the irradiation direction from the light source is encoded for each cell. Irradiating a predetermined surrounding observation area;
Capturing an image of an observation region irradiated with the spatial pattern light;
Decoding each dot pattern light on the captured image and detecting the irradiation direction of each dot pattern light on the image; and
Detecting the imaging direction of each dot pattern light based on the coordinate position of each dot pattern light on the captured image;
Based on the irradiation direction of each dot pattern light on the image, the imaging direction of each dot pattern light, and the relative positional relationship between the position of the light source and the imaging position of the image, up to the object existing in the observation region Calculating the distance of
Collating each dot pattern light on the captured image with a known dot pattern in order from a position in the vicinity of the vehicle in the image, and recognizing a boundary position of each cell constituting the spatial pattern light. Distance measurement method.
JP2008271913A 2008-10-22 2008-10-22 Distance measuring device and distance measuring method Active JP5251419B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008271913A JP5251419B2 (en) 2008-10-22 2008-10-22 Distance measuring device and distance measuring method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008271913A JP5251419B2 (en) 2008-10-22 2008-10-22 Distance measuring device and distance measuring method

Publications (2)

Publication Number Publication Date
JP2010101683A JP2010101683A (en) 2010-05-06
JP5251419B2 true JP5251419B2 (en) 2013-07-31

Family

ID=42292457

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008271913A Active JP5251419B2 (en) 2008-10-22 2008-10-22 Distance measuring device and distance measuring method

Country Status (1)

Country Link
JP (1) JP5251419B2 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663376A (en) * 2014-08-04 2017-05-10 日产自动车株式会社 Position self-calculation device and position self-calculation method

Families Citing this family (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5764888B2 (en) * 2010-08-24 2015-08-19 日産自動車株式会社 Distance measuring device and distance measuring method
JP5143314B2 (en) * 2010-08-25 2013-02-13 三洋電機株式会社 Information acquisition device and object detection device
JP5138120B2 (en) * 2010-09-28 2013-02-06 三洋電機株式会社 Object detection device and information acquisition device
CN102822623A (en) * 2011-04-05 2012-12-12 三洋电机株式会社 Information acquisition device, projection device, and object detection device
JP2014122789A (en) * 2011-04-08 2014-07-03 Sanyo Electric Co Ltd Information acquisition device, projection device, and object detector
JP5138116B2 (en) * 2011-04-19 2013-02-06 三洋電機株式会社 Information acquisition device and object detection device
JP2014132219A (en) * 2011-04-20 2014-07-17 Sanyo Electric Co Ltd Information acquisition device and object detector
CN102859321A (en) * 2011-04-25 2013-01-02 三洋电机株式会社 Object detection device and information acquisition device
JP5214062B1 (en) * 2011-04-28 2013-06-19 三洋電機株式会社 Information acquisition device and object detection device
JP2014167387A (en) * 2011-06-24 2014-09-11 Sanyo Electric Co Ltd Object detector and information acquisition device
JPWO2013015145A1 (en) * 2011-07-22 2015-02-23 三洋電機株式会社 Information acquisition device and object detection device
JP2014194341A (en) * 2011-07-27 2014-10-09 Sanyo Electric Co Ltd Object detector and information acquisition device
JP2014211305A (en) * 2011-08-26 2014-11-13 三洋電機株式会社 Object detection device and information acquisition device
JP2014211306A (en) * 2011-08-26 2014-11-13 三洋電機株式会社 Object detection device and information acquisition device
JP2014238259A (en) * 2011-09-28 2014-12-18 三洋電機株式会社 Information acquisition apparatus and object detector
JP2014238262A (en) * 2011-09-29 2014-12-18 三洋電機株式会社 Information acquisition apparatus and object detector
JP5808502B2 (en) * 2012-11-21 2015-11-10 三菱電機株式会社 Image generation device
JP6237874B2 (en) * 2014-02-24 2017-11-29 日産自動車株式会社 Self-position calculation device and self-position calculation method
US9721170B2 (en) 2014-02-24 2017-08-01 Nissan Motor Co., Ltd. Self-location calculating device and self-location calculating method
US9772627B2 (en) 2014-02-24 2017-09-26 Nissan Motor Co., Ltd. Self-position calculating apparatus and self-position calculating method
US9684837B2 (en) 2014-02-24 2017-06-20 Nissan Motor Co., Ltd. Self-location calculating device and self-location calculating method
BR112016019593B1 (en) * 2014-02-24 2022-06-07 Nissan Motor Co. Ltd Self-position calculator and self-position calculation method
CN106062849B (en) * 2014-02-24 2017-07-04 日产自动车株式会社 Oneself position calculating apparatus and oneself position calculating method
JP6299319B2 (en) * 2014-03-25 2018-03-28 日産自動車株式会社 Self-position calculation device and self-position calculation method
JP6282246B2 (en) * 2015-04-24 2018-02-21 オムロンオートモーティブエレクトロニクス株式会社 In-vehicle distance measuring device
US10488192B2 (en) 2015-05-10 2019-11-26 Magik Eye Inc. Distance sensor projecting parallel patterns
WO2016199323A1 (en) * 2015-06-09 2016-12-15 三菱電機株式会社 Image generating device, image generating method, and pattern light generating device
DE102016115705B4 (en) * 2016-08-24 2018-07-12 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Method for detecting objects in the vicinity of a vehicle
KR102595391B1 (en) 2016-12-07 2023-10-31 매직 아이 인코포레이티드 Distance sensor with adjustable focus imaging sensor
US10885761B2 (en) 2017-10-08 2021-01-05 Magik Eye Inc. Calibrating a sensor system including multiple movable sensors
EP3692396A4 (en) 2017-10-08 2021-07-21 Magik Eye Inc. Distance measurement using a longitudinal grid pattern
US10679076B2 (en) 2017-10-22 2020-06-09 Magik Eye Inc. Adjusting the projection system of a distance sensor to optimize a beam layout
WO2019182881A1 (en) * 2018-03-20 2019-09-26 Magik Eye Inc. Distance measurement using projection patterns of varying densities
JP7354133B2 (en) 2018-03-20 2023-10-02 マジック アイ インコーポレイテッド Camera exposure adjustment for 3D depth sensing and 2D imaging
CN112513565B (en) 2018-06-06 2023-02-10 魔眼公司 Distance measurement using high density projection patterns
US11475584B2 (en) 2018-08-07 2022-10-18 Magik Eye Inc. Baffles for three-dimensional sensors having spherical fields of view
WO2020150131A1 (en) 2019-01-20 2020-07-23 Magik Eye Inc. Three-dimensional sensor including bandpass filter having multiple passbands
WO2020197813A1 (en) 2019-03-25 2020-10-01 Magik Eye Inc. Distance measurement using high density projection patterns
WO2020231747A1 (en) 2019-05-12 2020-11-19 Magik Eye Inc. Mapping three-dimensional depth map data onto two-dimensional images
WO2021113135A1 (en) 2019-12-01 2021-06-10 Magik Eye Inc. Enhancing triangulation-based three-dimensional distance measurements with time of flight information
EP4094181A4 (en) 2019-12-29 2024-04-03 Magik Eye Inc. Associating three-dimensional coordinates with two-dimensional feature points
JP2023510738A (en) 2020-01-05 2023-03-15 マジック アイ インコーポレイテッド Method of moving the coordinate system of the 3D camera to the incident position of the 2D camera
CN111678488B (en) * 2020-06-17 2022-04-15 深圳地平线机器人科技有限公司 Distance measuring method and device, computer readable storage medium and electronic equipment

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4043931B2 (en) * 2002-12-09 2008-02-06 株式会社リコー 3D information acquisition system
JP4159948B2 (en) * 2003-08-21 2008-10-01 株式会社リコー Two-dimensional code reading device, two-dimensional code reading method, two-dimensional code reading program, and storage medium
JP3782815B2 (en) * 2004-02-04 2006-06-07 住友大阪セメント株式会社 Respiratory analyzer
JP5151050B2 (en) * 2006-03-23 2013-02-27 日産自動車株式会社 Vehicle environment recognition apparatus and vehicle environment recognition method
JP5061767B2 (en) * 2006-08-10 2012-10-31 日産自動車株式会社 Image processing apparatus and image processing method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106663376A (en) * 2014-08-04 2017-05-10 日产自动车株式会社 Position self-calculation device and position self-calculation method
CN106663376B (en) * 2014-08-04 2018-04-06 日产自动车株式会社 Self-position computing device and self-position computational methods

Also Published As

Publication number Publication date
JP2010101683A (en) 2010-05-06

Similar Documents

Publication Publication Date Title
JP5251419B2 (en) Distance measuring device and distance measuring method
US8929608B2 (en) Device and method for recognizing three-dimensional position and orientation of article
US10477160B2 (en) Information processing apparatus, and information processing method
CN112513677B (en) Depth acquisition device, depth acquisition method, and recording medium
JP4127545B2 (en) Image processing device
JP2018179911A (en) Range-finding device, distance information acquisition method
WO2008065729A1 (en) Object detecting system, and object detecting method
JP2010061567A (en) Object detecting apparatus
JP2012064046A (en) Vehicle detection apparatus
US8983147B2 (en) Eyelid detection device
JP2014081356A (en) Vehicle body visual inspection device and visual inspection method
JP7281775B2 (en) Depth Acquisition Device, Depth Acquisition Method and Program
JP5353531B2 (en) Vehicle light recognition device and program
JP2008160635A (en) Camera state detection method
JP2009103464A (en) Distance measuring device, distance measuring method, and vehicle
JP2010071942A (en) Object detecting device
CN116324887A (en) Unified calibration between DVS and camera
JP2011053025A (en) Distance measuring device and method of measuring distance
JP2021124330A (en) Method and device for detecting liquid surface
JP4645292B2 (en) On-vehicle object detection device and object detection method
JP5642785B2 (en) Vehicle periphery monitoring device
US10007857B2 (en) Method for the three-dimensional detection of objects
JP5751416B2 (en) Distance measuring device
JP2006155400A (en) Image extraction device
CN113343723A (en) Light emitting device, light emitting method, and computer readable medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110928

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121219

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130319

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130401

R150 Certificate of patent or registration of utility model

Ref document number: 5251419

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160426

Year of fee payment: 3